Принято считать, что каждому сайту обязательно нужна карта, которая выполняет две главные задачи. Во-первых, предоставляет поисковым системам быстрый доступ к необходимым страницам сайта, а во-вторых, предоставляет этот доступ и самим посетителям. Разница состоит в том, что поисковая система и посетитель по-разному видят и используют карту сайта. Вот почему создавая сайту карту необходимо учитывать ряд особенностей, чтобы впоследствии она смогла подойти как роботу, так и посетителю. Как правило, на маленьких сайтах карта не нужна, потому что все страницы способны уместиться в ссылках меню. В таких случаях любая станица, где располагается все меню, может быть картой сайта. При делении меню на вспомогательное и главное, без создания карты, стимулирующей продвижение сайта в поисковых системах, никак не обойтись. Карта сайта может одновременно хорошо служить и поисковым роботам, и обычным посетителям, хотя, конечно, никто не запретит вам для различных целей создать не одну карту, а несколько. Предлагаю поговорить о создании отдельных карт для различных целей.

Tagged under

Robots.txt — это текстовый файл, суть которого заключается в ограничении доступа роботов поисковых систем к разделам и страницам нашего интернет-ресурса, которые нужно скрыть от индексации и как следствие от посторонних глаз.

Зачем скрывать определенное содержимое сайта?

Ответ прост. Вряд ли Вы обрадуетесь, если поисковый робот проиндексирует файлы администрирования сайта, в которых могут храниться пароли или другая секретная информация. Robots направляет поисковых ботов, указывая что можно, а что нельзя индексировать, но также может содержать в себе и информативную составляющую.

Например, можно указать путь к карте сайта, что поможет роботам быстрее найти все странички, или указать главное зеркало сайта (прописать директиву host), чтобы склеить два домена с www и без www (только для Яндекса).

Tagged under
Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem Ipsum has been the industry's standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book. It has survived not only five centuries, but also the leap into electronic typesetting, remaining essentially unchanged. It was popularised in the 1960s with the release of Letraset sheets containing Lorem Ipsum passages, and more recently with desktop publishing software like Aldus PageMaker including versions of Lorem Ipsum.
Tagged under