Зачем нужен файл robots.txt?

Robots.txt — это текстовый файл, суть которого заключается в ограничении доступа роботов поисковых систем к разделам и страницам нашего интернет-ресурса, которые нужно скрыть от индексации и как следствие от посторонних глаз.

Зачем скрывать определенное содержимое сайта?

Ответ прост. Вряд ли Вы обрадуетесь, если поисковый робот проиндексирует файлы администрирования сайта, в которых могут храниться пароли или другая секретная информация. Robots направляет поисковых ботов, указывая что можно, а что нельзя индексировать, но также может содержать в себе и информативную составляющую.

Например, можно указать путь к карте сайта, что поможет роботам быстрее найти все странички, или указать главное зеркало сайта (прописать директиву host), чтобы склеить два домена с www и без www (только для Яндекса).