Это текстовый файл, который создается владельцем сайта и указывает поисковым системам на то, какие URL или каталоги ресурса не следует сканировать. Правила в этом файле запрещают отдельным или всем поисковым роботам сканировать определенные страницы или целые каталоги. Файл хранится в корневом каталоге сайта.
