Файл robots.txt

Стандарт исключения для роботов (robots.txt) – файл ограничения доступа к содержимому роботам на http-сервере. Это обычный текстовый файл содержащий инструкции понятные поисковым роботам.

По сути инструкции описанные в файле robots.txt сводится в основном лишь к тому, чтобы сказать поисковику какие файлы и каталоги сайта не индексировать.  Любой сайт содержит файлы и каталоги, которые не содержат полезной информации. Их индексирование может вызвать дополнительную нагрузку на сервер.

Так же надо помнить, что инструкции имеют рекомендательный характер, т.е если роботу поручено обследовать все каталоги, он может проигнорировать все инструкции файла.

Читать дальше >

Книги

https://tproger.ru/books/best-books-for-programmers/

Читать дальше >