Файл robots.txt

Стандарт исключения для роботов (robots.txt) – файл ограничения доступа к содержимому роботам на http-сервере. Это обычный текстовый файл содержащий инструкции понятные поисковым роботам.

По сути инструкции описанные в файле robots.txt сводится в основном лишь к тому, чтобы сказать поисковику какие файлы и каталоги сайта не индексировать.  Любой сайт содержит файлы и каталоги, которые не содержат полезной информации. Их индексирование может вызвать дополнительную нагрузку на сервер.

Так же надо помнить, что инструкции имеют рекомендательный характер, т.е если роботу поручено обследовать все каталоги, он может проигнорировать все инструкции файла.

Читать дальше >

HTTP протокол

HTTP (англ. HyperText Transfer Protocol — «протокол передачи гипертекста») — протокол прикладного уровня передачи данных.

В Википедии все об этом протоколе подробно расписано. Тут я коротко опишу основные моменты, чтобы время от времени обращаться как к шпаргалке.

Читать дальше >

Нагрузочное тестирование с помощью Tsung

На Linux Ubuntu 14.04 лучше не устанавливать через apt-get. А лучше скачать отюсда (http://tsung.erlang-projects.org/dist/) и установить deb пакет.

Читать дальше >

Cпособы хранения деревьев в реляционной БД

Существует 4 основных способа хранения деревьев в реляционной БД:

Adjacency List 

Matherialized Path - полный путь до узла хранится в виде строки типа 0035.0993.7324.1256 (т.е. узел верхнего уровня содержит строку 0035, узел второго уровня - строку 0035.0993 и т.д.)

Nested Set - для каждого узла хранятся 2 числа: левый и правый индексы. Причём левый индекс узла меньше левого индекса любого потомка этого узла, а правый индекс соответственно больше.

Читать дальше >

Анализ логов веб сервера

Анализ логов веб сервера даст нам информацию, которую можно использовать для оптимизации сайта и для SEO оптимизации. Один из таких инструментов это Webalizer.

Вебалайзер показывает много информации. Основных показателей посещаемости шесть:

  • Запросы
  • Файлы
  • Страницы
  • Посещения
  • Сайты
  • Килобайты
Читать дальше >