Занятие явно рассчитано на программистов.
Рассматривали задачи программной оптимизации:
1. Создание файла robots.txt
2. Создание и модификация файла .htaccess
3. Подключение страницы ошибки 404
4. Подготовка и размещение sitemap
5. Транслитерация URL-ов страниц.
Файл robots.txt
Предназначен для ограничения доступа роботам к сайту.
Интересный совет — ЗАКРЫТЬ сайт от всех роботов, кроме гугла и яндекса. Мотивация — доля посетителей с других поисковых систем крайне мала, я само роботы нагрузку на сервер дают очень не маленькую — т.е. таким образом мы убираем лишнюю и ненужную загрузку сервера. И еще — обязательно для роботов прописывать «персональную» секци, т.е. не просто userAgent *, а указывать userAgent: GoogleBot — и далее перечень инструкций для гугла, а затем, через пустую строку — указываем секцию для Яндекса — и дублирием инструкции.
Маленькая хитрая фишка (на которую никогда не обращала внимание, а оказывается это очень важно!)
Запись для робота вида: «Allow: «- ЗАПРЕЩАЕТ ИНДЕКСИРОВАНИЕ САЙТА!!!!
Правильная запись: «Allow: /» — обязательно указание корня!!!
И соответственно инструкция : «Disallow:» — НЕ ЗПРЕЩАЕТ ИНДЕКСИРОВАНИЕ!!!!
Для запрета индексирования сайта нужно указать «Disallow: /»
Очень важна последовательность инструкций в файле robots. Так, если мы сначала указали, что роботу разрешено все, то в следующей строке, мы уже не можем ему запретить посещение каталога. Поэтому рекомендуется сначала указать все все, что запрещено, а потом все оставшееся разрешить.
Из интересных инструкций robots.txt:
Crawl-delay:10 — количество секунд между между запросами робота (чтоб робот не грузил сервер)
Host: WWW.site.by — работает только для робота яндекса — указывает главное зеркало сайта.
Как закрыть историю WEB-Archiv и бэк-линки YAHOO
User-agent: Yahoo!-MMCrawler/3.x
Disallow: /
User-agent: ia_archiver
Disallow: /
Файл .hraccess
Дает массу возможностей — но с ним надо быть предельно осторожным — бо можно завалить работу всего сайта. Лучше доверить работу с ним профессионалам.
Следующее занятие : Учебный запрос: платные внешние ссылки
Предыдущее занятие: Учебный запрос: внутренняя оптимизация сайта
