И опять про robots.txt

Robots.txt: историческая справка

Стандарт для robots.txt никому не принадлежит, а начало его использования приходится на 1994 год. Сейчас robots.txt используется всеми популярными поисковыми системами. Файл robots.txt – это The Robots Exclusion Protocol, то есть файл исключений для поисковых роботов. Robots.txt противоположен по смыслу файлу sitemap.xml: robots.txt ограничивает поисковым роботам обход сайта, а sitemap.xml наоборот – указывает файлы для индексирования. При этом robots.txt первичен – прежде, чем поисковый робот начинает загружать какие-либо страницы сайта, он обращается именно к файлу robots.txt, поэтому основной директивой файла robots.txt является директива запрета индексирования – Disallow.

Основные базы знаний по использованию robots.txt – это сайт www.robotstxt.org (на английском языке) и robotstxt.org.ru. Читать далее

Ошибки в файле robots.txt, которые могут помешать индексации сайта

Сегодня наш клиент, которому не так  давно сдали сайт обратился с претензией, что Яндекс упорно сайт не ищет.

Проверила сайт — тайтлы, вроде как ничего, дескрипшины не прописаны — но это не должно было повлиять…

Блин — понадеялась на добросовестность своих программистов — просила же — проверьте робота!!!!

Говорят — проверили — все в порядке!!!!!

Я сегодня тоже проверирила — а НИФИГА!!!!!!! Читать далее