Правильный robots.txt. Пример файла robots.txt для WordPress

Опубликовано: 25.09.2017

видео Правильный robots.txt. Пример файла robots.txt для WordPress

Правильный файл robots txt для MODx

Файл sitemap.xml и правильный robots.txt для сайта — это два обязательных документа, которые способствуют быстрому и полноценному индексированию всех необходимых страниц веб-ресурса поисковыми роботами. Правильная индексация сайта в Яндексе и Google — залог успешного продвижения блога в поисковых системах.



Как сделать карту сайта в формате XML и для чего она нужна я уже писал здесь . А сейчас давайте поговорим о том, как создать правильный robots.txt для сайта на Вордпресс и для чего он вообще нужен. Подробную информацию об этом файле можно получить у самих Яндекса и Гугла, соответственно здесь и здесь . Я же коснусь самой сути и затрону основные настройки robots.txt для WordPress на примере своего файла.


Файл Robots txt - настройка, директивы и популярные ошибки

Зачем нужен файл robots.txt для сайта

Стандарт robots.txt появился еще в январе 1994 года. Сканируя веб-ресурс, поисковые роботы в первую очередь ищут текстовый файл robots.txt, расположенный в корневой папке сайта или блога. С его помощью мы можем указать для роботов разных поисковых систем определенные правила, по которым они будут проводить индексацию сайта.

Правильная настройка robots.txt позволит:

исключить из индекса дубликаты и различные мусорные страницы; наложить запрет на индексацию страниц, файлов и папок, которые мы хотим скрыть; вообще отказать в индексации некоторым поисковым роботам (например, Yahoo, чтобы скрыть от конкурентов информацию о входящих ссылках); указать главное зеркало сайта (с www или без www); указать путь к карте сайта sitemap.xml.

Для этой цели существуют специальные генераторы и плагины, но правильнее это сделать вручную.

Надо просто создать обычный текстовый файл с названием robots.txt, воспользовавшись любым текстовым редактором (например, Блокнотом или Notepad++) и загрузить его на хостинг в корневую папку блога. В этом файле надо прописать определенные директивы, т.е. правила индексации для роботов Яндекса, Гугла и др.