Главная › Новости

WordPress Meta Robots

Опубликовано: 06.09.2018

How To No-Index a WordPress post or page, using Robots-Meta plugin

WordPress Meta Robots это маленький SEO -плагин, дополняющий функционал больших SEO -плагинов. Он позволяет устанавливать тег " meta robots " для любой страницы или записи в блоге. Таким образом, вы всегда можете запретить поисковикам индексировать содержимое какой-либо отдельно взятой записи или страницы. Запретить индексирование любой страницы можно и через файл robots.txt , но это удобно только, если вам не надо время от времени закрывать новые записи или страницы. Да и через robots.txt нельзя указать поисковикам не индексировать страницу, но при этом следовать по ссылкам в ней. Также плагин управляет индексированием рубрик, архивов, тегов и других типов страниц в WordPress .

Скачиваем плагин с его домашней страницы и устанавливаем его:

1. Распаковываем архив.

2. Копируем папку wordpress-meta-robots в /wp-content/plugins/ .

3. Заходим в админку блога на вкладку " Плагины " и активируем плагин.

Никаких настроек в плагине нет. Сразу после активации у каждой вашей записи или страницы при редактировании появится административный виджет (как на скриншоте выше). По умолчанию после активации плагина индексация всех записей и страниц в блоге разрешена, плагин сразу ставит для всех страниц значение по умолчанию " index, follow ". Убедитесь, что тег " meta robots " не дублируется в вашем шаблоне. Для этого откройте файл header.php вашего шаблона и поищите там строчку, похожую на:

<meta name="robots" content="follow, all" />

Если вы нашли такую строчку, то смело ее удаляйте, так как вставкой этого тега теперь будет заниматься сам плагин.

Некоторые пояснения по поводу значений тега " meta robots ":

1. " index " - разрешает индексирование страницы.

То есть значение " index, follow " будет означать указание для поисковика индексировать страницу и следовать по каждой ссылке на ней. А значение " noindex, nofollow " будет означать, что поисковику не надо индексировать эту страницу и не надо ходить по ссылкам, то есть для поисковика страница с таким значением тега " meta robots " будет своеобразным "тупиком".

К сожалению, автор плагина встроил поддержку этого тега не только для страниц и записей в блоге. Но и для рубрик и других типов страниц. Только вот он не дал возможности указать настройки тега " meta robots " для этих страниц, а решил, что лучше владельца блога знает, что надо индексировать, а что нет.

Плагин устанавливает значение " noindex, follow " для всех рубрик, тегов и архивов. И значение " noindex, nofollow " для всех остальных типов страниц (кроме страниц и записей). С одной стороны, он в чем-то прав – если в блоге существуют и рубрики и архивы и теги, а все записи выводятся полностью (без использования тега more ), то получится, что у вас одна и та же запись будет продублирована аж 5 раз на разных типах страниц (главная, страница рубрики, страница архива, страница тега и сама страница с записью). А это не очень хорошо с точки зрения SEO . С другой стороны, если вы используете тег more и не используете архивы и теги, то дублирование у вас будет только на 2-х типах страниц, да и то лишь неполного текста записи.

Исходя из сказанного, я вам предлагаю все-таки разрешить индексирование любого типа страниц в блоге, а необходимые запреты встроить в файл robots.txt . Откройте файл плагина wp-meta-robots.php и найдите там строчки:

echo '<meta name="robots" content="noindex, follow" />'."\n"; } else { echo '<meta name="robots" content="noindex, nofollow" />'."\n";

Поменяйте их на:

echo '<meta name="robots" content="index, follow" />'."\n"; } else { echo '<meta name="robots" content="index, follow" />'."\n";

Теперь все типы страниц у вас в блоге станут индексируемыми (кроме тех страниц и записей, для которых вы поставили запрет через виджет плагина при редактировании записи). Но открывать индексирование всего контента в блоге очень плохая идея. Зачастую именно бесконечное дублирование (особенно через страницы тегов) контента записей является причиной для бана в поисковиках. Поэтому вам лучше запретить как минимум индексирование тегов и страниц с результатами поиска. Для этого откройте файл robots.txt и добавьте туда строчки:

User-agent: * Disallow: /*?s= Disallow: /*&s= Disallow: /tag/

Если у вас в блоге не установлены ЧПУ, то вам надо будет чуть-чуть отредактировать приведенный пример, чтобы он подходил для вашего вида постоянных ссылок. Например, при структуре постоянных ссылок по умолчанию запрещать индексацию тегов надо не через " Disallow: /tag/ ", а через " Disallow: /?tag= ".

Я не пишу про запрет индексирования страниц архивов. Тут я с автором плагина согласен – запретить индексацию архивов надо, а вот отключать хождение по ссылкам на этих страницах нет. Чем больше есть ссылок на страницы записей в вашем блоге, то тем больше вероятность, что поисковики проиндексируют все записи блога полностью. Если вы используете архивы в вашем блоге, то файл плагина надо изменить немного другим образом, найдите в wp-meta-robots.php строчки:

} elseif ( is_category() || is_tag() || is_archive() ) { echo '<meta name="robots" content="noindex, follow" />'."\n"; } else { echo '<meta name="robots" content="noindex, nofollow" />'."\n";

И замените их на:

} elseif ( is_archive() ) { echo '<meta name="robots" content="noindex, follow" />'."\n"; } else { echo '<meta name="robots" content="index, follow" />'."\n";

Впрочем, что индексировать в вашем блоге, а что нет решать только вам. Вовсе необязательно следовать моим рекомендациям, думайте сами. В любом случае использование плагина WordPress Meta Robots избавляет вас от необходимости править robots.txt при появлении каждой новой записи, чье индексирование (или чьи ссылки) вы хотите запретить.

Автор плагина: