• Главная
    • /
  • Блог
    • /
  • 10 премиум SEO инструментов, которые вы можете попробовать бесплатно (или дешево)

Robots.txt: справочник

  1. Файл robots.txt в двух словах Файл robots.txt содержит директивы для поисковых систем, которые вы...
  2. Терминология robots.txt
  3. Почему я должен заботиться о файлах robots.txt?
  4. пример
  5. Ваш robot.txt против вас?
  6. Как файл robots.txt?
  7. Агент пользователя
  8. запрещать
  9. пример
  10. разрешать
  11. пример
  12. пример
  13. Одна строка для каждой директивы
  14. Использование подстановочного знака *
  15. пример
  16. Использование знака $ для конца URL
  17. пример
  18. Карта сайта
  19. примеров
  20. комментарии
  21. Пример 1
  22. Пример 2
  23. Обход задержки
  24. пример
  25. Когда использовать файл robots.txt?
  26. Лучшие практики для файла robots.txt
  27. Расположение и имя файла
  28. Порядок приоритета
  29. пример
  30. пример
  31. Только одна группа директив на одного робота
  32. Будьте максимально конкретны
  33. пример
  34. Директивы для всех роботов, включая специальные директивы для роботов
  35. пример
  36. Файл robots.txt для каждого (под) домена
  37. примеров
  38. Спорные директивы: robots.txt vs. Google Search Console
  39. Следите за своим файлом robots.txt
  40. Как узнать, когда ваш файл robots.txt изменяется?
  41. Не используйте noindex в вашем файле robots.txt
  42. Примеры файлов robots.txt
  43. Все роботы имеют доступ ко всем каталогам
  44. Роботы не имеют доступа к какой-либо части
  45. Роботы Google не имеют доступа ни к какой части
  46. Боты Google, за исключением googlebot-news, не имеют доступа ни к какой части
  47. Googlebot и Slurp не имеют доступа к какой-либо части
  48. Роботы не имеют доступа к двум каталогам
  49. Роботы не имеют доступа к определенной директории
  50. Робот Googlebot не имеет доступа к / admin /, а Slurp не имеет доступа к / private /
  51. Robots.txt файл для WordPress
  52. Где находятся пределы файла robots.txt?
  53. Страницы продолжают отображаться в результатах поиска
  54. кэш
  55. Размер файла
  56. Часто задаваемые вопросы о файле robots.txt
  57. 2. Нужно ли быть осторожным при использовании файла robots.txt?
  58. 3. Вынуждены ли поисковые системы следовать файлу robots.txt?
  59. 4. Будут ли поисковые системы сканировать мой сайт, если у меня нет файла robots.txt?
  60. 5. Могу ли я использовать Noindex вместо Disallow в моем файле robots.txt?
  61. 6. Какие поисковые системы уважают файл robots.txt?
  62. 7. Как я могу запретить поисковым системам индексировать страницы результатов на моем сайте WordPress?

Файл robots.txt в двух словах

Файл robots.txt содержит директивы для поисковых систем, которые вы можете использовать для предотвращения отслеживания поисковыми системами определенных частей вашего сайта.

При использовании robots.txt соблюдайте следующие правила:

  • Будьте осторожны при внесении изменений в ваш файл robots.txt: этот файл может сделать большую часть вашего сайта недоступной для поисковых систем.
  • Файл robots.txt должен появиться в корне вашего сайта (например, http://www.ejemplo.es/robots.txt).
  • Файл robots.txt действителен только для домена, в котором он появляется, включая протокол (http или https).
  • Различные поисковые системы интерпретируют директивы по-разному. В общем, первая директива соответствия всегда побеждает. Но, с Google и Bing, специфика выигрывает.
  • По возможности избегайте использования директив crawl-delay.

Что такое файл robots.txt?

Файл robots.txt информирует поисковые системы о правилах отслеживания вашего сайта.

Поисковые системы регулярно проверяют файл robot.txt на веб-сайте для получения инструкций по сканированию. Эти инструкции называются «директивами».

Если файл robots.txt отсутствует или файл существует, но нет соответствующих директив, поисковые системы будут сканировать весь веб-сайт.

Хотя все основные поисковые системы уважают файлы robots.txt, вы не обязаны это делать. Они могут игнорировать их частично или полностью. Хотя директивы в файле robots.txt являются мощным сигналом для поисковых систем, мы должны помнить, что файл robots.txt представляет собой набор необязательных директив, направленных на поисковые системы, а не на заказы.

Терминология robots.txt

Файл robots.txt является реализацией стандарта исключения роботов , также называемого протоколом исключения роботов .

Почему я должен заботиться о файлах robots.txt?

Файлы robots.txt играют важную роль в поисковой оптимизации (SEO). Они рассказывают поисковым системам, как лучше сканировать свой сайт.

Используя файл robots.txt, вы можете запретить доступ к определенным частям вашего сайта , предотвратить проблемы с дублированным контентом и повысить эффективность отслеживания сайта .

Будьте осторожны при внесении этих изменений в файл robots.txt: этот файл может сделать большую часть вашего сайта недоступной для поисковых систем.

пример

Давайте объясним это на примере:

У него есть веб-сайт электронной коммерции, и его посетители могут использовать фильтр, чтобы быстро найти свои продукты. Отфильтрованные страницы показывают почти то же самое содержание, что и другие страницы. Это очень полезно для посетителей, но не для поисковых систем, так как многое производится дублированный контент , Тогда поисковым системам нежелательно индексировать отфильтрованные страницы или тратить свое время на отслеживание URL-адресов с отфильтрованным контентом. Для этого вы должны настроить правила Disallow, чтобы поисковые системы не обращались к этим фильтрованным страницам продукта.

Для предотвращения проблем с дублированным контентом вы также можете использовать Канонические URL или метатег роботов. В этом случае страницы не будут отображаться в результатах поиска , но они всегда будут отслеживаться , поскольку эти два ресурса не запрещают отслеживание. Как поисковые системы имеют ограниченное время для отслеживания вашего сайта они должны тратить это время на отслеживание только тех страниц, которые они хотят видеть в результатах.

Ваш robot.txt против вас?

Файл robots.txt, настроенный неправильно, может повредить вашей производительности SEO. Проверьте прямо сейчас, если это ваш случай!

Как файл robots.txt?

Вот пример файла robots.txt для веб-сайта WordPress:

Пользовательский агент: * Disallow: / wp-admin /

Из каких частей состоит файл robots.txt:

  • User-agent: user-agent указывает, какой тип робота должен соответствовать директивам.
  • *: указывает на то, что директивы предназначены для всех поисковых систем.
  • Disallow: эта директива запрещает доступ агента пользователя к определенному каталогу.
  • / wp-admin /: это путь, который не должен быть доступен для user-agent.

В итоге: этот файл robots.txt запрещает доступ к каталогу / wp-admin / всем поисковым системам.

Агент пользователя

Каждый поисковик должен быть идентифицирован с пользовательским агентом. Таким образом, робот Google называется Googlebot, робот Yahoo Slurp, робот Bing BingBot и т. Д.

user-agent - это начало группы директив. Все директивы между первым user-agent и следующим user-agent принадлежат первому user-agent.

Директивы могут быть предназначены для конкретных пользователей или для всех них. Во втором случае вы можете использовать звездочку: User-agent: *.

запрещать

Эта директива запрещает поисковым системам доступ к определенным файлам, определенным страницам или разделам вашего сайта. За ним следует маршрут, который не должен быть доступен. Если маршрут отсутствует, поисковые системы игнорируют всю директиву.

пример

Пользовательский агент: * Disallow: / wp-admin /

В этом примере ни одна поисковая система не может получить доступ к каталогу / wp-admin /.

разрешать

Директива Allow перезаписывает директиву Disallow. Поддержка Google и Bing. Одновременно используя директивы Allow и Disallow, он сообщает поисковым системам, что они могут получить доступ к определенному файлу или определенной странице в заблокированном каталоге. За директивой Allow следует маршрут, который должен оставаться доступным. Если маршрут отсутствует, поисковые системы игнорируют всю директиву.

пример

Пользовательский агент: * Разрешить: /means/terms-and-conditions.pdf Запретить: / media /

В этом примере ни одна поисковая система не может получить доступ к каталогу / media /, за исключением файла /mediaios/terminos-y-condiciones.pdf.

Важное замечание: При одновременном использовании директив Allow и Disallow не используйте подстановочные знаки, так как они могут вызвать конфликты.

пример

Агент пользователя: * Разрешить: / Запретить каталог: /*.html

Поисковые системы не будут знать, что делать с URL http://www.dominio.es/directorio.html, и не будут знать, могут ли они получить к ним доступ.

Одна строка для каждой директивы

Каждая директива должна иметь свою собственную строку, чтобы не создавать проблем поисковым системам, читая их файл robots.txt.

Пример неправильного файла robots.txt

Избегайте файлов robots.txt, таких как:

Агент пользователя: * Disallow: / directory-1 / Disallow: / directory-2 / Disallow: / directory-3 /

Использование подстановочного знака *

Этот подстановочный знак используется не только для определения пользовательского агента, но и для сопоставления URL-адресов. Поддерживается Google, Bing, Yahoo и Ask.

пример

Агент пользователя: * Disallow: / *?

В этом примере ни одна поисковая система не может получить доступ к URL-адресам, которые содержат знак вопроса (?).

Использование знака $ для конца URL

Чтобы отметить конец URL, вы можете использовать знак доллара ($) в конце маршрута.

пример

Пользователь-агент: * Disallow: /*.php$

В этом примере ни одна поисковая система не может получить доступ к URL, которые заканчиваются на .php. Запретить URL-адреса с параметрами, такими как, например, https://example.com/pagina.php?lang=en, не разрешено, поскольку URL-адрес не заканчивается trás.php.

Карта сайта

Хотя основная цель файла robots.txt - сообщить поисковым системам, какие страницы им не следует сканировать , вы также можете указать им, где находится карта сайта XML. Поддерживается Google, Bing, Yahoo и Ask.

Карта сайта XML должна быть написана как абсолютный URL. URL-адрес не обязательно должен быть на том же хосте, что и файлы robots.txt. Включение расположения вашей карты сайта в файл robots.txt является одним из лучших методов. Мы рекомендуем вам всегда делать это, хотя вы уже отправили свою карту сайта XML в Google Search Console или в Bing Webmaster Tools. Есть больше поисковых систем этих двух.

В файле robots.txt вы можете включить более одной карты сайта XML.

примеров

Более одной карты сайта XML:

Пользовательский агент: * Disallow: / wp-admin / Карта сайта: https://www.example.com/max-of-site1.xml Карта сайта: https://www.example.com/max-of-site2.xml

В этом примере файл robots.txt сообщает всем поисковым системам, что им не следует сканировать каталог / wp-admin / и что есть две карты сайтов XML, которые расположены по адресу https://www.example.com/mapa-. de-sitio1.xml и https://www.ejemplo.es/mapa-de-sitio2.xml.

Единая карта сайта XML:

Пользовательский агент: * Disallow: / wp-admin / Карта сайта: https://www.example.com/mapa-de-sitio_index.xml

В этом примере файл robots.txt сообщает всем поисковым системам, что им не следует сканировать каталог / wp-admin / и что карта сайта XML находится по адресу https://www.example.com/mapa-of- sitio_index.xml.

комментарии

Комментариям всегда предшествует #, и их можно найти в начале строки или после директивы в той же строке. Все, что следует за #, будет проигнорировано. Комментарии пишутся только для людей.

Пример 1

# Запретить доступ к каталогу / wp-admin / всем роботам. Пользовательский агент: * Disallow: / wp-admin /

Пример 2

User-agent: * # Для всех роботов Запретить: / wp-admin / # Запретить доступ к каталогу / wp-admin /.

Два примера сообщают одно и то же сообщение.

Обход задержки

Задержка сканирования - это неофициальная директива, используемая для предотвращения перегрузки сервера, вызванной слишком большим количеством требований. Если существует риск перегрузки сервера, директива Crawl-delay в вашем файле robots.txt является лишь временным решением. Проблема в том, что ваш сайт находится в слабой среде хостинга, и вы должны исправить это как можно скорее.

Каждая поисковая система обрабатывает директиву Crawl-delay по-своему. Теперь давайте объясним, как к нему относятся наиболее распространенные поисковые системы.

Google

Google не поддерживает директиву Crawl-delay. Однако Google позволяет изменить частоту сканирования в консоли поиска Google. Для этого выполните следующие действия:

  1. Зарегистрируйтесь в консоли поиска Google.
  2. Выберите веб-сайт, для которого вы хотите изменить частоту отслеживания.
  3. Нажмите на значок шестеренки в правом верхнем углу и выберите «Настройки сайта».
  4. Существует опция «Частота сканирования», где вы можете изменить частоту по своему усмотрению. По умолчанию выбран параметр «Разрешить Google оптимизировать для моего сайта (рекомендуется)».

Бинг, Yahoo и Яндекс

Bing, Yahoo и Yandex поддерживают директиву Crawl-delay, чтобы уменьшить частоту сканирования сайта. Однако ваша интерпретация задержки сканирования отличается, обязательно проверьте документацию:

Вы должны поместить директиву Crawl-delay сразу после директивы Disallow или Allow.

пример

Агент пользователя: BingBot Disallow: / private / Crawl-delay: 10

Baidu

Baidu не поддерживает директиву задержки сканирования. Чтобы контролировать частоту отслеживания, вы должны создать учетную запись в Baidu Webmaster Tools. Похоже, настройки в консоли поиска Google.

Когда использовать файл robots.txt?

Мы рекомендуем вам всегда использовать файл robots.txt. Это не повредит, и это очень полезный инструмент, чтобы сделать отслеживание вашего сайта более эффективным.

Лучшие практики для файла robots.txt

Лучшие практики для файла robots.txt классифицируются следующим образом:

Расположение и имя файла

Файл robots.txt всегда должен находиться в корне вашего сайта (каталог самого верхнего уровня хоста) и должен называться robots.txt, например: https://www.example.com/robots.txt. URL вашего файла robots.txt чувствителен к регистру, как и все URL.

Если файл robots.txt не найден в этом расположении по умолчанию, поисковые системы считают, что файла robots.txt нет, и сканируют весь ваш сайт.

Порядок приоритета

Каждый поисковик обрабатывает файл robots.txt по-своему. По умолчанию первая политика является наиболее важной .

Однако в Google и Bing самая важная директива является самой конкретной . Например: директива Allow прекращает действие директивы Disallow, если она длиннее.

пример

User-agent: * Разрешить: / about / company / Disallow: / about /

В этом примере ни одна поисковая система, Google и Bing не могут даже получить доступ к каталогу / envelope /, за исключением подкаталога / envelope / company /.

пример

User-agent: * Disallow: / about / Allow: / about / company /

В этом примере ни одна поисковая система, за исключением Google и Bing , не может получить доступ к каталогу / envelope / или подкаталогу / envelope / company /.

Google и Bing могут получить доступ к этому каталогу, поскольку директива Allow длиннее директивы Disallow.

Только одна группа директив на одного робота

Для каждой поисковой системы вы можете написать только одну группу директив. Наличие более одной группы может вызвать проблемы.

Будьте максимально конкретны

При написании директив Disallow, будьте как можно более конкретны, чтобы избежать непреднамеренных запретов доступа.

пример

Пользователь-агент: * Disallow: / каталог

В этом примере ни одна поисковая система не может получить доступ к:

  • / каталог
  • / каталог /
  • / directory-name-1
  • /directorio-nombre.html
  • /directorio-nombre.php
  • /directorio-nombre.pdf

Директивы для всех роботов, включая специальные директивы для роботов

Для каждого робота действует только одна группа директив. Если за директивами, написанными для всех роботов, следуют директивы, предназначенные для конкретного робота, этот конкретный робот игнорирует предыдущие директивы, предназначенные для всех. Если вы хотите следовать за ними, вы должны повторить их для конкретного робота.

Вот пример, который проясняет это:

пример

Пользовательский агент: * Disallow: / secret / Disallow: / все еще не выпущен / User-agent: googlebot Disallow: / все еще не выпущен /

В этом примере ни одна поисковая система, за исключением Google , не может получить доступ к каталогам / secret / и / still-not-release /. Google не может получить доступ к / все еще не выпущен /, но вы можете получить доступ к / секретный /.

Если вы хотите запретить доступ к обоим каталогам, / secret / и / still-not-release /, вы должны повторить обе директивы для googlebot:

Пользовательский агент: * Disallow: / secret / Disallow: / все еще не выпущен / User-agent: googlebot Disallow: / secret / Disallow: / все еще не выпущен /

Помните, что ваш файл robots.txt общедоступен, поэтому использование Disallow может использоваться людьми со злым умыслом.

Файл robots.txt для каждого (под) домена

Директивы файла robots.txt действительны только в рамках хоста, на котором размещен файл robots.txt.

примеров

http://example.com/robots.txt действителен для http://example.com, но не для http: // www .example.com или для http: //example.com.

Рекомендуется иметь только один файл robots.txt для вашего (суб) домена, для этого мы отслеживаем ваш сайт в ContentKing. Если у вас есть несколько файлов robots.txt, убедитесь, что вы перенаправили тип 301 в канонический файл robots.txt.

Спорные директивы: robots.txt vs. Google Search Console

Если ваш файл robots.txt конфликтует с настройками консоли поиска Google, Google обычно отдает предпочтение консоли поиска Google в ущерб директивам robots.txt.

Следите за своим файлом robots.txt

Важно отслеживать изменения в файле robots.txt. В ContentKing мы находим много проблем, из-за которых неправильные директивы и внезапные изменения в файле robots.txt вызывают большие проблемы с SEO. Это особенно верно при запуске новых функций или нового веб-сайта, подготовленного в тестовой среде, поскольку они часто содержат следующий файл robots.txt:

Пользователь-агент: * Disallow: /


По этой причине мы построили robots.txt регистрация и система регистрации изменений ,

Как узнать, когда ваш файл robots.txt изменяется?

В ContentKing мы видим это все время: файлы robots.txt меняются без ведома цифрового маркетинга. Не будь таким человеком. Начните отслеживать ваш файл robots.txt прямо сейчас и получайте оповещения при изменении!

Не используйте noindex в вашем файле robots.txt

Хотя может показаться хорошей идеей использовать директиву noindex в файле robots.txt, это не является официальным стандартом, и Google Рекомендую не использовать его , Google не объяснил причину, но мы считаем, что мы должны серьезно отнестись к вашей рекомендации (на этот раз). Это имеет смысл, потому что:

  • Трудно отследить, какие страницы не следует индексировать, если вы используете несколько разных способов, чтобы указать свое желание не индексировать их.
  • Директива noindex не является непогрешимой. Надо полагать, что Google не будет следовать 100%.
  • Мы только знаем, что директива noindex используется Google, другие поисковые системы не будут использовать ее для предотвращения индексации страниц.

Лучший способ сообщить поисковым системам, какие страницы не следует индексировать, - использовать мета-теги роботов или X-роботы-теги , Если вы не можете их использовать, и директива robots.txt noindex является вашим последним средством, вы можете использовать ее, но имейте в виду, что она не будет работать полностью, чтобы избежать разочарования.

Примеры файлов robots.txt

В этой главе мы представим широкий спектр примеров файлов robots.txt.

Все роботы имеют доступ ко всем каталогам

Есть несколько способов сообщить поисковым системам, что они могут получить доступ ко всем каталогам:

Пользователь-агент: * Disallow:

Или файл robots.txt пуст или файл robots.txt отсутствует.

Роботы не имеют доступа к какой-либо части

Пользователь-агент: * Disallow: /

Важно: еще один персонаж может изменить все.

Роботы Google не имеют доступа ни к какой части

Пользователь-агент: googlebot Disallow: /

Отказывая в доступе к роботу Google, он запрещает доступ ко всем роботам Google, включая ботов, которые ищут новости (googlebot-news) и изображения (googlebot-images).

Боты Google, за исключением googlebot-news, не имеют доступа ни к какой части

Пользовательский агент: googlebot Disallow: / Пользовательский агент: googlebot-news Disallow:

Googlebot и Slurp не имеют доступа к какой-либо части

Пользователь-агент: Slurp Пользователь-агент: googlebot Запретить: /

Роботы не имеют доступа к двум каталогам

Агент пользователя: * Disallow: / admin / Disallow: / private /

Роботы не имеют доступа к определенной директории

Пользователь-агент: * Disallow: /directory/algo-pdf.pdf

Робот Googlebot не имеет доступа к / admin /, а Slurp не имеет доступа к / private /

Пользовательский агент: googlebot Disallow: / admin / User-agent: Slurp Disallow: / private /

Robots.txt файл для WordPress

Следующий файл robots.txt оптимизирован специально для WordPress:

  • Избегайте отслеживания раздела администратора.
  • Избегайте отслеживания внутренних страниц результатов поиска.
  • Избегайте отслеживания страниц тегов и страниц автора.
  • Избегайте отслеживания страниц с кодом состояния 404.

User-agent: * Disallow: / wp-admin / # запретить доступ к разделу администратора Disallow: /wp-login.php # запретить доступ к разделу администратора Disallow: / search / # Запретить доступ к страницам внутренних результатов поиска Disallow: *? s = * # Запретить доступ к страницам результатов внутреннего поиска Disallow: *? p = * # Запретить доступ к страницам, чьи постоянные ссылки не работают Disallow: * & p = * # запретить доступ к страницам, чьи постоянные ссылки не работают Disallow: * & preview = * # Запретить доступ к предыдущим страницам Disallow: / tag / # Запретить доступ к страницам тегов Disallow: / author / # Запретить доступ к страницам автор Disallow: / 404-error / # запретить доступ к страницам с кодом статуса 404 Карта сайта: https://www.example.com/sitemap_index.xml

Этот файл robots.txt хорошо работает в большинстве случаев, однако вы всегда должны настраивать его для конкретной ситуации и тестировать его.

Где находятся пределы файла robots.txt?

Файл Robots.txt содержит директивы

Хотя большинство поисковых систем уважают файл robots.txt, это всего лишь набор директив, а не приказы.

Страницы продолжают отображаться в результатах поиска

Хотя файл robots.txt запрещает доступ к определенным страницам, если они имеют некоторые входящие ссылки, поисковые системы могут видеть их в результатах (если они сканируют страницу, содержащую ссылки на заблокированные страницы). Вот пример:

Совет для профессионалов: Вы можете удалить эти URL-адреса из Google, используя инструмент для удаления URL-адресов в консоли поиска Google. Эти URL будут удалены только временно. Если вы хотите, чтобы они больше не появлялись, вы должны повторять это действие каждые 90 дней.

кэш

Google заявил, что файл robots.txt хранится в кэше 24 часа. Вы должны знать, если вы хотите внести изменения в ваш файл.

Что касается других поисковых систем, вы не знаете, как они это делают, но обычно лучше избегать кэширования вашего файла robots.txt, чтобы поисковые системы не занимали больше времени, чем необходимо для обнаружения изменений.

Размер файла

Google поддерживает максимальный размер 500 КБ для файлов robots.txt. Любой контент, который превышает это ограничение, можно игнорировать .

Не известно, имеют ли другие поисковые системы также максимальный размер для файлов robots.txt.

Часто задаваемые вопросы о файле robots.txt

  1. Запрещает ли файл robots.txt поисковым системам просматривать заблокированные страницы в результатах поиска?
  2. Нужно ли быть осторожным при использовании файла robots.txt?
  3. Вынуждены ли поисковые системы следовать файлу robots.txt?
  4. Будут ли поисковые системы сканировать мой сайт, если у меня нет файла robots.txt?
  5. Могу ли я использовать Noindex вместо Disallow в моем файле robots.txt?
  6. Какие поисковые системы уважают файл robots.txt?
  7. Как я могу запретить поисковым системам индексировать страницы результатов на моем сайте WordPress?

1. Запрещает ли файл robots.txt поисковым системам просматривать заблокированные страницы в результатах поиска?

Нет, посмотрите на этот пример:

Важное замечание: Если страница заблокирована файлом robots.txt и в то же время содержит <meta name = "robots" content = "noindex, nofollow">, она останется в индексах поисковой системы, поскольку они не узнают об этом. <meta name = "robots" content = "noindex, nofollow">, поскольку у них нет доступа к этой странице.

2. Нужно ли быть осторожным при использовании файла robots.txt?

Да, вы должны быть осторожны, но мы все же рекомендуем использовать файл robots.txt. Это очень мощный инструмент, чтобы сделать отслеживание вашего сайта более эффективным.

3. Вынуждены ли поисковые системы следовать файлу robots.txt?

Теоретически нет. Файл robots.txt представляет собой набор необязательных политик.

4. Будут ли поисковые системы сканировать мой сайт, если у меня нет файла robots.txt?

Да. Если поисковые системы не находят файл robots.txt в корневом каталоге (каталог на самом высоком уровне хоста), они думают, что файла robots.txt нет, и они просматривают ваш сайт.

5. Могу ли я использовать Noindex вместо Disallow в моем файле robots.txt?

Нет, я не должен этого делать. Google не рекомендует использовать директиву noindex в файле robots.txt:

6. Какие поисковые системы уважают файл robots.txt?

Мы точно знаем, что все поисковые системы ниже файла robots.txt соблюдают:

7. Как я могу запретить поисковым системам индексировать страницы результатов на моем сайте WordPress?

Чтобы поисковые системы не индексировали страницы результатов на вашем веб-сайте WordPress (если в работе этих страниц результатов нет изменений), вам необходимо добавить следующие директивы в файл robots.txt:

Пользовательский агент: * Disallow: /? S = Disallow: / search /

Дополнительные чтения

Похожие

Быть или не быть, быть или не быть.
Быть или не быть, быть или не быть. Глаголы ser и estar необходимы для понимания онлайн-маркетинга. Смысл бытия в том, чтобы быть видимым в сети, и быть в том, чтобы иметь преобразования, то есть придать смысл бытию, чтобы компания, проводящая маркетинговую кампанию, успешно монетизировала поставленную им цель. Чтобы быть видимым, важно провести хорошую кампанию
Лучшие страницы SEO-анализа
... для SEO. Мы используем приложение YOAST в качестве внутреннего инструмента для ВЕБ-САЙТА. Во внешнем SEO-анализе мы используем множество бесплатных и онлайн-сервисов тестирования. Мы хотели бы поговорить об интернет-страницах, которые делают лучший SEO-анализ в нашей статье. 1. https://www.seoptimer.com/ Это веб-страница для анализа SEO, которую мы широко используем
Как вы знаете, если ваш сайт оптимизирован для SEO
... нерировать трафик значительно выше по сравнению с прямым доступом. По этой причине рекомендуется сделать все возможное для создания качественного SEO, чтобы привлечь как можно больше трафика на сайт. Существуют различные приемы SEO для каждого веб-сайта, но в общих чертах, SEO фокусируется на релевантных ключевых словах, добавляемых к страницам и контенту. К сожалению, большинство владельцев сайтов или блогов не придают значения индексации в поисковых системах. Другие не знают, как
Оптимизировать файл WordPress robots.txt для SEO
... пример в файле robots.txt на Apple.com: Файл роботов с Apple.com В примере Apple.com пользовательский агент с именем «Baiduspider» заблокирован для разных URL-адресов. примеров Я привожу несколько примеров файлов robots.txt, чтобы дать вам представление о том,
Будут ли ссылки на Web 2.0 продвигать мой сайт?
Будут ли ссылки на Web 2.0 продвигать мой сайт? Джон Мюллер, сотрудник Google, опубликовал комментарий на форуме Инструментов Google для веб-мастеров о том, как Google оценивает ссылки Web 2.0. Джон ответил на вопрос и сказал: «Мы уже в значительной степени игнорируем эти ссылки (так же, как мы игнорируем ссылки на веб 2.0 / Pinterest / YouTube / article / etc)», а на английском языке: «Мы (Google, Эти ссылки
Вы оптимизированы? Используйте SEO-анализ
Существует множество небольших способов проверить, окупаются ли ваши усилия по оптимизации ключевых слов для вашего веб-сайта. Вы будете знать, что вы достигаете оптимизации поисковой системы, когда ваш трафик увеличивается, когда вы вводите ключевые слова, которые вы используете, в поисковой системе и фактически находите свой собственный сайт. Есть много инструменты это поможет вам проверить то или иное, так что вы можете настроить SEO
Google не может сканировать динамические URL: MYTH BUSTED
... для вашего сайта». Оценивая и даже поддерживая Усилия Google по сканированию «глубокой сети» Есть некоторые опасения, что их совет противоречит тому, что мы слышали от Google в прошлом делая это новое разъяснение несколько темным. Конечно, любой, кто просматривал результаты поисковых систем в любое
Инструменты Google для SEO
... несколько инструментов, которые помогут вам понять естественные ссылки и лучше понять оптимизацию вашего сайта. Функции Google Поиск " site: yoursite.com ": позволяет просматривать страницы вашего сайта, проиндексированные поисковой системой. Поиск " site: ключевое слово yoursite.com ": позволяет увидеть страницу вашего наиболее релевантного сайта (согласно
Нужно ли индексировать ваши целевые страницы PPC при поиске?
... пример, вы разрешаете своим пользователям загружать электронную книгу после регистрации, и вы создали для этого целевую страницу с высокой конверсией. Теперь вы определенно не хотите, чтобы люди находили эту страницу с помощью поиска, и позволяли людям загружать электронную книгу, не получая от нее ответа. Страница с уникальным трафиком: кампании на основе уникальных источников трафика повышают конверсию и узнаваемость бренда. Вы можете создать уникальную целевую
Почему SEO не даст вам мгновенных результатов на сайте
Когда вы думаете о каком-либо обещании дать вам мгновенные результаты на сайте благодаря SEO, вот вам аналогия: представьте, что вы стоите на ступеньках и хотите подняться на вершину. Есть несколько способов добраться туда. Один из них - постоянно подниматься на каждую ступеньку, чтобы убедиться, что вы готовы, прежде чем ставить ногу на следующую. Второй вариант, если вы в форме и достаточно смел, это прыгать снизу вверх. Вы достигли своей цели (или цели) гораздо быстрее. Тем не менее,
Google против Yahoo против Bing: 3 поисковых системы, о которых вы должны знать
Онлайн поиск стал нормой сегодня. С момента появления самых ранних поисковых систем, таких как Арчи Вероника и Джагхед, VLib а также возбуждать почти полтора десятилетия назад - которые предлагали только основные функции и поисковые

Комментарии

Тем не менее, как вы можете узнать, является ли ваш сайт оптимизированным для SEO или как вы можете сделать это, чтобы получить одобрение Google и не только?
Тем не менее, как вы можете узнать, является ли ваш сайт оптимизированным для SEO или как вы можете сделать это, чтобы получить одобрение Google и не только? Вот некоторые ключевые элементы: Индексирование сайта в поисковых системах - если сайт не проиндексирован в поисковых системах, то вы не можете захватывать трафик. Однако, если сайт проиндексирован в Google, это означает, что он оптимизирован для SEO. По мере того как сайт индексируется, роботы Google будут посещать
Как вы гарантируете, что ваш сайт не потеряется из-за бесчисленного количества результатов, которые появляются в поисковых системах, таких как Google?
Как вы гарантируете, что ваш сайт не потеряется из-за бесчисленного количества результатов, которые появляются в поисковых системах, таких как Google? Введите: поисковая оптимизация (SEO). SEO - это процесс, направленный на повышение видимости вашего сайта и рейтинга в результатах поисковых систем - чем выше рейтинг, тем выше вероятность того, что ваш сайт увидят. Но как вы узнаете, как будет складываться ваш сайт? Есть несколько способов повысить видимость и рейтинг вашего сайта.
Как я могу узнать, какие страницы не были проиндексированы Google, и сделать это так, чтобы не нарушать правила Google?
Как я могу узнать, какие страницы не были проиндексированы Google, и сделать это так, чтобы не нарушать правила Google? Google не указывает, была ли страница проиндексирована в консоли поиска Google, не позволяет нам просматривать результаты поиска, чтобы получить ответ, и не заинтересована в косвенном получении ответа от недокументированного API. (Это было умное решение Шона Малсида и обходной путь.) Давайте рассмотрим некоторые решения. Аналитическое решение
Но если все эти факторы влияют на создание первой страницы результатов поиска Google, то почему иногда не очень хороший контент стоит на первом месте?
Но если все эти факторы влияют на создание первой страницы результатов поиска Google, то почему иногда не очень хороший контент стоит на первом месте? Причин может быть несколько, и иногда сайт, который выполняет вставку ключевых слов, все еще находится на первой странице, потому что для поисковой системы он очень хорошо отвечает потребностям пользователей в этом конкретном запросе. - Энрико Альтавилла На этом этапе вам должно быть ясно, что стратегия ключевых
Когда вы вводите быстрый поиск чего-либо, как часто вы попадаете на 5-ю или 6-ю страницу поиска Google?
Когда вы вводите быстрый поиск чего-либо, как часто вы попадаете на 5-ю или 6-ю страницу поиска Google? Да, не очень часто! На самом деле - в мире, где проживает поколение заведомо ленивых людей, вы можете поспорить, что большинство людей едва ли когда-либо дойдут до третьего!
Знаете ли вы, какие вопросы задавать, и какие ответы будут для вас более точными?
Знаете ли вы, какие вопросы задавать, и какие ответы будут для вас более точными? В этой статье мы стремимся обобщить эти вопросы и ответы. С самого начала полезно заявить, что мы не намерены прославлять собственный бизнес и дискредитировать наших конкурентов. 1. Избегайте хорошей цитаты Некоторые эксперты по SEO могут давать обещания, такие как bulun, если вы работаете с нами, мы поставим вас в топ-10 очередей через 15 дней. Хотя десятки тысяч веб-сайтов конкурируют
Есть ли на моем сайте поисковые термины или темы, которые не имеют отношения к основной теме моего бизнеса?
Есть ли на моем сайте поисковые термины или темы, которые не имеют отношения к основной теме моего бизнеса? Как заинтересованный человек в настоящее время ищет Google? Достаточно ли я справился с поисковым поведением моих читателей? Как мне найти лучшие ключевые слова? Стоят ли мне нишевые ключевые слова? Кто создает мой контент? Имеет ли длина текста отношение к ранжированию? Да! Количество слов в
Разве ваш сайт не может быть легко найден, когда ваш бизнес имеет именно то, что они ищут?
Разве ваш сайт не может быть легко найден, когда ваш бизнес имеет именно то, что они ищут? Кликните сюда увидеть наши пакеты адаптивной поисковой оптимизации Как Famous WSI Results может помочь вам подключиться к потенциальным клиентам, которые ищут ваш продукт или услугу? Это достигается
Хотя существует множество элементов на странице, которые определяют ваш рейтинг страницы, вы когда-нибудь задумывались о том, играет ли ваш провайдер WordPress роль в тактике SEO?
Хотя существует множество элементов на странице, которые определяют ваш рейтинг страницы, вы когда-нибудь задумывались о том, играет ли ваш провайдер WordPress роль в тактике SEO? Если вы ищете хостинг-провайдера WordPress и беспокоитесь о том, могут ли они помочь или нанести ущерб вашему потенциалу SEO, тогда вы захотите продолжить чтение, чтобы раскрыть менее известное влияние хостинг-сервисов WordPress на поисковую оптимизацию. , Влияет ли качество хостинга на рейтинг SERP?
Хорошо ли оптимизирован ваш сайт для поисковых систем, таких как Google, Yahoo и Bing?
Хорошо ли оптимизирован ваш сайт для поисковых систем, таких как Google, Yahoo и Bing? Конечно, создание ссылок и обратных ссылок очень важны для SEO, но как ваша страница выглядит в результатах поиска? Вы когда-нибудь думали об этом активно? Google AdWords продвигать свои услуги и продукты? Успех в поисковой оптимизации зависит от многих факторов, но только два имеют решающее значение в долгосрочной перспективе для видимых
Почему Google проиндексировал все страницы на одном сайте, но только половину на этом другом сайте?
Почему Google проиндексировал все страницы на одном сайте, но только половину на этом другом сайте? Почему Google только проиндексировал 100 страниц из 40 000 сайтов, жалующихся выше? Гэри из Google объясняет: Прежде всего, отправка файла Sitemap не гарантирует индексацию страниц, на которые он ссылается. Рассматривайте файл Sitemap как способ помочь роботу Google найти ваш контент: если URL-адреса не были включены в файл Sitemap, сканерам может быть труднее найти эти URL-адреса
Txt?
Txt против вас?
Txt?
Txt?
Txt изменяется?
Txt?
Txt?
Txt?
Txt?
Txt?