Оптимизировать файл WordPress robots.txt для SEO
- Что такое файл robots.txt ?
- Где находится файл robots.txt?
- Как выглядит файл robots.txt?
- примеров
- 1: заблокировать весь контент для роботов
- 2: Разрешить весь контент для (всех) роботов
- 3: заблокировать определенного робота из определенной папки или страницы
- Как выглядит хороший файл robots.txt для WordPress?
- Тестирование: Fetchen как Google
- Отредактируйте файл robots.txt
- заключение
С файлом robots.txt вы можете запретить поисковым системам посещать определенные файлы, папки и страницы. Поскольку файл robots.txt может существенно повлиять на ваше присутствие в поисковых системах, важно, чтобы вы знали, что вы делаете, когда редактируете этот файл. Отказ от ответственности:
Партнерские ссылки можно найти в наших статьях и на наших страницах. Когда вы совершаете покупку по одной из этих ссылок, мы получаем (как правило, небольшую) комиссию от продавца. Мы всегда даем честное мнение о продуктах. Нажмите здесь для получения дополнительной информации.
В этой статье я расскажу вам, что делать с файлом robots.txt. Просто чтобы быть уверенным, я сразу скажу вам, что вы абсолютно не должны делать ;-).
Что такое файл robots.txt ?
Файл robots.txt представляет собой текстовый файл, который вы можете загрузить как веб-мастер, чтобы дать инструкции «роботам». Это про "роботов" из поисковых систем. Их также называют пауками или гусеницами . Это «боты», которые сканируют и «читают» ваш сайт, а затем добавляют его или нет в «индекс» поисковой системы.
Этот робот не имеет ничего общего с файлом robots.txt
Файл роботов является его частью Протокол исключения роботов также сокращенно как REP . Это веб-стандарты, которые определяют, как роботы сканируют сеть и как индексируется контент. Этот протокол распространяется не только на файл robots.txt. Также теги noindex и nofollow упасть ниже. Эти теги определяют, следует ли переходить по ссылкам и должны ли (или должны) быть проиндексированы определенные страницы.
Где находится файл robots.txt?
Если на вашем сайте есть файл robots.txt, он должен находиться в «корне» вашего сайта. На нашем сайте это местоположение wplounge.nl/robots.txt .
Большинство сайтов WordPress имеют стандартный файл robots.txt, который выглядит следующим образом:
Пользовательский агент: *
Disallow: / wp-admin /
Разрешить: /wp-admin/admin-ajax.php
Здесь роботы и поисковые пауки исключены из Среда администрирования WordPress , за исключением файла admin-ajax.php .
Как выглядит файл robots.txt?
Файл robots.txt представляет собой текстовый файл с расширением TXT. Содержание этого файла выглядит очень по-разному для каждого сайта. Содержимое файла роботов структурировано следующим образом:
Пользовательский агент: [имя пользовательского агента]
Disallow: [строка URL, которую нельзя сканировать]
Строка, начинающаяся с «user-agent:», указывает, о каком роботе идет речь. Вы также можете ввести звездочку ( * ) здесь, чтобы указать, что это относится ко всем роботам. Вторая строка (начинающаяся с «Disallow:») указывает, какие URL не должны сканироваться этим роботом.
Вы также можете указать несколько URL для одного конкретного робота или паука в одном файле robots.txt. Вы можете увидеть пример в файле robots.txt на Apple.com:
Файл роботов с Apple.com
В примере Apple.com пользовательский агент с именем «Baiduspider» заблокирован для разных URL-адресов.
примеров
Я привожу несколько примеров файлов robots.txt, чтобы дать вам представление о том, что имеют различные типы «кодов» для того, как поисковые системы и другие пауки / роботы посещают ваш сайт.
1: заблокировать весь контент для роботов
Следующий фрагмент кода сообщает всем роботам (звездочка), что не весь контент может быть просканирован. «Косая черта» (/) указывает, что не следует сканировать все URL-адреса, начинающиеся с «/».
Если вы поместите это в файл robots.txt , скорее всего, ваш сайт исчезнет из Google в какой-то момент.
2: Разрешить весь контент для (всех) роботов
Следующий код делает обратное: весь контент может быть проиндексирован всеми роботами.
Поскольку после «запретить» ничего не происходит, роботы интерпретируют это как: весь контент, который я могу найти, может быть просканирован.
3: заблокировать определенного робота из определенной папки или страницы
Следующий код в вашем файле robots.txt блокирует робота с именем «Googlebot» для сканирования папки с примерами подпапок .
Агент пользователя: Googlebot
Disallow: / пример подпапки /
В этом примере вы фактически говорите роботу Google: вам не разрешено заглядывать в эту конкретную папку.
Как выглядит хороший файл robots.txt для WordPress?
Если у вас есть веб-сайт WordPress, вы, вероятно, задаетесь вопросом: как должен выглядеть мой файл robots.txt? Это хороший вопрос, потому что мнения разделились. Выше мы уже показали, что стандартный файл robots.txt из WordPress блокирует только папку wp-admin . Специалисты по SEO в Yoast однако, они думают по-другому ,
Yoast указывает, что нет необходимости вообще блокировать вашу папку wp-admin . Это связано с тем, что в папке администратора уже есть метатеги, которые сообщают роботам, что эту папку не нужно индексировать.
Пока ваш файл robots.txt не выглядит так, как он пример 1 Так что вам не нужно слишком беспокоиться.
Тестирование: Fetchen как Google
Самое главное - проверить , может ли Google правильно сканировать ваши страницы. К счастью, есть удобная функция для этого Google Search Console , Добавив свой веб-сайт в консоль поиска, вы сможете получать все виды полезной информации о вашем сайте и о том, как Google видит ваш сайт. Воспользуйтесь этим, я бы сказал.
Одна из наиболее полезных функций консоли поиска Google - « Получить как Google» (или «Получить как Google» на английском языке). Вы можете найти это в разделе «Сканирование». Здесь вы можете указать URL своего сайта, просканированный Google. Наш великий друг Google покажет вам, как выглядит ваша страница в соответствии с Google.
У нас есть статья вчера ( WordPress Fix "Синтаксическая ошибка" ) прошел через инструмент «Получить как Google» и получил следующий результат:
Google указывает URL-адрес вашей страницы вверху, а Google также показывает, смог ли робот Google сканировать вашу страницу «частично» или «полностью». В приведенном выше примере мы заблокировали несколько URL-адресов с помощью robots.txt, чтобы результат был «частичным».
Самая важная часть этого отчета - это разница между «Вот как робот Google видел страницу» (слева) и «Так посетитель вашего сайта мог видеть страницу» (справа). Если бы между ними были серьезные различия, ваш сайт сделал бы что-то не так: Google хотел бы увидеть то, что увидит посетитель. Поэтому убедитесь, что файлы JavaScript и CSS можно правильно сканировать, потому что теперь Google смотрит на все. Это позволяет Google лучше оценивать общий «опыт» вашего сайта и, следовательно, лучше определять, какой сайт имеет более высокое качество.
Отредактируйте файл robots.txt
Вы хотите отредактировать файл robots.txt на своем сайте WordPress после прочтения этой статьи? Это возможно! Вы можете, конечно, через FTP войдите и настройте файл вручную, но если ваш сайт (как и WPLounge.nl) является одним из более чем пяти миллионов веб-сайтов, Yoast SEO -плагин, это тоже может быть проще!
Перейдите в меню «SEO» в WordPress и выберите «Extra» . Здесь вы найдете опцию «Редактор файлов» :
Нажмите на ссылку, чтобы открыть редактор файлов. Здесь вы можете настроить свой файл robots.txt напрямую. По крайней мере, как этот записываемый есть. И помните: проверьте, не ошиблись ли вы на нескольких случайных страницах вашего сайта, Инструмент "Получить как Google" получить! Таким образом, вы сразу узнаете, допустили ли вы ошибку, которая может иметь катастрофические последствия для вашей видимости в поисковых системах.
заключение
Файл robots.txt - это мощный инструмент для защиты роботов от определенных частей вашего сайта. Если вы хотите, чтобы ваш сайт был должным образом проиндексирован, то на самом деле лучше держаться подальше от файла роботов, тогда вы тоже ничего не можете сделать неправильно ;-).
Вы подозреваете, что что-то не так с вашим файлом робота? Затем перейдите на yourwebsite.nl/robots.txt и используйте приведенные выше примеры, чтобы проверить, что-то не так. Или протестируйте его с помощью инструмента в консоли поиска Google. Вы не можете понять это? Тогда, пожалуйста, не стесняйтесь контакт нам!
Оцените эту статью
Похожие
Что такое SEO?Поисковая оптимизация (SEO), как и реклама в поисковых системах (SEA), является частью поискового маркетинга (SEM). Он включает в себя все методы, которые позволяют поисковым системам, таким как Google, быстрее находить веб-сайт. В этом случае речь идет об обычных (не спонсируемых) результатах поисков, выполненных поисковыми системами. Прежде всего, код сайта должен быть более доступным для поисковых систем. Поэтому SEO Как оптимизировать SEO бесплатно?
... как и как мы поступаем. Учитывая сложную экономическую ситуацию, в которой мы, вероятно, считаем вас странным, не так ли? Возможно, вы правы, я не хочу противоречить вам этой статьей, а просто изложить свою точку зрения! Интернет, на мой взгляд, одна из возможностей, о которых я говорил. В начале 90-х он использовался только для связи с современным миром, а затем мы открыли для себя социальные сети, и теперь это один из лучших маркетинговых инструментов. Что такое SEO? Что это делает?
... для вас. Значительная часть результатов поиска состоит из рекламы. Органический трафик - это трафик, полученный без оплаты. Как работает SEO? Google, Yahoo! или когда вы зададите вопрос такой поисковой системе, как Bing, вы сразу увидите список ссылок веб-страниц. Процесс выглядит очень просто. Но вы когда-нибудь задумывались SEO для изображений Google
... файла: Самая классическая классика из всех, название соответствующим образом и с ключевыми словами, которые нас интересуют в файле изображения. В случае, если мы хотим разместить изображение на желтом плаще, имя должно быть «chubasquero-amarillo.jpg». Оно должно быть написано строчными буквами, без ударения и с разделением слов знаком «-». Формат файла: Google любит файлы jpg, png и gif Amazon SEO
( 1 голосов, в среднем: 5.00 из 5) Загрузка ... Описания продуктов в такой жесткой электронной коммерции, SEO Швейцария
Эта статья направлена на то, чтобы помочь малым и крупным компаниям и организациям в Швейцарии, которые знают о SEO (поисковая оптимизация, то есть оптимизация контента, чтобы быть в хорошем положении в результатах поиска). и хотим внедрить инновационную тактику, которая увеличит продажи. Важность SEO В наши дни, когда мы говорим об электронной коммерции, тема SEO-маркетинга идет рука об руку. Но есть проблема: даже специалисты по SEO не могут убедить компании SEO услуги
... как можно скорее остановить процесс продаж, прежде чем уровень потерь увеличится. Нечто подобное происходит и в автомобильном бизнесе, особенно в городе Макассар. Большой город в Индонезии с довольно высоким населением. Некоторым жителям там, естественно, нужны четырехколесные частные транспортные средства, в этом случае автомобиль будет использоваться для повседневной деятельности. Поэтому Toyota была выбрана в качестве одного из надежных производителей по продажам в городе Макассар. SEO эксперт
... для регулярной оптимизации вашего сайта, а также множество качественных услуг SEO Jakarta, которые вы можете использовать для получения наилучших результатов; Неизвестный солдат Оптимизация веб-сайта с 2018 Неизвестным солдатом появляется с более яркими и яркими цветами. Работа над оптимизацией веб-сайта Blogspot Unknown Soldier по-прежнему представляет собой упражнение в применении методов поисковой оптимизации, естественно, без использования программного Многоязычный SEO
Лучшие многоязычные услуги SEO Многоязычные SEO-услуги по переводу Honey переводы в Индии в Ченнае предоставляют вам лучшие услуги. Обычно мы не передаем этот тип конфиденциальной информации клиентов на аутсорсинг, и их секретность продукта будет находиться под строгим контролем, пока мы не доставим конечный продукт нашему клиенту. Благодаря этой фирме SEM вы можете найти очень хороший поиск, который предоставляет лучшие фирмы по многоязычной поисковой оптимизации [SEO], а также ПРЕСС-РЕЛИЗ: Узнайте, что такое услуги SEO ...
Реклама и продвижение услуг и продуктов в онлайн-среде больше не является вариантом для вашего бизнеса. На самом деле, без такого вида риска немногие компании могут запустить и поддерживать активы на рынке. Поскольку наличие веб-сайта, рекламирующего ваши продукты и услуги, может быть хорошим, вам нужно решить ряд вопросов, без которых его позиционирование на первых страницах результатов невозможно. Специалисты по электронной рекламе, известная компания 6 эффективных SEO SEO советов
facebook все еще у всех на устах. Неудивительно, что гигантский охват почти 800 миллионов человек по всему миру. Только в Германии задействовано более 20 миллионов пользователей. Тем не менее, большинство областей Facebook являются «огороженным садом», поэтому не все могут войти - это особенно верно для поисковых систем, таких как Google! Как все же быть с точки зрения Facebook
Комментарии
Или как выглядит предварительный просмотр страницы в социальных сетях, таких как Twitter или Facebook?Или как выглядит предварительный просмотр страницы в социальных сетях, таких как Twitter или Facebook? Все эти аспекты охватываются всесторонней быстрой проверкой. Использование одностраничного анализа также полезно, если новая целевая страница должна быть запущена. С помощью комплексной одностраничной проверки сотрудники агентства сразу же получают действительный обзор состояния соответствующего веб-сайта и могут проверить их на наличие технических неполадок непосредственно до Если вы не знакомы с историей Google или не читали мою «SEO часть 1: что такое SEO?
Или как выглядит предварительный просмотр страницы в социальных сетях, таких как Twitter или Facebook? Все эти аспекты охватываются всесторонней быстрой проверкой. Использование одностраничного анализа также полезно, если новая целевая страница должна быть запущена. С помощью комплексной одностраничной проверки сотрудники агентства сразу же получают действительный обзор состояния соответствующего веб-сайта и могут проверить их на наличие технических неполадок непосредственно до Как писатель здоровья и психологии Джули Бек говорит «Первое, что мы спрашиваем у кого-то, когда мы встречаемся с ним по имени, откуда они, или, что гораздо интереснее,« где для вас дом?
Или как выглядит предварительный просмотр страницы в социальных сетях, таких как Twitter или Facebook? Все эти аспекты охватываются всесторонней быстрой проверкой. Использование одностраничного анализа также полезно, если новая целевая страница должна быть запущена. С помощью комплексной одностраничной проверки сотрудники агентства сразу же получают действительный обзор состояния соответствующего веб-сайта и могут проверить их на наличие технических неполадок непосредственно до Что такое SEO и что такое SEM?
Что такое SEO и что такое SEM? Каковы различия между ними? Поисковая оптимизация (SEO) - это процесс оптимизации вашего сайта, чтобы веб-сканеры понимали его более легко. В результате ваши страницы имеют более высокий рейтинг в Google, что дает вам бесплатный трафик. Маркетинг в поисковых системах (SEM) используется для обозначения процесса повышения видимости вашего сайта в поисковых системах с помощью способов оплаты. Это относится конкретно к платному Тем не менее, как вы можете узнать, является ли ваш сайт оптимизированным для SEO или как вы можете сделать это, чтобы получить одобрение Google и не только?
Тем не менее, как вы можете узнать, является ли ваш сайт оптимизированным для SEO или как вы можете сделать это, чтобы получить одобрение Google и не только? Вот некоторые ключевые элементы: Индексирование сайта в поисковых системах - если сайт не проиндексирован в поисковых системах, то вы не можете захватывать трафик. Однако, если сайт проиндексирован в Google, это означает, что он оптимизирован для SEO. По мере того как сайт индексируется, роботы Google будут посещать Сколько статей я нахожу в профессиональных блогах, которые не знают, что такое «h» или что такое «запятая»?
Сколько статей я нахожу в профессиональных блогах, которые не знают, что такое «h» или что такое «запятая»? Те, кто ценит орфографию, откажутся от статьи с опечатками даже не заканчивая читать это. И это не преувеличение, потому что я делаю это очень часто. Абзацы должны быть короткими. Я всегда рекомендую не превышать 5-6 строк . Это просто, но стоит помнить: это должен быть Облачные пути: поскольку мир SEO непрерывно трансформируется с момента его создания, как вы думаете, что ждет будущее в поисковой оптимизации, то есть, что дальше для SEO?
Облачные пути: поскольку мир SEO непрерывно трансформируется с момента его создания, как вы думаете, что ждет будущее в поисковой оптимизации, то есть, что дальше для SEO? Валерий: Как и предсказывали светлые умы прошлого, информация перемещается на мобильные устройства - так же, как и предсказывалось, довольно скоро индекс для мобильных устройств и настольных компьютеров будет объединен с мобильной версией страницы, которая будет сканироваться первой. На самом деле, очень SEO SEO в WordPress: что индексировать, а что нет?
SEO SEO в WordPress: что индексировать, а что нет? Это большой SEO-вопрос на миллион долларов. Я, главным образом, чтобы избежать дублирования контента, следую инструкциям, которые вносит признанный эксперт в этом деле Нил Патель Расширенное руководство по SEO , В моем посте вы можете увидеть полное и подробное объяснение того, что следует и не следует индексировать из вашего блога Эти теги являются областями в контенте вашего сайта, где абзацы разбиты по заголовкам, как, например, в приведенном выше вопросе «Что такое SEO на странице?
Эти теги являются областями в контенте вашего сайта, где абзацы разбиты по заголовкам, как, например, в приведенном выше вопросе «Что такое SEO на странице?». Эти разрывы в вашем контенте не только помогают улучшить читаемость, что помогает вашему ранжированию в поисковых системах, но и дают вам возможность усилить ваши усилия по SEO с помощью ключевых слов, выполняя две цели за один простой шаг. Анализ производительности SEO и отчетов Даже если вы считаете, что встроенное Вам не кажется, что пришло время прекратить выбирать глупые слова и фразы, на которые вы хотите претендовать, потому что это то, что говорят ваши товары или услуги?
Вам не кажется, что пришло время прекратить выбирать глупые слова и фразы, на которые вы хотите претендовать, потому что это то, что говорят ваши товары или услуги? Вы когда-нибудь думали, что хотят потребители? И как они ищут это в поисковике? Semantic SEO направлена на оптимизацию интернет-магазина или ваш веб-сайт для любого поиска, который может привести к вашим продажам - вот почему у Как оптимизировать SEO в Новостях Google?
Как оптимизировать SEO в Новостях Google? Начало ответа в этом руководстве! SEO-аудит - Какие моменты нужно проанализировать, чтобы сайт был «дружественным к Google»? Видимость в Google обязательна для веб-сайта. Но для этого он должен отвечать определенному количеству технических критериев, редакционных, семантических, структурных и т. Д. Независимо от того, находится ли сайт в стадии создания или редизайна или просто в сети в течение некоторого времени, важно провести
Txt ?
Txt?
Txt?
Txt для WordPress?
Txt ?
Txt?
Txt?
Txt для WordPress?
Txt?
Txt на своем сайте WordPress после прочтения этой статьи?