Файл robots.txt і його директиви
- Для чого необхідний файл robots. txt
- Процес створення robots. txt
- Онлайн-варіант створення robots.txt
- Як правильно редагувати файл robots. txt
- Процес настройки файлу
- синтаксис robots.txt
- Перевірка коректності файлу
- Взаємодія пошукових систем і robots. txt
- Варіанти заборони індексації сайту
- Огляд роздільною директиви
- Дзеркало сайту
- Robots. txt і директива Sitemap
- Використання директиви Clean-param
- Директива Crawl-delay
- Як писати коментарі в robots.txt?
- Відмінності robots.txt і noindex
- висновки
Robots.txt - це текстовий файл, який надає пошуковим роботам параметри індексації сайту. Перш ніж виконати перевірку контенту на вашому ресурсі, пошукові роботи перевіряють наявність файлу robots.txt. Якщо виконати грамотну настройку цього файлу, ефективність сканування зросте в рази і принесе свої плоди для просування ресурсу.
Robots.txt створений для швидкої і коректної індексації важливих файлів на сайті, але його наявність не дає гарантії, що всі сторінки сайту будуть успішно проіндексовані. За допомогою Роботс ми показуємо роботам пошукових систем, що потрібно занести в свою базу, а що - ні.
Для чого необхідний файл robots. txt
Оптимізацію під пошукові системи неможливо уявити без robots.txt. Його головна функція полягає в тому, щоб окремі сторінки не піддавалися індексації пошуковими системами. На таких сторінках знаходиться контент, який не потрібно індексувати: розділи з технічними параметрами, папки внутрішні і т.д.
Для невеликих односторінкових сайтів кращим варіантом буде використання деяких директив robots.txt (наприклад - Sitemap, Host), так як використання самого файлу в такому випадку недоцільно.
Процес створення robots. txt
Robots.txt є текстовим файлом, тому для його створення вам знадобиться текстовий редактор. Скористатися можна будь-яким, який встановлений на вашому комп'ютері, наприклад - Блокнотом. Зміст текстового файлу безпосередньо залежить від ваших цілей. Готовий файл необхідно зберегти у форматі .txt і дати йому назву «robots». Створення файлу - досить проста процедура, а ось над змістом robots.txt необхідно більш ретельно попрацювати.
Онлайн-варіант створення robots.txt
Існують онлайн-програми, які можуть автоматично згенерувати файл robots.txt. Такі сервіси дозволяють завантажити файл в готовому вигляді, але не завжди він буде гарантувати, що у відкритому доступі будуть тільки потрібні сторінки ресурсу. Справа в тому, що онлайн-варіант robots.txt необхідно перевіряти перед установкою, так як він може містити неправильні параметри обмежень. Щоб в пошуку не виявилося непотрібного матеріалу, файл Роботс підлягає коригуванню для визначення більш точних опцій доступу до сторінок сайту. Це допоможе уникнути помилок, які необхідно усувати до розміщення файлу.
Як правильно редагувати файл robots. txt
Після створення файлу robots.txt будь-яким із способів його потрібно відредагувати. У даного файлу є особливий синтаксис, який необхідно дотримуватися під час налаштування.
Згодом сайт може видозмінюватися, отже, і robots.txt буде міняти своє утримання. Для правильної роботи кожну нову версію боязкість необхідно вивантажувати на ресурс, щоб він працював відповідно до актуальних наповненням сайту.
Процес настройки файлу
Налаштування robots.txt необхідно для того, щоб у вільний доступ не потрапляли файли, які повинні бути доступні тільки адміністраторам сайту. Незважаючи на те, що Роботс задає параметри доступу пошукової системи до сайту, вона не може забезпечити повний захист приватних сторінок. Якщо провідні пошукові системи (такі як Яндекс і Google) будуть дотримуватися параметри, встановлені файлом, то неперевірені системи можуть просто ігнорувати їх.
Розуміння основного синтаксису, директив та інших параметрів файлу robots.txt допоможуть правильно сформулювати зміст файлу, який буде ефективно працювати на благо ресурсу.
Складання Роботс починається з директиви «User-agent». Вона вказує на робота, до якої адресовано конкретна директива.
наприклад:
- директива, яка вказує на всіх роботів буде виглядати ось так: User-agent: *;
- директива, яка вказує на роботів Яндекс: User-agent: Yandex;
- директива, яка вказує на роботів Google: User-agent: Googlebot.
У цих прикладах показано, що робот буде застосовувати тільки ті параметри, які задані в User-agent.
Забороняє директива «Disallow» з параметром «/ * utm_» не повинна обрамлятися порожніми перекладами рядки, в тому числі заборонено пропускати рядки всередині одного «User-agent».
Як виглядає коректне оформлення robots.txt:
User-agent: Yandex
Disallow: / * utm_
Allow: / * id =
____
User-agent: *
Disallow: / * utm_
Allow: / * id =
У прикладі можна помітити, що вказівки для роботів має форму блоків. У кожному блоці має бути загальна вказівка для роботів всіх пошукових систем, або ж для якогось певного.
Роздільна директива «Allow» і забороняє «Disallow» повинні бути розташовані в певному порядку, якщо вони використовуються разом. Це стосується і інших протилежних за значенням директив.
Використання парних директив:
User-agent: *
Allow: / blog / page
Disallow: / blog
У прикладі вказані параметри, які будуть забороняти індексацію сторінок, що починаються з «/ blog / page», і забороняти сторінки з «/ blog».
Правильна послідовність буде виглядати таким чином:
User-agent: *
Disallow: / blog
Allow: / blog / page
Доцільно закрити доступ до всього розділу сайту і відкрити - до одиничних його підрозділами, якщо таких меншість.
Ще один спосіб коректного формулювання директив «Allow» і «Disallow» - це відсутність параметрів. В такому випадку роботами це буде зчитуватися як параметр «/».
Нижче ви можете побачити приклад директиви «Disallow / Allow», яка не має параметрів:
User-agent: *
Disallow: # рівнозначно Allow: /
Disallow: / blog
Allow: / blog / page
Обидва способи формулювання рівноцінні і обидва правильні. Важливо не сплутати один спосіб з іншим і не змішати все в одній директиві. При складанні файлу robots.txt найважливіше - це чітко встановити заборонені і доступні сегменти сайту.
синтаксис robots.txt
Файл robots.txt створюється згідно з визначеними структурі, тобто синтаксису. Правила написання боязкість досить прості, але їм необхідно слідувати в обов'язковому порядку. Ці правила створені для пошукових роботів, які слідують заданим командам. Варто зазначити, що не всі пошукові системи сприймають синтаксис robots.txt одноманітно.
Самі частотні помилку при створенні файлу robots.txt ви зможете обійти стороною, слідуючи таким правилам:
- для кожної директиви відводиться окремий рядок;
- на початку рядка заборонено ставити пробіл;
- не тільки директива, а й все її параметри повинні уміщатися в одному рядку;
- заборонено брати параметри директиви в лапки;
- в кінці рядка (після параметра директиви) не можна ставити крапку з комою;
- формат команди в Роботс має такий вигляд: [Ім'я директиви]: [необов'язковий пробіл] [значення] [необов'язковий пробіл];
- після знака # дозволено писати коментарі;
- якщо була пропущена порожній рядок, то вона буде означати закриття директиви User-agent;
- протилежні директиви «Disallow» і «Allow» можуть бути рівнозначні в тому випадку, якщо в «Disallow:» буде пусте значення. Тоді його можна прирівняти до «Allow: /»;
- в вищезазначених директивах «Disallow» і «Allow» можна вказувати лише один параметр;
- найменування файлу robots.txt не повинно містити заголовних букв. Правильне написання саме маленькими літерами;
- директиви та їх параметри також вказуються маленькими буквами. У цьому випадку використання великих трактуватиметься як невірне написання;
- коли директорія є параметром директиви, то перед її назвою використовується слеш «/»;
- якщо файл robots.txt буде досить об'ємним (понад 32 Кб), то він буде трактуватися як директива «Disallow:», тобто повністю роздільна директива;
- якщо файл Роботс виявиться недоступним, то він також буде прирівнюватися до повністю яке дозволяє «Disallow:»;
- порожній robots.txt не може мати іншого значення, як повністю дозволяє, по причині того, що в ньому не буде вказано не жодної директиви;
- якщо між декількома директивами «User-agent" не буде порожній рядки, то всі наступні директиви будуть опущені і інформація в них проігнорована;
- в файлі можна використовувати тільки латиницю, символи з інших національних алфавітів не допускаються.
Деякі правила можуть бути виключені в силу того, що кожна пошукова система зчитує файл Роботс особливим способом. Robots.txt повинен містити тільки ту інформацію, яка дійсно необхідна. Чим коротше і зрозуміліше буде складено файл, тим чіткіше його буде трактувати пошукові роботи.
Перевірка коректності файлу
Існує безліч онлайн-сервісів, які допомагають з перевіркою файлу robots.txt. Найбільші корпорації, в тому числі Google і Яндекс, мають власні служби для роботи з сайтами. За допомогою таких сервісів можна проаналізувати правильність написання Роботс.
Щоб перевірити працездатність robots.txt в онлайн-режимі, файл завантажується в кореневу директорію сайту. Без такого етапу система може зовсім не знайти положення файлу. Крім цього, потрібно перевірити наявність певної Роботс за адресою на ресурсі.
Після складання Роботс варто переконатися, що в ньому немає помилок, які можуть нашкодити індексації.
Для перевірки файлу на відповідність вимогам Google потрібно зайти в аккаунт Google.Webmaster. Там, де йде відстеження сайту, необхідно зайти в пункт «Сканування» і далі натиснути «Інструменти перевірки файлу robots.txt».
Сервіс від Гугл допоможе:
- виявити елементи, де ви допустили помилки;
- перевірити, чи коректно виконаний заборона індексації для певних сторінок ресурсу;
- безпосередньо в програмі скорегувати потрібні елементи файлу, де були виявлені помилки.
Перевірку файлу robots.txt також можна провести в сервісі Яндекс.Вебмастер ( http://webmaster.yandex.ru/robots.xml ).
Працює даний інструмент від Яндекс аналогічно гугловських. Перевірку файлу можна проводити навіть без авторизації і перевірки прав на ресурс. Для Яндекс.Вебмайстер необхідно правильно задати параметри перевірки, внести всі сторінки, які підлягають моніторингу, тоді ви зможете правильно скорегувати robots.txt.
Крім валідаторів від Гугл і Яндекс можна знайти безліч інших систем для перевірки robots.txt.
Взаємодія пошукових систем і robots. txt
Багато хто вважає, що окрема директива для Яндекс зчитується набагато краще, ніж при написанні спільним блоком. Подібна ситуація спостерігається і в Google. Щоб регулювати процес індексації сайту за допомогою файлу Роботс, краще прописувати окремі директиви для кожної пошукової системи. Таким чином ви як-би персонально звертаєтеся до робота тієї чи іншої пошукової системи. Якщо для Яндекс можна прописати заборону на індексацію, то для Гугл така можливість відсутня. Ще одна особливість Яндекс полягає в тому, що цей пошуковик враховує директиву «Host». Вона необхідна, щоб вказувати головне дзеркало сайту. Детальніше про цю директиві ви дізнаєтеся далі в статті.
Варіанти заборони індексації сайту
Існує забороняє директива Disallow, яка створена для використання в файлі Роботс. Дана директива має особливі функції, які дозволяють заборонити індексацію або повного сайту, або його окремих сторінок.
Приклад повної заборони індексації для роботів всіх пошукових систем:
User-agent: *
Disallow: /
У директиви Disallow є кілька параметрів, завдяки яким можна правильно сформулювати заборону індексації певних сегментів сайту. Наприклад, * і $:
* - означає, що будь-якої один параметр задовольняє інші подібні, при цьому кожна наступна директива буде інтерпретуватися ідентично без вказівки *.
User-agent: Yandex
Disallow: / page
User-agent: Yandex
Disallow: / page *
$ - говорить про те, що значення параметра відповідає виключенню:
User-agent: Googlebot
Disallow: / page $
В останньому прикладі показано, що директива Disallow забороняє індексацію / page, але дає доступ до інших сторінок. Для заборони індексації можна використовувати не тільки robots.txt, але і тегами HTML, які будуть працювати аналогічно.
<Meta name = "robots" content = "none» /> - заборона індексації сторінки і переходу по посиланнях;
<Meta name = "robots" content = "noindex» /> - значення такого коду забороняє проводити індексацію цілої сторінки;
<Meta name = "robots" content = "nofollow» /> - заборона переходу по посиланнях, які розташовані на сторінці.
Огляд роздільною директиви
На противагу директиві Disallow створена роздільна директива Allow. Синтаксис цих елементів файлу Роботс має однакову форму, але різний зміст.
У прикладі можна розглянути випадок, коли потрібно заборонити індексацію сайту повністю, але залишити доступ пошуковим роботам до деяких сторінок:
User-agent: *
Disallow: /
Allow: / page
Таким поєднанням надається доступ тільки до сторінок ресурсу, які починаються з / page, решті сайт буде під забороною для індексації.
Директива Allow з порожнім значенням буде означати, що дозволено «нічого», тобто весь сайт закритий для пошукових роботів. У випадку з порожньою директивою Disallow все діє навпаки - весь сайт доступний для індексації.
Дзеркало сайту
Існує окрема директива під назвою Host, яка створена виключно для пошукових роботів Яндекс. Таку директиву використовують, якщо ресурс має кілька доменів (наприклад, міжнародний .com і національний .ru). Host вказує роботу пошукача Яндекс головне дзеркало сайту.
Одна з функцій Host - це виявлення пріоритетного варіанту серед site.ru і www.site.ru. В параметрах директиви вказується кращий варіант адреси сайту, тобто головне дзеркало ресурсу.
Доменне ім'я має бути вказано в параметрах директиви без використання «www» і «http //»:
User-agent: Yandex
Disallow: / page
Host: site.ru
Host можна використовувати один раз, так як інші варіанти просто не будуть використані. Для того, щоб головне дзеркало сайту виявлялося і іншими пошуковими системами, варто скористатися додатковими інструментами. Наприклад, для вказівки головного дзеркала для пошукового робота Google, потрібно скористатися сервісом корпорації «Інструменти для веб-майстрів».
Robots. txt і директива Sitemap
Щоб пошукової робот швидко виявив на ресурсі місцезнаходження файлу карти сайту, використовується директива Sitemap.
Виглядає директива таким чином:
User-agent: *
Disallow: / page
Sitemap: http://www.site.ru/sitemap.xml
Якщо ви вказуєте адресу карти сайту за допомогою розміщення директиви Sitemap у файлі robots.txt, це сприяє її більш швидкої індексації.
Використання директиви Clean-param
Сторінки, що мають динамічні параметри, можна прибрати від пошукових роботів за допомогою директиви Clean-param. Такі сторінки мають різний URL, але ідентичне наповнення, тобто до однієї сторінки є доступ за різними адресами. Такі динамічні адреси ховаються за допомогою даної директиви.
Директива Crawl-delay
На сайтах з величезною кількістю сторінок, наприклад, інтернет-магазинах або великих форумах, використовують дану директиву для зниження рівня навантаження на сервер. Таке трапляється через великої кількості відвідувачів, які заходять на ресурс.
Директива Crawl-delay дає команду пошуковим роботам, щоб вона не так часто скачували сторінки сайту.
Виглядає директива таким чином:
User-agent: Yandex
Disallow: / page
Crawl-delay: 3
Тут команда надходить до робота Яндекс, який буде завантажувати сторінку не частіше ніж один раз в три секунди. Деякі пошуковики зчитують дробові числа в параметрах директиви.
Як писати коментарі в robots.txt?
Якщо спочатку Трокі написати символ грати (#), то цей рядок буде ігноруватися роботами. Таким чином, для написання коментаря в Роботс потрібно ставити грати на початку рядка, або ж в якості продовження директиви - в середині.
Відмінності robots.txt і noindex
Альтернативний варіант, який допомагає повністю закрити сторінки від індексації, - це використовувати noindex в метатеге Роботс.
Для цього в <head> додається:
<Meta name = "robots" content = "noindex, follow">.
Така маніпуляція дозволить захистити сторінку від індексації не один раз, а кожен наступний. Це не доведеться робити вручну, що також є плюсом. Мета-тег Noindex передає контрольний вагу сторінки.
Закривати сторінки за допомогою такого мета-тега дуже зручно, так як при внесенні найменших змін на сайті, вам не доведеться заново закривати адмінку від індексації, також приховувати сторінки для реєстрації на ресурсі, відновлення пароля та авторизації.
висновки
Файл robots.txt можна по праву вважати одним з найважливіших компонентів в процесі SEO-просування . Цей інструмент допомагає злагоджено взаємодіяти пошуковим роботам і ресурсу під час індексації , Значно прискорює цей процес і дозволяє провести його коректно.
Внутрішня оптимізація ресурсу неможлива без правильного налаштування robots.txt, так як саме цей файл закладає фундамент успішного просування ресурсу в пошукових системах.
Похожие
... txt і sitemap.xml дають можливість організації індексації сайту. Ці два файли добре доповнюють один одног...... txt і sitemap.xml дають можливість організації індексації сайту. Ці два файли добре доповнюють один одного, хоча в той же час вирішують протилежні завдання. Якщо robots.txt служить для заборони індексації цілих розділів або окремих сторінок, то sitemap.xml, навпаки, підказує пошуковим роботам, які саме УРЛ-адреси потрібно індексувати. Розберемо кожен з файлів окремо. 24 грудня 2015 Очманілі Roo`чкі: технічний аудит для сайту nickermann.ru Влітку 2015 року редак...
24 грудня 2015 Очманілі Roo`чкі: технічний аудит для сайту nickermann.ru Влітку 2015 року редакція SEOnews і сервіс Rookee запустили новий проект під назвою «Очманілі Roo`чкі». В рамках проекту фахівці Rookee раз в місяць вибирають один сайт і роблять для нього безкоштовний технічний аудит. У цьому paveltsarcov | 06.11.2017 Кожен початківець SEO-фахівець при оптимізації сайту стикається з необхідністю створ...
paveltsarcov | 06.11.2017 Кожен початківець SEO-фахівець при оптимізації сайту стикається з необхідністю створення файлу robots.txt. Про те, яка роль цього файлу в SEO-просуванні, яким чином вони створюються і використовувати піде мова в даній статті. При краулінга сайту пошуковий бот відразу шукає файл robots.txt і слід його інструкціям. Сам файл представлений в текстовому форматі UTF-8 і знаходиться в кореневій Ми пропонуємо вам повний цикл послуг - створення сайту, розкручування і просування вже готового сайт...
Ми пропонуємо вам повний цикл послуг - створення сайту, розкручування і просування вже готового сайту в мережі інтернет. Розміщення вашого сайту або сайтів на наших майданчиках в Україні, Росії, США, Німеччини. контекстна реклама ... robotstxt-dla-seo-1.png> Що таке файл Robots.txt? Власник веб-сайту повинен буде використовувати протокол п...
... robotstxt-dla-seo-1.png> Що таке файл Robots.txt? Власник веб-сайту повинен буде використовувати протокол програм, відомий як WordPress Robots.txt (Робот Стандарт виключення), щоб порадити павукам пошукових систем не отримати доступу до частин відповідного ... txt-sajtu-1.jpg" alt="Від автора: хочете скласти для свого проекту файл з вказівками для робота, але не...
... txt-sajtu-1.jpg" alt="Від автора: хочете скласти для свого проекту файл з вказівками для робота, але не знаєте як"> Від автора: хочете скласти для свого проекту файл з вказівками для робота, але не знаєте як? Сьогодні розберемося, як подивитися robots.txt сайту і змінити його під свої потреби. В інтернеті щодня з'являються готові рішення по тій чи іншій проблемі. Немає грошей на дизайнера? Використовуйте один з тисяч безкоштовних шаблонів. Після публікації невеликої статті «Просування в пошукових системах Яндекс і Google» вирішив написати нову,...
Після публікації невеликої статті «Просування в пошукових системах Яндекс і Google» вирішив написати нову, що розкриває На численні питань про те, як спланувати розкрутку сайту, яким алгоритмом необхідно слідувати для просув...
На численні питань про те, як спланувати розкрутку сайту, яким алгоритмом необхідно слідувати для просування свого ресурсу в пошукових системах, з'явилася дана стаття, яка, сподіваюся, буде корисна ряду новачків в SEO. Певного алгоритму розкрутки не існує самого по собі, кожен оптимізатор слід своїм пунктам, але так як новачки не стикалися раніше з подібними ... файл Robots.txt? Уладальніку сайта прыйдзецца скарыстацца пратаколам праграм, вядомым як WordPress...
... файл Robots.txt? Уладальніку сайта прыйдзецца скарыстацца пратаколам праграм, вядомым як WordPress Robots.txt (стандарт выключэння робатаў), каб раіць павукам пошукавых сістэм не атрымліваць доступ да частак сайта. Каб зрабіць гэта, уладальніку сайта прыйдзецца стварыць файл robots.txt (які падобны на звычайны тэкставы файл, які можна стварыць і праглядаць з дапамогай нататніка або іншых падобных праграм рэдагавання тэксту) і загрузіць яго ў каранёвую Написати технічне завдання (ТЗ) на створення сайту - це серйозна робота, яка вимагає досвіду, знань...
Написати технічне завдання (ТЗ) на створення сайту - це серйозна робота, яка вимагає досвіду, знань і чималого часу. Найчастіше - набагато більшого, ніж створення самого сайту. Адже не так просто, не бачачи самого сайту, написати, як все повинно працювати і виглядати, особливо якщо цим не доводиться займатися кожен день. Але ж для багатьох замовників їх сайт буває першим проектом. Доручати розробку ТЗ на створення сайту стороннім фахівцям теж не вихід, адже хто краще самого Доброго времени суток читачі infokompa ! В інтернеті написано дуже багато статей про методи просування...
Доброго времени суток читачі infokompa ! В інтернеті написано дуже багато статей про методи просування і Txt?
Txt?
Txt?
Txt?
1.jpg" alt="Від автора: хочете скласти для свого проекту файл з вказівками для робота, але не знаєте як"> Від автора: хочете скласти для свого проекту файл з вказівками для робота, але не знаєте як?
Немає грошей на дизайнера?
Txt?
Txt?