ROBOTS.TXT для WordPress: визначення, використання та налаштування
- Навіщо створювати файл Robots.txt?
- Як налаштувати файл Robots.txt?
- Візьмемо приклад розширення Virtual Robots.txt:
- Якщо ви використовуєте плагін Yoast SEO:
- Налаштуйте Robots.txt для WordPress
- Крок 2: Назвіть файл правильно
- Крок 3. Зрозумійте основні параметри файлу Robots.txt
- Крок 4. Обмежте індексацію моїх сторінок або папок
- Крок 5. Налаштуйте оптимізовану конфігурацію для WordPress
- Крок 6: Перевірте свій файл Robots.txt
- Бонус: файл Humans.txt
- висновок
Файл " Robots.txt " використовує "протокол виключення роботів (ботів)". Він розташований в корені вашого сайту WordPress і є першим файлом, який аналізується роботами пошукових систем (такими як Google, Bing, Yahoo ...).
Вона дозволяє надавати інструкції щодо індексування сторінок та інших елементів вашого веб-сайту. Якщо WordPress надає віртуальний файл "robots.txt", який надається після його встановлення, його зміна дозволяє краще керувати вмістом, індексованим у пошукових системах.
У цій статті підручника ми побачимо визначення, використання та налаштування файлу Robots.txt для WordPress :
Навіщо створювати файл Robots.txt?
Коли ви створюєте свій веб-сайт, ви не захочете посилатися на деякі сторінки на пошукових системах.
Наприклад, ваш сайт пропонує завантаження PDF-документів, доступних після заповнення форми. Ви хочете, щоб сторінки, що представляють ці PDF-файли, були проіндексовані, але не PDF-документ сам. Тут розміщено файл "robots.txt" . Ви можете доручити йому не індексувати ваш PDF у результатах пошуку.
Загалом можна визначити чотири інструкції :
- Попросіть роботів ігнорувати всі ваші сторінки (у цьому випадку в пошукових системах не буде посилатися жодна з ваших сторінок)
- Заборонити певним роботам індексувати сторінки вашого сайту (наприклад, лише Google)
- Заборонити вивчення певних сторінок, папок або файлів всім роботам
- Заборонити вивчення певних сторінок, файлів або файлів певним роботам
Увага! Файл robots.txt не обов'язково враховується "ботами". Це лише показник, і індексація ваших сторінок залежить також від інших елементів (наприклад, посилань на ваш сайт).
Деякі з них можуть з'являтися в результатах пошуку, оскільки сайти посилаються на неї, коли ви давали вказівку ігнорувати їх. У цьому випадку, якщо роботи дотримувалися ваших вказівок, ваша сторінка відображатиметься в результатах пошуку, але без Meta Description. Google просто вкаже:
Як налаштувати файл Robots.txt?
На WordPress створюється віртуальний файл robots.txt . Щоб отримати доступ до версії файлу robots.txt, введіть у адресний рядок: mydomaindomain.com/robots.txt . Віртуальний файл, встановлений WordPress, встановлює наступну конфігурацію:
Примітка. Будь-хто може отримати доступ до вашого файлу "robots.txt" через url yourdomainname.com/robots.txt. Тому ніколи не використовуйте файл "robots.txt", щоб приховати вміст вашого веб-сайту, оскільки шкідливі користувачі та роботи точно знатимуть, які URL-адреси та / або папки ви не хочете індексувати.
Також зверніть увагу, що якщо ви вже створили файл sitemap.xml Він буде автоматично додано до файлу robots.txt.
Оскільки це віртуальний файл, ви не знайдете файл "robots.txt" на вашому сервері. Щоб його можна було встановити, потрібно додати розширення або створити його самостійно та завантажити на сервер.
Щоб вручну створити файл robots.txt :
- Використовуйте улюблений текстовий редактор і створюйте текстовий файл
- Збережіть порожній файл з ім'ям robots.txt
- Завантажте цей файл через FTP до кореня WordPress
Також зверніть увагу, що WordPress пропонує безліч безкоштовних розширень :
Візьмемо приклад розширення Virtual Robots.txt:
Коли ви встановлюєте та активуєте розширення Virtual Robots.txt, воно додається у рядку меню ліворуч від панелі інструментів на вкладці "Налаштування".
Тут ви можете змінити ваш файл robots.txt, як ви вважаєте за потрібне. За замовчуванням конфігурація вже встановлена. Ми побачимо в останній частині, як визначити той, який найкраще відповідає вашим потребам.
Зауважте, що знову ж розширення не створюють файл "robots.txt" на вашому сервері. Це віртуальний файл. Візьмемо приклад Virtual Robots.txt. Якщо я встановлюю розширення на своєму сайті і отримую доступ до адреси www.monnomdedomaine.fr/robots.txt, браузер повідомляє мені, що це віртуальний файл, керований віртуальним плагіном роботи.
Якщо ви використовуєте плагін Yoast SEO:
Якщо ви шанувальник відмінно Yoast SEO плагін знайте, що ви також можете редагувати та змінювати Robots.txt через його інтерфейс. Для цього перейдіть до SEO >> Інструменти та натисніть Редактор файлів.
Примітка: Це меню не з'являється, якщо у вас є вимкнено редагування файлів в WordPress.
Тепер давайте поговоримо про найкращі практики налаштування файлу "robots.txt" і значення різних інструкцій вище.
Налаштуйте Robots.txt для WordPress
Крок 1: зрозумійте його сайт WordPress
Перш ніж починати писати файл "robots.txt", важливо знати структуру вашого веб-сайту. Це полегшує відкладання їх у файлі "robots.txt".
Коли ви використовуєте WordPress і отримуєте доступ до сервера вашого веб-сайту, ви визначаєте файли і каталоги "wp-admin", "wp-content" і "wp-include".
- Папка " wp-admin ": вона містить всі елементи бек-офісу, адміністрування вашого сайту.
- Папка " wp-content ": вона містить ваші теми, плагіни, зображення, які розміщуються на вашому сайті, файли кешу ...
- Папка " wp-include ": це набір файлів WordPress.
Існує мало сенсу в індексації папок, що містять адміністративні елементи веб-сайту, і навіть менше складових елементів WordPress. Папка "wp-content" єдина, яка містить елементи, які нас цікавлять (сторінки, зображення, статті ...). Нижче ми побачимо, як визначити ці правила.
Крок 2: Назвіть файл правильно
Важливо наполягати на назві файлу. Якщо він не називається "robots.txt" з "s" і всіма малими літерами, роботи вважають його неіснуючим. Цей файл є текстовим файлом, який можна встановити за допомогою традиційного текстового інструменту (файл повинен бути у форматі .txt) і який завжди повинен бути розміщений у корені вашого веб-сайту.
Нагадаємо, він завжди буде доступний за адресою: mydomaindomain.com/robots.txt.
Крок 3. Зрозумійте основні параметри файлу Robots.txt
Ось як виглядає основний файл "robots.txt" :
Перша операція "Користувач-агент" визначає робота. Якщо ви введете "*", це означає, що всі роботи можуть отримати доступ до вашого сайту. З іншого боку, якщо ви вказуєте:
Це означає, що всі роботи можуть індексувати ваш сайт, окрім Google. Друга інструкція "Заборонити" вказує на вміст, який ви не хочете індексувати. За замовчуванням весь вміст індексується роботами.
Якщо ви хочете заборонити індексацію сторінок всім пошуковим системам, вона буде слідувати "Заборонити" "/". Приклад нижче:
Тут я забороняю всім пошуковим системам (User-agent: *) індексувати мій сайт (у повному обсязі через "/"). Це корисно, коли веб-сайт все ще створюється. Зауважте, що ці інструкції можна встановити через панель інструментів WordPress. Перейдіть до налаштувань, а потім до підрозділу "читання".
Якщо встановити прапорець "Попросити пошукові системи не індексувати цей сайт", то ваш файл robots.txt відображатиметься за замовчуванням:
Тепер давайте подивимося, як заборонити доступ до певних сторінок або папок на вашому веб-сайті.
Крок 4. Обмежте індексацію моїх сторінок або папок
Повернемося до класичної структури сайту WordPress:
Як видно вище, ми не хочемо індексувати папку "wp-admin", яка містить елементи бек-офісу або папку "wp-includes", специфічну для WordPress. Це має стосуватися всіх пошукових систем. Потрібно буде написати:
- " User-agent: * ": інструкції стосуються всіх пошукових систем.
- " Disallow: / wp-admin і Disallow: / wp-includes ": я забороняю будь-якому сканеру індексувати вміст у папках "wp-admin" і "wp-includes" і дозволяти індексування папку "wp-content", оскільки вона враховує мої зображення.
Проте деякі файли в цій папці не зацікавлені в індексуванні. Я хочу індексувати лише зображення, що містяться в підтеці "uploads". Так що я буду використовувати заяву: "Дозволити" спеціально на наступному шляху "wp-content / uploads" і заборонити "wp-content":
Тут я прошу робота не індексувати вміст в папці "wp-content", крім тієї папки "uploads", яка є саме такою з зображень на сайті.
Нарешті, якщо ви не бажаєте індексувати певну сторінку (наприклад, тут з mapageperso.html), ви можете вказати адресу, до якої вона доступна:
Знову ж таки, ми наполягаємо на тому, що будь-хто може отримати доступ до вашого файлу robots.txt. Тому було б недоречно додати URL-адресу конфіденційної сторінки.
Крок 5. Налаштуйте оптимізовану конфігурацію для WordPress
Є багато сайтів, які пропонують оптимізовані конфігурації для WordPress. Однак, оскільки кожен веб-сайт є унікальним, їхній файл robots.txt також має бути . Він повинен працювати відповідно до архітектури сайту.
Все буде залежати від того, як буде створено ваш WordPress: з категоріями для налаштування силос , використання мітки чи ні , використання Канал RSS , використання a веб-сайт електронної комерції Фактично, ми пропонуємо Вам наступну конфігурацію, налаштовану для WPFormation:
User-agent: * # URL-адреси я не хочу індексувати: Вхід Trackbacks Disallow Коментарі: /wp-login.php Disallow: * / Disallow trackback: / * / comments Disallow: / cgi-bin Disallow: /*.php$ Disallow: : /*.inc$ Disallow: /*.gz Disallow: /*.cgi # Дозволені URL-адреси CSS JS Analytics для ботів Дозволити: / * css? * Дозволити: / * js? * Дозволити: / *? utm * Дозволити: / CSS /? # Allow Google Image User-Agent: Googlebot-Image Дозволити: / * # Дозволити Google AdSense User-Agent: Google-Mediapartners * Дозволити: / * Sitemap: https://mysite.com/sitemap_index.xml
Крок 6: Перевірте свій файл Robots.txt
Щоб перевірити файл robots.txt , потрібно перейти до Консоль пошуку від Google, доступних за цією адресою: https://www.google.com/webmasters/tools/ , Якщо ви ще не зробили цього, ви повинні "додати властивість", щоб додати WordPress до консолі пошуку.
Введіть адресу свого веб-сайту, щоб створити цю нову властивість:
Наступним кроком є підтвердження того, що ви є власником цього веб-сайту. Для цього Google пропонує завантажувати HTML-файл на ваш веб-сайт. Подивимося, як далі.
Завантажити файл перевірки HTML:
Увійдіть до свого FTP-сервера за допомогою FTP-клієнта, який ви використовуєте, і завантажте файл, який ви тільки що завантажили, у кореневий каталог вашого сайту. Як тільки ви зробите цей крок, поверніться до консолі пошуку Google, підтвердьте, що ви не робот і підтвердьте операцію.
Давайте зараз перевіримо, як працює файл "robots.txt". Коли ви натискаєте "продовжити", ви відкриваєте вікно з кількома опціями на лівій бічній панелі. На вкладці "Дослідження" виберіть "інструмент тестування robots.txt".
Інструмент відображає, якщо він виявляє помилки у вашому файлі. Можна також перевірити різні URL-адреси, щоб перевірити, чи вони заблоковані роботом.
Бонус: файл Humans.txt
Це не просто роботи в житті! Є також люди;)
Що це таке?
Це ініціатива, метою якої є знання людей, що стоять за веб-сайтом. Це TXT-файл, який містить інформацію про різних людей, які внесли свій внесок у створення сайту.
Чому файл TXT?
Тому що це швидко і легко зробити. Тому що це не впливає на код. Досить часто власники сайтів не хочуть, щоб автори додавали свій підпис; нібито тому, що це робить сторінки важче і робить сайт менш швидким.
Де ми це ставимо?
У корені сайту. Поруч із файлом robots.txt. Якщо це можливо, ви також можете додати тег автора в <head> сторінок сайту: <link type = "text / plain" rel = "author" href = "http: //domain/humans.txt" />
І я повинен це робити, тому що?
Це не обов'язково. Єдина мета цієї ініціативи - знати авторів веб-сайтів, які ми відвідуємо.
Про кого я згадую?
Кого ви хочете, за умови, що він / вона погоджується. Наприклад, можна включити розробника, дизайнера, редактора, SEO, SEM, SMO ... Список може бути довгим, оскільки може включати в себе всіх учасників дизайну сайту.
Докладніше про файл humans.txt , Див WPFormation ,
висновок
Якщо файл "robots.txt" не потрібний на вашому сайті WordPress, він дозволяє керувати вмістом, який можна індексувати роботами пошукових систем . Щоб дізнатися, чи потрібна вона, визначте, чи не потрібно індексувати певні частини вашого сайту.
Щоб знайти сторінки вашого веб-сайту, видимі для Google, можна натиснути на панелі пошуку "site: monsite.fr". Потім буде показано всі індексовані сторінки.
Нижче наведений приклад зі сторінками, індексованими на веб-сайті WP Training. " Результати близько 501 (0,26 секунди) " дозволять вам швидко побачити, що індексується чи ні. Якщо номер виглядає ненормально високим або низьким, він виправив ваш файл robots.txt.
Сьогоднішня тенденція сьогодні блокувати роботів якомога менше. Деякі сайти (наприклад, Yoast, наприклад) не обмежують роботів двигуна. Вони припускають, що пошукові системи знають, як розрізняти різний зміст.
Ви також можете:
Тепер це залежить від вас! До вашого Robots.txt;)
Robots.txt WordPress: визначення, використання та реалізація
4,5 за 25 голосів
Похожие
এসইও ভিডিও কোর্স। বিনামূল্যে এসই প্রশিক্ষণ, সার্চ ইঞ্জিন SEO অপ্টিমাইজেশান, ওয়েবসাইট প্রচার এবং প্রচার। বিনামূল্যে...এসইও ভিডিও কোর্স। বিনামূল্যে এসই প্রশিক্ষণ, সার্চ ইঞ্জিন SEO অপ্টিমাইজেশান, ওয়েবসাইট প্রচার এবং প্রচার। বিনামূল্যে ვიდეო კურსები SEO- ზე. უფასო SEO ტრენინგი, საძიებო სისტემა SEO ოპტიმიზაცია, ნახვა ხელშეწყობა და ...
ვიდეო კურსები SEO- ზე. უფასო SEO ტრენინგი, საძიებო სისტემა SEO ოპტიმიზაცია, ნახვა ხელშეწყობა და ხელშეწყობა. 关于SEO的视频课程。 免费的seo培训，搜索引擎seo优化，网站推广和推广。 要免费获得下载链接。
关于SEO的视频课程。 免费的seo培训，搜索引擎seo优化，网站推广和推广。 要免费获得下载链接。 याहू सेवाओं में एसईओ सेवा आपकी साइट एसईओ के लिए सबसे अच्छा अभ्यास वह बिंदु है जिस पर आप अपनी साइट की योजना...
याहू सेवाओं में एसईओ सेवा आपकी साइट एसईओ के लिए सबसे अच्छा अभ्यास वह बिंदु है जिस पर आप अपनी साइट की योजना और सुधार करेंगे, अपनी साइट को सभी एसईओ कोणों जैसे कि पदार्थ, चित्र और कोड को एसईओ स्ट्रीमलाइन से ताज़ा करें। आपकी साइट का एसईओ शुरू करने का सबसे अच्छा समय वह बिंदु है जिस पर हाल ही में आपकी साइट को नए पदार्थों और चित्रों के साथ प्रकाशित किया गया है, पाकिस्तान में इस प्रशिक्षण एसईओ सेवा कंपनी (पहला विचार वेब) का उपयोग करके सुधार स्थिति के संकेत मिल सकते हैं। हम पाकिस्तान में सबसे 可共享的内容是新的SEO王 搜索营销和社交营销正在融合 您是否注意到Facebook正试图变得更像搜索引擎 谷歌 试图变得更加社交？ 我一直在密切关注 搜索引擎大战 多年来。 曾几何时，搜索大战由Google，MSN和Yahoo!组成。 那些日子已经一去不...
可共享的内容是新的SEO王 搜索营销和社交营销正在融合 您是否注意到Facebook正试图变得更像搜索引擎 谷歌 试图变得更加社交？ 我一直在密切关注 搜索引擎大战 多年来。 曾几何时，搜索大战由Google，MSN和Yahoo!组成。 那些日子已经一去不回。 今天，它归结为谷歌，Facebook和微软Bing。 当Facebook推出他们的 למעלה SEO ספרים שלום חברים! מציאת ספרים SEO כדאי באמת לא קל. העובדה היא כי מנועי החיפוש מתקדמי...
למעלה SEO ספרים שלום חברים! מציאת ספרים SEO כדאי באמת לא קל. העובדה היא כי מנועי החיפוש מתקדמים במהירות רבה, יותר ויותר אלגוריתמים חדשים החיפוש מופיעים. מה אתמול מותר לאתר להיכנס TOP, היום לא יכול לעבוד. בתנאים אלה, גם בעת פרסום ספר חדש, המידע המוצג בו אינו יכול להיות רלוונטי לחלוטין. באינטרנט ישנם שני ספרים גדולים על אופטימיזציה למנועי חיפוש, אשר מתעדכנים כל הזמן מעודכן. שניהם חופשיים 在拉合尔巴基斯坦的SEO服务 最佳实践为您的网站搜索引擎优化是您计划和改善您的网站，使您的网站从所有SEO角度刷新，例如物质，图片和代码是SEO精简的点。 开始您的网站搜索引擎优化的最佳时间是您的网站最近发布的新物质和图片的点，利用此培训巴基斯坦的SEO服务公司（第一个想法网站）可以获得改善定位的迹象。 我们在巴基斯坦提供最好的SEO套餐。 然而，巴基斯坦拉合尔的SEO服务公司有能力通过应用SEO专家安装方法来增强他...
在拉合尔巴基斯坦的SEO服务 最佳实践为您的网站搜索引擎优化是您计划和改善您的网站，使您的网站从所有SEO角度刷新，例如物质，图片和代码是SEO精简的点。 开始您的网站搜索引擎优化的最佳时间是您的网站最近发布的新物质和图片的点，利用此培训巴基斯坦的SEO服务公司（第一个想法网站）可以获得改善定位的迹象。 我们在巴基斯坦提供最好的SEO套餐。 然而，巴基斯坦拉合尔的SEO服务公司有能力通过应用SEO专家安装方法来增强他们的网站内容，元数据，图像，URL等，从而在搜索引擎优化中获得当前的计划网站。 然而，独特的组织试图让他们的网站在谷歌定位，但他们所有的帐户非真实的关于他们的网站实质和口碑厚度和重定向比例。 他们只需要他们的网站完成所有内容，除非他们不修改他们在网站上使用的物质。 他们通过现金进行现场规划和升级，但是，当花在内容上的时间让他们感到困惑时。 后来，当他们的网站受到Google的影响时，这种不满变成了他们的困扰。 无论如何，我只是为了正念目的而组织这个。 第一个想法网站开发，域名注册和托管公司提供最好的和 תוכן ניתן לשתף הוא המלך החדש SEO תוכן ניתן לשתף הוא המלך החדש SEO חיפוש שיווק ושיווק חברתי הם מת...
תוכן ניתן לשתף הוא המלך החדש SEO תוכן ניתן לשתף הוא המלך החדש SEO חיפוש שיווק ושיווק חברתי הם מתכנסים האם שמת לב איך פייסבוק מנסה להפוך יותר מנוע חיפוש כמו ו Google מנסה להיות חברתי יותר? SEO სერვისები ლაჰორ პაკისტანში საუკეთესო პრაქტიკის თქვენი საიტი SEO არის წერტილი, რომელიც თქვენ გეგმავთ და...
SEO სერვისები ლაჰორ პაკისტანში საუკეთესო პრაქტიკის თქვენი საიტი SEO არის წერტილი, რომელიც თქვენ გეგმავთ და გააუმჯობესოს თქვენი საიტი, თქვენი საიტი განახლება ყველა SEO კუთხე მაგალითად ნივთიერება, სურათები და კოდი უნდა იყოს SEO გამარტივებაში. საუკეთესო დრო, რომ დაიწყოს თქვენი საიტი SEO არის წერტილი, რომელიც თქვენს საიტზე ცოტა ხნის წინ გამოქვეყნდა ახალი ნივთიერება და სურათები, გამოყენებით ამ სასწავლო SEO მომსახურება კომპანია (პირველი იდეა ვებ) პაკისტანში შეიძლება ნიშნები გაუმჯობესების პოზიციონირება. 공유 할 수있는 콘텐츠는 새로운 SEO 왕인가? 검색 마케팅 및 소셜 마케팅이 수렴하고 있습니까? 당신은 페이스 북이 어떻게 더 많은 검색 엔진과 같이되기 위해 노력하고 있는...
공유 할 수있는 콘텐츠는 새로운 SEO 왕인가? 검색 마케팅 및 소셜 마케팅이 수렴하고 있습니까? 당신은 페이스 북이 어떻게 더 많은 검색 엔진과 같이되기 위해 노력하고 있는지, 그리고 Google 더 많은 사회가 되려고 노력하고 있습니까? 나는 계속해서 검색 엔진 전쟁 몇 년 동안. 옛날 옛적에 검색 전쟁은 구글, MSN, 야후! 그 시절은 오래 전에 사라졌습니다. 오늘은 Google, Facebook 및 Microsoft Bing으로 이어집니다. 페이스 북이 시작했을 때 הדרכות וידאו ב SEO אופטימיזציה וידאו קורסים על SEO. אימון
הדרכות וידאו ב SEO אופטימיזציה וידאו קורסים על SEO. אימון Txt?
Txt?
Txt?
Txt?
Дозволити: / * js?
Дозволити: / *?
Utm * Дозволити: / CSS /?
Чому файл TXT?
Де ми це ставимо?
Про кого я згадую?