Правильний Robots.txt для Wordpress (2019) - як зробити?

Правильний Robots.txt для WordPress
Короткий варіант (оптимальний)
Розширений варіант (окремі правила для Google і Яндекса)
Помилкові рекомендації інших блогерів для Robots.txt на WordPress
Спірні рекомендації інших блогерів для Robots.txt на WordPress
Оцініть статтю

В інтернеті можна знайти багато публікацій на тему, як скласти найкращий (або навіть найкращий) файл robots.txt для WordPress. При цьому в ряді таких популярних статей багато правила не пояснюються і, як мені здається, навряд чи розуміються самими авторами. Єдиний огляд, який я знайшов і який дійсно заслуговує на увагу, - це стаття в блозі wp-kama. Однак і там я знайшов не зовсім коректні рекомендації. Зрозуміло, що на кожному сайті будуть свої нюанси при складанні файлу robots.txt. Але існує ряд спільних моментів для абсолютно різних сайтів, які можна взяти за основу. Robots.txt, опублікований в цій статті, можна буде просто копіювати і вставляти на новий сайт і далі допрацьовувати відповідно зі своїми нюансами.

Більш докладно про складання robots.txt і значенні всіх його директив я писав тут . Нижче я не буду детально зупинятися на значенні кожного правила. Обмежуся тим, що коротко прокоментую що для чого необхідно.

Правильний Robots.txt для WordPress

Дійсно найкращий robots.txt, який я бачив на даний момент, це Роботс, запропонований в блозі wp-kama . Ряд директив і коментарів я візьму з його зразка + внесу свої корективи. Коригування торкнуться декількох правил, чому так напишу нижче. Крім того, напишемо індивідуальні правила для всіх роботів, для Яндекса і для Google.

Нижче наводжу короткий і розширений варіант. Короткий не включає окремі блоки для Google і Яндекса. Розширений вже менш актуальне, тому що тепер немає принципових особливостей між двома великими пошуковими системами: обом системам потрібно індексувати файли скриптів і зображень, обидві не підтримують директиву Host. Проте, якщо в цьому світі знову щось зміниться, або вам буде потрібно все-таки якось по-окремому управляти індексацією файлів на сайті Яндексом і Google, збережу в цій статті і другий варіант.

Ще раз звертаю увагу, що це базовий файл robots.txt. У кожному конкретному випадку потрібно дивитися реальний сайт і по-необхідності вносити коригування. Доручайте це справа досвідченим фахівцям!

Короткий варіант (оптимальний)

Розширений варіант (окремі правила для Google і Яндекса)

User-agent: * # загальні правила для роботів, крім Яндекса і Google, # тому для них правила нижче Disallow: / cgi-bin # папка на хостингу Disallow: /? # Всі параметри запиту на головній Disallow: / wp- # всі файли WP: / wp-json /, / wp-includes, / wp-content / plugins Disallow: / wp / # якщо є підкаталог / wp /, де встановлена CMS ( якщо немає, # правило можна видалити) Disallow: *? s = # пошук Disallow: * & s = # пошук Disallow: / search / # пошук Disallow: / author / # архів автора Disallow: / users / # архів авторів Disallow: * / trackback # трекбеки, повідомлення в коментарях про появу відкритої # посилання на статтю Disallow: * / feed # все фіди Disallow: * / rss # rss фід Disallow: * / embed # все вбудовування Disallow: * / wlwmanifest.xml # xml-файл маніфесту Windows Live Writer (якщо не використовуєте, # правило можна видалити) Disallow: /xmlrpc.php # файл WordPress API Disallow: * utm * = # сси ЛКВ з utm-мітками Disallow: * openstat = # посилання з мітками openstat Allow: * / uploads # відкриваємо папку з файлами uploads User-agent: GoogleBot # правила для Google (коментарів не дублюю) Disallow: / cgi-bin Disallow: /? Disallow: / wp- Disallow: / wp / Disallow: *? S = Disallow: * & s = Disallow: / search / Disallow: / author / Disallow: / users / Disallow: * / trackback Disallow: * / feed Disallow: * / rss Disallow: * / embed Disallow: * / wlwmanifest.xml Disallow: /xmlrpc.php Disallow: * utm * = Disallow: * openstat = Allow: * / uploads Allow: /*/*.js # відкриваємо js-скрипти всередині / wp- (/ * / - для пріоритету) Allow: /*/*.css # відкриваємо css-файли всередині / wp- (/ * / - для пріоритету) Allow: /wp-*.png # картинки в плагінах, cache папці і т.д. Allow: /wp-*.jpg # картинки в плагінах, cache папці і т.д. Allow: /wp-*.jpeg # картинки в плагінах, cache папці і т.д. Allow: /wp-*.gif # картинки в плагінах, cache папці і т.д. Allow: /wp-admin/admin-ajax.php # використовується плагінами, щоб не блокувати JS і CSS User-agent: Yandex # правила для Яндекса (коментарів не дублюю) Disallow: / cgi-bin Disallow: /? Disallow: / wp- Disallow: / wp / Disallow: *? S = Disallow: * & s = Disallow: / search / Disallow: / author / Disallow: / users / Disallow: * / trackback Disallow: * / feed Disallow: * / rss Disallow: * / embed Disallow: * / wlwmanifest.xml Disallow: /xmlrpc.php Allow: * / uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php Clean-Param: utm_source & utm_medium & utm_campaign # Яндекс рекомендує не закривати # від індексування, а видаляти параметри міток, # Google такі правила не підтримує Clean-Param: openstat # аналогічно # Вкажіть один або декілька файлів Sitemap (дублювати для кожного User-agent # не потрібно). Google XML Sitemap створює 2 карти сайту, як в прикладі нижче. Sitemap: http://site.ru/sitemap.xml Sitemap: http://site.ru/sitemap.xml.gz # Вкажіть головне дзеркало сайту, як в прикладі нижче (з WWW / без WWW, якщо HTTPS # то пишемо протокол, якщо потрібно вказати порт, вказуємо). Команда стала необов'язковою. Раніше Host розумів # Яндекс і Mail.RU. Тепер всі основні пошукові системи команду Host не враховують. Host: www.site.ru

У прикладі я не додаю правило Crawl-Delay, тому що в більшості випадків ця директива не потрібна. Однак якщо у вас великий навантажений ресурс, то використання цієї директиви допоможе знизити навантаження на сайт з боку роботів Яндекса, Mail.Ru, Bing, Yahoo і інших (Google не враховує). Детальніше про це читайте в статті Robots.txt .

Помилкові рекомендації інших блогерів для Robots.txt на WordPress

txt на WordPress

Використовувати правила тільки для User-agent: *
Для багатьох пошукових систем не потрібно індексація JS і CSS для поліпшення ранжирування, крім того, для менш значущих роботів ви можете налаштувати більшого значення Crawl-Delay і знизити за їх рахунок навантаження на ваш сайт.
Прописування Sitemap після кожного User-agent
Це робити не потрібно. Один sitemap повинен бути вказаний один раз в будь-якому місці файлу robots.txt
Закрити папки wp-content, wp-includes, cache, plugins, themes
Це застарілі вимоги. Однак подібні поради я знаходив навіть у статті з пафосною назвою «Найкращі правильний robots для WordPress 2018»! Для Яндекса і Google краще буде їх взагалі не закривати. Або закривати «по розумному», як це описано вище.
Закривати сторінки тегів і категорій
Якщо ваш сайт дійсно має таку структуру, що на цих сторінках контент дублюється і в них немає особливої цінності, то краще закрити. Однак нерідко просування ресурсу здійснюється в тому числі за рахунок сторінок категорій та тегування. В цьому випадку можна втратити частину трафіку
Закривати від індексації сторінки пагінацію / page /
Це робити не потрібно. Для таких сторінок налаштовується тег rel = "canonical», таким чином, такі сторінки теж відвідуються роботом і на них враховуються розташовані товари / статті, а також враховується внутрішня посилальна маса.
Прописати Crawl-Delay
Модне правило. Однак його потрібно вказувати тільки тоді, коли дійсно є необхідність обмежити відвідування роботами вашого сайту. Якщо сайт невеликий і відвідування не створюють значного навантаження на сервер, то обмежувати час «щоб було» буде не найрозумнішою витівкою.
ляпи
Деякі правила я можу віднести тільки до категорії «блогер не подумав». Наприклад: Disallow: / 20 - за таким правилом не тільки закриєте всі архіви, а й заодно всі статті про 20 способах або 200 радах, як зробити світ кращим 🙂

Спірні рекомендації інших блогерів для Robots.txt на WordPress

Коментарі
Деякі хлопці радять закривати від індексування коментарі Disallow: / comments і Disallow: * / comment- *.
Відкрити папку uploads тільки для Googlebot-Image і YandexImages
User-agent: Googlebot-Image
Allow: / wp-content / uploads /
User-agent: YandexImages
Allow: / wp-content / uploads / Рада досить сумнівний, тому що для ранжирування сторінки необхідна інформація про те, які саме зображення і файли розміщені на ній.

Дякую за вашу увагу! Якщо у вас виникнуть питання або пропозиції, пишіть в коментарях!

Оцініть статтю

Друзі, буду вдячний за ваші питання, доповнення та рекомендації по темі статті. Пишіть нижче в коментарях.
Буду вдячний, якщо поставите оцінку статті.

Disallow: / wp- Disallow: / wp / Disallow: *?
Php # використовується плагінами, щоб не блокувати JS і CSS User-agent: Yandex # правила для Яндекса (коментарів не дублюю) Disallow: / cgi-bin Disallow: /?
Disallow: / wp- Disallow: / wp / Disallow: *?