Как настроить robots.txt для автонаполняемого блога?

В robots.txt запретите индексацию служебных разделов: /wp-admin/, /cgi-bin/, /feed/, а также дублей (параметры сортировки, фильтры). Разрешите индексацию основного контента. Пример:

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /author/
Disallow: /my-account.html
Disallow: /filter.html
Disallow: /page/
Disallow: */page
Disallow: /tag/
Disallow: */tag

Host: https://zaplata.ru
Sitemap: https://zaplata.ru/wp-sitemap.xml

Это предотвратит трату краулингового бюджета на мусор. Для автонаполняемого блога robots.txt — обязательный элемент SEO-настройки. Без него поисковики проиндексируют тысячи бесполезных страниц, что ухудшит позиции основного контента.

guest
Закрыть меню
ZAPLATA.RU | Магазин готовых блогов Wordpress с автонаполнением
Privacy Overview

This website uses cookies so that we can provide you with the best user experience possible. Cookie information is stored in your browser and performs functions such as recognising you when you return to our website and helping our team to understand which sections of the website you find most interesting and useful.