Как настроить robots.txt для автонаполняемого блога?

В robots.txt запретите индексацию служебных разделов: /wp-admin/, /cgi-bin/, /feed/, а также дублей (параметры сортировки, фильтры). Разрешите индексацию основного контента. Пример:

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /author/
Disallow: /my-account.html
Disallow: /filter.html
Disallow: /page/
Disallow: */page
Disallow: /tag/
Disallow: */tag

Host: https://zaplata.ru
Sitemap: https://zaplata.ru/wp-sitemap.xml

Это предотвратит трату краулингового бюджета на мусор. Для автонаполняемого блога robots.txt — обязательный элемент SEO-настройки. Без него поисковики проиндексируют тысячи бесполезных страниц, что ухудшит позиции основного контента.

guest
Закрыть меню

Предложить новую тему