Как заставить wprabber игнорировать robots.txt

Здравствуйте, не получается настроить ленту, в роботсе сайта прописано много запрещающих директив:

User-agent: grub-client
Disallow: /User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

...и т.д.

Как заставить wprabber игнорировать robots.txt
Заранее благодарен

Хм... а при чем вообще этот файл? Он же используется только для работы с поисковыми роботами и запрет или открытие индексации ваших страниц. При чем он до грабера?

Вам скорее нужен файл .htaccess, и то я сомневаюсь, что в нем можно запретить данный плагин.

Цитата из официального определения файла Robots.txt

Robots.txt — это текстовый файл, суть которого заключается в ограничении доступа роботов поисковых систем к разделам и страницам нашего интернет-ресурса, которые нужно скрыть от индексации и как следствие от посторонних глаз.

И никаких функций других он не может выполнить.

Возможно я и не прав, у меня опыт не богатый в настройке лент, никак не получается настроить: "Найдено ссылок = 0" Не знаю что и думать..

Вариант один, неправильно настроена лента.

Добрый день.

Похожая проблема - настраивал вчера ленту - работало, закачивал статьи, отлаживал. утром открываю ленту, чтобы доработать и вдруг

Старт процесса импорта...
Импорт ленты: RLSnet А - 21:04:32 2016-06-04
Найдено ссылок: 0

Что могло случиться?

Деактивировал плагин, удалял, переустанавливал... перенастраивал... никак не видит ни одной записи (дошел до того, что в шаблоне ссылки четко прописываю одну из ссылок, которая точно находиться на странице - не видит!)

Что за донор?

rlsnet точка ru

Проверил донора ссылки находит

Для начала отключите дополнительные шаблоны обработки и внимательно перепроверьте все настройки на вкладке Основные

Забанили. Обошли через настройки прокси. Теперь буду аккуратно по немного качать.