Robots.txt чтобы сайт полностью закрыть от индекса любой поисковой системы
Если нужно максимально закрыть сайт от индексации поисковиками, в robots.txt:
User-agent: * Disallow: /Это запрещает поисковым роботам сканировать весь сайт.
Но важно: robots.txt — не запрет индексации как таковой. Если страницы уже известны поисковикам, URL могут остаться в индексе без содержимого.
Для более надежного закрытия добавь на страницы:
<meta name="robots" content="noindex, nofollow, noarchive">