Google советует использовать аутентификацию для промежуточных сайтов

Джон Мюллер из Google сказал в Twitter, что лучший способ заблокировать сканирование и индексирование промежуточного сайта – это использование системы аутентификации пользователей. Запрос на удаление сразу скроет промежуточный сайт в поиске. Использование disallow в robots.txt может по-прежнему приводить к индексации URL (без сканирования) и создавать проблему. Использование системы аутентификации (имя пользователя / пароль) позволяет избежать […]

Сообщение

Источник: mirtesen