Хостинг. google и yandex часто обходит robots.txt на различных хостингах

maxix
10 років
0
google и yandex часто обходит robots.txt и индексирует копию сайта на тестовой площадке, на различных хостингах это у меня часто бывает и в связи с этим мое предложение. Хочу предложить вам сделать переключатель в списке доменов, чтобы можно было отдельный домен или поддомен блокировать от поисковых роботов на стороне сервера, чтобы ботам поисковых систем выдавалась например пустая страница, я не системный администратор и постарался объяснить своими словами, но думаю эта функция многим бы пригодилась.
Евгений В.
10 років
0
Как вариант можно просто заблокировать сайт отовсюду, кроме своей подсети через -- "Мои сайты" -- "Ограничение доступа". Это позволит гарантировать то что поисковики не увидят сайт раньше времени и в то же время позволит комфортно работать с сайтом в процессе разработки.
Тема закрита.