Хостинг. google и yandex часто обходит robots.txt на различных хостингах
Форум
Хостинг
google и yandex часто обходит robots.txt на различных хостингах
|
google и yandex часто обходит robots.txt и индексирует копию сайта на тестовой площадке, на различных хостингах это у меня часто бывает и в связи с этим мое предложение. Хочу предложить вам сделать переключатель в списке доменов, чтобы можно было отдельный домен или поддомен блокировать от поисковых роботов на стороне сервера, чтобы ботам поисковых систем выдавалась например пустая страница, я не системный администратор и постарался объяснить своими словами, но думаю эта функция многим бы пригодилась.
|
|
Как вариант можно просто заблокировать сайт отовсюду, кроме своей подсети через -- "Мои сайты" -- "Ограничение доступа". Это позволит гарантировать то что поисковики не увидят сайт раньше времени и в то же время позволит комфортно работать с сайтом в процессе разработки.
|
Тема закрита.