Мы используем cookie-файлы
Для оптимизации работы нашего сайта мы используем cookie-файлы. Продолжая использовать сайт, Вы соглашаетесь с использованием cookie-файлов.
Панель управления
  • Русский
  • Українська
  • UAH
  • USD
  • RUB
  • EUR
  • +38(044) 392-74-33  Киев
  • +38(057) 728-39-00  Харьков
  • +38(056) 794-38-31  Днепр
  • +38(032) 229-58-93  Львов
  • +38(048) 738-57-70  Одесса
  • +38(093) 170-15-42  Life
  • +38(067) 400-88-44  Киевстар
  • +38(095) 630-90-82  Vodafone
  • +1(888)393-24-51  USA, Toll free
  • +44(131)507-01-14  Great Britain
  • +7(499) 348-28-61  Москва

Хостинг. google и yandex часто обходит robots.txt на различных хостингах


maxix
6 лет
0
google и yandex часто обходит robots.txt на различных хостингах

google и yandex часто обходит robots.txt и индексирует копию сайта на тестовой площадке, на различных хостингах это у меня часто бывает и в связи с этим мое предложение. Хочу предложить вам сделать переключатель в списке доменов, чтобы можно было отдельный домен или поддомен блокировать от поисковых роботов на стороне сервера, чтобы ботам поисковых систем выдавалась например пустая страница, я не системный администратор и постарался объяснить своими словами, но думаю эта функция многим бы пригодилась.

Евгений В.
6 лет
0

Как вариант можно просто заблокировать сайт отовсюду, кроме своей подсети через -- "Мои сайты" -- "Ограничение доступа". Это позволит гарантировать то что поисковики не увидят сайт раньше времени и в то же время позволит комфортно работать с сайтом в процессе разработки.

Участвовать в общении на этом форуме могут только зарегистрированные пользователи.