Хостинг. Как защитить сайт от парсинга?

aleksandrvoeykov
4 года
1

Здравствуйте! Как можно защитить сайт от парсинга?

info620
4 года
0

Если коротко - никак.

cheshko
4 года
0

Привет! А как ваши сайты парсят (в общих словах)? Мои сайты тоже в июле много парсили и появилось много непонятных входящих ссылок. Вот ищу что с этим делать

focus
4 года
1

Надо определить робота. Посмотрите в логах кто больше создаёт нагрузку и запросов на сайт - возьмите его user-agent и если он специфический а не массовый - блокируйте по нему. Можно использовать простые способы от простых парсеров. Не все парсеры могут принимать куки или выполнять javascript. Можно записать куку пользователю и считать, если есть - выдавать контент, если нет то не давать. А саму куку можно записать с использованием javascript, тогда проверите и на его выполнение. Так как пользователей без использования javascript и кук очень мало (как и сайтов), такой способ убережёт от простого парсинга.

info620
4 года
0

Так как пользователей без использования javascript и кук очень мало (как и сайтов), такой способ убережёт от простого парсинга. © focus

Как минимум PhantomJS и SlimerJS умеют + на них довольно просто писать парсер так что вариант не сработает.

Тема закрыта.