[#] Ставим сети — ловим роботов
habrabot(difrex,1) — All
2017-03-03 00:30:03


![][1]

Началось всё как обычно — с подозрений. Уж больно много людей приходит на мои сайты, которые скачивают дистрибутивы приложений по прямым ссылкам без рефереров. Как-то странно это, правда? Не могут же быть так популярны блокировщики ссылок. Я замечал некоторые адреса и пользователи обычно приходили опять скачивать без ссылки. Часто другую программу — никак не относящуюся к первой. Дальше пошли в ход проверки, что да как в логах. Оказалось, что абсолютное большинство таких заходов — странные пользователи, которые имеют пустые HTTP\_ACCEPT\_ENCODING и HTTP\_ACCEPT\_LANGUAGE. HTTP\_USER\_AGENT иногда указывает на Java, JavaScript, Wget, Perl, PHP и так далее, но большинство обычные строки браузеров. Все более-менее приличные поисковики у меня давно учитываются и это, конечно, не они.
[Читать дальше →][2]

[1]: https://habrastorage.org/files/562/963/7ef/5629637efcc046d88928a6cd78401e7d.gif
[2]: https://habrahabr.ru/post/323118/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut