Давно уже хотел запретить всяким левым ботам по моим сайтам, вот наконец руки дошли. Посмотрел я статистику ботов, которые были у меня на сайтах, сравнил со списком поисковиков, дающих трафик. И тех кто не даёт трафика, но постоянно шарится на сайтах я предлагаю блокировать - незачем им ресурсы жрать, а особенно Yahoo - он гад только и может что бэки палить, а трафика не даёт!
Также я поставил задержку в 2 секунды между скачиваниями страниц опять же для снижения нагрузки.
Итак вот что у меня получилось: Читать дальше »
