Топ 7 ботов за сутки

По результатам выборки из логов сервера за 1 сутки.

1. Googlebot — 43 229 запросов
2. YandexDirect — 21 260
3. Mediapartners-Google — 14 386
4. Mail.RU_Bot — 13 715
5. YandexBot — 13 079
6. AhrefsBot — 11 997
7. openstat ru/Bot — 2 709

Выводы:
Гугл предсказуемо обошёл всех и вся. Честь и хвала ему.
Удивил Mail.RU, который обошёл Яндекс.
Что касается Яндекса, то очевидно, что приоритет Яндекса — их рекламная сеть. И уже потом поисковые технологии.

Можно сравнить, какое значение Гугл и Яндекс уделяют своим поисковым и рекламным технологиям в процентном соотношении:

YandexDirect — 62%
YandexBot — 38%
Mediapartners-Google — 25%
Googlebot — 75%

Далее AhrefsBot — собиратель беклинков. Бесполезная (а иногда и вредная) нагрузка на сервер. Вредная потому, что конкуренты смогут видеть то, что им видеть не положено. Его блочим в robots.txt.
Поскольку есть сомнения, что он вообще читает robots.txt, то для профилактики делаем примерно так:

if ($http_user_agent ~* (Wget|ApacheBench|SISTRIX|AhrefsBot|Teleport) ) {
    return 502;
}

Ну и Bot openstat, я считаю, вообще недостоин нашего внимания.

PS. Чуть не забыл.
Получить Top список IP-адресов можно так:

cat ваши_лог_фалы | cut -c -15 | sort | uniq -c | sort -nr | sed -r 's!\s*([0-9]+)\s+([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+).*!\1\t\2!g' > top.log

А выборку по отдельным ботам можно получить grep‘ом.