Топ 7 ботов за сутки

По результатам выборки из логов сервера за 1 сутки.

1. Googlebot - 43229 запросов
2. YandexDirect - 21260
3. Mediapartners-Google - 14386 
4. Mail.RU_Bot - 13715
5. YandexBot - 13079
6. AhrefsBot - 11997
7. openstat ru/Bot  - 2709

 Выводы. Гугл предсказуемо обошел всех и вся. Честь и хвала ему.
Удивил Mail.RU, который обошел Яндекс.
Что касается Яндекса, то очевидно, что приоритет Яндекса - их рекламная сеть. И уже потом поисковые технологии.
Можно сравнить какое значение Гугл и Яндекс уделяют своим поисковым и рекламным технологиям в процентном соотношении:
 YandexDirect - 62% YandexBot - 38%
Mediapartners-Google - 25% Googlebot - 75%

Далее AhrefsBot - собиратель беклинков. бесполезная (а иногда и вредная) нагрузка на сервер. Вредная потому что, конкуренты смогут видеть то, что им видеть не положено. Его блочим в robots.txt.
Поскольку есть самомнения, что он вообще читает robots.txt, то для профилактики делаем примерно так:

if ($http_user_agent ~* (Wget|ApacheBench|SISTRIX|AhrefsBot|Teleport) ) {
 return 502;
}

Ну и Bot openstat, я считаю, вообще недостоин нашего внимания.

PS. Чуть не забыл.
Получить Top список IP адресов можно так

cat ваши_лог_фалы | cut -c -15 | sort | uniq -c | sort -nr | sed -r 's!\s*([0-9]+)\s+([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+).*!\1\t\2!g' > top.log 

А выборку  по отдельным ботам можно получить grep'ом