日別で User Agent から Bot のクロール数を集計してみました。

以下が、今のところ多い Bot と Bot と思われるものです。
※ 2011年12月1日現在

[code:text]
‘Googlebot’,
‘Yahoo! Slurp’,
‘Mediapartners-Google’,
‘msnbot’,
‘bingbot’,
‘MJ12bot’,
‘Ezooms’,
‘pirst; MSIE 8.0;’,
‘Google Web Preview’,
‘ia_archiver’,
‘Sogou web spider’,
‘Googlebot-Mobile’,
‘AhrefsBot’,
‘YandexBot’,
‘Purebot’,
‘Baiduspider’,
‘MetaURI’,
‘PaperLiBot’,
‘Showyoubot’,
‘PostRank’,
‘Crowsnest’,
‘PycURL’
[/code]