Categories: ウェブ

Bot List

日別で User Agent から Bot のクロール数を集計してみました。

以下が、今のところ多い Bot と Bot と思われるものです。
※ 2011年12月1日現在

[code:text]
‘Googlebot’,
‘Yahoo! Slurp’,
‘Mediapartners-Google’,
‘msnbot’,
‘bingbot’,
‘MJ12bot’,
‘Ezooms’,
‘pirst; MSIE 8.0;’,
‘Google Web Preview’,
‘ia_archiver’,
‘Sogou web spider’,
‘Googlebot-Mobile’,
‘AhrefsBot’,
‘YandexBot’,
‘Purebot’,
‘Baiduspider’,
‘MetaURI’,
‘PaperLiBot’,
‘Showyoubot’,
‘PostRank’,
‘Crowsnest’,
‘PycURL’
[/code]

Recent Posts

移転を計画中?

新たにドメインを取得し、サイト…

4年 ago

iPhone から Android へ乗り換えた

長く使ってきた iPhone …

6年 ago

Chrome の拡張機能がウェブサイトからインストールを中止

ブラウザのアドオン、拡張機能と…

7年 ago

iOS 12 と macOS 10.14 Mojave 対応機種

iOS 12 と macOS …

7年 ago