Googleクローラー巡回を調査

サーバーの生ログを活用してGoogleのクローラーの流れを追ってみた。
方法は、アクセスログの極意を参照のこと


Agent
"Mediapartners-Google",62,53.9%
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)",53,46.1%

日付
"2008/01/05",0,0.0%
"2008/01/06",41,35.7%
"2008/01/07",47,40.9%
"2008/01/08",27,23.5%

巡回してくれたフォルダ
"/BIND/",33,28.7%
"/seo/",18,15.7%
"/tech/",17,14.8%
"/xrea/",17,14.8%
"/",10,8.7%
"/check/",7,6.1%
"/profile/",4,3.5%
"/afili/",2,1.7%
"/osusume/",2,1.7%
"/php/",2,1.7%
"/php/link/",2,1.7%
"/php/poll/",1,0.9%


最近GoogleはMozilla/5.0というブラウザ以外に、Mediapartners-GoogleというAgentでクロールしてきていることがわかる。おそらくMediapartners-GoogleはGooglesitemapに登録したらからだと思われる。


SEOのちょっとしたテクニックだ。
この方法を活用すれば、携帯経由のアクセスも調査できる。
無料のアクセスソフトより、より精度の高い・自由度の高いマーケティングが可能となるのだ。