Googleのクローラー巡回頻度
- top > アイディア・知恵 > SEO
- by むっちゃん(管理者
- 2008/03/16 日 07:20
このサイトのGoogleのクローラー巡回頻度を紹介しよう。
統計機関は、2008年1月15日昼頃~3月13日の夜までです
サーバーのアクセスの生ログを集計しました。
統計方法は、アクセスログの極意を参考にしてください。
サーバーのアクセスが残した生ログを分析することで別の観点より化マーケティングができるのです。 サイトごとクローラーの巡回を分析して現状の対策を比較することもできます。ブログを1/31に導入して以来、Googleの巡回ページ数が増えていることが一目瞭然です。
CSSやjavascriptも巡回していますね。認識しているかどうかまではわかりません。CSSやjavascriptをGoogleが読み取れないといわれていなのは過去の話って感じがします。
agentは下記の通りのが来てますので、すべて合算。
agentでフィルタをかけてますので、Googleに偽装されて閲覧されていても含まれているかと思います。
日別統計
Googleのhostの統計一覧
Googleが巡回したディレクトリフォルダ一覧
Googleのクローラーが巡回したファイル形式一覧
PS.このページよりping送信数を10個ちょっとから57個まで増やして実験します。クローラーによる巡回ページ数増えるかな?
統計機関は、2008年1月15日昼頃~3月13日の夜までです
サーバーのアクセスの生ログを集計しました。
統計方法は、アクセスログの極意を参考にしてください。
サーバーのアクセスが残した生ログを分析することで別の観点より化マーケティングができるのです。 サイトごとクローラーの巡回を分析して現状の対策を比較することもできます。ブログを1/31に導入して以来、Googleの巡回ページ数が増えていることが一目瞭然です。
CSSやjavascriptも巡回していますね。認識しているかどうかまではわかりません。CSSやjavascriptをGoogleが読み取れないといわれていなのは過去の話って感じがします。
agentは下記の通りのが来てますので、すべて合算。
agentでフィルタをかけてますので、Googleに偽装されて閲覧されていても含まれているかと思います。
| Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | 7996 | 61.90% |
| Mediapartners-Google | 4787 | 37.10% |
| DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) | 127 | 1.00% |
| Mozilla/5.0 (compatible; Googlebot/2.1;+http://www.google.com/bot.html) | 4 | 0.00% |
日別統計
| 2008/1/15 | 54 | 0.40% |
| 2008/1/16 | 58 | 0.40% |
| 2008/1/17 | 67 | 0.50% |
| 2008/1/18 | 70 | 0.50% |
| 2008/1/19 | 114 | 0.90% |
| 2008/1/20 | 94 | 0.70% |
| 2008/1/21 | 124 | 1.00% |
| 2008/1/22 | 68 | 0.50% |
| 2008/1/23 | 124 | 1.00% |
| 2008/1/24 | 114 | 0.90% |
| 2008/1/25 | 89 | 0.70% |
| 2008/1/26 | 108 | 0.80% |
| 2008/1/27 | 80 | 0.60% |
| 2008/1/28 | 91 | 0.70% |
| 2008/1/29 | 104 | 0.80% |
| 2008/1/30 | 97 | 0.80% |
| 2008/1/31 | 177 | 1.40% |
| 2008/2/1 | 339 | 2.60% |
| 2008/2/2 | 357 | 2.80% |
| 2008/2/3 | 449 | 3.50% |
| 2008/2/4 | 314 | 2.40% |
| 2008/2/5 | 259 | 2.00% |
| 2008/2/6 | 86 | 0.70% |
| 2008/2/7 | 300 | 2.30% |
| 2008/2/8 | 264 | 2.00% |
| 2008/2/9 | 332 | 2.60% |
| 2008/2/10 | 152 | 1.20% |
| 2008/2/11 | 198 | 1.50% |
| 2008/2/12 | 395 | 3.10% |
| 2008/2/13 | 337 | 2.60% |
| 2008/2/14 | 342 | 2.60% |
| 2008/2/15 | 163 | 1.30% |
| 2008/2/16 | 289 | 2.20% |
| 2008/2/17 | 258 | 2.00% |
| 2008/2/18 | 235 | 1.80% |
| 2008/2/19 | 318 | 2.50% |
| 2008/2/20 | 363 | 2.80% |
| 2008/2/21 | 231 | 1.80% |
| 2008/2/22 | 331 | 2.60% |
| 2008/2/23 | 122 | 0.90% |
| 2008/2/24 | 456 | 3.50% |
| 2008/2/25 | 166 | 1.30% |
| 2008/2/26 | 407 | 3.20% |
| 2008/2/27 | 274 | 2.10% |
| 2008/2/28 | 288 | 2.20% |
| 2008/2/29 | 255 | 2.00% |
| 2008/3/1 | 232 | 1.80% |
| 2008/3/2 | 177 | 1.40% |
| 2008/3/3 | 317 | 2.50% |
| 2008/3/4 | 308 | 2.40% |
| 2008/3/5 | 277 | 2.10% |
| 2008/3/6 | 204 | 1.60% |
| 2008/3/7 | 220 | 1.70% |
| 2008/3/8 | 125 | 1.00% |
| 2008/3/9 | 183 | 1.40% |
| 2008/3/10 | 259 | 2.00% |
| 2008/3/11 | 261 | 2.00% |
| 2008/3/12 | 273 | 2.10% |
| 2008/3/13 | 165 | 1.30% |
Googleのhostの統計一覧
| crawl-66-249-73-137.googlebot.com | 5023 | 62.80% |
| crawl-66-249-70-201.googlebot.com | 2188 | 27.40% |
| crawl-66-249-67-193.googlebot.com | 692 | 8.70% |
| crawl-66-249-70-213.googlebot.com | 72 | 0.90% |
| crawl-66-249-70-57.googlebot.com | 5 | 0.10% |
| crawl-66-249-70-236.googlebot.com | 4 | 0.10% |
| crawl-66-249-65-5.googlebot.com | 1 | 0.00% |
| crawl-66-249-72-16.googlebot.com | 1 | 0.00% |
| crawl-66-249-65-108.googlebot.com | 1 | 0.00% |
| crawl-66-249-65-193.googlebot.com | 1 | 0.00% |
| crawl-66-249-65-211.googlebot.com | 1 | 0.00% |
| crawl-66-249-66-102.googlebot.com | 1 | 0.00% |
| crawl-66-249-66-193.googlebot.com | 1 | 0.00% |
| crawl-66-249-66-238.googlebot.com | 1 | 0.00% |
| crawl-66-249-67-174.googlebot.com | 1 | 0.00% |
| crawl-66-249-72-233.googlebot.com | 1 | 0.00% |
| crawl-66-249-73-148.googlebot.com | 1 | 0.00% |
| crawl-66-249-73-183.googlebot.com | 1 | 0.00% |
Googleが巡回したディレクトリフォルダ一覧
| /blog/ | 4641 | 58.00% |
| /blog/log/ | 999 | 12.50% |
| /tech/ | 426 | 5.30% |
| /BIND/ | 343 | 4.30% |
| /seo/ | 237 | 3.00% |
| /work/ | 224 | 2.80% |
| /xrea/ | 217 | 2.70% |
| / | 175 | 2.20% |
| /profile/ | 111 | 1.40% |
| /BIND/layout/ | 101 | 1.30% |
| /check/ | 96 | 1.20% |
| /tech/move/ | 58 | 0.70% |
| /osusume/ | 56 | 0.70% |
| /check/browser/ | 38 | 0.50% |
| /profile/mutsu/ | 37 | 0.50% |
| /id/ | 30 | 0.40% |
| /_module/js/ | 29 | 0.40% |
| /xrea/check/ | 26 | 0.30% |
| /sitemap/ | 25 | 0.30% |
| /afili/ | 21 | 0.30% |
| /profile/error/ | 18 | 0.20% |
| /error/ | 13 | 0.20% |
| /check/_module/ | 10 | 0.10% |
| /xrea/money/ | 10 | 0.10% |
| /profile/_module/ | 9 | 0.10% |
| /xrea/_module/ | 9 | 0.10% |
| /id/cartridge/ | 8 | 0.10% |
| /php/ | 8 | 0.10% |
| /work/_module/ | 7 | 0.10% |
| /_module/layout/ | 4 | 0.10% |
| /id/_module/ | 3 | 0.00% |
| /seo/_module/ | 3 | 0.00% |
| /_module/theme/ | 2 | 0.00% |
| /tech/sample/ | 2 | 0.00% |
Googleのクローラーが巡回したファイル形式一覧
| / | 3066 | 38.30% |
| html | 3001 | 37.50% |
| cgi | 1694 | 21.20% |
| css | 94 | 1.20% |
| js | 69 | 0.90% |
| txt | 69 | 0.90% |
| php | 3 | 0.00% |
PS.このページよりping送信数を10個ちょっとから57個まで増やして実験します。クローラーによる巡回ページ数増えるかな?




