今回は、当サイトのクローラー巡回頻度の紹介です。３月１日～４月３０日分のサーバーログを集計してフィルタをかけてグラフ化してみました...

サイト運営をするプロのぼやき | クローラー巡回頻度

自分でサイトを運営しているプロが、自分でサイトを運営したいと思っている人へ参考となる情報を紹介

クローラー巡回頻度

クローラー巡回頻度

今回は、当サイトのクローラー巡回頻度の紹介です。
３月１日～４月３０日分のサーバーログを集計してフィルタをかけてグラフ化してみました。

百度は、日々の巡回数が一定です。
私のサーバーは、百度にメールで要望して、巡回頻度を下げてもらってます。
ドメインを取る度に、robots.txtで各々巡回頻度を下げるのは面倒だったので＾＾；

Googleクローラー

"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)",7500,100.0%
"mozilla/5.0 (compatible; googlebot/2.1; +http://www.google.com/bot.html)",3,0.0%


YST

"Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)",5401,100.0%

MSN

"msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)",968,50.4%
"msnbot/1.1 (+http://search.msn.com/msnbot.htm)",951,49.6%

百度

"Baiduspider+(+http://www.baidu.com/search/spider_jp.html)",8712,100.0%



クローラー巡回頻度グラフ

日付 YST Google-PC MSN 百度
2008/3/1 53 156 17 145
2008/3/2 63 115 27 150
2008/3/3 57 230 14 150
2008/3/4 46 188 4 147
2008/3/5 47 149 2 146
2008/3/6 15 109 5 148
2008/3/7 26 113 4 151
2008/3/8 104 38 3 163
2008/3/9 26 100 15 145
2008/3/10 34 167 131 37
2008/3/11 32 168 19 131
2008/3/12 49 177 104 139
2008/3/13 43 115 38 148
2008/3/14 33 281 43 144
2008/3/15 46 158 6 157
2008/3/16 34 117 4 147
2008/3/17 35 281 4 154
2008/3/18 47 106 0 147
2008/3/19 30 118 4 144
2008/3/20 10 139 2 146
2008/3/21 34 25 0 144
2008/3/22 76 159 0 145
2008/3/23 82 16 67 153
2008/3/24 68 65 32 144
2008/3/25 47 83 15 141
2008/3/26 81 130 0 144
2008/3/27 67 100 17 144
2008/3/28 79 199 0 143
2008/3/29 101 219 4 138
2008/3/30 93 82 82 148
2008/3/31 92 246 18 144
2008/4/1 100 127 10 147
2008/4/2 173 75 3 143
2008/4/3 155 151 0 149
2008/4/4 149 115 2 143
2008/4/5 158 181 17 142
2008/4/6 124 77 16 144
2008/4/7 93 118 4 143
2008/4/8 61 178 6 136
2008/4/9 103 108 30 145
2008/4/10 98 26 38 128
2008/4/11 116 82 19 147
2008/4/12 93 106 3 141
2008/4/13 96 100 11 145
2008/4/14 87 149 7 145
2008/4/15 104 91 11 122
2008/4/16 199 166 62 143
2008/4/17 126 24 36 138
2008/4/18 184 200 39 140
2008/4/19 142 128 80 153
2008/4/20 113 86 112 144
2008/4/21 94 197 51 144
2008/4/22 105 32 80 145
2008/4/23 141 20 37 145
2008/4/24 151 24 14 143
2008/4/25 153 105 10 145
2008/4/26 118 86 151 151
2008/4/27 137 123 104 145
2008/4/28 111 132 85 142
2008/4/29 128 129 154 145
2008/4/30 139 18 46 142


携帯用YSTクローラーについては mobile-walk: Yahooの携帯クローラーの巡回頻度を参考にどうぞ。
ブックマークに追加する
 RSSリーダーで購読する





　よろしければ下記をご利用くださいM()M
　
ボタンひとつでコピー（IEのみ）

コメント

コメント Form

☆アイコン:
[icon]

トラックバック

トラックバック url （関連記事であればお気軽にどうぞ）:


スパム対策のため、当サイトのリンクを貼って頂きましたら自動承認するようになってますｍ（）ｍ

この記事の概要リンクコピペ用・・概要は好きなように感想に変えて＾＾ノ

ボタンひとつでコピー（IEのみ）

クローラー巡回頻度の隣のページ

関連カテゴリ記事

BiNDwebマニュアル（非公式）、 BiND for weblifeの基本的な使い方、 BiNDの起動、 テンプレート選び、 設定画面、 ページの追加・削除、 ページのレイアウト構成、 記事の書き方、 インデントを活用、 リンクの入れる（内部リンク）、 リンクを入れる（外部リンク）、 画像の入れ方、 複数画像の登録、 画像の拡大設定、 画像サイズの変更、 カスタムタグ、 地図の入れ方、 ブロックの共有、 ブロックの背景画像の設置、 アップロード、 サイトの複製、 サイトの削除、 サーバー上のサイトを削除、 テンプレートの使いまわし、 背景スキンの違い、 バックアップ、 メールフォームの設置、 サイトの中に別サイト、 phpを活用してみる、 フレームを使う、 表（テーブル）を活用する、 区切り線をアレンジしてみる、 文章の大きさ・色・背景を変える、 リンクの開き方を変えてみる、 検索窓の設置、 ブックマークの付け方、 アクセス解析を設置する、 アクセスカウンターを設置、 グーグルアドセンスを設置、 グーグルアドセンスの最適化、 リダイレクト機能、 エラーページを編集、 head内にタグを追加、 ブログパーツの設置、 コメントタグ機能、 ID flashを活用、 動画掲載方法、 携帯電話の動画を掲載、 パングズリストの変更、 ページトップへを追加する、 ショートカットキーを利用、 アイコンを設置する
flash(ID for weblife)、 サイトチェックコーナー、 パソコンでの仕事の能率化、 SEOの流れ、 アフィリエイト、 お勧め書籍、 画面の色を採取する無料ソフト、 画像配布サイト紹介、 レンタルサーバーの選び方、 運営他

　
テンプレート制作会社 | RSS1.0 | Atom0.3 | Serene Bach 2.19R | ©2008 サイト運営をするプロのぼやき
著作権は放棄しません。リンクはどのページでもご自由にどうぞ