検索エンジン備忘録ホームへ

! 検索エンジン全般 Yahoo!関連 Google関連
｜△Googleに登録されなくてお悩みの方へ　｜　△Googleクローラ（Googlebot）の巡回＆更新周期表
｜▼Googlebotのクローラ別　巡回データ　｜　△何位までに表示されれば「上位表示」？

Googlebotのクローラ別　巡回データ

Googlebotのクローラ（ホスト名）別の巡回数を定点観測しています。

! ! !
! 【現在のデータはすべて、2004年3月26日までのものです。】
事情により、更新停止中です。ごめんなさい。

Googleのクローラ（ロボット）であるGooglebotには、
「crawl1.googlebot.com〜crawl9.googlebot.com」というホスト名を持った『クロール君』と、
「crawler10.googlebot.com〜crawler12.googlebot.com」の『クローラ君』がいるようです （共に仮名）。
7/21追記：7/18よりcrawler13〜15も巡回。（「12〜」として集計）
8/1追記：7/31よりcrawl16が巡回。（2xと併せて「16〜」として集計。）
11/7追記：11/7よりcrawl10が巡回。（「10〜」として集計。）

4/30追記：crawl23.googlebot.com（他サイトでは27も）が巡回してきました。
名前からすると「クロール君」ですが、IPアドレスから推察すると、役割的には「クローラ君」のような気がします(^^;
5/1追記：crawl23〜のものが増えてきたのでしばらく「2x〜」として集計します。
※7/5現在、crawl23〜36を確認。（7/4以降は、3xです。）
もっと、いろんなクロール＆クローラ君に会いたい人は、「Googleのスパイダー・ロボット Googlebot一覧」までどうぞ。
ちなみにこの「Google Dance」というサイトは他にもGoogle対策についてとても詳しく解説されています。

それぞれ、どんな役割を持つのかは私にはわかりませんが、現在のところ、
(1) クローラ君は、2002年5月ごろから働き出した。
(2) 最近はクローラ君の方が人気者。
というのは、明らかのようです。
また、 雰囲気的には、
「クローラ君はフレッシュクロール要員で、
月一の更新用クロールは、クロール君のお仕事」と見えます。
※但し、それらも私の持っているデータの範囲内でわかることで、
「たまたま」の可能性もあると思います。
↑4/16追記：「確信はないが2種類のクローラの役割は上記の通りだと思う」
という内容のメールを2通いただきました。

よく言われる「フレッシュクロール」と「月1クロール」とどういう関係があるのか等、『誰かが』教えてくれるのを狙って（メールフォームはこちらです〜）、いくつかの集計データを公開してみます。
「何のためのデータなの？」「どうすれば役に立つの？」という質問は受け付けません。（私にもわからないので(^^;）
※文中のイラストは、うさぎさん作です。
▼対象サイト ： 「Web資料館」Access Reportと同じサイト。
▼集計期間 ： 2001年11月5日（初訪問）〜現在（随時「手動で」更新します）
　		 !
! ! !

■Googlebotのクローラ(ホスト名）別　最近の日別巡回数　（最近の日別の巡回数です。）
　　 2001/11/5からの現在までのExcelデータのダウンロード（crawler.lzh＝LHA圧縮ファイル）
年月日 合計 crawl crawler
1 2 3 4 5 6 7 8 9 10〜 10 11 12〜
1月 1 8 0 0 0 0 0 0 0 0 0 0 6 1 7
2 30 0 0 0 0 0 0 0 0 0 0 10 8 18
3 22 0 0 0 0 0 0 0 0 0 0 2 2 21
4 20 0 0 0 0 0 0 0 0 0 0 6 2 14
5 31 0 0 0 0 0 0 0 0 0 0 7 7 17
6 33 0 0 0 0 0 0 0 0 0 0 11 5 17
7 26 0 0 0 0 0 0 0 0 0 0 13 3 10
8 42 0 0 0 0 0 0 0 0 0 0 9 13 20
9 34 0 0 0 0 0 0 0 0 0 0 7 3 24
10 54 0 0 0 0 0 0 0 0 0 0 10 6 38
11 59 0 0 0 0 0 0 0 0 0 0 15 8 36
12 37 0 0 0 0 0 0 0 0 0 0 11 6 20
13 44 0 0 0 0 0 0 0 0 0 0 14 3 27
14 50 0 0 0 0 0 0 0 0 0 0 16 8 26
15 36 0 0 0 0 0 0 0 0 0 0 11 2 23
16 46 0 0 0 0 0 0 0 0 0 0 13 6 27
17 50 0 0 0 0 0 0 0 0 0 0 13 12 25
18 49 0 0 0 0 0 0 0 0 0 0 11 7 31
19 47 0 0 0 0 0 0 0 0 0 0 12 8 27
20 41 0 0 0 0 0 0 0 0 0 0 16 3 22
21 50 0 0 0 0 0 0 0 0 0 0 6 9 35
22 49 0 0 0 0 0 0 0 0 0 0 2 8 39
23 46 0 0 0 0 0 0 0 0 0 0 14 10 22
24 43 0 0 0 0 0 0 0 0 0 0 6 7 30
25 45 0 0 0 0 0 0 0 0 0 0 12 4 29
26 36 0 0 0 0 0 0 0 0 0 0 9 7 20
27 52 0 0 0 0 0 0 0 0 0 0 7 5 40
28 43 0 0 0 0 0 0 0 0 0 0 14 4 25
29 49 0 0 0 0 0 0 0 0 0 0 8 13 28
30 37 0 0 0 0 0 0 0 0 0 0 10 5 22
31 46 0 0 0 0 0 0 0 0 0 0 12 3 31
2月 1 51 0 0 0 0 0 0 0 0 0 0 9 7 35
2 47 0 0 0 0 0 0 0 0 0 0 10 10 27
3 42 0 0 0 0 0 0 0 0 0 0 4 6 32
4 47 0 0 0 0 0 0 0 0 0 0 6 8 33
5 46 0 0 0 0 0 0 0 0 0 0 4 8 34
6 42 0 0 0 0 0 0 0 0 0 0 0 8 34
7 37 0 0 0 0 0 0 0 0 0 0 5 3 29
8 36 0 0 0 0 0 0 0 0 0 0 5 5 26
9 46 0 0 0 0 0 0 0 0 0 0 0 7 39
10 24 0 0 0 0 0 0 0 0 0 0 3 1 20
11 30 0 0 0 0 0 0 0 0 0 0 6 3 21
12 34 0 0 0 0 0 0 0 0 0 2 4 3 25
13 28 0 0 0 0 0 0 0 0 0 2 1 2 23
14 41 0 0 0 0 0 0 0 0 0 0 3 7 31
15 26 0 0 0 0 0 0 0 0 0 0 2 0 24
16 32 0 0 0 0 0 0 0 0 0 0 2 2 28
17 26 0 0 0 0 0 0 0 0 0 0 0 0 26
18 26 0 0 0 0 0 0 0 0 0 0 3 0 23
19 26 0 0 0 0 0 0 0 0 0 0 3 0 23
20 26 0 0 0 0 0 0 0 0 0 0 7 4 15
21 26 0 0 0 0 0 0 0 0 0 0 4 3 19
22 29 0 0 0 2 1 0 0 0 0 0 1 5 20
23 36 0 0 0 0 0 0 0 0 0 0 4 7 25
24 33 0 0 0 0 0 0 0 0 0 0 1 9 23
25 26 0 0 0 0 0 0 0 0 0 0 2 5 19
26 71 0 0 0 0 0 0 0 0 0 0 6 17 48
27 65 0 0 0 0 0 0 0 0 0 0 1 12 52
28 64 0 0 0 0 0 0 0 0 0 0 2 14 48
29 66 0 0 0 0 2 0 0 0 0 0 3 8 53
3月 1 64 0 0 0 0 0 0 0 0 0 0 8 18 38
2 65 0 0 0 0 0 0 0 0 0 0 4 15 46
3 67 0 0 0 0 0 0 0 0 0 2 6 14 45
4 67 0 0 0 0 0 0 0 0 0 2 4 17 44
5 65 0 0 0 0 0 0 0 0 0 0 6 13 46
6 65 0 0 0 0 0 0 0 0 0 0 3 10 52
7 73 0 0 0 0 0 0 0 0 0 0 6 15 52
8 68 0 0 0 0 0 0 0 0 0 0 3 14 51
9 74 0 0 0 0 0 0 0 0 0 2 8 12 52
10 74 0 0 0 0 2 0 0 0 0 4 2 9 57
11 73 0 0 0 0 0 0 0 0 0 0 5 15 53
12 70 0 0 0 0 0 0 0 0 0 0 3 19 48
13 71 0 0 0 0 0 0 0 0 0 0 3 13 55
14 77 0 0 0 0 0 0 0 0 0 0 7 14 56
15 72 0 0 0 0 0 0 0 0 0 0 2 12 58
16 77 0 0 0 0 2 0 0 0 0 0 3 19 53
17 66 0 0 0 0 0 0 0 0 0 0 3 10 53
18 76 0 0 0 0 0 0 0 0 0 0 5 13 58
19 80 0 0 0 0 0 0 0 0 0 0 9 16 55
20 82 0 0 0 0 0 0 0 0 0 0 7 18 57
21 72 0 0 0 0 0 0 0 0 0 0 3 14 55
22 70 0 0 0 0 0 0 0 0 0 0 5 15 50
23 47 0 0 0 0 0 0 0 0 0 0 7 18 22
24 73 0 0 0 0 0 0 0 0 0 0 5 16 52
25 73 0 0 0 0 0 0 0 0 0 2 2 13 56
26 63 0 0 0 0 0 0 0 0 0 0 5 7 51

■Googlebotのクローラ（ホスト名）別　年月別集計　（それぞれの月での合計巡回数です。）　
年月 合計 crawl crawler
1 2 3 4 5 6 7 8 9 10〜 10 11 12〜
2001 11 140 29 4 6 38 5 22 13 0 23 - - - -
12 151 40 8 6 60 13 14 10 0 0 - - - -
2002 1 67 14 4 5 25 6 1 8 4 0 - - - -
2 167 8 2 6 44 3 14 34 0 56 - - - -
3 112 27 10 10 29 6 14 5 11 0 - - - -
4 83 13 5 5 24 10 14 2 10 0 - - - -
5 139 14 5 14 25 15 4 25 9 26 - 2 - -
6 341 34 20 11 44 42 9 10 15 4 - 68 76 8
7 391 19 2 6 16 10 2 8 2 2 - 53 106 165
8 687 26 15 9 62 47 6 14 6 33 - 109 157 203
9 715 5 7 1 7 2 1 1 5 0 - 196 218 272
10 926 8 8 10 24 22 2 15 7 1 - 274 250 305
11 1929 22 3 13 23 14 2 20 11 5 - 609 512 695
12 880 12 7 8 26 14 2 13 4 10 - 273 214 297
2003 1 1052 6 7 10 30 19 7 14 5 6 - 302 334 312
2 994 11 9 15 22 9 2 22 3 1 - 410 349 141
3 978 14 14 9 24 15 2 16 4 6 - 346 365 163
4 769 9 12 11 22 13 5 10 2 4 10 293 274 166
5 714 0 0 0 0 0 0 0 0 0 144 235 232 103
6 509 0 0 0 0 0 0 0 0 0 0 237 247 127
7 830 0 0 0 0 0 0 0 0 0 79 255 307 193
8 1111 0 0 0 0 0 0 0 0 0 83 444 149 473
9 1002 0 0 0 0 0 0 0 0 0 18 339 158 519
10 1027 0 0 0 0 0 0 0 0 0 18 316 139 543
11 1096 0 0 0 0 0 0 0 0 0 19 323 69 666
12 826 0 0 0 0 0 0 0 0 0 7 248 115 446
2004 1 1262 0 0 0 0 0 0 0 0 0 0 318 199 770
2 1130 0 0 0 2 3 0 0 0 0 4 101 164 858
3 1824 0 0 0 0 4 0 0 0 0 12 124 379 1315

▽Googleに登録されなくてお悩みの方へ　▽Googleクローラ（Googlebot）の巡回＆更新周期表
▲Googlebotのクローラ別　巡回データ　▽何位までに表示されれば「上位表示」？
!
!
｜　HOME　｜　本サイトについて　｜　ご意見・お問い合わせ　｜　 リンクについて　｜
!
!

Copyright 2002-2005 ZEROTOWN All rights reserved.