こちらのサイトでは、googlebotがNamazuで構築した検索機能を叩いている模様。
http://blog.scramble-egg.com/archives/50208168.html
あれからアクセスログを見直して気がついたのだが、googlebotが検索キーワードとして指定してくる語は、Webmaster ToolsやGoogle Analyticsで上位にランクされた自サイトに対する検索キーワードとかなり一致している。googlebotは、クロール対象サイトに設置された検索ボックスを認識し、そこに過去の検索履歴を分析して得た上位ヒットの検索語を入力してリクエストしているのではないだろうか。
してみるとこれは、Googleが本格的にDeep Webの開拓に取り組み始めたということではないのか。つまり、これまで有効なクロール手段がなかったオンラインデータベースのようなサイトに対し、多数のユーザの検索履歴を統計的に処理して上位にランクされたキーワードをクエリとして発行することにより、効率的にコンテンツをインデックス化しようとしているのではないか。
まあ勝手な推測ですが、当たらずとも遠からずという気はするな。
| | 2007-11-19 08:27