このブログのアクセスログを開いたら、ぐぐるさんがトチ狂ってた。
20091221_Googlebotのアクセスログ
上記の画像はアクセスログでぐぐるさんのアクセスを抽出したもの。 アクセスログの1ページには20件が一度に表示され、 赤丸で囲った部分がぐぐるさんがアクセスしたログページ数ということで、 20件x3ページ+αで61件ボットがアクセスしていったことになる。 しかも、40件程が23時台のアクセスで本当にどうしちゃったの?といった感じ。
一応、普段は10件程から多くて20件程。時間もサーバ負荷を考慮してかばらけてたりすることが多い。一時間内でこんな集中クロールなんて初めて。

ホント、Googleさん勘弁してくださいよ。 ちゃんとクロール出来てないんじゃない?ちゃんとインデックスされてる?と思って Google ウェブマスター セントラル サイト ステータス ウィザード ページで、このブログのURLをフォームに入力・「次へ」ボタンを押したら
サイトのページが Google インデックスに登録されました。

Googlebot がお客様のホームページに正常にアクセスしました。
って言われた?!え?今までの怒涛のボット攻勢は無かった事に?
つーか、登録してくれなんて一言も言ってないし、URLを入力したページでは登録するとも書いてなかったし、
手順ガイドを使用すると、Google インデックスにおけるサイトのステータスを詳細に確認できます。
と書いてあったから、確認はできるんだーなんて暢気に思って気軽にぽちっとなしたらこの仕打ちか。登録するつもりなんてなかったのに……。

で、しょうがないからGoogleアカウントでウェブマスターセントラルにログイン……したら、サイト登録されてないじゃん!騙された><
まあ、乗りかかった船だ最後まで進んでやる、と、サイトURLにこのブログのURLを再度入力したら、 今度は「所有権の確認」だって。そりゃそうか。
具体的には、メタタグを埋め込む方法とGoogleから提示されるHTMLファイルをサイトにアップロードするという2種類選択肢があるが、HTMLファイルアップロードは登録したURLにアップロードしなきゃいけない、いわゆるトップページにアップロードすることになるのでなんか怖いということでメタタグを埋め込むことに。そして埋め込んで「確認」で登録完了。

さて、ウェブマスターツールでクロールの詳細が確認できるようになったので ダッシュボードに表示されている クロール エラー を見てみると
HTTP - robots.txt によりアクセスが制限されています - アクセスできません - クロールを完了できませんでした - サイトマップ - タイムアウトしました - 見つかりませんでした
なんじゃこりゃ??? やっぱりクロール失敗してんのか?
robot.txt はいじった覚えがないけど(そもそもいじれるのか?) クローラのアクセス ページで一応確認してみると、特にGoogleに関する記述は無し。 なのにアクセスが制限されてるってのがよく分からない。FC2側の問題?
といった感じで、結局対策は不明……。とりあえずめんどくさいので放置。覚えてたら正月休みにでも調べてみるかねー。
関連記事
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Comment
※コメントスパム防止の為半角httpと全角wをNGワードに設定してあります。






(編集・削除用)

 

管理者にだけ表示を許可
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Trackback
http://nekomimya.blog28.fc2.com/tb.php/319-a6ec2570
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ブログ表示設定
横:
縦:
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
プロフィール

寝込み屋(nekomimya)

Author:
寝込み屋(nekomimya)
twitter:
寝込み屋(@nekomimya)

リンクはご自由に。外すのもご自由に。

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ブログ内検索
ブログ内検索(Google)
※要JavaScript、別ウィンドウで結果表示
ブログ内検索(FC2)
※検索結果が表示されないことがあり
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
最近の記事
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
最近のコメント
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
最近のトラックバック
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
月別アーカイブ
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
カテゴリ
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
RSSフィード
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
リンク
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
FC2リンク
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
    FC2カウンター
    閲覧者数合計


    現在の閲覧者数
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
    最近の画像
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
    検索フォーム