Bingがサイトマップを読んでくれない問題
近頃、サーチコンソールだけでなくBing ウェブマスターツールも使ってサイトを監視しているのですが、サイトエクスプローラーが「データがありません」になり、XMLを送信してもすべてエラーになる問題に悩んでいました。
XMLはWordPressがデフォルトで吐き出すXMLです。
サーチコンソールでは同じXMLを読めており、ボットをブロックしていることはなさそう。
サーバーのアクセスログをみても、Bingのロボットでエラーが起きている様子はありませんでした。
ここからやったことが2つです。
サーバの海外アタックのセキュリティを解除。
私の中では、他の海外のボットを通しているのだから、このセキュリティ解除はあまり意味がないように思うのですが信頼するチャッピーが言ってることなので一応従ってみました。
これで問題が解決することはなかったんですが、XML以外のファイルにBingのボットが訪れたような……関係ないような、という感じです。
マイクロソフトに連絡
AIチャットでは問題が解決しそうになかったので、以下のことをメールに記載して送信。
- サーバーではBingbotのIPアドレスを制限しておらず、ホスティング会社の海外アクセス防御機能も一時的に無効にして確認しましたが、問題は改善しませんでした。
- Bingbotは
/robots.txtおよび通常のWebページに正常にアクセスできており、HTTP 200 が返されています。 - https://adbeneq.com/wp-sitemap.xml と https://adbeneq.com/sitemap.xml はどちらもHTTP 200を返しており、正常にアクセスできます。
- Google Search ConsoleやAhrefsBotなどの他のクローラーも、サイトマップを問題なく取得できています。
- また、Microsoftが所有するIPアドレスから
/wp-sitemap.xmlへのアクセスがあり、サーバーはHTTP 200で正常に応答していることをアクセスログで確認しています。
１日で返答があったのですが、こちらのメールの内容による返信と言うよりは、ざっくり要約だけ読んでテンプレの返答（ここのページを参照せよみたいな）でした。
さらに下記の内容で返信。
- Microsoftが所有するIPアドレス帯で/wp-sitemap.xmlにリクエストがあり、サーバーの返答がHTTP200だったこと、その直後に/wp-sitemap-index.xslもリクエストされている
- それにもかかわらず、Bing Webmaster Toolsでは「ページを取得する要求はタイムアウトしました」と表示される理由をご教示ください
- もし、こちらも問題であればサーバ会社に問い合わせるから詳細をご教示ください
Microsoftが所有するIPアドレス帯からアクセスがあったからと言って、それがボットとは言えないですし、他のサービスの可能性や、こちらの操作でMicrosoftが所有するIPアドレス帯を経由してテストした、何て可能性もあったのですが、とにかく藁をもつかむ気持ちでメールを送信しました。
そして、その後マイクロソフトから連絡が来ることがありませんでした。
完
おい！ってことで特にそれ以後何かをしたわけではないのですが、まずサイトエクスプローラーが正常に表示されるようになりました。セキュリティの解除がもしかしたら影響したのかもしれません。あくまで可能性ですが。
そして、相変わらずWordPressのXMLはエラーのままなのですが、静的なXMLは状態が成功になり、最低限の目標は達成できました。この間だいたい１週間。
あの返信をよこさない担当者が何かしてくれたけど、そんな事すっかり忘れて自分はポップコーンでも食べながら映画でも見て、相変わらず初回のサポート対応はAIで処理してメール返信しているのだと信じたいです。
ありがとう、マハンカリ。
問い合わせ前のチェック事項
- robots.txtからサイトマップが参照できるか
- サイトマップがHTTP 200で返るか（自身のブラウザで確認）
- Google Search Console等他のサービスでXMLにアクセスした場合正常かどうか
- サーバーログでBingbotやMicrosoftからのアクセスを確認する
（compatible; bingbot/2.0で検索。それっぽいログをAIチャットで確認してもよい） - WAFやアクセス制限を確認する
この投稿のタグ
