robots.txt / sitemap 確認
URLを指定して robots.txt・sitemap・ページの noindex など、検索エンジン向けの指示を確認します。
使い方
- 確認したい URL を入れる:例: https://www.ahref.org/ 。スキーム省略時は https:// を付けます。
- 確認する:確認ボタンを押すと、robots.txt・sitemap(sitemapindex の子も含む)・対象ページを取得して結果を表示します。
- 結果を読む:ボットごとの Allow/Disallow、sitemap の有無、noindex の有無を確認します。
robots.txt / sitemap 確認とは
robots.txt / sitemap 確認は、指定したURLに対して robots.txt・sitemap・対象ページの索引制御(X-Robots-Tag / meta robots)を取得し、検索エンジンへの指示内容を要約するツールです。公開サイトのクロール漏れや、特定ページの検索除外設定の確認に使います。
よくある質問
検査ページのリンクと sitemap を比較できますか?
- できます。「ページのリンクと sitemap を比べる」にチェックを入れると、検査ページ内のリンクと sitemap の URL を突き合わせ、両方にある/ページのリンクのみ/sitemap のみを一覧します。
sitemap 内の URL もまとめて確認できますか?
- できます。「sitemap 内のページも個別に確認する」にチェックを入れると、同一ホストの URL を個別検査します。20 件以下は通常、21〜149 件は同時取得数を抑えた低速モード、150 件以上は検査しません。
ahref.org では再帰チェックできず www.ahref.org だとできるのはなぜ?
- 再帰チェックは検査 URL と同じホストのページだけを対象にします。sitemap の URL が www 付きなのに apex(www なし)で検査するとホストが不一致となり対象外になります。既定では「リダイレクト先のホストに合わせて検査する」がオンなので、リダイレクトがある場合は自動で揃えます。オフにすると入力ホストのまま検査し、不一致を明示します。
sitemap の lastmod は何の日時ですか?
- サイト側が sitemap に書いた「最終更新日時」の申告値です。サーバー上の実ファイル日時とは限りません。あわせて changefreq(更新頻度の目安)と priority(相対優先度)もサイト申告があれば表示します。sitemap ファイル自体のサイズも一覧に出します。
結果をシェアできますか?
- できます。「この結果をシェア」でそのタブの要約と再確認用リンクを共有できます。「レポートをダウンロード」で全結果をテキストファイルとして保存できます。
連続して何度も実行できますか?
- 同一接続元には短いクールダウンがあります。再帰チェックやリンク照合時は負荷が高いため間隔が長めです。短時間に連続すると 429 で拒否されます。
JavaScript で後から差し込む meta も見えますか?
- いいえ。取得した HTML と応答ヘッダを静的に見ます。クライアント側で後から付与されるタグは対象外です。
robots.txt が無い場合はどうなりますか?
- 無い(404 など)と表示します。無いこと自体は失敗として隠しません。