robots.txt / sitemap 確認

URLを指定して robots.txt・sitemap・ページの noindex など、検索エンジン向けの指示を確認します。

使い方

  1. 確認したい URL を入れる:例: https://www.ahref.org/ 。スキーム省略時は https:// を付けます。
  2. 確認する:確認ボタンを押すと、robots.txt・sitemap(sitemapindex の子も含む)・対象ページを取得して結果を表示します。
  3. 結果を読む:ボットごとの Allow/Disallow、sitemap の有無、noindex の有無を確認します。

robots.txt / sitemap 確認とは

robots.txt / sitemap 確認は、指定したURLに対して robots.txt・sitemap・対象ページの索引制御(X-Robots-Tag / meta robots)を取得し、検索エンジンへの指示内容を要約するツールです。公開サイトのクロール漏れや、特定ページの検索除外設定の確認に使います。

よくある質問

検査ページのリンクと sitemap を比較できますか?

できます。「ページのリンクと sitemap を比べる」にチェックを入れると、検査ページ内のリンクと sitemap の URL を突き合わせ、両方にある/ページのリンクのみ/sitemap のみを一覧します。

sitemap 内の URL もまとめて確認できますか?

できます。「sitemap 内のページも個別に確認する」にチェックを入れると、同一ホストの URL を個別検査します。20 件以下は通常、21〜149 件は同時取得数を抑えた低速モード、150 件以上は検査しません。

ahref.org では再帰チェックできず www.ahref.org だとできるのはなぜ?

再帰チェックは検査 URL と同じホストのページだけを対象にします。sitemap の URL が www 付きなのに apex(www なし)で検査するとホストが不一致となり対象外になります。既定では「リダイレクト先のホストに合わせて検査する」がオンなので、リダイレクトがある場合は自動で揃えます。オフにすると入力ホストのまま検査し、不一致を明示します。

sitemap の lastmod は何の日時ですか?

サイト側が sitemap に書いた「最終更新日時」の申告値です。サーバー上の実ファイル日時とは限りません。あわせて changefreq(更新頻度の目安)と priority(相対優先度)もサイト申告があれば表示します。sitemap ファイル自体のサイズも一覧に出します。

結果をシェアできますか?

できます。「この結果をシェア」でそのタブの要約と再確認用リンクを共有できます。「レポートをダウンロード」で全結果をテキストファイルとして保存できます。

連続して何度も実行できますか?

同一接続元には短いクールダウンがあります。再帰チェックやリンク照合時は負荷が高いため間隔が長めです。短時間に連続すると 429 で拒否されます。

JavaScript で後から差し込む meta も見えますか?

いいえ。取得した HTML と応答ヘッダを静的に見ます。クライアント側で後から付与されるタグは対象外です。

robots.txt が無い場合はどうなりますか?

無い(404 など)と表示します。無いこと自体は失敗として隠しません。
  • nslookup — ドメインの DNS レコードを確認する
  • whois — ドメインや IP の登録情報を検索する
  • URLエンコード — URL 文字列のエンコード・デコード