Googlebot などのクローラーが robots.txt の Allow/Disallow ルールを特定 URL にどう適用するかをシミュレートします。
| URL | UA | 結果 | 一致したルール |
|---|---|---|---|
| https://example.com/ | Googlebot | 許可 | L10: allow: / |
| https://example.com/admin/ | Googlebot | 許可 | L10: allow: / |
| https://example.com/admin/public/login | Googlebot | 許可 | L10: allow: / |
| https://example.com/private/file.pdf | Googlebot | 許可 | L10: allow: / |
| https://example.com/no-google/page | Googlebot | ブロック | L9: disallow: /no-google/ |
| https://example.com/blog/post-1 | Googlebot | 許可 | L10: allow: / |
| https://example.com/ | GPTBot | ブロック | L13: disallow: / |
| https://example.com/admin/ | GPTBot | ブロック | L13: disallow: / |
| https://example.com/admin/public/login | GPTBot | ブロック | L13: disallow: / |
| https://example.com/private/file.pdf | GPTBot | ブロック | L13: disallow: / |
| https://example.com/no-google/page | GPTBot | ブロック | L13: disallow: / |
| https://example.com/blog/post-1 | GPTBot | ブロック | L13: disallow: / |
Article、Product、FAQ、LocalBusiness、Person、Event、Breadcrumbs の schema.org JSON-LD マークアップを生成。フォームベース、コピペで使えます。
utm_source / utm_medium / utm_campaign パラメータ付きの追跡可能 URL を生成。QR コード自動生成。GA4 / Universal Analytics 互換。
HTML を貼り付けて、Facebook・Twitter・LinkedIn・Slack のシェアカード表示をプレビューします。
sitemap.xml の構造、lastmod 形式、hreflang 代替、URL 数制限をブラウザ内で検証します。
robots.txt は各ドメインの /robots.txt にあるファイルで、Googlebot・Bingbot・GPTBot・ClaudeBot などのクローラーに、どのパスをリクエストしてよいかを伝えます。主要なディレクティブは Allow と Disallow の 2 つ、加えて特定のボットにルールを限定する User-agent グループを使用します。マッチングルールは一見直感的ですが、すぐに複雑になります: User-agent の優先順位は「最も長い完全一致が勝ち、特定の一致がなければ * にフォールバック」、パスの優先順位は「最長パターンが勝ち、同点なら Allow が勝つ」、ワイルドカード * と $ にも微妙な意味があります。末尾スラッシュ一つの誤りで /admin/ ディレクトリが全検索エンジンに漏れる可能性も、行き過ぎた Disallow でサイト全体が deindex される可能性もあります。このテスターは貼り付けた robots.txt 本文を解析し、選択した User-Agent(Googlebot・GPTBot・ClaudeBot 等)と URL リストに対して、どの行のどのルールが各 URL にマッチするかを正確に表示します — Google の公開マッチング仕様に準拠しています。
Google 仕様によれば: (1) UA マッチング — クローラー名の最長(大文字小文字を無視した)プレフィックス一致を持つ User-agent グループが勝ち、特定の一致がない場合のみ User-agent: * が適用されます。(2) パスマッチング — 選択されたグループの全 Allow/Disallow ルールのうち、(ワイルドカードを除いた)パターンが最も長いものが勝ちます。2 つのパターンの特異性が同じ場合、Allow が Disallow に勝ちます。(3) ワイルドカード — * は任意の文字列に一致し、パターン末尾の $ は URL の末尾を固定します。Crawl-delay は非標準で Google には無視されます(Bing・Yandex では尊重されます)。