🤖 robots.txt 確認
サイトの robots.txt を取得して内容と Sitemap 指定を解析します。
URL (ドメイントップでもOK)
取得