Robots 检测
使用方法
- 输入域名
- 查看 robots.txt 规则和 Sitemap 检测结果
常见问题
Disallow: / 是什么意思?
表示禁止所有搜索引擎抓取整站,上线后务必检查是否误设置。
检测robots.txt规则与sitemap可用性
| 状态 | 不存在或无法访问(HTTP 404) |
|---|---|
| 建议 | 在网站根目录放置 robots.txt,并声明 Sitemap 地址 |
| Sitemap 地址 | 状态 | 内容 |
|---|---|---|
| https://affiliate-program.amazon.com/sitemap.xml | 404 | - |
Disallow: / 是什么意思?
表示禁止所有搜索引擎抓取整站,上线后务必检查是否误设置。