Robots 检测
使用方法
- 输入域名
- 查看 robots.txt 规则和 Sitemap 检测结果
常见问题
Disallow: / 是什么意思?
表示禁止所有搜索引擎抓取整站,上线后务必检查是否误设置。
检测robots.txt规则与sitemap可用性
| 地址 | https://trends.google.com/robots.txt |
|---|---|
| 状态 | 200 存在 |
| 规则条数 | 2 |
| 声明 Sitemap | 0 |
| 全站屏蔽 | 否 |
| User-agent | 指令 | 路径 |
|---|---|---|
| * | Disallow | /explore? |
| * | Disallow | /trends/explore? |
# trends.google.com/robots.txt User-agent: * Disallow: /explore? Disallow: /trends/explore?
| Sitemap 地址 | 状态 | 内容 |
|---|---|---|
| https://trends.google.com/sitemap.xml | 404 | - |
Disallow: / 是什么意思?
表示禁止所有搜索引擎抓取整站,上线后务必检查是否误设置。