Robots 检测
使用方法
- 输入域名
- 查看 robots.txt 规则和 Sitemap 检测结果
常见问题
Disallow: / 是什么意思?
表示禁止所有搜索引擎抓取整站,上线后务必检查是否误设置。
检测robots.txt规则与sitemap可用性
| 地址 | https://www.jdcloud.com/robots.txt |
|---|---|
| 状态 | 200 存在 |
| 规则条数 | 11 |
| 声明 Sitemap | 3 |
| 全站屏蔽 | 是(Disallow: /,搜索引擎无法抓取) |
| User-agent | 指令 | 路径 |
|---|---|---|
| * | Disallow | /static/* |
| * | Disallow | /*?* |
| * | Disallow | /?* |
| * | Disallow | /_nuxt/* |
| * | Disallow | /js/* |
| * | Disallow | /public/* |
| * | Disallow | /img/* |
| * | Disallow | /html/* |
| * | Disallow | /css/* |
| * | Disallow | /en/content/* |
| * | Disallow | / |
User-agent: * Disallow: /static/* Disallow: /*?* Disallow: /?* Disallow: /_nuxt/* Disallow: /js/* Disallow: /public/* Disallow: /img/* Disallow: /html/* Disallow: /css/* Disallow: /en/content/* Disallow: /#/* sitemap:https://www.jdcloud.com/sitemap-www-cn-01.xml sitemap:https://www.jdcloud.com/sitemap-www-cn-02.xml sitemap:https://www.jdcloud.com/products-sitemap.xml
| Sitemap 地址 | 状态 | 内容 |
|---|---|---|
| https://www.jdcloud.com/sitemap-www-cn-01.xml | 200 | 24079 个 URL |
| https://www.jdcloud.com/sitemap-www-cn-02.xml | 200 | 24020 个 URL |
| https://www.jdcloud.com/products-sitemap.xml | 200 | 210 个 URL |
Disallow: / 是什么意思?
表示禁止所有搜索引擎抓取整站,上线后务必检查是否误设置。