robots.txt 写法详解:如何正确屏蔽与放行搜索引擎蜘蛛

· 作者:站长资源 · 7 阅读 · SEO优化

robots.txt 告诉搜索引擎哪些页面可以抓取。本文讲解 User-agent、Disallow、Allow、Sitemap 指令和常见错误。

robots.txt 放在哪里

robots.txt 必须放在网站根目录,例如 https://www.example.com/robots.txt,文件名必须小写。

常用指令

User-agent: *\nDisallow: /admin/\nDisallow: /search/\nAllow: /\nSitemap: https://www.example.com/sitemap.xml
  • User-agent:指定蜘蛛,* 表示所有;
  • Disallow:禁止抓取的路径;
  • Allow:允许抓取的路径;
  • Sitemap:声明网站地图地址。

常见错误

最严重的错误是测试环境的 Disallow: / 上线后忘记删除,导致整站不被抓取。另外,robots 只是“君子协定”,敏感目录仍需权限控制。

可以使用 Robots检测 工具检查规则,或用 Robots生成器 快速生成。

标签: