robots.txt 写法详解:如何正确屏蔽与放行搜索引擎蜘蛛
robots.txt 告诉搜索引擎哪些页面可以抓取。本文讲解 User-agent、Disallow、Allow、Sitemap 指令和常见错误。
robots.txt 放在哪里
robots.txt 必须放在网站根目录,例如 https://www.example.com/robots.txt,文件名必须小写。
常用指令
User-agent: *\nDisallow: /admin/\nDisallow: /search/\nAllow: /\nSitemap: https://www.example.com/sitemap.xmlUser-agent:指定蜘蛛,* 表示所有;Disallow:禁止抓取的路径;Allow:允许抓取的路径;Sitemap:声明网站地图地址。
常见错误
最严重的错误是测试环境的 Disallow: / 上线后忘记删除,导致整站不被抓取。另外,robots 只是“君子协定”,敏感目录仍需权限控制。