robots 文件怎么写:控制搜索引擎抓取的规则与常见错误
robots 文件用来告诉搜索引擎哪些路径可以抓取、哪些不建议抓取。本文介绍文件位置、常用指令、写法示例,以及误屏蔽整站、把它当作隐私保护等常见错误,帮助站长正确配置。
robots 文件是什么
robots 文件是放在网站根目录下的一个纯文本文件,文件名固定为小写的 robots 加 txt 后缀。搜索引擎爬虫在抓取站点前,通常会先读取它,了解站长希望哪些目录被抓取。需要注意,它遵循的是行业约定,守规矩的主流搜索引擎会遵守,但它不具备强制力。
常用指令
文件由若干组规则组成,每组以 User-agent 开头,指定适用的爬虫,星号表示所有爬虫。之后用 Disallow 写不希望抓取的路径,用 Allow 写允许抓取的路径,还可以用 Sitemap 指令写出站点地图的完整网址,方便爬虫发现内容。路径以斜杠开头,区分大小写,部分搜索引擎支持用星号做通配、用美元符号表示结尾。
一个常见的写法思路
对于普通的 PHP 网站,可以屏蔽后台目录、搜索结果页和临时参数页面,其余内容保持开放。例如先写 User-agent 星号,再分别写 Disallow 后台目录、Disallow 站内搜索路径,最后一行写上 Sitemap 的完整地址。规则越简单越不容易出错,不要为了追求完美而堆砌大量规则。
常见错误
- 写成 Disallow 单独一个斜杠,会把整站都禁止抓取,新站上线时尤其要检查,建站阶段遗留的屏蔽规则最容易被忘记删除
- 把它当作隐私保护手段:文件本身是公开的,任何人都能看到,写在里面的路径反而暴露了目录,真正敏感的内容应使用登录验证或服务器访问控制
- 误以为屏蔽就等于不收录:被屏蔽的网址如果有外部链接,仍可能出现在搜索结果中,只是没有摘要;想让页面不被收录,应使用 noindex 标记,并保证爬虫能抓取到该页面才能读到标记
- 屏蔽了样式和脚本文件,导致搜索引擎无法正确渲染页面,影响对移动适配和页面体验的判断
- 文件编码不是 UTF-8,或者路径大小写写错,导致规则不生效
如何检查是否生效
修改后先在浏览器中打开文件地址,确认内容正常显示、状态码为 200。然后使用搜索引擎站长平台提供的检测功能,测试关键页面是否被允许抓取。之后一段时间内观察抓取统计和收录情况,如果发现重要页面抓取量骤降,要第一时间回查是否误改了规则。
小结
robots 文件的作用是引导抓取、节省爬虫资源,而不是保护隐私或决定收录。规则保持简洁,上线前核对,修改后验证,就能避免绝大多数问题。