robots 正确配置

robots.txt 是站点与蜘蛛之间的「交通规则」。配错了，要么该抓的没抓（收录受损），要么不该抓的狂抓（配额浪费）。

robots.txt 是什么

robots.txt 放在站点根目录，告诉各搜索引擎蜘蛛：哪些路径可以抓、哪些不可以。对百度而言，规则生效的对象是 Baiduspider。

三条基础原则

1. 允许蜘蛛抓取：确保没有误写全站禁止（Disallow 根路径的写法会屏蔽整站，是最严重的配置事故）；
2. 声明 Sitemap 地址：在文件中写明站点地图位置（Sitemap: 你的域名/sitemap.xml），给蜘蛛一条全量链接索引；
3. 屏蔽无价值路径：后台、登录、打印、筛选参数、死链目录等无需参与搜索的路径，可Disallow 节省抓取配额。

常见正确写法（示意）

• 允许全部：对百度蜘蛛不设禁止；
• 禁止特定目录：把后台、临时页面所在目录写进禁止规则；
• 声明地图：单独一行写站点地图完整 URL；
• 中文路径：尽量避免，若包含需谨慎测试。

写完后务必用平台的 robots 工具检测（见 4-02），直接看百度视角下「哪些路径被放行、哪些被拦截」，肉眼检查容易漏。

三个高频踩坑

• 误屏蔽全站：把根路径写进禁止规则，导致整站不被抓取、收录一夜归零——上线前必须用检测工具确认；
• 屏蔽了 CSS/JS：现在蜘蛛会抓页面渲染所需的样式与脚本，全屏蔽它们会影响页面渲染与理解；
• 改版后忘了更新：站点结构调整、目录迁移后没有同步 robots，规则与新结构对不上。

robots 与收录的联动

robots 不是「设一次就不管」的文件：

• 它决定蜘蛛能看见哪些入口——直接划定收录范围；
• 它与 sitemap 合作（robots 划边界 + sitemap 给全量），构成站点的「抓取说明书」；
• 改版、新增栏目、删除目录时，都要同步 review 一遍。

小结

robots 三件事：别误拦全站、声明 sitemap、屏蔽无价值路径。并且——写完一定用平台工具检测验证，这是唯一能确认「蜘蛛看到的规则就是你以为的规则」的方法。