robots.txt 是站点的门锁，sitemap 是给爬虫的地图。门装错、图绘歪，该收的页被挡在外、该挡的反而进了索引，收录全盘乱套。两者配合才完整。
两者的细节在技术SEO 实战手册有展开，本文讲门锁与地图如何协同不出错。
快速结论
- robots 管”别抓哪”，sitemap 管”该抓哪”。
- 门锁装错会挡掉该收的页，地图歪会引错路。
- 两者矛盾（一边拦一边请）指令混乱。
- 上线前后都要核对两者一致且正确。
robots 与 sitemap 各管什么
robots.txt 是放在根目录的告示，用 disallow 告诉爬虫哪些路径别来抓，是”负向”控制。sitemap 是 XML 清单，列出你希望被抓被收的 URL，是”正向”引导。一个说”别去”、一个说”该去”，方向相反却互补，合起来定义爬虫的行走范围。
只设 robots 不留 sitemap，爬虫靠自己探索，新站尤其慢；只给 sitemap 不理 robots，又可能让无价值页被抓。两者都要，且口径一致。这点和抓取预算优化一体：门锁省预算、地图指方向，协同才让有限抓取落到刀刃上。
门锁装错的典型后果
最惨的是 disallow 了本该收录的目录——内容再好也不被抓，排名归零，且往往无人察觉，因为页面本身能访问、只是引擎不来。另一类是 disallow 末尾漏斜杠，只拦目录本身没拦其下内容，该挡的没挡住，垃圾页照进索引，和预期相反。
还有人误以为 disallow 能隐藏页面，结果页面因外链仍被收进索引只不展示摘要，并未真正下架。门锁的语义是”别抓”不是”别收”，混淆二者会出事。robots 要写得精准并测过，别凭印象配，一个小符号就能改变整片目录的可抓性，代价常是沉默的流量损失。
地图绘歪的典型后果
sitemap 若混进大量无价值页（筛选、参数、死链），等于把爬虫引向垃圾，稀释抓取效率、制造索引膨胀。若地图长期不更新，新内容不在其中，收录滞后。地图不是”生成一次就完”，而是要随内容动态准确，否则从”指南”退化成”误导”。
另一种歪是地图里列了 robots 已 disallow 的页——一边请一边拦，引擎困惑。还有地图指向 404 或重定向链，爬行浪费。地图质量直接决定引导质量，把它当活文件维护，定期校验其中的 URL 是否可达、是否值得收，才发挥正向引导的价值，而非添乱。
两者矛盾的坑
矛盾最常出现在”disallow 掉的页却进了 sitemap”。引擎遇到这种冲突，不同情况下处理不一，可能忽略 sitemap 里的该项、也可能仍尝试，结果不可控。规则的一致是底线：被拦的页绝不该出现在地图里，在地图里的必须可被抓，二者像门与图同一张图纸。
排查方法简单：导出 robots 的 disallow 范围，与 sitemap 的 URL 列表取交集，任何重叠都是 bug。把它做成上线前的自动校验，能拦掉绝大多数矛盾。门锁与地图一致，爬虫行为才可预测，收录才按你设计的方向走，否则再好的内容也可能卡在”该收却被拦”的夹缝里。
最佳实践
一、robots 只拦真正无价值或敏感的路径，宁少勿滥，避免误伤。二、sitemap 只列值得收的规范 URL，且随内容自动更新。三、两者定期比对无冲突。四、在地图里标注最后更新时间，帮爬虫判断新鲜度。四招落实，门锁与地图各司其职又互相印证。
对多子域或 CDN 站点，还要确认每个版本（http/https、www）的 robots 一致、sitemap 地址正确可达。分布式环境下最容易某份配置漏更新，导致部分版本行为异常。把 robots 与 sitemap 纳入统一配置管理，比散落各处更易保持正确，也便于大规模站点维护，省去事后排查的麻烦。
上线前后核对
上线前：确认 robots 放行了所有该收路径、sitemap 已生成且 URL 正确、两者无矛盾。上线后：在搜索控制台提交 sitemap、看抓取统计里被拦比例是否合理、看”已发现/已收录”是否随地图更新而上升。核对是这门锁与图能否生效的最后一关，别省。
建议把”robots + sitemap 核对”写进每次发布与迁移的清单，和 301、canonical 并列。它们虽小，却直接框定爬虫的活动边界，错一处影响一片收录。持续核对让门锁与地图始终准，站点收录盘面才稳，也免去”为什么这页不收”这类反复出现的低效追问。
常见翻车现场
翻车一：迁移后忘了更新 robots，旧版 disallow 规则残留在新站，把刚上线的新页全拦了，收录归零。翻车二：sitemap 还指着旧域名，爬虫按图走到死链。翻车三：CDN 缓存了旧 robots，改了不生效。每一条都让门锁与地图从助手变杀手，且症状隐蔽，常在流量掉了才被发现。
规避靠流程：每次发布或迁移把 robots 与 sitemap 纳入核对清单，确认版本一致、无矛盾、已重新提交。把它们当会过期、会变的基础设施来管，而非设一次就忘。门锁与地图虽小，却框定爬虫全部活动边界，值得出这份核对成本，也免去事后大量低效排查与补救。
小站也别忽视
有人觉得小站不必管 robots 与 sitemap，其实恰恰相反：小站没有外链权重，更靠这两样把有限抓取引导到该去的页。一份干净 sitemap 能让新内容更快被发现有价值内容，一条精准 disallow 能挡掉无意义抓取。小站资源紧，更该把这俩免费杠杆用足，而不是放任爬虫盲目探索。
图：门锁与地图 核心要点（运营GO 整理）
| 文件 | 角色 | 常见错 |
|---|---|---|
| robots | 负向拦截 | 误拦该收 |
| sitemap | 正向引导 | 混入垃圾 |
| 二者 | 须一致 | 互相矛盾 |
下一步行动清单
- 核对 robots 未误拦该收路径。
- 确保 sitemap 只列规范且可抓的 URL。
- 比对两者无 disallow 与地图重叠。
- 上线后提交 sitemap 并看抓取统计。
- 把核对写入发布与迁移清单。
