日志里爬虫一天来了 8000 次，其中 6000 次花在筛选参数页和早已下线的旧地址上，新发布的文章三周还没被收录。抓取预算被这些垃圾请求吃光，是中大型站点收录慢的真实原因。
，具体可参考参数页吃抓取额度，具体可参考日志文件分析快速结论：抓取预算由抓取速率上限和抓取需求共同决定。优化的方向不是求爬虫多来，而是把它已经花的时间挪到有价值的页面上：关掉无意义的参数组合、清干净死链与跳转链、把服务器响应压到 500 毫秒以内。日志分析是唯一能给出真实答案的工具。
哪些站点真的需要管抓取预算
页面数不到一千的小站基本不用操心，搜索引擎的抓取能力远超这个量级。真正需要精细管理的是三类站点：URL 总量过万的电商与分类信息站、每天新增数百页的资讯站、以及会自动产生海量参数组合的筛选型站点。
- URL 数量超过 1 万，且索引率低于七成，属于典型的预算紧张信号。
- 新页面从发布到收录平均超过 7 天，说明抓取需求没有被激发起来。
- 日志中爬虫对无价值 URL 的请求占比超过四成，浪费严重。
- 服务器平均响应时间高于 800 毫秒，抓取速率上限会被主动压低。
还要分清两个变量。抓取速率上限由你的服务器承载能力决定，站点越稳、响应越快，爬虫敢来的频次越高；抓取需求则由内容质量和更新频率决定，长期不更新、没人链接的页面，搜索引擎自然懒得回访。两者中任何一个偏低，实际抓取量都上不去，所以优化必须双线推进，只调服务器不管内容，效果会很快见顶。
先做日志分析，别凭感觉优化
抓取预算是唯一能从服务器日志里看到全貌的 SEO 议题。站长后台给的是抽样数据，日志给的是每一次请求。导出最近 30 天的访问日志，按 UA 筛出搜索引擎爬虫，然后按目录、状态码、URL 类型三个维度分组统计。
| 日志指标 | 健康区间 | 异常信号 | 对应动作 |
|---|---|---|---|
| 200 状态占比 | 85% 以上 | 低于 70% | 排查死链与跳转链 |
| 404 请求占比 | 5% 以内 | 超过 15% | 清理失效链接与旧 sitemap |
| 301 请求占比 | 10% 以内 | 超过 25% | 把内链直接指向终点 URL |
| 参数页抓取占比 | 10% 以内 | 超过 30% | 收敛参数、屏蔽无价值组合 |
| 平均响应时间 | 500 毫秒以内 | 超过 1 秒 | 优化数据库查询与缓存 |
统计结果通常会给你一个意外：爬虫最爱抓的往往不是你最想推的页面。修正这种错配，就是抓取预算优化的全部意义。
把浪费掉的抓取额度收回来
浪费主要集中在几类可预测的 URL 上。逐项处理，收益立竿见影。处理死链与跳转链的完整流程见 死链与重定向链清理，参数与重复内容的收敛逻辑见 canonical 与重复内容处理。
- 筛选与排序参数：只保留能产生独立需求的组合，其余在 robots.txt 里屏蔽或用 canonical 收敛。
- 站内搜索结果页：全部屏蔽，这类页面几乎不会带来自然流量，却能产生无限多个 URL。
- 日历与归档页：按日归档通常没有价值，保留按月即可。
- 跳转链：把内部链接直接改写为最终 URL，别让爬虫为一次访问跑三趟。
- 会话 ID 与追踪参数：用 canonical 指向干净地址，避免同一内容生成上千个变体。
- 大量低质薄内容页：合并或删除，删除后返回 410 比 404 更能让爬虫快速放弃。
提高单位时间的抓取效率
省下额度之后，还要让爬虫抓得更快。服务器响应时间是硬约束，响应变慢时搜索引擎会主动降低抓取速率以避免拖垮站点。把首字节时间压到 500 毫秒以内，抓取速率上限自然抬升，具体手段可参考 网站速度优化三板斧。
- 开启服务端缓存与 CDN，减少动态渲染的重复计算。
- sitemap 里只放希望被收录的规范 URL，并保持 lastmod 字段真实准确。
- 把重要新页面主动推送给搜索引擎，别单纯等着被发现。
- 控制单个 sitemap 文件不超过 5 万条 URL，大站按栏目拆分成索引文件，规则见 robots.txt 与 sitemap 配置。
- 减少纯脚本渲染的页面比例，渲染队列会显著拉长收录周期。
下一步：
- 导出最近 30 天服务器日志，统计爬虫请求的状态码分布与目录分布。
- 列出抓取占比最高但无排名价值的前 20 类 URL，本周内完成屏蔽或收敛。
- 把站内链接中的 301 目标改写为终点地址，消除跳转损耗。
- 监测服务器平均响应时间，超过 800 毫秒的接口列入优化排期。
- 一个月后复查日志，确认 200 状态占比与新页面收录速度是否改善。
常见问题（FAQ）
页面不多的小站需要管抓取预算吗？
页面数不到一千基本不用管。URL 过万、索引率低于七成、新页收录超 7 天、爬虫请求四成是垃圾 URL，才需要优化。
怎么知道爬虫把额度浪费在哪了？
导出 30 天服务器日志，按 UA 过滤出爬虫，按目录、状态码、URL 类型分组统计。参数页和旧地址占四成就是浪费信号。
robots 屏蔽参数页会影响正常收录吗？
不会。先确认参数组合没有独立需求再屏蔽，用 robots 或 canonical 收敛，额度自然流向重要页面。
只升级服务器能解决抓取预算吗？
不行。抓取需求由内容质量和更新频率决定，只调服务器不管内容效果很快见顶，速率上限与抓取需求要双线推进。
提高抓取效率最优先做什么？
把服务器首字节时间压到 500 毫秒以内，响应慢爬虫会主动降速；再配干净 sitemap 和主动推送新页，收录明显缩短。
图：{‘raw’: ‘抓取预算优化：让爬虫把时间花在刀刃上’, ‘rendered’: ‘抓取预算优化：让爬虫把时间花在刀刃上’} 核心要点（运营GO 整理）
