seo案例分析，怎样判断采集是否遗漏
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b3ac9ec4449a.html
📄
seo案例分析，怎样判断采集是否遗漏
判断采集是否遗漏，核心不是看“总量够不够”，而是核对三条证据链是否对得上：站点自己声明的可抓取URL集合、服务器日志里实际被请求的URL集合、以及最终进入索引或分析库的URL集合。三者的差集，就是遗漏候选。多人协作时，把这三份清单固定成同一格式，谁查哪一列、交付什么文件写清楚，返工就会明显减少。
先固定一份基准URL清单
要查什么：本次分析范围内的全部候选URL，而不是只导出已收录的部分。
怎么查：从站点地图、站内链接爬取结果、CMS后台已发布内容列表三个来源分别导出，合并去重后作为基准清单。每条至少保留URL、来源、内容类型、发布时间、canonical指向五个字段。
结果说明什么：如果三个来源的数量差异很大，说明基准本身不完整，此时算出的“遗漏率”没有意义。先补齐基准，再进入下一步比对，否则后面所有结论都会偏。
用日志比对实际抓取覆盖
要查什么：基准清单里哪些URL从未被搜索引擎爬虫请求过。
怎么查：按爬虫UA和IP段过滤日志，提取被请求的URL，与基准清单做差集。差集里再细分：从未出现、只请求过一次、只请求了非200状态。
结果说明什么：从未出现且站内无任何内链指向的URL，属于发现路径缺失；有内链但从未被抓取的，需要检查是否被robots规则、noindex或超时阻断。只请求一次且状态异常的，属于抓取失败而非遗漏。注意日志只反映请求，不等于内容被收录。
核对索引与站内统计的口径差异
要查什么：同一批URL在搜索引擎报告、站内统计工具、第三方估算中的数量是否一致。
怎么查：分别导出三方的URL列表，做交集与差集。重点看差集里的URL是否被标为“已发现但未编入索引”“已抓取但未编入索引”或类似状态。
结果说明什么：第三方估算流量、搜索引擎报告与站内统计口径不同，不能互相替代。第三方估算偏低不代表采集遗漏，可能只是抽样或模型差异。只有搜索引擎自己给出的状态说明，才能作为判断索引环节的直接依据。若某一方无法导出URL级清单，就只把它作为参考，不作为结论来源。
清单：每项查什么、怎么查、说明什么
- 基准完整性：查三个来源的URL数量与去重后总数；用脚本或表格合并去重；差异超过预期就先补基准。
- 内链可达性：查每个URL是否有至少一条站内链接指向；随机抽20条手工点开；无内链的URL属于发现风险项。
- robots与meta规则：查是否存在误屏蔽；用抓取测试工具或直接读源码；被规则挡住的URL不算遗漏，算主动排除。
- 状态码与跳转：查返回码是否为200、是否有多跳；用批量请求工具记录状态链；3xx链过长或5xx会中断抓取。
- canonical指向：查canonical是否指向自身或正确聚合页；逐条读取源码；指向他页的URL不会以自身身份进入索引。
- 索引状态：查搜索引擎给出的收录状态；用站点查询语法或后台报告；区分“未发现”“已发现未编入”“已编入”。
- 日志覆盖：查爬虫是否到访；按UA过滤日志做差集；从未到访且无内链，判定为发现路径问题。
- 协作交付：查谁负责哪一列、用什么格式提交；约定统一CSV字段与命名；字段不统一是返工的主要来源。
一个可操作的假设示例
假设某栏目有100条已发布内容，基准清单100条。日志差集显示8条从未被请求，其中6条没有任何站内链接，2条被robots规则屏蔽。索引报告显示另有5条处于“已发现未编入索引”。此时可判断：6条属于发现路径缺失，2条属于主动排除，5条属于索引环节待观察，而不是笼统地说“遗漏了13条”。这个区分决定了后续动作是补内链、改规则还是等待重新抓取。
适用条件与判断结果
这套方法适用于内容量可枚举、有日志权限、多人分工的站点。若站点URL数量极大或参数组合无限，需要先按模板或栏目抽样，再推及整体，并明确标注抽样比例。判断结果只有三类：发现路径问题、抓取受阻问题、索引未编入问题。三类对应的修复动作不同，混在一起报“采集遗漏”会导致执行方向错误。
下一步：把上面八项做成一张共享表格，指定每项的唯一负责人和交付格式，先跑一遍基准与日志的差集，确认差集分类无误后再分派修复任务。
