网站检测：只看成功页面会产生什么选择偏差
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /51f18c11b817.html
📄
网站检测：只看成功页面会产生什么选择偏差
网站检测如果只统计返回 200 的页面，会把“被拒绝、被重定向、超时、根本没被请求”的 URL 排除在样本之外，于是你看到的是一份幸存者清单，而不是全站真实状态。结论只在“失败 URL 与成功 URL 的差异不影响判断目标”时成立；一旦失败集中在某类模板、某个目录或某批参数上，这个结论就会失效。
成功页面样本天然偏向哪一类 URL
返回 200 的页面通常是结构规范、参数干净、内链较多的那一批。它们被请求的概率更高，也更容易在检测中留下记录。反过来，带多参数、层级过深、由脚本拼接、只在站内搜索或分页中出现过的 URL，往往一开始就不进入检测队列。
于是“全站平均标题长度正常”“大部分页面可访问”这类结论，可能只是对规范页面的描述。真正需要判断的是：失败样本是否随机分布。如果失败集中在商品筛选页、旧活动页或某语言版本，那么成功页面给出的平均数就没有代表性。
用三条可核对证据判断偏差是否严重
不要只看一个比例。把下面三类记录放在一起对照，才能区分“检测遗漏”和“页面本身没问题”：
- 请求日志与检测清单的差集：日志里出现过、但检测结果里没有的 URL，说明检测范围本身有缺口。
- 状态码分布：如果 3xx 和 4xx 集中在同一路径模式，偏差很可能是结构性的，而不是偶发。
- 站内链接与站点地图的并集：用两个来源交叉，能发现只存在于其中一方的 URL，避免把单一来源当作全量。
假设某站检测了 500 个 URL，全部为 200，于是判断“无异常”。但日志显示同一时段还有 120 个带筛选参数的请求返回 404。此时 500 个成功页面只能证明这 500 个没问题，不能证明全站正常。这个例子说明的是比较方法，不是真实项目数据。
一个会让结论失效的反例
如果失败 URL 全部来自已下线的旧活动目录，且这些 URL 不再被任何内链或站点地图引用，那么把它们计入“全站问题”反而会高估严重程度。此时只看成功页面虽然样本有偏，但对当前决策的影响可能很小。
判断标准不是失败数量多少，而是失败 URL 是否仍承担入口作用。仍被导航、文章正文或站点地图指向的失败 URL，必须进入检测范围；已经彻底孤立、且无外部价值的旧地址，可以单独归档，不混入常规健康度判断。
下一步动作：先补全样本，再决定是否改页面
把日志、站点地图和站内链接合并成一份候选 URL 清单，对差集部分单独发起一次检测，记录状态码、最终跳转地址和响应时间。完成这一步后，再回看原来的成功页面结论：如果差集里失败比例很低，可以继续按原结论推进；如果差集里失败集中在某类模板，应先修模板或规则，而不是逐页改标题和正文。
这样做的结果会直接改变下一步：样本补全后仍成立的结论，才适合作为页面改动依据；补全后被推翻的结论，应回到检测范围本身，而不是继续在成功页面上做优化。
