链接有效性检测，访客被分配到不同版本时怎样识别样本污染
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /3e93c95b88b3.html
📄
链接有效性检测，访客被分配到不同版本时怎样识别样本污染
先给结论：当同一批访客被分配到不同版本时，链接有效性检测最容易被污染的不是失效链接本身，而是“谁点到了哪个版本”这条分配记录。若缺失该记录，任何按版本汇总的失效率都只能当作描述，不能当作版本差异的证据。最小可执行动作是：在每次检测结果旁保留一条可回溯的分配标识（如实验桶、落地页参数或分流规则版本），并只比较同一分配标识内的链接状态；若做不到，就应保留原始逐条记录、改写为“整体有效性”结论，或直接退出按版本拆分的分析。
先分清污染来自分配还是来自链接
访客被分到不同版本时，污染通常有两种来源。第一种是分配污染：分流规则本身不稳定，同一个访客在不同时间进入不同版本，导致同一条链接的检测结果被重复计入多个版本。第二种是链接污染：不同版本内嵌的链接集合本就不同，某版本失效率高只是因为它的链接更多、更长或更依赖外部跳转。
区分这两者的可核查证据是逐条记录，而不是汇总比例。你需要保留每个版本实际出现的链接、检测时间、检测结果，以及该次访问所属的分配标识。如果分配标识缺失，就无法判断同一链接的失败是版本差异还是分流抖动。
一个常见反例是：某版本失效率从 3% 升到 6%，看起来像版本退化。但如果同时发现该版本的访问量也翻倍，且新增访问集中在某个新链接上，那么更合理的解释是链接集合变了，而不是原有链接变差了。请求量或失效率的升降不能单独证明版本处理正确，它还有分配比例变化、链接集合变化、检测时机变化等合理解释。
保留、改写还是退出：三种取舍的适用前提
保留适用于你能拿到分配标识，并且该标识在检测周期内保持稳定。此时应把检测结果按“分配标识 + 链接”双维度保存，而不是只按版本汇总。动作是：在检测脚本或人工记录中新增一列分配来源，每次检测时一并写入。结果是，后续比较只在同一分配来源内进行，版本差异和分流抖动可以被分开观察。
改写适用于分配标识不完整，但你能拿到逐条原始记录。此时不应继续输出“版本A失效率高于版本B”这类结论，而应改写为“在可观测到的记录中，链接X在版本A和版本B均失败/均成功”。动作是：把分析单位从版本降到链接，再按链接本身的状态归类。结果是，你得到的是链接有效性清单，而不是版本优劣判断。代价是无法回答版本间差异是否显著。
退出适用于既没有分配标识，也没有逐条原始记录，只有按版本汇总的比例。此时继续做版本对比只会把分配噪声当成版本信号。动作是：停止按版本拆分，只保留整体链接有效性检测结论，并明确标注“无法归因到版本”。结果是，你放弃了一个不可靠的对比，但避免了把错误结论传递给后续决策。
缺少完整数据或权限时的最小动作
如果你没有权限修改分流代码，也拿不到实验平台的分桶日志，仍可执行以下最小动作：
- 在检测结果中记录检测发生的绝对时间，精确到分钟，而不是只记录日期。
- 对同一条链接重复检测至少两次，间隔覆盖一次完整的分流周期。
- 把两次结果不一致的链接单独列出，标记为“分配相关不确定”，不并入版本失效率。
- 若链接带有可读参数，保留参数原样，不要归一化后再比较。
这些动作的结果是：你能识别出哪些链接的检测结果本身就不稳定，从而避免把它们当成版本差异的证据。不能推出的结论是：某版本一定更好或更差，以及失效率变化一定由版本改动引起。
一个假设例子：如何用证据链而不是比例下判断
假设某页面有两个版本，版本A和版本B，分流规则按访客标识取模。你检测到版本A有 4 条失效链接，版本B有 2 条。单看比例，版本A更差。
但如果逐条记录显示：版本A的 4 条失效链接中有 3 条只在某一天的某次检测中出现失败，其余时间均成功；版本B的 2 条失效链接在所有检测中均失败。那么更合理的判断是：版本A的失败与检测时机或分配抖动相关，版本B的失败是链接本身的稳定失效。下一步应优先修复版本B的稳定失效链接，并对版本A的不稳定链接增加重复检测，而不是直接宣布版本A质量更差。
这个例子的关键不是数字大小，而是证据链：同一链接是否有稳定失败记录、失败是否集中在特定分配标识内、重复检测是否复现。缺少这些证据时，按版本比较失效率只是把分配噪声当成了版本信号。
检测结果如何影响下一步动作
当你确认污染来自分配而非链接本身，下一步应优先稳定分流规则或补齐分配标识，而不是继续扩大检测样本量。当你确认污染来自链接集合差异，下一步应统一各版本的链接集合或分别建立基线，而不是跨版本比较失效率。当你无法确认污染来源，下一步应保留整体有效性结论，并把版本对比标记为暂不可用。这三种走向对应三种不同的修复成本，选择哪一种取决于你手里是否有可回溯的分配记录，而不是取决于哪个版本的失效率数字更好看。
