在上一篇中，我们介绍了提升实验显著性的“三驾马车”：CUPED（方差缩减）、mSPRT（序列检验）和P2BB（贝叶斯决策）。它们分别从数据预处理、过程监控和最终决策三个核心环节入手，大幅提升了实验效率。
但作为一名追求极致的数据科学家，我们的武器库里不应只有这三板斧。在面对长尾数据干扰、结构性偏差以及低频指标等棘手问题时，我们还需要更多精细化的工具。
本文将为你揭秘另外三个提升显著性的实战技巧：离群值处理、分层抽样以及代理指标。
1. 离群值处理 (Outlier Treatment)
痛点：对于 GMV、人均时长等长尾分布的指标，一个“土豪”用户（一次买 100 万）或“挂机”用户（在线 24 小时），会瞬间拉大整个组的方差 (σ2\sigma^2σ2)。方差一旦膨胀，MDE 随之变大，真实的实验效果就会被噪音淹没。
解决方案：在计算指标前，必须对极端值进行清洗。主要有两种手段：
- 截断 (Truncation / Capping)：
- 做法：设定一个硬阈值（如金额 > 10,000），直接丢弃超过该值的样本。
- 为什么不能直接丢弃？：直接丢弃会破坏随机分流的均匀性（SRM 风险）。如果你的策略（比如促销）正好刺激了高消费用户，导致实验组产生了更多“土豪”，你把他们丢弃了，就等于人为抹杀了策略的正向收益，导致估计偏差 (Bias)。
- 缩尾 (Winsorization)：
- 做法：设定一个分位阈值（如 99.9% 分位数）。将所有超过该阈值的数值，强制替换为该阈值（例如：把 100 万替换为 1 万）。
- 特点：推荐使用。它既保留了样本（没有丢弃用户，维持了随机性），又压制了极端方差。
效果：配合 CUPED 使用效果更佳（先缩尾后 CUPED），通常能让方差再降 10%~20%。
2. 分层抽样 (Stratified Sampling)
痛点：虽然哈希（Hash）随机分流在理论上是均匀的，但在小样本或多维度实验中，难免出现“运气不好”的情况。
- 例子：A 组恰好分到了更多的 iOS 高端用户，B 组分到了更多的 Android 低端用户。这种结构性不均会直接导致实验组和对照组在起跑线上就不公平。
为什么“后分层”救不了？
如果在分流时没控制好，导致 A 组 iOS 占比 60%，B 组 40%。虽然事后可以通过加权（后分层）把均值拉平，但木已成舟：B 组因为 iOS 样本少，该层级的方差已经变大，且整体样本的有效样本量（Effective Sample Size）已经折损。后分层只能修正偏差（Bias），无法挽回损失的功效（Power）。
解决方案：在流量分配阶段（Traffic Assignment）就进行干预。
- 做法：将用户按关键属性（如城市、操作系统）划分成若干个层 (Strata)。在每一层内部，独立地进行随机分流（A/B）。
效果：从源头上消除了“分组不均”带来的结构性噪音，显著降低实验方差。
3. 代理指标 (Proxy Metrics)
痛点：核心指标（如“购买转化率”）往往发生频次低、方差大。在流量有限的情况下，想要在统计上显著提升购买率，可能需要跑几个月，这在业务上是不可接受的。
解决方案：寻找一个“替身”。这个替身需要发生频次更高，且与核心指标高度相关。
- 做法：不直接看“购买”，而是看“加入购物车”或“商品详情页浏览”。
- 关键验证：必须验证代理指标与核心指标的相关性。
- 计算方法：计算用户维度的 Pearson 相关系数或 Spearman 秩相关系数。如果相关系数 > 0.8，说明两者高度同步。
效果：由于代理指标样本量更充足、方差更小，实验往往能在几天内就达到显著。
- 警示：必须警惕“虚假繁荣”（如：加购涨了但购买没涨）。建议仅在探索期使用代理指标快速试错，推全决策仍需回归核心指标。
