01 AB 实验简介

　　AB 实验又称双盲测试、A/B testing、随机分组实验等，主要目的在于降低风险和准确量化实验结果。其基本思想是从大盘中取出一小部分流量，完全随机地分给对照组和实验组，通过回收不同实验组用户的行为数据，应用统计学方法得出结论。　　

　　早期的实验平台只具有单层。单层平台的问题在于若单次实验选取 10% 流量，则该平台最多只能承载 10 个实验，会导致实验流量饥饿问题。为了解决这一问题，目前的实验平台采用了多层的形式。

　　“层+域”，每个实验域下会建一个贯穿层，贯穿层和多层之间互斥，多层之间的流量相互正交，从而保证上层实验的数据可以均匀分散到其他各层中，一个实验层的流量被用完了，在其它层还可以继续创建实验。现有主流的多层域的平台设计大多参考 Google 论文：Overlapping Experiment Infrastructure: More, Better, Faster Experimentation。

　　实验流程总体上可分为六部分：明确目标、提出假设、创建实验、运行实验、分析实验和最终决策。

　　02 各类型搜索实验介绍

　　搜索场景有一些特有名词，为了更好地理解搜索实验，首先来介绍一下这些名词。

　　Query：查询词，指在搜索栏中输入的词。

　　意图判断：指对 query 的目的判断。

　　结果页：指搜索结果页面，通常由 10 个卡片组成，每个卡片有对应的卡 ID 和位置等信息，卡片与 query 对应。

　　QV：指 query 访问（查询）次数。

　　卡影响面：指卡在搜索结果页中的比例。

　　策略影响面：指策略在大盘中的生效比例，有些策略覆盖多张卡。

　　卡位置：指卡在搜索结果页中的排序位置。

　　实验场景主要有以下几类：

　　搜索结果页改版：包括整体样式、字号调整、圆角方角调整等，影响面广，基本覆盖所有用户。

　　卡样式改版：包括 UI、排版、数据等，影响面不大，影响部分流量，需求量高。

　　策略控制排序、卡内容智能展现：影响面小，影响部分流量。

　　算法控制排序：影响面较小，影响部分流量。　　

　　根据不同的实验场景，平台提供了四类实验类型的支持，包括：普通AB实验、词表实验、diffab 实验和 interleaving 实验。

　　普通 AB 是在大盘中随机选取流量，并随机分配给两个组别，不同组的用户会看到不同的策略，最后收集用户行为数据并得出结论。

　　词表实验是和卡绑定的，一些特定的 query 才会出卡，因此影响面与卡相关，可大可小。比如一张卡的影响面是千分之一，如果大盘流量是一千万，样本量要达到万级别，就要选大盘的 100%。这样可能会导致流量的浪费，或影响其它实验。

　　Diffab 实验适用于实验组和对照组区别较小的情况，控制组和对照组将同时下发流量至两个组内用户，并统计其行为之间存在差异的部分，可以解决效果被稀释的问题。

　　Interleaving 实验是在一个组内，通过两个不同的算法策略随机展现给控制组和对照组用户，计算算法策略的得分和调整策略的结果。

　　这四种实验分别适用于不同的场景，普通AB实验适用于搜索结果页改版的场景；卡样式改版的场景需要使用词表实验，并且需要绑定卡 ID；策略控制排序和卡内容智能展现的场景，有 diff，影响面小，适合使用 Diffab 实验；算法控制排序，则适合采用 interleaving 实验。

　　接下来举一些真实的案例。

　　普通AB实验

　　结果卡优化升级实验中，对于卡片样式进行了调整，由于影响面广，选用大盘1% 甚至更少的流量就可以做出效果，因此选用普通 AB 实验。大盘选择流量，均衡分配。　　

　　词表实验

　　搜索词与卡对应，影响面相对较小，召回流量有限，因此首先将能出卡的词表选取出来，在此基础之上做分流。通过配置词表包+卡 ID，基于词表分流和统计数据，保证该卡用户都能参与实验。如果卡对应的样本量大，可以选择卡对应的一部分用户参与实验；如果卡对应的样本量小，则可将所有用户分至两个组别。

　　Diffab

　　实验组和对照组中并非百分之百应用或不应用某项更改策略，在请求对照组时会同时虚拟请求实验组，如果两个请求不一致，则认为其中存在 diff，在数据上报过程中进行标记。最终数据统计时统计存在 diff 的部分。实验组也采取同样的操作。　　

　　Interleaving

　　普通 AB 实验在 hash 取模分流时存在用户活跃度分流不均、重度用户比例不均的问题。Interleaving 在一个组内进行算法混插，再根据用户的行为数据进行统计，实验周期更短，需要样本量更少。

　　下图中对普通 AB 实验和 Interleaving 实验进行了对比。

　　普通 AB 实验是有多层的，每层是正交的；而 interleaving 实验只有单层，在此基础上，我们加入了流量限制。

　　Interleaving 的核心思想在于，不对用户分组，每一个用户同时受两个策略的作用，排除用户属性的差异对策略评估的影响。统计实验指标时给每个用户相同的权重，降低重度用户对实验结果的影响，实验周期大幅降低。

　　目前 interleaving 主要使用两种算法：balanced interleaving 和 team-draft interleaving。

　　Balanced interleaving 面对两种排序策略，按照排序交替选取搜索卡组成以 A 或 B 优先搜索结果。Team-draft interleaving 则根据采样策略在 AB 两组排序中交替选取，且不存在轮空现象。

　　其胜出机制为，当用户点击一个结果时，哪个列表对应的位置小，则哪个得分；最终分高的列表获胜，相等则为打平，不得分。

　　目前较常使用的实验指标包括胜出率、影响面、感知增益等。最终，如果某一指标达到阈值，则该算法胜出，可以上线。

　　03 搜索实验常见问题

　　1. 实验组卡片不生效？

　　搜索场景从用户发起请求到卡展示之间会经历多个环节，每个环节中间涉及到对应的缓存，若缓存没有被击穿，则卡片不会生效。另一种可能的情况是被互斥了，搜索的 query 可能有不同的意图，某些业务会在不同时间情境对不同卡排序进行调整或把别的卡互斥。另外一种可能性是卡开发的过程中存在问题，逻辑有问题不能正常召回，这时需要借助 debug 去排查问题。

　　2. 实验期流量不均衡？

　　可以观察空跑期流量是否均衡，或在实验期间进行 AA 回溯，定位流量不均衡问题是否为空跑期用户行为不均衡导致的，若空跑期不均衡，则需要重建实验。如果空跑期是均衡的，再检查实验组和对照组之间出卡率是否相同。若实验组有 5000 个词可以出卡，对照组只有 2000 个词，则两组在召回层面就存在区别从而导致流量不均衡。另外，流量不均衡也有可能是流量固化问题导致的，通常是因为实验 ID 长期不变动导致用户行为出现分化。

　　3. 影响面极小，难以拿到大盘收益（例如留存类指标）？

　　如卡片摘要信息改动等策略调整，其收益可以在卡片层面上被观测到，然而对大盘用户留存是否有影响在短期内是难以被观测到的。建议可以将多个策略打包，在贯穿层做长期反转实验观察，如果策略打包后观测到正向收益，则说明该实验有大盘级收益。

　　4. 如何避免实验相互影响？

　　词表实验中词表与卡绑定，会导致使用相同两个词表的实验之间正交意义失效，使得实验之间相互影响。因此，需要基于系统的检测功能，若卡和词表已经在系统中进行实验，则使用相同词表和卡的实验只能在同一层中进行；若 query 相同，卡也相同，则不能做实验；若卡相同，query 不同，则可以进行实验。同一层实验的流量互斥，多个实验之间不会相互影响。

　　5. 个别实验指标为负？

　　搜索实验具有多个指标，从统计学角度很难保证所有指标百分之百准确。常见做法是非核心指标一类错误低于 5% 可以接受。若核心指标出现问题，则需要重新做实验。

　　6. 指标多，数据弹出慢

　　由于指标数据来自多个部门，会导致弹出速度较慢，之前需要等到所有数据就位之后统一产出指标，个别产出较慢的数据将导致所有指标加载减缓。目前对指标进行溯源之后采取分批产出的策略。

　　7. 如何避免 trick？

　　词表实验中存在卡在某些词中表现良好，但在另外一些词表现一般，通过挑选表现良好的 query 会得到有偏的结论。因此要保证数据从平台出，避免挑选有优势的 query 跑数。同时，某些 query 影响面小，数据量级小，导致数据波动大、结论不稳定。因此需要保证 query 覆盖和量级达标，排除侥幸。

　　8. 大流量实验影响系统稳定性

　　保证实验平台接入 case 校验平台，实验运行前先校验，通过后再上线平台。

　　9. 影响其他业务？

　　建立各业务护栏指标关注及通知机制，做实验时勾选各关键指标，若指标出现问题需及时通知相关业务方。

　　10. 问题处理不过来？

　　收集问题并写入解决方案文档，引导文档查阅；公开接口人，专业人做专业事。