减少视觉感染，信息噪音。反向指标指的是指衡量实验产生负面影响的指标。统计显著性的含义是指两个群体的态度之间的任何差异是由于系统因素而不是偶然因素的影响。一般建议统计显著性为95%以上。假设我们之前版本的注册转化率为20%，新版本的注册转化率为25%，统计显著性为95%时，我们则需要每个版本分配至少670个样本量。假如我们想让统计显著性提高到99%，则至少需要700个样本量。
编辑导读：增长是悬在每个企业头上的达摩克利斯之剑，对它又爱又恨。在这个获客越来越难的时代，如何提高用户的增长率及转化率，是每个企业都需要思考的问题。本文作者以一个增长实验为例，对此作出了一些分析，希望对你有帮助。
开展增长实验的步骤一般分为：产生实验想法、排序实验想法、设计实验、开发实验、分析实验结果、产出增长报告。下面我们分别介绍。
一、产生实验想法1. 明确实验的目标
我们开展增长实验一定是基于我们发现了什么问题。
是某个按钮转化率过低？还是某个功能留存率过低？找到问题，我们才能知道优化的方向。比如我们发现注册功能转化率仅为30%，那么我们可以制定我们的实验目标为：把注册功能转化率从30%提高到50%。下面我们都以注册功能转化率低的案例举例。
2. 找到问题产生的原因
为了达成实验目标，我们要去发现问题产生的原因。
我们可以通过定性和定量两种方式来寻找问题产生的原因。
在定性方面，我们可以通过用户调研、用户可用性研究等方式来了解为什么注册功能转化率这么低。
在定量方面，我们可以通过数据来洞察。比如，通过漏斗模型是否可以查看用户在哪里流失率最高；通过用户分群，是否可以了解哪些用户注册转化率高、哪类用户注册转化率低等等。
3. 根据原因寻找解决方案
知道问题产生的原因，寻找解决方案就容易了。
我们可以通过定性、定量以及最佳实践的方式来寻找解决方案。
定性、定量就不介绍啦，和“找到问题产生的原因”里面的大同小异。
这里聊聊最佳实践。所谓最佳实践就是那些公认为可能会提高转化率的方法。比如B=MAT模型、Lift模型。
在B=MAT模型中，想要提高用户的转化率这一行为（behavior），我们要给予用户足够的动机（motivation）、降低用户阻力并且提高能力（ability）、在适当情景下给予触发提醒（trigger）。
Lift模型主要分为价值主张、相关性、清晰度、焦虑感、注意力分散、紧迫性。
- 价值主张。要有明确有力的营销口号，用户可以精准地感知到自己能够获得什么好处。
- 相关性。落地页、转化页符合用户预期、与你的价值主张紧密相连。
- 清晰度。体验流程流畅，用户清晰知道下一步怎么操作。
- 焦虑感。做减法，不要给用户过多的选择；不做不符合用户预期、习惯的事情。
- 注意力分散。减少视觉感染，信息噪音。
- 紧迫性。营造饥饿感使用户快速决策，善于利用禀赋效应、损失厌恶心理。
在这里我们利用以上的方式，假设针对“注册功能转化率低”得出的解决方案如下：
- 缩短页面不必要的注册流程，比如在注册时不需要用户填写邮箱等个人信息。只要输入手机号以及验证码即可登录注册。
- 突出注册按钮。
4. 形成实验假设
最后我们要根据前几步形成我们的实验假设。在这里给小伙伴分享一个实验假设的模板。
“如果[做了某个具体的改动]，预计[某指标]可以提升[X%]，因为[深层的原因，有数据支持]”
根据上文，我们的实验假设即可如下：
- 如果[在用户注册时去掉输入邮箱等个人信息]，预计[注册转化率]可以提升[30%]，因为[通过漏斗分析，用户在输入邮箱等个人信息时近一半流失掉了]。
- 如果[把注册按钮变为原来的1.3倍]，预计[注册转化率]可以提升[10%]，因为[突显了核心流程]。
利用ICE可为我们的实验想法进行排序。ICE分为预期影响（Impact）、成功概率（Confidence）、容易程度（Ease）。
- 预期影响指此实验大概会影响多少用户；实验如果成功了，预计指标能够提升多少。
- 成功概率指的是有哪些数据或者证据来认为这个实验会成功。
- 容易程度指的是我们需要投入多少人力、物力等资源才能完成这个实验。
为三类指标分别赋予0-10的分值。最后的综合得分=预期影响的分数 成功概率的分数 容易程度的分数。
三、设计实验1. 选择的实验的指标
这里我们需要关注三类指标：核心指标、辅助指标、反向指标。
- 核心指标是决定实验的关键指标，也是最直接的指标。优化注册转化率这个实验我们需要关注的就是注册的转化率是否提高/降低了。
- 辅助指标是指实验可能间接影响的指标。比如优化注册转化率对日活、激活率有何影响。
- 反向指标指的是指衡量实验产生负面影响的指标。比如页面退出率、订单取消率、应用卸载率等等。优化注册转化率这个实验不涉及反向指标。
2. 明确实验的受众
我们此次增长实验是针对哪类人？我们可以根据操作系统、浏览器类型、地区、来源的渠道等方式进行分组。比如针对注册转化率的增长实验，我们的受众就是通过百度搜索来的新安卓用户。
我们在做A/B测试的时候要有实验组和对照组。这里我们设一个前提，都是通过百度搜索新来的安卓用户。
假设我们这里开展“新用户注册时去掉邮箱等个人信息”的实验。
- 实验组：使用修改后的版本的用户。
- 对照组：使用修改前的版本的用户。
这样做的好处是，避免了其它变量对实验的影响。
3. 预估试验样本量
明确受众后，我们还要知道需要多少的样本量才能证明我们的实验成立。
这里我们需要引入“统计显著性”的概念。统计显著性的含义是指两个群体的态度之间的任何差异是由于系统因素而不是偶然因素的影响。假如我们利用A/B测试做这个实验，发现转化率有差别，当统计显著性为95%，则说明有95%的可能性转化率的差别是真实存在的，有5%的可能性差别是由于误差引起的。
一般建议统计显著性为95%以上。
假设我们之前版本的注册转化率为20%，新版本的注册转化率为25%，统计显著性为95%时，我们则需要每个版本分配至少670个样本量。
假如我们想让统计显著性提高到99%，则至少需要700个样本量。
小伙伴如果需要此工具，只需在我的公众号回复“增长工具”即可获得。
4. 预估实验时长
知道了样本量，接下来我们要预估实验要持续多久。对于某些实验可能很短的时间就能看出这个实验的真正结果，但对于某些实验可能需要更多的时间才能得到真正的结果。
这里我们用一个公示：
实验所需时间=所需总样本数量/页面每天访问数
假设针对“注册时去掉邮箱等个人信息”的实验，我们需要的样本量为1400（新旧版本分别700个样本量），每天注册页面访问人数为140。则实验时长=1400/140=10天。
四、开发实验首先我们要对数据进行埋点。
如果你是使用第三方的A/B测试工具，我们要确定实验的指标（前面已经叙述过）、找到此指标对应的用户行为，然后把我们的埋点需求写出来即可。数据会自动返回到A/B测试软件，A/B测试软件会自动计算实验的指标。
如果你是手动分析实验，也需要确认实验的指标、然后确立用户的行为。技术开发完埋点后，数据会返回到数据库，这时我们导出数据进行分析即可。
其次一定要对埋点进行测试。确保我们的数据是可靠的。
最后我们开发上线A/B测试版本即可。
五、分析实验结果1. 评估结果的可信度
我们可以把每个版本的访问数、转化人数输入进工具里，工具会帮我们计算统计显著性。如果有显著的统计学差异，证明我们的实验结果是可靠的。
假设我们的对照组的访问数是1000，转化数是60；实验组的访问数是1000，转化数是150。当我们把这些信息输入到工具后，得出此实验是具备显著性差异的，说明此实验的结果是可信的。
2. 关注三类指标
我们要关注之前提到的核心指标、辅助指标以及反向指标。
- 核心指标：实验组的核心指标是否比对照组有所提升？
- 辅助指标：辅助指标的变化是否符合我们的预期，是否和核心指标趋势一致？
- 反向指标：是否没有明显的负面影响，我们是否可以接受反向指标的变化？
3. 观测四种状态
- 如果实验组与对照组的指标相比大幅度提升，则实验组胜利。
- 如果实验组与对照组的指标相比小幅度提升，则实验组胜利。
- 如果实验组与对照组的指标相比下降，则对照组胜利。改动后指标不升反而下降这时我们需要去寻找原因，可以通过细分漏斗、用户分群等方式去排查原因。
- 如果实验组与对照组的指标相比变化不明显，则说明对照组胜利。指标没变化，我们也就没有优化的必要了。保持现状就好。
4. 明确下一步方向
- 此实验的假设取得成功。如果取得成功，我们可以思考是否可以针对这个点进行更多其他的实验？此实验的思路能否应用到其它实验上？
- 此实验假设轻微成功。如果指标只变动了一点点，我们可以进行迭代，直到达到我们满意的程度。
- 此实验假设失败。如果没有达到我们的预期，我们这时要进行反思复盘，我们从这次增长实验中学到了什么？并且清理好代码。
根据上面的实验我们最终可以产出增长报告。增长报告主要记录实验的目标、实验的假设、实验的分值、实验的指标、实验的受众、实验的设计、实验结果、实验洞察以及后续计划等内容。这对我们沉淀增长知识、复盘回顾有极大的帮助。
这一期的内容暂时这，后续会继续更新关于增长的内容，也希望和大家多多交流。
作者：付晓虎（小老虎），一名99年创业者对增长的思考，公众号：小老虎Speak
本文由 @小老虎 原创发布于人人都是产品经理，未经作者许可，禁止转载。
题图来自Unsplash，基于CC0协议。
