神策数据：游戏企业如何做产品 A/B 测试？三大案例一次搞懂！

A/B 测试是游戏行业常用的数据试验方法,特别是有过游戏出海经历的企业,都尝试过 A/B 测试:

商店 A/B 测试:在 Google Play 开发者后台,通过 A/B 测试挑选最合适的游戏图标、商店图、商店视频和商店文案;

广告投放 A/B 测试:在 Facebook 投放广告素材时,通过 A/B 测试发现哪一个受众群体可以创造更高广告价值;进行广告投放的优化,确认哪一种投放方式/投放素材可获得最佳成果;

广告变现 A/B 测试:在变现聚合平台调试广告变现时,通过 A/B 测试寻找更合适的 Waterfall 配置等,寻找最佳的广告触发时机、广告观看奖励、广告播放形式等;

产品 A/B 测试:在游戏产品研发与运营过程中,测试美术设计,如按钮用什么颜色、什么形状,NPC 用什么造型、技能特效、抽卡表现等;

测试新手引导,调整新手阶段的节奏、难度和特定的关卡设计;

测试界面布局,如商城界面布局,包括顺序、大小、颜色和边框等;

测试产品定价,确定哪些定价的硬通货或者礼包对玩家更有吸引力;

测试变现入口,确定合适的变现入口,使得既可以获得可观的收益又不影响玩家体验;

测试玩法机制,找到更吸引玩家的玩法,如调整 PVE 通关奖励领取方式能否提升玩家体验深度,副本增加随机隐藏 BOSS 能否吸引玩家再次挑战,PVP 不同匹配策略对玩家参与积极性有什么影响。

本文将围绕游戏产品 A/B 测试,帮助游戏企业及时了解每一个重要变动带来的是积极还是消极影响,从而实现在版本迭代时达到更好的留存和收益。


接下来通过三个真实实践案例,讲述神策数据 A/B 测试如何帮助游戏企业解决玩家转化与参与度问题。

案例一:限时活动 A/B 测试,玩家游戏进度大幅提升

某款休闲游戏上线一段时间后,玩家付费逐渐乏力。策划同学希望通过优化限时活动,刺激玩家付费,进而提升 LTV。目前限时活动设计为:玩家在限定时间通过指定数量活动关卡即可领取活动奖励。玩家挑战活动关卡需要消耗体力、攻防增益等道具。道具不足时,可以通过内购商城、观看广告两种方式来及时补充。策划同学希望通过在活动中加入一些社交竞争元素,借助相互攀比的心态,激励玩家尽早通关活动关卡,提升收益(短期内消耗更多付费道具)。

在以往实践中,将社交竞争元素用排行榜的形式来展现效果会更好。因此策划同学设计了三版排行榜展示策略:

1、为玩家展示相同地区其他玩家的活动进度;

2、为玩家展示相似水平段位其他玩家的活动进度;

3、为玩家展示相近剩余体力其他玩家的活动进度。

同时,通过 A/B 测试进行策略验证——将玩家分为对照组和三个试验组,各组玩家只能看到所属组的排行榜展示形式:

对照组:此组玩家将不会被展示进度排行榜

试验组 1:此组玩家将会被展示相同地区玩家的进度排行榜

试验组 2:此组玩家将会被展示相似水平段位玩家的进度排行榜

试验组 3:此组玩家将会被展示相近剩余体力玩家的进度排行榜


然后,筛选试验受众玩家为“活跃玩家”,设置试验核心指标为“活动时间段内的人均收益”,设置试验辅助指标为“活动参与率”。

接下来,在进行为期一周的观察之后,发现试验组 2 的置信区间在【+4.69%,+9.54%】,核心指标有显著提高,因此,产品团队将试验组 2 的版本确定为最新可发布版本。

在该过程中,神策数据 A/B 测试解决方案能够帮助游戏企业结合用户行为分析,确定应对用户变化的最优解决方案,最大化提升价值产出与效率。

案例二:通关奖励展示形式的 A/B 测试,强化玩家粘性与游戏深度

某 RPG 游戏希望通过调整 PVE 关卡奖励的领取方式,来提升玩家对 PVE 关卡奖励的期待,刺激玩家持续参与关卡挑战,从而提升玩家购买体力的可能性(挑战关卡需要消耗一定体力)。当前玩家顺利通关时,会展示通关奖励,同时奖励道具直接进入玩家包裹。针对此,策划同学计划在挑战成功领取通关奖励阶段融入随机机制,增加闯关乐趣,设计了两种通关奖励领取方式:

1、通关成功后,为玩家弹出大转盘。玩家转动转盘后,可以获得指针停留的道具,大转盘内的道具与直接展示相同;

2、通关成功后,为玩家弹出三个宝箱。玩家可以选择任一宝箱获取里面的奖励,选择之前无法看到宝箱内道具信息,宝箱内道具配置与直接展示相同。

为了快速识别到最优的通关奖励领取方式,策划同学通过 A/B 测试观察各个策略的数据结果辅助决策,将玩家分为对照组和两个试验组,各组玩家只能看到所属组的奖励领取方式:

对照组:直接展示关卡奖励,玩家直接领取奖励

试验组 1:以转盘形式展示奖励,玩家通过旋转转盘领取奖励

试验组 2:以三宝箱形式展示奖励,玩家通过选择任一宝箱领取奖励

在该试验中,筛选试验受众用户为“新注册玩家”,试验核心指标为“人均关卡通过次数”,试验辅助指标为“人均在线时长”,综合观察指标变化后,发现试验组 1 玩家平均通过关卡次数为 11.91 次,试验组 2 玩家平均通过关卡次数为 12.27,均明显高于对照组直接展示关卡奖励的 11.2 次。因此,该游戏团队将试验组 2 作为正式版本对外发布。

案例三:新手限时礼包展示时长的 A/B 测试,有效提升玩家购买率

某策略游戏的策划团队对于新手限时礼包的购买率不太满意,希望通过策略优化实现购买率提升。

目前,该游戏的新手礼包限购时长为 3 天,因此,策划同学计划通过调整礼包限购时长来营造紧张感,刺激玩家购买,从而提升礼包购买率。按照这一思路,策划同学设计了一次 A/B 试验,将当前限时 3 天购买的新手礼包作为对照组,将限时 2 天购买的新手礼包作为试验组 1,将限时 1 天购买的新手礼包作为试验组 2,将限时 7 天购买的新手礼包作为试验组 3。各组礼包内的道具都一样。

在进行试验的过程中,筛选试验受众用户为“新注册用户”,设置试验核心指标为“礼包购买率”,设置试验辅助指标为“礼包查看次数”。

经过观察与分析试验效果发现,对照组与试验组的礼包购买率分别如下:


可以看出,试验组 2 的礼包购买率相较于对照组提升明显,能够最大限度满足此次改版需求。

此次试验中,该游戏企业通过神策数据的 A/B 测试解决方案,能够覆盖完整用户操作触点,并得益于 One ID 映射方案,轻松实现用户跨端识别。与此同时,运营同学可以将一份流量克隆为多份,流量复用,面向同一个玩家同时进行多个试验;也可以将一份流量分割为多份,分配给多个试验使用,同时保证各试验流量相互隔绝,保持流量互斥;除此之外,还可以将一份流量拆分为多组,分配给多个试验版本使用,并灵活调整各组分配比例,基于此实现一份流量、多份使用,大幅提升试验并行数量。

综上,神策数据 A/B 测试能够帮助游戏企业在研运过程中,以更低成本做更多、更精准的试验,驱动科学决策的诞生。