CASE 02 · EXPERIMENT PLATFORM

A/B 实验

一个从 0 到 1 的核心交互案例。我重新组织实验配置的信息关系,让流量、方案和指标在同一套连续模型中被理解,而不是堆叠为传统后台长表单。

  • 0 到 1
  • 核心交互设计
  • 复杂配置
  • 结果分析
我的角色
从 0 到 1 的核心交互设计师
核心挑战
让流量、实验方案与评估指标保持清晰关联
差异化
用连续配置工作台替代分散的表单页面
上线使用
天天玩家、爱的番茄
2 家客户侧已上线使用
6 步从创建实验到查看结果的完整闭环
0 → 1核心交互模型与配置体验设计
  1. 创建实验
  2. 分配流量
  3. 配置实验组与对照组
  4. 选择指标
  5. 启动实验
  6. 查看结果

BACKGROUND

实验配置,不该是一张更长的表单

传统实验后台常按字段类型分区,用户需要在页面间记住流量、分组和指标的关系。一旦实验方案变复杂,配置正确性与整体理解都会变差。

01 · 实验工作台 · Figma 原稿先让用户看清实验状态,再进入配置与判断

列表同时呈现实验类型、流量层、运行状态和关键动作,让运营人员能够扫描、比较并快速定位异常实验。

设计亮点:面向高频运营任务的信息密度,状态和动作保持紧邻。

市面常见模式

将基础信息、受众、分组和指标拆成多个步骤;页面结构清晰,但关键关系需要依赖记忆。

本项目的重构

以实验结构为中心,把流量池、对照关系和评估指标放在连续工作台中,局部编辑、整体预览。

创新不只是换一种布局,而是让用户在配置每一步时,都能看到它对整个实验结构的影响。

INTERACTION MODEL

连续流程,始终保留全局结构

左侧步骤轨道负责推进任务,主工作区呈现当前关系,关键摘要固定保留。用户可以聚焦当前动作,又不会丢失实验全貌。

实验流量分配总流量 100%
调整组间比例,参与范围保持实时可见
对照组 50%实验组 50%
目标人群过去 30 天新增用户
预计覆盖约 248,000 人
流量分配以可直接操控的比例条连接“总流量、分组比例与预计覆盖”,避免数字散落在多个字段中。

CONFIGURATION

对照关系成为界面主体

对照组与实验组不再是两个彼此隔离的页面。并列结构让差异项可被直接比较,共同项保持继承,新增方案也不打断当前上下文。

共同配置只写一次

共享条件在上层定义,组内只暴露差异项,减少重复输入与潜在不一致。

差异变化即时对比

实验组改动与对照基线并列呈现,用户可以在启动前完成结构检查。

方案配置 · 2 个组
添加实验组保存并继续
A · 对照组默认推荐策略
推荐模型
基线50% 流量
B · 实验组个性化推荐策略
推荐模型
1 项差异50% 流量
差异检查仅推荐模型不同,其他配置继承实验公共条件
分组配置将实验组和对照组并列,把“差异”而非“字段”作为视觉重点;这是本项目区别于常见竞品的核心界面模型。

MEASUREMENT

让指标成为实验判断的一部分

指标选择不只是勾选列表。界面同步说明指标角色、计算口径与观察窗口,让启动前的假设和结束后的判断保持一致。

选择评估指标搜索指标
付费转化率
核心指标 · 用户口径
已选择
次日留存率
护栏指标 · 用户口径
已选择
人均游戏次数
观察指标 · 事件口径
添加
指标选择同时呈现核心、护栏与观察指标的角色,把“为什么选”纳入配置过程,而不是等结果页再解释。
Feature实验[0034] 购物车保存提醒运行中分组:未分组
编辑
最近一次刷新计算失败,系统自动展示最近一次有效数据。最后更新:2022-04-08 15:06

统计检验分析结果

刷新
用户转化率 核心点击率7 日留存率
实验组别进组用户数/占比指标均值指标提升率置信区间P 值
■ 对照组1,518 5.81%11.81%[-2.1%, 3.7%]
■ 实验组 A 表现最佳3,060 34.26%12.4%↑ 22.45% 显著正向[3.5%, 13.5%]0.5872
■ 实验组 B1,016 2.40%34.26%↓ 12.34% 显著负向[-2.1%, 3.7%]0.5872
■ 实验组 C1,016 2.40%11.81%↑ 1.23% 不显著[-2.1%, 3.7%]0.0021

进组数据

2022-04-02 → 2022-04-08
实验统计报告先呈现实验结论,再通过分组样本、指标均值、提升率、置信区间、P 值与进组趋势解释结论为什么可信。

OUTCOME & REFLECTION

从创新交互到真实使用

方案已由客户侧天天玩家、爱的番茄使用。由于目前没有被确认的效率量化数据,本案例不虚构提升百分比,而以完整上线链路和实际客户使用作为证据。

已经证明

全新交互模型能够承接真实实验任务,并完成从配置到结果的产品闭环。

后续机会

继续通过配置错误率、完成时长和实验复用率验证创新方案的长期效率。