ab-test-analysis

Name: ab-test-analysis
Author: killvxk

108stars16forks

How to install ab-test-analysis?

killvxk/pm-skills-zh/ab-test-analysis

$npx -y skills add killvxk/pm-skills-zh --skill ab-test-analysis

Installs into the current project.

Summary

分析 A/B 测试结果，涵盖统计显著性检验、样本量验证、置信区间计算及上线/延长/停止的决策建议。适用于评估实验结果、判断测试是否达到显著性、解读分流测试数据，或决定是否上线某个实验组。

Files · 1

View on GitHub

SKILL.md

1	## A/B 测试分析
2
3	以严格的统计方法评估 A/B 测试结果，并将发现转化为清晰的产品决策。
4
5	### 背景
6
7	你正在分析 $ARGUMENTS 的 A/B 测试结果。
8
9	如果用户提供了数据文件（CSV、Excel 或数据分析平台导出文件），直接读取并分析。如有需要，生成 Python 脚本执行统计计算。
10
11	### 操作步骤
12
13	1. 理解实验背景：
14	- 假设是什么？
15	- 改动了什么（实验组的变化）？
16	- 主要指标是什么？是否有护栏指标？
17	- 测试运行了多长时间？
18	- 流量分配比例是多少？
19
20	2. 验证测试设置：
21	- 样本量：样本量是否足以检测预期效应量？
22	- 使用公式：n = (Z²α/2 × 2 × p × (1-p)) / MDE²
23	- 如果统计功效不足（< 80%），需标记
24	- 时长：测试是否至少运行了 1—2 个完整业务周期？
25	- 随机化：是否有样本比例失配（SRM）的迹象？
26	- 新奇效应/首因效应：时间是否足够让初期行为变化消退？
27
28	3. 计算统计显著性：
29	- 对照组和实验组各自的转化率
30	- 相对提升：(实验组 - 对照组) / 对照组 × 100
31	- p 值：使用双尾 z 检验或卡方检验
32	- 置信区间：差值的 95% CI
33	- 统计显著性：p < 0.05 吗？
34	- 实际显著性：提升幅度对业务有意义吗？
35
36	如果用户提供了原始数据，生成并运行 Python 脚本来计算上述结果。
37
38	4. 检查护栏指标：
39	- 是否有护栏指标（营收、参与度、页面加载时间）出现下降？
40	- 主要指标获胜但护栏指标恶化，不一定是真正的胜利
41
42	5. 解读结果：
43
44	\| 结果 \| 建议 \|
45	\|---\|---\|
46	\| 显著正向提升，无护栏问题 \| 上线 — 全量推送 \|
47	\| 显著正向提升，存在护栏顾虑 \| 进一步调查 — 理解权衡后再上线 \|
48	\| 不显著，但有正向趋势 \| 延长测试 — 需要更多数据或更大效应 \|
49	\| 不显著，基本持平 \| 停止测试 — 未检测到有意义的差异 \|
50	\| 显著负向提升 \| 不上线 — 回退到对照组，分析原因 \|
51
52	6. 提供分析摘要：
53	```
54	## A/B 测试结果：[测试名称]
55
56	假设：[我们的预期]
57	时长：[X 天] \| 样本量：[N 对照组 / M 实验组]
58
59	\| 指标 \| 对照组 \| 实验组 \| 提升 \| p 值 \| 是否显著？ \|
60	\|---\|---\|---\|---\|---\|---\|
61	\| [主要指标] \| X% \| Y% \| +Z% \| 0.0X \| 是/否 \|
62	\| [护栏指标] \| ... \| ... \| ... \| ... \| ... \|
63
64	建议：[上线 / 延长 / 停止 / 进一步调查]
65	理由：[原因]
66	后续行动：[下一步]
67	```
68
69	逐步思考。保存为 Markdown 格式。如果提供了原始数据，生成 Python 脚本执行计算。
70
71	---
72
73	### 延伸阅读
74
75	- [A/B Testing 101 + Examples](https://www.productcompass.pm/p/ab-testing-101-for-pms)
76	- [Testing Product Ideas: The Ultimate Validation Experiments Library](https://www.productcompass.pm/p/the-ultimate-experiments-library)
77	- [Are You Tracking the Right Metrics?](https://www.productcompass.pm/p/are-you-tracking-the-right-metrics)

People who liked this also viewed

6 picks

Type

ab-test-analysis

108stars16forks

View on GitHub

How to install ab-test-analysis?

killvxk/pm-skills-zh/ab-test-analysis

$npx -y skills add killvxk/pm-skills-zh --skill ab-test-analysis

Installs into the current project.

Summary

Files · 1

View on GitHub

SKILL.md

1	## A/B 测试分析
2
3	以严格的统计方法评估 A/B 测试结果，并将发现转化为清晰的产品决策。
4
5	### 背景
6
7	你正在分析 $ARGUMENTS 的 A/B 测试结果。
8
9	如果用户提供了数据文件（CSV、Excel 或数据分析平台导出文件），直接读取并分析。如有需要，生成 Python 脚本执行统计计算。
10
11	### 操作步骤
12
13	1. 理解实验背景：
14	- 假设是什么？
15	- 改动了什么（实验组的变化）？
16	- 主要指标是什么？是否有护栏指标？
17	- 测试运行了多长时间？
18	- 流量分配比例是多少？
19
20	2. 验证测试设置：
21	- 样本量：样本量是否足以检测预期效应量？
22	- 使用公式：n = (Z²α/2 × 2 × p × (1-p)) / MDE²
23	- 如果统计功效不足（< 80%），需标记
24	- 时长：测试是否至少运行了 1—2 个完整业务周期？
25	- 随机化：是否有样本比例失配（SRM）的迹象？
26	- 新奇效应/首因效应：时间是否足够让初期行为变化消退？
27
28	3. 计算统计显著性：
29	- 对照组和实验组各自的转化率
30	- 相对提升：(实验组 - 对照组) / 对照组 × 100
31	- p 值：使用双尾 z 检验或卡方检验
32	- 置信区间：差值的 95% CI
33	- 统计显著性：p < 0.05 吗？
34	- 实际显著性：提升幅度对业务有意义吗？
35
36	如果用户提供了原始数据，生成并运行 Python 脚本来计算上述结果。
37
38	4. 检查护栏指标：
39	- 是否有护栏指标（营收、参与度、页面加载时间）出现下降？
40	- 主要指标获胜但护栏指标恶化，不一定是真正的胜利
41
42	5. 解读结果：
43
44	\| 结果 \| 建议 \|
45	\|---\|---\|
46	\| 显著正向提升，无护栏问题 \| 上线 — 全量推送 \|
47	\| 显著正向提升，存在护栏顾虑 \| 进一步调查 — 理解权衡后再上线 \|
48	\| 不显著，但有正向趋势 \| 延长测试 — 需要更多数据或更大效应 \|
49	\| 不显著，基本持平 \| 停止测试 — 未检测到有意义的差异 \|
50	\| 显著负向提升 \| 不上线 — 回退到对照组，分析原因 \|
51
52	6. 提供分析摘要：
53	```
54	## A/B 测试结果：[测试名称]
55
56	假设：[我们的预期]
57	时长：[X 天] \| 样本量：[N 对照组 / M 实验组]
58
59	\| 指标 \| 对照组 \| 实验组 \| 提升 \| p 值 \| 是否显著？ \|
60	\|---\|---\|---\|---\|---\|---\|
61	\| [主要指标] \| X% \| Y% \| +Z% \| 0.0X \| 是/否 \|
62	\| [护栏指标] \| ... \| ... \| ... \| ... \| ... \|
63
64	建议：[上线 / 延长 / 停止 / 进一步调查]
65	理由：[原因]
66	后续行动：[下一步]
67	```
68
69	逐步思考。保存为 Markdown 格式。如果提供了原始数据，生成 Python 脚本执行计算。
70
71	---
72
73	### 延伸阅读
74
75	- [A/B Testing 101 + Examples](https://www.productcompass.pm/p/ab-testing-101-for-pms)
76	- [Testing Product Ideas: The Ultimate Validation Experiments Library](https://www.productcompass.pm/p/the-ultimate-experiments-library)
77	- [Are You Tracking the Right Metrics?](https://www.productcompass.pm/p/are-you-tracking-the-right-metrics)

People who liked this also viewed

6 picks

Type