Product Data Scientist 面试准备：Experiment Design、Metrics、A/B Testing 怎么讲

Product Data Scientist 面试最核心的题型之一是 experiment design。Meta、Google、Airbnb、DoorDash、Uber、Booking / Agoda、Anthropic、AI startup 都可能问：如何设计实验？如何定义成功指标？如何判断实验结果可信？如果是 LLM 产品，如何通过 controlled experiment 理解模型训练或产品改动的效果？

很多北美华人候选人统计基础不差，但在 product DS 面试里回答会太学术：会讲 p-value，却不会讲指标；会讲 sample size，却不会讲 guardrail；会讲 A/B testing 流程，却不会处理现实里的流量污染、novelty effect、SRM、长期指标和产品决策。

这篇文章会把 Product DS / Experiment Design 面试拆成一个可复用框架。

Product DS 面试到底看什么

Product Data Scientist 的价值不是“跑一个显著性检验”，而是帮助团队做更好的产品决策。

面试官通常会看：

你能否定义清楚产品目标
你能否把目标转成 metrics
你能否设计合理实验
你能否识别 bias 和 confounders
你能否解释结果并给出建议
你能否和 PM / engineering / research team 沟通

如果题目是“如何评估一个新推荐模块”，不要直接说做 A/B test。你要先问：推荐模块的目标是什么？提升点击、留存、购买、满意度，还是减少搜索成本？不同目标对应不同实验和指标。

Experiment Design 的标准回答框架

一个稳定答案可以按 8 步走：

Clarify product goal。
Define hypothesis。
Choose primary metric。
Choose guardrail metrics。
Define experiment unit。
Estimate sample size / duration。
Check validity risks。
Interpret result and decide next action。

比如你要评估一个 AI summary feature：

Product goal：让用户更快理解长文档。
Hypothesis：AI summary 能提升 document completion rate 或 task success rate。
Primary metric：summary-assisted task completion。
Guardrail：latency、user edits、report incorrect summary、retention、cost。
Unit：user-level randomization，避免同一用户同时看到两个体验。
Validity：novelty effect、power、SRM、user segment imbalance。
Decision：如果 primary metric 提升且 guardrail 没恶化，扩大 rollout；如果 guardrail 恶化，分析 segment。

这个结构比直接说“做 AB test 看 CTR”更像真实 DS。

Metrics：先分清 input、output、guardrail

Product DS 面试里，指标定义通常比统计公式更重要。

指标类型	作用	例子
Input metric	产品机制是否被使用	feature adoption、query count、summary view
Output metric	用户或业务结果是否改善	task success、conversion、retention、revenue
Guardrail metric	防止局部优化伤害系统	latency、refund、complaint、unsubscribe、cost
Diagnostic metric	帮你解释为什么	funnel step、segment、error type

如果只选 CTR，面试官可能会追问：点击更多是否真的更好？是否可能 clickbait？是否影响长期 retention？是否增加用户投诉？

好的 Product DS 会同时定义 primary metric 和 guardrails。

SRM、Sample Size、Peeking：常见追问

SRM 是什么

SRM 是 Sample Ratio Mismatch。比如你设计 50/50 分流，但实际 A 组 60%、B 组 40%。这通常说明 randomization、logging 或 filtering 有问题。

回答时可以说：实验上线后先检查 SRM，再看 primary metric。否则结果可能不可信。

Sample size 怎么讲

你不一定要现场推公式，但要知道需要这些输入：

baseline metric
expected effect size / MDE
significance level
power
variance
traffic allocation

如果面试官给了具体数字，你可以估算；如果没有数字，就讲你会根据 historical data 计算。

为什么不能看到显著就停

Peeking 会提高 false positive rate。如果每天看一次显著性，看到 p-value 小于 0.05 就停，最终误报率会高于 5%。可以使用预先定义的 stopping rule 或 sequential testing 方法。

AI / LLM 产品实验怎么准备

AI 产品实验比传统按钮颜色实验更复杂。因为 output quality 不稳定，指标更难定义。

常见题：

如何评估一个新的 LLM prompt？
如何比较两个 retrieval strategy？
如何判断 fine-tuning 是否有效？
如何设计 controlled experiment 理解训练策略？
如何评估 AI agent 对用户任务完成率的影响？

需要考虑：

offline eval：human rating、golden set、retrieval recall、faithfulness
online metric：task success、retention、accepted answer、edit distance、user correction
guardrail：latency、cost、hallucination report、unsafe output、support ticket
randomization unit：user、query、document、session
interference：用户分享内容或团队 workspace 影响
segmentation：new vs power users，高风险 vs 低风险任务

如果是 LLM training experiment，不要只说 loss。Product DS 需要把 model metric 和 user outcome 连接起来。

Product Case：指标下降怎么排查

另一个常见题是：“DAU / conversion / retention 下降了，你怎么分析？”

稳定框架：

Confirm metric definition changed or not。
Check logging / data pipeline。
Segment by platform、country、user cohort、traffic source、app version。
Map product funnel。
Check recent launches / outages / seasonality。
Form hypotheses。
Validate with data。
Recommend action。

不要一上来猜原因。先排除数据问题，再分层定位。

概率题也要讲成业务语言

Product DS 仍可能考概率题，比如两个人在一小时内随机到达，等待 15 分钟内相遇的概率。面试官不只看答案，也看你能否画出样本空间、解释假设、处理边界。

准备概率题时重点是：

先明确随机变量
画图或用几何解释
说明独立性假设
最后给直觉解释

这类题不难，但英文表达不清楚会显得统计基础不稳。

两周准备计划

第 1-3 天：A/B testing 基础

复习 hypothesis、primary metric、guardrail、sample size、power、p-value、confidence interval、SRM。

第 4-6 天：Product metrics

练 DAU 下降、conversion drop、retention change、recommendation metric、search metric、pricing metric。

第 7-9 天：AI / LLM experiment

练 prompt experiment、RAG retrieval evaluation、fine-tuning comparison、AI summary、agent workflow。

第 10-12 天：Case interview

用 45 分钟练完整 product case：clarify、metrics、analysis plan、recommendation。

第 13-14 天：Mock + story

准备一个你做过的实验或分析项目，讲清楚 business impact。

需要 Product DS / Experiment Design mock？

Product DS 面试最难的是把统计、实验和产品判断讲成一个完整决策过程。Interview Coach Pro 可以帮你做 experiment design、A/B testing、product metrics、LLM product evaluation 和英文 case interview mock。