总结一个面试经典问题：Prompt 的 A/B Test 到底该怎么做？

Prompt 的 A/B Test 到底该怎么做？其实它和传统产品功能的 A/B Test 逻辑基本一致，区别只在于测试变量从功能、页面或 UI 设计，变成了 Prompt 中的文本规则。因为大模型的输出具有随机性，而且不同用户、不同场景下的效果差异很大，所以传统的实验方法还需要针对 AI 场景做一些调整。完整来看，一套 Prompt A/B Test 通常可以分为五个步骤。
第一步是明确实验目标，并锁定单一变量。这一步要解决的核心问题，是把“优化 Prompt”这种模糊需求，转化成一个具体、可衡量的实验目标。比如提升 AI 陪伴角色的二次对话率、延长平均对话时长，或者降低人设偏离的投诉率。目标确定以后，实验变量只能保留一个，否则最后即使数据发生变化，也无法判断究竟是哪项改动产生了效果。比如要测试“共情型回复”和“解决问题型回复”哪种方式更有效，就只能调整回复逻辑，语气、模型、知识库调用和回复长度都要保持一致。我们之前做一款 AI 产品时，实验目标是提升二次对话率，A 组采用先共情、再引导用户继续表达的方式，B 组则直接给出建议，除此之外所有条件都保持一致，这样得出的结果才具有可解释性。
第二步是分层定位实验人群，保证样本真实有效。这一步要解决的核心问题，是避免用户差异掩盖 Prompt 本身的效果。AI 产品的用户特征会明显影响实验结果，新用户和老用户、不同年龄和性别的用户，以及处于不同使用场景中的用户，对同一种回复方式的接受度可能完全不同。比如深夜情绪低落的用户，可能更需要共情和陪伴，而日常闲聊的用户可能更偏好轻松直接的互动。因此，实验前最好按照新老用户、年龄、性别、使用场景等维度进行分层，再在每一层内部随机分配流量。流量分配也必须公平，不能把高活跃用户集中放进某一个实验组，否则最终看到的提升很可能来自用户质量，而不是 Prompt 的差异。
样本量同样会影响实验结果的可信度。由于大模型每次生成的内容都存在一定随机性，如果样本太少，几次偶然的高质量或低质量回复就可能把数据带偏。实际测试中，可以根据产品流量和指标波动情况计算所需样本量；在没有精细测算条件时，可以先把每组至少 1000 名独立用户或 2000 条有效对话作为经验起点。重点不是机械地追求某个固定数字，而是确保样本能够覆盖不同用户和使用场景，并且足以抵消模型输出本身的随机波动。
第三步是设计核心指标和辅助指标，建立完整的评估体系。这一步要解决的核心问题，是用真正与用户价值和业务目标相关的数据判断实验结果，而不是只看模型层面的技术指标。指标必须和最初设定的实验目标直接绑定。比如目标是提升用户的对话黏性，核心指标可以看平均对话轮次、二次对话率和 7 日留存，辅助指标可以看用户主动发起对话的比例、单次会话时长和退出率。如果目标是提升角色一致性，核心指标可以看人设偏离投诉率和人工抽检匹配度，辅助指标可以看角色关键词命中率和特定表达方式的稳定性。
在选择指标时，不要过度依赖“模型输出准确率”这类技术指标。一个 Prompt 即使在技术评分上很高，如果回答方式让用户觉得生硬、机械，或者没有真正解决用户的问题，它依然不能算一个优秀版本。Prompt A/B Test 最终验证的是用户是否能够感知到价值，因此指标要尽量落到任务完成率、满意度、留存、投诉率和业务转化等结果上。同时也要设置保护性指标，比如响应时长、调用成本、敏感内容触发率和负面反馈率，避免为了提升一个指标，却牺牲了产品的安全性和整体体验。
第四步是实验执行与过程监控，确保测试结果没有失真。这一步要解决的核心问题，是在实验运行期间及时发现数据污染和产品风险。首先要防范实验变量泄露，比如用户把 A、B 两组回答截图发到公开渠道进行比较，一旦参与实验的用户知道自己正在测试哪个版本，他们的反馈就可能受到主观预期影响。因此，实验期间尽量不要在公开渠道讨论具体的 Prompt 内容，也不要让用户明确感知自己所属的实验组。
实验过程中还要重点关注异常数据波动。如果某一组突然出现大量投诉、举报或者敏感内容，很可能意味着新 Prompt 在某些场景下产生了严重偏差，这时不能为了完成实验周期继续硬跑，而应该立即暂停相关版本，排查具体对话和触发原因。最好搭建实时数据看板，持续监控核心指标、辅助指标和风险指标的变化趋势。如果 A 组的二次对话率持续高于 B 组，差异已经达到足够的统计显著性，同时投诉率、成本和响应时间没有恶化，就可以考虑提前结束实验，不必为了凑满预设天数继续浪费流量。
第五步是结果解读和落地优化，形成完整的迭代闭环。这一步要解决的核心问题，不只是判断哪个版本更好，而是解释它为什么更好。实验结束后，首先要用统计工具验证两组差异是否显著。如果 A 组的对话轮次明显高于 B 组，并且置信水平达到 95% 以上，说明这个差异大概率来自 Prompt 变量，而不是随机波动。但统计显著并不等于一定有业务价值，还要看提升幅度是否足够大，以及是否带来了成本增加、回复变慢或投诉率上升等副作用。
确认优秀版本后，可以先逐步放量，再根据线上表现决定是否全量上线。同时要把实验目标、变量设置、两个版本的具体差异、样本情况、指标结果、异常问题和最终结论完整记录下来。比如这次实验验证了“先共情、再提问”可以提升二次对话率，就要进一步记录究竟是哪种共情方式有效、对哪些用户更有效、在哪些场景下可能无效。这样后续其他产品、运营或 Prompt 设计人员在面对类似任务时，就可以直接复用已有结论，而不是重新从头试错。
所以，Prompt A/B Test 的核心，并不是简单比较两段文字谁写得更好，而是用数据验证不同文本规则能否创造真实的用户价值。它要完成的是把“这个 Prompt 感觉更好”，转化成一个可量化、可验证、可解释、可复现，并且能够持续沉淀和复用的产品结论。