2026 年 5 款 LLM 应用评估平台推荐：Braintrust、Langfuse、Phoenix 怎么选

先看结论：按评估任务选工具

做 LLM 应用评估时，先问团队要解决什么问题：发布前比较候选版本、上线后定位真实失败、给安全和质量设置门槛，还是在私有环境保存全部轨迹？“支持评估”并不代表五款产品可直接互换。下面按工作流而非厂商宣传指标推荐：Braintrust 适合把生产问题持续转成版本化评估；Langfuse 适合以可观测性为中心并重视开源、自托管；Arize Phoenix 适合希望从开源追踪与实验起步的团队；Promptfoo 适合把提示词测试和红队用例放进本地或 CI；LangSmith 适合已经围绕 LangChain、LangGraph 开发的应用。排名表示本文场景下的阅读顺序，不是同一数据集跑出的准确率榜单。

选择标准：先定义“好”，再比较软件

一次有意义的选型应回答六个问题。第一，能否从真实对话或工具调用中定位失败，并在脱敏后保存为稳定样例？第二，数据集是否可标记版本，使基线与候选在同一批案例上运行？第三，评分能否结合确定性代码、人工标签和模型评审，而不是只给一个缺乏解释的总分？第四，能否按业务场景、语言、风险等级拆分结果，查看退步样例？第五，原始数据去哪里、留多久、谁能访问，是否符合团队的部署边界？第六，费用除订阅外是否包括事件、处理数据、评分、模型、存储与运维？先把这些写成验收表，再开通试用。

1. Braintrust：从生产轨迹到回归实验的闭环

Braintrust把 tracing、版本化数据集、实验和评分放在同一流程。适合已经有线上 Agent、每周要调整提示词、模型或检索策略，且希望每次改动都能追溯到具体失败案例的团队。一个实用起点是采样已获授权的生产记录，删除身份信息，为每条案例标注期望行为和风险类型；随后用固定的数据集版本比较现网与候选。不要只看平均分：退款权限、错误承诺和工具调用越权等关键用例要单独设阻断条件。

官方价格显示，Starter 平台费为每月 0 美元，含 1 GB 处理数据、1 万次评分、10 美元模型额度和 14 天留存；超过包含量仍可能产生费用。Pro 平台费每月 249 美元，含 5 GB 处理数据、5 万次评分、100 美元模型额度和 30 天留存。对刚起步的团队，先估算每天的 trace 体积、每条运行会触发多少评分，再决定是否升级。其核心限制是评价体系需要你自己设计；平台不会代替人工定义客服问题的正确业务答案。

2. Langfuse：以可观测性为中心的开源路线

Langfuse覆盖追踪、提示词管理、数据集、线上与离线评估，强调开源和可自托管。如果团队首要诉求是看清不同模型、工具与会话的耗时和成本，同时希望保留自行部署选项，它值得优先试用。通过数据集和实验也能做回归验证，不能把它简单当成“只有日志”的产品。自托管时需承担数据库、存储、升级和告警的实际工作；托管版则按单位用量与套餐计算。

截至 2026 年 9 月，Langfuse Cloud 价格列出 Hobby 免费，含每月 5 万 units、30 天数据访问和 2 个用户；Core 每月 29 美元，含 10 万 units；Pro 每月 199 美元。这里的 units 与 Braintrust 的 GB 和 scores 不是同一计费单位，不能只比较每月平台费。对于大量短 trace 或高频线上评分的应用，应该把一周真实样本分别导入测试，再看账单预测和数据查询体验。

3. Arize Phoenix：开源自建追踪和评估

Arize Phoenix是开源的 LLM 可观测与评估工具，可查看基于 OpenTelemetry/OpenInference 的轨迹，并组织数据集、实验和评估。适合希望自己掌控实例与数据、能够维护部署环境的工程团队。它的产品边界要看清：Phoenix 开源项目与 Arize 的其他企业产品不是同一套餐，不应把后者功能直接写到 Phoenix 的免费能力里。自建没有软件订阅费并不等于零成本，还要计入服务器、对象存储、访问控制、备份、升级、模型评审和维护时间。

如果你已经有通用 OpenTelemetry 采集体系，可以先接一条代表性客服流程：用户提问、知识检索、工具调用和最终答复。检查 trace 是否能稳定关联同一会话，再导入 50 条人工标注案例运行实验。若团队对审计和内部网络要求很高，部署能力会比界面上的单项分数更重要。

4. Promptfoo：本地提示词测试与红队验证

Promptfoo更像可以进入开发工作流的测试工具：把提示词、模型配置、断言和红队用例写成可重复运行的评估，在本地或 CI 比较改动。适合开发者希望每次提交都执行关键回归测试，特别是越狱、信息泄露或策略绕过样例。它不应被当作生产可观测平台的完全替代品：线上会话追踪、跨团队数据治理与长期运营指标仍需另行设计。

官方价格页列有免费社区路线和企业方案。实际成本还会包含模型调用、CI 运行时间和维护测试集的人工工作。最可取的做法是先挑 20 条真正阻断发布的高风险样例，确保失败时能定位到配置或模型变更，而不是一次性生成上千条无人维护的测试。

5. LangSmith：适合 LangChain / LangGraph 团队

LangSmith提供轨迹、数据集、离线与线上评估、代码和模型评审。如果应用本身已大量使用 LangChain 或 LangGraph，现有集成和排障路径能减少接入工作；即使不使用该框架，也应根据自己的 SDK 和采样方式验证。选型时重点看 trace 与业务请求 ID 能否关联、实验复现是否稳定，以及团队能否读懂每条失败样例。

官方价格显示 Developer 免费档有基础 trace 包含量，Plus 存在每席位月费与额外用量。不同服务的计费口径需要逐项核算，别把“免费开发者档”理解成长期无限生产用量。若你的团队并不依赖 LangChain 生态，也可用同一批样例与其他四款直接比较接入工作量和复盘速度。

如何做一次公平的两周试点

选一个业务场景，例如客服 Agent 回答订单进度和退货规则。用同一批经过脱敏和人工审定的 100 条案例，至少包含常见问法、模糊描述、过期知识、越权请求和工具异常。为所有工具采用相同模型、提示词、知识库快照与温度配置。硬指标可以是禁用未经授权的退款操作、必须引用有效政策版本、工具失败后必须明确告知用户；软指标可评估答案帮助程度和表达清晰度，但先用人工标签校准模型评审。记录接入小时数、定位一次失败所花时间、查询和权限体验、运行成本以及导出方式。两周后把整体结果和高风险分组结果一起看：如果平均分提升却使高风险案例退步，应暂停发布。

费用与数据边界

最终预算分四层：软件订阅或企业许可、trace/事件/处理数据量、模型与自动评分调用、数据保留和自托管运维。不能直接比较“Braintrust 0 美元、Langfuse 0 美元、Phoenix 开源、Promptfoo 免费、LangSmith 免费”，因为每个免费档的额度、留存和功能不同。生产数据进入任何外部平台前，要删去个人身份、支付细节与密钥，明确数据保留期限和删除流程。如果必须数据不出自有环境，先做自托管可行性和安全审查，再比较功能。

官方资料

• Braintrust 产品与价格
• Langfuse 价格与自托管路线
• Arize Phoenix 文档
• Promptfoo 文档与价格
• LangSmith 评估文档与价格