Inspect AI vs Braintrust：Agent 评估框架、共享实验与运行费用怎么选？

Inspect AI 是以 Python Task、执行逻辑和 scorer 为中心的评估框架；Braintrust 提供数据集、实验、评分和生产追踪等协作工作流。前者适合自己掌握评估执行过程，后者适合把结果、追踪和团队复核组织到共享平台中。两者也可能组合使用，不能只按 $0 与付费套餐比较。

本文核对于 2026-10-17，未对两家做生产性能、合规或付费模型能力测试。

核心取舍

维度	Inspect AI	Braintrust
工作入口	Python Task、solver / agent、scorer	数据集、实验、日志及评分工作流
执行控制	自定义工具、环境与任务限额	应用与评估接入、平台实验组织
看结果	Inspect View、日志与分析代码	共享实验和 trace 分析界面
团队工作	自行组织数据、权限和归档	账号、项目、标注及方案内权限能力
成本层	框架许可、模型、计算和维护	平台、处理数据、scores、模型与保留

依据：Inspect 官方介绍、Braintrust 入门。Braintrust 也有代码评估接口，不应写成“只能在界面点击”；Inspect 有可视化日志，也不应写成“只能看终端输出”。

评估执行与团队协作分别看

需要规定模型可以调用哪些工具、工具如何运行、任务什么时候停止，以及如何从轨迹判分时，可先用 Inspect 验证。要把生产问题变成数据集、共享实验结果并让团队持续复核时，可先验证 Braintrust 的工作流。

应用已有执行器时，应比较适配成本。不要为了迁移评估平台改写全部业务 Agent，也不要假设把 trace 上传后平台就能还原缺失的工具参数和执行错误。两者都需要完整样本、清楚的参考答案和可追踪的 scorer 版本。

当前公开价格

2026-10-17 在官网与详细计划页核对：

Braintrust 方案	平台费	包含与增购口径
Starter	$0 / 月	每月 1GB 处理数据、10K scores、$10 model credits；超出分别按公开费率计费，14 天保留
Pro	$249 / 月	每月 5GB 处理数据、50K scores、$100 model credits；超额数据 $3/GB、scores $1.50/1K，30 天保留及额外保留费用按规则核对
Enterprise	联系销售	自定义额度、保留、部署及合同条款

Starter 的超额处理数据为 $4/GB，超额 scores 为 $2.50/1K。model credits 是模型及相关 AI 功能额度，不应当作可抵扣所有平台用量的通用余额；BYOK、评分生成和平台计量也要按当前详细说明核对。Braintrust 官网价格、计划与限额

Inspect 本身为 MIT 开源框架，软件许可不收上述平台月费；运行仍有模型、judge、sandbox、日志及运维成本。把云平台免费额度与本地框架许可免费放在同一列排名，会遗漏不同成本层。Inspect 许可

一个预算示例

假设 Braintrust Pro 一个月有 8GB 计费处理数据和 70K 计费 scores，按公开包含量和单价，仅平台费及这两类超额为 $249 + 3 × $3 + 20 × $1.50 = $288。模型用量、税费、额外保留与其他费用未纳入；这里的输入是“已经按平台口径统计”的计费用量，不能将任意原始日志体积直接套入。

Inspect 对应估算应列出自己的模型账单、计算、归档与维护时间，再比较可用结果成本。减少一个服务月费，可能增加内部维护；共享平台也只有实际减少协作和排错工作时才产生收益。

日志、隐私和数据范围

Agent 轨迹可能包含用户输入、工具返回、内部标识和凭据。使用任何框架或平台前都应确定脱敏位置、上传内容、访问权限与保留周期。Inspect 日志放在本地不意味着模型请求也留在本地；Braintrust Enterprise 的部署或条款选项也不是所有免费账户默认拥有的能力。

用合成样本先确认 trace 是否包含所需字段，随后再在批准的数据范围内接真实任务。保留 scorer、样本、模型与工具版本；人工复核结果要能回到具体轨迹，不能只存一个平均分。

选型建议

以自定义任务执行、隔离环境和代码评分为主，先试 Inspect；以共享实验、持续追踪和团队反馈为主，先试 Braintrust。已经有其中一个时，先补缺失环节，再评估是否组合。两者都不能仅靠平台功能或一个综合分保证 Agent 在真实业务中不出错。

继续阅读：Inspect AI 工具页、Agent 评估框架推荐、Inspect AI vs DeepEval 和 工具调用评估教程。