Giskard 介绍
了解工具的详细功能和使用方法
快速结论
Giskard 适合需要把知识库问答的业务要求变成可重复检查的开发团队。先用手写场景固定金额、来源和拒答条件，再考虑从知识库生成更多测试情境，通常比只看几条聊天演示更容易定位回归。
本文讨论 Giskard v3。官方迁移文档明确说明 v3 是重写，旧版 giskard.rag 示例不能原样迁移。Checks 负责自己编写场景和断言；Scan 负责自动生成测试，知识库质量评估使用 quality_scan。选择教程时应同时核对版本和模块。
能解决哪些问题
客服助手引用了旧版政策、回答遗漏适用条件、没有依据却承诺退款，这些问题应拆成不同测试。结构化字段可以先做确定性检查；自由文本中的语义、条件和矛盾，还需要相应评判器与人工抽查。一个通过率不能说明所有问题都已解决。
官方质量评估流程以知识库作为事实依据，生成动态情境并检查 Agent 的回答。情境可以包含多轮交互。这样能发现单轮问答之外的问题，但生成的测试仍要经过审核：测试情境可能不符合业务，参考文档也可能过期。
推荐的上手路径
先收集已确认的真实失败，每条保存问题、预期行为、政策版本和来源。用少量手写场景跑通输入、输出和失败报告，再增加生成情境。修复后的失败用例应固定进回归集，避免下次改提示词或检索器时再次出现。
不要把开发集、生成集和最终验收集混在一起。不断按同一组题调提示词，会让结果看起来越来越好，却未必能应对新用户问题。发布时既看分类结果，也保留单条失败和人工复核结论。
版本、费用和限制
官方仓库采用 Apache-2.0 许可；开源库的软件许可费与运行成本分开计算。模型生成、嵌入、评判、日志存储和人工审核都有各自成本。商业 Hub 与开源库也应分别核对，不能因为安装包免费就推断团队平台免费。
官方当前 v3 文档要求 Python 3.12 或以上。配套教程在 Python 3.12.13、Giskard 3.0.1 和 Checks 1.0.6 下完成实测：一个正确案例通过，三个固定反例不通过，SDK 无执行异常。它只验证字段检查流程，没有调用真实回答模型或自动扫描，不代表生产准确率。依赖清单和原生结果均已保存。
什么时候选择其他工具
需要自定义数据集、执行流程和评分器，可以比较 Inspect AI。重点是 LLM 漏洞探测与探针覆盖，可以比较 garak。需要按检索上下文与回答分别分析指标，可以再看 Ragas；习惯在 Python 测试流程中组织评估，可以比较 DeepEval。
更多选型参见知识库问答测试工具推荐、Giskard 与 Inspect AI 对比和Giskard 与 garak 对比。实操入口是Giskard 回归测试教程。