LLMLingua 介绍
了解工具的详细功能和使用方法
LLMLingua 是什么
LLMLingua 是用于提示词压缩的开源项目，通过模型判断哪些内容可以减少，把较长上下文转换为更紧凑的输入。项目包含 LLMLingua、LongLLMLingua、LLMLingua-2 等不同方法，不能把它们的配置、模型或公开实验数字混在一起。
它适合已有检索或提示词管线，希望评估压缩收益与信息损失的开发者。压缩不等于摘要正确，也不代替分块、候选召回、重排或权限控制。若原始检索没有找到证据，压缩器无法补回来源。
在 RAG 中放在哪里
常见起点是先整理文档、分块并取得候选，再按任务选择或排序证据，最后评估是否压缩和怎样组装输入。这不是唯一顺序，应保持参考查询和答案一致，逐步更改环节。需要分块可比较 Chonkie，需要候选重排可比较 FlashRank。
关键是分别观察候选覆盖、事实保留、输入 token 和最终答案。只看到压缩比例变小，不能证明质量不变或端到端成本下降；压缩模型本身也消耗加载、计算和维护资源。
本次固定版本实测
2026 年 10 月 26 日，使用 Python 3.11、LLMLingua 0.2.2 和官方多语言 BERT MeetingBank 权重，在 CPU 上运行 LLMLingua-2。两个合成中英文案例，各测试 rate=0.5 与 0.8，没有调用下游回答模型或收费 API。
英文 0.5 输出把“Do not share passwords”压成了包含“share passwords”的片段，关键限制表达未保留。中文 0.8 输出出现字间空格，cl100k_base 计数从原文 87 增到 124；完整示例输入为 146 tokens，超过 140 的演示预算。rate 不能直接当成实际 token 保留率或费用上限。
四组输出均被保守的预算与精确短语检查拦下。编号因空格变化也可能被判缺失，这类格式不匹配不等于语义一定丢失；但放宽规则后仍需确认数字、否定和引用关系。本文不宣称中文整体质量、无损压缩或生产准确率。
费用与许可
LLMLingua 库采用 MIT，本次模型卡标注 Apache-2.0，库与权重应分别核对。软件许可费与模型下载、内存、CPU/GPU、存储、维护和下游推理费用不同。是否节省总费用，应在相同答案质量与计费条件下核算，不使用官方最大压缩倍数代替本机结论。
首次准备模型与 tokenizer 资源需要联网。之后可从本地快照运行；离线环境变量不是操作系统网络隔离。中国大陆下载、平台 wheel 和设备兼容性需在目标环境确认，本文不承诺跨平台直接可用。
从结果校验开始
先保存原文、模型快照、输出、tokenizer 与完整输入，定义数字、否定、来源和预算准入条件。必要信息不满足时回退原文、重新检索或交人工复核，不为了得到更短结果而直接发送。
阅读 RAG 上下文优化推荐、与 Chonkie 对比、与 FlashRank 对比 和 压缩校验教程。配图由 ImageGen 生成，为概念插画，非官方 logo 或产品截图。官方资料：项目、研究说明、本次模型卡。