Chonkie

知识库已经解析出文字，接下来仍要决定怎么切块、保留哪些来源字段，以及送给嵌入模型的完整输入是否超限。Chonkie 是面向 RAG 的 Python 文本处理与分块库，适合需要独立维护入库流程、比较不同切分策略的开发团队。官方文档

Chonkie 能做什么

Chonkie 提供按 token、句子、递归规则、语义和代码结构等方向的分块组件，也能通过 Pipeline 组织清理、分块、后处理、嵌入与存储步骤。组件是否调用模型、下载权重或访问外部服务取决于所选方法与配置，不能把全部能力描述成无模型的离线字符串切分。组件目录、Pipeline 文档

例如，TokenChunker 使用所选 tokenizer 控制窗口与重叠；RecursiveChunker 根据层级规则逐步切分。两者的参数与语义不同，不能给递归切分器照搬 token 窗口的重叠参数。Token Chunker、Recursive Chunker

本组教程固定 Chonkie 1.7.0，使用真实 cl100k_base tokenizer 复算最终输入，检查原文位置、稳定 ID 与来源信息。这里的验证不包含真实检索质量、模型回答质量或五家速度排名。当前发布包

分块只是入库流程的一步

PDF 解析、OCR 和文本分块解决不同问题。上游丢掉的表头、页码或阅读顺序，不会因为换一个 chunker 自动恢复。下游还要处理增量更新、版本替换、权限过滤和检索验收。

默认字符或词级计数也不能直接当作嵌入模型 token 数。若最终输入还附加标题、章节或上下文，应对完整输入重新计数；保留原文位置时，要注明位置对应哪一版文本、哪种索引单位。

开源、品牌与费用

2026-10-20 核对的 Chonkie Python 包为 1.7.0，使用 MIT 许可，软件许可费用为 $0。主机、OCR、语义或生成式切分、嵌入模型、向量数据库、存储与维护费用另计。PyPI、许可证

目前旧官网入口转到 Feyn，旧 GitHub 组织地址转到 feyninc/chonkie，但开源库和包名仍叫 Chonkie。本文介绍开源库，不把品牌调整等同于包停止维护，也不引用未经实时核对的云套餐数字。官方仓库、品牌入口

适合什么团队

• 已有解析文本，希望选择 tokenizer、规则和后处理步骤。
• 需要在入库前校验来源、大小与版本，并维护可重复的批处理。
• 想把分块流程独立于具体 Agent 框架和向量库进行管理。

如果已经使用 LangChain 的 Document 流程或 LlamaIndex 的 Node 与摄取管线，可先比较局部适配成本；如果需要保留解析文档的章节和表格结构，也应看 Docling 原生分块方案。

开始时用一份包含中文、emoji、重复段落与长标题的合成文档，验证切分是否能回到原文、最终 payload 是否在预算内，再接入真实数据。来源元数据可以帮助过滤与追溯，但不会自动建立访问控制。

继续阅读：5 款 RAG 文本分块工具、与 LangChain Text Splitters 对比、与 LlamaIndex Node Parsers 对比、分块校验教程。配图为原创概念插画，非官方标志。