大模型的嵌入——Embedding与向量——Ve ctor
最近研究RAG后思考了嵌入与向量在大模型中的作用；嵌入解决数据向量化问题，向量则描述数据间关系；前者本质上是映射到高维矩阵中以捕捉语义关系，而后者则是数学概念中表示有方向和大小的量。
RAG
4k星星！一个容器化的向量检索RAG系统，支持多模态输入、混合搜索和知识图谱构建。
RAG技术通过结合信息检索和自然语言生成，提高智能搜索和问答系统的效率。R2R项目利用容器化、RESTful API等优化策略支持多模态摄取、混合搜索及知识图谱构建等功能。
将各种文件格式转换为Markdown的开源工具E2M
E2M 是一个 Python 库，用于将多种文件格式（如 doc, docx, epub, html 等）转换为 Markdown 格式。通过解析器和转换器架构实现，支持包括 PDF、MP3、URL 在内的多种文件类型的处理，并提供 CLI 工具来加速转换过程。
一个轻量级RAG文本切块项目Chonkie
Chonkie 是一个轻量级的 RAG 分块库，提供多种分块器支持固定大小标记块、单词、句子和语义相似性分块，速度比竞争对手快3-2.5倍。通过 pip 安装 Chonkie 并使用 TokenChunker 等分块器进行文本分块。