项目地址
本仓库采用清晰、实用的方法讲解检索增强生成(RAG) 技术，将高级技术分解为简单易懂的实现。不同于依赖LangChain或FAISS等框架，这里的所有内容都使用常见的Python库openai、numpy、matplotlib等构建。
目标很简单：提供可读、可修改且具有教育意义的代码。通过关注基础原理，本项目帮助揭开RAG的神秘面纱，使其工作原理更易于理解。
内容概要
本仓库包含一系列Jupyter Notebook，每个都专注于特定的RAG技术。每个笔记本提供：
技术要点的简明解释 从零开始的逐步实现 带有内联注释的清晰代码示例 展示技术效果的评估与比较 结果可视化呈现 以下是涵盖的技术概览：
-
简单RAG 基础RAG实现，最佳入门选择 -
语义分块 基于语义相似度拆分文本，生成更有意义的文本块 -
分块大小选择器 探索不同分块大小对检索性能的影响 -
上下文增强RAG 检索相邻文本块以提供更多上下文 -
上下文分块标题 在嵌入前为每个文本块添加描述性标题 -
文档增强RAG 从文本块生成问题以增强检索过程 -
查询转换 通过重写、扩展或分解查询来改进检索，包含Step-back Prompting和子查询分解技术 -
重排序器 使用LLM对初始检索结果重新排序以提高相关性 -
相关片段提取 识别并重建连续的文本片段，保持上下文完整性 -
上下文压缩 实现上下文压缩以过滤和压缩检索到的文本块，最大化相关信息 -
反馈循环RAG 整合用户反馈使RAG系统持续学习改进 -
自适应RAG 根据查询类型动态选择最佳检索策略 -
自监督RAG 实现Self-RAG，动态决定检索时机和方式，评估相关性和支持度 -
命题分块 将文档分解为原子性事实陈述以实现精确检索 -
多模态RAG 结合文本和图像进行检索，使用LLaVA为图像生成说明文字 -
融合RAG 结合向量搜索与基于关键词(BM25)的检索以获得更好结果 -
图RAG 将知识组织为图结构，实现相关概念遍历 -
层次化RAG 构建层次化索引(摘要+详细分块)实现高效检索 -
HyDE RAG 使用假设文档嵌入改进语义匹配 -
校正RAG 动态评估检索质量并使用网络搜索作为后备方案 -
强化学习RAG 使用强化学习最大化RAG模型的奖励 最佳RAG查找器 使用简单RAG+重排序器+查询改写为给定查询寻找最佳RAG技术 -
知识图谱处理大数据 使用知识图谱处理大型数据集
快速开始
克隆仓库:
ounter(lineounter(linegit clone https://github.com/FareedKhan-dev/all-rag-techniques.gitcd all-rag-techniques
安装依赖:
ounter(linepip install -r requirements.txt
设置OpenAI API密钥:
从Nebius AI获取API密钥 将API密钥设置为环境变量:
ounter(lineexport OPENAI_API_KEY='您的Nebius AI API密钥'
或(Windows系统):
ounter(linesetx OPENAI_API_KEY "您的Nebius AI API密钥"
或在Python脚本/笔记本中:
ounter(lineounter(lineimport osos.environ["OPENAI_API_KEY"] = "您的Nebius AI API密钥"
运行笔记本
使用Jupyter Notebook或JupyterLab打开任意笔记本文件(.ipynb)。每个笔记本都是自包含的，可以独立运行。设计上每个文件内的笔记本应按顺序执行。
注意: data/AI_Information.pdf文件提供测试用示例文档，可替换为您自己的PDF。data/val.json包含用于评估的示例查询和理想答案。 ‘attention_is_all_you_need.pdf’用于测试多模态RAG笔记本。
核心概念
嵌入(Embeddings): 文本的数值表示，捕捉语义信息。我们使用Nebius AI的嵌入API，在许多笔记本中也使用BAAI/bge-en-icl嵌入模型。
向量存储(Vector Store): 存储和搜索嵌入的简单数据库。我们使用NumPy创建自己的SimpleVectorStore类进行高效相似度计算。
余弦相似度(Cosine Similarity): 衡量两个向量相似度的指标，值越高表示相似度越大。
分块(Chunking): 将文本分割为更小、更易管理的部分。我们探索多种分块策略。
检索(Retrieval): 为给定查询寻找最相关文本块的过程。
生成(Generation): 使用大语言模型(LLM)基于检索到的上下文和用户查询生成响应。我们通过Nebius AI的API使用meta-llama/Llama-3.2-3B-Instruct模型。
评估(Evaluation): 通过比较参考答案或使用LLM评分来评估RAG系统响应质量。
项目地址
https://github.com/FareedKhan-dev/all-rag-techniques/tree/main
扫码加入技术交流群，备注「开发语言-城市-昵称」
（文：GitHubStore）