all-in-rag README

The project's README from github.com/datawhalechina/all-in-rag. As one markdown file: README.md.

All-in-RAG | 大模型应用开发实战一:RAG技术全栈指南

All-in-RAG Logo

🔍 检索增强生成 (RAG) 技术全栈指南

从理论到实践,从基础到进阶,构建你的RAG技术体系

GitHub stars GitHub forks Python zread
在线阅读 English Version 讨论交流

🎯 系统化学习
完整的RAG技术体系
🛠️ 动手实践
丰富的项目案例
🚀 生产就绪
工程化最佳实践
📊 多模态支持
文本+图像检索

项目简介(中文 | English)

本项目是一个面向大模型应用开发者的RAG(检索增强生成)技术全栈教程,旨在通过体系化的学习路径和动手实践项目,帮助开发者掌握基于大语言模型的RAG应用开发技能,构建生产级的智能问答和知识检索系统。

主要内容包括:

  1. RAG技术基础:深入浅出地介绍RAG的核心概念、技术原理和应用场景
  2. 数据处理全流程:从数据加载、清洗到文本分块的完整数据准备流程
  3. 索引构建与优化:向量嵌入、多模态嵌入、向量数据库构建及索引优化技术
  4. 检索技术进阶:混合检索、查询构建、Text2SQL等高级检索技术
  5. 生成集成与评估:格式化生成、系统评估与优化方法
  6. 项目实战:从基础到进阶的完整RAG应用开发实践

项目意义

随着大语言模型的快速发展,RAG技术已成为构建智能问答系统、知识检索应用的核心技术。然而,现有的RAG教程往往零散且缺乏系统性,初学者难以形成完整的技术体系认知。

本项目从实践出发,结合最新的RAG技术发展趋势,构建了一套完整的RAG学习体系,帮助开发者:

项目受众

本项目适合以下人群学习:

前置要求:

项目亮点

  1. 体系化学习路径:从基础概念到高级应用,构建完整的RAG技术学习体系
  2. 理论与实践并重:每个章节都包含理论讲解和代码实践,确保学以致用
  3. 多模态支持:不仅涵盖文本RAG,还包括多模态嵌入和检索技术
  4. 工程化导向:注重实际应用中的工程化问题,包括性能优化、系统评估等
  5. 丰富的实战项目:提供从基础到进阶的多个实战项目,帮助巩固学习成果

内容大纲

第一部分:RAG基础入门

第一章 解锁RAG 📖 查看章节

第二章 数据准备 📖 查看章节

第二部分:索引构建与优化

第三章 索引构建 📖 查看章节

第三部分:检索技术进阶

第四章 检索优化 📖 查看章节

第四部分:生成与评估

第五章 生成集成 📖 查看章节

第六章 RAG系统评估 📖 查看章节

第五部分:高级应用与实战

第七章 高级RAG架构(拓展部分) 📖 查看章节

第八章 项目实战一 📖 查看章节

第九章 项目实战一优化(选修篇) 📖 查看章节

🍽️ 项目展示

第十章 项目实战二(选修篇) 📖 查看章节 规划中

Extra-chapter

如果你在使用 RAG / 向量数据库 / Agentic RAG 等相关技术时,也有值得分享的经验与专题内容,非常欢迎以独立章节的形式投稿到 Extra Chapter 中。提交前请先阅读 Extra Chapter 的贡献与 PR 指南,我们会根据内容的完整度、实践深度与参考价值综合评估是否合并,并视情况在主教程中进行引用或扩展说明。

目录结构说明

all-in-rag/
├── docs/           # 教程文档
├── code/           # 代码示例
├── data/           # 示例数据
├── models/         # 预训练模型
├── Extra-chapter/  # 扩展章节与社区实践内容
└── README.md       # 项目说明

实战项目展示

第八章 项目一:

项目一

第九章 项目一(Graph RAG优化):

项目一(Graph RAG优化)

第十章 项目二:

致谢

核心贡献者

额外章节贡献者

特别感谢

Contributors

Made with contrib.rocks.

参与贡献

我们欢迎所有形式的贡献,包括但不限于:

Star History

all-in-rag stats

如果这个项目对你有帮助,请给我们一个 ⭐️

让更多人发现这个项目(护食?发来!)

star

关于 Datawhale

Datawhale

扫描二维码关注 Datawhale 公众号,获取更多优质开源内容


许可证

知识共享许可协议

本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。


all-in-rag (datawhalechina/all-in-rag)

Searching Database…

这是什么?这是一套面向大模型应用开发者的检索增强生成(RAG)全栈教程,从基础概念到可投入生产的 RAG 系统,既讲理论也有动手实践。
这是课程还是代码库?这是一门结构化的课程或教程,由多个章节组成,包含讲解、可直接运行的代码示例以及两个完整项目的演练,而不是可安装的代码库。
课程是怎么组织的,我从哪里开始?课程共 5 个部分、10 章,依次为:RAG 基础、数据准备、索引构建、检索优化、生成与评估,最后是两个完整项目的实现。请从第一章开始(“RAG简介”,即 RAG 入门与环境配置)。
开始之前需要准备什么?需要具备基本的 Python 语法和库的使用能力、基本的 Docker 使用经验、基本的 Linux 命令行技能;最好对大语言模型的概念有一定了解(非必需)。
整个课程都已经完成了吗?大部分章节已标注为完成,但第十章(第二个实战项目)仍在规划中,Omni Embedding 等几个额外章节也还在持续完善。
这门课程适合哪些人?面向对 RAG 感兴趣的 Python 开发者、希望系统学习路径的 AI 工程师、正在开发问答系统的产品构建者,以及研究检索增强生成的研究人员。
课程实际动手教授哪些 RAG 技术?内容涵盖数据加载与切分、文本及多模态向量嵌入、向量数据库(包括 Milvus)、稠密与稀疏混合检索、Text2SQL、查询重构、结构化生成以及 RAG 评估工具。
课程是否涵盖基于知识图谱的 RAG?有的,第七章是专门扩展的基于知识图谱的 RAG 内容,另外还有一章额外展示一个简单的 Neo4j 应用。
综合实战项目是什么样的?第八章完整演示从头到尾构建一个 RAG 应用(环境配置、数据准备、索引与检索、生成模块集成);第九章则将其优化为 Graph RAG 架构,包含 Milvus 索引和智能查询路由。
有英文内容吗?README 中注明项目简介提供中英文两个版本('中文 | English'),不过教程的主体内容主要是中文。
Size
82.1 MB
Stars
12.3K
Updated
CommitSep 30
Age
1y
Commits · 90 Days