RAG_Techniques README

The project's README from github.com/NirDiamant/RAG_Techniques. As one markdown file: README.md.

Advanced RAG Techniques 🚀

Elevating Your Retrieval-Augmented Generation Systems

A community-driven hub of 42+ runnable notebooks covering RAG techniques from foundational to cutting-edge - the intuition, the code, and the references to build more accurate, context-rich retrieval systems.


PRs Welcome LinkedIn Twitter Reddit Discord Sponsor

🎓 From RAG prototypes to production

Prompt to Production - my full course on building software with AI the way professionals do: the methods and paradigms behind reliable, efficient, modular production systems, taught systematically. 20 modules, each pairing a video lecture with a hands-on lab, from your first structured prompt to a working production system.

The course is live. Every module is out, lecture and lab.

🎁 Try a full module, free

🎬
7-minute
video lecture
🛠️
Hands-on
tutorial
🤖
AI assistant
inside Claude Code

One npm install adds the module's AI assistant to your Claude Code, and it guides you through the tutorial as you build.

Claim your free module

👉 Get the full course

Sponsors ❤️

We gratefully acknowledge the organizations and individuals who have made significant contributions to this project.

Company Sponsors

Contextual AI Contextual AI CodeRabbit CodeRabbit Qodo

Individual Sponsors

📫 Stay Updated!

🚀
Cutting-edge
Updates
💡
Expert
Insights
🎯
Top 0.1%
Content

Subscribe to DiamantAI Newsletter

Join over 50,000 AI enthusiasts getting unique cutting-edge insights and free tutorials! Plus, subscribers get exclusive early access and special 33% discounts to my book and the upcoming RAG Techniques course!

DiamantAI's newsletter

🎬 Prefer video?

I break these ideas down into short, one-idea-per-episode explainers on YouTube.


🆕 AI Is Rewarded for Guessing [Hallucination]

why a model guesses instead of saying I don't know, watched on its own token probabilities, and where retrieval moves the fact out of the guess


RAG Explained: Why AI Gets Your Own Documents Wrong

why chunks overlap, what "meaning space" is, and where simple RAG breaks down

How Do You Search a Spreadsheet by Meaning?

turn each row into one labelled line and search the table by meaning

How Do You Know Your RAG Answer Isn't Made Up?

three checkpoints that catch a bad chunk on the way in and an unsupported claim on the way out

Why Does RAG Return a Paragraph When You Asked for One Fact?

why a paragraph's embedding is a blend that points at nothing in particular

Subscribe on YouTube   Browse every episode →

Introduction

Retrieval-Augmented Generation (RAG) is revolutionizing the way we combine information retrieval with generative AI. This repository showcases a curated collection of advanced techniques designed to supercharge your RAG systems, enabling them to deliver more accurate, contextually relevant, and comprehensive responses.

Our goal is to provide a valuable resource for researchers and practitioners looking to push the boundaries of what's possible with RAG. By fostering a collaborative environment, we aim to accelerate innovation in this exciting field.

📖 Go deeper: the book

RAG Made Simple

RAG Made Simple - the 400-page visual companion to this repo. Amazon Bestseller in Generative AI · 1,500+ readers · ⭐ 4.6

Get it on Amazon (paperback · Kindle · free on Kindle Unlimited) → · Read Chapter 1 free

🚀 Agents Towards Production - code-first tutorials for shipping production-grade GenAI agents, prototype to scale.

🤖 GenAI Agents - a broad collection of AI agent implementations and tutorials.

🖋️ Prompt Engineering Techniques - prompting strategies from basics to advanced.

🧠 Agent Memory Techniques - 30 notebooks on agent memory: vector stores, knowledge graphs, Mem0, MemGPT, Zep, Graphiti.

Join the community

Contributions make this better - propose ideas, share techniques, or give feedback via CONTRIBUTING.md.

r/EducationalAI · Discord · LinkedIn

Key Features

Advanced Techniques

Explore our extensive list of cutting-edge RAG techniques:

Recently added: MemoRAG (memory-augmented retrieval), End-to-End RAG Evaluation, Open-RAG-Eval, JSON RAG. 42 notebooks and growing.

# Category Technique View
1 Foundational 🌱 Basic RAG
2 Foundational 🌱 RAG with CSV Files
3 Foundational 🌱 Reliable RAG
4 Foundational 🌱 Optimizing Chunk Sizes
5 Foundational 🌱 Proposition Chunking
6 Query Enhancement 🔍 Query Transformations
7 Query Enhancement 🔍 HyDE (Hypothetical Document Embedding) [](https://europe-west1-rag-techniques-views-tracker.cloudfunctions.net/rag-techniques-tracker?notebook=main-readme&click=youtube-hyde-table&targ

RAG_Techniques (NirDiamant/RAG_Techniques)

Searching Database…

Что это такое?Созданное сообществом хранилище продвинутых техник Retrieval-Augmented Generation (RAG) — когда ответы языковой модели опираются на найденные документы. Всё собрано в виде обучающих ноутбуков, которые можно сразу запускать.
Это библиотека, которую нужно устанавливать, или набор обучающих материалов?Набор туториалов, а не пакет: больше 42 самостоятельных Jupyter-ноутбуков, каждый из которых объясняет одну технику RAG — с интуицией, кодом и ссылками.
Как работать с техникой из репозитория?Склонируйте репозиторий, откройте нужный ноутбук в Jupyter и запустите его сверху вниз — каждый ноутбук самостоятельный урок, который легко адаптировать под свой стек.
Что нужно установить и настроить, чтобы запустить ноутбуки?Python с Jupyter. Судя по темам репозитория, ноутбуки построены на LangChain и LlamaIndex и используют модели GPT от OpenAI, так что для большинства из них понадобится API-ключ OpenAI.
Есть ли подводные камни, о которых стоит знать заранее?Здесь обучают техникам, а не дают готовую библиотеку для продакшена — код нужно переносить в свою систему. Кроме того, ноутбуки обращаются к облачным API языковых моделей, поэтому их полный прогон расходует кредиты API.
Подойдёт ли новичку в RAG, или это для тех, кто уже строит системы?И тем, и другим: материал идёт от базовых основ до переднего края, и он написан для исследователей и практиков, которые расширяют возможности RAG.
Можно ли запускать это на обычном ноутбуке, или нужно специальное железо?Подойдёт любой компьютер с Python и Jupyter — Windows, macOS или Linux; работа с языковыми моделями идёт через облачные API, а не за счёт вашего железа.
Какие техники входят в коллекцию?Всё — от Basic RAG, подбора размера чанков и proposition chunking до преобразований запросов, HyDE (гипотетические эмбеддинги документов) и агентного RAG, плюс свежие дополнения вроде MemoRAG и сквозной оценки качества RAG.
С чего начать новичку?С раздела Foundational: сначала Basic RAG, затем RAG with CSV Files, Reliable RAG, Optimizing Chunk Sizes и Proposition Chunking, и уже после этого — техники улучшения запросов вроде HyDE.
Коллекция ещё развивается или уже заброшена?Жива и растёт: в README перечислены недавние дополнения (MemoRAG, End-to-End RAG Evaluation, Open-RAG-Eval, JSON RAG), заявлено 42 ноутбука и обещаны регулярные обновления. Репозиторий не архивирован и набрал около 29.8k звёзд.
Здесь всё бесплатно?Ноутбуки бесплатны. Автор монетизирует сопутствующие материалы — курс Prompt to Production из 20 модулей и 400-страничную книгу RAG Made Simple; ссылки на них есть в README.
Creator
NirDiamant
Size
40.1 MB
Stars
29.9K
Age
2y
Commits · 90 Days