llama_index README

The project's README from github.com/run-llama/llama_index. As one markdown file: README.md.

🗂️ LlamaIndex 🦙

PyPI - Downloads Build GitHub contributors Discord Twitter Reddit

LlamaIndex OSS (by LlamaIndex) is an open-source framework to build agentic applications. Parse is our enterprise platform for agentic OCR, parsing, extraction, indexing and more. You can use LlamaParse with this framework or on its own; see LlamaParse below for signup and product links.

📚 Documentation:

Building with LlamaIndex typically involves working with LlamaIndex core and a chosen set of integrations (or plugins). There are two ways to start building with LlamaIndex in Python:

  1. Starter: llama-index. A starter Python package that includes core LlamaIndex as well as a selection of integrations.

  2. Customized: llama-index-core. Install core LlamaIndex and add your chosen LlamaIndex integration packages on LlamaHub that are required for your application. There are over 300 LlamaIndex integration packages that work seamlessly with core, allowing you to build with your preferred LLM, embedding, and vector store providers.

The LlamaIndex Python library is namespaced such that import statements which include core imply that the core package is being used. In contrast, those statements without core imply that an integration package is being used.

# typical pattern
from llama_index.core.xxx import ClassABC  # core submodule xxx
from llama_index.xxx.yyy import (
    SubclassABC,
)  # integration yyy for submodule xxx

# concrete example
from llama_index.core.llms import LLM
from llama_index.llms.openai import OpenAI

LlamaParse (document agent platform)

LlamaParse is its own platform—focused on document agents and agentic OCR. It includes Parse (parsing), LlamaAgents (deployed document agents), Extract (structured extraction), and Index (ingest and RAG). You can use it with the LlamaIndex framework or standalone.

Documentation

X (formerly Twitter)

LinkedIn

Reddit

Discord

🚀 Overview

NOTE: This README is not updated as frequently as the documentation. Please check out the documentation above for the latest updates!

Context

We need a comprehensive toolkit to help perform this data augmentation for LLMs.

Proposed Solution

That's where LlamaIndex comes in. LlamaIndex is a "data framework" to help you build LLM apps. It provides the following tools:

LlamaIndex provides tools for both beginner users and advanced users. Our high-level API allows beginner users to use LlamaIndex to ingest and query their data in 5 lines of code. Our lower-level APIs allow advanced users to customize and extend any module (data connectors, indices, retrievers, query engines, reranking modules), to fit their needs.

💡 Contributing

Interested in contributing? Contributions to LlamaIndex core as well as contributing integrations that build on the core are both accepted and highly encouraged! See our Contribution Guide for more details.

New integrations should meaningfully integrate with existing LlamaIndex framework components. At the discretion of LlamaIndex maintainers, some integrations may be declined.

📄 Documentation

Full documentation can be found here

Please check it out for the most up-to-date tutorials, how-to guides, references, and other resources!

💻 Example Usage

# custom selection of integrations to work with core
pip install llama-index-core
pip install llama-index-llms-openai
pip install llama-index-llms-ollama
pip install llama-index-embeddings-huggingface

Examples are in the docs/examples folder. Indices are in the indices folder (see list of indices below).

To build a simple vector store index using OpenAI:

import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader("YOUR_DATA_DIRECTORY").load_data()
index = VectorStoreIndex.from_documents(documents)

To build a simple vector store index using non-OpenAI LLMs, e.g. LLMs hosted through Ollama:

from llama_index.core import Settings, VectorStoreIndex, SimpleDirectoryReader
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.ollama import Ollama
from transformers import AutoTokenizer

# set the LLM
Settings.llm = Ollama(
    model="llama-3.1:latest",
    request_timeout=360.0,
)

# set tokenizer to match LLM
Settings.tokenizer = AutoTokenizer.from_pretrained(
    "meta-llama/Llama-3.1-8B-Instruct"
)

# set the embed model
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

documents = SimpleDirectoryReader("YOUR_DATA_DIRECTORY").load_data()
index = VectorStoreIndex.from_documents(
    documents,
)

To query:

query_engine = index.as_query_engine()
query_engine.query("YOUR_QUESTION")

By default, data is stored in-memory. To persist to disk (under ./storage):

index.storage_context.persist()

To reload from disk:

from llama_index.core import StorageContext, load_index_from_storage

# rebuild storage context
storage_context = StorageContext.from_defaults(persist_dir="./storage")
# load index
index = load_index_from_storage(storage_context)

A note on Verification of Build Assets

By default, llama-index-core includes a _static folder that contains the nltk and tiktoken cache that is included with the package installation. This ensures that you can easily run llama-index in environments with restrictive disk access permissions at runtime.

To verify that these files are safe and valid, we use the github attest-build-provenance action. This action will verify that the files in the _static folder are the same as the files in the llama-index-core/llama_index/core/_static folder.

To verify this, you can run the following script (pointing to your installed package):

#!/bin/bash
STATIC_DIR="venv/lib/python3.13/site-packages/llama_index/core/_static"
REPO="run-llama/llama_index"

find "$STATIC_DIR" -type f | while read -r file; do
    echo "Verifying: $file"
    gh attestation verify "$file" -R "$REPO" || echo "Failed to verify: $file"
done

📖 Citation

Reference to cite if you use LlamaIndex in a paper:

@software{Liu_LlamaIndex_2022,
author = {Liu, Jerry},
doi = {10.5281/zenodo.1234},
month = {11},
title = {{LlamaIndex}},
url = {https://github.com/jerryjliu/llama_index},
year = {2022}
}

llama_index (run-llama/llama_index)

Searching Database…

52.5K ·GitHub
Llama_index
Что это?LlamaIndex — это открытый фреймворк на Python для создания агентных приложений, которые дополняют LLM вашими собственными приватными данными. Он позволяет загружать, индексировать и запрашивать документы с помощью конвейеров на основе LLM.
Это фреймворк или самостоятельное приложение?Это фреймворк и библиотека для работы с данными, которую подключают в код на Python, а не отдельное приложение. Также есть отдельная коммерческая платформа LlamaParse для агентного разбора документов и OCR, которую можно использовать как вместе с фреймворком, так и отдельно.
Как добавить его в проект?Установите стартовый пакет 'llama-index' с базовой частью и подборкой интеграций или установите 'llama-index-core' вместе с нужными пакетами интеграций из LlamaHub (доступно более 300).
Нужен ли мне API-ключ провайдера LLM, чтобы пользоваться этим?Вам нужен доступ к LLM: либо через API-ключ провайдера, например OpenAI, либо через локально развёрнутую модель, например с помощью Ollama. В README есть примеры для обоих вариантов.
Актуален ли этот README?Сопровождающие прямо предупреждают, что README отстаёт от актуального состояния, поэтому за свежей информацией загляните на полный сайт документации.
Это для начинающих или для опытных разработчиков?Для обоих: высокоуровневый API позволяет начинающим загрузить данные и выполнить запросы примерно в 5 строках кода, а низкоуровневый API даёт продвинутым пользователям возможность настраивать коннекторы данных, индексы, ретриверы и движки запросов.
Мои данные хранятся только локально или куда-то отправляются по умолчанию?По умолчанию проиндексированные данные хранятся в оперативной памяти вашего компьютера и могут сохраняться на локальный диск. Внешнее хранилище не задействуется, если вы сами не выберете интеграцию с удалённым векторным хранилищем.
Что такое LlamaParse?LlamaParse — это отдельная корпоративная платформа LlamaIndex для агентного OCR и разбора документов, которая поддерживает более 130 форматов. Также она умеет извлекать структурированные данные, индексировать и разбивать документы и создавать агентов для работы с документами. Её можно использовать как вместе с фреймворком LlamaIndex, так и полностью самостоятельно.
Можно ли интегрировать LlamaIndex с другими фреймворками для приложений?Да, он создан для того, чтобы подключаться к внешним фреймворкам приложений, таким как LangChain, Flask, Docker или приложениям на базе ChatGPT.
Сколько интеграций поддерживает LlamaIndex?Более 300 пакетов интеграций на LlamaHub охватывают разных провайдеров LLM, модели эмбеддингов и векторные хранилища, которые работают с базовым пакетом.
Как LlamaIndex проверяет файлы, включённые в свой пакет?Он использует действие GitHub attest-build-provenance, чтобы проверить, что файлы кэша nltk/tiktoken, поставляемые в папке static, совпадают с исходным репозиторием, и предоставляет скрипт, с помощью которого можно проверить это самостоятельно.
What are similar projects?PageIndex, LightRAG, m_flow, RAG-Anything, ai-system-design, PocketFlow, kotaemon, turbovec
Which topics is it in?llamaindex, application, retrieval, data, retrieval-augmented-generation, multi-agent-systems, langchain, vector-database, ocr, embeddings, document-processing, fine-tuning
Creator
run-llama
Size
486.1 MB
Stars
52.5K
Updated
CommitOct 14Releasev0.14.25Sep 21
Age
3y
Commits · 90 Days