Что это такое?
Этот репозиторий содержит готовые к запуску облачные шаблоны для RAG-конвейеров, AI-конвейеров и корпоративного поиска. Они построены на Pathway Live Data Framework и синхронизируются с источниками данных в реальном времени.
Этот репозиторий содержит готовые к запуску облачные шаблоны для RAG-конвейеров, AI-конвейеров и корпоративного поиска. Они построены на Pathway Live Data Framework и синхронизируются с источниками данных в реальном времени.Это одно приложение или набор шаблонов?Это набор отдельных шаблонов приложений (Question-Answering RAG, Live Document Indexing, Multimodal RAG, Unstructured-to-SQL и другие). Каждый из них можно запустить самостоятельно, все они построены на движке Pathway на Python и Rust.
Это набор отдельных шаблонов приложений (Question-Answering RAG, Live Document Indexing, Multimodal RAG, Unstructured-to-SQL и другие). Каждый из них можно запустить самостоятельно, все они построены на движке Pathway на Python и Rust.Как запустить один из этих шаблонов?В папке каждого шаблона есть свой README.md с инструкциями по запуску. Приложения работают в контейнерах Docker и предоставляют HTTP API, к которому могут обращаться фронтенд или интерфейс на Streamlit.
В папке каждого шаблона есть свой README.md с инструкциями по запуску. Приложения работают в контейнерах Docker и предоставляют HTTP API, к которому могут обращаться фронтенд или интерфейс на Streamlit.Нужен ли мне ключ API OpenAI для этих шаблонов?Большинство шаблонов обращается к моделям GPT и требует ключ API, но шаблон «Private RAG App with Mistral and Ollama» работает полностью локально и не требует ключа внешней языковой модели.
Большинство шаблонов обращается к моделям GPT и требует ключ API, но шаблон «Private RAG App with Mistral and Ollama» работает полностью локально и не требует ключа внешней языковой модели.Нужно ли самому настраивать векторную базу данных и кэш?Нет, Pathway включает векторный поиск, гибридный поиск и полнотекстовую индексацию в оперативной памяти, поэтому не нужно отдельно подключать векторную базу данных вроде Pinecone, кэш вроде Redis или API-фреймворк.
Нет, Pathway включает векторный поиск, гибридный поиск и полнотекстовую индексацию в оперативной памяти, поэтому не нужно отдельно подключать векторную базу данных вроде Pinecone, кэш вроде Redis или API-фреймворк.Могу ли я запустить какой-либо из этих шаблонов полностью офлайн, чтобы мои данные оставались у меня?Да, шаблон Private RAG App создан так, чтобы все данные оставались на вашем компьютере: он использует Mistral и Ollama вместо облачного провайдера языковых моделей.
Да, шаблон Private RAG App создан так, чтобы все данные оставались на вашем компьютере: он использует Mistral и Ollama вместо облачного провайдера языковых моделей.Что такое Pathway и как он связан с llm-app?Pathway — это базовая библиотека на Python с движком на Rust, которая обеспечивает синхронизацию данных в реальном времени, встроенную векторную и гибридную индексацию и отдачу API для каждого шаблона в этом репозитории.
Pathway — это базовая библиотека на Python с движком на Rust, которая обеспечивает синхронизацию данных в реальном времени, встроенную векторную и гибридную индексацию и отдачу API для каждого шаблона в этом репозитории.С какими источниками данных могут синхронизироваться эти шаблоны?С локальными файлами, Google Drive, Sharepoint, S3, Kafka, PostgreSQL и API данных в реальном времени, с автоматическим отслеживанием добавлений, удалений и обновлений.
С локальными файлами, Google Drive, Sharepoint, S3, Kafka, PostgreSQL и API данных в реальном времени, с автоматическим отслеживанием добавлений, удалений и обновлений.Чем отличается шаблон Multimodal RAG with GPT4o?Он использует GPT-4o на этапе разбора, чтобы извлекать таблицы и диаграммы из PDF и других неструктурированных документов, и обновляет результаты в реальном времени при изменении исходных файлов.
Он использует GPT-4o на этапе разбора, чтобы извлекать таблицы и диаграммы из PDF и других неструктурированных документов, и обновляет результаты в реальном времени при изменении исходных файлов.Можно ли развернуть эти шаблоны в облаке?Да, можно протестировать их локально и развернуть в GCP, AWS, Azure или Render, либо запустить на собственных серверах.
Да, можно протестировать их локально и развернуть в GCP, AWS, Azure или Render, либо запустить на собственных серверах.What are similar projects?Langchain-Chatchat, langchain4j, m_flow, production-agentic-rag-course, weaviate, agentic-rag-for-dummies, vault-ai, pathway
Langchain-Chatchat, langchain4j, m_flow, production-agentic-rag-course, weaviate, agentic-rag-for-dummies, vault-ai, pathwayWhich topics is it in?enterprise-search, pinecone, milvus, chromadb, google-drive, pgvector, mistral, streamlit, duckdb, llmops, ai-security, kafka
enterprise-search, pinecone, milvus, chromadb, google-drive, pgvector, mistral, streamlit, duckdb, llmops, ai-security, kafka