easy-dataset README

The project's README from github.com/ConardLi/easy-dataset. As one markdown file: README.md.

GitHub Repo stars GitHub Downloads (all assets, all releases) GitHub Release AGPL 3.0 License GitHub contributors GitHub last commit arXiv:2507.04009

ConardLi%2Feasy-dataset | Trendshift

A powerful tool for creating fine-tuning datasets for Large Language Models

简体中文 | English | Türkçe

Features • Quick Start • Documentation • Contributing • License

If you like this project, please give it a Star⭐️, or buy the author a coffee => Donate ❤️!

Overview

Easy Dataset is an application specifically designed for building large language model (LLM) datasets. It features an intuitive interface, along with built-in powerful document parsing tools, intelligent segmentation algorithms, data cleaning and augmentation capabilities. The application can convert domain-specific documents in various formats into high-quality structured datasets, which are applicable to scenarios such as model fine-tuning, retrieval-augmented generation (RAG), and model performance evaluation.

News

🎉🎉 Easy Dataset Version 1.7.0 launches brand-new evaluation capabilities! You can effortlessly convert domain-specific documents into evaluation datasets (test sets) and automatically run multi-dimensional evaluation tasks. Additionally, it comes with a human blind test system, enabling you to easily meet needs such as vertical domain model evaluation, post-fine-tuning model performance assessment, and RAG recall rate evaluation. Tutorial: https://www.bilibili.com/video/BV1CRrVB7Eb4/

Features

📄 Document Processing & Data Generation

🔄 Multiple Dataset Types

📊 Model Evaluation System

🛠️ Advanced Features

📤 Export & Integration

🤖 Model Support

🌐 User Experience

Quick Demo

https://github.com/user-attachments/assets/6ddb1225-3d1b-4695-90cd-aa4cb01376a8

Local Run

Download Client

Windows MacOS Linux

Setup.exe
Intel
M
AppImage

Install with NPM

  1. Clone the repository:
   git clone https://github.com/ConardLi/easy-dataset.git
   cd easy-dataset
  1. Install dependencies:
   npm install
  1. Start the development server:
   npm run build

   npm run start
  1. Open your browser and visit http://localhost:1717

Using the Official Docker Image

  1. Clone the repository:
git clone https://github.com/ConardLi/easy-dataset.git
cd easy-dataset
  1. Modify the docker-compose.yml file:
services:
  easy-dataset:
    image: ghcr.io/conardli/easy-dataset
    container_name: easy-dataset
    ports:
      - '1717:1717'
    volumes:
      - ./local-db:/app/local-db
      - ./prisma:/app/prisma
    restart: unless-stopped

Note: It is recommended to use the local-db and prisma folders in the current code repository directory as mount paths to maintain consistency with the database paths when starting via NPM.

Note: The database file will be automatically initialized on first startup, no need to manually run npm run db:push.

  1. Start with docker-compose:
docker-compose up -d
  1. Open a browser and visit http://localhost:1717

Building with a Local Dockerfile

If you want to build the image yourself, use the Dockerfile in the project root directory:

  1. Clone the repository:
git clone https://github.com/ConardLi/easy-dataset.git
cd easy-dataset
  1. Build the Docker image:
docker build -t easy-dataset .
  1. Run the container:
docker run -d \
  -p 1717:1717 \
  -v ./local-db:/app/local-db \
  -v ./prisma:/app/prisma \
  --name easy-dataset \
  easy-dataset

Note: It is recommended to use the local-db and prisma folders in the current code repository directory as mount paths to maintain consistency with the database paths when starting via NPM.

Note: The database file will be automatically initialized on first startup, no need to manually run npm run db:push.

  1. Open a browser and visit http://localhost:1717

Documentation

Community Practice

Contributing

We welcome contributions from the community! If you'd like to contribute to Easy Dataset, please follow these steps:

  1. Fork the repository
  2. Create a new branch (git checkout -b feature/amazing-feature)
  3. Make your changes
  4. Commit your changes (git commit -m 'Add some amazing feature')
  5. Push to the branch (git push origin feature/amazing-feature)
  6. Open a Pull Request (submit to the DEV branch)

Please ensure that tests are appropriately updated and adhere to the existing coding style.

Join Discussion Group & Contact the Author

https://docs.easy-dataset.com/geng-duo/lian-xi-wo-men

License

This project is licensed under the AGPL 3.0 License - see the LICENSE file for details.

Citation

If this work is helpful, please kindly cite as:

@misc{miao2025easydataset,
  title={Easy Dataset: A Unified and Extensible Framework for Synthesizing LLM Fine-Tuning Data from Unstructured Documents},
  author={Ziyang Miao and Qiyu Sun and Jingyuan Wang and Yuchen Gong and Yaowei Zheng and Shiqi Li and Richong Zhang},
  year={2025},
  eprint={2507.04009},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2507.04009}
}

Star History

Star History Chart

Built with ❤️ by ConardLi • Follow me: WeChat Official Account｜Bilibili｜Juejin｜Zhihu｜Youtube

easy-dataset (ConardLi/easy-dataset)

Searching Database…

15K ·GitHub
Easy-dataset
Что это такое?Easy Dataset — приложение, которое превращает документы по предметной области (PDF, Markdown, DOCX, TXT, EPUB) в структурированные датасеты для дообучения LLM, RAG и оценки моделей. Оно извлекает вопросы из вашего текста, генерирует ответы с помощью LLM и экспортирует готовые к использованию обучающие данные.
Это десктопное приложение или то, что запускается на сервере?И то, и другое: его можно запустить как локальное веб-приложение через npm или официальный Docker-образ, а также просто скачать готовый десктопный клиент для Windows, macOS или Linux.
Как это запустить?Клонируйте репозиторий, выполните npm install, затем npm run dev, чтобы запустить его на порту 1717, или используйте docker-compose up с официальным Docker-образом. Также можно собрать свой образ из прилагаемого Dockerfile.
Нужен ли мне API-ключ LLM, чтобы генерировать данные?Да, нужен доступ к LLM API, совместимому с форматом OpenAI; поддерживаются OpenAI, MiniMax, Ollama (локальные модели), Zhipu AI, Alibaba Bailian, OpenRouter и другие провайдеры.
В каких форматах можно экспортировать датасеты?Экспорт идёт в форматах Alpaca, ShareGPT и Multilingual-Thinking в JSON или JSONL; датасеты также можно сразу загрузить в Hugging Face Hub.
Умеет ли оно что-то помимо генерации обучающих данных?Да, оно также создаёт оценочные датасеты (вопросы «верно/неверно», с выбором ответа и открытые вопросы) с автоматической оценкой через Judge Model и слепым тестированием людьми на арене для сравнения ответов двух моделей.
Есть ли интеграция с другими инструментами для дообучения?Есть генерация конфигурации LLaMA Factory в один клик и прямая загрузка в Hugging Face Hub, так что можно перейти от датасета сразу к обучению.
Можно ли создать датасет без загрузки документов?Да, режим «Data Distillation» генерирует деревья меток и вопросы напрямую по указанной вами теме предметной области, исходные документы не нужны.
What are similar projects?sim, mike, kotaemon, Prism-Legal-OS, get-it, karakeep, ParseBench, blinko
Which topics is it in?document-parsing, agplv3, dataset, evaluation, fine-tuning, ollama, nextjs, electron, pdf, rag, huggingface, docker-compose
Creator
ConardLi
Size
19.2 MB
Stars
15K
Updated
CommitMay 01Release1.7.3Apr 09
Age
1y
Commits · 90 Days