Awesome-Chinese-LLM README

The project's README from github.com/AiHubCN/Awesome-Chinese-LLM. As one markdown file: README.md.

Awesome Chinese LLM

Awesome-Chinese-LLM

An Awesome Collection for LLM in Chinese

收集和梳理中文LLM相关

GitHub stars GitHub issues GitHub forks

自ChatGPT为代表的大语言模型(Large Language Model, LLM)出现以后,由于其惊人的类通用人工智能(AGI)的能力,掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后,业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料,目前收录的资源已达100+个!

如果本项目能给您带来一点点帮助,麻烦点个⭐️吧~

同时也欢迎大家贡献本项目未收录的开源模型、应用、数据集等。提供新的仓库信息请发起PR,并按照本项目的格式提供仓库链接、star数,简介等相关信息,感谢~

Awesome-Chinese-LLM

常见底座模型细节概览:

底座 包含模型 模型参数大小 训练token数 训练最大长度 是否可商用
ChatGLM ChatGLM/2/3/4 Base&Chat 6B 1T/1.4 2K/32K 可商用
LLaMA LLaMA/2/3 Base&Chat 7B/8B/13B/33B/70B 1T/2T 2k/4k 部分可商用
Baichuan Baichuan/2 Base&Chat 7B/13B 1.2T/1.4T 4k 可商用
Qwen Qwen/1.5/2/2.5 Base&Chat&VL 7B/14B/32B/72B/110B 2.2T/3T/18T 8k/32k 可商用
BLOOM BLOOM 1B/7B/176B-MT 1.5T 2k 可商用
Aquila Aquila/2 Base/Chat 7B/34B - 2k 可商用
InternLM InternLM/2/2.5 Base/Chat/VL 7B/20B - 200k 可商用
Mixtral Base&Chat 8x7B - 32k 可商用
Yi Base&Chat 6B/9B/34B 3T 200k 可商用
DeepSeek Base&Chat 1.3B/7B/33B/67B - 4k 可商用
XVERSE Base&Chat 7B/13B/65B/A4.2B 2.6T/3.2T 8k/16k/256k 可商用
MiniMax MiniMax-Text-01/VL-01 456B(45.9B activated) - 1M/4M 可商用

目录

1. 模型

1.1 文本LLM模型

1.2 多模态LLM模型

2. 应用

2.1 垂直领域微调

医疗

法律

金融

教育
科技
电商
网络安全
农业

2.2 LangChain应用

2.3 其他应用

3. 数据集

预训练数据集

SFT数据集

偏好数据集

4. LLM训练微调框架

5. LLM推理部署框架

6. LLM评测

7. LLM教程

LLM基础知识

提示工程教程

LLM应用教程

LLM实战教程

Star History

Star History Chart

Awesome-Chinese-LLM (AiHubCN/Awesome-Chinese-LLM)

Searching Database…

Что это такое?Тщательно подобранная коллекция open-source ресурсов по LLM для китайского языка, с упором на модели поменьше, которые можно развернуть у себя и дёшево дообучить. В ней собрано более 100 ресурсов: модели, приложения, датасеты и туториалы.
То есть здесь можно скачать саму модель, или это каталог?Это каталог: каждая запись — краткое описание и ссылка на репозиторий самого проекта. Вы выбираете модель здесь, а веса и документацию берёте в её исходном репозитории.
Какая модель в коллекции самая большая?MiniMax-Text-01: модель на смеси экспертов (mixture-of-experts) с 456B общих параметров (45.9B активных на токен), обученная на контексте в 1M токенов и поддерживающая до 4M токенов на инференсе — это примерно 8 миллионов китайских иероглифов. В README сказано, что она соперничает с GPT-4o и DeepSeek-V3 на ряде бенчмарков, код под лицензией MIT, а веса можно использовать в коммерческих целях.
Почему ChatGLM вынесен на первое место?В README он назван одной из самых сильных открытых базовых моделей для китайского языка: оптимизирован под китайские вопросы-ответы и диалоги, обучен примерно на 1T двуязычных токенов с применением SFT и RLHF. В более поздних версиях добавили контекст 32K, вызов функций, исполнение кода и сценарии с агентами.
Что умеет GLM-4-9B?По данным README, она превосходит Llama-3-8B в бенчмарках по семантике, математике, рассуждениям, коду и знаниям, а также поддерживает веб-сёрфинг, исполнение кода, вызов функций и контекст 128K на 26 языках. Есть ещё чат-версия с контекстом 1M и мультимодальная GLM-4V-9B.
Creator
AiHubCN
Size
11.3 MB
Stars
22.8K
Updated
CommitMay 10
Age
3y
Commits · 90 Days