Awesome-Chinese-LLM README

The project's README from github.com/AiHubCN/Awesome-Chinese-LLM. As one markdown file: README.md.

Awesome Chinese LLM

Awesome-Chinese-LLM

An Awesome Collection for LLM in Chinese

收集和梳理中文LLM相关

GitHub stars GitHub issues GitHub forks

自ChatGPT为代表的大语言模型(Large Language Model, LLM)出现以后,由于其惊人的类通用人工智能(AGI)的能力,掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后,业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料,目前收录的资源已达100+个!

如果本项目能给您带来一点点帮助,麻烦点个⭐️吧~

同时也欢迎大家贡献本项目未收录的开源模型、应用、数据集等。提供新的仓库信息请发起PR,并按照本项目的格式提供仓库链接、star数,简介等相关信息,感谢~

Awesome-Chinese-LLM

常见底座模型细节概览:

底座 包含模型 模型参数大小 训练token数 训练最大长度 是否可商用
ChatGLM ChatGLM/2/3/4 Base&Chat 6B 1T/1.4 2K/32K 可商用
LLaMA LLaMA/2/3 Base&Chat 7B/8B/13B/33B/70B 1T/2T 2k/4k 部分可商用
Baichuan Baichuan/2 Base&Chat 7B/13B 1.2T/1.4T 4k 可商用
Qwen Qwen/1.5/2/2.5 Base&Chat&VL 7B/14B/32B/72B/110B 2.2T/3T/18T 8k/32k 可商用
BLOOM BLOOM 1B/7B/176B-MT 1.5T 2k 可商用
Aquila Aquila/2 Base/Chat 7B/34B - 2k 可商用
InternLM InternLM/2/2.5 Base/Chat/VL 7B/20B - 200k 可商用
Mixtral Base&Chat 8x7B - 32k 可商用
Yi Base&Chat 6B/9B/34B 3T 200k 可商用
DeepSeek Base&Chat 1.3B/7B/33B/67B - 4k 可商用
XVERSE Base&Chat 7B/13B/65B/A4.2B 2.6T/3.2T 8k/16k/256k 可商用
MiniMax MiniMax-Text-01/VL-01 456B(45.9B activated) - 1M/4M 可商用

目录

1. 模型

1.1 文本LLM模型

1.2 多模态LLM模型

2. 应用

2.1 垂直领域微调

医疗

法律

金融

教育
科技
电商
网络安全
农业

2.2 LangChain应用

2.3 其他应用

3. 数据集

预训练数据集

SFT数据集

偏好数据集

4. LLM训练微调框架

5. LLM推理部署框架

6. LLM评测

7. LLM教程

LLM基础知识

提示工程教程

LLM应用教程

LLM实战教程

Star History

Star History Chart

Awesome-Chinese-LLM (AiHubCN/Awesome-Chinese-LLM)

Searching Database…

这是什么?一个面向中文的开源大语言模型资源精选合集,侧重于可以私有化部署、训练成本低的小型模型。收录了 100 多项资源:模型、应用、数据集和教程。
那这是能直接下载的模型,还是一个目录?它是一个目录:每个条目只有简短介绍加上指向项目自有仓库的链接。你在这里挑好模型,再到它的源仓库获取权重和文档。
合集里最大的模型是哪个?MiniMax-Text-01:一个混合专家(MoE)模型,总参数量 456B(每个 token 激活 45.9B),基于 100 万 token 上下文训练,推理时最多支持 400 万 token——大约相当于 800 万汉字。README 称它在多项基准测试上可与 GPT-4o 和 DeepSeek-V3 匹敌,代码采用 MIT 许可证,权重可商用。
为什么 ChatGLM 排在最前面?README 称它是中文领域表现最好的开源基座模型之一,针对中文问答和对话做了优化,并用大约 1T 双语 token 进行了训练,还经过 SFT 和 RLHF。后续版本增加了 32K 上下文、函数调用、代码执行和智能体场景支持。
GLM-4-9B 能做什么?根据 README,它在语义、数学、推理、代码和知识等基准测试上优于 Llama-3-8B,支持 26 种语言的网页浏览、代码执行、函数调用和 128K 上下文。另外还有 100 万上下文的对话版本,以及多模态版本 GLM-4V-9B。
Creator
AiHubCN
Size
11.3 MB
Stars
22.8K
Updated
CommitMay 10
Age
3y
Commits · 90 Days