Llama-Chinese README

The project's README from github.com/LlamaChinese/Llama-Chinese. As one markdown file: README.md.

English ｜ 中文

Llama中文社区

Llama

最好的Llama大模型开源社区

🤗 Hugging Face • 🤖 ModelScope • ✡️ WiseModel

Llama4原生多模态MoE模型发布！

基于Llama的开源中文预训练大模型Atom



🗂️ 目录

📌 Llama中文社区

🔥 社区介绍

欢迎来到Llama中文社区！Llama模型的开源无疑极大促进了大模型技术的发展，我们致力于构建一个开放平台，能够让所有的开发者与技术爱好者一起共创Llama开源生态。从大模型到小模型，从文本到多模态，从软件到硬件算法优化，我们期望开源能够带给全人类以AI普惠。在一个科技爆发的时代，加入Llama Family，与技术一同进步，与社区一同前行，一起迈向AGI！

为什么选择Llama中文社区？

🚀 高级工程师团队支持：社区有一批专注为大家服务的NLP高级工程师，我们有着强大的技术支持和丰富的经验，为您提供专业的指导和帮助。

🎯 中文优化：我们致力于在Llama模型的中文处理方面进行优化，探索适用于中文的最佳实践，以提升其性能和适应性【支持Llama2、Llama3、Llama4】。

💡 创新交流：我们拥有一支富有创造力和经验的社区成员团队，定期组织线上活动、技术研讨和经验分享，促进成员间的创新交流。

🌐 全球联结：我们欢迎来自世界各地的开发者加入社区，构建一个开放、多元化的学习和交流平台。

🤝 开放共享：我们鼓励社区成员开源分享代码和模型，推动合作共赢，共同促进中文NLP技术的发展。

社区活动

🗓️ 线上讲座：邀请行业内专家进行线上讲座，分享Llama在中文NLP领域的最新技术和应用，探讨前沿研究成果。

💻 项目展示：成员可展示自己在Llama中文优化方面的项目成果，获得反馈和建议，促进项目协作。

📚 学习资源：社区维护丰富的学习资料库，包括教程、文档和论文解读，为成员提供全面的学习支持。

📝 论文解读：社区成员共同解读与Llama相关的最新研究论文，深入理解前沿算法和方法。

🎉 主题活动：定期举办各类主题活动，包括挑战赛、黑客马拉松和技术沙龙，让社区成员在轻松愉快的氛围中交流和学习。

🌟 奖励计划：我们设立奖励计划，对社区中积极参与、贡献优秀的成员给予荣誉和奖励，激励更多优秀人才的加入。

📈 技术咨询：我们提供技术咨询服务，解答您在Llama开发和优化过程中遇到的问题，助您快速攻克难关。

🚀 项目合作：鼓励成员间的项目合作，共同探索Llama在实际应用中的潜力，打造创新解决方案。

立即加入我们！

📚 愿景：无论您是对Llama已有研究和应用经验的专业开发者，还是对Llama中文优化感兴趣并希望深入探索的新手，我们都热切期待您的加入。在Llama中文社区，您将有机会与行业内顶尖人才共同交流，携手推动中文NLP技术的进步，开创更加美好的技术未来！

🔗 温馨提示：本社区为专业技术交流平台，我们热切期望志同道合的开发者和研究者加入。请遵守社区准则，共同维护积极向上的学习氛围。感谢您的理解和支持！

🪵 社区资源

社区资源的丰富性是社区发展的重要保障，它涵盖了各种方面，其中包括但不限于以下四个方面：算力、数据、论坛和应用。在这些方面的积极发展与充分利用，将为社区成员提供更多的机会和支持，推动整个社区向着更加繁荣的方向发展。更多的内容请看llama.family

💻 算力

  • 提供低于市场价格的算力资源，可用于各类计算任务，如深度学习模型的训练、推理等。
  • 为社区成员提供专属的在线推理服务，让用户可以快速有效地对模型进行推理操作。
  • 提供一键在线微调服务，使用户可以方便地对模型进行微调，以适应不同的任务和数据。

📊 数据

  • 开放丰富的训练数据资源，覆盖多个领域和行业，为模型训练提供充足的数据支持。
  • 提供高质量、多样化的数据集，以满足不同用户的需求，并支持数据共享和交流，促进数据资源的充分利用。

💬 论坛

  • 社区论坛为社区成员提供了一个在线交流和讨论技术问题的平台。
  • 在论坛上，用户可以分享经验、提出问题、解答疑惑，促进技术交流和合作。
  • 论坛还可以定期举办线上活动、研讨会等，增进社区成员之间的联系和了解。

📱 应用

  • 免费提供应用推广展示位，让开发者可以将他们的应用充分展示给社区成员。
  • 提供推广的帮助，包括但不限于宣传推广、用户引导等服务，帮助应用获得更多的曝光和用户。
  • 通过社区平台，为优秀的应用提供合作机会，促进应用开发者之间的合作和交流，共同推动应用的发展和壮大。

📢 最新动态

【最新】2025年04月05日：原生多模态MoE架构的Llama 4开源！最高达2T参数的Behemoth模型，以及Maverick、Scout。

【最新】2024年12月06日：Llama 3.3模型发布，更新70B Instruct模型。

【最新】2024年09月25日：Llama 3.2模型发布，核心主打1B、3B端侧小模型，以及11B、90B多模态输入模型！

【最新】2024年07月24日：开源最强Llama 3.1模型发布，包含8B、70B和405B！

【最新】2024年07月16日：社区论坛上线，有大模型问题，就找Llama中文社区！

【最新】2024年05月15日：支持ollama运行Llama3-Chinese-8B-Instruct、Atom-7B-Chat，详细使用方法。

【最新】2024年04月23日：社区增加了llama3 8B中文微调模型Llama3-Chinese-8B-Instruct以及对应的免费API调用。

【最新】2024年04月19日：社区增加了llama3 8B、llama3 70B在线体验链接。

【最新】2024年04月14日：社区更新了四个专家角色：心理咨询师、羊驼夸夸 、律师、医生。链接：角色role。

【最新】2024年04月10日：Atom-7B-Chat 模型回答内容相较之前更为丰富、增强了模型的指令遵循能力和回答稳定性、优化了ppo的奖励模型。下载链接modelscope、Huggingface。

【最新】2024年04月01日：社区上线了Llama中文应用平台；同时如果你有优秀的的应用需要推广可以填写申请表。

【最新】2024年03月08日：开放了免费API供大家使用，包含（Atom-1B,7B,13B 3种中文大模型）API使用链接

【最新】2024年04月14日：社区更新了四个专家角色：心理咨询师、羊驼夸夸 、律师、医生。链接：角色role。

【最新】2024年04月10日：Atom-7B-Chat 模型回答内容相较之前更为丰富、增强了模型的指令遵循能力和回答稳定性、优化了ppo的奖励模型。下载链接modelscope、Huggingface。

【最新】2024年04月01日：社区上线了Llama中文应用平台；同时如果你有优秀的的应用需要推广可以填写申请表。

【最新】2024年03月28日：社区免费公开课。

【最新】2024年03月08日：开放了免费API供大家使用，包含（Atom-1B,7B,13B 3种中文大模型）API使用链接

【最新】2023年10月8日：新增清华大学JittorLLMs的推理加速功能JittorLLMs！

  • 2023年9月12日：更新预训练版本Atom-7B和对话版本Atom-7B-Chat模型参数，最新的中文预训练数据量为2.7TB token，训练进程见llama.family！

  • 2023年9月2日：新增模型预训练代码和全量参数微调代码！

  • 2023年8月28日：发布基于Llama2进行中文预训练的开源大模型Atom-7B，并将持续更新，详情参考社区公众号文章！

  • 2023年8月26日：提供FastAPI接口搭建脚本！

  • 2023年8月26日：提供将Meta原始模型参数转换为兼容Hugging Face的格式转化脚本！

  • 2023年8月26日：新增Code Llama模型！

  • 2023年8月15日：新增PEFT加载微调模型参数的代码示例！

  • 2023年8月14日：大模型数据共享训练平台上线，没有算力也能参与大模型训练，社区每位成员贡献的数据都将决定模型能力的未来走向！

  • 2023年8月3日：新增FasterTransformer和vLLM的GPU推理加速支持！

  • 2023年7月31日：【重磅】国内首个真正意义上的Llama2中文大模型发布！详情参见社区公众号文章

  • 2023年7月28日：通过Docker部署问答接口！

  • 2023年7月27日：新增LangChain支持！

  • 2023年7月26日：新增Llama2-13B中文微调参数的4bit量化压缩版本！

  • 2023年7月25日：社区微信公众号“Llama中文社区”欢迎大家关注，获取最新分享和动态！

  • 2023年7月24日：FlagAlpha新增Llama2-13B中文微调参数！

  • 2023年7月24日：llama.family新增Llama2-70B在线体验！

  • 2023年7月23日：Llama2中文微调参数发布至Hugging Face仓库FlagAlpha！

  • 2023年7月22日：Llama2在线体验链接llama.family上线，同时包含Meta原版和中文微调版本！

  • 2023年7月21日：评测了Meta原始版Llama2 Chat模型的中文问答能力！

  • 2023年7月21日：新增Llama2模型的Hugging Face版本国内下载地址！

  • 2023年7月20日：新增飞书知识库文档，欢迎大家一起共建！

  • 2023年7月20日：国内Llama2最新下载地址上线！

  • 2023年7月19日：正式启动Llama2模型的中文预训练，关注我们获取实时动态！

  • 2023年7月19日：Llama2国内下载地址正在启动，敬请期待！

  • 2023年7月19日：开启Llama2中文社区，欢迎大家加入！

🤗 模型发布

中文预训练模型Atom

原子大模型Atom由Llama中文社区和原子回声联合打造。

类别 模型名称 🤗模型加载名称 下载地址
预训练 Atom-7B FlagAlpha/Atom-7B HuggingFace | ModelScope | WiseModel
Chat Atom-7B-Chat FlagAlpha/Atom-7B-Chat HuggingFace | ModelScope | WiseModel

Atom系列模型包含Atom-13B、Atom-7B和Atom-1B，基于Llama2做了中文能力的持续优化。Atom-7B和Atom-7B-Chat目前已完全开源，支持商用，可在Hugging Face仓库获取模型，详情见Atom-7B下载。Atom大模型针对中文做了以下优化：

📝 中文数据详情如下：

类型 描述
网络数据 互联网上公开的网络数据，挑选出去重后的高质量中文数据，涉及到百科、书籍、博客、新闻、公告、小说等高质量长文本数据。
Wikipedia 中文Wikipedia的数据
悟道 中文悟道开源的200G数据
Clue Clue开放的中文预训练数据，进行清洗后的高质量中文长文本数据
竞赛数据集 近年来中文自然语言处理多任务竞赛数据集，约150个
MNBVC MNBVC 中清洗出来的部分数据集

社区提供预训练版本Atom-7B和基于Atom-7B进行对话微调的模型参数供开放下载，关于模型的进展详见社区官网llama.family。

Llama4官方模型

类别 模型名称 🤗模型加载名称 下载地址
预训练 Llama-4-Scout-17B-16E meta-llama/Llama-4-Scout-17B-16E HuggingFace
对话模型 Llama-4-Scout-17B-16E-Instruct meta-llama/Llama-4-Scout-17B-16E-Instruct HuggingFace
预训练 Llama-4-Maverick-17B-128E meta-llama/Llama-4-Maverick-17B-128E HuggingFace
对话模型 Llama-4-Maverick-17B-128E-Instruct meta-llama/Llama-4-Maverick-17B-128E-Instruct HuggingFace

Llama3官方模型

注意：仅保留同等参数量级模型的最新版本。

类别 模型名称 🤗模型加载名称 下载地址
预训练 Llama-3.2-1B meta-llama/Llama-3.2-1B HuggingFace
对话模型 Llama-3.2-1B-Instruct meta-llama/Llama-3.2-1B-Instruct HuggingFace
预训练 Llama-3.2-3B meta-llama/Llama-3.2-3B HuggingFace
对话模型 Llama-3.2-3B-Instruct meta-llama/Llama-3.2-3B-Instruct HuggingFace
预训练 Llama-3.1-8B meta-llama/Llama-3.1-8B HuggingFace
对话模型 Llama-3.1-8B-Instruct meta-llama/Llama-3.1-8B-Instruct HuggingFace
预训练 Llama-3.1-70B meta-llama/Llama-3.1-70B HuggingFace
对话模型 Llama-3.3-70B-Instruct meta-llama/Llama-3.3-70B-Instruct HuggingFace
预训练 Llama-3.1-405B meta-llama/Llama-3.1-405B HuggingFace
对话模型 Llama-3.1-405B-Instruct meta-llama/Llama-3.1-405B-Instruct HuggingFace
多模态预训练 Llama-3.2-11B-Vision meta-llama/Llama-3.2-11B-Vision HuggingFace
多模态对话模型 Llama-3.2-11B-Vision-Instruct meta-llama/Llama-3.2-11B-Vision-Instruct HuggingFace
多模态预训练 Llama-3.2-90B-Vision meta-llama/Llama-3.2-90B-Vision HuggingFace
多模态对话模型 Llama-3.2-90B-Vision-Instruct meta-llama/Llama-3.2-90B-Vision-Instruct HuggingFace

Llama3中文微调模型

类别 模型名称 🤗模型加载名称 下载地址
对话模型 Llama3-Chinese-8B-Instruct FlagAlpha/Llama3-Chinese-8B-Instruct HuggingFace | modelscope | wisemodel

Llama2官方模型

类别 模型名称 🤗模型加载名称 下载地址
预训练 Llama2-7B meta-llama/Llama-2-7b-hf HuggingFace | 迅雷网盘
预训练 Llama2-13B meta-llama/Llama-2-13b-hf HuggingFace | 迅雷网盘
预训练 Llama2-70B meta-llama/Llama-2-70b-hf HuggingFace
Chat Llama2-7B-Chat meta-llama/Llama-2-7b-chat-hf HuggingFace | 迅雷网盘
Chat Llama2-13B-Chat meta-llama/Llama-2-13b-chat-hf HuggingFace | 迅雷网盘
Chat Llama2-70B-Chat meta-llama/Llama-2-70b-chat-hf HuggingFace | 迅雷网盘
Code CodeLlama-7b meta-llama/Llama-2-70b-chat-hf 迅雷网盘
Code CodeLlama-7b-Python meta-llama/Llama-2-70b-chat-hf 迅雷网盘
Code CodeLlama-7b-Instruct meta-llama/Llama-2-70b-chat-hf 迅雷网盘
Code CodeLlama-13b meta-llama/Llama-2-70b-chat-hf 迅雷网盘
Code CodeLlama-13b-Python meta-llama/Llama-2-70b-chat-hf 迅雷网盘
Code CodeLlama-13b-Instruct meta-llama/Llama-2-70b-chat-hf 迅雷网盘
Code CodeLlama-34b meta-llama/Llama-2-70b-chat-hf 迅雷网盘

Meta官方在2023年8月24日发布了Code Llama，基于代码数据对Llama2进行了微调，提供三个不同功能的版本：基础模型（Code Llama）、Python专用模型（Code Llama - Python）和指令跟随模型（Code Llama - Instruct），包含7B、13B、34B三种不同参数规模。不同模型能力区别如下表所示：

模型类别 模型名称 代码续写 代码填充 指令编程
Code Llama CodeLlama-7b ✅ ✅ ❌
CodeLlama-13b ✅ ✅ ❌
CodeLlama-34b ✅ ❌ ❌
Code Llama - Python CodeLlama-7b-Python ✅ ❌ ❌
CodeLlama-13b-Python ✅ ❌ ❌
CodeLlama-34b-Python ✅ ❌ ❌
Code Llama - Instruct CodeLlama-7b-Instruct ❌ ✅ ✅
CodeLlama-13b-Instruct ❌ ✅ ✅
CodeLlama-34b-Instruct ❌ ❌ ✅

关于Code Llama的详细信息可以参考官方Github仓库codellama。

Llama2中文微调模型

我们基于中文指令数据集对Llama2-Chat模型进行了微调，使得Llama2模型有着更强的中文对话能力。LoRA参数以及与基础模型合并的参数均已上传至Hugging Face，目前包含7B和13B的模型。

类别 模型名称 🤗模型加载名称 基础模型版本 下载地址
合并参数 Llama2-Chinese-7b-Chat FlagAlpha/Llama2-Chinese-7b-Chat meta-llama/Llama-2-7b-chat-hf HuggingFace
合并参数 Llama2-Chinese-13b-Chat FlagAlpha/Llama2-Chinese-13b-Chat meta-llama/Llama-2-13b-chat-hf HuggingFace
LoRA参数 Llama2-Chinese-7b-Chat-LoRA FlagAlpha/Llama2-Chinese-7b-Chat-LoRA meta-llama/Llama-2-7b-chat-hf HuggingFace
LoRA参数 Llama2-Chinese-13b-Chat-LoRA FlagAlpha/Llama2-Chinese-13b-Chat-LoRA meta-llama/Llama-2-13b-chat-hf HuggingFace

📌 如何使用Llama模型

你可以选择下面的快速上手的任一种方式，开始使用 Llama 系列模型。推荐使用中文预训练对话模型进行使用，对中文的效果支持更好。

快速上手-使用Anaconda

第 0 步：前提条件

第 1 步：准备环境

如需设置环境，安装所需要的软件包，运行下面的命令。

git clone https://github.com/LlamaFamily/Llama-Chinese.git
cd Llama-Chinese
pip install -r requirements.txt

第 2 步：下载模型

你可以从以下来源下载Atom-7B-Chat模型。

第 3 步：进行推理

使用Atom-7B-Chat模型进行推理 创建一个名为 quick_start.py 的文件，并将以下内容复制到该文件中。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
de

Llama-Chinese (LlamaChinese/Llama-Chinese)

Searching Database…

14.8K ·GitHub
Llama-Chinese
这是什么？Llama-Chinese 是一个中文社区项目，围绕 Meta 的 Llama 模型（Llama2、Llama3、Llama4）构建。它提供中文预训练和微调、专为中文优化的自研 Atom 模型系列，以及在中文环境下训练、部署和使用 Llama 的资源，可免费用于商业用途。
这是模型、工具包，还是两者都是？两者都是：既包含一批预训练或微调好的中文 Llama 模型权重（Atom 系列以及 Llama2/3/4 的中文微调版本），也包含用于预训练、微调、量化、部署和推理加速的脚本与文档。
怎样快速跑起一个模型？安装 Python 3.10+，配置好环境，然后从 HuggingFace、ModelScope 或 WiseModel 下载 Atom-7B-Chat 等模型，再使用 transformers 的 AutoTokenizer 和 AutoModelForCausalLM 运行 quickstart.py 脚本。文档中也有 Docker、llama.cpp、gradio、API 服务器和 ollama 的部署方法。
试用之前需要准备什么？需要 Python 3.10 或更高版本、transformers 库，以及足够加载所选模型规模的 GPU 资源（7B、13B、70B，Llama3.1 最高可达 405B，Llama4 Behemoth 则为 2T 参数）。
这个社区面向哪些人？面向中文开发者、NLP 研究人员和爱好者，适合希望使用、微调或部署 Llama 模型并获得更好中文支持的人，从入门者到有经验的从业者都可以参与。
下载之后，能完全离线运行这些模型吗？可以。模型下载完成后，无需托管的 API，就能通过 Anaconda、Docker、llama.cpp、gradio 或 ollama 在本地运行。
Atom 模型系列是什么？Atom 是一系列专为中文优化的模型（1B、7B、13B），基于 Llama2 构建，使用大规模中文语料训练，扩充了 65,000 个词的中文词表，使中文编码和解码速度提升约 350%，并支持自适应上下文扩展，最长可达 32K 个 token。
项目支持微调我自己的模型吗？支持。项目提供针对 Llama 和 Atom 基础模型的完整 LoRA 微调和全参数微调脚本，并附有数据准备以及微调后加载权重的指导。
我能不装任何东西就先试用这些模型吗？可以。社区提供了在线免费演示链接，以及部分 Atom 和 Llama 模型规格的免费 API，可以先在浏览器中测试。
支持 LangChain 集成吗？支持。已加入 LangChain 支持，可以把中文版 Llama/Atom 模型接入基于 LangChain 的应用中。
What are similar projects?Hy-MT2, decider, Chinese-LLaMA-Alpaca, airllm, unsloth, jeeves, rizzo-flow, minimind
Which topics is it in?rl, chinese-nlp, pretraining, llama-cpp, gguf, llama, lora, natural-language-processing, langchain, llm-inference, vllm, quantization
Creator
LlamaChinese
Size
19.6 MB
Stars
14.8K
Updated
CommitApr 06
Age
3y
Commits · 90 Days