这是什么?
Grok-1 是 xAI 开源的 314B 参数混合专家(MoE)语言模型;这个仓库存放的是加载和运行它的 JAX 示例代码。
Grok-1 是 xAI 开源的 314B 参数混合专家(MoE)语言模型;这个仓库存放的是加载和运行它的 JAX 示例代码。模型权重包含在里面吗,还是只有代码?只有代码——开放权重需要单独下载:你可以通过磁力链接用 BT 下载工具获取,也可以直接从 HuggingFace Hub 下载。
只有代码——开放权重需要单独下载:你可以通过磁力链接用 BT 下载工具获取,也可以直接从 HuggingFace Hub 下载。拿到权重之后怎么把它跑起来?把下载好的 ckpt-0 目录放进 checkpoints,然后运行测试脚本:它会加载 checkpoint,并用一个测试输入从模型里采样生成内容。
把下载好的 ckpt-0 目录放进 checkpoints,然后运行测试脚本:它会加载 checkpoint,并用一个测试输入从模型里采样生成内容。仓库里的代码效率高吗?不高——MoE 层的实现是刻意做得低效的:它没有使用自定义内核,以便于轻松验证模型的正确性。
不高——MoE 层的实现是刻意做得低效的:它没有使用自定义内核,以便于轻松验证模型的正确性。Apache 2.0 许可证是否同时覆盖代码和权重?是的——代码和 Grok-1 权重都在 Apache 2.0 之下,该许可证同时适用于这个仓库的源代码文件和 Grok-1 的模型权重。
是的——代码和 Grok-1 权重都在 Apache 2.0 之下,该许可证同时适用于这个仓库的源代码文件和 Grok-1 的模型权重。普通的显卡能跑吗?基本跑不动——模型有 314B 参数,按照 README 的要求,哪怕只是用示例代码测试一下,也需要一台显存足够大的机器。
基本跑不动——模型有 314B 参数,按照 README 的要求,哪怕只是用示例代码测试一下,也需要一台显存足够大的机器。这个模型具体有多大?314B 参数,采用 8 专家混合(Mixture-of-8-Experts)架构,每个 token 使用 2 个专家,共 64 层,48 个查询头(其中 8 个用于键/值),嵌入维度为 6,144。
314B 参数,采用 8 专家混合(Mixture-of-8-Experts)架构,每个 token 使用 2 个专家,共 64 层,48 个查询头(其中 8 个用于键/值),嵌入维度为 6,144。它能处理多长的上下文?上下文最长可达 8,192 个 token,文本由 SentencePiece 分词器处理,其词表包含 131,072 个 token。
上下文最长可达 8,192 个 token,文本由 SentencePiece 分词器处理,其词表包含 131,072 个 token。它支持量化或分片吗?支持——模型支持激活分片(activation sharding)和 8 位量化,并使用旋转位置编码(RoPE)来提供位置信息。
支持——模型支持激活分片(activation sharding)和 8 位量化,并使用旋转位置编码(RoPE)来提供位置信息。What are similar projects?DeepSeek-V3, Kimi-K3, OpenMythos, ktransformers, StartLux-Decision, Hy4-preview, LongCat-Next, Hy-MT2
DeepSeek-V3, Kimi-K3, OpenMythos, ktransformers, StartLux-Decision, Hy4-preview, LongCat-Next, Hy-MT2Which topics is it in?tokenizer, xai, jax, apache, torrent, open-weights, mixture-of-experts, moe, grok, quantization, transformer, large-language-models
tokenizer, xai, jax, apache, torrent, open-weights, mixture-of-experts, moe, grok, quantization, transformer, large-language-models