5.3K ·GitHub
这是什么？
NVIDIA Model Optimizer（ModelOpt）是一个 Python 库，集成了最先进的模型压缩技术——量化、剪枝、神经架构搜索、蒸馏、投机解码和稀疏化——用于在部署前缩小和加速深度学习模型。
NVIDIA Model Optimizer（ModelOpt）是一个 Python 库，集成了最先进的模型压缩技术——量化、剪枝、神经架构搜索、蒸馏、投机解码和稀疏化——用于在部署前缩小和加速深度学习模型。这是一个独立应用，还是接入我自己流水线的库？它是一个提供可组合 API 的 Python 库：你拿一个 Hugging Face、PyTorch 或 ONNX 模型，用 Model Optimizer 处理后导出优化过的检查点——没有需要单独运行的应用。
它是一个提供可组合 API 的 Python 库：你拿一个 Hugging Face、PyTorch 或 ONNX 模型，用 Model Optimizer 处理后导出优化过的检查点——没有需要单独运行的应用。使用它需要什么样的模型和框架配置？你需要提供 Hugging Face、PyTorch 或 ONNX 格式的输入模型；导出的检查点则面向 TensorRT-LLM、TensorRT、vLLM 或 SGLang 等 NVIDIA 生态的推理框架。
你需要提供 Hugging Face、PyTorch 或 ONNX 格式的输入模型；导出的检查点则面向 TensorRT-LLM、TensorRT、vLLM 或 SGLang 等 NVIDIA 生态的推理框架。API 稳定吗？更新之间会不会出问题？项目仍处于 1.0 之前的阶段，被弃用的功能在移除前只有一个版本的迁移窗口（约 1 个月）并伴随警告，而且次版本号升级也可能包含破坏性变更。
项目仍处于 1.0 之前的阶段，被弃用的功能在移除前只有一个版本的迁移窗口（约 1 个月）并伴随警告，而且次版本号升级也可能包含破坏性变更。优化过的检查点可以部署到哪些推理框架？Model Optimizer 生成的量化检查点可以直接部署到 TensorRT-LLM、TensorRT、vLLM 和 SGLang。
Model Optimizer 生成的量化检查点可以直接部署到 TensorRT-LLM、TensorRT、vLLM 和 SGLang。它提供现成的量化模型吗，还是一切都得自己量化？NVIDIA 已经在其 Hugging Face 集合中发布了 DeepSeek-R1、Llama 3.1/3.3 和 Nemotron 等模型的 FP8 和 NVFP4 预量化检查点，可直接部署在 TensorRT-LLM、vLLM 和 SGLang 上。
NVIDIA 已经在其 Hugging Face 集合中发布了 DeepSeek-R1、Llama 3.1/3.3 和 Nemotron 等模型的 FP8 和 NVFP4 预量化检查点，可直接部署在 TensorRT-LLM、vLLM 和 SGLang 上。Claude Code 这类 AI 编程代理能直接使用这个项目吗？能——ModelOpt 提供可安装的代理技能；在 Claude Code 或 Codex 中打开 /plugins，选择 modelopt 市场，就能把技能安装到任意工作区。
能——ModelOpt 提供可安装的代理技能；在 Claude Code 或 Codex 中打开 /plugins，选择 modelopt 市场，就能把技能安装到任意工作区。这个项目以前叫别的名字吗？是的，它在 2025 年 12 月从“NVIDIA TensorRT Model Optimizer”更名为“NVIDIA Model Optimizer”。
是的，它在 2025 年 12 月从“NVIDIA TensorRT Model Optimizer”更名为“NVIDIA Model Optimizer”。Which topics is it in?knowledge-distillation, sglang, speculative-decoding, edge-ai, onnx, diffusion-models, llm-inference, vllm, quantization, fine-tuning, transformer, large-language-models
knowledge-distillation, sglang, speculative-decoding, edge-ai, onnx, diffusion-models, llm-inference, vllm, quantization, fine-tuning, transformer, large-language-models