NVIDIA NIM

NVIDIA NIM(推理微服务)提供企业级 AI 推理加速,基于 NVIDIA GPU 优化,涵盖 Llama、Mistral、Gemma 等主流开源模型,支持本地部署和云端托管。

4
综合评分
3
速度
5
稳定性
3
性价比
3
易用性
1
条评测

文本 Text 模型(7 个)

模型名称 上下文 输入价格 输出价格 备注
google/gemma-2-27b-it 开源
8.192K 免费 ¥2.0000/1M Google Gemma 2 27B,NVIDIA 优化版
meta/llama-3-3-70b-instruct 开源
128K ¥1.0000/1M ¥2.0000/1M Meta Llama 3.3 70B,NVIDIA 加速
meta/llama-4-maverick-17b-128e-instruct 开源
160K ¥2.0000/1M ¥7.0000/1M Meta Llama 4 Maverick,NVIDIA 高性能版
meta/llama-4-scout-17b-16e-instruct 开源
160K ¥1.0000/1M ¥4.0000/1M Meta Llama 4 Scout,NVIDIA 优化版,企业级推理
mistralai/mistral-nemo-12b-instruct 开源
160K 免费 ¥1.0000/1M Mistral Nemo 12B,NVIDIA 优化推理
mistralai/mixtral-8x7b-instruct 开源
32.768K ¥1.0000/1M ¥2.0000/1M Mixtral 8x7B 稀疏 MoE,NVIDIA 加速版
nvidia/llama-3-1-nemotron-70b-instruct 开源
128K ¥2.0000/1M ¥6.0000/1M NVIDIA NeMo Instruct,NVIDIA 深度优化

Embedding Embedding 模型(1 个)

模型名称 上下文 输入价格 输出价格 备注
nvidia/nv-embed-qa-4
4.096K ¥100.0000/1M ¥100.0000/1M NVIDIA 自研 QA Embedding 模型