标签: 模型推理 (4 篇)

NVIDIA推出专为AI代理设计的轻量级模型Nemotron 3.5 Lightning，仅3B激活参数却有30B总参数，兼顾高效与能力，vLLM同步提供生产级支持。

vLLM 团队对 TurboQuant 进行了全面基准测试，发现其在多数场景下不如 FP8 量化，仅在极端内存受限的边缘部署中可能有价值。

AWS 详细阐述了支撑大模型从预训练、后训练到推理的全生命周期基础设施，揭示了从单一扩展法则到三大扩展法则的范式转变，以及开源软件栈与云基础设施深度融合的趋势。

NVIDIA发布Nemotron 3 Nano Omni，一个30B参数的MoE模型，通过只激活3B参数实现极高效率，为多模态AI智能体提供了统一且经济的解决方案。