标签: 模型架构 (5 篇)

英伟达发布新型扩散语言模型，通过并行生成与迭代精炼，有望突破传统自回归模型的延迟瓶颈，并赋予模型自我修正能力。

艾伦人工智能研究所（AI2）发布EMO模型，通过创新的预训练方法，让混合专家（MoE）模型中的专家模块能按任务独立调用，仅用12.5%的专家即可保持接近完整模型的性能。

NVIDIA用1200万张合成图像训练出多语言OCR模型Nemotron OCR v2，在六种语言上实现了高精度（NED低至0.035）和高速度（单A100每秒34.7页），证明了合成数据是解决OCR多语言数据瓶颈的关键路径。

Holotron-12B通过优化推理效率和处理长上下文，成为高性能计算代理的有力工具，这对AI应用的拓展至关重要。

Lilian Weng探讨了AI模型如何通过模拟人类的思维过程，提高推理能力和决策效果，这为未来的模型设计带来了新思路。