标签: 多模态模型 (11 篇)

VeRL-Omni 是一个专为多模态生成模型设计的强化学习训练框架，它解决了在扩散模型和全模态模型上进行高效、稳定RL训练的工程难题，将LLM的RL训练范式扩展到了图像、视频、音频生成领域。

NVIDIA发布Nemotron 3 Nano Omni模型，以混合Mamba-Transformer架构实现文档、音视频的长上下文多模态理解，在多个基准测试中领先，为AI Agent处理复杂现实任务提供了高效新选择。

一个在 NVIDIA Jetson Orin Nano Super 上运行的端到端多模态Agent演示，展示了模型如何自主决定是否调用摄像头，并结合视觉信息回答问题，标志着强大AI能力向边缘设备下沉。

Hugging Face 发布新教程，展示如何通过微调多模态嵌入模型，在特定领域（如视觉文档检索）获得远超通用大模型的性能，效果甚至超过参数量4倍于己的模型。

Simon Willison 指出一个反直觉的事实：ChatGPT 的语音模式并非最强模型，而是一个 GPT-4o 时代的老旧模型，这与用户的直觉预期形成巨大落差。

Sentence Transformers v5.4 新增多模态 embedding 支持，可用同一套 API 将文本、图片、音频、视频映射到统一向量空间，模糊了不同模态之间的检索边界。

Google DeepMind 发布的 Gemma 4 模型不仅在参数效率上创新，还支持多模态输入，标志着小型有效模型研究的最新进展。

Gemma 4 引入了更强大的多模态能力，支持图像、文本和音频输入，极大提升了模型的智能化水平和灵活性，适合各种设备部署。

Granite 4.0 3B Vision 是一款专为企业文档设计的多模态模型，具备高效的信息提取和图表理解能力，改变了文档处理的方式。

Holotron-12B通过优化推理效率和处理长上下文，成为高性能计算代理的有力工具，这对AI应用的拓展至关重要。

LlamaParse利用多模态模型，不仅提取文本，更能理解图表、图片和复杂排版，从根本上解决了法律证据审查中低质量扫描文档的解析难题。