标签: 多模态 (4 篇)

Simon Willison 的 LLM 库发布重大更新，将输入输出从简单文本提示/响应，重构为支持多轮消息序列和流式混合类型响应的复杂结构，以适应现代大模型的多模态与工具调用能力。

NVIDIA发布开源全模态模型Nemotron 3 Nano Omni，通过混合专家架构将30B参数模型的激活参数降至3B，实现比同类模型高9倍的吞吐量，旨在解决多模态AI Agent的效率和碎片化问题。

文章指出，传统文档自动化工具只做文本提取，而Agentic Document Processing利用AI Agent理解文档上下文、自主决策并连接下游系统，实现了端到端的智能工作流自动化。

LlamaIndex 发布首个面向 AI Agent 的 OCR 基准 ParseBench，并推出一系列工具解决文档解析中的结构丢失和安全问题，标志着文档处理从“提取文本”向“理解上下文”的范式转变。