开源AI的「全能选手」：Inkling万亿参数多模态模型深度解析
原文: Welcome Inkling by Thinking Machines
Inkling以万亿参数、原生多模态和1M上下文窗口，成为开源领域首个能同时原生处理图像、音频、文本的大模型，架构创新让高效推理与智能体应用成为现实。
- 原生多模态统一编码：不借助外部模型，直接理解图像、音频、文本，减少信息损耗。
- 万亿参数MoE架构：975B总参仅41B活跃，256专家路由，实现高效推理。
- 创新注意力与卷积：相对注意力增强位置泛化，混合注意力支持1M长上下文，短卷积补强局部特征。
- 即日开发支持：Transformers、SGLang、llama.cpp已集成，NVFP4量化版本降低部署门槛。
起因：多模态模型的「拼接」困局 在过去一年，AI领域出现了一个明显的矛盾：文本大模型能力飞速提升，但视觉和音频的加入总是显得生硬。大多数多模态系统像是“胶水工程”——用独立的编码器把图片转成文本token，再送给语言模型，这导致信息损耗和延迟。直到Thinking Machines推出Inkling，这个拥有1万亿参数的开源模型，才终于把图像、音频、文本纳入了同一个原生框架。Hugging Face第一时间给予支持，这意味着开源多模态可能迎来真正的转折点。
拆解：1T参数如何做到“大而快” Inkling的强大不仅在于参数规模，更在于其精心设计的架构，让万亿参数真正可用。
MoE与效率悖论：模型采用混合专家架构，总参数975B，但每次推理仅激活41B，通过256个专家动态路由。这就像用一门大炮的成本，实现了步枪的敏捷。配合NVFP4量化变体和投机解码中使用的MTP层，开发者甚至可以在消费级硬件上运行，推理成本大幅下降。
原生多模态：告别外挂：Inkling直接将图像像素、音频波形和文本作为统一token序列输入解码器，不再依赖独立的视觉/音频编码器。这种设计让模型能内在地学习跨模态关联——例如，理解视频中语调、表情与文字之间的微妙配合，而不需要后处理。对于构建能“看、听、说”的智能体，这减少了信息传递的中间环节。
注意力与上下文的创新：模型抛弃了流行的RoPE位置编码，改用相对注意力——通过训练直接学习位置关系，这一招大幅提升了长度外推能力。再叠加5:1的滑动窗口与全局注意力交替，Inkling能高效处理高达100万token的上下文。想象一下，你可以把整部电影或连续几天的会议录音丢给它，让模型分析剧情弧光或总结关键决策。
短卷积：被低估的细节捕手：架构中还有一个精巧的设计——短卷积（SConv），它在每个隐藏状态上应用一维卷积，捕捉局部序列模式。这对于音频、视频等时序数据尤其有效，弥补了自注意力机制在小尺度特征提取上的不足。
趋势洞察：从“专能”到“全能”的开源跃迁 Inkling的发布揭示了两个更大的趋势。首先，多模态模型正从拼凑走向原生统一，这将成为下一代AI应用的基础设施。其次，开源生态正在加速抹平与闭源商业模型的差距——去年我们还在惊叹GPT-4V的多模态能力，如今开源社区就拥有了万亿级全模态基座。而且Inkling被特意设计为领域微调的基座，企业可以针对医疗、法律、创意写作等场景进行适配，这种“一次训练，处处定制”的模式比通用聊天机器人更具商业想象力。
实用价值：开发者可以立刻做什么 得益于Transformers、SGLang和llama.cpp的即日支持，你可以立即开始实验。建议从三个方向入手：第一，构建多模态智能体，比如能连续对话、看图、听指令的个人助理；第二，利用1M上下文窗口，搭建知识库深度推理应用，如代码库理解或论文分析；第三，优先使用NVFP4量化变体部署，它在精度和速度之间取得了极佳平衡。记住，Inkling不是面向最终用户的聊天工具，而是一个强大基座，需要你通过微调注入领域知识。
反常识与意外 很多人以为参数越大模型越慢，但Inkling的MoE加量化设计让万亿模型的实际成本降到与中型模型相仿。另一个反直觉点：相对注意力完全抛弃了RoPE，却在长文本任务上表现更好，这或许会引发位置编码路线的重新讨论。开源力量正在用工程创新挑战学界和闭源公司的固有假设，而我们可能正处在一场架构革命的初期。
分析由 BitByAI 生成 · 阅读原文