当AI路由器“看”错了图：vLLM视觉信号硬化背后的信任危机

起因：为什么现在要聊“多模态路由”？

过去几年，AI路由系统（比如vLLM Semantic Router，简称VSR）主要处理文本。它的核心工作是读取用户输入的提示词，然后根据意图、关键词、安全策略等“信号”，决定把这个请求发给哪个模型处理——是给一个轻量级快速模型，还是给一个更强大、更慢的推理模型。这就像一个智能前台，只听你说话，就帮你转接电话。

但现实世界的请求越来越复杂。用户发来的可能不只是一句话，还有一张图片——一张医疗X光片、一份护照扫描件、一个代码截图。这时，只“听”文本的路由器就瞎了一半。图片里可能藏着决定性的信息：这是不是涉及敏感个人身份信息（PII）？是不是属于受监管的医疗领域？是不是包含可能泄露的代码秘密？路由器如果只看文本，就相当于在做“盲人摸象”式的决策，基于不完整的信息。

因此，vLLM团队将VSR的边界推向了多模态。但这篇文章的关键洞察是：重要的不是给路由器“装上眼睛”（加一个图像编码器），而是确保它“看到”的东西是真实可信的，并且能和文本信号在同一个决策框架里协同工作。

拆解：一次“自信地犯错”的事故

文章分享了一个深刻的生产环境教训。团队在集成一个名为multi-modal-embed-small的视觉编码器时，发现路由结果出现了严重问题。在对11张跨三个垂直领域（如医疗、身份文件）的图像进行测试时，部署路径在9张图上都将错误的领域排在了最高优先级。例如，医疗X光片的信号竟然更接近半导体候选，而不是医疗候选。错误率高达82%。

这不仅仅是准确率低的问题。准确率低通常表现为“不确定”或“犹豫”。但这次的问题是系统性反相关——路由器不仅错了，而且对错误的结果表现出高度自信。在基于策略的路由系统中，这比没有图像信号更糟糕。一个犹豫的路由器可能会选择保守路径（比如升级到更强模型），而一个自信犯错的路由器会直接、坚定地走向错误决策，比如把包含护照的请求当作普通摘要处理，从而绕过所有PII安全检查。

根本原因并非模型能力不足，而是一个更隐蔽、对生产系统更致命的问题：部署路径（VSR使用的Rust/Candle实现）与参考模型路径（原始的PyTorch实现）在计算上不匹配。也就是说，同一个模型，用不同的代码路径跑出来的“理解”不一样。对于路由器这个“控制平面”来说，信号源本身就不一致，那么基于这些信号做出的所有决策，无论逻辑多精妙，都是建立在错误的基础上。

趋势洞察：从“提示词路由”到“请求级策略”

这件事揭示了AI工程化的一个深层趋势：AI系统的决策单元正在从“文本提示”升级为“完整请求”。

在纯文本时代，路由策略可以表达为：“如果是编程问题，就发给代码模型”。但在多模态时代，策略变得复杂且依赖上下文：“如果请求包含一张医学影像，无论文本说什么，都必须路由到具备医疗资质的视觉语言模型，并触发合规审查插件”。图像内容不再是附属品，而是可能颠覆整个路由决策的核心证据。

VSR的“信号-决策”架构本意就是将各种观察（信号）与决策逻辑解耦。多模态支持将这个架构的潜力真正释放出来。图像嵌入（embedding）变成了一种与文本意图、PII检测、安全越狱检查等并列的“类型化信号”。这意味着，语义路由器正在从一个简单的“提示词分类器”，进化为一个管理混合模型、智能体部署的“系统级智能层”和“请求级策略引擎”。

实用价值与反常识启示

对于AI工程师和架构师，这篇文章的启示非常实用：

1. 不要迷信“添加了多模态能力”。集成一个视觉模型只是第一步。必须建立严格的验证流程，确保生产环境中的信号输出与权威参考模型在语义上一致（参考一致性）。这应该成为AI系统控制平面的不变量。
2. 警惕“自信的错误”。在评估路由或分类系统时，不能只看平均准确率。要特别设计测试用例，检测系统在错误时是否会产生高置信度的误判。这种“反相关”错误在策略系统中具有放大效应，危害极大。
3. 重新思考AI系统的“输入”。你的系统是处理“用户说的话”，还是处理“用户提供的全部证据”？这决定了你的架构是停留在“提示词工程”，还是迈向真正的“请求级”智能策略管理。

一个反常识的点是：在复杂的AI系统中，实现“参考一致性”这种看似基础的工程要求，其重要性可能超过追逐更强大的模型。 因为如果信号源不可靠，再先进的决策逻辑也是空中楼阁。vLLM团队发现并解决这个“硬化”问题，正是在为多模态AI应用铺平一条可审计、可信赖的生产化道路。

原文地址: From Text to Multimodal Routing: Hardening Vision Signals in vLLM Semantic Router