标签: 基准测试 (11 篇)

最新研究揭示，多个顶级语音识别模型并非真正听懂了音频，而是学会了在特定测试集上“背答案”，导致基准分数虚高。

Kimi K3 以 2.8T 参数和远超同侪的价格亮相，挑战了“中国模型必低价”的刻板印象，其 SVG 生成能力更揭示出评估 AI 的新维度。

本文拆解了网络安全评估的四大核心组件，并介绍了如何通过多级任务来更精细地衡量 AI 的攻防能力。

深度研究智能体混合调用内外部数据时，其查询日志会拼凑出企业机密；新基准与隐私强化训练法为这一隐患提供了量化标准与解法。

AI评估成本正急剧攀升，单个智能体基准测试花费可达数万美元，其复杂性使其难以压缩，正成为限制AI研发的新计算瓶颈。

IBM与HuggingFace联合推出VAKRA基准，揭示当前AI智能体在复杂多步骤任务中表现不佳，主要失败模式包括工具链规划、参数传递和错误恢复能力不足。

Hugging Face 引入私有语音数据集以防止模型在公开测试集上“刷分”，旨在让语音识别排行榜更真实地反映模型在实际场景中的鲁棒性。

LlamaIndex发布首个面向AI智能体的文档解析基准ParseBench，从表格、图表等五个维度评估解析器，发现没有单一方法能全面胜任，LlamaParse 智能体ic在测试中表现最均衡。

IBM联合发布首个企业IT运维智能体基准测试，结果显示包括GPT-5.5、Claude Opus 4.7在内的顶尖模型在Kubernetes故障诊断任务中得分均低于50%，揭示了AI在复杂、真实世界企业任务中的巨大挑战。

LlamaIndex 发布首个面向 AI智能体 的 OCR 基准 ParseBench，并展示了其解析工具在结构化文档理解、多模态推理等方面的突破，标志着文档处理正从文本提取走向深层语义理解。

LlamaIndex 推出首个专为AI智能体设计的文档解析基准ParseBench，并发布了多项深度解析工具和基准测试结果，标志着文档智能进入可量化评估时代。