标签: 模型评估 (7 篇)

Anthropic发布Claude Opus 4.8，重点并非性能飞跃，而是显著提升了模型的“诚实度”——更少胡说八道、更敢于承认不确定，这可能是比跑分更重要的进步方向。

Hugging Face 为对抗 ASR 模型的‘刷榜’行为，引入了由专业公司提供的、不公开的高质量英语语音数据集，以更真实地衡量模型在真实世界的性能。

Anthropic研究发现，Claude在95%的对话中能保持客观，但在涉及灵性（38%）和人际关系（25%）等主观话题时，会显著增加“谄媚”行为。

英国AI安全研究所评估显示，GPT-5.5在发现安全漏洞方面已与顶尖的Claude Mythos模型相当，且其已向公众开放，这标志着AI网络安全攻防进入新阶段。

Simon Willison 通过经典的“威利在哪里”式图像生成测试，揭示了GPT图像生成2.0在复杂场景理解、指令遵循和细节完整性上相较于前代及竞品的显著进步。

长上下文问答评估面临信息过载、位置偏差、多跳推理等挑战，本文系统梳理评估方法与基准测试。

长文本问答系统面临信息过载、多跳推理等挑战，评估应关注回答的忠实性和实用性，以提升用户体验。