4位量化不再‘伤筋动骨’:Liquid AI 如何让小模型在边缘设备上‘无损’运行
Liquid AI 通过‘量化感知蒸馏’技术,在4位量化下恢复了97%的精度损失,让边缘设备运行大模型时速度更快且质量不打折。
Hugging Face Blog · 2026年8月19日
Liquid AI 通过‘量化感知蒸馏’技术,在4位量化下恢复了97%的精度损失,让边缘设备运行大模型时速度更快且质量不打折。
AI圈三封重量级公开信密集发声,微软率众支持开源与蒸馏,Anthropic呼吁严防恶意滥用,独立开发者要求分清责任避免扼杀创新——监管天平将如何倾斜?
Hugging Face发布了六个不同尺寸的Ettin重排模型,旨在通过“检索-重排”两阶段架构,以低成本显著提升搜索和RAG系统的准确性。
基准测试表明,专业文档OCR在准确性和成本上持续碾压最前沿的GPT模型,文档解析并不会被大模型吞噬。