告别跨云数据税：Hugging Face存储正式成为SkyPilot一等公民
原文: Run AI workloads on any cloud, store on Hugging Face: zero-egress storage with SkyPilot
Hugging Face与SkyPilot合作，让AI团队可在任意云GPU上训练推理，数据免费跨云读取，彻底消除昂贵的出口流量费。
- SkyPilot将Hugging Face Storage集成为原生存储后端，通过hf:// URL一键挂载模型、数据集和Bucket。
- 零出口费意味着数据跨云读取完全免费，根本上改变了多云计算的经济模型。
- Xet去重技术支持增量checkpoint，仅传输变化部分，进一步提升效率。
- 该集成由双方联合完成，并向上游提交了FUSE修复，保证在非特权容器中稳定运行。
为什么这件事现在值得聊？
过去几年，AI训练的场景已经悄然改变：团队不再只盯着一个云厂商的GPU，而是需要在多个云、甚至混合集群中寻找可用的算力。但数据往往还“困”在某个区域的对象存储里。当你终于抢到AWS的一批紧缺GPU时，却发现数据集躺在GCP的桶中——读取它们要支付每GB近0.1美元的出站流量费。这种“跨云数据税”成为许多人没有算出来的隐性成本。
与此同时，Hugging Face已经从模型分享社区演变成一个完整的AI存储平台，并宣布了零出口费的定价策略。SkyPilot则是一个开源的通用算力调度框架，能在20多种云、Kubernetes、Slurm上自动寻找并运行任务。两者的联手，把计算和存储的这道裂缝严丝合缝地补上了。
核心拆解：这到底是怎么做到的？
简单来说，SkyPilot现在将Hugging Face Storage（包括Bucket、模型仓库、数据集仓库）当作一等存储后端。你在SkyPilot的任务配置中，用几行YAML就能挂载一个hf://开头的路径：
hf://buckets/<org>/<name>：读写Bucket，存放checkpoint和日志；hf://<author>/<model>或hf://datasets/<org>/<dataset>：只读挂载模型和数据集。
SkyPilot找到任意云上的GPU后，任务容器就会通过FUSE文件系统直接挂载这些远端数据，无需预先下载。因为Hugging Face不收出口费，所以无论任务跑在哪个云上，数据的读取都是零成本。
这里有一个容易被忽视的技术亮点：Hugging Face Bucket底层用了Xet技术，专门做内容去重。这意味着训练过程中频繁保存的checkpoint，如果只有部分权重更新，就只会传输和存储那些变化的小块。对于动辄几GB的checkpoint来说，能大幅节省时间和存储。
揭示的深层趋势
这次合作不只是一个功能集成，它指出了AI基础设施的三个重要走向：
计算与存储的解耦走向极致。云厂商曾试图用数据重力（data gravity）锁定用户，而这套方案让数据成为可流动的资产。你不再需要为了省流量费而“坚守”数据所在的云。
AI平台正成为中立的基础设施层。Hugging Face超越了代码托管的角色，成为与云厂商平起平坐的存储层，甚至因零出口费更具吸引力。它可能发展成AI领域的“数据大使馆”。
多云计算从大厂专属走向平民化。小团队现在也可以用简单的配置在不同云之间套利，利用最便宜的spot实例训练大模型，真正实现“计算游牧”。
对开发者和团队的实用价值
如果你正在维护一套AI训练或推理流程，可以立刻尝试这样的范式：把所有的模型、数据集、实验checkpoint全部放在Hugging Face上。用SkyPilot编写一次任务描述，它就会自动在预留的实例、各大云的按需或竞价GPU中寻找最合适的执行点。你不需要为每个云写不同的数据搬运脚本，也不用月底收到一堆跨Region流量账单。
具体操作上，只需要：
- 准备一个Hugging Face的访问token；
- 在SkyPilot任务YAML中写明
file_mounts，使用store: hf； - 你的训练脚本就像读写本地文件一样操作挂载路径。
要注意的是，目前只有Bucket支持读写，模型和数据集仓库为只读；此外Hugging Face的零出口费策略是长期的，但作为用户仍需关注其服务条款变化。
一个很多人都没想到的角度
不少人以为跨云训练必然伴随着高昂的数据迁移成本，或者需要搭建繁琐的缓存系统。但这次合作证明，中立的存储平台可以成为“数据的中立区”。就像插座标准统一后，电器可以四处插用，你的AI项目也可以在任何算力插座上即插即用，而数据永远停在一个可靠且免费的家。这让基础设施的决策重心从“数据放在哪”悄然转向“哪里算力最划算”。
原文地址: Run AI workloads on any cloud, store on Hugging Face: zero-egress storage with SkyPilot
分析由 BitByAI 生成 · 阅读原文