01要点
- 谷歌 10 月 20 日在 PyTorch 大会上开源 TorchTPU,让 PyTorch 程序不改代码就能原生跑在谷歌 TPU 上,并同步推出基于它的 vLLM、SGLang 推理引擎。
- 谷歌博客引用 Meta PyTorch-TPU 负责人原话:SGLang-TorchTPU「今天已在 Meta 生产环境运行」;Meta PyTorch 工程总监称它支撑大模型、广告和推荐系统的关键生产场景。
- TorchTPU 由谷歌与 Meta 的 PyTorch 团队联合开发;前一天亚马逊刚发布同类的 TorchNeuron,两家云厂商在同一周向英伟达的软件优势发起挑战。
02发生了什么
谷歌云 10 月 20 日发文宣布,TorchTPU 在 GitHub 开源。PyTorch 是最常用的 AI 开发框架,过去默认围绕英伟达 GPU 设计。TorchTPU 把 TPU 变成 PyTorch 的原生设备,开发者改一处配置、不用重写代码,就能把训练和推理任务搬到 TPU。谷歌同时发布基于 TorchTPU 的 vLLM 后端(与 Inferact 合作)和 SGLang 后端(与 RadixArk 合作),并接入 Hugging Face、Ray、TorchTitan、llm-d 等常用工具。
最受关注的是 Meta 的表态。谷歌开发者博客引用 Meta PyTorch-TPU 负责人 Zongwei Zhou 的话:SGLang-TorchTPU 已在 Meta 生产环境运行,是 Meta、谷歌和 SGLang 团队三方合作做成的。谷歌云博客引用 Meta PyTorch 工程总监 Jana van Greunen 的话:Meta「不能被单一硬件架构束缚」,TorchTPU 支撑 Meta 大模型、广告和推荐系统的关键生产场景,让 Meta 能把 PyTorch 任务部署到谷歌 TPU 上。
谷歌还称,这两个推理引擎已在预览客户的生产环境大规模运行;在 SemiAnalysis 的公开基准 InferenceX 上,Ironwood TPU(TPU v7x)每百万 token 成本最低约 2.01 美分。训练方面,TorchTitan 已在最多 8192 颗 Ironwood TPU 上验证。
03舆论与逻辑
TechCrunch 的说法是「谷歌加入亚马逊,一起攻打英伟达在开发者中的据点」:亚马逊 10 月 19 日发布 TorchNeuron,让 PyTorch 程序直接跑在自研 Trainium 上,还向 PyTorch 主仓库提交代码,把部分功能和英伟达芯片解绑。SemiAnalysis 在 X 上直接点出「Meta 确认已在生产中用 TPU 推理」,并提到它去年 11 月就写过 Meta 是 TPU 客户,引发「CUDA 护城河还剩多少」的讨论。
反方的理由也很具体:TPU 只能通过谷歌云租用,不对外卖整机;TechCrunch 也写明,开发者不会因为能迁移就成批放弃英伟达。Meta 本周刚披露俄亥俄 Prometheus 集群目标约百万块 GPU,说明它是在 GPU 之外多加一条供应线,不是替换。真正要看的是 Meta 在谷歌云上的 TPU 用量和合同规模,目前两家都没有公布。
04依据与来源
05影响标注
利好
GOOGLTorchTPU 让 PyTorch 程序免改代码迁到 TPU,且 Meta 已在生产环境使用,谷歌云 TPU 有了头部外部用户背书
利空
- 无 本次未披露任何客户从 GPU 转单的规模,不足以落到具体利空
中性
视情况
NVDAPyTorch 对英伟达芯片的默认绑定被谷歌、亚马逊同周削弱,但 Meta 仍在扩建百万 GPU 级集群,短期需求未见变化META多一条 TPU 算力来源,有利于压低算力成本和议价,但用量未公布AMZN同周发布 TorchNeuron,云厂商自研芯片的软件门槛同时下降,竞争加剧