公司

谷歌开源 TorchTPU,Meta 确认已在生产环境用谷歌 TPU 跑推理

  • GOOGL
  • NVDA
  • META
  • AMZN

谷歌 10 月 20 日开源 TorchTPU,PyTorch 程序可免改代码原生跑在 TPU 上,并推出配套 vLLM、SGLang 推理引擎;谷歌博客引用 Meta 负责人称 SGLang-TorchTPU 已在 Meta 生产环境运行,支撑大模型、广告与推荐等场景。

01要点

  • 谷歌 10 月 20 日在 PyTorch 大会上开源 TorchTPU,让 PyTorch 程序不改代码就能原生跑在谷歌 TPU 上,并同步推出基于它的 vLLM、SGLang 推理引擎。
  • 谷歌博客引用 Meta PyTorch-TPU 负责人原话:SGLang-TorchTPU「今天已在 Meta 生产环境运行」;Meta PyTorch 工程总监称它支撑大模型、广告和推荐系统的关键生产场景。
  • TorchTPU 由谷歌与 Meta 的 PyTorch 团队联合开发;前一天亚马逊刚发布同类的 TorchNeuron,两家云厂商在同一周向英伟达的软件优势发起挑战。

02发生了什么

谷歌云 10 月 20 日发文宣布,TorchTPU 在 GitHub 开源。PyTorch 是最常用的 AI 开发框架,过去默认围绕英伟达 GPU 设计。TorchTPU 把 TPU 变成 PyTorch 的原生设备,开发者改一处配置、不用重写代码,就能把训练和推理任务搬到 TPU。谷歌同时发布基于 TorchTPU 的 vLLM 后端(与 Inferact 合作)和 SGLang 后端(与 RadixArk 合作),并接入 Hugging Face、Ray、TorchTitan、llm-d 等常用工具。

最受关注的是 Meta 的表态。谷歌开发者博客引用 Meta PyTorch-TPU 负责人 Zongwei Zhou 的话:SGLang-TorchTPU 已在 Meta 生产环境运行,是 Meta、谷歌和 SGLang 团队三方合作做成的。谷歌云博客引用 Meta PyTorch 工程总监 Jana van Greunen 的话:Meta「不能被单一硬件架构束缚」,TorchTPU 支撑 Meta 大模型、广告和推荐系统的关键生产场景,让 Meta 能把 PyTorch 任务部署到谷歌 TPU 上。

谷歌还称,这两个推理引擎已在预览客户的生产环境大规模运行;在 SemiAnalysis 的公开基准 InferenceX 上,Ironwood TPU(TPU v7x)每百万 token 成本最低约 2.01 美分。训练方面,TorchTitan 已在最多 8192 颗 Ironwood TPU 上验证。

03舆论与逻辑

TechCrunch 的说法是「谷歌加入亚马逊,一起攻打英伟达在开发者中的据点」:亚马逊 10 月 19 日发布 TorchNeuron,让 PyTorch 程序直接跑在自研 Trainium 上,还向 PyTorch 主仓库提交代码,把部分功能和英伟达芯片解绑。SemiAnalysis 在 X 上直接点出「Meta 确认已在生产中用 TPU 推理」,并提到它去年 11 月就写过 Meta 是 TPU 客户,引发「CUDA 护城河还剩多少」的讨论。

反方的理由也很具体:TPU 只能通过谷歌云租用,不对外卖整机;TechCrunch 也写明,开发者不会因为能迁移就成批放弃英伟达。Meta 本周刚披露俄亥俄 Prometheus 集群目标约百万块 GPU,说明它是在 GPU 之外多加一条供应线,不是替换。真正要看的是 Meta 在谷歌云上的 TPU 用量和合同规模,目前两家都没有公布。

04依据与来源

05影响标注

利好

  • GOOGL TorchTPU 让 PyTorch 程序免改代码迁到 TPU,且 Meta 已在生产环境使用,谷歌云 TPU 有了头部外部用户背书

利空

  • 无 本次未披露任何客户从 GPU 转单的规模,不足以落到具体利空

中性

视情况

  • NVDA PyTorch 对英伟达芯片的默认绑定被谷歌、亚马逊同周削弱,但 Meta 仍在扩建百万 GPU 级集群,短期需求未见变化
  • META 多一条 TPU 算力来源,有利于压低算力成本和议价,但用量未公布
  • AMZN 同周发布 TorchNeuron,云厂商自研芯片的软件门槛同时下降,竞争加剧