公司

亚马逊开放 TorchNeuron 公测并开源:PyTorch 代码改设备名即可跑 Trainium

  • AMZN
  • NVDA

亚马逊芯片部门 Annapurna Labs 推出 TorchNeuron,把 Trainium 注册为 PyTorch 原生设备,现有代码把设备名从 cuda 改为 neuron 即可运行;10 月 20 日随 PyTorch 大会以 Apache 2.0 开源并开放公测,支持 Trainium2 和 Trainium3。

01要点

  • TorchNeuron 通过 PyTorch 官方的自定义硬件接口接入,Trainium 成为和 GPU 同级的「neuron」设备。
  • 开发者把 .to("cuda") 改成 .to("neuron") 即可;用 PyTorch 通用设备接口写的代码可以不改;torch.compile 指定 neuron 后端即可编译。
  • 支持 Trainium2、Trainium3,覆盖即时执行、编译执行,以及 DDP、FSDP 等标准分布式训练接口。
  • 私测期已有 30 多家公司和亚马逊内部团队使用;语音 AI 公司 Deepgram 称每美元处理的音频量比原 GPU 方案多约 60%。
  • 10 月 20 日起公测并开源(Apache 2.0),代码在 GitHub 的 aws-neuron/torch-neuronx。

02发生了什么

过去要在 Trainium 上跑 PyTorch,得改写代码去调用亚马逊专用接口。Annapurna 技术软件副总裁 Colin Brace 对 GeekWire 说,现在「会 PyTorch 就会 Trainium」。亚马逊称每晚用 Hugging Face 上 10 万多个模型做兼容测试;PyTorch 官方博客同步发文介绍。

背景:Trainium 目前最大用户是亚马逊投资的 Anthropic;OpenAI 今年 2 月同意使用 2 吉瓦 Trainium 算力,同时亚马逊向其投资 500 亿美元。贾西 4 月股东信称,亚马逊自研芯片业务(含 Trainium 和 Graviton)年化收入超过 200 亿美元。

03舆论与逻辑

  • 主线:英伟达的优势很大一块在 CUDA 软件生态,换平台往往要几个月改代码。亚马逊这次是把门槛压到「改一个设备名」;谷歌在做类似的 TorchTPU,微软上周称多数 AI 服务将转到自研 Maia 芯片。
  • 局限:仍是公测;能跑不等于性能对齐,大规模训练还要看编译器和集群成熟度;现阶段主要用户是与亚马逊有资本关系的实验室。
  • 股价:AMZN 周一涨约 5%,CNBC 主要归因于摩根士丹利把它列为首选股,TorchNeuron 是叠加因素。

04依据与来源

05影响标注

利好

  • AMZN 迁移到 Trainium 的门槛降到改设备名,利于 AWS 自研芯片拉外部客户。

利空

  • 暂无可直接对应的利空标的。

中性

视情况

  • NVDA 直接针对 CUDA 软件锁定,但目前仅公测、用户集中在亚马逊系实验室,影响偏中长期。