01要点
- TorchNeuron 通过 PyTorch 官方的自定义硬件接口接入,Trainium 成为和 GPU 同级的「neuron」设备。
- 开发者把
.to("cuda")改成.to("neuron")即可;用 PyTorch 通用设备接口写的代码可以不改;torch.compile指定 neuron 后端即可编译。 - 支持 Trainium2、Trainium3,覆盖即时执行、编译执行,以及 DDP、FSDP 等标准分布式训练接口。
- 私测期已有 30 多家公司和亚马逊内部团队使用;语音 AI 公司 Deepgram 称每美元处理的音频量比原 GPU 方案多约 60%。
- 10 月 20 日起公测并开源(Apache 2.0),代码在 GitHub 的 aws-neuron/torch-neuronx。
02发生了什么
过去要在 Trainium 上跑 PyTorch,得改写代码去调用亚马逊专用接口。Annapurna 技术软件副总裁 Colin Brace 对 GeekWire 说,现在「会 PyTorch 就会 Trainium」。亚马逊称每晚用 Hugging Face 上 10 万多个模型做兼容测试;PyTorch 官方博客同步发文介绍。
背景:Trainium 目前最大用户是亚马逊投资的 Anthropic;OpenAI 今年 2 月同意使用 2 吉瓦 Trainium 算力,同时亚马逊向其投资 500 亿美元。贾西 4 月股东信称,亚马逊自研芯片业务(含 Trainium 和 Graviton)年化收入超过 200 亿美元。
03舆论与逻辑
- 主线:英伟达的优势很大一块在 CUDA 软件生态,换平台往往要几个月改代码。亚马逊这次是把门槛压到「改一个设备名」;谷歌在做类似的 TorchTPU,微软上周称多数 AI 服务将转到自研 Maia 芯片。
- 局限:仍是公测;能跑不等于性能对齐,大规模训练还要看编译器和集群成熟度;现阶段主要用户是与亚马逊有资本关系的实验室。
- 股价:AMZN 周一涨约 5%,CNBC 主要归因于摩根士丹利把它列为首选股,TorchNeuron 是叠加因素。
04依据与来源
- PyTorch 官方博客:Introducing TorchNeuron: Native PyTorch backend for AWS Trainium
- AWS Neuron 文档:TorchNeuron: Native PyTorch on AWS Neuron
- GeekWire:Amazon challenges Nvidia's software advantage with new tool for its own AI chips
- TechCrunch:Amazon is taking its biggest shot at Nvidia yet with new TorchNeuron dev tool
- CNBC:Stocks making the biggest moves midday: SNDK, MRVL, DDOG, CLF, AMZN
05影响标注
利好
AMZN迁移到 Trainium 的门槛降到改设备名,利于 AWS 自研芯片拉外部客户。
利空
- 暂无可直接对应的利空标的。
中性
视情况
NVDA直接针对 CUDA 软件锁定,但目前仅公测、用户集中在亚马逊系实验室,影响偏中长期。