正文

10月20日，谷歌与Meta联合发布了TorchTPU——一个让PyTorch代码“几乎不用改”就能在谷歌TPU上运行的开源后端。对开发者来说，这件事的意义可以用一句话概括：以前你的PyTorch模型想上TPU，往往要换一套工具链；现在，改一下设备名（device）就能跑，谷歌测试中98%的Hugging Face模型无需崩溃即可运行。这降低了“被某一家芯片锁定”的程度，也让TPU成为英伟达显卡之外的更现实选项。

日期：2026年10月20日｜来源：The Diary of AI（10月20日 AI 新闻）

这是什么

PyTorch是目前最主流的深度学习框架，绝大多数开源模型都用它写成；TPU（张量处理单元）是谷歌自研的AI芯片，与英伟达GPU是竞争关系。所谓“后端”（backend），就是框架与硬件之间的翻译层：你的PyTorch代码说“做一次矩阵乘法”，后端负责把它翻译成TPU能执行的指令。TorchTPU由谷歌与Meta的PyTorch团队合作开发，目标是让PyTorch代码在TPU上“原生”运行，此外还支持vLLM与SGLang这两种主流推理引擎。

具体变了什么

• 迁移成本大幅降低：按谷歌的说法，PyTorch代码只需更改设备名即可迁移到TPU，不再需要为TPU重写或使用专门的Optimum TPU适配层。
• 兼容性数据：谷歌测试中，4917个Hugging Face模型里98%能够运行而不崩溃。需要注意的是，这个数字统计的是“模型数量”，与另一项TorchNeuron统计的“架构数量”口径不同，两者不能直接比较；“能跑”也不等于“跑得快”或“精度完全一致”。
• 推理引擎跟进：vLLM与SGLang均已支持TPU后端，意味着用这两种引擎部署开源模型的团队，也可以尝试把服务从GPU迁移到谷歌云TPU上。

关键术语解释

TPU是谷歌为AI计算设计的专用芯片，擅长大规模矩阵运算，常通过谷歌云出租；vLLM / SGLang是目前最流行的两个开源大模型推理引擎，负责把模型高效地跑起来、服务多用户并发请求；设备名（device）是PyTorch代码里指定“这段计算跑在CPU、GPU还是TPU上”的参数，改一行就能切换硬件，前提是后端支持。

对实际使用者的影响

如果你只是用现成的聊天App或API，TorchTPU对你没有直接影响——它面向的是部署模型的开发者与企业。但如果你在谷歌云上自部署开源模型，或者在为下一批算力采购做选型，TorchTPU值得列入评估：它让TPU从“需要专门适配的备选项”变成了“PyTorch原生支持的选项”，有可能在特定场景下比GPU更便宜。不过在迁移前，务必在自己的模型与数据上实测速度与精度，不要只凭“98%能跑”就做采购决策。

来源

The Diary of AI，2026-10-20