Googleが「TorchTPU」を発表、PyTorchをTPUとGoogle Cloud上で実行するためのツールでコード書き換えなしで実行可能

また、GoogleはHugging Faceと提携し、Hugging Faceで公開されている人気のオープンウェイトモデルをTorchTPU上でネイティブに実行できるようにもしています。

Googleは「PyTorchチームと共同開発したTorchTPUを使用すると、使い慣れたAPIを利用し、コードを最小限変更するだけで既存のPyTorchワークロードをTPU上で実行できます」とアピール。「推論能力やエージェント機能を備えたモデルが大規模化するにつれ、推論コストとレイテンシーが本番環境における主要なボトルネックになっています。そこで、TorchTPUを広く利用されているオープンソースのサービングエンジンに統合し、TPUとGPUを横断するKubernetesネイティブのFleet Routingと組み合わせることで、1ドルあたりのスループットを最適化できるようにしました」と補足しました。

こうしたツールの開発は、NVIDIAの牙城を崩すものだと指摘されています。記事作成時点でほとんどのAIアプリがデフォルトでNVIDIAのGPU上で動作するように設計されていますが、これを自社のプロセッサで動作させられれば、顧客を引き入れることができます。

テクノロジー系メディアのTechCrunchによると、AIアプリの85％がPyTorchを使用しているという試算があるとのこと。既存のPyTorchアプリをTPU、ひいてはGoogle Cloudへ簡単に移行できるTorchTPUがあることで、GoogleはNVIDIAに対抗できるようになります。

Amazonも、PyTorchの独自バージョンであるTorchNeuronをリリースし、同様の発表を行っています。TorchNeuronを使用すると、AIアプリをAmazon独自のAIチップであるTrainiumやAWSに書き換えなしで移植できます。

Amazon's TorchNeuron runs PyTorch on AWS Trainium chips
https://www.aboutamazon.com/news/innovation-at-amazon/torchneuron-pytorch-aws-trainium-chips-ai