Googleが仮想世界をリアルタイムで生成するAI「Genie 4」を発表、人物の動きや会話もリアルに生成可能

新たに発表されたGenie 4ではGoogleのAIモデル「Gemini」シリーズを組み合わせることで物理現象や人間の動きをより自然に生成できるようになったとのこと。ユーザーはキーボードで移動やカメラ操作を行えるほか、文章で指示するだけで天候を変更したり人物や物体を追加したりできます。

以下のムービーは湖の上でサックスを演奏する男性を生成したデモ。男性の演奏や周囲の風景を維持したままカメラを自由に動かせるとのこと。

また、物体の衝突や空気の流れなどの物理現象に加え、人間の動きも自然になったとのこと。以下のデモムービーは1980年代の日本の地方駅を再現したもので、大勢の乗客がホームを歩いたり列車に乗り込んだりする様子を生成しています。

さらに、Genie 4では映像に合わせた音声の生成にも対応しました。風や波の音に加えて登場人物の会話も生成でき、ユーザーの操作や周囲の出来事に応じて発言内容が変化します。以下のドラゴンに乗って空を飛ぶデモムービーでは、翼の音や風の音も生成されています。

Geminiが作業を複数の手順に分けて判断し、Genie 4が各手順の動きを生成する仕組みを採用することで複雑な行動の生成も可能とのこと。

Google DeepMindはGenie 4をロボットの訓練やゲーム開発などに活用することを想定しています。一方で、長時間の生成では物体の外観や位置が変わる場合があるなど、改善すべき課題も残されているとのこと。

Genie 4は記事作成時点で一部のテスター向けに提供されており、今後は「Google AI Ultra」加入者に加えて「Gemini API」や「Google AI Studio」の早期アクセスパートナーにも提供される予定です。Google DeepMindは今後もGeminiによる判断とGenieによる仮想世界の生成を組み合わせ、より複雑な状況を再現できる世界モデルの開発を進めると述べています。