The Daily Newsstand · Free, Always
Friday, November 20, 2026

[ITmedia News] Mac版「Gemini」にユーザーの代わりにアプリを操作する「computer use」機能追加 まず米国で

Translate

 米Googleは11月19日(現地時間)、Mac版「Gemini」アプリにcomputer use機能を追加したと発表した。AIが画面を認識し、人に代わってクリックや文字入力でアプリを操作する機能で、まずは米国で提供を始める。

 ユーザーが複数の手順を必要とする作業の内容をチャットで伝えると、Geminiがクリックや文字入力、メニュー操作、フォーム入力などを実行する。対象はMac内のファイル、デスクトップアプリ、Webで、これらをまたいだ作業も任せられる。作業は他のウィンドウから切り離されたバックグラウンドのウィンドウで行われ、チャット画面内にライブプレビューとして表示される。Geminiは画面やカーソルを占有しないため、ユーザーはその間も自分の作業を続けられる。

チャットで「@Computer use」を付けて依頼すると、GeminiがMac上で作業する(画像:Google)

 同社はYouTubeで、親がGeminiに依頼して、子供が描いた蝶のスケッチをBlenderを使ってアニメーション付きの3Dモデルに変換し、ARアプリでそれを動かす例を紹介している。

 Googleはこの他、利用例として次のような作業を紹介した。

  • デザインソフトで写真の色調補正をまとめて行う
  • 複雑な3Dシーンを設定する
  • ローカルのPDFから重量や寸法、住所を読み取り、項目の多い配送見積もりフォームに入力する
  • 複数地域のダッシュボードから指標やスクリーンショットを集め、「Googleスライド」でプレゼン資料を作る
  • 衣料品の写真を保存したフォルダを基に相場を調べ、商品情報を記録して、中古品販売サービスへの出品を準備する

 安全のため、Geminiが操作できるアプリをユーザーが選べるようになっている。作業の手順はすべてリアルタイムで確認でき、いつでも一時停止できる。重要な操作を実行する前には、ユーザーに承認を求める。

 利用条件は、Apple Silicon搭載でmacOS Sequoia(15.0)以降のMacを使っていることと、18歳以上の個人向けGoogleアカウントで「Google AI Plus」「Google AI Pro」「Google AI Ultra」のいずれかに加入していることだ。提供は米国の英語版のみで、日本での提供時期は明らかにしていない。Mac版Geminiアプリは4月に提供が始まり、ショートカットで呼び出す機能や画面共有機能を備えている。

 Googleはこれまで、computer use向けのAIモデル「Gemini 2.5 Computer Use」を2025年10月に開発者向けに公開していた。主にWebブラウザの操作向けに最適化されたモデルで、Gemini APIを通じて提供されている。今回は、AIがアプリを操作する機能を一般ユーザー向けのアプリに組み込んだ。

 GoogleのAIエージェント機能としては、17日に日本を含む6カ国で無料化を発表した「Tasks in Gemini」もある。こちらは、ハードウェアで隔離されたクラウド上の仮想マシンで動く。GmailやGoogleカレンダーなどと連携し、時間のかかる作業や定期的な作業をバックグラウンドで代行する。一方computer useは、ユーザーのMacにインストールされたアプリやMac内のファイルを直接操作する点が異なる。

 AIエージェントがMac上のユーザーデータにアクセスすることについては、Appleが10月に対策を発表している。macOSの「フルディスクアクセス」権限をアプリに与える際の制御を強化するというもので、Appleは「AIエージェントの能力と自律性が高まるにつれ、このレベルのアクセスに伴うリスクは大幅に増大する」と説明した。Googleは今回の発表で、computer useの動作にどのmacOS権限が必要かは明らかにしていない。

 computer useは、他社も提供している。Anthropicは2024年10月、開発者向けにAPIで提供を始めた。2026年3月には、一般ユーザーも使えるMac版「Claude」アプリにリサーチプレビューとして搭載し、その後バックグラウンドでの動作にも対応した。OpenAIは4月、Mac版「Codex」アプリに、ユーザーの作業を邪魔せずにバックグラウンドでアプリを操作する機能を追加した。この機能は複数のエージェントを並行して動かせる。

View the original on ITmedia →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.