Gemini Liveにシニア向け機能 スマホ操作や書類確認を音声支援

グーグルは6日、Android向けGeminiアプリのGemini Liveに、高齢者の日常生活やスマートフォン操作を音声で支援する「シンプルガイド」の提供を順次開始した。介護職員向けには、業務での活用方法をまとめた「介護の現場を支える Gemini 活用ガイド」も公開した。

シンプルガイドでは、Gemini Liveとスマートフォンのカメラ映像や画面を共有すると、周囲の状況や画面の内容を音声で説明する。書類や説明書の読み上げ、リモコン操作の確認、アプリの使い方などを会話形式で案内する。

カメラの向きがずれている場合は「もう少し近づけてみてください」などと伝え、対象物を映せるよう支援する。家族から届いた写真の保存やYouTubeでの動画検索といった操作も、画面を確認しながらユーザー自身が進められるよう案内する。

不審なSMSや警告画面を共有し、注意すべき点や対処方法を相談する使い方にも対応する。ただし、すべての脅威を検知・判定する機能ではない。処方薬などの文字情報も読み上げられるが、医療診断や服薬指導は行なわない。

利用時は、Geminiモバイルアプリのプロフィール設定で「Liveでシンプルガイド を使用する」をオンにする。その後、Gemini Liveを開いてカメラや画面を共有する。

Androidのユーザー補助設定では、フローティングボタンや2本指のスワイプ、両方の音量キーを使うショートカットを設定できる。TalkBackのメニューから直接起動することも可能。

対象はAndroid 9以降を搭載し、Gemini Liveがサポートされている地域・言語のAndroid端末。利用にはGeminiアプリとAndroidシステムソフトウェアを最新バージョンに更新する必要がある。ナビゲーションや障害物の検知、安全な移動の案内には対応せず、医療機器や移動補助具の代替としては利用できない。

「介護の現場を支える Gemini 活用ガイド」は、介護職員やケアマネジャーの声を基に、現場で利用できるプロンプトや活用例をまとめたガイドブック。短い箇条書きや音声入力からSOAP形式の介護記録、申し送り文の草案を作る方法を紹介する。認知症ケアの声かけやレクリエーションのアイデア出し、Gemini Liveを使った応対の練習にも活用できる。

施設管理では、家族向け報告文の作成、多言語での申し送り、外国人職員への専門用語の解説、新人研修用ツールの作成などを取り上げる。生成した草案は、専門職であるスタッフが確認・修正する運用を前提としている。