[ITmedia News] Meta Ray-Banで向かいの席から撮影→指の動きからスマホのパスワードを解読する盗み見攻撃

著者 山下（Seamless）

[ITmedia]

Innovative Tech：

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。X：＠shiropen2

　イスラエルのテルアビブ大学に所属する研究者らが発表した論文「Watch and Crack: Password Inference from Smart-Glasses Video」は、スマートグラスで撮影された指の動きから、パスワードを解読する手法を実証した研究報告だ。

　カフェなどの公共の場でスマートフォンにパスワードを入力する行為は、スマートグラスの普及によって脅威に晒されている。のぞき見防止フィルムやプライバシー表示機能で画面を隠していても、指先の動きさえ録画されればパスワードなどは突破される可能性がある。

Meta Ray-Banを装着した攻撃者が、立った状態や向かいの席からパスワードを入力するターゲットの指を撮影している様子

　また、普通の眼鏡に見える「Meta Ray-Ban」などのスマートグラスだと撮影されていることに気が付きにくい。しかも、前方から撮影されても指を解析されるため、ターゲットは油断してしまうだろう。後ろからのぞき見されるショルダーハッキングに注意しているだけではいけないことになる。

　従来の映像解析は、キーが大きいタブレットや4桁のPINコードなど単純な条件に限られていた。今回実証した手法の場合は、相手の機種やキーボードアプリ（Gboard、iOS、Samsung）の事前知識を必要とせず、両親指や人差し指での自然なタイピングから、大文字・小文字・数字・記号の4つの配列すべてにまたがるパスワードを推定できるという。

　まず画像認識AI（SAM 3）と手の追跡モデル（MediaPipe Hands）で指先をサブピクセル精度で追跡し、3Dニューラルネットワークでキーを押した瞬間を特定する。バックスペースキーによる入力修正も自動で検出・除外される。

攻撃パイプライン

　さらに、大文字や数字を入力する際に必ず押されるシフトキーや配列切り替えキーの位置を手がかりに、画面上のキーボード領域を逆算する。そして、映像から算出した各キーの打鍵確率と、約22億件の漏えいパスワードの統計データを数学的手法で統合し、正解の候補を絞り込む。16人の参加者による実験では、全体の77.8%で打鍵数の特定に成功した。

　撮影距離は最大1.8mまで有効で、Pixel 10、iPhone 16、Galaxy A53といったスマートフォンの全てで効果が確認された。一方、指の移動が極端に小さく高速に打つ若年層や、迷いながら打つ人、両親指でほぼ同時に打つ人などの場合は精度が低下する限界も確認された。

Source and Image Credits: Orenbach, Yoav, and Avishai Wool. “Watch and Crack: Password Inference from Smart-Glasses Video.” arXiv preprint arXiv:2609.06539 (2026).

Copyright © ITmedia, Inc. All Rights Reserved.

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

この記事の著者

2014年から幅広い分野の研究論文をピックアップして解説しているメディア「Seamless」（シームレス）を主宰している。