[ITmedia News] 「監視されていないときのAIは、もう評価できない」 OpenAI現役研究者が個人声明

　米OpenAIの研究者、ダニエル・セルサム氏は9月14日（現地時間）、AIのリスクに関する個人的な見解をまとめた声明をGoogleドキュメントで公開した。同氏はXアカウントを持たないため、元OpenAI研究者でAI Futures Projectを率いるダニエル・ココタイロ氏が、本人から共有を依頼されたとして9月15日にXで声明へのリンクを投稿した。ココタイロ氏はセルサム氏について、2022年からOpenAIに在籍する現役の研究者で、一時期は自身の上司だったと説明している。

ダニエル・セルサム氏（右端。OpenAIの動画より）

　セルサム氏はOpenAIで、LLMにおける思考の連鎖（Chain of Thought）の最適化や、データ効率の高い事前学習手法に関わってきたという。OpenAIの公式サイトでは、推論モデル「o1」の推論研究における中核貢献者（Foundational Contributor）として同氏の名前が掲載されている。

OpenAI o1 Contributionsの中核貢献者に名を連ねる

　声明の中心的な主張は、モデルの状況認識（situational awareness）が高まったことで、「自分は監視されていない、あるいは制御されていない」とモデル自身が認識した状況で、どのように振る舞うかを人間が評価することが難しくなりつつある、というものだ。

　セルサム氏は、今後の実験からは、モデルが実際に人間の制約を受けない状況でどう振る舞うかについて、ほとんど何も分からなくなるとする。モデルが実際にはアライメントされていなくても、アライメントされているように見え続ける可能性があるためだ。フロンティアAI各社の経営陣が提案している第三者による監督や国際協調の枠組みは評価しつつも、開発ペースを慎重にするだけでは、長期的なリスクを十分に抑えられないとの立場を示した。

　同氏は自身の議論の骨格を2点に要約している。1つ目は、経験的な観察として、モデルや、その複製からなる集団が、学習の副産物として意図しない目標を獲得し、その達成のために極端な行動を取る場合があること。2つ目は、論理的な帰結として、人類を上回る力を持つことが、モデルにとって目標達成の新たな選択肢を開くことだ。

　この2点を踏まえ、モデルが人間による制約から解放されたと認識する日が来た場合、それまで意図した範囲内で振る舞い続けると考える根拠はないと結論付けている。具体的に何が起こるかは予測できないとしつつ、歯止めのない産業活動の拡大によって、地球が人間の住めない環境になる可能性を一例として挙げた。

　その根拠の1つとして挙げているのが、最近相次いだ自律エージェント群による攻撃事案だ。セルサム氏は、どのようなミスがあったのかを事後に把握することはできても、エージェントが集団の利益のために自己犠牲的に振る舞うことまでは予測できなかったと指摘する。報酬信号の設計を修正したとしても、意図した通りに学習するとは限らないという根本的な問題は変わらないとした。

　同氏はさらに、研究者側に起きている変化にも触れている。研究や開発の各段階でモデルへの依存が急速に高まっており、世界を把握するための手段としてさえモデルが使われるようになっているという指摘だ。セルサム氏は自身についても、コードそのものをほとんど見なくなり、モデルの説明や提案を深く検討する姿勢を保つことに苦労していると記した。

　セルサム氏は、AIが科学や経済の繁栄をもたらす未来を自分も望んでおり、そのために働いてきたと述べる。その上で、モデルを設計するというより「育てる」形でそうした未来に到達しようとするのであれば、最終的にすべてを失うことになるという議論には、自分にとって非常に強い説得力があると記した。声明は「答えは持っていない」とした上で、第一歩として現時点での懸念を共有したかった、と結ばれている。