[ITmedia エグゼクティブ] どこに人間を残すか ― ガバナンスの設計

著者 上田 雄登 小坂 佳範

[ITmedia]

　AIエージェントの導入は「人間の仕事をどこまで置き換えるか」という問いだと思われがちだ。だが実務の要点はむしろ逆で、「どこに人間を残すか」を設計することにある。第4回は、確率的な仕組みを組織として安全に使うためのガバナンスを論じる。

ガバナンスの本質は「どこに人間を残すか」

　前回、技術的防御には原理的な限界があると述べた。この残余リスクを引き受けるのが、人間の関与の設計である。だから本連載で言う「人間の関与」は、念のための保険ではない。セキュリティアーキテクチャを成り立たせる構成要素である。いかに堅牢なガードレールを築いても、「この判断をエージェントに任せてよいか」に最終的に答えるのは、技術ではなく組織の意思決定だ。

　実は、「人間が機械を監視する」という設計思想はAIエージェントで初めて生まれたものではない。航空管制、原子力、医療といった高信頼性が求められる領域が数十年かけて蓄積してきた知見がある。中でも示唆的なのが、認知心理学者が指摘した「自動化のアイロニー」だ。自動化が高度になるほど人間の注意力や技能は低下し、人間の介入が最も必要とされる異常時にこそ、その介入能力が劣化している。全自動を理想と考えることの落とし穴が、ここにある。

　この教訓が示すのは、「人間を残す」とは単に監視役を1人置くことではない、という点だ。異常時に意味のある判断を下せる人間を残すには、その担当者が普段から業務の文脈を理解し、いざというとき動ける状態になければならない。画面の前に形だけの監督者を座らせても、判断の材料も権限も与えられていなければ、実際には何も止められない。人間の関与は、配置して終わりではなく、機能する状態に保つところまでが設計の範囲なのである。

リスクに比例した制御

　最も陥りやすい過ちは、全てのエージェントに同じ管理水準を課すことだ。社内FAQに答えるエージェントと、取引先へ発注するエージェントに同じ承認プロセスを課せば、前者は過剰管理で使い物にならず、後者は形骸化した承認で素通りする。過剰管理と管理不足が同時に起きる――これが一律管理の構造的な問題である。

　解は明快だ。エージェントごとにリスクを評価し、その大きさに比例した管理強度を設定する。評価の軸は主に3つ。操作の可逆性（後から取り消せるか）、影響範囲（個人か、部門か、組織外に及ぶか）、誤りの検出可能性（すぐ気付けるか、長期間気付かれないか）である。

　この3軸で見ると、同じ「メール送信」という機能でも、一律の管理強度でくくってはいけないことが分かる。社内向けの定型連絡は可逆性が高く影響も限定的で、簡易な承認で足りる。一方、取引先へのメール送信は取り消せず、影響範囲も社外に及ぶため、事前承認を置くべき操作になる。だから管理はエージェント単位で一括りにするのではなく、個々の操作の可逆性と影響範囲にまで踏み込んで設計する必要がある。粒度の粗いリスク評価は、過剰管理と管理不足を同時に生む温床になる。

人間を残す3つの介入パターン

　人間の関与には、大きく3つの型がある。これらは排他的ではなく、操作の性質に応じて組み合わせる。

　事前承認　エージェントが操作する前に、人間が内容を確認し承認する。最も厳格で、不可逆な操作――送金、契約、顧客への発信、データ削除――の直前に置く。エージェントは「案」を作り、人間が「実行」を決める。これは効率を下げる無駄ではなく、確率的な仕組みを本番で使うための必要経費だ。

　事後検証　操作は即時実行し、結果を人間が事後に確認する。可逆な操作や、即時性が求められる業務に向く。ただし「形式的な確認」にしないため、判断根拠を短時間で把握できる形で提示し、修正内容を改善に還流させる仕組みが要る。

　定期監査　個別の操作を逐一見るのではなく、一定期間の振る舞いを統計的に評価する。管理コストは低いが問題発見が遅れるため、不可逆な操作をこれだけで管理してはならない。実務では、この3つを操作の重さに応じて配分する。不可逆で影響の大きい操作は事前承認、可逆で頻度の高い操作は事後検証、低リスクの定型操作は定期監査――こうして濃淡をつけることで、限られた人手を本当に必要な場所に集中できる。

業務プロセスのタイムライン上に、エージェントが自律実行する区間と、人間の承認・監査が入るチェックポイントを配置。可逆性の高い操作は自律、低い操作は事前承認とし、3つの介入パターン（事前承認／事後検証／定期監査）を対応づける。

承認疲れ、キルスイッチ、責任の設計

　事前承認を増やしすぎると、承認者が内容を確認せず機械的に承認する「承認疲れ」が起きる。これは原子力事故の一因となった「アラーム洪水」と同根の問題だ。対策は、低リスク操作の自動スクリーニングやバッチ承認に加え、承認の質そのものを監査すること（承認にかかる時間が極端に短い、承認率が100%に近いといった兆候を検知する）である。

　同時に、予期せぬ振る舞いを即座に止めるキルスイッチを用意しておく。セッション単位・エージェント単位・システム全体の3層で設計し、「あるが使われないのが理想、あるのに使えないのが最悪」の備えとする。

　そして意思決定者が決めるべき最も重い事項が責任の設計だ。エージェントが誤ったとき、責任は導入を承認した部門長か、運用する現場か、開発したベンダーか。ここが曖昧なまま進めると、事故の瞬間に組織は動けなくなる。金融のような規制産業で確立してきた「4eyes原則」（1つの操作に最低2名が関わる）や、作成者・承認者・運用者・監査者の職務分掌を、エージェント運用にも適用したい。CAIO（最高AI責任者）を置く企業が増えているのも、この責任と方針の所在を明確にするためである。付け加えれば、この責任の設計は事故が起きてから整えるのでは遅い。誰が承認し、誰が止め、誰が事後に説明責任を負うのかを、導入を決める意思決定と同時に文書化しておく。平時に決めておくからこそ、有事に組織は迷わず動ける。

信頼は、実績に基づいて漸進的に拡大する

　人間の関与は固定的ではない。導入初期の厳格な管理を、運用実績に基づいて段階的に緩めていく――この「信頼の漸進的拡大」というプロセスそのものが設計対象だ。導入初期は全件事前承認、安定期には品質が確認できた操作を事後検証へ、成熟期には定型操作を定期監査のみに移す。

　肝心なのは、この移行を「そろそろ大丈夫だろう」という感覚ではなく、定量基準で判定することだ。介入率(人間が介入した割合)の推移、事後検証で発見された重大な問題の件数、品質評価の合格率――こうした指標が基準を満たしたときに次の段階へ進む。そして、信頼の拡大は一方通行ではない。品質劣化やモデル更新が起きたら前の段階に戻す「ロールバック」を、あらかじめ設計しておく。ロールバックは失敗ではなく、安全弁の正常な作動である。

　ガバナンスというと活用を縛るブレーキに聞こえる。だが実際は逆だ。人間を残すべき場所を明確にしておけば、それ以外の広大な領域では、むしろ大胆に自律化を進められる。どこに人間を残すかを決めることは、どこを任せてよいかを決めることと表裏一体なのである。

著者プロフィール:

株式会社GenerativeX 取締役CAIO

東京大学松尾研究室出身。YCP Solidiance、松尾研究所を経て、2023年に生成AI活用支援・コンサルティングを手掛ける株式会社GenerativeXを共同創業し、取締役CAIOに就任。国内大手企業向けの生成AIを用いた業務改革・アプリケーション開発・経営戦略立案を支援している。著書に『ビジネスに魔法をかける 生成AI導入大全』（KADOKAWA）ほか。

小坂 佳範

株式会社GenerativeX 執行役員CTO

東京大学大学院工学系研究科技術経営戦略学専攻修了。LITALICO、ByteDance（TikTok）を経て、2024年より株式会社GenerativeXに参画。生成AIを活用したアプリケーション開発から運用基盤構築までを一貫して推進し、大手企業向けAIシステムの開発・導入をリードしている。共著『AIエージェント 導入・開発・運用 トータルガイド』（日経BP）

Copyright © ITmedia, Inc. All Rights Reserved.

意思決定者のためのAIエージェント設計論

AIエージェント導入の本質は技術選びではなく「不確実性の統制」にある。従来の常識が通じない自律システムを組織として飼いならし、安全に実装するための設計論の要諦を解く。

この連載の記事をもっと見る

この記事の著者

株式会社GenerativeX 取締役CAIO 東京大学松尾研究室出身。YCP Solidiance、松尾研究所を経て、2023年に生成AI活用支援・コンサルティングを手掛ける株式会社GenerativeXを共同創業し、取締役CAIOに就任。国内大手企業向けの生成AIを用いた業務改革・アプリケーション開発・経営戦略立案を支援している。

小坂 佳範

株式会社GenerativeX 執行役員CTO 東京大学大学院工学系研究科技術経営戦略学専攻修了。LITALICO、ByteDance（TikTok）を経て、2024年より株式会社GenerativeXに参画。生成AIを活用したアプリケーション開発から運用基盤構築までを一貫して推進し、大手企業向けAIシステムの開発・導入をリードしている。

関連記事

SpecialPR

ITmedia エグゼクティブのご案内

「ITmedia エグゼクティブは、上場企業および上場相当企業の課長職以上を対象とした無料の会員制サービスを中心に、経営者やリーダー層向けにさまざまな情報を発信しています。入会いただくとメールマガジンの購読、経営に役立つ旬なテーマで開催しているセミナー、勉強会にも参加いただけます。 勉強会のスケジュールはこちら