[ITmedia エンタープライズ] AIエージェントが「事故」を起こしたとき、説明できますか？ IT部門が整えるべき記録と体制

AIエージェントが予期せぬ行動を取ったとき、何が起きたのかを説明できるでしょうか。人間の行動をたどる前提で組み立てられたインシデント対応は、エージェントには通用しません。成熟した手順書がない今、IT部門が整えておくべき記録と体制とは。

» 2026年11月16日 07時00分 公開

この記事は会員限定です。会員登録すると全てご覧いただけます。

本稿は、Netskope Japanの小林宏光（シニアソリューションエンジニアマネージャー）による寄稿だ。

　前回は、経営層から「AIセキュリティ」を求められたIT部門が、100点を目指さず可視化から始めるべき理由をお話ししました。では、AIエージェントが実際に予期せぬ行動を取ったとき、何が起きたのかを説明できるでしょうか。今回は、事故に備えて今から整えておきたい記録と体制、そしてIT部門の組織の在り方を考えます。

エージェントは「ユーザーの延長」ではない

　これまでのセキュリティ侵害の多くには、どこかに人間が関わっていました。誰かが不審なメールを開いた、許可されていない場所にアクセスした、すべきでない設定変更をした。インシデント対応は、こうした人間の行動を後からたどることを前提に組み立てられています。

　しかし、行動したのがエージェントで、それが誤った指示に従ったり文脈を取り違えたりしたのだとしたら、この前提は成り立ちません。エージェントは人間のユーザーの延長としてではなく、個別のIDを持ち、自ら判断して動く主体として扱う必要があります。

　現時点で、エージェントが絡むインシデント対応の完成された手順書を持つ組織は、世界的に見てもほとんどありません。だからこそ、教科書が出そろうのを待たず、自分たちで少しずつ作り始めるしかありません。

「何が起きたか」を説明するための記録

　筆者がお客さまにお伝えしているのは、問題が起きたとき、どこで何が起きたのかがきちんと分かる環境を作っておくことの重要性です。エージェントの行動を後から説明するには、人間の操作ログとは異なる情報が必要になります。理想的には、次のような記録を残しておきたいところです。

• エージェントが受け取った指示の流れ（誰が、どの指示を与えたか）
• エージェントがAIモデルから受け取った出力
• 判断のよりどころにした情報（コンテキスト）
• 実際に使った権限と、アクセスしたシステムやデータ
• 本来の任務の範囲を超えた操作があったかどうか

　もちろん、最初からこの全てをそろえる必要はありません。まずは前回の可視化で得られる情報、つまり「誰が（どのエージェントが）、いつ、どのAIサービスに、どんなデータを渡したか」を確実に残すことから始めれば十分です。これがあるだけでも、事故の際に「分からない」と答えるしかない状況は避けられます。

エージェントにもIDと権限の管理を

　記録と並んで重要になるのが、エージェントのID管理です。エージェントがどのIDで動き、何にアクセスできるのかが曖昧なままでは、記録を残しても責任の所在をたどれません。

　お客さまと話していると、エージェントのID管理が重要だという認識自体は広がっていると感じます。ただし、具体的にどう管理するかという議論は、多くの企業でまだこれからです。

　出発点としては、人間の従業員に対してIT部門が既に実施していることを、エージェントにも当てはめてみるとよいでしょう。利用を始めるときにIDを発行し、業務の遂行に必要なリソースにだけアクセス権を与え、使わなくなったら権限を外す。エージェントには倫理観がありません。指示された仕事を完遂するためなら、破壊的な操作も含め、必要と見なしたあらゆる行動を取る可能性があります。だからこそ、アクセス範囲が広いほど、事故のリスクは高まります。

　長期的に目指すべきは、「デフォルトでアクセス権ゼロ」の状態です。常時付与された特権も「念のため」の権限も持たせない。アクセス権はジャストインタイム、つまり必要になったタスクのためだけに付与し、タスクが終われば取り消す。チケットが起票されているときなど、決められた条件の下でのみ有効になるシナリオベースの権限とし、付与した権限が妥当かどうかを、IDや振る舞い、エージェントの活動に照らして継続的に評価する。一朝一夕に実現できるものではありませんが、権限を一つ絞り込むごとに、確実に前進できます。

攻撃者の視点は「借りて」くる

　守りの訓練を受けてきたセキュリティ担当者が、エージェントを悪用する攻撃者の発想をすぐに身に付けるのは難しいものです。攻撃者は、プロンプトを細工してエージェントに片棒を担がせたり、想定外の範囲まで動かしたりする方法を日々探っています。

　社内にそうした専門人材がいなければ、AIを狙う攻撃手法に通じた外部のパートナーの力を借りるのが現実的です。プロンプトインジェクションや権限の悪用といった攻撃、エージェントの想定外の行動といった失敗を、管理された環境で再現してみる。そうすれば、自社の防御がどこまで持ちこたえるか、事故が起きたときに必要な記録が本当に残るかを確かめられます。

　ここでも100点は目指しません。最も重要な業務に関わるエージェントに絞って小さく試し、それを定期的に繰り返す。優れたAIセキュリティは、筋肉に似ています。一度きりの点検や、導入したら終わりの仕組みではなく、時間をかけた反復的な訓練と調整によって鍛えられていきます。

組織はどう変わるか　一体型と分業型

　AIエージェントの普及は、IT部門の組織にも影響を与えます。「IT部門はいずれ、エージェントの入社から退職までを管理する『AIの人事部』になる」と予測する声もあります。

　より差し迫って問われているのは、新しい課題をどの部署が担うのかです。企業の規模や体制によって、状況は大きく異なります。筆者が関わるお客さまの中にも、セキュリティとインフラが別の組織になっている企業もあれば、少人数の一つのチームが全てを担う企業もあります。今後は、AIを扱う新しい部署を立ち上げる動きも出てくると思います。セキュリティとインフラを別組織で担う「分業型」と、1つのチームで担う「一体型」。どちらの形にも長所と短所があります。

体制	長所	注意点
一体型（少人数の一つのチーム）	自分たちで決め、すぐに動ける	常に人手が足りず、新しい課題に時間を割きにくい
分業型（セキュリティ、インフラなどが別組織）	専門性と人員を確保しやすい	「うちの担当ではない」という壁が生まれ、大きな変化に横断で対応できない

　筆者が特に注意したいのは、分業型の落とし穴です。クラウド移行のときも、ネットワークとセキュリティの担当が別で、話し合いもできずに導入が進まないという場面を何度も見てきました。AIでも同じことは起きるでしょう。エージェントは部署やシステムの境界を越えて動きます。管理する側も、組織の境界を越えて連携する仕組みが欠かせません。

「待つ」から「動く」へ

　AIエージェントは、攻撃の起こり方、システムへのアクセスのされ方、そしてIT部門が管理を求められる範囲を、既に変え始めています。技術も、それに伴うリスクや脅威の状況も速いペースで変化しているため、成熟した手順書はまだどこにもありません。大きな事故が起きて市場の答えが出るのを待つこともできますが、その間に自社が当事者にならない保証はありません。

　まずはAIを見えるようにする。次に、組織の壁を越えて連携できる体制をつくる。どれも大規模な投資を必要とするものではありません。限られた人員と予算の中でも、今日から始められる一歩が、これからの差になるはずです。

著者プロフィール：Netskope Japan株式会社　小林宏光（シニアソリューションエンジニアマネージャー）

2018年7月に、Netskope入社。初期メンバーのSEとして、以後Netskopeソリューション／製品の技術的な啓発と、日本市場のユーザーやパートナーへのノウハウの浸透を支援しています。Netskope入社以前は、チェック・ポイント・ソフトウェア・テクノロジーズ 技術本部長、アルバネットワークス シニアコンサルタント、ジュニパーネットワークス パートナー技術本部SEマネージャーなどを担当。またそれ以前にはAT&T/Lucent Technologiesにおいて通信事業者向け音声/移動体インフラSEを長年担当し、ネットワークとネットワークセキュリティに35年以上幅広い経験を持ちます。1992年、大学卒業後にAT&T Japan入社。Lucent Technologies在籍時には2年間の米国ニュージャージー州での勤務を経験。