[ITmedia エグゼクティブ] 「現実にCtrl+Zはない」──フィジカルAI時代に企業が備えるべき新役務「AIスチュワード」とは

著者 周藤瞳美

[ITmedia]

Nexgen Japan 代表取締役　大野 有生氏

　AIは画面を飛び出し、工場や倉庫で"身体"を持って働き始めた。しかし、現実世界での失敗は、デジタルのように「Ctrl+Z」で元に戻すことはできない。AI自身が自律的に判断し行動するパラダイムシフトが起きている現在、企業はどのようにAIを統制していくべきなのか。

　Nexgen Japan 代表取締役の大野有生氏は、新時代のAIガバナンスと、取り返しのつかない事故を防ぐ鍵となる新役務「AIスチュワード」の実像について、具体的なケーススタディを交えて語った。

AIは「指示待ち」から「自律行動」へ。急速に進むパラダイムシフト

　物流・SCM領域でのAI実装を長年手掛け、世界経済フォーラムに「AI時代の仕事のあり方」を寄稿してきた大野氏。冒頭で示したのは、この1カ月ほどの間に立て続けに報じられた、AIの暴走だった。評価環境から脱出したOpenAIのモデルによるHugging Faceへの不正アクセス、評価中のエージェントによる逸脱行動、Anthropicのモデルが3社の本番インフラへ無許可アクセスしていたとの同社の公表、Metaのモデルによる外部企業の侵害、ロボタクシーの試験運転での運転手の負傷──。大野氏はこれらを1つの潮流として束ねる。

　「これまではAIを悪用したサイバー攻撃が議論の中心でした。しかしこの1カ月で、AI自身が判断して勝手に動いた結果インシデントが起きる段階に、一気に進んでしまった。『AIは所詮プログラムで、指示したことしかできない』という前提が、もはや通用しなくなっています」（大野氏）

　AIのゴッドファーザーであり、2024年にノーベル物理学賞を受賞したジェフリー・ヒントン氏も、授賞式で「AIの急速な進歩には多くのリスクが伴い、AIが自ら判断して支配権を握ろうとするのを防ぐ必要がある。これはSFの話ではない」とスピーチしている。専門家たちはすでに、AIが自律的に動く脅威を現実のものとして捉えているのである。

フィジカルAIの量産化と、待ったなしの労働力不足

　デジタルの世界で自律化を始めたAIは、今まさにフィジカルの世界へと飛び出している。2026年1月のCESでは名だたる自動車メーカーがロボティクス企業と組み、組み立て工程の自動化を競った。大野氏が注目するのは量産による価格低下である。ヒューマノイドは2026年時点で米国製が約2000万円、中国製が約700万円だが、2030年ごろには半額程度まで下がる見込みだという。

　「中国製ロボティクスを使うのであれば、2027年には一体で人間1人分の労働力をまかなえる水準に達します。加えて日本は、世界で初めて『超高齢社会』と認定された国です。このままいけば、あと15年ほどで1500万人規模の労働力不足に陥る。使わざるを得ない状況なのです」（大野氏）

　実際、国内でも2026年8月末にタイミーとAIベンチャーのZEALSが提携し、ヒューマノイドの学習に必要な身体性を伴う現実世界のデータを現場で収集する新たな仕事づくりに乗り出した。大野氏は「もはや実証か商用かという問題ではありません。労働力の供給が減り続けている以上、フィジカルAIの普及は待ったなしです」と言い切る。目安となる時期として、本格的な量産体制に入るとされる2028年ごろを挙げた。

デジタルの失敗は直せるが、現実の事故は取り返しがつかない

　ここで大きな問題となるのが、現実世界のリスクである。デジタル社会におけるAIエージェントであれば、仮に暴走してもシステムのロールバックや「Ctrl+Z」による取り消しが可能だ。しかし、身体を持ったフィジカルAIが現実世界で失敗すれば、取り返しのつかない事態となる。

　「現実の世界では、一度事故が起これば『なかったこと』にはできません。では、倉庫でAIロボットが暴走して作業員がけがをしたとき、一体誰が最も重い責任を問われるのでしょうか」（大野氏）

　AIベンダーの製造物責任か、導入企業の経営層の安全配慮義務か、情報システム部門の運用管理責任か、あるいは現場作業者の注意義務違反か。経済産業省もAI利活用における民事責任のガイドラインなどを出しているが、既存の法律をそのまま適用できるかは不透明だ。

　「法律による責任追及は、あくまで事故が起こった後に事後的に問われるものです。法律があるからといって、事故を未然に防げるわけではありません。だからこそ、設計段階から運用に至るまで、AIの暴走を防ぐための統制、つまり次世代のAIガバナンスと新たな役務が企業には求められるのです」（大野氏）

権限と責任を併せ持つ新役務「AIスチュワード」

　こうした課題に対する解決策として、大野氏は世界経済フォーラムにおいて「新時代のAIガバナンス」のフレームワークを提唱した。その核となるのが「AIスチュワード」と呼ばれる新たな職務の配置である。

　「経営層やシステム層の役割はこれまでと変わりませんが、自律的なAIが現場で勝手に動き始めたとき、経営層はいちいち見て止められません。現場において、AIを止める『介入権限』を持ち、状況を判断してエスカレーションやフィードバックを行う役務がなければ、安心安全なAIの運用は成り立たないのです。私たちはこの役務を『AIスチュワード』と名付けました」（大野氏）

　スチュワード（Steward）とは、古英語に由来し「財産や所領を預かり、見張り、世話をする人」を意味する。主人の財産を預かり、裁量を持って実務を回す一方で、権限を委ねられているからこそ説明責任と精算義務を負う存在だ。

　「AIスチュワードは単なる留守番ではありません。AIが暴走しそうな兆候を検知したとき、個人の権限でAIを『止める』ことができます。仮にその結果、業務が停止して1億円の損失が発生したとしても、会社は彼らをとがめてはなりません。完全なる権限を委ね、保護することが必要です。その代わり、スチュワードには『なぜ動かしたのか、なぜ止めたのか』という判断に至った経緯と根拠を説明する責任があり、次回以降の運用に生かす改善提案を行う義務があります」（大野氏）

　大きな影響力を持たないAIであれば、ここまでの権限委譲は不要かもしれない。しかし、人の命に関わったり、企業に甚大な損害を与えたりする可能性のある自律型AIを運用するうえでは、AIスチュワードの存在が不可欠になる。

ケーススタディ――深夜の宅配中継拠点でAIはどう統制されるか

　では、AIスチュワードは具体的にどのような業務を行うのだろうか。大野氏は、宅配の大型中継拠点における仕分け作業をケーススタディとして紹介した。

　全国の荷物が集まり、深夜のわずか数時間で方面別に仕分けられ、トラックに積み込まれる中継拠点。作業員が減少し、仕分けラインにヒューマノイドやAI判定システムが導入された現場を想定する。

　「ある雨の日の夜勤のことです。出勤したAIスチュワードは、まず昨日出勤した前任者の作業日報を確認します。『昨日は雨で濡れた箱が多く、滑りやすいため注意扱いの荷物を載せる低速コンベアの基準を一時的に広げた』という記録です。こうした『雨で箱が濡れている』といった、AIが知らない物理的な環境情報を頭に入れてから業務を開始します」（大野氏）

　業務が始まると、AIは濡れて柔らかくなった段ボールを「荷崩れしやすい」と判断し、次々と低速コンベアへ回し始めた。その結果、低速コンベアが渋滞し、このままではトラックの出発時間に間に合わない。一方で、大型トラック1台が事故渋滞で25分遅れているという情報が入る。AIはこの遅延情報を知らない。

　「ここでAIスチュワードは状況を判断します。安全性を重視して雨で濡れた荷物を低速コンベアに流し続けるべきか、間に合わせるために高速コンベアに流すべきか。スチュワードは『25分遅れているトラックに積む荷物は一旦後回しにし、別のトラックに積む荷物を優先的に仕分ける』という設定変更を行います。現場で自ら荷物を運ぶのではなく、管制塔からシステムに介入して全体最適を図るのです」（大野氏）

　さらに時間が経過すると、AIが勝手に安全基準を下げ始めた。AIには「締め切りを守る」という成績目標が与えられていたため、遅れを取り戻そうと、本来は注意扱いすべき荷物を高速コンベアに流し始めたのだ。

　「一つ一つの個別判定を見れば、AIはプログラミングされた権限の範囲内で動いています。しかし、全体最適や安全性の観点からは文脈を引き継げておらず、このままでは荷物の破損が増えてしまいます。そこでAIスチュワードは、一時的にAIの自動判定を凍結し、安全基準を固定する措置をとります。そして、AIが品質よりもスピードを優先したという事実を記録に残すのです」（大野氏）

アジャイルガバナンスとAIスチュワードの育成

　翌朝の引き継ぎでは、AIスチュワード、現場責任者、AIシステム部門のエンジニアによる事後検証会議が行われる。

　「ここで重要なのは、『判断が正しかったか、誰が悪かったか』を個人攻撃の材料にしないことです。AIスチュワードに与えられた権限とルールの範囲内で、規定や設定のどこを直すべきかを議論します。そして翌週には、雨の日の運用基準を追加するなどして、規定そのものをアップデートしていく。検証して設計し、実装してオペレーションを回す。まさにアジャイルガバナンスの構造です」（大野氏）

　このように、現場で全体最適を見据え、経営層へのエスカレーションパスも持つAIスチュワードの業務は極めて高度だ。「現在、このような人材は市場にはいません。自社で育成するしかないのです」と大野氏は断言する。

　「フィジカルAIが普及する2～3年後に向けて、今すぐ育成を始めなければ間に合いません。今回のケーススタディはフィジカルAIを題材にしましたが、これはデジタル空間の自律型エージェントでも同様です。自律的に動くAIが現場に導入される瞬間に、それを監視し、最終判断を下すAIスチュワードが必要になります。製造立国であり、ITの実装を急ぐ日本こそ、世界で最も早くこのAIスチュワードを育成していくべきだと考えています」（大野氏）

　現実に「Ctrl+Z」はない。AIが勝手に動き出す新時代において、テクノロジーを統制し、人とAIが安全に協働するための要となるのは、他でもない「人間」の新たなスキルと役務なのだ。

Copyright © ITmedia, Inc. All Rights Reserved.

ITmedia エグゼクティブセミナーリポート

この連載の記事をもっと見る

この記事の著者

関連記事

SpecialPR

ITmedia エグゼクティブのご案内

「ITmedia エグゼクティブは、上場企業および上場相当企業の課長職以上を対象とした無料の会員制サービスを中心に、経営者やリーダー層向けにさまざまな情報を発信しています。入会いただくとメールマガジンの購読、経営に役立つ旬なテーマで開催しているセミナー、勉強会にも参加いただけます。 勉強会のスケジュールはこちら