AIが便利になればなるほど深刻になる「自動化の皮肉」に人間はどう対処すべきか

近年のAIの進化はSRE(サイト信頼性エンジニアリング)に大きな影響を与えています。AIがインシデント対応の大部分を自動化するにつれて、人間が担うべき「稀・複雑・曖昧」な問題への対応能力が低下するという「自動化の皮肉」が指摘されています。オープンソースのシステム監視・分析ツール「SigNoz」の開発者エリザベス・マシュー氏は「AIがインシデント対応の95%を処理するようになったら、実際に重要な5%の対応能力は低下するのか？」という疑問について考察しています。

AI Isn't Replacing SREs. It's Deskilling Them.
https://newsletter.signoz.io/p/ai-isnt-replacing-sres-its-deskilling

1983年に発表された研究論文「自動化の皮肉」は産業システムにおける自動化の進展を分析しました。その結果、プロセスが自動化されるほどオペレーターは稀な障害発生時に介入する機会を失い、結果としてその介入能力が低下するという逆説が明らかになりました。AIも同様にルーチン化されたタスクを肩代わりし、人間には稀で複雑かつ曖昧な問題のみが残されるようになっています。しかしながら、問題解決に必要な専門知識は実践機会の減少とともに衰退していくことになります。「自動化が進むほど、稀に発生する障害への人間の対応能力が低下する」という「デスキリング」と呼ばれる現象が、知識労働であるSREの分野でもAIの導入により見受けられるようになっています。

記事作成時点のSREの現場では、アラートのノイズ削減・既知の問題に対する自動実行・ログパターンの検出・基本的な根本原因の提案・ポッドの再起動といったタスクがAIによって高度に自動化されています。将来的にはより複雑な障害の分析やユーザーに影響が出る前の予知的なインシデント検出などもAIに任せるべき仕事と考えられています。

インシデントの深刻度をPagerDutyのティアモデルで捉えると、ティア1(既知の問題・既知の修正策)は完全に自動化され、ティア2(部分的に理解された問題)ではAIの推奨と人間の検証が行われます。しかし、人間が関与するのがティア3(新規・複雑・連鎖的な障害)のみになった場合、対応に必要な直感やシステムへの感覚的な理解を長年の実践なしにどうやって培うのかという問題が生じます。

AIによるスキル低下は医学や航空分野で観測されており、AI支援を受けた内視鏡医のポリープ検出率低下や自動操縦に依存するパイロットの状況認識能力低下(PDFファイル)などが報告されています。

SREにおいても、AIがログを要約することで生のログストリームを読む機会が減る、AIが根本原因を提案することで仮説を立てなくなる、AIが依存関係をマッピングすることでシステムのメンタルモデルを構築しなくなるといった風に、専門知識が空洞化する懸念があります。さらに深刻なのは「ネバースキリング」です。AIがインシデント対応の大部分を処理する環境でキャリアをスタートさせた若いSREは、デスキリング以前の問題でそもそもスキルを身に着ける機会が失われつつあります。

未来への唯一の道はAIツールを拒否するのではなく積極的に取り入れ、より深く統合していくことです。AIツールを取り入れるのを前提とする上でスキルを維持・向上させるためのアプローチとして、マシュー氏は以下の提案を行っています。

・意図的な非効率性
FAA(連邦航空局)がパイロットに手動操縦時間を義務付けるように、SREチームも人間のスキル維持のための実践機会として、AIが処理できるインシデントであっても意図的に人間の作業として残すことが考えられます。いわば人間のスキルを維持するための長期的な投資です。

・人間を傍観者にしない
人間がAIの提案を単に承認するだけでなく、問題解決に積極的に関与していくアプローチを重要視します。AIと共に問題に能動的に関わることで人間はスキルを維持できます。

つまりあるべきは「SREを代替するAI」ではなく「SREを強化するAI」であり、人間は特に本番インフラに影響を与える重要な意思決定に不可欠な存在であり続けるのが望ましいといえます。将来のSREは人間中心で、人間が最も重要な5%のタスクに対応できるよう意図的に設計されるべきだとマシュー氏は述べています。