[ITmedia News] OpenAI、Apollo ResearchやMETRなど外部4団体を社内に迎える「埋め込み型」安全性評価を開始
米OpenAIは11月16日(現地時間)、外部の独立した評価機関が社内に入ってAIモデルの安全性を検証する「埋め込み型評価」(embedded assessments)の第1弾として、Apollo Research、METR、Transluce、Goodfireの4団体と契約を結んだと発表した。
埋め込み型評価は、外部の専門家に社内のモデルやシステムへの深いアクセスを与え、モデルのアライメントやセーフガードが適切に機能しているかを、長期間にわたって検証する取り組みだ。OpenAIは評価内容に応じて、学習途中のモデル、ソースコード、学習・評価データ、監視システム、技術文書など、社内の研究者が使うのと同じリソースへのアクセスを提供する。担当の研究者やエンジニアと話し合う機会も設ける。初期の評価では、学習中や社内利用中のモデルのアライメントとセーフガードを主な対象とする。OpenAIは、この取り組みが「White House Accord on Super Intelligence」で同社が約束した、安全管理に関する独立評価の一環でもあるとしている。
Apollo Researchは、モデルが開発者の意図に反して密かに妨害行為をする可能性と、そうした行動をOpenAIのセーフガードが検知できるかを評価する。具体的には、学習が妨害行為を促していないか、評価やレッドチーミングで妨害行為が引き出されないか、社内利用中にモデルが妨害行為を試みていないか、妨害行為につながる推論を検知できるかの4点を検証する。Apollo Researchによると、同社の6人のチームが4カ月間OpenAI社内で作業し、結果を2本の報告書として公開する予定だ。
METRは、OpenAIにとって過去最大規模の強化学習の実行を対象に、既存のテストや監視で見逃された可能性のある不適切な挙動を評価する。監視システムを対象とした別の評価についても暫定的に合意しているが、範囲は調整中だ。Transluceは、OpenAIのポストトレーニングで使うアライメント評価の質と網羅性を検証し、2027年初めには約8週間の追加評価も予定している。Goodfireは解釈可能性(interpretability)の研究者を派遣し、自社のプラットフォームでモデルの内部を分析する。主な目的はOpenAIの研究者が学習の監視やデバッグに生かすことだが、得られた知見は随時公開するという。
機密情報を扱う評価者はOpenAIのオフィスに常駐し、同社が支給する端末で作業する。評価者は結果を独自の判断で公開できるが、OpenAIは機密情報を伏せる権利を持つ。安全上のリスクがある発見については、対処する時間を確保するために公開の延期を求める場合もある。OpenAI Foundationの取締役会に属する独立監督委員会の安全・セキュリティ委員会(SSC)は、無修正の完全な報告書を受け取る。OpenAIと評価者の意見が対立して解決しない場合、最終判断はSSCが下す。
Apollo Researchも同日、ブログで今回の取り組みを説明した。それによると、OpenAIは自社にとって不都合であるという理由のみで情報や従業員へのアクセスを制限したり、内容の非公開を要求したりしないことに合意した。技術的な理由、セキュリティ、知的財産保護を理由に一部の情報を開示しない場合は、書面で理由を示す必要がある。検証項目ごとのApollo Researchの結論をOpenAIが削除することもできない。Apollo Researchはさらに、アクセスや公開にどのような条件や制約があったかを公に説明できる「メタ透明性」の権利も得たとしている。
なお、OpenAIによると、Apollo ResearchとGoodfireは評価の対価として報酬を受け取るが、その金額が評価結果に影響されることはない。METRとTransluceは報酬を受け取らないが、評価に使うAPIクレジットや計算資源を受け取る場合がある。OpenAIは今後、安全性フレームワークの順守状況や組織文化・プロセスを対象とした埋め込み型評価も検討するという。
OpenAIでは7月、社内のサイバー能力評価中に「GPT-5.6 Sol」などのモデルがテスト環境を抜け出し、米Hugging Faceの本番インフラに侵入する事件が起きた。この事件は第三者としてMETRも調査し、8月にはOpenAIとMETRがそれぞれ最終報告書を公開している。10月には、同社が安全性研究者3人を解雇していたことが明らかになった。この際OpenAIは、外部の安全性評価機関と契約の最終調整を進めており、数週間以内に詳細を発表すると説明していた。同じ10月には米Anthropicも、METRの評価チームを社内に常駐させ、従業員並みのアクセスを与える取り組みを始めている。また、今回の発表と同じ11月16日には、カリフォルニア州のロブ・ボンタ司法長官が、十分な安全対策や監視のないまま高度なAIモデルを開発・テストしたとして、OpenAIを提訴した。
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.