[ITmedia News] OpenAI、児童性的虐待コンテンツ(CSAM)検出ツールを公開 ChatGPTで探すと24時間アカウント停止の警告も
米OpenAIは11月16日(現地時間)、児童性的虐待コンテンツ(CSAM:Child Sexual Abuse Material)を検出する新たな画像分類ツールを発表した。生成AIで作成された画像や、これまで確認されていない画像も検出対象とする。審査を通過した組織に、OpenAI APIを通じて無償で提供する。
新ツール「OpenAI CSAM Image Classifier」は、画像に含まれる性的虐待の視覚的な特徴を分析し、CSAMである可能性をスコアで示す。既知の違法画像のハッシュ値と照合する従来の方法では見つけにくかった新規の画像やAI生成画像も対象とし、AI生成CSAMの可能性を示す専用のスコアも出力する。OpenAIは、AI生成CSAM専用の判定指標を備え、幅広い組織が利用できる分類ツールは初めてだとしている。
開発には米国の行方不明・被搾取児童センター(NCMEC)が協力し、学習や評価、設計に関わった。業界団体のTech Coalitionと非営利団体のROOSTも、ツールの提供に協力する。
OpenAIがユーザーのアップロード画像を対象に実施した評価では、既存の検出ツールとほぼ同数の虐待画像を検出し、レビュー対象として報告される画像の数を48%削減できると推定している。新ツールが示した画像に実際に虐待コンテンツが含まれる割合は、既存ツールの約2倍だったという。
先行導入したパートナー企業における試験結果も公表している。AIプラットフォームのfalでは、確信度の高い検出結果の72%を担当者が新規のCSAMと確認した。動画生成AIのinvideo AIでは、検出されたケースの4件に1件がアカウント停止につながった。SafetyKitによる、児童を性的に描写したイラストやアニメーションを対象とする評価では、検出率は90%で、合法的な成人向けコンテンツの誤検出率は1%未満だった。
一方、同時に公開したモデルカードによると、ChatGPT上の実際の通信を対象にした場合の適合率は、オフライン評価より大幅に低かった。例えば乳児が写った画像の検出率(再現率)は49.3%にとどまった。また、動画フレームでの検証はしていない。OpenAIは、スコア単体でCSAMと断定したり法的通報の根拠としたりするものではなく、最終的な判断は人間の審査担当者が行うよう推奨している。
OpenAIは同時に、ChatGPTで児童性的虐待コンテンツを探そうとする行為を抑止する警告機能も導入した。該当する行為を検出すると、AI生成かどうかにかかわらず、児童を性的に扱うコンテンツは有害で違法となる可能性があり、探すこと自体が利用規約違反に当たると警告する。対象の会話は削除し、アカウントを24時間停止する。警告画面からは、無料の専門的な支援窓口も案内する。違反を繰り返した場合は、制限期間の延長やアカウントの閉鎖、当局への通報につながる可能性があるという。
ChatGPTで表示される警告画面(左)とアカウント停止画面(画像:OpenAI)
開発者向けには、CSAMの防止、検出、対応・通報に関するガイドラインを公開した。法執行機関の児童保護専門部署向けには、膨大なチャット履歴や法的手続きで入手した記録の確認作業を支援し、事案の関連性や時系列の整理を効率化するツールと研修を提供する。
OpenAIはこれまでも、ChatGPTの未成年ユーザー向けにペアレンタルコントロールや年齢予測機能を導入してきた。一方、米非営利団体Common Sense Mediaは10月、13~17歳向けの「ChatGPT for Teens」を「容認できないリスク」があると評価し、安全機能の改善と第三者による検証が済むまでChatGPTの利用を18歳以上に限るよう求めている。
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.