OpenAIが児童ポルノ検出ツールを開発し監視団体に提供開始
— OpenAI Newsroom (@OpenAINewsroom) 2026年11月16日We're releasing a free new tool to vetted organizations to help detect child sexual abuse material, including AI-generated images. We're also adding ChatGPT warnings, publishing guidance for developers, and supporting child safety investigators.
We developed the classifier…
OpenAIによると、児童性的虐待コンテンツ(CSAM)を検出できる新しい分類器は、虐待の視覚的な兆候を探し出し、これまで確認されていなかった可能性のある新しい画像を特定するのに役立つとのこと。また、監視担当者がどの画像に優先的に対応する必要があるかを判断するのに役立つスコアを返すことで、監視団体を支援します。
OpenAIは「CSAMがAIによって生成された可能性があるかどうかを示す明確なシグナルを備えた、広く利用可能な初のCSAM分類器です」と述べています。
OpenAIは全米行方不明・被虐待児童センター(NCMEC)の支援を受け、実世界での導入に向けて分類器の訓練・評価・設計を実施しました。分類器がどれだけの不適切なコンテンツを検出するか、他の画像をどれくらいの頻度でフラグ付けするか、そして安全チームをどれだけ支援できるかを測定するために、社内および初期のパートナー企業とテストを実施。その結果、初期のテストでは、分類器がレビュー担当者が不適切な画像に集中するのを助け、誤検出のレビューを減らせることが示唆されています。
加えて、新しい分類器を従来の保護機能と比較したところ、「既存のツールとほぼ同数の不適切な画像を検出しながら、フラグ付けされる画像数を48%削減できると推定されたことで、新しい分類器は審査作業を軽減できる可能性がある」「新しい分類器によってフラグが立てられた画像は、虐待が含まれている可能性が約2倍高かった」ということが判明しています。
OpenAIは厳選された組織に対しCSAM分類器を無償で提供することで、児童保護団体や規模の異なるチームを持つ組織を含む幅広い業界にとって、CSAMの検出をより身近なものにしていくとしています。
OpenAIでは以前からCSAMを禁止し、CSAMに関する要求を拒否するようにモデルを訓練し、ポリシーに違反するアカウントに対して措置を講じていました。新しい分類器の提供に合わせて、ChatGPTでも安全対策をさらに強化するため、新しい「製品警告機能」を導入したことが発表されています。この機能は、有害なコンテンツを見つけようとする試みを阻止し、「AIが生成したコンテンツであっても子どもを性的対象化することは有害である」と警告を表示した後、問題のある会話を削除した上でChatGPTへのアクセスを24時間停止します。違反が繰り返されると制限期間がより長くなるほか、最終的にはアカウントの閉鎖や当局への通報につながる可能性があります。
さらに、OpenAIは開発者が不正利用を防止し、有害なコンテンツを検知し、それに対処するための実践的な手順を提供することを目的として、「CSAMに関するガイダンス」も公開しています。このガイダンスでは、明確なルール、ユーザーが懸念事項を報告する方法、検出ツール、および疑わしい不正使用をレビューして報告するためのプロセスが示されています。
OpenAIは「これらの取り組みは、子どもたちへの危害を未然に防ぎ、虐待が発生した場合の対応を強化するという共通の目標を掲げています。私たちは、子どもたちを守り、搾取と闘い、加害者を裁くために必要なツール、リソース、専門知識を児童保護団体、開発者、研究者、捜査官に提供しながら、安全対策を継続的に改善していきます。共に協力することで、AIの力を活用し、児童性的搾取と虐待との闘いにおいて、大きな変化をもたらすことができるでしょう」と述べています。
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.


