CSAM に関するガイダンス

子どもの安全に配慮した開発

オンラインでの児童の性的搾取や虐待は、子どもを対象としていないものも含め、さまざまなプロダクトやサービスに関わる問題です。OpenAI は、こうした虐待への対処としてどのような対策を検討すべきか、開発者の理解を支援したいと考えています。

できるだけ早い段階から、プロダクトがどのように悪用される可能性があるかを検討してください。すでに複雑になったプロダクトやシステムに後から安全対策を組み込もうとするのではなく、早期に取り組むことで、成長に合わせて子どもの安全対策を拡充できます。規模を問わず、開発チームや組織は、児童性的虐待コンテンツ（CSAM）、グルーミング、性的脅迫、子どもを性的な対象にする行為、虐待のライブ配信、人身売買などの加害行為に、自社のプロダクトがどのように悪用されうるかを評価する必要があります。特に、メッセージのやり取り、コンテンツのアップロード、画像編集、ライブ配信、コンテンツやユーザーの発見、決済などの機能を提供している場合は重要です。

このリソースでは CSAM に焦点を当て、子どもを守るための実践的なガイダンスを開発者向けに提供します。

最初の取り組み

何から始めればよいか迷うこともあるでしょう。適切な解決策や導入の進め方は、組織の規模、成熟度、利用できるリソースによって異なります。

以下のチェックリストは、CSAM 対策の出発点として役立ちます。大切なのは、リスクへの対処を始めることです。すべてのツールや手順が整うのを待たずに行動してください。

防止

プロダクトやサービスに明確なルールを設け、ユーザーから利用時の体験について意見を聞ける仕組みを整えてください。

• 明確なルールを設けてください。 利用規約、 利用に関するポリシー、またはコミュニティガイドラインで、児童の性的搾取や虐待を禁止してください。詳しくは、 TSPA または Tech Coalition が無料で提供する Pathways プログラム を参照してください。オンラインでの児童の性的搾取や虐待を禁止する外部基準に関する資料をはじめ、専門的なガイダンスや実用的なツールを利用できます。
• ユーザーが通報できるようにしてください。有害な可能性のあるコンテンツや行為をユーザーが通報できる、わかりやすい手段を用意してください。通報は、ポリシーに基づく判断に十分な情報とともに、担当者が確認するキューや窓口に送られるようにします。詳しいガイダンスについては、オーストラリアの eSafety Commissionerを参照してください。
• 安全性識別子を使って、アップロードとユーザーを追跡してください。 プロダクトやサービスでは、 すべてのアップロードをユーザーに関連付けてください。 対応する OpenAI リクエストとともに 安全性識別子を送信すると、 OpenAI による不正利用の監視と検知に役立ちます。これにより、OpenAI がプロダクトやサービスで ポリシー違反を検知した場合に、チームが対応に活用しやすい フィードバックを提供できるようになります。安全性識別子は、チームが不正利用に より迅速に対応するうえでも役立ちます。個々のエンドユーザーの活動を一貫して追跡できるようになり、 あるユーザーの不正利用によって、 組織全体のアクセスに支障が出る可能性を低減できます。ユーザーごとに一意の文字列を使用してください。 プライバシーを保護するため、メールアドレスやユーザー名は送信前にハッシュ化し、 個人を特定できる情報が開示されないようにしてください。Images API を直接利用する場合は、 この目的に別のパラメーターを使用します。 画像生成 と画像編集 では、同じ固定の識別子を user として送信してください。

さらに取り組む準備ができたら、次のような防止策も検討してください。

• CSAM に関連するキーワードや URL に対して、不正利用を防ぐためのブロックや拒否を導入してください。詳しくは IWF を参照してください。
• CSAM に関連する行為をしようとしているユーザーに、警告やメッセージを表示してください。詳しくは Stop It Now を参照してください。
• 子どもも利用できるサービスで、ユーザーから、自分が写った性的な画像や動画がプラットフォーム上にあると申し出があった場合は、IWF と NSPCC の Report Remove プログラム（英国の子どもが画像や動画の削除やブロックを求めて通報できる仕組み）や、NCMEC の Take It Down サービスなどの支援窓口を案内してください。
• 子どもが今まさに被害を受けている、または被害が差し迫っているとわかった場合は、次のように対応してください。
  • 地元の警察など、緊急対応機関に通報してください。
  • 緊急対応機関への連絡方法を子どもに伝えてください。

検知

違反の可能性があるコンテンツや行為を特定し、レビューと対応につなげてください。

利用しやすい CSAM 検知ツールを活用してください。

• 知覚ハッシュ照合。 プロダクトで画像や動画のアップロード、保存、 処理を行える場合は、知覚ハッシュ照合の導入を検討してください。 この技術は、画像や動画のデジタル指紋を作成し、 既知の CSAM の指紋と比較します。これにより、 ファイルのサイズ変更や圧縮などの改変が行われた後でも、既知のコンテンツを特定しやすくなります。 利用には、PhotoDNA などのハッシュ照合技術と、 既知の CSAM のハッシュを集めた CSAM ハッシュリストの両方が必要です。すべてのサービスが 両方を提供しているわけではありません。
  • 推奨されるハッシュ照合技術：
    • Safer by Thorn は、画像や動画に含まれる既知の CSAM の検知に特化した機能を提供しています。
    • Tech Coalition が対象企業にサブライセンスを提供しているのは、 Microsoft の PhotoDNA です。提供には、無料の Pathways プログラム を利用しています。
    • Meta のハッシュ照合技術 PDQ 。
    • YouTube の CSAI Match 技術は、ハッシュ照合によって動画内の既知の CSAM を特定します。
  • 推奨される CSAM ハッシュリスト：
    • NCMEC は、既知の CSAM、搾取的なコンテンツ、生成 AI による CSAM のリストを提供しています。 電子サービスプロバイダー担当チームにお問い合わせください。
    • IWF が提供する Image Intercept は、利用条件を満たす小規模企業やスタートアップ向けのハッシュ照合サービスで、導入に必要な技術的専門知識はごくわずかです。
• 新たな CSAM を検出する分類器。 これらのツールは、未知の CSAM や、 これまで確認されていない CSAM を検出できます。
  • Safer by Thorn は、画像や動画に含まれる新たな CSAM の可能性があるコンテンツと、関連するテキスト上の搾取の兆候を特定するための分類器を提供しています。
  • Google の Content Safety API は、AI を使用して画像や動画を分類し、レビューの優先度を割り当てます。分類器が割り当てる優先度が高いほど、そのメディアに CSAM が含まれる可能性が高くなります。
• 悪意のある利用者の検出と違反への措置。 ユーザー名、メールアドレス、デバイス ID など、 利用可能な識別子や情報を活用し、CSAM に関するポリシーへの違反や 違反の試みに使われたアカウントを永久に停止するなど、 その利用を妨げる措置を検討してください。措置を回避しようとする 常習的な違反者にも注意してください。

対応と通報

サービス上の CSAM を把握したときに、プロダクトとチームが適切に対応できるようにしてください。

• 当局に CSAM を通報するための登録と準備を行ってください。 NCMEC に登録するか、地域の通報窓口に登録してください。NCMEC への通報を具体的な対応につなげるには何が必要か、また、その通報が子どもの保護にどう役立つかを検討してください。適切な管轄機関への通報の転送や容疑者の特定に役立つよう、できる限り多くの情報を含めてください。NCMEC の通報項目のドキュメントには、IP アドレス、デバイス ID、その他のデータが含まれています。

• 活用できる記録と識別子を保管してください。 通報する際は、 法執行機関からの要請に対応できるよう、事案の記録と、 違反者の特定に役立つ関連データを保管してください。
• 対応手順書を作成してください。通報をレビューする担当者、緊急案件を組織内外にエスカレーションする方法、違反したユーザーに対して取る措置、その判断を下す権限を持つ人を定めてください。こちらの TSPA の資料は、違反への措置を実施する体制の構築に役立ちます。
• IWF やその他の通報窓口など、専門知識を活用して CSAM の事案を知らせてくれる、信頼できる専門の通報者のネットワークを構築することを検討してください。
• 関係者に研修と支援を提供してください。 対応プロセスに人が関与することが重要です。 レビュー担当者、サポートチーム、オンコール担当者が、ポリシー、エスカレーション経路、 使用する自動化システムの限界を理解していることを確認してください。
• コンテンツのモデレーションや不正利用への対応に必要なツールを使用してください。 子どもの安全に関わるリスクや被害への対処には、 次のようなツールも役立ちます。
  • Moderation API は、テキストや画像に含まれる、 有害な可能性のあるコンテンツを検出します。 omni-moderation-latest モデルの詳細をご覧ください。 これは CSAM 専用の検出手段に代わるものではありません。ただし、 18 歳未満の人に関する性的コンテンツを対象とする sexual/minors カテゴリは含まれています。 このカテゴリはテキストのみを対象としています。結果は次の用途に活用できます。
    • コンテンツのブロックやフィルタリング
    • 人によるレビューへのコンテンツの送付
    • アカウントに対する措置
    • 繰り返しの不正利用を困難にする仕組みの導入と、プロダクトやサービスに応じた違反への措置の実施
  • 役立つ可能性のある他のモデレーションツールも検討してください。たとえば、 ROOST の Coop は、テキスト、マルチメディア、プロファイルに含まれるポリシー違反の疑いをトリアージするためのオープンソースのレビューコンソールです。人によるレビューと自動レビューに対応し、レビュー担当者の心身の健康を重視した設計で、NCMEC CyberTipline への通報を含む、一連のモデレーションワークフローを実行できます。

さらに取り組みを進める準備ができたら、次のような対応や通報の施策も検討してください。

• CSAM 対策に携わる人を支援してください。 組織は、CSAM のレビュー担当者向けの 研修、支援、心身の健康を支えるプログラムに投資すべきです。詳しくは、 WeProtect の推奨事項 をご覧ください。
• 専門家の支援を受けてください。 取り組みを始めるために、大規模なトラスト＆セーフティチームは必要ありません。 Tech Coalition は、企業が子どもの安全を守る仕組みを強化できるよう、 次のような支援を提供しています。
  • Pathways は、特にスタートアップや中小規模のプラットフォーム向けに設計された、無料の対応能力強化プログラムです。企業規模を問わず参加できます。子どもの安全を守る強固な基盤を企業が築けるよう、実践的な資料、ガイダンス、支援を提供します。利用条件を満たす企業は、Pathways を通じて PhotoDNA のサブライセンスを申請することもできます。
  • Elevate は、子どもの安全を守る取り組みの強化や具体的なリスクへの対応に、より実践的な支援を求める企業に対し、個別のニーズに応じたコンサルティングと導入支援を提供します。
  • Tech Coalition の会員制度 を通じて、企業はオンラインでの児童の性的搾取や虐待に対する業界の国際的な連携に参加し、 同業他社との交流や専門知識の共有を通じて、 共同の取り組みに貢献できます。まずは Tech Coalition チームに ご相談ください。
  • 開発者は、Tech Coalition の 子どもの安全に関する優良事例 を、さらに詳しい指針として活用できます。

安全対策の拡充

適切な管理措置や安全対策は、プロダクト、開発段階と成熟度、ユーザーと機能、事業を展開する地域、利用可能なリソースによって異なります。

ライブ配信、画像生成や編集、ファイル保存、非公開の接続などをサポートする、リスクにさらされやすいプロダクトでは、次のような安全対策の導入と強化を検討すべきです。

• リリース前や、リスクの高い機能を変更するたびに行うプロダクトのリスク評価。詳しくは、 Ofcom のリスク評価ガイダンス をご覧ください。
• ハッシュ照合、画像や動画の分類器、テキスト上の兆候、キーワード検出、URL ブロックなどを組み合わせた、サービスに適した多層的な検出
• レビュー担当者の心身の健康を守り、有害なコンテンツに不必要に触れる機会を抑えるツールを用いた、信頼度や重大性の高い兆候に対する人によるレビュー
• 繰り返しの不正利用を困難にするレート制限、アカウント管理、不正利用の監視
• 対策の抜けを見つけ、成果を追跡し、管理措置を改善するための定期的なテストと測定

これらの推奨事項は取り組みの出発点であり、法的助言や、あらゆる状況に適用される注意義務の基準ではありません。サービス、リスク特性、適用法に合わせて調整してください。