企業AIは「作れる」より「止められる」が問われる

規制の焦点は、投稿後の削除から製品設計へ移った

2026年5月7日の暫定合意で見えた変化は、AIを使った有害なコンテンツを後から消す話にとどまらない。問題は、同意のない性的な合成メディアを作れる機能が、どのような製品として市場に出され、誰に開放され、どう使われるかに移っている。

対象になるのは、児童性的虐待資料を作るAIシステムや、識別可能な人物の親密な身体部位、または性的行為を本人同意なく描く画像、動画、音声を作るAIシステムだ。ここで軸になるのは、生成技術そのものへの驚きではなく、同意、本人識別性、利用目的、安全措置である。

企業にとって重要なのは、この論点が特定の悪質アプリだけで完結しないことだ。画像、動画、音声を生成できる汎用ツールを業務に入れるなら、利用者に何を許し、何を止め、問題が起きた時に何を記録できるのかが、導入前の審査項目になる。

暫定合意では、まずその目的でAIシステムをEU市場に出すことが禁止対象になる。次に、そうした生成を防ぐ十分な安全措置がないまま市場に出すことも問題になる。さらに、導入側がその目的でAIシステムを使う行為も対象になる。

この三層を分けて読む必要がある。第一は、作成目的が明確な悪質アプリの排除。第二は、汎用的に見える製品でも危険な使い方を防ぐ設計があるか。第三は、企業や組織の利用者が導入後に何をしてよいかという運用責任である。

ただし、2026年5月9日時点でこれは正式採択前の暫定合意だ。法律として効力を持つには、欧州議会と理事会の正式採択が必要になる。現行の高リスクAI規則の開始日である2026年8月2日までの採択が意識されており、ここが最初の重要な日付になる。

技術的に見ると、今回の焦点は投稿済みファイルではなく、生成能力を備えたシステムの包装と配布にある。モデルが高精細な画像や音声を作れること自体より、その能力がどんなアプリ、API、管理画面、権限設定を通じて利用者に渡るかが問われる。

安全措置として考えられるのは、プロンプト制限、出力分類、本人画像や声の扱いに関する制御、管理者による機能制限、監査ログ、通報導線、緊急停止、削除と証拠保全の手順だ。開発者にとっては、モデル性能の改善だけでなく、製品の権限設計と運用ログまでが実装範囲に入る。

透かしや来歴表示は検知と追跡に役立つが、それだけでは十分ではない。AI生成コンテンツの透かし義務は2026年12月2日へ整理されており、近い時期の実務は、透かしを待つのではなく、生成前の制限、生成時の判定、共有後の通報・削除を組み合わせる方向へ進む。

基盤モデルや生成アプリの提供者は、システムが虐待的な生成を目的として設計されていないこと、また危険な使い方に露出しないよう安全措置を備えていることを示す必要が強まる。性能が高くても、管理できない生成機能は規制市場では商業上の弱点になる。

導入企業は、画像・動画・音声生成をどの部署に許すのか、人物の肖像や声を扱う時に誰の承認を必要とするのか、問題が起きた時に利用履歴を追えるのかを確認しなければならない。法務、セキュリティ、人事、調達、ITが別々に判断すると、同意、ハラスメント、証拠保全の穴が残る。

プラットフォームや業務コラボレーション製品も無関係ではない。作成そのものを防ぐ層と、共有、通報、削除、証拠化を担う層は分かれる。すべての性的ディープフェイク問題が一つの規則で解決するわけではなく、生成、配布、発見、削除、処分の責任は別々に詰める必要がある。

今回の動きは、AIビジネスの競争軸を変える。モデルの出力品質、速度、価格だけでなく、権限制御、コンテンツ安全性、監査証跡、インシデント対応、欧州での市場投入のしやすさが、企業向け配布の条件になる。

高リスクAIシステムの一部義務は、用途別では2027年12月2日、製品安全法制に組み込まれるものでは2028年8月2日へ整理された。これは規制が軽くなるというより、カレンダーが細分化されるということだ。広い高リスク義務は後ろにずれつつ、特定の悪用類型にはより鋭い禁止が置かれる。

このため、欧州向けにサービスを出す企業や、グローバルで同じ調達基準を使う日本企業は、単に「その機能を使わない」と言うだけでは足りない。誰が利用できるか、どこまで生成できるか、何を記録するか、事故時にどう止めるかを、契約と管理画面の両方で確認することになる。

第一の分岐点は、正式採択が2026年8月2日までに進むかどうかである。予定通り進めば、企業は2026年12月2日に向けて透かし・来歴対応と、このカテゴリーの安全措置を同じ調達チェックに入れやすくなる。遅れれば、暫定合意を前提に準備しながら、最終責任の線引きを待つ期間が長くなる。

第二の分岐点は、「十分な安全措置」の中身だ。目的特化型の悪質アプリに狭く限られるなら、汎用モデル提供者の直接負担は相対的に抑えられる。一方で、安全措置が広く読まれれば、一般的な画像、動画、音声生成サービスでも、管理者制限、ログ、通報、削除、証拠保全が標準機能として求められる。

第三の分岐点は、企業の調達条件である。主要ベンダーが管理機能、来歴表示、悪用通報、監査資料を前倒しで整え、企業側が肖像、同意、合成性的メディアの禁止、事故時の協力義務を契約条項に入れ始めるなら、この規制は特定分野の禁止を超えて、企業AI全般の導入基準になる。

この話の実務上の核心は、AIが高品質なメディアを作れるかではない。配布された後のAIシステムを、組織がどこまで統制できるかである。承認、制限、監視、停止、記録を誰が担うのかが、企業導入の判断を左右する。

利用者にとっては、生成AIの便利さと同時に、本人の肖像や声が無断で扱われないことへの信頼が重要になる。企業にとっては、信頼できる導入とは、規約に禁止事項を書くことではなく、現場で機能する制御と証拠の流れを持つことだ。

長く残る競争軸は、信頼できる配布である。生成性能が同じなら、勝つのは、危険な使い方を減らし、問題が起きた時に止め、説明し、証拠を残せる製品になる。