１．はじめに前回のレポートでは、AI主権をめぐる議論を取り上げた。今回は、本サミットの初回のメインテーマでもあった「AIセーフティ（AI Safety）」に焦点を当てる。2023年の英国ブレッチリー・パークにおける第1回AIセーフティ・サミットでは、最先端のAIにどのようなリスクがあるかを特定することが急務とされた。2026年のインドサミットでは、自律化するサイバー攻撃や、化学・生物兵器情報の提供など、リスクが次々と具体化する中で、それらを誰がどう管理するのかに議論の中心が移行している。モディ首相もキーノートにおいて、AIを核エネルギーになぞらえ、「正しく導かれれば解決策となる」と述べ、責任あるAIの必要性を訴えた。第1回：首脳宣言が示す「AIリソースの民主化」とテックトップが語る「AGIの加速」第2回：「AI主権」を紐解く3つのアプローチー覇権、ミドルパワー、オープンソース第3回（今回）： AIセーフティの最前線—複雑化するリスクと多層的ガバナンスへの道筋２．国際AIセーフティレポート 2026本サミットに先立ち、AIリスクに関する国際的な報告書「International AI Safety Report」の2026年版が公表された。AIのゴッドファーザーの一人、ヨシュア・ベンジオ（Yoshua Bengio）教授を議長とし、30カ国以上の支援を受けながら独立した執筆チームが作成した。主執筆者の一人であるスティーヴン・クレア（Stephen Clare）氏は、これを「意思決定者のための科学的エビデンスベース」と位置づけている。レポートは3章構成をとる。第1章（能力）では、2025年に数学オリンピック金メダル水準の達成やコーディングエージェントの実用化など、幅広い能力向上が確認された一方、高度な物理の問題に答えられても画像中の物体を数えられないといった「いびつな性能」にも注意を促す。第2章（リスク）では、ディープフェイクの拡散やAIによるサイバー攻撃の容易化など、理論上のリスクが実社会で顕在化し始めたことを報告。複数のフロンティア開発企業が、生物・化学兵器関連情報の提供に関する能力閾値への接近を自ら公表した点は特に注目に値する。第3章（リスク管理）では、不適切な出力を防止するガードレール技術の大幅な発展（英国のAI Safety Instituteのテストによれば、最先端の生成AIのガードレールを突破するのに要する時間は、数分から10時間程度になった）や、フロンティア企業12社によるセーフティ・フレームワーク策定など、技術的進展が認められた。他方、対策の適用が業界全体で不均一であること、そして現在の評価手法自体が実世界のリスクを十分に捕捉できていないという「評価ギャップ」を指摘している。レポートの核心的メッセージは、AIの安全性の課題が「技術的課題」から「ガバナンスの課題」へと重心を移しつつあるということだ。安全対策のツールキットは拡充されているが、それをいかに広く確実に適用させるかは、制度の問題なのである。３．パネルディスカッション「Who Watches the Watchers」筆者は、上記レポートの主執筆者であるクレア氏、及びAI評価の専門家であるシャイナ・マンスバック（Shaina Mansbach）氏と共に、米シンクタンクCSISのグレゴリー・アレン（Gregory Allen）氏をモデレーターとするパネルに登壇した（全編動画が下記にて公開されている）。%3Ciframe%20width%3D%221280%22%20height%3D%22720%22%20src%3D%22https%3A%2F%2Fwww.youtube.com%2Fembed%2FNL6lEFmkDek%22%20frameborder%3D%220%22%20allow%3D%22accelerometer%3B%20autoplay%3B%20encrypted-media%3B%20gyroscope%3B%20picture-in-picture%22%20allowfullscreen%3E%3C%2Fiframe%3E以下、そこでの主要な論点を振り返る。多層的な防御（defense in depth）の必要性クレア氏は、レポートの知見を踏まえ、リスク管理の責任を単一のアクターに帰属させることは適切でも現実的でもないと述べた。開発段階での訓練技術、デプロイメント段階でのモニタリングや分類器、エコシステム全体でのAIコンテンツの追跡、そして社会レベルでのレジリエンス向上（サイバー攻撃への耐性強化等）という、多層的な防御が必要だという。同時にクレア氏は、現在の評価手法の限界にも率直に言及した。AIモデルの監査において中心的なツールとなっているのは、特定トピックに関する質問セットを入力してその出力を評価する手法であるが、現実世界の膨大なユースケースにおけるリスクを捕捉するには狭すぎる。しかもモデルの能力は急速に進化するため、仮にベストプラクティスが確立されたとしてもすぐに陳腐化してしまう。また、監査を受けること自体にコストや競争上のリスク（モデル情報の外部共有）が伴うため、企業にとってはあまりメリットがないと指摘した。独立検証組織（IVO）のマーケットプレイス構想このような指摘を受け、マンスバック氏は、AIの能力が急伸する中で、開発者、導入企業、規制当局、そして一般市民のすべてが「信頼の問題」に直面していると整理した。従来型のトップダウン型の規制には、技術変化のスピードに追いつけないという「速度の問題」と、AIシステムを理解する専門人材がフロンティアラボに集中しているという「技術的能力の問題」がある。かといって開発企業の自主規制に委ねることも十分ではない。開発企業は、常に安全性への投資と開発投資のトレードオフに直面しているからである。そこでマンスバック氏が提唱するのが、政府が認可・監督する独立検証組織（IVO）である。政府が「子どもの安全」「データ保護」「制御可能性」等のアウトカム（成果目標）を設定し、複数のIVOが競争的にテスト手法を開発・更新してそのアウトカムの達成を検証する。手続き的なチェックリストではなく、成果ベースのアプローチであることが特徴だ。これは、日本が志向している「ゴールベースの規制」とも親和的である。このモデルには、開発企業からの独立性、政府がアウトカムを設定する民主的説明責任、IVO間の競争がテスト手法の継続的改善を促す柔軟性、という利点があるという。IVOの普及にはインセンティブ設計が鍵となる。マンスバック氏は、（1）検証を受けた企業が訴訟において「注意義務を果たした」と推定される賠償責任の明確化、（2）大手保険会社がAI製品の引き受けに検証を条件とするようになる保険市場の形成、（3）学校・病院等が検証済み製品を選好する市場の競争優位、の3つを挙げた。モデレーターのアレン氏も、米国の宇宙産業ではAS9100認証なしには保険が得られず市場から事実上排除される先例があること、そして米国の主要保険会社が既にAI製品を企業リスク保険の対象から除外し始めている現状に触れ、保険市場によるガバナンス機能の重要性を強調した。AI規制の国際比較このような議論を受け、AIに関するルール設計について国際的な状況の説明を求められた筆者は、まず、「EUはハードロー、日本・米国はソフトロー」という言説が実態を反映していない点を指摘した。AIはどの国においても個人情報保護法、著作権法、金融・医療・自動車等の規制の対象になっている。課題は「規制するか否か」ではなく「既存規制のアップデートと追加ルールの組み合わせ」にある。EUは包括的・横断的な制度を志向し、日米は分野別アプローチを取る。日米の違いは、日本が事前的・予防的ルール形成を重視するのに対し、米国は事後的な訴訟による調整を重視する点にある。日本企業は与えられたルールへの適合には強い一方、自らガバナンスを設計しステークホルダーに説明する実践にはなお課題があり、アジャイルかつマルチステークホルダー型への転換が求められると述べた。また、第三者評価のインセンティブについては、特に自動運転、医療、金融、インフラなど、高い信頼性が求められる規制領域から先行的に進展していく可能性を指摘すると共に、公共調達も重要な推進力となりうることを述べた。４．まとめ——AIガバナンスは「原則の時代」から「実装の時代」にAIガバナンスは「原則の時代」を超え、「実装の時代」に入っている。各国・各地域で制度設計のアプローチが異なる中でも、既存法制度、ソフトロー、第三者評価、市場メカニズムをどう組み合わせるかが共通課題となっている。日本企業にとって重要なのは、トップダウンのルールだけでリスクをコントロールできる時代の終わりを認識すること、そして与えられたルールへの適合を超えて、自らガバナンスを設計し説明できる能力を備えることだ。第三者評価やAI保険市場といった新たなエコシステムの形成にも、受動的にではなく能動的に関与していくことが望まれる。＜こぼれ話＞日本でAIサミットを開催できるのか・・・？AIサミットの開催地は、毎回、その年の主催国が次回の場所をアナウンスするという形式をとっている。インドの次となる2027年の最有力候補は、スイスだといわれていた。他方、日本はといえば、インドサミットで上映された高市首相のビデオメッセージにおいて、できる限り早期に日本でサミットを開催したいとの熱意が述べられており、2028年の開催国の有力候補といわれていた。しかしサミットの終盤、インドはなんと、2027年の開催地をスイスと宣言するだけでなく、2028年の開催地をUAEとすると宣言してしまったのである。2年分の開催地を宣言するのは異例のことだ。背景には、UAEからインド政府への、次回開催に向けた強力な働きかけがあったといわれている。インドとしては、スイスとUAEの板挟みにあった結果の妥協策なのだろうが、日本は梯子を外された形になってしまった。しかし、だからといって日本開催を諦める必要はない。進歩の速いAIの世界では、年に2回サミットの開催があってもよい。中東の地政学的状況が混乱する中、UAEとうまく協力体制を構築することもできるかもしれない。米国も別の機会に開催を意図しているという。いずれにせよ、AI時代において、日本が技術面でも政策面でも国際社会で存在感を示しつづけることは極めて重要だ。本稿は公開情報や執筆者の専門的知見に基づいた一般的な分析・見解を提供するものです。本稿に記載の見解は執筆担当者の個人的見解であり、当社または当社のクライアントの見解ではありません。