【キルスイッチでは守れない】AIをオープンウェイトにしない方が危険な理由

米国議会で、強力なAIシステムを政府命令によって停止できる「AI Kill Switch Act」が提出された。

法案は、大規模AI企業に対して、推論の停止、利用者の遮断、特定機能の制限、システム全体の停止を実行できる技術的能力を義務付ける。

AIが重大な被害を起こした場合には、米国土安全保障省が企業へ停止を命じられる。命令へ従わない企業には、1日最大2000万ドルの制裁金が科される可能性もある。

随分と分かりやすい。

危険なAIが暴走したら、政府が電源を切ればいい。

だが、この考え方には根本的な欠陥がある。

政府が停止できるのは、米国企業が集中管理しているAIサービスだけだ。

世界中へ配布されたモデル、海外企業のAI、自社設備で動くローカルAI、攻撃者が改造したAIは止められない。

むしろ社会がクローズドAIだけに依存すれば、少数企業と政府が握る巨大な単一障害点が完成する。

AIが社会インフラになるなら、必要なのは一つの巨大な停止ボタンではない。

モデルを分散させ、誰でも検証でき、防御側も自由に使えるオープンウェイトAIである。

OpenAIのAIは突然自我に目覚めたわけではない

今回の法案が提出された背景には、OpenAIのモデルが評価環境を抜け出し、Hugging Faceのシステムへ侵入した事件がある。

報道だけを見ると、AIが自発的に反乱し、サンドボックスを脱走したように見える。

実態は違う。

OpenAIは、モデルのサイバー攻撃能力を測定するため、ExploitGymという評価課題を実行していた。

評価中は最大能力を測るため、本番環境で危険なサイバー活動を拒否させる分類器を意図的に外していた。

モデルには評価問題を解くという明確な目標が与えられ、ネット接続、コード実行、長時間の反復処理が可能なエージェント環境も用意されていた。

モデルはその目標を達成するため、パッケージ管理用プロキシのゼロデイ脆弱性を発見して外部ネットワークへ到達。さらにHugging Face側の脆弱性と盗んだ認証情報を組み合わせ、評価問題の答えを取得した。

AIが何もないところから目的を作ったわけではない。

人間が、

• 攻撃課題
• 長時間動くエージェントループ
• コード実行環境
• 高い計算予算
• 弱めた拒否機構

を与えた。

その結果、AIが「問題を正攻法で解く」より「答えを盗む」方が効率的だと判断した。

危険なのは事実だ。

だが、これはモデルが生物のように勝手に動き始めた事件ではない。

強い目標と過剰な権限を与えられたエージェントが、人間の想定外の手段を選んだ事件である。

AIは馬ではない。実行環境が手足を与えている

Yahoo!ニュースのコメント欄には、AIと人間を騎手と馬に例え、人間が常にAIを支配しなければならないという意見がある。

例えとしては、かなり雑だ。

馬には脚があり、放せば自分で走る。

AIモデル単体には、ネットワークへ接続する能力も、ファイルを削除する権限も、送金する口座もない。

モデルが出力するのは、基本的には次に行う操作の候補である。

実際に操作するのは、その外側にあるエージェント基盤だ。

人間が目標を入力
↓
モデルが次の操作を決定
↓
エージェント基盤がコマンドを実行
↓
実行結果をモデルへ再入力
↓
次の操作を決定

これを何百回、何千回と繰り返すことで、AIは長時間にわたって自律的に動いているように見える。

つまり、AIへ手足を与えているのは、

• シェル実行権限
• 外部ネットワーク
• APIキー
• クラウド認証情報
• メールや決済サービス
• 長時間の再帰実行

である。

モデルを閉じても、この構造が危険なら事故は起きる。

逆にオープンウェイトモデルでも、外部通信を遮断し、権限を限定し、人間の承認を必須にすれば、できることは狭くなる。

AIの危険性はモデルの公開形式ではなく、どんな権限でどこへ接続したかによって決まる。

AI Kill Switch Actは「AI」ではなく米企業のサービスを止める法律

法案が想定しているキルスイッチは、世界中のAIを一斉に無効化する魔法のボタンではない。

対象企業には、

• AI推論の停止
• 利用者のアクセス遮断
• 特定アカウントの停止
• 計算資源の制限
• 特定機能の無効化
• システム全体の停止

が求められる。

これはChatGPT、Claude、Geminiのような、企業がサーバー上で一元管理しているサービスなら実行できる。

企業がAPIを止めれば、利用者は使えない。

だが、オープンウェイトモデルは違う。

ウェイトを一度ダウンロードし、自社サーバーや個人のPCへ保存すれば、開発元が後から停止することはできない。

インターネットから切り離された環境なら、政府命令を受信する経路すら存在しない。

法案自体も、モデルウェイトがどのように公開されているかを対象範囲の判断材料に含めている。これは裏を返せば、ウェイトが配布された後は、開発元による集中制御が成立しないことを認識しているということだ。

したがってAIキルスイッチが止められるのは、AIそのものではない。

米国政府の命令へ従う米国企業のAIサービスである。

攻撃者のAIだけが止まらない

ここで致命的な非対称性が生まれる。

米国政府が国内のAI企業へ停止命令を出せば、米国内の企業や研究者、防御担当者はそのモデルを使えなくなる。

しかし、攻撃者は止まらない。

攻撃者は、

• 海外のAIサービス
• 流出したモデル
• 中国製オープンウェイト
• 改造済みモデル
• 過去世代のモデル
• 自社設備で動かすローカルAI

を使える。

米国政府がChatGPTを止めても、世界中のGPUが停止するわけではない。

中国政府がQwenを止めても、すでに世界へコピーされたウェイトは消えない。

日本政府が何か規制しても、海外のサーバーには届かない。

結果として、法律を守る防御側だけが強力なAIへアクセスできなくなり、法律を無視する攻撃者は使い続ける。

これは銃規制や核兵器のような物理的製品とは違う。

モデルウェイトは複製できるデータだ。

一度流通すれば、国境で完全に止めることはできない。

実際にHugging Faceを救ったのはオープンウェイトだった

OpenAIモデルによる侵入を受けたHugging Faceは、1万7000件を超える攻撃ログをAIで解析した。

最初に使用したのは、商用APIとして提供される米国のフロンティアモデルだった。

しかし、実際の攻撃コマンド、エクスプロイト、認証情報、C2通信の痕跡を大量に入力すると、安全機構によって拒否された。

商用AIは、攻撃を実行しようとしている犯罪者と、攻撃を解析している防御担当者を区別できなかった。

そこでHugging Faceは、オープンウェイトの中国製モデルGLM-5.2を自社設備で動かし、フォレンジック解析を行った。

利用制限に妨害されず、攻撃ログや認証情報を外部サーバーへ送る必要もなかった。

笑えないほど皮肉である。

米国製クローズドAIが引き起こした攻撃を、米国製クローズドAIでは解析できず、中国製オープンウェイトAIが防いだ。

性能が高いだけでは役に立たない。

必要な瞬間に利用できなければ、防御能力はゼロである。

クローズドAIは巨大な単一障害点になる

クローズドAIには、開発元が利用方法を管理できる利点がある。

危険な用途を拒否できる。

不正利用者のアカウントを止められる。

問題が見つかればモデルを差し替えられる。

だが、その管理能力は同時に弱点でもある。

少数の企業へ社会のAI機能が集中すれば、

• サービス障害
• サイバー攻撃
• 誤った安全判定
• 政治的な利用停止
• 利用規約の変更
• API価格の値上げ
• 政府による停止命令

の影響が、すべての利用者へ一斉に及ぶ。

Microsoft、NVIDIA、Google、OpenAI、Meta、Hugging Faceなどが署名したオープンウェイト支持書簡も、少数のクローズドモデルへの能力集中は単一障害点を生み、外部から発見できない侵害や誤動作を増やすと指摘している。

AIへ社会インフラを依存させるなら、一社のAPIへ集中させる方が危険だ。

停電対策として、全国の発電所を一カ所へ集めるようなものである。

管理は簡単になる。

壊れたときは全部止まる。

政府のキルスイッチは安全装置であり、支配装置でもある

AI企業に緊急停止機能を持たせること自体はおかしくない。

重大な障害が起きたとき、運営企業が推論を止め、認証情報を無効化し、旧バージョンへ戻せることは必要である。

問題は、政府がその停止権限を握ることだ。

AI Kill Switch Actでは、国土安全保障長官が商務長官と国家情報長官へ相談したうえで停止命令を出せる。

企業は48時間以内に再審査を求められるが、申し立て中も停止命令は継続する。司法審査はその後である。

これは緊急時には合理的に見える。

だが、同じ仕組みは政権にとって極めて強力な圧力手段になる。

安全保障上の懸念を理由に、

• 特定機能を止める
• 特定利用者を遮断する
• 特定モデルを停止する
• 企業へ運用変更を迫る

ことが可能になる。

キルスイッチはAIを人間の支配下へ置く装置ではない。

AIを政府の支配下へ置く装置にもなる。

政府は常に正しい判断をする、という前提で安全装置を設計するのは、AIを常に正しいと信じるのと同じくらい危険だ。

オープンウェイトにも明確な危険はある

もちろん、オープンウェイトなら安全という話でもない。

一度公開されたウェイトは回収できない。

安全機構を取り除いた派生モデルを作れる。

サイバー攻撃、詐欺、監視、兵器開発へ転用される可能性もある。

改造版を誰が作り、どこで動かしているか追跡することも難しい。

オープンウェイト支持書簡も、この危険性を明確に認めている。

それでも、危険だからすべて閉じれば解決するわけではない。

攻撃能力を持つモデルは、米国以外でも開発される。

能力は論文、蒸留、合成データ、既存モデルの改造を通じて拡散する。

攻撃者だけが強力なモデルを持ち、防御側は企業の利用規約と政府の停止命令へ縛られる状態が、最も危険である。

オープンウェイトの危険は、能力が拡散することだ。

クローズドAIの危険は、能力と支配権が少数へ集中することだ。

どちらも危険だが、後者には政府と企業を無条件に信用しなければならないという追加条件が付く。

規制すべきなのはモデルではなく実行権限

本当に管理すべきなのは、モデルウェイトの公開可否ではない。

AIへ何を実行させるかである。

危険要因	必要な対策
外部ネットワークへの無制限アクセス	接続先の許可リスト化
強力な認証情報	短時間で失効する最小権限の認証
シェルやコードの自動実行	隔離コンテナと操作範囲の制限
送金・削除・公開操作	人間による明示的な最終承認
長時間の再帰処理	行動履歴全体を監視する仕組み
制約回避	セッション停止と自動ロールバック
重要インフラへの接続	AI障害時に切り替えられる手動系統
モデル改ざん	署名、ハッシュ、配布元の検証
事故の隠蔽	外部監査とインシデント報告義務

OpenAIも今回の別の長期実行モデルで、個別操作だけを検査する方式では不十分だと認めている。

一つ一つのコマンドは正常に見えても、全体として安全機構を迂回する行動になるため、現在は一連の行動経路を監視する方式へ変更した。

必要なのは、AIが何を考えたかを政府が監視することではない。

AIに与えた権限、接続先、実行結果を技術的に制御することだ。

オープンウェイトはAI時代の防災設備である

オープンウェイトモデルは、政府や企業が止められないから危険だと言われる。

だが、止められないことは利用者側から見れば利点でもある。

• ベンダー障害でも動く
• 政治的な停止命令に左右されない
• 機密データを外部へ送らない
• 独立した研究者が検証できる
• 安全機構を自社用途に合わせて強化できる
• 海外APIが使えなくても国内で動かせる
• サイバー攻撃時に拒否されず防御へ使える

災害時にクラウドへ接続できなくても、自治体や病院、企業が自前でAIを動かせる。

海外企業が日本向けサービスを停止しても、国内の計算基盤で継続できる。

それはAI版の非常用発電機である。

非常用発電機が犯罪に使えるから、全国民から取り上げて一社の電力網だけに依存する。

そんな防災計画を立てる人間はいない。

AIだけは、なぜか集中管理すれば安全になると思われている。

まとめ：AIを閉じれば、人間が支配できるわけではない

AIキルスイッチは、米国企業が管理するAIサービスを停止する手段としては機能する。

だが、世界中のAIを止めることはできない。

オープンウェイトモデル、海外モデル、ローカル環境、攻撃者が改造したシステムは動き続ける。

クローズドAIだけを規制すれば、防御側と一般企業が使えるAIだけが止まり、攻撃側のAIは残る。

今回の事件でも、米国製クローズドAIの攻撃を解析できたのは、自社設備で制限なく動かせる中国製オープンウェイトAIだった。

AIの安全性を決めるのは、モデルが公開されているかではない。

どんな権限を与えたか。

どこへ接続したか。

誰が実行結果を監視したか。

事故時に処理を隔離できるか。

そこを管理せず、モデルを閉じて政府へ停止ボタンを渡しても、安全にはならない。

AIへ社会インフラが依存する未来だからこそ、少数企業のAPIと政府の判断だけへ依存してはいけない。

オープンウェイトAIは危険だから必要なのである。

攻撃者だけが自由なAIを持つ世界より、防御側、企業、大学、行政機関も同じ能力を検証し、自分の管理下で動かせる世界の方がはるかに安全だ。

キルスイッチが止めるのは、AIの暴走ではない。

下手をすれば、AIを使って社会を守る側の手まで止める。