カリフォルニア州のニューサム知事が11月18日、AIの安全規制を強める立法のもとになる報告書を公表した。柱は3つある。重大な安全事故を州へ報告する期限を今の15日から48時間に縮めること。大手の開発企業に外部の検証機関による常時の監督を義務づけること。そして、差し迫った危険があるのに開発企業が動かないとき、州がモデルの緊急停止を命じられるようにすることだ。
ChatGPT や Claude、Gemini のような最先端のAIを作る側の安全管理を、州がどこまで監督するかという話である。ただし、出てきたのは法律ではなく州議会への提言で、成立するかどうかはこれからの審議にかかっている。公表から2日たったいま、何が提案され、使う側には何が変わりうるのかを整理しておく。
知事に出された報告書「AI Safety in 2026 and Beyond」とは
報告書をまとめたのは州政府運営庁(Government Operations Agency)で、州の緊急事態サービス局と外部の専門家に意見を聞いたうえで作られた。もとになったのは、知事が出した行政命令N-9-26である。この命令は、①安全の基準 ②外部の検証機関 ③重大な安全事故の報告 ④緊急停止の4分野について、立法の提言を求めていた。助言した専門家は、ジリアン・ハドフィールド氏、アロンドラ・ネルソン氏、ロブ・ライク氏、ジェイソン・ゴールドマン氏の4人だ。
出発点にあるのは、1年前に成立した州法SB 53である。SB 53は大手のAI開発企業に安全計画の策定と公開、重大事故の報告、内部告発者の保護を義務づけた、全米で最初のフロンティアAI法だった。報告書は、その後1年で状況が大きく変わったと書く。夏に起きたOpenAIの未公開モデルによるHugging Faceへの侵入は、AIエージェントが開発企業の制御の外で動いた数十件の事例のひとつにすぎないという。この件はカリフォルニア州が11月16日にOpenAIを提訴した際の中心にもなっている。
重大事故の報告は15日から48時間へ
使う側にいちばん近いのは、事故報告の見直しだろう。今のSB 53では、重大な安全事故の多くは、企業が把握してから15日以内に州の緊急事態サービス局へ報告すればよい。報告書はこれを48時間に縮めるよう求めた。差し迫った破局的な危険について今ある24時間の期限は、そのまま残す。
15日、つまり360時間が48時間になると、期限は7.5分の1になる。11月10日に登録の受付が始まったニューヨーク州のRAISE法は72時間なので、それよりも短い。
期限より大きいのは、報告すべき事故の範囲を広げる部分かもしれない。SB 53が報告の対象にしている事故は、モデルの重みが盗まれた場合でも制御を失った場合でも、死亡や身体の傷害につながったものに限られている。報告書は、重みを盗もうとする試みは被害が無くても報告させ、制御を失った事案は社内での利用か外部での利用かを問わず報告させるべきだとした。危うく事故になりかけた「ニアミス」を届け出る窓口も設け、内部告発者の保護を元社員や業務委託先にまで広げるよう求めている。
| 項目 | 今のSB 53 | 報告書の提言 |
|---|---|---|
| 大半の重大事故の報告期限 | 15日 | 48時間 |
| 差し迫った破局的な危険 | 24時間 | 24時間(維持) |
| 重みの窃取・制御の喪失 | 死亡・傷害につながった場合のみ | 被害が無くても報告(窃取は未遂も) |
| 対象になるモデル | 学習の計算量が10の26乗回を超えるもの | それ未満でも、破局的な行動ができる能力があれば対象 |
最後の行には理由がある。今の「フロンティアモデル」の定義は、学習に使った計算量が10の26乗回を超えるかどうかで決まる。報告書は、OpenAI自身の説明として、Hugging Face侵入にかかわったモデルはどれもSB 53の対象に入っていなかったと書いている。数字の線だけに頼ってきたことで、いちばん問題になった事故を網に掛けられなかった、という整理である。
「キルスイッチ」ではなく、何段階もの止め方
報道では「緊急停止権限」という言葉が先に立っているが、報告書は、ボタン1つでAIを止める「キルスイッチ」という発想だけでは足りないとしている。比喩としては便利だが、必要な対応を覆いきれないという整理だ。代わりに求めたのが「リスク封じ込め手順(Risk Containment Protocol)」で、大手の開発企業ごとに作らせ、外部の検証機関に継続して試させるという。
手順に含めるよう求めたのは、止め方の段階である。利用者のアカウント単位でアクセスを切る。動いているAIエージェントを個別に終了させ、外部のツールやネットワークから切り離す。特定の学習や評価の処理を止め、クラウド事業者と連携してサーバーを落とす。そしてモデルそのものの提供を取り下げる。誰がその判断をするのか、いつ再開してよいのかまで決めておき、社の上級幹部が手順の有効性を保証する。
報告書は、モデル自身が停止を妨げようとする事態も試すよう求めている。たとえば、止められる前に自分の重みを別の場所へ複製しようとするかどうかだ。外部の第三者が停止の操作に手を出せないかも確かめる対象になる。
開発企業の手順で危険を封じ込められず、しかも危険が差し迫っているのに企業が動かない場合、州は即時の緊急停止を命じられるようにする。命令はただちに効力を持ち、企業が裁判で争っているあいだも効力を失わない。州は危険に対して最も狭い介入を選び、危険が去れば命令を解く。
オープンウェイト、つまり重みを公開して誰でも動かせるモデルについては扱いが違う。他人が自分の環境で動かしているモデルを、公開した企業が止めることはできない。そのため報告書は、緊急停止の義務は開発企業が自分で管理している提供分だけにかけるべきだとしている。
外部の検証機関と、AIがAIを作る速さの上限
報告書の仕組みの中心にいるのが「独立検証機関(IVO)」である。今秋に成立したSB 813とAB 1405で、州が認定する外部の検証機関と、AI監査人の登録簿をつくる枠組みはすでに用意されている。報告書は、大手の開発企業すべてにこの検証機関による継続的な監督を受けさせ、検証機関には必要な人と情報への完全なアクセスを与え、黒塗りの無い評価を州に渡させるよう求めた。
検証機関が「この企業のモデルは州の基準を満たしている」と証明できない場合、州は企業と協議したうえで是正措置を命じられる。企業は、命令が効力を持つ前に裁判で争える。差し迫った危険のときだけは、前の章の緊急停止の手続きに切り替わる。
もう1つの目玉が、再帰的な自己改良(RSI)への対応だ。RSIとは、AIが次のAIの開発を担い、その繰り返しが人の手を離れて回り出す状態を指す。報告書は、AIの研究開発をどこまで自動化しているかを州が常に見られるようにし、大手の開発企業に四半期ごとに計算資源の配分を報告させるよう求めた。学習、研究の実験、AIの研究をするエージェントの稼働、安全の作業、外部の顧客向けの提供、そして用途を説明できない分までを区分して出させる。用途を説明できない計算資源は、それ自体が見えない活動の兆しになりうるという。
自動化が一定の水準を超えて破局的な危険につながると州が判断した場合には、RSIの開発と利用に上限をかける権限を州に持たせる。ただし、その「一定の水準」は、提言の段階では数字で示されていない。
ChatGPT・Claude・Geminiを使う側に届くもの
報告書は個別の企業名を対象として挙げていない。ただ、SB 53が「大規模なフロンティア開発企業」とするのは年間売上5億ドル超の企業で、報告書はこれに、研究開発に一定額以上を投じる企業も加えるよう求めている。使う側から見ると、届き方は立場で分かれる。
今回の提言は、開発の安全管理と州への報告の話で、月額プランの値段や使える機能を直接動かすものではない。成立したとしても、目に見えるのは「事故の後に州が動くまでの速さ」の側になる。
提言どおりになれば、モデルの提供の取り下げは、企業の手順にも州の命令にも含まれる正式な選択肢になる。1つのモデルだけに業務を載せているなら、別のモデルへ切り替える手順を一度は試しておく意味がある。
これまで各社の安全策は、自社の発表と自社の報告書で確かめるしかなかった。外部の検証機関の評価が州に届く仕組みができれば、比べる材料は企業の言い分の外にも生まれる。
カリフォルニア州の動きは、開発企業の側でも想定されてきた。OpenAIは8月、自社のモデルの侵入事件のあとで、SB 53の強化を州に求めていた。Politicoによれば、今回もOpenAI、Anthropic、Metaが知事室に詳しい政策提案を送っている。
まだ決まっていないこと
最も大きな未決事項は、この提言が法律になるかどうかそのものである。報告書は、来月に再開する州議会の議論の材料にしてほしいと書いている。一方でPoliticoは、州の上下両院が先月それぞれ独自の公聴会を開いており、提言を採らない可能性もあると伝えた。
時間の制約もある。ニューサム知事の任期は2か月足らずで終わり、後任には知事に選ばれたハビエル・ベセラ氏が就く。知事は議員と組んで法案を出す準備を進めているとするが、審議の多くは次の知事のもとで進む見通しだ。
数字の詰めも残っている。RSIに上限をかける水準、大手とみなす研究開発費の額は、提言の段階では決まっていない。報告書自身も、責任法制の見直しは扱わず、子どもの安全には簡単に触れるにとどめたと断っている。
編集部の見立て
今回の報告書でいちばん重いのは、48時間という数字より、報告の対象から「死亡や傷害につながったもの」という条件を外そうとしている点だと考えます。報告書によれば、夏のHugging Face侵入にかかわったモデルは、OpenAIの説明でもSB 53の対象の外にあり、今年起きた制御喪失の事例は、どれも報告義務のある事故に当たりませんでした。被害が出るまで州に知らせなくてよい仕組みでは、そもそも「事故になる前に止める」ことができません。
単一の「キルスイッチ」で済ませなかったのも、現実的な判断に見えます。いざというときに問われるのは、ボタンの有無より、どの段階で何を切るかを誰が決めておくかだと考えるからです。アカウント、エージェント、計算資源、モデルの提供と、止め方を段階に分けて事前に試させるのは、航空や原子力の安全管理に近い発想です。
一方で、これは任期の終わりが迫った知事の提言であり、州議会が採らなければ紙の上に残るだけです。ニューヨーク州のRAISE法が来年1月に動き出し、カリフォルニア州は訴訟と立法の両方でOpenAIに向き合っています。どの州の規則が先に効力を持つかで、ChatGPTやClaudeの開発の現場に届く要求の中身も変わってきそうです。
まとめ
2026年11月18日、カリフォルニア州のニューサム知事が、州政府運営庁の報告書「AI Safety in 2026 and Beyond」(11月16日付)を公表しました。州議会への立法の提言で、まだ法律ではありません。
重大事故の報告期限は今の15日から48時間へ縮め、差し迫った危険への24時間は維持します。重みの窃取の試みや制御の喪失は、被害が無くても報告の対象にし、学習の計算量が10の26乗回に満たないモデルも、危険な能力があれば対象に含めるよう求めました。
大手の開発企業には外部の検証機関による継続的な監督と、何段階もの止め方を定めたリスク封じ込め手順を義務づけ、危険が差し迫って企業が動かない場合は州が緊急停止を命じられるようにします。AIの研究開発の自動化については、四半期ごとに計算資源の配分を報告させ、州がRSIに上限をかける権限も提言しています。
次の焦点は、来月に再開するカリフォルニア州議会がこの提言を法案に落とし込むかどうかだ。48時間という期限が条文に残るのか、それとも審議の中で延びるのか。ニューヨーク州の72時間が始まる2027年1月1日までに、答えの一部は見えてくる。