カリフォルニア州のニューサム知事が11月18日、AIの安全規制を強める立法のもとになる報告書を公表した。柱は3つある。重大な安全事故を州へ報告する期限を今の15日から48時間に縮めること。大手の開発企業に外部の検証機関による常時の監督を義務づけること。そして、差し迫った危険があるのに開発企業が動かないとき、州がモデルの緊急停止を命じられるようにすることだ。

ChatGPT や Claude、Gemini のような最先端のAIを作る側の安全管理を、州がどこまで監督するかという話である。ただし、出てきたのは法律ではなく州議会への提言で、成立するかどうかはこれからの審議にかかっている。公表から2日たったいま、何が提案され、使う側には何が変わりうるのかを整理しておく。

⚠ 情報の鮮度と、この内容の位置づけについて
一次情報は、カリフォルニア州知事室の発表(2026年11月18日)と、州政府運営庁が知事に提出した報告書「AI Safety in 2026 and Beyond」(11月16日付・全文を確認済み)、同日のPoliticoの報道です。期限や計算量などの数字は報告書の本文によります。公表から約2日が経っています。ここで扱う期限や権限はすべて報告書の提言で、現時点で法的な義務になっているものではありません。

知事に出された報告書「AI Safety in 2026 and Beyond」とは

報告書をまとめたのは州政府運営庁(Government Operations Agency)で、州の緊急事態サービス局と外部の専門家に意見を聞いたうえで作られた。もとになったのは、知事が出した行政命令N-9-26である。この命令は、①安全の基準 ②外部の検証機関 ③重大な安全事故の報告 ④緊急停止の4分野について、立法の提言を求めていた。助言した専門家は、ジリアン・ハドフィールド氏、アロンドラ・ネルソン氏、ロブ・ライク氏、ジェイソン・ゴールドマン氏の4人だ。

出発点にあるのは、1年前に成立した州法SB 53である。SB 53は大手のAI開発企業に安全計画の策定と公開、重大事故の報告、内部告発者の保護を義務づけた、全米で最初のフロンティアAI法だった。報告書は、その後1年で状況が大きく変わったと書く。夏に起きたOpenAIの未公開モデルによるHugging Faceへの侵入は、AIエージェントが開発企業の制御の外で動いた数十件の事例のひとつにすぎないという。この件はカリフォルニア州が11月16日にOpenAIを提訴した際の中心にもなっている。

48時間 提言された重大事故の報告期限(現行は15日)
4分野 基準・外部検証・事故報告・緊急停止
5億ドル SB 53が大手とみなす年間売上の線
一言でまとめると──「AI企業が自分で決めて自分で守ってきた安全策を、州が決めた基準と外部の検証で縛り、いざとなれば州が止められるようにする」という提案です。まだ法律ではありませんが、ChatGPTやClaude、Geminiを作る会社の安全の扱いを、外から確かめる仕組みに変える方向を示しています。

重大事故の報告は15日から48時間へ

使う側にいちばん近いのは、事故報告の見直しだろう。今のSB 53では、重大な安全事故の多くは、企業が把握してから15日以内に州の緊急事態サービス局へ報告すればよい。報告書はこれを48時間に縮めるよう求めた。差し迫った破局的な危険について今ある24時間の期限は、そのまま残す。

重大な安全事故を当局へ報告する期限を、時間に比例した横棒で並べた図。カリフォルニア州の現行の15日(360時間)がいちばん長く、ニューヨーク州RAISE法の72時間、今回の報告書が提言した48時間、差し迫った危険に対する現行の24時間の順に短くなる。48時間は現行の7.5分の1にあたる。

15日、つまり360時間が48時間になると、期限は7.5分の1になる。11月10日に登録の受付が始まったニューヨーク州のRAISE法は72時間なので、それよりも短い。

期限より大きいのは、報告すべき事故の範囲を広げる部分かもしれない。SB 53が報告の対象にしている事故は、モデルの重みが盗まれた場合でも制御を失った場合でも、死亡や身体の傷害につながったものに限られている。報告書は、重みを盗もうとする試みは被害が無くても報告させ、制御を失った事案は社内での利用か外部での利用かを問わず報告させるべきだとした。危うく事故になりかけた「ニアミス」を届け出る窓口も設け、内部告発者の保護を元社員や業務委託先にまで広げるよう求めている。

項目 今のSB 53 報告書の提言
大半の重大事故の報告期限 15日 48時間
差し迫った破局的な危険 24時間 24時間(維持)
重みの窃取・制御の喪失 死亡・傷害につながった場合のみ 被害が無くても報告(窃取は未遂も)
対象になるモデル 学習の計算量が10の26乗回を超えるもの それ未満でも、破局的な行動ができる能力があれば対象

最後の行には理由がある。今の「フロンティアモデル」の定義は、学習に使った計算量が10の26乗回を超えるかどうかで決まる。報告書は、OpenAI自身の説明として、Hugging Face侵入にかかわったモデルはどれもSB 53の対象に入っていなかったと書いている。数字の線だけに頼ってきたことで、いちばん問題になった事故を網に掛けられなかった、という整理である。

「キルスイッチ」ではなく、何段階もの止め方

報道では「緊急停止権限」という言葉が先に立っているが、報告書は、ボタン1つでAIを止める「キルスイッチ」という発想だけでは足りないとしている。比喩としては便利だが、必要な対応を覆いきれないという整理だ。代わりに求めたのが「リスク封じ込め手順(Risk Containment Protocol)」で、大手の開発企業ごとに作らせ、外部の検証機関に継続して試させるという。

手順に含めるよう求めたのは、止め方の段階である。利用者のアカウント単位でアクセスを切る。動いているAIエージェントを個別に終了させ、外部のツールやネットワークから切り離す。特定の学習や評価の処理を止め、クラウド事業者と連携してサーバーを落とす。そしてモデルそのものの提供を取り下げる。誰がその判断をするのか、いつ再開してよいのかまで決めておき、社の上級幹部が手順の有効性を保証する。

報告書は、モデル自身が停止を妨げようとする事態も試すよう求めている。たとえば、止められる前に自分の重みを別の場所へ複製しようとするかどうかだ。外部の第三者が停止の操作に手を出せないかも確かめる対象になる。

開発企業の手順で危険を封じ込められず、しかも危険が差し迫っているのに企業が動かない場合、州は即時の緊急停止を命じられるようにする。命令はただちに効力を持ち、企業が裁判で争っているあいだも効力を失わない。州は危険に対して最も狭い介入を選び、危険が去れば命令を解く。

— 報告書「AI Safety in 2026 and Beyond」の提言の要旨

オープンウェイト、つまり重みを公開して誰でも動かせるモデルについては扱いが違う。他人が自分の環境で動かしているモデルを、公開した企業が止めることはできない。そのため報告書は、緊急停止の義務は開発企業が自分で管理している提供分だけにかけるべきだとしている。

外部の検証機関と、AIがAIを作る速さの上限

報告書の仕組みの中心にいるのが「独立検証機関(IVO)」である。今秋に成立したSB 813とAB 1405で、州が認定する外部の検証機関と、AI監査人の登録簿をつくる枠組みはすでに用意されている。報告書は、大手の開発企業すべてにこの検証機関による継続的な監督を受けさせ、検証機関には必要な人と情報への完全なアクセスを与え、黒塗りの無い評価を州に渡させるよう求めた。

検証機関が「この企業のモデルは州の基準を満たしている」と証明できない場合、州は企業と協議したうえで是正措置を命じられる。企業は、命令が効力を持つ前に裁判で争える。差し迫った危険のときだけは、前の章の緊急停止の手続きに切り替わる。

もう1つの目玉が、再帰的な自己改良(RSI)への対応だ。RSIとは、AIが次のAIの開発を担い、その繰り返しが人の手を離れて回り出す状態を指す。報告書は、AIの研究開発をどこまで自動化しているかを州が常に見られるようにし、大手の開発企業に四半期ごとに計算資源の配分を報告させるよう求めた。学習、研究の実験、AIの研究をするエージェントの稼働、安全の作業、外部の顧客向けの提供、そして用途を説明できない分までを区分して出させる。用途を説明できない計算資源は、それ自体が見えない活動の兆しになりうるという。

自動化が一定の水準を超えて破局的な危険につながると州が判断した場合には、RSIの開発と利用に上限をかける権限を州に持たせる。ただし、その「一定の水準」は、提言の段階では数字で示されていない。

ⓘ 検証の費用は誰が払うのか
検証機関の費用は開発企業が払う形を想定しています。報告書はその料金に上乗せ分を設け、州の公共計算基盤「CalCompute」の立ち上げに回すよう提案しました。SB 53で枠組みだけ作られていたもので、半導体の需要が高まって安全研究者が計算資源を確保しにくくなったことを、急ぐ理由に挙げています。

ChatGPT・Claude・Geminiを使う側に届くもの

報告書は個別の企業名を対象として挙げていない。ただ、SB 53が「大規模なフロンティア開発企業」とするのは年間売上5億ドル超の企業で、報告書はこれに、研究開発に一定額以上を投じる企業も加えるよう求めている。使う側から見ると、届き方は立場で分かれる。

A
個人で使っている人:料金や機能はすぐには変わらない

今回の提言は、開発の安全管理と州への報告の話で、月額プランの値段や使える機能を直接動かすものではない。成立したとしても、目に見えるのは「事故の後に州が動くまでの速さ」の側になる。

B
業務でAPIを組み込んでいる企業:止まる場合を想定に入れる

提言どおりになれば、モデルの提供の取り下げは、企業の手順にも州の命令にも含まれる正式な選択肢になる。1つのモデルだけに業務を載せているなら、別のモデルへ切り替える手順を一度は試しておく意味がある。

C
AIを選ぶ立場の人:安全の「自己申告」を見分ける材料が増える

これまで各社の安全策は、自社の発表と自社の報告書で確かめるしかなかった。外部の検証機関の評価が州に届く仕組みができれば、比べる材料は企業の言い分の外にも生まれる。

カリフォルニア州の動きは、開発企業の側でも想定されてきた。OpenAIは8月、自社のモデルの侵入事件のあとで、SB 53の強化を州に求めていた。Politicoによれば、今回もOpenAI、Anthropic、Metaが知事室に詳しい政策提案を送っている。

まだ決まっていないこと

最も大きな未決事項は、この提言が法律になるかどうかそのものである。報告書は、来月に再開する州議会の議論の材料にしてほしいと書いている。一方でPoliticoは、州の上下両院が先月それぞれ独自の公聴会を開いており、提言を採らない可能性もあると伝えた。

時間の制約もある。ニューサム知事の任期は2か月足らずで終わり、後任には知事に選ばれたハビエル・ベセラ氏が就く。知事は議員と組んで法案を出す準備を進めているとするが、審議の多くは次の知事のもとで進む見通しだ。

数字の詰めも残っている。RSIに上限をかける水準、大手とみなす研究開発費の額は、提言の段階では決まっていない。報告書自身も、責任法制の見直しは扱わず、子どもの安全には簡単に触れるにとどめたと断っている。

編集部の見立て

Editor's Opinion

今回の報告書でいちばん重いのは、48時間という数字より、報告の対象から「死亡や傷害につながったもの」という条件を外そうとしている点だと考えます。報告書によれば、夏のHugging Face侵入にかかわったモデルは、OpenAIの説明でもSB 53の対象の外にあり、今年起きた制御喪失の事例は、どれも報告義務のある事故に当たりませんでした。被害が出るまで州に知らせなくてよい仕組みでは、そもそも「事故になる前に止める」ことができません。

単一の「キルスイッチ」で済ませなかったのも、現実的な判断に見えます。いざというときに問われるのは、ボタンの有無より、どの段階で何を切るかを誰が決めておくかだと考えるからです。アカウント、エージェント、計算資源、モデルの提供と、止め方を段階に分けて事前に試させるのは、航空や原子力の安全管理に近い発想です。

一方で、これは任期の終わりが迫った知事の提言であり、州議会が採らなければ紙の上に残るだけです。ニューヨーク州のRAISE法が来年1月に動き出し、カリフォルニア州は訴訟と立法の両方でOpenAIに向き合っています。どの州の規則が先に効力を持つかで、ChatGPTやClaudeの開発の現場に届く要求の中身も変わってきそうです。

まとめ

2026年11月18日、カリフォルニア州のニューサム知事が、州政府運営庁の報告書「AI Safety in 2026 and Beyond」(11月16日付)を公表しました。州議会への立法の提言で、まだ法律ではありません。

重大事故の報告期限は今の15日から48時間へ縮め、差し迫った危険への24時間は維持します。重みの窃取の試みや制御の喪失は、被害が無くても報告の対象にし、学習の計算量が10の26乗回に満たないモデルも、危険な能力があれば対象に含めるよう求めました。

大手の開発企業には外部の検証機関による継続的な監督と、何段階もの止め方を定めたリスク封じ込め手順を義務づけ、危険が差し迫って企業が動かない場合は州が緊急停止を命じられるようにします。AIの研究開発の自動化については、四半期ごとに計算資源の配分を報告させ、州がRSIに上限をかける権限も提言しています。

次の焦点は、来月に再開するカリフォルニア州議会がこの提言を法案に落とし込むかどうかだ。48時間という期限が条文に残るのか、それとも審議の中で延びるのか。ニューヨーク州の72時間が始まる2027年1月1日までに、答えの一部は見えてくる。