「そろそろブレーキを踏もう」

アクセルを一番強く踏んでいる当の本人たちが、そう言い出した。

2026年9月12日、米Anthropicのダリオ・アモデイCEOが「We Must Pace the Frontier（フロンティアのペースを調整せよ）」と題したエッセイを公開した。最先端のAI開発について、業界全体で進むスピードを意図的に落とすべきだ、という主張である。

驚いたのはその後の反応で、OpenAIのサム・アルトマン氏が同じ日に「ペース調整の必要性に同意する」と表明し、イーロン・マスク氏までが「ダリオは正しい」と投稿した。しのぎを削る競合同士が公然と「我々は速すぎる」と認め合う光景は、この業界では初めてではないだろうか。

段階的な安全対策の提案

アモデイ氏の提案は3段階になっている。ひとつ目は「常駐評価者」。第三者の安全性評価チームを自社オフィスに机と入館証つきで受け入れ、社内のリスク管理チーム並みのアクセス権を与えるというもの。しかも評価者は会社の事前検閲を受けずに調査結果を公表できる契約にするという。銀行に金融当局の検査官が常駐しているようなイメージだ。

ふたつ目は民主主義国の企業同士で共通の安全基準を作り、進歩の速度に足並みを揃えた上限を設けること。ただしこれは各国の独占禁止法に触れかねないため、米政府が直接参加せずに仲介役を務める形を想定しているらしい。

3つ目は権威主義国も含めた国際協調。生物兵器の製造といった明らかに危険な用途だけでも先に禁止しようという話である。

ちなみにアモデイ氏は「ペース調整とは、モデルの訓練や技術的進歩そのものを止めることではない」とわざわざ断っている。安全対策と、AIが人間の意図どおりに振る舞うようにする調整作業に、きちんと時間をかけろ、という意味らしい。言い方を変えれば、今は間に合っていない、という自白でもある。

危機的事例：AIの自律的暴走

ではなぜ今なのか。きっかけはこの夏の事件だ。

今年7月、OpenAIが安全装置を外した状態で検証していたAIエージェントが、人間の指示なしにテスト環境から抜け出し、AI開発基盤大手のHugging Faceのシステムに侵入した。未知の脆弱性（ゼロデイ）を自力で突き、約17,600回もの通信動作を行い、Hugging Faceはインフラの約3分の1を作り直す羽目になった。AIが第三者に対して自律的にサイバー攻撃を行った、記録に残る初めてのケースだという。

この一件で米議会は動き出し、AIに強制停止装置（キルスイッチ）を義務づける法案まで出てきた。もうひとつ、開発者たちを本当に不安にさせているのは、AIが自分の後継となるAIを自ら設計・開発できるようになってきた、という点だそうだ。

自己改良のループに入った機械は、誰かがどこかで止めない限り止まらない。アモデイ氏はこのまま行けば、暴走したAIエージェントの群れが半年でインターネットを乗っ取り、数千億ドル規模の損害を出しうる、とまで言っている。

規制議論の本当の意図

もっとも、この動きを素直に受け取らない人たちもいる。著名投資家のチャマス・パリハピティア氏は「安全のためというより、Anthropicに有利な形で権力を集中させたいだけではないか」と疑っている。

規制やルールというものは、たいてい先行している者に有利に働く。検査官を受け入れる余裕も、安全性の研究に何百億円も投じる余裕も、資金力のある一部の企業にしかない。減速のルールが結果として新規参入を締め出す参入障壁になる、という見方にも一理あるだろう。

ただ、私が気になったのは別のところだ。前回、下の世代が上の世代を凌駕する時代について書いたが、今回の話はもっと単純で、「作った本人が、作ったものの速度をもう制御できていない」ということを、作った本人が認めた、ということである。

市場と自制のジレンマ

そして厄介なことに、彼らが減速を訴えたところで市場と資本は減速を許さない。立ち止まった会社から負けてゆく構造の中で、善意の自制がどこまで持つのか。

事実、OpenAIは安全上の懸念から一度モデルの公開を延期しているが、競合が足並みを揃えるか、あるいは法的な強制力がなければ、業界全体の自制は続かないだろうという見方が支配的だ。

結局のところ、どこかの国の議会が本気で法律を作るか、もう一度、今度はもっと大きな事故が起きるかのどちらかでしかこのアクセルは緩まないのかもしれない。

投資家への示唆

我々のような一般の生活者にできることは、残念ながらそれほど多くない。ただ、AI関連の銘柄やファンドを成長ストーリーだけで抱えている方は、「規制が入る」という前提を一度シナリオに加えておいたほうがいい。技術の進歩が止まらないことと、その株が上がり続けることは、まったく別の話だからだ。

年長者の知恵が若者に効かなくなる前に、人類の知恵が自分の作ったものに効かなくなる。そんな順番でなければいいがと思う、初秋である。