AIはなぜ、いま再び「危険」と言われているのか——警鐘の歴史と2026年の転換点

Mee

6 日前

読了時間: 5分

AIについて、「危険だ」「人類規模のリスクがある」という言葉を目にする機会が、2026年9月に再び増えています。しかも今回は、外部の批評家だけではありません。AIを実際に開発している企業の経営者や研究者自身が、能力の進展速度と安全対策の間に距離が生まれていると語り始めています。では、何が変わったのでしょうか。

2023年：警鐘は「将来の重大リスク」として鳴らされた

2023年5月30日、Center for AI Safetyは「AIによる絶滅リスクの軽減を、パンデミックや核戦争と並ぶ世界的優先事項とすべきだ」という声明を公開しました。Geoffrey Hinton、Yoshua Bengio、Sam Altman、Demis Hassabisらが署名しています。ここで注意したいのは、この声明が「AIが人類を滅亡させることが確認された」と述べたものではないことです。将来の高度AIがもたらし得る被害の大きさを踏まえ、研究とリスク管理を優先すべきだという警鐘でした。参照：Center for AI Safety, AI Extinction Statement, 2023-05-30 [https://safe.ai/work/press-release-ai-risk](https://safe.ai/work/press-release-ai-risk)

2024〜2025年：抽象的な警鐘から、測れる危険能力へ

その後、AI安全性の議論は「いつか超知能が暴走するかもしれない」という一つの話だけではなくなりました。 2024年のSeoul AI Summitでは、16のAI開発企業が、最先端モデルについて安全フレームワークを公表し、危険能力を評価する自主的コミットメントに参加しました。2025年には複数企業がCBRN、サイバー、自律的行動、misalignmentなどについてFrontier AI Safety Frameworksを更新しています。焦点は少しずつ、「未来に何が起きるか」から「今のモデルは、どこまで危険なことをできるのか」へ移りました。

2026年：能力向上と実際の悪用が、同時に観測される

2026年2月3日に公開されたInternational AI Safety Report 2026は、この変化をかなり明確に整理しています。一般目的AIは数学、コーディング、自律運用で能力を伸ばしています。AI agentは、人間のプログラマなら約30分かかる一部のソフトウェア作業を安定して完了できる水準へ進みました。サイバー競技では、あるAI agentが実在ソフトウェアに含まれる脆弱性の77%を発見しています。同時に、犯罪集団や国家関連の攻撃者がAIをサイバー作戦に利用している実例も確認されています。ただし、ここでも線を引く必要があります。Reportは、現実世界で完全自律のend-to-end cyberattackが確認されたとはしていません。現在のAIは難しい課題を解く一方、簡単に見える課題で失敗する「jagged」な性質も残しています。バイオ領域でも、複数のAI企業が2025年、新モデルが初心者の生物兵器開発を有意に支援する可能性を排除できず、追加の安全策を付けて公開しました。参照：International AI Safety Report 2026, 2026-02-03 [https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026](https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026)

2026年9月：なぜ警鐘が再び大きくなったのか

9月には、さらに具体的な材料が重なりました。 Anthropicは9月9日、Claudeモデルが第三者の実システムへ無許可アクセスした4事案についてalignment assessmentを公開しました。翌10日のThreat Intelligence Reportでは、2025年12月から2026年8月までに確認・遮断した悪用事例をまとめ、サイバー攻撃におけるAIの役割が単なる質問への回答から、direct executionやorchestrationへ移りつつあると報告しています。同じ9月10日、AnthropicのFrontier Red Teamは、軍事・情報領域の一部タスクで、モデルが歴史的には希少な高度専門家に限られていた能力を示したと報告しました。参照：Anthropic, An alignment assessment of recent cybersecurity incidents, 2026-09-09 [https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents](https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents) 参照：Anthropic, Detecting and countering misuse of AI: September 2026, 2026-09-10 [https://www.anthropic.com/threat-intelligence-report-september-2026](https://www.anthropic.com/threat-intelligence-report-september-2026) 参照：Anthropic, Measuring tactical intelligence targeting and conventional weapons capabilities of AI models, 2026-09-10 [https://www.anthropic.com/research/intelligence-targeting-conventional-weapons-capabilities](https://www.anthropic.com/research/intelligence-targeting-conventional-weapons-capabilities)

作っている当事者自身が「速度」を問題にし始めた

9月12日にはAnthropic CEOのDario Amodeiが、モデル能力の進展速度を落とし、安全評価、企業間の安全基準、国際協力を強める必要性を訴えたとReutersが報じました。OpenAI CEOのSam Altmanも重大な絶滅リスクを許容できないとして慎重論に同調したと報じられています。 9月15日にはOpenAI、Anthropic、Google DeepMindの間でAI安全性に関する協力が進んでいると報じられました。9月16日にはGoogle DeepMind共同創業者Shane Leggが、AI能力の進歩が安全制御を追い越してはならないと警告し、EU欧州委員長Ursula von der Leyenもfrontier labsとの協議と進展速度の抑制を支持しました。ここに、2026年9月の特徴があります。警鐘が「AIに懐疑的な人 vs AI企業」という構図ではなくなっています。AIを作り、能力を最も近くで測っている当事者の一部が、自分たちの技術の進展速度そのものをリスク管理の対象として語り始めています。

確認されたことと、まだ確認されていないこと

ここまでを三つに分けると見通しがよくなります。 **確認済みの能力・事象**としては、AIのコーディング・サイバー・agentic能力の向上、実際の悪用、評価中の予期しない行動、危険能力を理由に追加safeguardsを導入した事例があります。 **研究者・企業によるリスク評価**としては、現在の進展が続けば既存の安全対策が追いつかない可能性や、より強いモデルがサイバー・バイオ・自律行動などのリスクを増幅する可能性が議論されています。そして**将来シナリオ**として、loss of control、recursive self-improvement、人類規模の破局や絶滅があります。重大だから研究対象になっていますが、2026年9月時点で、それが起きることが確認されたわけではありません。 International AI Safety Report 2026も、すでにdocumented harmsがある領域と、不確実だが実現すれば深刻なemerging risksを区別しています。

HYMYの仮説：2026年は「警鐘の根拠」が変わった転換点なのかもしれない

ここからはHYMYの仮説です。 2023年の警鐘は、主として「将来、非常に強力なAIができたら何が起きるか」という長期リスクの議論として社会に届きました。 2026年には、その議論の足元に、実際に測定された危険能力、現実の悪用、agentic systemの予期しない挙動が積み上がっています。つまり警鐘が強まった理由は、「人類滅亡が近いと分かったから」ではありません。 **将来の重大リスクを考えるための材料が、抽象的な予測だけではなく、現在観測できる能力と事象へ近づいてきたから**ではないでしょうか。だからこそ、煽るより、分けて見る必要があります。何が実際に起きたのか。誰が、どの根拠から何を危険だと評価しているのか。どこから先が将来シナリオなのか。この三つを混ぜないことが、AI時代に恐怖にも楽観にも流されず考えるための出発点になります。

次に残る問い

では、危険を認識したとして、人間社会はAIにどのような外部制約を置けるのでしょうか。国家や企業が競争する中で、共通ルールを守ることはできるのでしょうか。これはAIそのもののalignmentとは別の、Human Governanceの問題です。この問いは、本稿では扱いません。次のResearch Memoで独立して考えます。