總部位於舊金山、開發知名 AI 模型 Claude 的 Anthropic 公司週四發布報告，建議全球應暫停開發最強大的 AI 系統。該公司指出，尖端模型已開始展現可能脫離人類控制的跡象，若能適度放慢研發速度，將有助於社會結構與安全對齊研究趕上技術進步。然而，Anthropic 也坦言，若只有單一公司停止研發，競爭對手只會趁機超越，因此需要全球性的協調機制。
這項提議在華府與矽谷面臨巨大挑戰。許多官員與高層擔心，任何研發停滯都可能讓中國在這一場「世紀科技競賽」中取得戰略優勢。對此，美國總統川普近期表示，他已與中方討論在 AI 安全議題上合作的可能性。此外，川普本週也簽署行政命令，要求政府在最強大的 AI 模型發布前，擁有 30 天的初步審查權。
Anthropic 將 AI 監管比作核武軍控協議，但強調 AI 訓練比飛彈發射井更難追蹤，違規誘惑極大。報告更警告，AI 正在加速自身的研發進程，可能導致「遞迴自我改進」（recursive self-improvement），即系統在無需人類幫助下自行進化。該公司強調，雖然目前尚未達到此階段，但人類在 AI 開發過程中的角色正逐漸縮小，各國政府必須在危機發生前做好準備。
