開發知名聊天機器人Claude的人工智慧（AI）新創公司Anthropic，近日向業界發出嚴正警告。該公司指出，AI執行任務的能力大約每四個月就會翻倍，目前正邁向「遞迴自我改進」（recursive self-improvement）的臨界點，即技術可以在沒有人類干預的情況下自行進化。Anthropic強調，若系統具備完全構建其後繼者的能力，現有的安全監控與行為規範將面臨巨大挑戰。
儘管川普（Donald Trump）政府近期發布行政命令，要求實驗室自願提交最強大的模型進行政府資安測試，但監管腳步仍被認為過於緩慢。過去馬斯克（Elon Musk）也曾於2023年支持暫停研發六個月，以建立安全護欄，但當時並未獲得廣泛響應。Anthropic認為，單方面的停下腳步只會改變領先者地位，必須由多家資源充足的實驗室共同達成可驗證的協議，才能真正發揮作用。
值得注意的是，Anthropic近期在融資後估值已達9,650億美元，並已秘密提交在美上市申請，在估值與資金競賽中領先對手OpenAI。雖然該公司長期標榜重視安全，但今年二月也曾撤回一項安全承諾，表示若對手實力逼近，將不再保留具潛在危險的技術。目前OpenAI、Google（Alphabet）及Meta等競爭對手尚未對此暫停研發的呼籲做出回應。
