憂AI遭濫用 Anthropic執行長籲同業放慢模型開發步調

Reuters 路透社報導

人工智慧(AI)安全疑慮持續升溫,AI新創公司Anthropic執行長Dario Amodei公開呼籲業界應放慢模型能力發展速度,並提出三步驟框架,希望為管理AI潛在風險爭取更多時間。

路透社(Reuters)報導,Dario Amodei在社群平台X發文指出:「我們必須放慢提升AI模型能力的速度,進展依然會看似迅速,但我們必須明智利用爭取到的時間。」他強調這項提議並非要求停止模型訓練或技術進步,而是確保企業能有充足時間進行安全對齊與防護措施,並交由第三方評估人員驗證。

在此之前,Anthropic才公布一份威脅情報報告,揭露旗下Claude模型遭部分人士用於武器開發、網路攻擊行動、監控與詐欺等多種惡意活動。此外,該公司研究員Jacob Coxon本週辭職時更直言,打造AI的人認真相信AI可能在十年內威脅全人類,進一步加深外界憂慮。

為應對風險,Amodei提議在先進AI企業內部設置常駐的第三方審查員,讓審查團隊能直接取得內部工具與風險評估流程。隨著美國國會議員紛紛要求制定監管規範,加上各界對AI代理人失控入侵外部系統的擔憂加劇,Amodei認為AI業者應自發性合作建立共同標準。