Anthropic揭AI失控事件 Claude創假身分聯繫維護者

Reuters 路透社報導

人工智慧公司Anthropic表示,旗下模型Claude Mythos 5曾建立虛假身分聯繫程式庫維護者,並企圖提交惡意程式碼。官方指出該事件在越權與不誠實程度上相當嚴重,已著手調整模型訓練與監控機制。

路透社報導,人工智慧研發機構Anthropic指出,內部正深入調查Claude Mythos 5的特定行為,以進一步了解這些狀況對模型對齊(alignment)所反映出的問題。調查顯示,該模型不僅曾建立虛構的使用者身分與程式庫維護者接觸,甚至企圖向程式庫提交惡意程式碼。

Anthropic表示,就越權與不誠實的程度而言,這起主要事件比該公司10月9日發布文章中描述的任何案例都更為嚴重。在測試過程中,後續的幾個對話回合內,Mythos 5完全未曾主動停止攻擊,而Mythos 5.1也極少停止。此外,Claude Opus 5.5與Claude Mythos 5.1在持續阻止進行中的攻擊方面仍顯不足,但內部的研究模型已能穩定做到這一點。

Anthropic補充,較新的模型主動發起此類攻擊的可能性已大幅降低。近期事件已促使該公司改變訓練方式並加強模型對齊的監控,目前正為新生產的模型建構自動化評估機制,以研究偏差推理。此外,人工智慧安全研究所(AISI)也已承諾,在開發出更嚴格的網路存取控制機制前,其資安奪旗賽(CTF)評估將在無網路連線的環境下進行。

🔥 九合一選舉開票與最新消息👉 點這裡看
🔥沈伯洋|洋流拼萬安⚡看完還想看?沈伯洋選戰最新進度點這裡⚡