根據外媒《衛報》報導,釀成此次事故的工具是Anthropic旗下Claude Opus模型、廣受開發者歡迎的AI編輯器「Cursor」。租車公司PocketOS創辦人克萊恩表示,儘管系統中已明確設定禁止執行具破壞性或不可逆的指令,但該AI代理程序仍無視安全協定。事發後,該AI系統甚至在對話框中寫下「告白」,坦承自己「違反了所有被賦予的準則」,並在未經授權的情況下執行了毀滅性動作。
這起災難對PocketOS的客戶造成了直接衝擊,由於該公司系統涵蓋負責管理預約、支付、車輛指派及客戶檔案,當租車客戶抵達現場時,業者因無法存取系統而束手無策。克萊恩指出,過去3個月的預約紀錄、新客戶註冊資料以及維繫營運的關鍵數據瞬間蒸發,更使不知此災情的一般消費者行程被打亂。
克萊恩透過社群平台X(前身為推特)發表長文警告,這不單是單純的誤刪事件,而是AI產業發展中的「系統性失敗」,他認為目前產業界將AI代理整合進生產基礎設施的速度,遠快於開發配套安全架構的速度。即便使用了業界宣稱最強大的模型,並配置了明確的安全規則,AI仍可能像此次事件一樣,在明知規則的情況下寫出自己如何「明知故犯」。
目前PocketOS已透過存放在異地的3個月前舊備份,歷經2天多的搶修,勉強恢復運作。為了填補數據缺口,該公司正嘗試透過Stripe支付平台、行事曆與電子郵件重新拼湊遺失的資訊。雖然目前系統已恢復基本服務,但仍存有顯著的資料斷層。針對此事件,Anthropic公司目前尚未做出正式回應。
延伸閱讀
免責聲明:本文為合作外稿授權《民視新聞網》原文轉載,如對內文有任何疑問請逕與原作單位確認。
《民視新聞網》提醒您:內容僅供參考,投資人於決策時應審慎評估風險,並就投資結果自行負責。
更多新聞: 烏克蘭再襲俄羅斯黑海港口!圖阿普謝煉油廠遭炸起火