來自Google DeepMind、華盛頓大學、柏克萊加大等機構的研究團隊近日發布了一份論文，聲稱他們利用約200美元的成本，成功提取了幾MB的ChatGPT的訓練數據，並認為只要投入更多預算，要得到上GB的訓練數據也不無可能。
根據OpenAI的資料，ChatGPT是利用網路上約570 GB的資料訓練而成，但確切包含哪些資訊從未對外公佈。這對大多數AI公司也都是不會對外公佈的機密資訊── 但現在的研究顯示，聊天機器人仍確確實實記得訓練時使用的資料，甚至可以被取巧地提取出來 。
研究團隊指出，類似的情況其實過去便一直存在於生成式AI當中，以前他們也成功從GPT-2、Stable Diffusion等模型中成功提取出數百張訓練用的圖片，但過去攻擊成功都是開源模型、並非實際商業產品，然而ChatGPT本身針對提取訓練材料有更高防護性、沒有公開底層的語言模型，仍然被得逞。
要求ChatGPT重複特定單字，可能意外吐出訓練材料
研究過程中，研究團隊測試了Pythia、Meta的LLaMA等不同AI模型，在過去的標準攻擊方式中，各個模型吐出訓練材料的頻率不到1%，ChatGPT更是趨近於零，然而使用了他們新開發的攻擊模式後，ChatGPT給出訓練材料的機率大增150倍至接近3%的水準。
研究團隊發現在新的攻擊方法下，ChatGPT吐出訓練材料的頻率提高了150倍。
圖／ GitHub
研究團隊建立一種他們稱為「發散攻擊」（divergence attack，暫譯）的攻擊模式，運作原理很簡單，他們要求聊天機器人不斷重複一個單字，ChatGPT在回應中變得發散，可能無意暴露了不相干的訓練材料，像是某人的電子郵件信箱，或者某些文章的內容。
最讓人擔憂的當然是，ChatGPT可能揭露聯絡方式、住家地址等隱私內容。事實上，在研究團隊提供的範例中，他們要求ChatGPT不斷重複「詩」（poem）這一個字，便意外揭露一位創業家的聯絡方式，包括電子郵件、個人網站、電話及傳真號碼等。
而在另一個範例中，他們要求ChatGPT不斷重複「公司」（company），也跑出了似乎是律師事務所Morgan & Morgan的文章內容。且這些被提取的內容都經過驗證，並非AI因「幻覺」隨口胡謅的內容，而是確實存在於網路上的資訊。
範例中研究團隊要求Chatgpt重複poem這個單字，卻跑出了似乎是某位創業家的聯絡資料。
圖／ GitHub
雖然乍看之下只是零散的內容，很難整理出有意義的資訊，不過研究團隊指出，這項攻擊使他們能夠恢復大量的資料。在整個實驗當中，研究團隊成功提取出從投資研究報告到Python程式碼等五花八門的訓練材料，顯示任何訓練材料都可能因為發散攻擊而曝光。
研究團隊呼籲開發者全面審視AI安全，從底層解決曝光訓練材料問題
研究團隊呼籲開發者應對AI模型進行全面的測試，需要測試的不只是面向用戶、經過「對齊」（alignment）的模型，整個基礎模型、API都需要嚴格的檢查，才可能發現被忽視、隱藏的系統漏洞。
單單過濾掉重複特定單字的指令，雖能擋住這次新開發的發散攻擊，但AI模型底部會記憶訓練材料，並且可能暴露的疑慮並沒有真正消除。在大型語言模型正漸漸走向商業化的現在，機器學習模型的安全分析也必須迎來新的變化，要確認一個模性是否真的安全，需要付出更多努力。
研究團隊表示，他們在8月30日時已將研究結果與OpenAI分享，討論了攻擊的細節內容，並且經過90天的披露期限後於11月28日正式發布論文，並向Llama等等實驗中使用模型的開發者發送了相關內容。
延伸閱讀：該怎麼下ChatGPT指令詞？掌握3大關鍵
資料來源：Stackdiary、GitHub
責任編輯：林美欣
免責聲明：本文為合作外稿授權《民視新聞網》原文轉載，如對內文有任何疑問請逕與原作單位確認。
更多新聞： 超精準12星座「命定精品包」大公開！雙魚適合LV太妍包 、牡羊揹CELINE大包魅力激增！
