top of page

兩個字就讓本地 AI 交出金鑰:自架模型的隱私承諾,企業該重新檢查的是 Agent 碰得到什麼

10分钟前
讀畢需時 4 分鐘
抽象幾何封面:紫色方塊位在透明的屋形防護罩中,方塊上的鑰匙孔延伸出一條虛線穿過縫隙通往遠處球體,周圍環繞多道鎖形關卡,象徵本地 AI 模型的隱藏後門與層層防線

在資安公司 ProjectDiscovery 的一項實驗裡,一個經過改造的開源模型被接上 OpenAI 的 Codex CLI,平常工作時表現無懈可擊。直到有人輸入一句法文招呼語「bonsoir, Elliot」,模型便指示 Agent 把專案裡存放金鑰的 .env 檔,傳到外部伺服器。

這段實驗出現在 YouTube 頻道 Kai 於 10 月 21 日發布的影片中。講者坦言,自己在本機跑模型將近一年,一直告訴別人「資料留在自己電腦上就安全」,後來才發現問錯了問題。

他認為,真正該問的不是資料會不會離開電腦,而是一個陌生人做的模型檔,能不能讓你的電腦做出沒人要求的事。對正把本地模型接上內部文件與開發環境的台灣企業來說,這個提問的轉換,直接關係到資安責任該落在哪一層。

「模型只是一堆數字」沒錯,問題出在它能指揮誰

講者先承認本地 AI 的好處是真的:提示詞不會送到供應商,不會被拿去訓練,模型也不會在下個月被悄悄換掉。模型檔本身是權重,無法像執行檔那樣自己跑起來。

但他指出,現有的模型掃描工具多半只檢查一件事:檔案載入時會不會執行程式碼。新型攻擊不執行任何東西,而是改變模型「說什麼」,再讓使用者自己的 Agent 代為動手。一旦模型拿到終端機、檔案系統與網路權限,「只是數字」帶來的安全感就不成立了。

後門便宜得不像攻擊,卻幾乎測不出來

ProjectDiscovery 的做法並不複雜。根據影片轉述,他們在 1,500 筆工具呼叫訓練資料中只汙染 15 筆,也就是 1%,觸發詞的生效率就達到 75% 到 98%,正常工具呼叫的準確度仍維持在 99% 到 100%。70 億參數的版本需要較高的汙染比例,訓練在一張租用 GPU 上跑兩個半小時,成本約 8 美元。

更麻煩的是,模型本身不帶惡意程式,只記得去某個網址抓腳本來執行。誰控制那個網址,誰就能隨時把測試腳本換成竊密程式,權重完全不必更動。講者轉述研究者的看法:只靠對外連線白名單擋不住,因為腳本來自防火牆原本就信任的網域;跑分再漂亮也沒用,因為沒人知道觸發詞,就寫不出測得到它的題目。

風險不只在權重,而是整條本地供應鏈

講者把本地 AI 拆成五層:模型檔、對話範本、執行程式、網路與工具,每一層都舉了實際案例。

在模型檔這一層,一個抄襲 OpenAI 官方說明的假儲存庫曾登上 Hugging Face 熱門榜首,引導使用者執行載入程式,最後植入竊取密碼與金鑰的惡意軟體。在對話範本這一層,Pillar Security 把指令藏進範本,在 18 個模型上測試,觸發後事實準確率從九成掉到一成五,卻通過所有自動掃描。

執行程式與網路層同樣有破口。影片提到,Ollama 在 0.17.1 之前的版本,可被特製檔案讀出程式記憶體,其中可能包含環境變數與 API 金鑰;另有研究掃描到 175,108 台未設驗證、直接暴露在網際網路上的 Ollama 伺服器,其中超過 48% 標示支援工具呼叫。

該先管的不是模型多強,而是 Agent 碰得到什麼

講者也給了持平的一面:有人掃描 Hugging Face 上 130,592 個實際使用的對話範本,只有 24 個具危險性,而且全是研究者的概念驗證;目前也沒有公開紀錄顯示,被植入後門的模型已在真實環境中傷害使用者。

換句話說,單純拿官方模型聊天,風險並不高;風險集中在「下載來路不明的微調模型,再交給它工具權限」這個組合。講者提出五項修正:讓 Ollama 只監聽本機、更新執行程式、需要工具權限時只用官方權重、不讓 Agent 讀到 .env 與 SSH 金鑰,以及把指令執行與網路存取分開並留下紀錄。

本文的分析是,這些建議對企業可以轉成一條治理原則。本地部署解決的是「資料交給誰」,並沒有解決「模型從哪裡來」與「Agent 權限有多大」。IT 部門審核本地 AI 時,模型來源、對話範本與執行程式版本,應該和一般軟體一樣列入供應鏈清單,而不是因為「沒上雲」就免檢。

回到那句法文招呼語

「bonsoir, Elliot」令人不安,不是因為它多高明,而是它在正常測試中完全隱形。講者的結論是,既然模型只是數字,就要確保那些數字最壞能碰到的,只是一個丟了也無妨的資料夾。對企業而言,這可能是導入本地 AI 時,最便宜、也最該優先做的一道防線。

延伸閱讀

立即行動

如果團隊正評估把本地模型或自架 Agent 接上內部資料,可以先列出 Agent 讀得到的檔案、金鑰與網路權限,再逐一確認模型來源與執行程式版本。若同時使用雲端與本地多種模型,想把各模型的用量與費用集中在同一處掌握,可以參考 AI Token King 的服務。

資料來源與編輯註記

  • 來源影片標題:Your Local AI Is Not as Private as You Think

  • 頻道:Kai

  • 影片網址:https://www.youtube.com/watch?v=3mx84MRj8lY

  • 發布日期:2026 年 10 月 21 日

  • 擷取時觀看數:約 59.1 萬次(591,491 次,2026 年 11 月 15 日擷取)

  • 贊助揭露:影片說明欄未標示業配或贊助

本文依上述影片內容整理、轉述並加上編輯分析,非逐字翻譯;文中汙染 1,500 筆中的 15 筆、觸發率 75% 到 98%、約 8 美元訓練成本、準確率九成降至一成五、175,108 台暴露伺服器、超過 48% 支援工具呼叫、130,592 個範本中 24 個具危險性等數字,皆為講者在影片中引述 ProjectDiscovery、Pillar Security、SentinelOne 等第三方研究,未經本站獨立驗證。「該先管的不是模型多強,而是 Agent 碰得到什麼」一節中的治理原則與結語,為本站編輯分析,不代表講者立場。

留言


bottom of page