代理型 AI 的企業安全風險：權限、工具與人工覆核怎麼設計

代理型 AI（agentic AI）的風險，通常不是它突然「有了自己的意志」，而是系統把模型輸出連接到搜尋、資料庫、檔案、信箱、工單或部署工具後，給了它不該有的功能、權限或自主性。當輸入內容被操弄、模型判斷錯誤，或工具界線設計不清楚時，原本只是協助工作的代理，可能造成資料外洩、錯誤變更或不必要的資源消耗。本文聚焦於防禦與治理，不提供操弄或繞過安全控制的方法。

因此，企業評估代理型 AI 時，重點不只在模型能力，而是要問：它可以讀什麼、能做什麼、以誰的身分做、哪些動作需要人確認，以及出事時能否追查與停止。

什麼是「代理」帶來的額外風險？

一般聊天介面主要產生文字；代理則可能根據文字決定下一步、呼叫工具、讀取外部內容，並把上一輪結果帶入後續工作。這種可行動性很有價值，但也增加了信任邊界。OWASP 將 Excessive Agency（過度自主性）定義為：LLM 因意外、模糊或遭操弄的輸出而執行有害行動的弱點。

常見根因可歸納為三類：

• 功能過多：代理為了讀取文件，卻同時拿到刪除、寄送或修改設定等不必要功能。
• 權限過大：所有使用者或所有任務共用高權限憑證，沒有依工作範圍縮小存取權。
• 自主性過高：代理可直接執行付款、刪除、發佈、部署或權限變更，卻沒有獨立驗證與人工確認。

企業最應優先處理的五個風險面

1. 提示與內容操弄：使用者輸入、網頁、文件、郵件或知識庫內容都可能包含與任務無關的指令。系統應把不可信內容視為資料，而非自動授權的命令。
2. 工具誤用：模型選錯工具、填錯參數或把文字輸出直接送進危險的執行環境，都可能放大原本的錯誤。
3. 身分與權限混用：代理不應以共用管理員帳號代表每個使用者行事；存取權應綁定任務、使用者、資料範圍與有效期限。
4. 記憶與敏感資料：對話紀錄、長期記憶、除錯日誌與嵌入檢索都可能承載個資、商業機密或憑證。必須有資料分類、最小留存與可刪除機制。
5. 供應鏈與整合：外掛、MCP 工具、連接器、模型與知識來源都需要版本、來源、權限與變更紀錄；不要因為能整合就自動信任。

安全設計原則：讓代理「能協助，但不能越權」

• 從唯讀開始：第一階段只允許搜尋、摘要與建議，不讓代理直接改寫正式資料或設定。
• 最小權限與短期憑證：每個工具只提供完成當前任務所需的最小功能；以可撤銷、具範圍與有效期限的身分取代長期共用密鑰。
• 高影響動作必須確認：刪除、付款、外發訊息、發佈、部署、權限變更或大量資料操作，應顯示清楚的目標、範圍與影響後，交由具權限的人核准。
• 工具輸入與輸出都要驗證：以明確 schema、允許清單、參數上限與伺服端授權檢查保護工具；不要只依模型產生的自然語言判斷是否安全。
• 保留稽核與停止能力：記錄請求、模型／提示版本、工具呼叫、核准者與結果；提供立即撤銷憑證、停用工具和中止工作流程的開關。

一個可控的導入路徑

1. 盤點代理將接觸的資料、工具、使用者與外部系統，先定義不允許自動執行的高風險動作。
2. 在隔離的開發或測試環境建立最小版本，使用去識別化資料與模擬帳號驗證工作流程。
3. 為每個工具定義可用身分、允許動作、參數限制、速率限制與人工核准門檻。
4. 針對不可信內容、錯誤工具選擇、過度授權、資料外流與資源耗盡設計測試案例，並在不影響正式環境的情況下演練。
5. 上線後持續監測工具呼叫、被拒絕的操作、異常資源用量與人工覆核結果；若風險訊號升高，優先縮小權限或停用自動化，而不是只調整提示詞。

常見問題

只要有提示詞防護，代理就安全了嗎？

不夠。提示詞只能降低部分風險，不能取代伺服端授權、工具驗證、資料隔離與人工確認。安全控制應假設模型仍可能誤解或受到不可信內容影響。

企業是否應完全禁止代理存取工具？

不必一概禁止，但要依風險分層。先從可逆、低影響、可稽核的唯讀任務開始；隨著測試與治理成熟，再逐步納入受確認的低風險寫入操作。

誰應負責代理造成的變更？

代理是系統的一部分，責任仍屬於設計、部署與核准流程的組織與人員。每一項高影響操作都應可追溯到提出者、核准者、工具身分與系統版本。

結論：把代理型 AI 當成具權限的系統，而不是聊天功能

代理型 AI 能提升流程效率，但它一旦連到企業系統，就必須接受與其他自動化相同甚至更嚴格的安全設計。最小權限、獨立驗證、人工核准、完整稽核與快速停用，才是避免「失控」的可操作基礎。將治理前置，企業才能在不犧牲安全的前提下逐步擴大代理的用途。

參考資料與延伸閱讀

• OWASP GenAI：LLM06 Excessive Agency
• OWASP：Agentic AI Threats and Mitigations
• NIST：AI RMF Generative AI Profile
• NIST：AI Risk Management Framework
• 站內延伸閱讀：AI 與 LLM 分類文章