作者:Elad Koren,Palo Alto Networks 產品管理副總裁
AI 代理人無法像人類那樣充分理解語境、意圖與後果,這使它們特別容易成為欺騙、操控與脅迫的對象。Anthropic 資訊安全長(CISO)於今年四月提出一項引人注目的預測:未來一年內,搭載 AI 的虛擬員工將具備企業憑證,在組織中正式上線運作。這些 AI 代理人不再只是輔助工具,而將真正融入企業團隊,成為工作流程中的一員。
從商業角度來看,導入 AI 代理人具有明確的價值主張:它們帶來可擴展的自動化、降低人力成本,並具備不知疲倦的高效生產力。Salesforce 已率先實現這一願景,近期推出了 AI「數位工作夥伴」。預估在未來兩年內,AI 代理人的部署將成長高達 327%。然而,從資安的角度來看,這場轉型是創新與風險交織的劇變。我們現在賦予的不只是系統存取權限,而是身分、自治能力與決策權限—這徹底改變了企業對於安全防護的思維模式與策略。
自主、具憑證,卻也脆弱
我們必須說清楚:這些 AI 代理人已不再是傳統意義上的工具。與傳統的自動化腳本或服務帳號不同,AI 代理人以企業憑證登入,以驗證過的使用者身分行動,能夠自主決策、與系統及資料互動,甚至執行某些高敏感性任務。換句話說,它們擁有與人類員工相同的存取權限,而其所帶來的風險,也可與真實員工相提並論。
然而,與人類不同的是,AI 代理人無法像我們一樣理解語境、意圖或行為後果。它們可能因為遭遇提示注入(Prompt Injection)或對抗性輸入(Adversarial Inputs)等技術手法而被誤導、操控甚至脅迫。長久以來,資安領域普遍認為人類是防線中最脆弱的一環——社交工程與網路釣魚攻擊正是利用人類心理弱點。然而,AI 代理人的出現,則讓攻擊者瞄準了更為脆弱的新目標:這些代理人傾向於字面理解指令、不會主動求助 IT 支援,且以機器速度執行任務。一旦遭到入侵,這類 AI 代理人可能成為潛藏於企業環境深處的高頻寬且持續性的攻擊管道,大幅擴大企業的攻擊面與風險暴露範圍。
在 AI 時代重新思考資安防護
傳統的資安工具設計是圍繞人類行為模式而建構,例如登入機制、密碼保護、權限控管等。然而,當「AI 員工」出現,這些根本假設正逐步被打破。目前在雲端環境中,非人類身份帳號數量早已遠超人類使用者,並快速成為主導力量。這代表資安策略必須從根本重新思考,不再只聚焦於人類使用者,而是全面納入這些擁有自主行為與身分憑證的 AI 實體。
隨著企業對雲端技術的投資持續飆升,AI 已成為最主要的成長驅動力,大量 AI 代理人也隨之部署於雲端環境之中。在這樣的發展趨勢下,企業必須迎接AI 安全的新時代,並採用能夠全面保障 AI 能力的現代化資安工具,特別針對以下關鍵問題提出解方:
● AI 代理人在企業內部究竟擁有哪些自主性與決策權限?
● 如何持續監控其權限活動,並即時偵測異常行為?
● 這些代理人是否可能遭到提示注入(Prompt Injection)或對抗性輸入(Adversarial Input)等手法攻破或「越獄」?
● AI 代理人所接受的訓練數據來源是什麼?是否涉及敏感或機密資訊?
下一波「內部威脅」:AI 代理人
AI 的導入,正為企業應用堆疊引入一系列尚未成熟的全新元素——包括基礎設施、模型、資料集、工具與外掛模組。而如今,隨著 AI 代理人(AI agents)的問世,這波創新正在進一步加速。與傳統的大型語言模型(LLMs)不同,AI 代理人具備推理能力、自主執行行動,甚至能與其他代理人協作。它們擁有持續性的系統存取權限,不會休眠、不請假,並且能大規模部署於企業各部門。這不僅大幅提升效率,同時也讓企業環境變得更為複雜,帶來全新的資安挑戰。一旦遭到入侵,單一 AI 代理人所造成的破壞,可能在數分鐘內超越惡意內部人員數月才能完成的攻擊規模。AI 的效能雖令人期待,但若無完善的安全機制,亦可能成為企業內部最具威脅性的來源。
AI 員工有可能很快成為甚至超越內部人員,成為企業最危險的威脅來源。資安組織 OWASP 最近發布了《Agentic AI 威脅與緩解指南》,揭示了包括提示注入(prompt injection)、工具濫用、身份偽造等新興攻擊手法。此外,Palo Alto Networks威脅情報小組Unit 42 的最新報告指出,提示注入仍是最具威力且多樣化的攻擊向量之一,攻擊者可藉此洩漏敏感資料、濫用系統工具,甚至顛覆 AI 代理人的行為。
採取行動
Palo Alto Networks 最近推出了 Prisma AI Runtime Security (AIRS),旨在幫助企業「發現、評估並保護環境中的每一個 AI 應用、模型、資料集與代理人」。透過 Prisma AIRS,企業將獲得一個全面的平台,提供:
● AI 模型掃描 — 安全採用 AI 模型,並掃描漏洞。保護您的 AI 生態系,防範模型篡改、惡意腳本及反序列化攻擊等風險。
● AI 安全態勢管理 — 深入了解您的 AI 生態系所面臨的安全風險,例如過度權限、敏感資料暴露、平台配置錯誤、存取錯誤配置等。
● AI 紅隊測試 — 在惡意攻擊者行動之前,揭露潛在風險與隱藏威脅。使用我們的紅隊代理人,對 AI 應用與模型進行自動化滲透測試,模擬真實攻擊者的學習與適應行為。
● 運行階段安全防護 — 保護基於大型語言模型(LLM)的 AI 應用、模型與資料,防範提示注入、惡意代碼、毒性內容、敏感資料外洩、資源過載、幻覺等運行時威脅。
● AI 代理人安全 — 保障代理人(包含基於無碼/低碼平台所構建者)免受新型代理威脅,如身份冒用、記憶操控及工具濫用等攻擊手法。
隨著 AI 改變企業運作模式及攻擊手法,Prisma AIRS 同樣迅速演進。企業可以憑藉 Prisma AIRS,自信擁抱 AI 的未來。
更多詳見 Palo Alto Networks Prisma AIRS——全球最全面的 AI 安全平台,如何協助組織保障所有 AI 應用、代理人、模型及資料的安全。