在人工智能時(shí)代各種 AI 代理層出不窮，但這些 AI 代理的安全性存在非常大的隱患，借助這些 AI 代理攻擊者可以利用人工智能模型的邏輯漏洞實(shí)現(xiàn)遠(yuǎn)程竊取數(shù)據(jù)。

Microsoft 365 Copilot 是微軟推出的人工智能工具，該工具被集成到 Microsoft 365 應(yīng)用中，而企業(yè)部署的 Microsoft 365 Copilot 通常還會(huì)使用 RAG 進(jìn)行跨用戶內(nèi)容語(yǔ)義檢索。

例如企業(yè)可以將內(nèi)部數(shù)據(jù)共享給人工智能以便所有員工都可以通過(guò)人工智能獲得更有相關(guān)性、準(zhǔn)確性更高、真實(shí)性更高的回答，從而直接提高員工的工作效率。

適用于企業(yè)的 Microsoft 365 Copilot 會(huì)查詢 Microsoft Graph，并從企業(yè)內(nèi)部環(huán)境中檢索信息，涵蓋郵箱、OneDrive、Office 文件、內(nèi)部 SharePoint 網(wǎng)站以及 Microsoft Teams 聊天記錄等。

LLM 范圍違規(guī)漏洞：

安全公司 AIM 在 2025 年 1 月發(fā)現(xiàn)微軟的人工智能應(yīng)用存在漏洞，隨后漏洞并通報(bào)給微軟并得到確認(rèn)，不過(guò)微軟花費(fèi)很長(zhǎng)時(shí)間才完成修復(fù)，因?yàn)樵谛迯?fù)過(guò)程中還發(fā)現(xiàn)其他相關(guān)或類似的漏洞。

研究人員將該漏洞命名為 LLM 范圍違規(guī) (LLM Scope Violation)，該術(shù)語(yǔ)指的是攻擊者向 LLM 發(fā)出特定指令 (源于不受信任的輸入) 讓 LLM 在未經(jīng)用戶明確同意的情況下處理模型上下文中受信任的數(shù)據(jù)。

在攻擊實(shí)例中，研究人員向特定企業(yè)員工的 Microsoft Outlook 郵箱發(fā)送一封比較普通的電子郵件，該郵件里既沒(méi)有傳統(tǒng)的釣魚鏈接，也不需要用戶執(zhí)行任何操作，只要將郵件發(fā)送出去即可。

郵件抵達(dá)收件箱后人工智能會(huì)自動(dòng)讀取郵件并開(kāi)始按照郵件中的指令進(jìn)行處理，然后人工智能會(huì)將收集到的所有信息都發(fā)送給攻擊者，整個(gè)過(guò)程不需要進(jìn)行任何交互。

釣魚郵件中的提示詞也非傳統(tǒng)的 LLM 提示詞，只需要將包含惡意指令的措辭模擬的類似針對(duì)收件人 (人類) 即可，這樣可以繞過(guò)微軟部署的主要防護(hù)措施之一 XPIA 跨提示注入攻擊，本來(lái) XPIA 可以用來(lái)攔截抵達(dá) Copilot 的提示注入攻擊。

當(dāng)然以上描述比較簡(jiǎn)單，實(shí)際攻擊過(guò)程非常復(fù)雜且步驟比較多，有興趣的用戶可以查看 AIM 的博客原文：https://www.aim.security/lp/aim-labs-echoleak-blogpost

微軟進(jìn)行修復(fù)：

在發(fā)布最終更新將所有已知漏洞都修復(fù)后，微軟發(fā)布聲明感謝 AIM 負(fù)責(zé)任地披露該問(wèn)題并給微軟預(yù)留時(shí)間進(jìn)行修復(fù)，目前這些漏洞已經(jīng)完全修復(fù)，微軟通過(guò)自動(dòng)化系統(tǒng)部署修復(fù)程序，企業(yè)不需要采取任何措施。

AIM 將這種攻擊方式命名為 EchoLeak，目前還沒(méi)有證據(jù)表明已經(jīng)有黑客利用漏洞竊取數(shù)據(jù)，不過(guò)對(duì)企業(yè)來(lái)說(shuō)，AI 代理加速企業(yè)效率的同時(shí)，也存在非常明顯的安全隱患。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/