本文來自于微信公眾號 機器之心(ID:almosthuman2014)，作者:機器之心。

　　操控Bard的秘密:運用一種叫提示注入(Prompt Injection)的技術，黑客可以只使用自然語言破解人工智能系統。

　　大型語言模型在生成文本時非常依賴提示詞。這種攻擊技術對于通過提示詞學習模型而言可謂是「以彼之矛，攻己之盾」，是最強長項，同時也是難以防范的軟肋。

　　提示詞分為系統指令和用戶給出的指令，在自然語言中，這兩者難以區分。如果用戶有意在輸入提示詞時，模仿系統指令，那么模型可能在對話里透露一些只有它才知道的「秘密」。

　　提示注入攻擊有多種形式，主要為直接提示注入和間接提示注入。直接提示注入指用戶直接向模型輸入惡意指令，試圖引發意外或有害的行為。間接提示注入指攻擊者將惡意指令注入到可能被模型檢索或攝入的文檔中，從而間接地控制或引導模型。

　　最近，谷歌Bard 迎來了一波強大的更新，Bard 增加了拓展功能，支持訪問 YouTube，搜索航班和酒店，還能查閱用戶的個人文件和郵件。

　　除此之外，Bard 可以連接到「谷歌全家桶」，訪問你的谷歌云盤、文檔和郵件!但這同時意味著 Bard 將分析不受信任的數據，容易受間接提示注入的影響。也就是說，不懷好意的人可能通過向你發送電子郵件或強行分享谷歌文檔進行間接的提示注入攻擊，因為對方發什么樣的郵件、文檔給你，你是控制不了的，但 Bard 卻會無差別訪問。

　　在安全風險分析領域有著20年經驗的前微軟 Azure 安全工程師 Johann Rehberger 體驗了 Bard 的全新版本，并測試了被提示注入攻擊時，Bard 的數據泄漏風險。

　　Johann 首先快速驗證了提示注入的可行性。他通過讓 Bard 分析舊的 YouTube 視頻，并使用谷歌文檔進行測試測試結果顯示，Bard 確實按照他的額外提示進行了操作，這證明了接下來要進行的測試的可行性。

　　在得知 Bard 可以被提示注入后，Johann 開始了進一步的研究。

　　LLM 應用中的一個常見漏洞是通過渲染超鏈接和圖像來泄露聊天歷史記錄。問題是，這如何適用于谷歌 Bard?

　　當谷歌的大模型返回文本時，它可以返回 markdown 元素，Bard 將其呈現為 HTML! 這包括渲染圖像的功能。

　　想象一下谷歌的大模型返回這樣的文本:

　　這將呈現為 HTML 圖像標記，其src屬性指向attacker服務器。

　　瀏覽器會自動連接到 URL，無需用戶交互即可加載圖片。借助 LLM 的強大功能，我們可以在聊天上下文中總結或訪問以前的數據，并將其相應地附加到 URL 中。

　　在編寫漏洞利用程序時，Johann 很快就開發出了一個提示注入有效載荷，它可以讀取對話的歷史記錄，并形成一個包含該歷史記錄的超鏈接。然而，谷歌的內容安全策略(CSP)阻止了圖像的渲染。這對攻擊者來說是一個難題。

　　繞過內容安全策略

　　要從攻擊者控制的服務器渲染圖片，并不容易。谷歌的內容安全策略阻止從任意源加載圖片。CSP 包含諸如*.google.com和*.googleusercontent.com之類的源，相當廣泛。這意味著應該能找到一種繞過方法。

　　研究后，Johann 得知了Google Apps Script，這或許可以繞過 CSP 。

　　Apps Scripts類似于 Office 里的宏，可以通過 URL 調用，并在script.google.com(或googleusercontent.com)域上運行。

　　如此一來，Bard Logger 可以在Apps Script中完成了。這個 Logger 將所有附加到調用 URL 的查詢參數寫入一個Google Doc，而它正是外泄的目的地。

　　起初，Johann 以為這個方法并不可行，但他發現點擊了幾下Apps Script用戶界面后，他找到了一個無需驗證的設置。

　　接下來，一切準備工作就緒:

　　確認了谷歌 Bard 易受通過擴展程序數據間接注入提示的影響

　　谷歌 Bard 有允許零點擊渲染圖片的漏洞

　　一個寫有提示注入指令的惡意谷歌文檔

　　一個位于 google.com 上的日志端點，用于在圖像加載時接收數據。

　　泄露過程

　　Johann 提供了他讓 Bard 泄露數據的全過程。

　　首先，和 Bard 先聊一些日常:

　　用戶訪問一個谷歌文檔(The Bard2000)，這導致攻擊者指令注入和圖像渲染。

　　攻擊者通過 Apps Script 中的腳本將數據接收到谷歌文檔。

　　以下是 Johann 用于「提示注入」的谷歌文檔:

　　谷歌的修復

　　這個安全問題已經于2023年9月19日報告給 Google VRP。

　　10月19日，Johann 想要在 Ekoparty2023中進行演示，所以詢問了關于這個漏洞的情況。Google 確認已經修復。目前還不太清楚谷歌采取了何種修復措施。但 CSP 沒有修改，仍然可以渲染圖像。因此，這可能是已經采取了一些過濾措施，以防止將數據插入到 URL 中。