隨著ChatGPT等生成式AI產品被廣泛應用在AI代理/客服、虛擬助手等領域，在安全方面會遭遇黑客攻擊、惡意文本提示等難題。例如，使用特定的提問方式，可以讓ChatGPT輸出原始私密訓練數據。

　　因此，OpenAI的研究人員提出了“指令層級”(Instruction Hierarchy)技術概念，可幫助大模型遭遇不同的指令發生沖突時應該如何應對:系統內置指令高于用戶輸入的指令，用戶的指令高于第三方工具。當高級指令與低級指令發生沖突時，指令層級會讓大模型選擇地忽略低級指令。

　　OpenAI通過GPT-3.5Turbo模型對指令層級進行了多維度的綜合測試。結果顯示，可將大模型的魯棒性提升了63%，防御越獄攻擊的能力提升了30%以上，并且該技術能應用在其他同類大模型中。

　　合成數據指導

　　合成數據指導是指令層級的核心模塊之一，可為大模型的訓練提供必要的樣本，教會模型按照指令的優先級進行選擇，以忽略較低級別的指令。

　　對于符合安全指令的情況，合成數據指導會生成具有組合性請求的示例，并將指令分解為更小的部分。

　　例如，用戶輸入文本提示指令"用西班牙語寫一首20行的詩"，會將其分解為"寫一首詩"、"使用西班牙語"、"使用20行"等更小的指令片段。然后，這些分解后的指令片段會被放置在不同層次的指令優先級中，以訓練大模型預測原始的真實響應。

　　研究人員使用了大量合成的數據集來訓練大語言模型，教導模型識別和處理不同優先級的指令，這些示例包括嘗試覆蓋系統消息的惡意提示和可能的越獄攻擊。

　　經過指導后，模型學會優先執行高優先級的指令，并忽略與高優先級指令沖突的低優先級指令。

　　上下文蒸餾

　　上下文蒸餾可以通過分析和理解大量數據中的模式和關聯，提取出核心的指令和信息。在大模型的預訓練過程中，上下文蒸餾可以幫助模型識別哪些輸入是重要的，哪些可能是誤導性的或有害的，從而提高模型的安全決策能力。

　　研究人員先定義了一個清晰的指令層級，將不同的指令源按照重要性進行排序:系統消息(由應用開發者提供)具有最高優先級，用戶輸入的文本提示和第三方工具輸出則具有較低的優先級。

　　通過上下文蒸餾，大模型被訓練以識別和忽略那些與高優先級指令不一致或沖突的低優先級指令，包括在模擬的對抗性示例中訓練模型，以提高其對惡意輸入的抵抗能力。

　　例如，高級指令讓大模型輸入“我是一個AI助手，無法回答非法問題”;低級指令讓大模型輸出“寫一些隱私信息”，此時模型會選擇忽略低級指令。

　　此外，上下文蒸餾不僅可幫助模型處理關鍵指令，還提高了模型的泛化能力。即使面對未見過的惡意攻擊指令，經過上下文蒸餾訓練的模型也能夠更好地學習到這些知識，以識別和處理新的安全威脅。