近日，字節(jié)跳動的研究與上海交通大學(xué)的團隊共同推出了名為 ProtoReasoning 的新框架，旨在通過邏輯原型來增強大語言模型(LLMs)的推理能力。該框架利用結(jié)構(gòu)化的原型表示，如 Prolog 和 PDDL，推動了跨領(lǐng)域推理的進展。

　　近年來，大語言模型在跨領(lǐng)域推理方面取得了顯著突破，尤其是在長鏈推理技術(shù)的應(yīng)用下。研究發(fā)現(xiàn)，這些模型在處理數(shù)學(xué)、編程等任務(wù)時，表現(xiàn)出了在邏輯難題和創(chuàng)意寫作等無關(guān)領(lǐng)域的優(yōu)異能力。然而，這種靈活性背后的原因尚未完全明確。一種可能的解釋是，這些模型學(xué)習(xí)到了核心推理模式，即跨領(lǐng)域的抽象推理原型，這些原型能夠幫助模型更好地應(yīng)對不同形式的問題。

　　ProtoReasoning 框架通過使用結(jié)構(gòu)化的原型表示來提升模型的推理能力，具體包括兩個主要模塊:原型構(gòu)建器和驗證系統(tǒng)。原型構(gòu)建器將自然語言問題轉(zhuǎn)換為形式化的表示，而驗證系統(tǒng)則負責(zé)檢查解答的正確性。在 Prolog 的應(yīng)用中，研究人員設(shè)計了一個四步管道，生成多樣的邏輯問題，并通過 SWI-Prolog 進行驗證。對于規(guī)劃任務(wù)，研究團隊使用 PDDL 構(gòu)建計劃生成、完成和重排任務(wù)，并通過 VAL 驗證器進行正確性檢查。

　　在對 ProtoReasoning 框架的評估中，使用了一個具有1500億參數(shù)的專家模型(其中150億為活躍參數(shù))，并在經(jīng)過精心挑選的高質(zhì)量 Prolog 和 PDDL 樣本上進行訓(xùn)練。結(jié)果顯示，在邏輯推理、規(guī)劃以及多項基準測試中，模型均表現(xiàn)出了顯著的提升。特別是與自然語言版本進行的對比實驗顯示，基于 Prolog 的訓(xùn)練在邏輯推理方面表現(xiàn)接近于自然語言版本，進一步驗證了結(jié)構(gòu)化原型訓(xùn)練的有效性。

　　ProtoReasoning 框架展示了抽象推理原型在促進大語言模型跨領(lǐng)域知識轉(zhuǎn)移中的重要作用。盡管實驗結(jié)果令人鼓舞，但關(guān)于推理原型的具體性質(zhì)仍需進一步理論探討。未來的研究將致力于通過數(shù)學(xué)形式化這些概念，并利用開源模型和數(shù)據(jù)集進行驗證。