2月26日 消息:深度學習領(lǐng)域的研究人員發(fā)現(xiàn)，語言模型在邏輯推理方面的表現(xiàn)仍然是一個重要挑戰(zhàn)。最新的一項由Google旗下的DeepMind(DeepMind)進行的研究揭示了一個簡單而重要的發(fā)現(xiàn):任務(wù)中前提的順序顯著影響語言模型的邏輯推理性能。

　　研究表明，當前提按照它們在邏輯結(jié)論中出現(xiàn)的順序呈現(xiàn)時，語言模型的表現(xiàn)最佳。這一現(xiàn)象對于數(shù)學問題同樣成立。研究人員將系統(tǒng)生成的測試數(shù)據(jù)納入R-GSM基準，以便進一步研究這一現(xiàn)象。

　　DeepMind的研究團隊表示，他們展示了前提順序?qū)φZ言模型在推理任務(wù)上的性能產(chǎn)生顯著影響，即使前提順序不改變?nèi)蝿?wù)本身。全面的評估表明，語言模型在處理推理問題時的偏好與人類在解決問題時對前提順序的偏好相似。也就是說，語言模型在前提順序遵循解決問題的中間推理步驟時表現(xiàn)最佳。相反，當推理問題要求模型來回閱讀問題描述時，導(dǎo)致性能下降超過30%。

　　研究中使用了GPT-3.5Turbo、GPT-4Turbo、PaLM2-L和Gemini Pro進行測試。有趣的是，OpenAI的GPT模型在前提順序與基本事實完全相反的情況下表現(xiàn)更好。

　　與此同時，研究還觀察到隨著規(guī)則數(shù)量的增加，性能也會下降。多余的前提還會使模型感到困惑。

　　對比結(jié)果還顯示，谷歌的新型Gemini Pro在邏輯順序下與OpenAI的較舊型號GPT-3.5Turbo的性能相似。即使規(guī)則數(shù)量相對較小，正確結(jié)論的準確性也會迅速下降，尤其是在故意插入混亂規(guī)則的情況下。

　　為了確保所有語言模型的公平測試，研究人員在規(guī)則中填充了“wozz”、“riff”和“fum”等幻想詞。

　　值得注意的是，研究人員并未就這一現(xiàn)象提供理論解釋，也未針對根據(jù)研究結(jié)果改進語言模型的推理能力提出可能的解決方案。盡管如此，這些結(jié)果有望為希望將語言模型用于基本推理任務(wù)的專業(yè)人士提供指導(dǎo)。

　　推理能力對于未來語言模型的應(yīng)用將產(chǎn)生重大影響。盡管近來我們在語言模型特性方面取得了一些突破，比如更大的上下文窗口，谷歌最近通過Gemini1.5Pro打破了這一界限。

　　然而，推理就像是人工智能研究的圣杯，而對于語言模型而言，具有堅實的推理能力將導(dǎo)致更為強大、多功能的系統(tǒng)，能夠執(zhí)行更多任務(wù)。

　　正確的結(jié)論隨著規(guī)則數(shù)量的增加而減少，當故意插入令人困惑的規(guī)則時，情況甚至會更加嚴重。

　　盡管自O(shè)penAI發(fā)布GPT-4以來，在這一領(lǐng)域并未看到太多進展。業(yè)內(nèi)普遍認為，僅僅依靠大量文本和視覺數(shù)據(jù)的訓練并不足以實現(xiàn)根本更強大的人工智能系統(tǒng)，這一觀點最近由DeepMind的首席執(zhí)行官Demis Hassabis和OpenAI的首席執(zhí)行官Sam Altman等領(lǐng)先研究人員和企業(yè)領(lǐng)導(dǎo)人反復(fù)提出。

　　通過這項研究，我們可以看到改變前提順序可能是提升語言模型推理能力的一種簡單而有效的方法，也為未來改進這一領(lǐng)域的研究提供了新的方向。