12 月 15 日消息:Google DeepMind 最近利用一種大型語言模型成功破解了純數學中一個著名的未解問題。該團隊在《自然》雜志上發表的論文中宣稱，這是首次使用大型語言模型發現長期科學難題的解決方案，產生了之前不存在的可驗證且有價值的新信息。Google DeepMind 研究副總裁 Pushmeet Kohli 表示：「這不在訓練數據中——甚至以前是未知的�！�

　　大型語言模型通常以編造事實而聞名，而不是提供新事實。Google DeepMind 的新工具 FunSearch 可能改變這一點。它表明，只要適當引導，并且舍棄它們提出的大部分內容，這些模型確實可以做出發現。

　　FunSearch(之所以這樣命名，是因為它搜索數學函數，而不是因為它有趣)延續了 DeepMind 使用 AI 在基礎數學和計算機科學領域取得的一系列發現。首先是 AlphaTensor 找到了一種加快多種不同類型代碼核心計算的方法，打破了 50 年來的記錄。然后是 AlphaDev 找到了加快每天使用數萬億次的關鍵算法的方法。

　　然而，這些工具并沒有使用大型語言模型。它們都建立在 DeepMind 的游戲 AI AlphaZero 之上，通過將數學問題視為圍棋或國際象棋中的難題來解決。問題是它們局限于自己的領域，如同公司研究員 Bernardino Romera-Paredes 所說：「AlphaTensor 擅長矩陣乘法，但基本上沒有別的�！�

　　FunSearch 采用了不同的方法。它結合了一個稱為 Codey 的大型語言模型(一種在計算機代碼上微調的 Google PaLM 2 版本)和其他系統，后者可以排除不正確或無意義的答案，并將好的答案重新輸入。

　　Fawzi，Google DeepMind 的研究科學家說：「說實話，我們有假設，但我們不確切知道為什么這有效。項目開始時，我們不知道這是否會奏效�！�

　　研究人員首先用 Python(一種流行的編程語言)勾勒出他們想要解決的問題，但省略了指定如何解決問題的程序行。這就是 FunSearch 介入的地方。它讓 Codey 填補空白——實際上，提出解決問題的代碼建議。

　　然后，第二個算法檢查并評分 Codey 提出的內容。最佳建議——即使還不正確——被保存并反饋給 Codey，后者再次嘗試完成程序。「許多將是無意義的，一些將是合理的，少數將是真正有啟發性的，」Kohli 說。「你拿著這些真正有啟發性的內容，然后說，『好的，拿著這些重復一遍�！弧�

　　經過幾百萬次建議和幾十次整體過程的重復(歷時幾天)，FunSearch 終于提出了一個正確且之前未知的解決 cap set 問題的代碼，該問題涉及尋找某種類型集合的最大尺寸�？梢韵胂笤趫D表紙上繪制點。cap set 問題類似于嘗試確定可以放置多少個點，而不會讓其中任何三個點形成一條直線。

　　這個問題非常細致，但很重要。數學家們甚至不同意如何解決它，更不用說解決方案是什么了。(它還與 AlphaTensor 加速的計算——矩陣乘法——有關。)加州大學洛杉磯分校的 Terence Tao，曾獲得多個數學頂級獎項，包括菲爾茲獎，他在 2007 年的博客文章中稱 cap set 問題為「我最喜歡的開放性問題」。

　　Tao 對 FunSearch 能做的事情感到好奇。他說：「這是一個有前途的范例。這是利用大型語言模型的力量的一種有趣方式�！�

　　與 AlphaTensor 相比，FunSearch 的一個主要優勢是，理論上它可以用來找到一系列問題的解決方案。這是因為它產生代碼——生成解決方案的方法，而不是解決方案本身。不同的代碼將解決不同的問題。FunSearch 的結果也更容易理解。Fawzi 說，方法通常比它產生的奇怪數學解決方案更清晰。

　　為了測試其多功能性，研究人員使用 FunSearch 來解決另一個數學難題：bin packing 問題，該問題涉及嘗試將物品盡可能少地裝入箱子中。這對計算機科學的一系列應用很重要，從數據中心管理到電子商務。FunSearch 提出了一種比人類設計的方法更快的解決方案。

　　Tao 表示，數學家們「仍在努力弄清楚如何最好地將大型語言模型納入我們的研究工作流程，以利用它們的力量同時減輕它們的缺點�！顾�說：「這當然表明了一種可能的前進方向�！�