IBM 研究發(fā)布了一項(xiàng)突破性的 LLM(大型語(yǔ)言模型)基準(zhǔn)測(cè)試方法，承諾將計(jì)算成本降低高達(dá)99%。傳統(tǒng)的基準(zhǔn)測(cè)試，如斯坦福的 HELM，需要耗費(fèi)超過(guò)一天的時(shí)間，并且成本高達(dá)1萬(wàn)美元，這對(duì)開(kāi)發(fā)人員和研究人員來(lái)說(shuō)是一個(gè)昂貴的過(guò)程。隨著 LLMs 能力的增強(qiáng)，基準(zhǔn)測(cè)試的過(guò)程變得更加嚴(yán)格，需要大量的計(jì)算能力和時(shí)間。

　　IBM 的創(chuàng)新方法源自以色列的 IBM 研究實(shí)驗(yàn)室，由 Leshem Choshen 領(lǐng)導(dǎo)的團(tuán)隊(duì)開(kāi)發(fā)了一種新方法，大幅降低基準(zhǔn)測(cè)試的成本。他們并非運(yùn)行全尺寸基準(zhǔn)測(cè)試，而是設(shè)計(jì)了一個(gè)使用原始基準(zhǔn)測(cè)試規(guī)模的1% 的 “微型” 版本。令人驚訝的是，這些微型基準(zhǔn)測(cè)試已被證明幾乎同樣有效，可以在98% 的準(zhǔn)確度內(nèi)估計(jì)出全尺寸測(cè)試的性能。

　　該團(tuán)隊(duì)利用人工智能從完整基準(zhǔn)測(cè)試中選擇最具代表性的問(wèn)題，包含在微小版本中。這種選擇性方法確保較小的基準(zhǔn)測(cè)試仍然高度預(yù)測(cè)整體模型性能，消除了不貢獻(xiàn)有意義評(píng)估的冗余或無(wú)關(guān)緊要的問(wèn)題。

　　IBM 的高效方法引起了 AI 社區(qū)的關(guān)注，尤其是在2023年 NeurIPS 的高效 LLM 比賽中。面臨使用有限計(jì)算資源評(píng)估大量模型的挑戰(zhàn)，組織者與 IBM 合作實(shí)施了一個(gè)名為 Flash HELM 的簡(jiǎn)化基準(zhǔn)測(cè)試。這種高效方法使他們能夠迅速淘汰表現(xiàn)較差的模型，并將計(jì)算資源集中在最有前途的候選模型上，從而進(jìn)行及時(shí)和具有成本效益的評(píng)估。

　　Flash HELM 的成功展示了 IBM 高效基準(zhǔn)測(cè)試方法的潛力，促使其在 IBM 的 watsonx 平臺(tái)上評(píng)估所有 LLMs。成本節(jié)約可觀(guān);例如，在像 HELM 這樣的基準(zhǔn)測(cè)試中評(píng)估 Granite13B 模型可能耗費(fèi)高達(dá)1000個(gè) GPU 小時(shí)，但使用高效基準(zhǔn)測(cè)試方法顯著降低了這些成本。

　　高效基準(zhǔn)測(cè)試不僅降低成本，還通過(guò)允許更快速地迭代和測(cè)試新算法來(lái)加速創(chuàng)新。IBM 研究人員，包括 Youssef Mroueh 在內(nèi)，指出這些方法使得更快速、更經(jīng)濟(jì)的評(píng)估成為可能，促進(jìn)了更加靈活的發(fā)展過(guò)程。

　　這一概念已經(jīng)超出了 IBM 的范疇。斯坦福實(shí)施了 Efficient-HELM，這是其傳統(tǒng)基準(zhǔn)測(cè)試的簡(jiǎn)化版本，為開(kāi)發(fā)人員提供了選擇示例數(shù)量和希望分配的計(jì)算資源量的靈活性。這一做法強(qiáng)調(diào)了一個(gè)新興共識(shí)，即更大的基準(zhǔn)測(cè)試不一定意味著更好的評(píng)估。

　　“大型基準(zhǔn)測(cè)試不一定通過(guò)變得更大而增加價(jià)值，”Choshen 說(shuō)。“這是我們的見(jiàn)解，我們希望它能夠引領(lǐng)更快速、更經(jīng)濟(jì)的 LLM 性能評(píng)估方法。”

　　IBM 的高效基準(zhǔn)測(cè)試方法代表了人工智能領(lǐng)域的重大進(jìn)步，為評(píng)估先進(jìn)語(yǔ)言模型所需的不斷增加的成本和資源需求提供了實(shí)際解決方案。