中山大學HCP實驗室聯(lián)合Sea AI Lab和哈佛大學等單位開展的一項研究，成功地讓大型人工智能模型通過講笑話的方式，探索多模態(tài)大模型的創(chuàng)造力，并因此獲得了計算機視覺和模式識別領域的頂級會議CVPR的認可。

　　這項研究的關鍵在于使用來自日本的“大喜利”(Oogiri)創(chuàng)新響應游戲作為數(shù)據(jù)源。傳統(tǒng)的大模型，如GPT-4，處理這類任務時往往表現(xiàn)得過于正經(jīng)，缺乏幽默感。而中山大學的“梗王大模型”則能夠根據(jù)圖像或文本輸入，生成具有幽默感和創(chuàng)意的響應。

　　“大喜利”游戲要求玩家對提供的多模態(tài)內容(如問題、圖像等)給出幽默和創(chuàng)意的回應。例如，一張老人向年輕人求助的圖片，傳統(tǒng)回應可能是詢問路線，而“大喜利”風格的回應可能是請求幫助解開手銬，這種出人意料的回答具有強烈的幽默沖擊感。

　　研究團隊采用了一種新的非順序、創(chuàng)造性思維范式——跳躍思維(Leap-of-Thought，LoT)，以及一套基于此范式的訓練方法CLoT。CLoT包括關聯(lián)性指令微調和探索性自我調整兩個階段，旨在激發(fā)模型的創(chuàng)新響應能力。

　　性能評估方面，CLoT在Oogiri-GO數(shù)據(jù)集上的選擇題和排序題評估中，顯著提高了多模態(tài)大模型的性能，并超越了包括GPT-4在內的其他先進模型。用戶調查也證實了CLoT在生成幽默內容方面的優(yōu)越性。此外，CLoT在其他任務如“看云猜物CGG”和“發(fā)散思維測試DAT”中也展現(xiàn)了良好的泛化能力。

　　中山大學人機物智能融合實驗室(HCP Lab)由林倞教授于2010年創(chuàng)立，專注于多模態(tài)內容理解、因果及認知推理、具身學習等領域的研究，并取得了豐富的學術成果。此次研究的成功，不僅展示了該實驗室在AI領域的創(chuàng)新能力，也為未來的人工智能研究提供了新的思路和方法。