谷歌最新發(fā)布的Gemini Pro自發(fā)布以來備受矚目，谷歌聲稱其優(yōu)于GPT-3.5。然而，CMU的研究通過深入的實驗對比，展示了GPT-3.5在多個任務(wù)上的全面優(yōu)勢。Gemini Pro雖然在某些任務(wù)上稍顯不足，但整體表現(xiàn)與GPT-3.5相近，為大模型領(lǐng)域的競爭增添了新的火花。

　　研究涉及了基于知識的問答、通用推理、數(shù)學(xué)問題、代碼生成等多個領(lǐng)域。在基于知識的問答任務(wù)中，Gemini Pro在一些子任務(wù)上落后于GPT-3.5，尤其在多選題答案輸出中顯示了一定的偏見。通用推理測試中，Gemini Pro的精度略低于GPT-3.5Turbo，尤其在處理較長、復(fù)雜問題時表現(xiàn)不佳，而GPT-4Turbo則表現(xiàn)更為穩(wěn)健。

　　數(shù)學(xué)問題領(lǐng)域的測試包括小學(xué)數(shù)學(xué)基準(zhǔn)、穩(wěn)健推理能力、不同語言模式和問題類型等。Gemini Pro在某些任務(wù)上略顯不足，特別是在多樣化的語言模式任務(wù)中，表現(xiàn)較GPT-3.5Turbo稍遜。在代碼生成方面，Gemini Pro在兩項任務(wù)上的表現(xiàn)均低于GPT-3.5Turbo，與GPT-4Turbo相比則差距更大。

　　總體而言，Gemini Pro作為多模態(tài)模型，盡管在某些任務(wù)上稍顯不足，但在特定領(lǐng)域表現(xiàn)出色，超越了GPT-3.5。然而，在大多數(shù)測試中，GPT-3.5Turbo仍然保持領(lǐng)先地位，證明其在開源模型中的卓越性能。這一研究為科技領(lǐng)域的大模型競爭提供了客觀中立的第三方對比，為未來的模型發(fā)展提供了有益的參考。