最近，一項由 OpenAI 進行的研究顯示，盡管人工智能技術飛速發展，當前最先進的語言模型在回答事實問題時的成功率卻遠低于預期。

　　研究采用了 OpenAI 自家的 SimpleQA 基準測試，這個測試包含了4，326個，涵蓋了科學、政治和藝術等多個領域，每個問題都有一個明確的正確答案。

　　經過兩名獨立評審員的驗證，結果顯示，OpenAI 最好的模型 o1-preview 的準確率僅為42.7%，而 GPT-4o 則略低，只有38.2%。至于更小的 GPT-4o-mini，準確率甚至只有8.6%。相比之下，Anthropic 的 Claude 模型表現得更差，Claude-3.5-sonnet 的正確率僅為28.9%。

　　這項研究的關鍵在于測試的設計，不僅僅是為了測試 AI 的表現，還為了讓大家認識到 AI 模型在知識獲取方面的局限性。研究者強調，用戶在使用這些模型時，應該將其視為信息處理工具，而不是完全依賴的知識來源。為了獲得更準確的回答，最好能為 AI 提供可靠的數據，而不是單純依賴其內置的知識。

　　值得注意的是，AI 模型對自身能力的估計往往過于樂觀。研究人員發現，當這些模型被要求對自己的回答進行信心評分時，它們通常會給出夸大的準確性評分。在重復回答相同問題的測試中，即使模型多次給出相同答案，它們的實際成功率也仍低于其自我評估的準確性。這與外界對語言模型常常產生荒謬回答卻顯得信心滿滿的批評一致。

　　研究者認為，當前的 AI 系統在事實準確性上存在明顯的缺口，亟需改進。同時，他們也提出了一個開放性問題:AI 在回答簡短事實問題的表現是否能預測其在處理更長、更復雜回答時的表現。為了支持更可靠的語言模型的開發，OpenAI 已經將 SimpleQA 基準測試的資料公開發布到 Github 上。