當地時間27日，OpenAI 宣布基于 GPT-4 訓練了一個名為 CriticGPT 的模型，用于查找 ChatGPT 聊天機器人輸出內容中的錯誤。它可以撰寫評論，強調 ChatGPT 生成答案中不準確的地方。

　　據介紹，CriticGPT 旨在協助人類 AI 訓練員完成工作 —— 使用一種名為“從人類反饋中強化學習(IT之家注：Reinforcement Learning from Human Feedback，RLHF)”的技術來訓練、改進 GPT-4 的回答。

　　然而隨著 ChatGPT 的準確性日益提升，錯誤越來越隱蔽，導致 AI 訓練員的工作越來越“難做”。OpenAI 對此解釋稱，這是 RLHF 的基本局限之一 —— 模型逐漸變得比任何可以提供反饋的人都更博學，模型的協調可能也會隨之變得越來越困難。

　　目前，當 CriticGPT 試圖從 ChatGPT 的回答中發現錯誤時，它的一雙“鷹眼”就會發揮作用。OpenAI 指出，現實世界中的錯誤可能遍布答案的多個部分，這是 CriticGPT 未來需要解決的問題。“我們的工作重點是可以在一個地方指出錯誤，但將來我們也需要解決分散的錯誤。”