1月17日 消息:新一代200億「書生·浦語2.0」是一款開源的大語言模型。它支持200K超長上下文，且20B版本在數學推理方面的性能超越了ChatGPT。該模型使用了第三代數據清洗過濾技術，大幅提升了模型訓練效率。

　　InternLM2可以支持200K超長上下文，約30萬字文本，在「大海撈針實驗」中實現了完美的召回率。相較于初代InternLM，新一代大模型輕量級及中量級性能表現優異，尤其在數學推理方面超越ChatGPT。

　　新一代大語言模型書⽣·浦語2.0的性能表現領先于同量級開源模型，書⽣·浦語2.0綜合性能全面領先。為促進AI生態發展，推動大模型在各行業的應用落地，書生·浦源大模型挑戰賽同日啟動。上海AI實驗室秉持著「以高質量開源賦能創新」理念，繼續提供InternLM2免費商用授權。

　　InternLM2的數據清洗過濾技術已經歷三輪迭代升級，僅使用約60%的訓練數據即可達到使用第二代數據訓練1T token的性能表現，模型訓練效率大幅提升。第三代數據清洗過濾技術大幅度提升模型訓練效率。InternLM2在大規模高質量的驗證語料上的Loss分布整體左移，表明了其語言建模能力的實質性增強。

　　這款新一代的大語言模型在各項能力上獲得了全面進步，相比于初代InternLM，在推理、數學、代碼等方面的能力提升尤為顯著，綜合能力領先于同量級開源模型。且輕量級及中量級版本性能在同量級開源模型中表現優異，超越了ChatGPT。整體表現上，InternLM2達到了與ChatGPT比肩的水平。