最近，一組來自斯坦福大學、康奈爾大學和西弗吉尼亞大學的計算機科學家與法律學者共同發(fā)表了一項引人矚目的研究，分析了幾款開源大型語言模型在文本記憶方面的表現(xiàn)。這項研究著重考察了五種不同的開放權重模型，它們的能力是否能夠重復經(jīng)典書籍中的內(nèi)容。這五款模型中，有三款來自 Meta，另外兩款分別由微軟和 EleutherAI 開發(fā)。

　　研究團隊采用了 Books3這一流行的書籍數(shù)據(jù)庫，作為訓練這些大模型的素材，值得一提的是，這些書籍中許多依然受到版權保護。研究者們將36本書劃分為多個重疊的100個標記段落，然后利用前50個標記作為提示，計算接下來的50個標記與原文相同的概率。如果逐字重復的概率超過50%，那么這段內(nèi)容就被標記為 “已記住”。

　　令人驚訝的是，Meta 于2024年發(fā)布的 Llama3.170B 模型在回憶《哈利波特》第一部的表現(xiàn)中，竟能記住42% 的內(nèi)容。而相比之下，Meta 在2023年發(fā)布的 Llama165B 模型僅能回憶起4.4% 的內(nèi)容。這一顯著提升引發(fā)了學術界的廣泛關注。研究人員還發(fā)現(xiàn)，相較于冷門書籍，Llama3.170B 在熱門書籍如《霍比特人》和喬治・奧威爾的《1984》中的記憶能力更為突出，記憶量遠高于其他模型。

　　這一研究成果不僅展示了大型語言模型在文本記憶方面的顯著進步，也引發(fā)了人們對未來 AI 技術在處理和理解文本內(nèi)容能力的期待。可以說，隨著技術的發(fā)展，人工智能正在不斷接近人類的認知水平。