最近，Answer.AI 和 LightOn 聯(lián)合發(fā)布了開源語(yǔ)言模型 ModernBERT，這是對(duì)谷歌 BERT 的重大升級(jí)。根據(jù)開發(fā)者的介紹，ModernBERT 在處理速度、效率和質(zhì)量上都有了顯著提升。該模型可以比其前身快四倍，同時(shí)使用更少的內(nèi)存。

　　ModernBERT 的設(shè)計(jì)允許它處理長(zhǎng)達(dá)8192個(gè)標(biāo)記的文本，這比現(xiàn)有編碼模型的典型512標(biāo)記限制提高了16倍。此外，ModernBERT 還是首個(gè)經(jīng)過廣泛訓(xùn)練的編程代碼編碼模型，它在 StackOverflow 問答數(shù)據(jù)集上的得分超過80，創(chuàng)造了編碼模型的新紀(jì)錄。

　　在通用語(yǔ)言理解評(píng)估(GLUE)中，ModernBERT-Large 的處理速度與準(zhǔn)確性達(dá)到了最佳平衡，每個(gè)標(biāo)記的處理時(shí)間約為20毫秒，得分為90。開發(fā)團(tuán)隊(duì)形象地將 ModernBERT 比作一輛經(jīng)過調(diào)校的本田思域，強(qiáng)調(diào)其在日常應(yīng)用中可靠而高效。

　　與現(xiàn)有大型語(yǔ)言模型如 GPT-4相比，ModernBERT 在大規(guī)模文本處理上大幅降低了成本。GPT-4每次查詢的費(fèi)用為數(shù)美分，而 ModernBERT 則可以在本地運(yùn)行，更快且更便宜。例如，F(xiàn)ineWeb Edu 項(xiàng)目在過濾150億個(gè)標(biāo)記時(shí)，使用 BERT 模型的成本為6萬(wàn)美元，而即便使用谷歌的 Gemini Flash 解碼器，成本也超過了100萬(wàn)美元。

　　開發(fā)團(tuán)隊(duì)表示，ModernBERT 非常適合多種實(shí)際應(yīng)用，包括檢索增強(qiáng)生成(RAG)系統(tǒng)、代碼搜索和內(nèi)容審查。不同于需要專門硬件的 GPT-4，ModernBERT 可以在普通消費(fèi)級(jí)游戲 GPU 上有效運(yùn)行。

　　目前，ModernBERT 提供兩個(gè)版本:基礎(chǔ)模型包含1.39億個(gè)參數(shù)，大型版本包含3.95億個(gè)參數(shù)。兩個(gè)版本現(xiàn)已在 Hugging Face 上發(fā)布，并且用戶可以直接用它們替換現(xiàn)有的 BERT 模型。開發(fā)團(tuán)隊(duì)計(jì)劃在明年推出更大的版本，但沒有多模態(tài)能力的計(jì)劃。為了促進(jìn)新應(yīng)用的開發(fā)，他們還推出了一項(xiàng)比賽，將向五個(gè)最佳演示者獎(jiǎng)勵(lì)100美元和六個(gè)月的 Hugging Face 專業(yè)訂閱。

　　自2018年谷歌推出 BERT 以來，該模型一直是最受歡迎的語(yǔ)言模型之一，在 HuggingFace 上每月下載量超過6800萬(wàn)次。