3月28日，著名數(shù)據(jù)和AI平臺Databricks在官網(wǎng)正式開源大模型——DBRX。

　　DBRX是一個專家混合模型(MoE)有1320億參數(shù)，能生成文本/代碼、數(shù)學(xué)推理等，有基礎(chǔ)和微調(diào)兩種模型。

　　根據(jù)DBRX在MMLU、HumanEval和 GSM8K公布的測試數(shù)據(jù)顯示，不僅性能超過了LLaMA2-70B和馬斯克最近開源的Grok-1，推理效率比LLaMA2-70B快2倍，總參數(shù)卻只有Grok-1的三分之一，是一款功能強算力消耗低的大模型。

　　Databricks作為數(shù)據(jù)管理領(lǐng)域的超級獨角獸，為了抓住生成式AI的風(fēng)口，2023年6月26日曾以13億美元的天價，收購了大模型開源平臺MosaicML。

　　MosaicML曾在2023年5月5日發(fā)布了類ChatGPT開源大語言模型MPT-7B。(開源地址:https://huggingface.co/mosaicml/mpt-7b)該項目具備可商業(yè)化、高性能、算力消耗低、1T訓(xùn)練數(shù)據(jù)等技術(shù)優(yōu)勢。

　　MPT-7B只進(jìn)行了大約10天的訓(xùn)練，零人工干預(yù)，訓(xùn)練成本僅用了20萬美元。性能卻打敗了LLaMA-7B、StablelM-7B 、Cerebras-13B等當(dāng)時知名開源模型。

　　截至目前，MPT-7B的下載量已超過300萬次，而Databricks此次發(fā)布的DBRX在MPT-7B基礎(chǔ)之上進(jìn)行了大幅度優(yōu)化并且將算力需求降低了4倍。

　　DBRX簡單介紹

　　DBRX是一款基于Transformer的MoE架構(gòu)大模型，1320億參數(shù)中的360億參數(shù)處于長期激活狀態(tài)。

　　這與其它開源的MoE類型模型如Mixtral、Grok-1相比，DBRX使用了數(shù)量更多的小專家模型。DBRX有16個專家并選擇4個，而Mixtral和Grok-1有8個專家并選擇了2個。

　　DBRX使用了12T的文本和代碼數(shù)據(jù)(支持中文)，支持32k上下文窗口，并在3072個 英偉達(dá)的 ***上進(jìn)行了3個月的預(yù)訓(xùn)練。

　　DBRX除了與開源模型進(jìn)行了對比之外，還與OpenAI的GPT系列、谷歌的Gemini以及Anthropic最新發(fā)布的Claude3系列進(jìn)行了同臺競技。

　　MMLU、HellaSwag、WinoGrande、HumanEval等綜合測試結(jié)果顯示，DBRX推理、數(shù)學(xué)解答、語言理解、代碼等能力超過了GPT-3.5，性能與谷歌的Gemini1.0Pro 性能差不多。

　　什么是專家混合模型

　　MoE模型全稱為Mixture of Experts，其核心原理是將一個龐大的神經(jīng)網(wǎng)絡(luò)分解為多個相對獨立的小型子網(wǎng)絡(luò)(即專家)，每個專家負(fù)責(zé)處理輸入數(shù)據(jù)的某些方面。

　　這種架構(gòu)設(shè)計使得MoE模型能夠高效利用計算資源，避免對所有參數(shù)進(jìn)行無謂的計算。主要包括門控制機(jī)制、專家網(wǎng)絡(luò)和聚合器三大模塊

　　門控機(jī)制:這是MoE模型的核心模塊，負(fù)責(zé)決定每個輸入應(yīng)該由哪個或哪幾個專家處理。

　　門控機(jī)制會根據(jù)輸入數(shù)據(jù)的特征分配權(quán)重給不同的專家，這個過程是動態(tài)的，意味著不同的輸入會根據(jù)其內(nèi)容被分配給最合適的專家處理。例如，Grok-1模型中只有大約25%的參數(shù)被實際使用或“激活”。

　　專家網(wǎng)絡(luò):這些是模型中的子網(wǎng)絡(luò)，每個都有自己特定的參數(shù)配置。在傳統(tǒng)的MoE模型中，這些專家網(wǎng)絡(luò)可以是結(jié)構(gòu)相同但參數(shù)不同的多個神經(jīng)網(wǎng)絡(luò)。每個網(wǎng)絡(luò)都專注于模型任務(wù)的一個方面或輸入數(shù)據(jù)的一個子集。

　　聚合器:一旦各個專家給出了自己對于輸入的處理結(jié)果，聚合器則負(fù)責(zé)將這些結(jié)果綜合起來，形成最終的輸出。聚合的方式可以是簡單的加權(quán)和、投票機(jī)制或者更復(fù)雜的融合策略。

　　MoE是開發(fā)、訓(xùn)練超過千億參數(shù)大模型常用的架構(gòu)，例如，GPT-4、Palm2等著名大模型使用的都是該架構(gòu)。