近日，摩爾線程公司宣布正式開(kāi)源其研發(fā)的音頻理解大模型——MooER(摩耳)，這一業(yè)界首個(gè)基于國(guó)產(chǎn)全功能GPU進(jìn)行訓(xùn)練和推理的大型開(kāi)源語(yǔ)音模型，展示了摩爾線程在人工智能領(lǐng)域的最新成果。

　　MooER大模型在摩爾線程夸娥(KUAE)智算平臺(tái)上，僅用38小時(shí)便完成了5000小時(shí)音頻數(shù)據(jù)和偽標(biāo)簽的訓(xùn)練。這一成就得益于公司自研的創(chuàng)新算法和高效計(jì)算資源的結(jié)合。MooER不僅支持中文和英文的語(yǔ)音識(shí)別，還具備中譯英的語(yǔ)音翻譯能力，在多個(gè)語(yǔ)音識(shí)別領(lǐng)域的測(cè)試集中展現(xiàn)出優(yōu)異表現(xiàn)。特別在Covost2中譯英測(cè)試集中，MooER-5K取得了25.2的BLEU分?jǐn)?shù)，接近工業(yè)級(jí)效果。

　　摩爾線程AI團(tuán)隊(duì)開(kāi)源了推理代碼和5000小時(shí)數(shù)據(jù)訓(xùn)練的模型，并計(jì)劃進(jìn)一步開(kāi)源訓(xùn)練代碼和基于8萬(wàn)小時(shí)數(shù)據(jù)訓(xùn)練的模型。MooER的模型結(jié)構(gòu)包括Encoder、Adapter和Decoder三個(gè)部分，使用開(kāi)源的Paraformer語(yǔ)音編碼器、Qwen2-7B-instruct大語(yǔ)言模型來(lái)初始化Encoder和LLM模塊。

　　在技術(shù)對(duì)比中，MooER-5K在中文和英文測(cè)試集上的表現(xiàn)均優(yōu)于其他開(kāi)源模型。摩爾線程通過(guò)這一開(kāi)源項(xiàng)目，為數(shù)據(jù)資源和計(jì)算資源有限的開(kāi)發(fā)者提供了寶貴的參考和支持。