近日，嘉楠科技(Canaan)發(fā)布了參數(shù)量為70億的通用大語(yǔ)言模型 Toucan-7B 及 INT4量化版本 Toucan-7B-4bit。

　　Toucan-7B 能夠?qū)崿F(xiàn)文案寫(xiě)作、代碼解析、信息抽取等多種自然語(yǔ)言處理任務(wù)，并在測(cè)試中表現(xiàn)優(yōu)于 ChatGLM-6B。Toucan-7B-4bit 使用了最新的 INT4量化技術(shù)，顯存占用量更低，與 Toucan-7B-fp16模型相比，具有較好的推理效果。

　　據(jù)悉，Toucan 是一個(gè)基于 Meta LLaMa 架構(gòu)的開(kāi)源中文對(duì)話語(yǔ)言模型。它具有70億參數(shù)，并結(jié)合了模型量化和稀疏技術(shù)，可以在端側(cè)進(jìn)行推理。Toucan-7B 的效果略好于 ChatGLM-6B，而經(jīng)過(guò)4bit 量化后的模型與 ChatGLM-6B 的效果相當(dāng)。