本文來自于微信公眾號 未來科技力(ID：smartechworld)，作者：李欣帥。

　　ChatGPT等AI工具的使用正越來越普遍。在與AI交互時，我們知道，輸入的提示詞差異會對輸出結(jié)果產(chǎn)生影響。那么，如果相同意思的提示詞，用不同語言分別表述，結(jié)果差異是否較大?另外，提示詞的輸入和輸出是和模型背后的計算量直接掛鉤的。因此，不同語言之間在AI輸出和成本消耗方面是不是有著天然的差異性或者說是“不公平性”?這種“不公平性”又是如何產(chǎn)生的呢?

　　據(jù)了解，提示詞背后其實對應(yīng)的不是文字，而是token。當(dāng)接收到用戶輸入的提示詞之后，模型會將輸入轉(zhuǎn)換為token列表進(jìn)行處理和預(yù)測，同時將預(yù)測的token轉(zhuǎn)換為我們在輸出中看到的單詞。也就是，token是語言模型處理和生成文本或代碼的基本單位。可以關(guān)注到，各家廠商會宣稱自家模型支持多少token的上下文，而不是說支持的單詞或漢字的數(shù)量。

　　影響Token計算的因素

　　首先，一個token并不對應(yīng)一個英文單詞或一個漢字，token跟單詞之間沒有具體的換算關(guān)系。比如，根據(jù)OpenAI發(fā)布的token計算工具，hamburger一詞被分解為ham、bur和ger，共計 3 個token。另外，同一個詞語，如果在兩句話中的結(jié)構(gòu)不同，會被記作不同數(shù)目的token。

　　具體token如何計算主要取決于廠商使用的標(biāo)記化(tokenization)方法。標(biāo)記化是將輸入和輸出文本拆分為可由語言模型處理的token的過程。該過程可以幫助模型處理不同的語言、詞匯表和格式。而ChatGPT背后采用的是一種稱為“字節(jié)對編碼”(Byte-Pair Encoding，BPE)的標(biāo)記化方法。

　　目前來看，一個單詞被分解成多少token，跟它的發(fā)音和在句子中的結(jié)構(gòu)有關(guān)。而不同語言之間的計算差異似乎較大。

　　拿“hamburger”對應(yīng)的中文“漢堡包”來說，這三個漢字被計作 8 個token，也就是被分解成了 8 部分。

　　再拿一段話來進(jìn)行中英文語言token計算的“不公平性”對比。

　　下面是OpenAI官網(wǎng)的一句話：You can use the tool below to understand how a piece of text would be tokenized by the API， and the total count of tokens in that piece of text.這段話共計 33 個token。

　　對應(yīng)的中文為：您可以使用下面的工具來理解API如何將一段文本標(biāo)記化，以及該段文本中標(biāo)記的總數(shù)。共計76token。

　　中英文語言在AI上存在天然“不公平”

　　可以看到，相同意思的中文token數(shù)是英文的兩倍多。中文和英文在訓(xùn)練和推理上的“不公平性”，也許是因為中文通常一個詞匯可以表達(dá)多種含義，語言組成較為靈活，中文還有著深厚的文化內(nèi)涵，具有豐富的語境意義，這極大增加了語言的歧義性和處理難度;英語語法結(jié)構(gòu)較為簡單，這使得英語在一些自然語言任務(wù)上比中文更容易被處理和理解。

　　中文需要處理的token更多，模型所消耗的內(nèi)存和計算資源也就越多，當(dāng)然所需要的成本也就越大。

　　同時，ChatGPT雖然可以識別包括中文在內(nèi)的多種語言，但它訓(xùn)練使用的數(shù)據(jù)集大都為英文文本，在處理非英語語言時，可能面臨語言結(jié)構(gòu)、語法等方面的挑戰(zhàn)，進(jìn)而影響輸出效果。近日的一篇題為《多語言語言模型在英語中表現(xiàn)得更好嗎?》(Do Multilingual Language Models Think Better in English?)的論文中提到，當(dāng)將非英文語言翻譯成英文后輸出的結(jié)果，要好于直接使用非英文語言作為提示詞的結(jié)果。

　　對中文用戶來說，似乎先將中文翻譯成英文，然后再與AI交互，似乎效果更好，也更劃算。畢竟使用OpenAI的GPT- 4 模型API，每輸入 1 千token至少要收費0. 03 美元。

　　那由于中文語言的復(fù)雜性，AI模型在使用中文數(shù)據(jù)進(jìn)行準(zhǔn)確訓(xùn)練和推理方面可能面臨挑戰(zhàn)，并增加了中文模型應(yīng)用和維護(hù)的難度。同時，對開發(fā)大模型的公司來說，做中文大模型由于需要額外的資源，或許要承擔(dān)更大的成