9月26日，位于加利福尼亞帕洛阿爾托的SambaNova Systems公司宣布推出一款革命性的新芯片，名為SN40L。這款芯片將為SambaNova的全棧大語言模型(LLM)平臺SambaNova Suite提供動力，并具有革命性的內部設計:在內部，它提供了密集和稀疏計算，同時包括大內存和快速內存，使其成為一款真正的“智能芯片”。

　　SambaNova的SN40L芯片由TSMC制造，可以為5萬億參數模型提供256k+的序列長度，這在單個系統節點上實現，這是通過整合技術的新突破，大大提高了模型質量，同時實現更快的推理和訓練速度，降低了總擁有成本。

　　SambaNova Systems的聯合創始人兼CEO Rodrigo Liang表示:“今天，SambaNova提供了唯一的全棧LLM平臺——SambaNova Suite，現在還有一款智能AI芯片;這對全球2000家企業來說是一個改變游戲規則的產品。”他還表示:“我們現在能夠在一個芯片中提供這兩種能力——更多內存的能力，以及最智能的計算核心——使組織能夠充分利用廣泛應用人工智能的承諾，擁有自己的LLM，可以媲美GPT-4及更高級別的模型。”

　　這款新芯片只是SambaNova全棧LLM平臺的一部分，該平臺解決了企業在部署生成式人工智能時面臨的最大挑戰:“我們已經開始看到對較小模型的需求增加，但更大的模型仍然更好，更大的模型將開始變得更加模塊化，”SambaNova Systems的聯合創始人Kunle Olukotun表示，“客戶要求擁有像GPT-4這樣的千億參數模型的LLM，但他們也希望擁有根據他們的數據進行優化的模型。通過新的SN40L芯片，我們迄今為止最先進的AI芯片，集成到全棧LLM平臺中，我們為客戶提供了運行最大LLM模型的關鍵，具有更高的訓練和推理性能，而不損害模型準確性。”

　　SN40L芯片的獨特之處在于它可以同時處理高帶寬內存(HBM)和動態隨機存取內存(DRAM)，使人工智能算法能夠選擇最適合當前任務的內存，從而直接訪問遠比以前更多的內存。此外，通過使用SambaNova的可重構數據單元(RDU)架構，芯片設計以更智能的計算方式高效運行稀疏模型。

　　SambaNova Suite中的新模型和功能包括Llama2變種(7B、70B)，使客戶能夠自適應、擴展并運行最佳的LLM模型，同時保留這些模型的所有權。此外，還有BLOOM176B，這是開源社區中最準確的多語言基礎模型，使客戶能夠通過各種語言解決更多問題，同時還可以擴展模型以支持新的低資源語言。

　　SambaNova 還包括一個用于基于向量的檢索增強生成的新嵌入模型，使客戶能夠將其文檔嵌入到向量嵌入中，在問答過程中檢索這些嵌入，而不會導致幻覺。LLM然后將結果用于分析、提取或總結信息。此外，還有世界領先的自動語音識別模型，用于轉錄和分析語音數據，以及其他多模態和長序列長度功能。此外，還提供了推理優化系統，配備了3層數據流內存，以實現高帶寬和高容量。