方案背景

自ChatGPT發布以來，生成式AI在引起了新的浪潮，它影響著各行各業，為世界帶來史詩級的智能化發展。然而，類ChatGPT的大語言模型極度依賴算力巨大的服務器，導致目前大部分應用只能通過集中調用API的方式來應用，很難本地化部署。隨著大模型適用領域的擴展，大模型登陸邊緣設備的需求凸顯，越來越多的行業需要把大語言模型應用在專業的領域上。在這個背景下，Firefly推出了基于BM1684X平臺的大語言模型本地部署的方案，讓邊緣設備可配置上一顆真正的“智慧”大腦，應用于各行各業。

一，本地化的ChatGLM-6B大語言模型

（1）具有 62 億參數

采用了由清華大學的ChatGLM-6B大語言模型，基于 General Language Model (GLM) 架構，具有 62 億參數， 使用了和 ChatGPT 相似的*技術，以達到優質的效果。

（2）優化中文對話

支持中英雙語的對話語言模型，并且針對中文問答和對話進行了優化。其開源的訓練數據量達到1萬億字符的模型

二，高算力AI邊緣計算主機EC-A1684XJD4

ChatGLM-6B可部署在Firefly旗下產品AI嵌入式主機EC-A1684XJD4中，主機配置了16GB大內存，適用于部分大模型的量化部署，可運行Ubuntu20.04操作系統，并集成的SOPHONSDK 3.0.0，可充分發揮BM1684X集成TPU的AI加速能力

商務聯系

產品細節和請聯系

sales