就在前幾天小米的年度演講中,雷軍提到小米的AI大模型能力,小愛同學正式升級為生成式大模型,現已經進入測試階段。小米高管公式在8月17號表示,小米將會很快實現端側AI模型能力。
01.端側AI的優勢
端側也就是我們常說的邊緣計算,這種模式可以更好的支持AloT場景。也就是:AI+IoT(Internet of Things 物聯網)=AIoT。邊緣計算,是指在靠近物或數據源頭的一側,采用網絡、計算、存儲、應用核心能力為一體的開放平臺,就近提供最近端服務。邊緣計算也是一種分布式計算。它將數據資料的處理、應用程序的運行甚至一些功能服務的實現,由網絡中心下放到網絡邊緣的節點上,以減少業務的多級傳遞,降低核心網和傳輸的負擔。它的應用程序是在邊緣側發起,產生更快的網絡服務相應。對物聯網而言,邊緣計算技術取得突破,意味著許多控制將通過本地設備實現而無需交由云端,處理過程將在本地邊緣計算層完成。
端側AI具有如下優點:
Al 技術用于端側可以第一時間對收集的數據進行處理,不需要通過網絡上傳到云側的處理中心,極大加快了系統響應也減少了系統處理延遲;
端側計算可以更高效的處理有價值的關鍵數據,其余的數據只是臨時性的,在端側結合 AI 能力,不僅可以更及時處理數據,而且減輕網絡帶寬的限制和緩解對中心側數據存儲的壓力;
在端側的 Al 技術可以高效地對用戶的源數據進行處理,將一些敏感的數據進行清洗和保護,端側設備只將 Al 處理后的結果上報云端。
端側AI的技術難點:
硬件資源限制
存儲、內存、計算資源
模型的版本管理、生命周期
終端的種類很多,不同硬件架構的適配和模型遷移成本過高
第三點同時導致了端側AI應用復雜度增加
02.5G和端側計算相輔相成
5G 是一項長期演進的技術,也許最開始,我們對它的感知只是手機網速更快、時延更低,但 5G 的意義遠不止于此。隨著 5G 標準從 Rel-15、Rel-16 到 Rel-17 等的不斷演進,5G 也將不斷擴展到更多行業。數據顯示,全球有200多家運營商已經部署了5G商用網絡,另有將近300家運營商正在投資部署5G技術。在我國,目前已累計建成5G行業虛擬專網16000余個,應用案例涵蓋交通、醫療、教育、智慧城市、農業等多個領域。
在5G網絡在誕生之初,便定義了它的三大應用場景:eMBB(增強移動寬帶)、mMTC (海量機器類通信)和 uRLLC(超可靠低時延通信),相應的為滿足高清視頻、智慧城市、車聯網等業務需求提供技術支持。
但值得關注的是,每個業務場景在發展過程中都有其自身所面臨的一些挑戰。例如,eMBB將對網絡帶寬產生數百Gbps的超高需求,從而對回傳網絡造成巨大傳輸壓力,單方面投資擴容匯聚與城域網絡將大幅提高單位媒體流傳輸成本,無法實現投資收益;uRLLC需要端到端1ms級超低時延支撐,僅僅依賴無線與固網物理層與傳輸層技術進步,無法滿足苛刻的時延需求;mMTC將產生海量數據,導致運營管理的巨大挑戰,僅僅由云端集中統一監控無法支撐如此復雜的物聯系統。
邊緣計算恰好可以為這些問題帶來解決方案。首先,邊緣計算設備將為新的和現有的邊緣設備提供連接和保護;其次,盡管5G將為基于云的應用程序提供更好的連接性和更低的延遲,但仍然存在處理和存儲數據的成本,混合邊緣計算/5G解決方案可以降低這些成本;最后,邊緣計算可以讓更多應用程序在邊緣運行,例如分析,網絡安全或合規性/監管應用程序,減短了由
數據傳輸速度和帶寬限制所帶來的延時,并可對本地數據做初步分析,為云分擔了一部分工作。
高通中國區研發負責人徐晧認為,面對當前AI技術取得重大突破,未來AI與5G-Advanced融合發展,將對智能終端和AI應用發展帶來非常深遠的影響。在5G-Advanced更大帶寬、更低時延的網絡能力支撐下,未來AI處理將通過“云-邊-網-端”架構不斷從云端向邊緣、終端側擴展,從而在手機、汽車、XR、無人機等多種形式的智能終端上催生出大量新興AI應用。而多種形式的智能終端和豐富的AI應用又會反過來進一步促進5G-Advanced繁榮發展。
版權與免責聲明:
凡本站注明“來源:智能制造網”的所有作品,均為浙江興旺寶明通網絡有限公司-智能制造網合法擁有版權或有權使用的作品,未經本站授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的,應在授權范圍內使用,并注明“來源:智能制造網”。違反上述聲明者,本站將追究其相關法律責任。
本站轉載并注明自其它來源(非智能制造網)的作品,目的在于傳遞更多信息,并不代表本站贊同其觀點或和對其真實性負責,不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、平臺或個人從本站轉載時,必須保留本站注明的作品第一來源,并自負版權等法律責任。如擅自篡改為“稿件來源:智能制造網”,本站將依法追究責任。
鑒于本站稿件來源廣泛、數量較多,如涉及作品內容、版權等問題,請與本站聯系并提供相關證明材料:聯系電話:0571-89719789;郵箱:1271141964@qq.com。