AI推理時代，邊緣計算成新戰場

2025-03-28 13:31:24來源：TechWeb.com.cn 關鍵詞：AI推理邊緣計算閱讀量：21717

導讀：面對新興的AI推理需求，推理性能、效率以及成本毫無疑問是最核心的問題，而邊緣計算在靠近數據生成源的地方進行處理和推理，具有低延遲、數據隱私保護和高效能等優勢，被視作AI推理的理想位置，由此將成為競爭的新戰場。

　　自去年來，從Open AI推出O1推理模型，到Anthropic跟進推出非常依賴推理能力的“Computer Use”的Agent功能，再到DeepSeek R1推理模型在全球火爆，以及英偉達在GTC大會上亮相首款推理模型、首個推理軟件等，這些科技巨頭的動作一再揭示一個趨勢——AI大模型的競爭焦點已經轉向AI推理，AI推理時代已經到來。

　　面對新興的AI推理需求，推理性能、效率以及成本毫無疑問是最核心的問題，而邊緣計算在靠近數據生成源的地方進行處理和推理，具有低延遲、數據隱私保護和高效能等優勢，被視作AI推理的理想位置，由此將成為競爭的新戰場。

　　在DeepSeek出現之前，AI大模型的部署與訓練需要大量的資金投入和大規模算力的部署、維護，中小企業很難自建生態以進行大模型的開發，同時也受制于AI大模型閉源帶來的部署與使用門檻。

　　而DeepSeek采用大規模跨節點專家并行的模式，利用強化學習來減少人工依賴和數據缺失的問題，通過全面開源的方式，將AI推理資源池成本降到百卡/千卡范圍，真正降低AI大模型在行業用戶環境中的部署與使用成本，同時，部署方式更加輕量、靈活，為行業提供了全新的解決方案。短短兩個月的時間，國內外的科技、金融、政務、能源、通信、汽車、高校等各行各業均已紛紛接入DeepSeek，用于業務提效和AI應用創新。

　　這讓更多人以更低成本享受到了AI的高性能，加速了端側AI的爆發與普及，同時也推動了AI格局向大規模推理轉變。

　　由于AI推理會為終端用戶運行工作負載，響應速度和位置尤為關鍵，這意味著在邊緣或邊緣云環境中進行推理更有優勢。對于企業而言，靠近節點的邊緣云可以有效提高數據交互和AI推理的即時性與效率，并保障信息安全。

　　具體來看，邊緣計算地理分布廣泛，更靠近用戶，是低延遲體驗的必要條件。同時邊緣計算通過縮短交互鏈路，能夠大幅降低數據傳輸開銷和成本。以語音數字人場景為例，相較中心云，在靠近用戶的邊緣側接入，使得語音數據傳輸鏈路短，用戶體驗明顯優于中心推理，而相較設備端，又可以降低對終端設備的依賴，模型能力的優化升級更加簡便。

　　其次，邊緣節點容量大、健壯性強、可用性高，疊加邊緣推理后，更具智能、更加高效，能夠更好支撐企業數字化、智能化;并且邊緣計算還能保障業務連續性，通過業務調度能力實現節點故障時的快速切換。

　　再者，在邊緣側可以提供更多能力，比如邊緣緩存，實現交互內容的就近存儲，減少網絡流量、提升模型的實時性，比如集成安全的邊緣防護，增強大模型部署和應用的安全性。

　　AI推理市場的主要競爭者包括AI硬件廠商、模型廠商以及AI服務提供商，可以看到，參與者們已經在瞄準邊緣計算進行布局。

　　比如硬件層面，蘋果、高通等廠商積極研發邊緣AI芯片，應用在AI手機和機器人上，支撐邊緣端的大模型運行；Arm發布了邊緣AI計算平臺，可運行超10億參數的端側AI模型；國科微推出了AI邊緣計算芯片，可適配包括輕量級LLM語言大模型、AIGC生成式模型、CV大模型以及多模態大模型等。

　　平臺服務層面，英特爾推出了基于英特爾銳炫TM顯卡的邊緣端AI推理解決方案，提升AI推理速度；阿里云推出了邊緣容器云，助力開發者實現更快速的AI推理應用的迭代和部署；網宿科技打造了邊緣AI平臺，提供ServerlessGPU、邊緣AI網關、邊緣模型微調與推理服務等，幫助企業低成本、高效率地實現AIGC創新。

　　目前AI推理市場正處于快速發展期，競爭格局尚未完全固化。專家認為，未來市場競爭的核心要素在于成本/性能的計算，即包括推理成本、延遲和吞吐量。

　　聚焦到邊緣計算這一切入點，資源與技術能力將是參與者競爭取勝的關鍵。

　　以網宿科技為例，作為邊緣計算領域的頭部玩家，于2011年就已探索邊緣計算，早已形成從資源、產品、能力、安全到應用的一體化布局。資源方面，網宿在全球擁有近3000個節點資源和豐富的GPU算力資源，更貼近業務邊緣，具有低時延優勢，例如在與大模型交互的鏈路中，能夠將模型交互效率提升2-3倍。

　　而在技術能力上，網宿沉淀了完備的技術棧，依托異構計算資源的虛擬化和容器化、全球海量節點的編排管理等關鍵技術，能夠支撐大規模模型能力的調度和運營，為企業提供高可用服務；此外，還通過邊緣函數自定義更多個性化的功能，結合企業業務場景提供個性化的智能解決方案。

　　據悉，網宿邊緣AI平臺已經深入醫療、家居、媒體、互聯網等行業，應用于AI輔助開發、AI問答、AIOT、AI評論等場景，比如網宿利用RAG技術構建知識庫，并結合邊緣AI推理模型，為某醫療企業構建了智能AI問答系統，明顯提升了醫療咨詢的效率。

　　可以預見，隨著模型技術的不斷演進和邊緣計算能力的持續提升，AI推理將迎來一場革新，為產業帶來更多創新機遇。

上一篇：智慧燈桿＋無人機推動智慧城市新發展

下一篇：河北省發布2024年度有效降低全社會物流成本十大案例

我要評論

昵稱

匿名

文明上網，理性發言。（您還可以輸入200個字符)

表情

所有評論僅代表網友意見，與本站立場無關。

IDC：到2028年全球邊緣計算支出將接近3800億美元
報告對邊緣計算行業進行了估值，計算出2025年全球邊緣計算服務支出總額將達到近 2610億美元，預計年復合增長率為13.8%，到2028年將達到3800億美元。
邊緣計算邊緣服務
2025-03-21 13:45:57
邊緣計算在人工智能云解決方案中的作用
邊緣計算將數據存儲在靠近設備的位置，AI系統直接在網絡邊緣處理數據。即使沒有互聯網連接，設備仍可正常運行。這使得可以在幾毫秒內處理數據，并提供實時反饋。
邊緣計算人工智能云解決方案
2025-03-14 13:38:16
邊緣AI與云集成：工業維護轉型的未來之路
隨著邊緣計算、人工智能(AI)和云技術的深度融合，預測性維護正成為推動工業運營變革的關鍵力量。
邊緣計算云計算
2025-01-22 09:06:26
2025年物聯網格局有望成為創新和轉型的格局
2025年的物聯網格局有望成為創新和轉型的格局，邊緣計算、5G和AI等技術將推動進步。以下是預計將影響2025年的關鍵物聯網趨勢及其對工程師和設計師的影響。
物聯網邊緣計算
2025-01-20 11:37:35
到2030年，邊緣計算將主導數據處理
邊緣計算作為一種新興的計算模式，正在迅速崛起，成為數據處理的新樞紐。預計到2030年，邊緣計算將超越中央數據中心，成為主導數據處理的核心力量。
邊緣計算
2025-01-09 10:54:57
物聯網和邊緣計算：實時數據如何徹底改變工業4.0
物聯網是工業4.0的核心，因為它能夠將物理設備連接到數字網絡。物聯網設備和傳感器從機器、生產線和工業環境中收集有價值的數據，實時洞察工業系統的性能和健康狀況。
物聯網設備邊緣計算
2024-11-22 08:55:36

版權與免責聲明：

凡本站注明“來源：智能制造網”的所有作品，均為浙江興旺寶明通網絡有限公司-智能制造網合法擁有版權或有權使用的作品，未經本站授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的，應在授權范圍內使用，并注明“來源：智能制造網”。違反上述聲明者，本站將追究其相關法律責任。

本站轉載并注明自其它來源（非智能制造網）的作品，目的在于傳遞更多信息，并不代表本站贊同其觀點或和對其真實性負責，不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、平臺或個人從本站轉載時，必須保留本站注明的作品第一來源，并自負版權等法律責任。如擅自篡改為“稿件來源：智能制造網”，本站將依法追究責任。

鑒于本站稿件來源廣泛、數量較多，如涉及作品內容、版權等問題，請與本站聯系并提供相關證明材料：聯系電話：0571-89719789；郵箱：1271141964@qq.com。