智能制造網(wǎng)APP
智能制造網(wǎng)手機(jī)站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號(hào)
智能控制
機(jī)器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
爽風(fēng)
12月12日消息，據(jù)報(bào)道，IBM在光學(xué)技術(shù)方面獲得新進(jìn)展，有望提升數(shù)據(jù)中心訓(xùn)練和運(yùn)行生成式AI模型的效率。
IBM推出了新一代光電共封裝(CPO)工藝。該技術(shù)利用光學(xué)連接，實(shí)現(xiàn)了數(shù)據(jù)中心內(nèi)部的光速數(shù)據(jù)傳輸，完美補(bǔ)充了現(xiàn)有的短距離光纜系統(tǒng)。
研究人員展示了光電共封裝技術(shù)將如何重新定義計(jì)算行業(yè)在芯片、電路板和服務(wù)器之間的高帶寬數(shù)據(jù)傳輸。最大限度地減少GPU停機(jī)時(shí)間，同時(shí)大幅加快AI工作速度。
具體而言，這一新技術(shù)帶來了三大方面的顯著優(yōu)勢(shì)：
首先，它極大地降低了規(guī)模化應(yīng)用生成式AI的成本。與中距離電氣互連裝置相比，光電共封裝技術(shù)的能耗降低了五倍以上，同時(shí)，數(shù)據(jù)中心互連電纜的長(zhǎng)度也從傳統(tǒng)的1米擴(kuò)展至數(shù)百米，進(jìn)一步提升了數(shù)據(jù)中心的靈活性和擴(kuò)展性。
其次，該技術(shù)顯著提高了AI模型的訓(xùn)練速度。與傳統(tǒng)的電線相比，使用光電共封裝技術(shù)訓(xùn)練大型語言模型的速度幾乎提升了五倍。
這意味著，原本需要三個(gè)月才能訓(xùn)練完成的標(biāo)準(zhǔn)大語言模型，現(xiàn)在僅需三周即可完成。對(duì)于更大的模型和更多的GPU，性能的提升將更為顯著。
最后，光電共封裝技術(shù)還顯著提升了數(shù)據(jù)中心的能效。據(jù)估算，每訓(xùn)練一個(gè)AI模型所節(jié)省的電量，竟然相當(dāng)于5000個(gè)美國(guó)家庭一年的耗電量總和。這一數(shù)據(jù)無疑彰顯了該技術(shù)在節(jié)能減排方面的巨大潛力。
浙公網(wǎng)安備 33010602000006號(hào)
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號(hào)
