Meta讓獨立VR頭顯實現Codec Avatars

2022-05-05 10:58:28來源：cnBeta.COM 關鍵詞：加速器芯片 VR頭顯 Meta閱讀量：22884

導讀：Meta Reality Labs 科研人員近日研發出一款 VR 頭顯原型，內置了一個專門用于處理人工智能的定制加速器芯片，使在獨立頭盔上渲染該公司的逼真的 Codec Avatars 成為可能。

　　Meta Reality Labs 科研人員近日研發出一款 VR 頭顯原型，內置了一個專門用于處理人工智能的定制加速器芯片，使在獨立頭盔上渲染該公司的逼真的 Codec Avatars 成為可能。

　　在公司更名之前，Meta 公司就一直在推動 Codec Avatars 項目，該項目旨在使 VR 中近乎逼真的頭像成為現實。利用設備上的傳感器(如眼球追蹤和嘴巴追蹤)和人工智能處理的組合，該系統以逼真的方式實時為用戶制作詳細的動畫。

　　Codec Avatars 項目的早期版本需要使用 NVIDIA 的 Titan X GPU 進行渲染支持，這使得像 Meta 最新 Quest 2 這樣的移動獨立頭顯無法驅動這些需求。

　　于是該公司已經開始研究如何在低功率的獨立頭顯上實現 Codec Avatars，上個月召開的 2022 年 IEEE CICC 會議上發表的一篇論文證明了這一點。在這篇論文中，Meta 公司透露它創建了一個用 7 納米工藝制造的定制芯片，作為專門用于 Codec Avatars 的加速器。

　　根據研究人員的說法，該芯片遠非現成的。該小組在設計它時，考慮到了 Codec Avatars 處理管道的一個重要部分，特別是分析傳入的眼球追蹤圖像，并生成 Codec Avatars 模型所需的數據。該芯片的占地面積僅有 1.6mm²。

　　研究人員寫道：“在7納米技術節點制造的測試芯片具有一個神經網絡(NN)加速器，由1024個乘積(MAC)陣列、2MB片上SRAM和一個32位RISC-V CPU組成”。反過來，他們也重建了Codec Avatars人工智能模型的部分，以利用該芯片的特定架構。

　　研究人員表示：“通過重新構建基于卷積[神經網絡]的眼睛注視提取模型，并為硬件量身定做，整個模型適合在芯片上使用，以減輕系統級能量和片外內存訪問的延遲成本。通過在電路層面有效地加速卷積操作，所提出的原型[芯片]在低外形尺寸下實現了每秒30幀的性能和低功耗”。

　　通過加速 Codec Avatars 工作負載的密集部分，該芯片不僅加快了進程，而且還減少了所需的功率和熱量。由于芯片的定制設計，它能夠比通用CPU更有效地做到這一點，然后為Codec Avatars的眼球追蹤組件的重新架構的軟件設計提供參考。

　　但頭顯的通用CPU(在這種情況下，Quest 2的Snapdragon XR2芯片)也沒有閑著。當定制芯片處理Codec Avatars的部分編碼過程時，XR2管理解碼過程和渲染化身的實際視覺效果。

　　這項工作一定是相當多學科的，因為論文中提到了12名研究人員，他們都來自Meta的現實實驗室。H. Ekin Sumbul, Tony F. Wu, Yuecheng Li, Syed Shakib Sarwar, William Koven, Eli Murphy-Trotzky, Xingxing Cai, Elnaz Ansari, Daniel H. Morris, Huichu Liu, Doyun Kim, and Edith Beigne。

　　令人印象深刻的是，Meta的Codec Avatars可以在獨立的耳機上運行，即使需要一個特殊的芯片。但我們不知道的一點是，頭像的視覺渲染是如何處理的。用戶的底層掃描是高度詳細的，可能太復雜而無法在Quest 2上完全渲染。目前還不清楚在這種情況下，Codec Avatars的"逼真"部分被保留了多少，即使所有的基礎部分都在那里以驅動動畫。

　　原標題:Meta定制芯片讓獨立VR頭顯也可實現Codec Avatars

上一篇：AMD處理器明年集成AI功能：超越CPU/GPU

下一篇：戴爾存儲產品優化500多項軟件功能提升自動化、安全性及多云靈活性

我要評論

昵稱

匿名

文明上網，理性發言。（您還可以輸入200個字符)

表情

所有評論僅代表網友意見，與本站立場無關。

Meta啟動史上最大海底電纜項目：投資超過100億美元
據報道，Meta宣布將啟動一個跨越5萬公里的全球海底電纜項目，該項目的名字叫做Waterworth，將于今年開始動工。項目精心規劃了在美國、巴西、印度、南非等地的著陸點，并預計開辟三條全新的海洋通信通道。
Meta海底電纜項目
2025-02-18 10:44:43
Meta有意收購韓國AI芯片初創企業FuriosaAI 以提升自研能力
在最新的報道中，有外媒提到在自研芯片的Meta，正在考慮收購韓國的AI芯片初創公司FuriosaAI，這一潛在收購是他們加速自研AI芯片戰略的一部分。
MetaAI芯片
2025-02-13 10:18:33
Meta計劃建設海底光纜：長度將超4萬公里貫穿全球
預計Meta將在2025年初更為詳盡地公開此項目的進展，包括具體的路線規劃、光纜容量以及建設此光纜的核心理由等。
Meta海底光纜
2024-12-02 10:52:45
Meta欲打造巨型AI模型：推動旗下視頻推薦引擎發展
Meta技術路線圖的“第一階段”包括將該公司目前的推薦系統從更傳統的計算機通用計算芯片轉向GPU加速體系，以幫助提高旗下產品的整體性能和個性化體驗。
MetaAI模型
2024-03-07 13:46:18
蘋果下一代CarPlay車載系統將于2024年上線首發車廠為保時捷與阿斯頓·馬丁
蘋果下一代CarPlay需車載電腦提供車速、燃油、胎壓、車外氣溫等數據，才能在儀表屏位置以個性化方式顯示關鍵信息，數值應與傳統儀表一致。
VR頭顯CarPlay車載系統
2023-12-21 10:06:39
郭明錤：2024年蘋果MR頭顯出貨量至多為40萬至60萬部低于市場預期
蘋果分析師郭明錤表示，2024年蘋果首款混合現實(MR)頭顯Vision Pro的出貨量最多為40萬至60萬部，低于市場預期的100萬部。
頭顯設備VR頭顯零部件
2023-09-28 09:25:57

版權與免責聲明：

凡本站注明“來源：智能制造網”的所有作品，均為浙江興旺寶明通網絡有限公司-智能制造網合法擁有版權或有權使用的作品，未經本站授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的，應在授權范圍內使用，并注明“來源：智能制造網”。違反上述聲明者，本站將追究其相關法律責任。

本站轉載并注明自其它來源（非智能制造網）的作品，目的在于傳遞更多信息，并不代表本站贊同其觀點或和對其真實性負責，不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、平臺或個人從本站轉載時，必須保留本站注明的作品第一來源，并自負版權等法律責任。如擅自篡改為“稿件來源：智能制造網”，本站將依法追究責任。

鑒于本站稿件來源廣泛、數量較多，如涉及作品內容、版權等問題，請與本站聯系并提供相關證明材料：聯系電話：0571-89719789；郵箱：1271141964@qq.com。