據外媒報道,近日,日本三菱電機(Mitsubishi Electric Corporation)公司宣布其研發了首款能夠與人類進行高度自然其直觀互動的技術,該技術基于場景感知能力,能夠將多模態感知信息翻譯成自然語言。該款新技術名為場景感知交互(Scene-Aware Interaction),整合了三菱電機的專有Maisart緊湊型AI技術,可以分析多模態感知信息,通過依賴于上下文情境生成的自然語言與人類實現高度自然且直觀的交互。
該技術基于多模態感知信息,如攝像頭捕捉的圖像和視頻、麥克風錄下的音頻信息以及激光雷達測量的定位信息,以識別情境中的物體。為了對這些不同類別的信息進行優先排序,三菱電機研發了注意力多模態融合技術(Attentional Multimodal Fusion),能夠自動加權突出的單模態信息,為準確描述場景而選擇適當詞匯。在采用通用測試集的基準測試中,注意力多模態融合技術采用音頻和視覺信息來取得基于共識的圖像描述評價(CIDEr)得分,發現比僅使用視覺信息的得分高出29%。三菱電機將注意力多模態融合與場景理解技術和基于情境的自然語言生成技術相結合,實現了強大的端到端場景感知交互系統,在不同場景下,都可以與用戶實現高度直觀的交互。
場景感知交互技術可用于汽車導航應用,為駕駛員提供直觀的路線導航。例如,系統不再指示駕駛員“在50米內右轉”,而是提供場景感知型指導,如“在郵箱前右轉”或“跟著灰色的車向右轉”。此外,該系統還會在預測到附近有物體的行進路徑與車輛的行進路徑相交時,生成語音警報,如“有行人正在過馬路”。為了實現這一功能,該系統會分析場景,識別出場景中隱藏的視覺路標以及動態元素,然后利用此類東西識別物體和事件,為導航生成直觀的句子指導。
利用深度神經網絡進行物體識別、視頻描述、自然語言生成和口語對話等技術近取得了很多進展,可以讓機器能夠更好地理解周圍的環境,并更自然、更直觀地與人類互動。場景感知交互技術預計具有廣泛的適用性,包括用于車載信息娛樂系統的人機接口、在建筑物中與機器人交互以及工廠自動化系統、監控人類健康狀況的系統、為人類解釋復雜場景的監測系統、鼓勵保持社交距離的系統、在公共場所支持無觸摸操作設備的系統等等。
版權與免責聲明:
凡本站注明“來源:智能制造網”的所有作品,均為浙江興旺寶明通網絡有限公司-智能制造網合法擁有版權或有權使用的作品,未經本站授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的,應在授權范圍內使用,并注明“來源:智能制造網”。違反上述聲明者,本站將追究其相關法律責任。
本站轉載并注明自其它來源(非智能制造網)的作品,目的在于傳遞更多信息,并不代表本站贊同其觀點或和對其真實性負責,不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、平臺或個人從本站轉載時,必須保留本站注明的作品第一來源,并自負版權等法律責任。如擅自篡改為“稿件來源:智能制造網”,本站將依法追究責任。
鑒于本站稿件來源廣泛、數量較多,如涉及作品內容、版權等問題,請與本站聯系并提供相關證明材料:聯系電話:0571-89719789;郵箱:1271141964@qq.com。