智能制造網(wǎng)APP
智能制造網(wǎng)手機站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號
智能控制
機器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
傾技
MINIEYE成立于2013年，核心團隊是新加坡政府支持資助的第一個視覺感知以及ADAS相關(guān)的項目。目前團隊總部在深圳，主要是負(fù)責(zé)公司的運營、生產(chǎn)、制造、硬件相關(guān)的研發(fā)測試；北京是深度學(xué)習(xí)和先進預(yù)研研發(fā)中心；南京是第一個研發(fā)中心。今年上半年MINIEYE成立了上海的研究院，主要負(fù)責(zé)L2以及以上規(guī)控相關(guān)技術(shù)。
MINIEYE起源于艙外的感知，擁有全視覺的感知算法，以及多傳感器融合的方案。2017年，MINIEYE逐漸將自己的目光從艙外感知拓展到艙內(nèi)感知，在2019年正式成立座艙事業(yè)部，其關(guān)注的不僅僅是駕駛員，還包括乘客以及所有座艙的相關(guān)交互物品以及環(huán)境。
市場關(guān)心的量產(chǎn)問題上，MINIEYE在2018年已經(jīng)全面實現(xiàn)了乘、商用車的前裝量產(chǎn)出貨，目前整體前裝量產(chǎn)的項目突破了90個，2021年全年前裝的出貨量同比增長了250%，從2013年成立到現(xiàn)在，得到了許多行業(yè)伙伴以及包括媒體的認(rèn)可和支持。
軟硬結(jié)合，專注用戶需求體驗
MINIEYE提取整個座艙使用者比較精確的人體視覺特征，通過這些特征去分析乘駕人員的狀態(tài)、行為、意圖，然后再去理解一些特定場景下，座艙使用者的需求。MINIEYE最終將這些需求形成的是一些主動式服務(wù)，全面地提升智能座艙交互體驗。
在硬件方面，其具有大量ICS整體的交付能力或者交付產(chǎn)品方式，MINIEYE同時具備了軟件算法能力和硬件能力，可以提供給客戶全軟件+攝像頭模組、純SDK的方式以及整套硬件三種不同產(chǎn)品。
作為汽車行業(yè)從業(yè)者，MINIEYE充分認(rèn)識到了一些現(xiàn)實客觀因素，MINIEYE在設(shè)計整套不管是軟件還是硬件方案，以及在計算資源限制、車規(guī)級平臺的限制、車規(guī)級攝像頭模組的規(guī)格、未來的規(guī)劃、內(nèi)飾設(shè)計等方面都有非常嚴(yán)謹(jǐn)?shù)目紤]。
在軟件上，MINIEYE提供給客戶的是三層式架構(gòu)的軟件解決方案，底層是MINIEYE一些自研的IP，包括CNN的壓縮架構(gòu)和基于不同平臺的加速結(jié)構(gòu)。這樣能夠保證整個神經(jīng)網(wǎng)絡(luò)能在車規(guī)級平臺上跑的更快更穩(wěn)定。第二層稱之為算法層，可以給出直接算法的檢測結(jié)果，包括了視線的矢量和頭部的坐標(biāo)，能夠幫助客戶如果有自定義和呈現(xiàn)的需求能拿到算法層的直接結(jié)果進行渲染。上層是應(yīng)用層，包含了應(yīng)用的邏輯和報警機制。在這塊根據(jù)經(jīng)驗打撈和總結(jié)了很多不同的應(yīng)用邏輯，能讓疲勞分身、視線交互等應(yīng)用層級的功能實現(xiàn)更加穩(wěn)定精確。
除此之外，有CNN加速器，其作為一個匯編級的指令，充分利用了平臺的特點，能有效的減少資源占用。相同的CPU、GPU，利用它能跑出更高的網(wǎng)絡(luò)，減少消耗更少的處理時間。針對高通8155新的CPU品牌上，可以使用自研的FP16自研推理框架。FP16比以前老版本的架構(gòu)要節(jié)省一半以上的資源。
整體而言，ICS的算法優(yōu)勢有更小的算力占用，能夠達到最優(yōu)的解決方案，有更豐富的平臺方案，不僅包含了很多國內(nèi)外主流的座艙芯片，包括了像高通，以及國內(nèi)地平線等等，同時可以支持CPU、GPU以及DSP的相關(guān)方案。算法對攝像頭模組的成像效果方式會更包容。
定義五大場景 配適五種需求
第一個場景定義的是和L2+相關(guān)的自動駕駛系統(tǒng)相關(guān)的安全接管。在圖中可以看到，在未來DMS更多關(guān)心的是駕駛員的注意力以及注視區(qū)域是否在L2及L2+以上的自動駕駛啟動時可以做好相關(guān)的要求。目前MINIEYE的這一套視線系統(tǒng)能準(zhǔn)確的將座艙里的區(qū)域進行分區(qū)，并且將視線的投落準(zhǔn)確的劃分出來。在MINIEYE以量產(chǎn)交付的項目中，有多到14塊的視線注視的信息區(qū)域，圖中左邊MINIEYE正在看到的視頻是自研實時的可視化3D的投射和可視化測試軟件。這里面根據(jù)測試員視線的轉(zhuǎn)動可以準(zhǔn)確的看到視線弱點在整個座艙里的模擬。
第二個場景——個人時間。當(dāng)駕駛員在疲勞通行上下班過程中，對座艙會有新的需求，來看一下ICS能做到什么。這個場景定義了幾個重點的技術(shù)功能，第一個是關(guān)于疲勞分神的檢測，以及在上下班通行情況下駕駛員情緒的識別。
首先是疲勞的檢測，今年歐盟出臺了新的疲勞量化的認(rèn)測——DDAW，它首次推薦將KSS作為DMS的一個判斷和量化的標(biāo)準(zhǔn)，這里面采取了一種和以前很多汽車相關(guān)的檢測不太一樣的邏輯，是個臨床生理性的檢測方式，通過敏感性和特異性相關(guān)的標(biāo)準(zhǔn)，對于系統(tǒng)和技術(shù)疲勞判斷做出打分和量化，目前ICS是滿足歐盟DDAW對疲勞檢測推進的量化測試標(biāo)準(zhǔn)，MINIEYE在內(nèi)部也進行了成功的摸底測試。
之所以ICS的疲勞檢測能滿足歐盟偏臨床性的量化方案，是因為MINIEYE整個算法不僅僅是把它當(dāng)成計算機視覺的任務(wù)在處理，而是通過了大量的真實交通案例和異常情況，將更真實的駕駛環(huán)境情況和數(shù)據(jù)考慮在內(nèi)。MINIEYE的自研邏輯結(jié)合了多維度的不同生理指標(biāo)，包括對于了頭部姿態(tài)、眼瞼開閉程度以及視線方向和眨眼頻率等等行為進行了分析，并且進行了綜合打包，能夠給出更精確的疲勞分級以及疲勞預(yù)警判斷。
目前現(xiàn)在有超過10萬家的營運車隊，包括了巴士物流卡車式搭配著DMS，他們當(dāng)中有一些客戶和MINIEYE有這樣基于數(shù)據(jù)和KSS有深度的合作，每隔一段時間會針對一些難以解決的KSS進行為期半年到8個月的專案場景算法提升。
在DMS上自研了可視化的測試軟件，圖中視頻可看到的，MINIEYE將所有中間算法結(jié)果開放給了客戶，便于對算法進行檢測。除此以外還打造綜合邏輯，可以讓客戶更明確的感知到算法結(jié)果和真正的報警之間的有效性。
除此以外，還有一個重點技術(shù)，就是情緒識別，目前ICS做到了六大情緒識別，包括了開心、悲傷、驚訝等等，有別于其他傳統(tǒng)的，可能是基于人臉分類的情緒識別，ICS基于的識別，能夠準(zhǔn)確定義面部肌肉的運動，識別力度能更細，并且能更加精確的回答，到底什么是開心或者悲傷的表情。
第三個場景——無縫入車
在ICS的構(gòu)想里，希望未來的智能座艙或者擁有的智能汽車能夠?qū)⑷巳胲囎M和啟動整個過程能更加無縫聯(lián)系和更加順暢，這里面有幾個核心的技術(shù)。首先是Face ID人臉識別，目前ICS的防欺騙活體檢測是能夠規(guī)避掉，或者跳躍掉整個窗口期的時間，不需要任何動作的配合，即它可以更快更迅速的得出是否是活體的結(jié)論。從Demo當(dāng)中可以看到，基本上人坐到攝像頭里以后，大概在1.2秒-1.5秒左右，就能得出是活人的結(jié)論。即便是照片出現(xiàn)在畫面中，也能在1.5秒給出非常明確的判斷，這是一張照片。對于視頻來講，紅外的攝像頭以及天然的反光機，任何的LED屏在紅外攝像頭下都是呈現(xiàn)全黑的狀態(tài)。
MINIEYE完成了整個Face ID云端存儲的架構(gòu)，也就是說Face ID可以在云端和本地兩地進行整個產(chǎn)品架構(gòu)的設(shè)計，并且已經(jīng)完成了從移動端的彩圖進行注冊，車機端用黑白圖進行識別整個閉環(huán)，算法能識別出彩圖和黑白圖當(dāng)中的同一個人。并且任何的本地，或者遠端、云端的存儲都會將用戶的照片轉(zhuǎn)化至512維矢量的加密文件，所以并不會出現(xiàn)視頻或者圖片存儲涉及到人隱私的相關(guān)問題。
提到Face ID有兩個指標(biāo)一定要說到錯誤拒絕率和錯誤接受率。目前MINIEYE可以將錯誤接受率，就是將A認(rèn)成B這樣比較嚴(yán)重的錯誤情況控制在10的-5次方以下。
第四個場景——兒童看護
ICS現(xiàn)在能夠通過多維度的兒童生理特征、人臉屬性、人體比例，以及人體的骨骼比例以及身長的分析來多維度的判斷兒童或者成人。
當(dāng)座艙里出現(xiàn)了兒童以后，針對有成年人和無成年人兩種場景，能夠做到不同的技術(shù)和功能的提供，有成年人時會實時監(jiān)測后排兒童的狀態(tài)包括情緒是否入睡，來提醒車機進行空調(diào)和音樂相關(guān)的招呼，并且能夠?qū)崟r檢測座椅的安全帶以及肢體有沒有后排攀爬的情況，以及安全區(qū)域的檢測。
當(dāng)座艙里僅剩有兒童時，MINIEYE會啟動鎖車門以及語音和短信通知駕駛員的方式，告訴他不要將兒童單獨遺漏在座艙里面。除此以外還針對成年人和其他類型的乘客有更多的座艙監(jiān)控功能，包括了年齡分析、性別識別、入坐情況等分析以及危險動作和安全帶的監(jiān)控。
MINIEYE可以將這些技術(shù)打包成不同的應(yīng)用場景和功能。最后一個場景，也是非常有趣的——多人娛樂，現(xiàn)在的座艙對于很多人來講是自駕旅游，出去玩是很重要的環(huán)境。MINIEYE的智能座艙感知技術(shù)能提供更多的潛力和功能。
這里面首先第一個技術(shù)就是關(guān)于遺落物品和寵物的檢測，根據(jù)DEMO上MINIEYE可以看到，當(dāng)人員離開座艙以后，像手機、錢包、筆記本等物品，MINIEYE能夠及時識別出來，并且提醒駕駛員。
展望未來 座艙發(fā)展前景巨大
MINIEYE智能駕艙事業(yè)部負(fù)責(zé)人楊一泓認(rèn)為，未來的智能座艙這里面有非常大的潛力，智能座艙會成為一個更私人、更獨立的空間。在這個空間里面，MINIEYE認(rèn)為更多模態(tài)的感知以及更多模態(tài)相結(jié)合的深度學(xué)習(xí)，會成為未來整個感知方向的主力軍。
根據(jù)目前情況，MINIEYE發(fā)現(xiàn)，各個模態(tài)的技術(shù)是在單打獨斗，車?yán)锩骐m然同時具備了視覺技術(shù)和語音技術(shù)，但視覺技術(shù)和語音技術(shù)本身之間并沒有產(chǎn)生任何結(jié)合和互動。未來MINIEYE希望能夠有更多的生態(tài)伙伴將更多的技術(shù)能夠融合整體，訓(xùn)練出一個更好用、更聰明的座艙感知技術(shù)，來給大家提供更好的交互體驗。
(原標(biāo)題：專注用戶體驗 MINIEYE的五大場景解決方案)
浙公網(wǎng)安備 33010602000006號
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號
