云漢深度學習識別系統包括圖像采集、異物識別、訓練系統三部分。要求開發監控目標異物識別系統的識別和訓練部分。
識別部分能夠接收圖像采集部分傳輸的圖像數據,與攝像機位姿數據同步,對圖像數據進行目標檢測和定位,將結果按照接口協議輸出給用戶。
物體識別系統包括圖像采集、異物識別、訓練系統三部分。
圖像采集部分負責采集異物的圖像、位置和姿態等信息,常用載體包括監控設備、無人機、無人車等。
圖像采集部分通過大帶寬圖傳設備將采集到的圖像等數據打時間戳實時發送給地面處理系統。
識別部分通過標準RTSP協議接收圖像采集部分傳輸的視頻,或私有協議接收圖像數據,通過socket連接接收圖像采集部分回傳的位置與姿態信息數據,進行數據同步。
識別軟件基于Windows 10操作系統,Intel I7處理器,英偉達GTX1080 GPU
識別部分使用基于谷歌TensorFlow人工智能學習系統的深度學習圖像分類方法,使用TensorFlow物體檢測API,目前提供常見的90種訓練數據集,同樣也可以使用TensorFlow構建神經網絡,訓練機場常見異物的訓練數據集。
在識別過程中,首先通過色塊處理將圖片中的物體取出,并求取圖像特征點。通過訓練數據進行矩陣運算,得到該物體圖像對應每個物品標簽的匹配值,終根據需求選擇匹配分數,終輸出物體對應標簽名稱。
當發現異常物體時,根據獲取物體在圖片中的像素坐標以及當前云臺的姿態信息,可以獲取異常物體的GPS坐標以及大小等信息。
訓練部分
通過人工管理,將圖像采集部分采集到的異物圖像分類存儲到數據庫中,打上標簽,定期訓練檢測模型。
在訓練過程中將樣本數據分為訓練數據和測試數據,通過TensorFlow Object Detection API提供的faster RCNN+inception+resnet101網絡結構的訓練模型去對數據進行不斷訓練。通過不斷調整參數和神經網絡的層數,使用測試數據進行驗證,不斷提高識別精度,當數據得到需求,可以提供給識別單元進行物體標簽比對。
云漢深度學習識別系統產品特色功能
Ø 集中的目錄樹設備資源管理:機器人、云臺、視覺部分設備統一編號*及優先級管理,管理多種監控設備(如:視頻設備、報警設備、門禁設備、巡更設備、指紋設備、數字矩陣、副控客戶端、WEB服務器、流媒體轉發等)
Ø 集中用戶認證:完善的集中用戶認證管理模式和合理的優先級及沖突檢測機制,所有用戶通過資源管理認證服務器管理,實現集中的用戶優先級,瀏覽控制權限集中配置管理
Ø 遠程配置:設備遠程參數配置、維護、軟件升級
Ø 校時服務:使網內設備時間統一,同步
Ø 電子地圖:電子地圖及預案地圖的添加、分組、分級設定
Ø 實時監控:實現對系統內的網絡音視頻信號實時監控瀏覽
Ø 集中存儲:網絡視頻分類集中存儲
Ø 集中回放:實現對系統內的網絡音視頻信號集中點播回放
Ø 遠程控制:遠程控制云鏡,預置點、掃描線的調用;*的數字(虛擬)PTZ和模擬PTZ功能
Ø 媒體轉發:實現系統內多媒體數據流的轉發控制功能
Ø WEB服務:集成IE瀏覽服務器,實現遠程IE瀏覽和控制