以車道標示線為道路邊緣的視覺檢測是AGV路徑識別需要實現的基本功能。視覺導航式AGV是利用ccd攝像機采集地面鋪設的條帶狀標示線，采用圖像處理和分析的方式來獲取導引車周圍環境信息，這種方式是AGV識別系統中的核心技術。

涉及內容：坐標系建立，車道模型分析，圖像預處理等。下面重點對圖像處理方面進行介紹 ：

人們對車用機器視覺研究有一個基本共識：圖像在獲取、轉換和傳送中都會產生污染，不可避免的造成圖像質量的降低，因此，首先應對視頻圖像進行預處理，然后進行閾值分割，再對路徑進行識別與跟蹤。

視覺導航式AGV上車載攝像機獲取的原始圖像中除了包含可用信息外,由于受到環境限制以及加入的隨機干擾，使得冗余信息多，可識別性較差，首先必須對原始圖像進行預處理，流程如下：

圖像平滑是一種低通濾波技術，可以分別在頻率域和空間域進行。

（1）模板操作
模板操作實現一種鄰域運算，即某個像素點的結果不僅和本像素灰度有關，而且和其鄰域點的值有關。模板運算在數學中的描述稱之為卷積。

（2）中值濾波
中值濾波是將鄰域中的圖像像素按灰度級排序，取中間值為輸出像素，屬于非線性的空域濾波技術，是一種能去除噪聲的同時又能保護目標邊界不使其變得模糊的濾波方法。其原理是選取一個含有奇數個數像素點的移動窗口,將窗口的中心像素的灰度值用窗口內灰度的中值代替，從而消除孤立的噪聲點，其數學表達式如下：

其中，f(x,y),g(x,y)分別為原始圖像和處理后圖像，φ為二維模板，通常為2*2，3*3區域。

（3）形態學修正

上述處理后的二值化圖像中可能仍有少量零散點，而且黑色部分的邊緣不是很清晰，存在毛刺和漏洞。對二值化后的圖像進行數學形態學濾波實現局部背景平滑。數學形態學主要運算有形態和膨脹、形態差腐蝕、開運算、閉運算。

腐蝕運算的作用是用來消除圖像中小于結構元素的無意義邊界點，使目標物體的邊界向內部收縮；膨脹運算的作用是用來填補圖像中目標物體的空洞點，使物體的邊界向外部擴張；腐蝕和膨脹的復合運算即成為開運算和閉運算：開運算是對圖像進行先腐蝕后膨脹的處理過程，能夠消除圖像中的邊緣毛刺和孤立斑點；閉運算與開運算過程相反，填補圖像中的漏洞以及裂縫。它們能對圖像進行簡單的平滑處理，并檢測出圖像中的奇異點。根據二值化的處理結果，我們需要把圖像中的漏洞和毛刺去掉，并且保持原圖像特征不變，因此可以對圖像進行開運算以使黑色邊緣清晰便于邊緣檢測。

（4）導航標示線邊緣檢測算法

邊緣是指圖像局部亮度變化顯著的部分，是圖像內像素灰度不連續，或灰度變化劇烈的點的集合。邊緣檢測的目的是標識數字圖像中亮度變化明顯的點，計算機視覺處理方法雖然不明顯依賴于邊緣檢測作為預處理，但邊緣檢測仍是圖像分割所依賴的重要特征，是圖像分析的重要基礎。常用的邊緣檢測算子有：

（4.1）梯度算子：sobel算子，prewitt算子。

（4.2）基于圖像函數二階導數過零點的算子：LOG算子，canny算子。

障礙物識別研究

對于障礙物的識別，方法的選取是取決于周圍環境以及對障礙物的定義。障礙物可以定義為在車輛前方行駛道路上具有一定體積的物體，道路上常見的障礙物包括車輛、貨物、雜物等。

障礙物識別技術中關鍵的是檢測、跟蹤和定位技術。檢測是指確認前方視野路徑上是否出現障礙物，跟蹤是指對選中的目標進行軌跡描述，定位是指計算出障礙物與自動導引車的實際距離。其中，檢測是基礎，跟蹤是過程，定位是終目的。

空間目標的跟蹤，是通過目標的有效特征構建模板，在圖像序列中尋找與目標模板相似的候選區域位置的過程，也就是確定目標在序列圖像中的軌跡。在基于單目視覺的空間障礙物目標跟蹤問題的研究上，一般有兩種思路：

（1）不依賴于任何先驗知識，直接從圖像序列中檢測出障礙物，然后跟蹤其中感興趣的目標。

（2）依賴于障礙物的先驗知識，首先對可能出現的目標建模，然后在圖像序列中實時檢測出與模型相匹配的目標，然后進行跟蹤。

常用的是第二種思路，因為障礙物存在于某一特定運行環境中，可以用含有有限元的完備集合來表示。對于這種跟蹤方法，實現跟蹤的步是進行目標檢測，即從序列圖像中將感興趣區域從背景圖像中提取出來。

在目標跟蹤過程中，往往需要采用搜索算法預計未來時刻某目標的位置，以縮小搜索范圍。根據這個思路一般有兩類算法：

（一）預測目標在下一幀圖像可能出現的位置，然后在這個相關區域內尋找*點，常用的預測算法有kalman濾波、擴展的kalman濾波，粒子濾波等。

（二）減小目標搜索范圍的算法，通過優化搜索方向，利用某些估計的方法優化求取目標模板和候選目標之間距離的迭代收斂過程，縮小搜索范圍，如均值平移算法算法（MeanShift算法）、連續自適應均值平移算法（Camshift）、置信區域算法。

對于空間目標定位算法的研究，主要集中在獲取場景中目標上的各點相對于攝像機的距離，這是機器視覺的主要任務之一，也是障礙物識別的終目的。通過計算目標與攝像機的距離參數，就能得到目標相對于小車的速度，目標物大小等參數，更好的為控制的運行狀態提供決策數據。這里我搜集了關于基于視覺移動避障的幾種實現思路：

常用的計算機視覺方案有多種， 比如雙目視覺，基于TOF的深度相機，基于結構光的深度相機等。深度相機可以同時獲得RGB圖和深度圖，不管是基于TOF還是結構光，在室外強光環境下效果都不太理想，因為它們需要主動發光，容易受到強光的干擾；基于結構光的深度相機，發射出的光會生成相對隨機但又固定的斑點圖樣，這些光斑打在物體上后，因為與攝像頭距離不同，被攝像頭捕捉到的位置也不相同，之后先計算拍到的圖的斑點與標定的標準圖案在不同位置的偏移，利用攝像頭位置、傳感器大小等參數就可以計算出物體與攝像頭的距離。對于AGV，雙目視覺更加合適：

雙目視覺的測距本質上是三角測距法，由于兩個攝像頭的位置不同，就像人的兩只眼睛，看到的物體不一樣。兩個攝像頭看到的同一個點P，在成像的時候會有不同的像素位置，此時通過三角測距就可以測出這個點的距離。雙目算法計算的點一般是利用算法抓取到的圖像特征，如SIFT或SURF特征等，通過特征計算出來的是稀疏圖。

基于雙目立體視覺的障礙物檢測的關鍵在于兩點①障礙物目標的提取,即識別出障礙物在圖像中的位置和大小；②障礙物目標區域圖像對之間的立體匹配點，從而得到障礙物目標的深度信息。前一步是后一步的基礎，識別出來的目標可以是多個，在立體匹配得到視差之后才可以標志出哪些目標為障礙物目標。

雙目體視技術的實現可分為：圖像獲取、攝像機標定、特征提取、圖像匹配和三維重建。上圖中的光軸是近似平行的，在平行光軸系統中，雙目視覺測距將三維場景中求目標深度的問題轉化為求二維投影圖像中求視差的問題。因此，像機模型就是將三維場景的點與二維圖像上的點建立一一對應的映射關系。