發布日期：2022-07-14 點擊率：69
制造出像人一樣具有智能的能替代人類勞動的機器人，一直是人類的夢想，人類獲取的信息80%以上是通過視覺。因此，在智能機器人的研究中，具有視覺的機器人的研究也就成了第一位的。對機器人視覺伺服系統的研究是機器人領域中的重要內容之一，其研究成果可應用在機器人自動避障、軌跡跟蹤和運動目標跟蹤等問題中。從反饋信息類型的角度分類，機器人視覺伺服系統可分為基于位置的視覺伺服系統（position-base）和基于圖像的視覺伺服系統（image-base）［1］。基于位置的視覺伺服系統首先要估計目標物體在直角坐標空間中相對于攝像機的位置，其視覺伺服誤差定義在三維笛卡爾空間，視覺或特征信息用來估計機械手末端與目標的相對位姿，這種方法需要對視覺系統和機器人進行精確標定，另外由于要對圖像進行解釋，因而計算量較大?；趫D像的視覺伺服系統的伺服誤差直接定義在圖像特征空間，即攝像機觀察到的特征信息直接用于反饋，不需要對三維姿態進行估計，但系統需在線計算圖像雅可比矩陣（圖像特征參數變化量與任務空間位姿變化量的關系矩陣）及其逆陣，而圖像雅可比矩陣跟許多實時變化的參數有關，這是一個復雜的非線性過程，從理論上很難分析，并且對機器人的控制設計提出了較大的要求［2］。機器人視覺伺服系統是一個很復雜的系統，綜合了許多學科的內容，而各學科的發展又極不平衡，影響了其進一步發展。正是基于此，機器人視覺伺服研究目前處于停滯不前的狀態，國內對此方面的研究大多只是進行了仿真實驗，而未在實際機器人系統上實現。本文利用松下交流伺服系統、pmac運動控制卡、dsp圖像處理系統、工控機和機器人組成了伺服系統，在具體機器人系統中對其進行實驗研究，探索基于圖像的機器人視覺伺服實現問題。
機器人視覺伺服系統組成部分
機器人系統及研究內容
圖1是本實驗的機器人系統硬件圖。二自由度平面機器人的第一關節垂直固定于工作平臺上，2個關節均由松下交流伺服電機驅動，且只能在水平平面內轉動，固定于第二根桿末端的攝像頭為單目ccd攝像頭，用dsp圖像處理系統完成圖像采集、處理，提取目標特征值作為視覺信息反饋量。本文選取圓形目標物體的灰度質心在圖像平面的坐標值作為圖像特征［3］。本文研究的是基于圖像的機器人視覺伺服系統的伺服實現問題，根據目標物體圖像特征值的變化控制機器人兩關節的運動使其第二根桿末端能跟蹤到位于工作臺上的靜止或運動物體，對系統實現視覺伺服控制。
機器人視覺系統數學模型
本文擬對系統進行實驗研究。建立機器人坐標、攝像機坐標、圖像坐標和目標點坐標的坐標變換關系。圖2是在機器人的第二根桿末端安裝一個攝像頭，形成eye-in-hand構型而建立的坐標變換關系圖。圖3是攝像機系統坐標與圖像坐標的關系及成像原理示意圖。
[DividePage:NextPage]
設機器人第一關節和第二關節的轉角分別為θ1和θ2，第一根桿長為l1，第二根桿長為l2。選取圖2中o點作為基坐標參考點，用［x0 y0 z0］t表示，攝像機坐標系用［xc yc zc］t表示，圖像坐標系用［u w］t表示;機器人第一關節用［x1 y1 z1］t表示，第二關節用［x2 y2 z2］t表示，設固定的目標點pc在攝像機坐標系（c）的齊次坐標為： pc =［xc yc zc1］t，在基坐標系（o）的齊次坐標為：p0=［x0 y0 z0 1］t，兩個坐標系之間的變換關系為：p0=0tcpc。
根據機器人運動學得到攝像機坐標系與基坐標系之間的變換矩陣如下：
松下交流伺服系統
本實驗中機器人兩個關節均是由松下交流伺服電機驅動，電機和其驅動控制器共同構成了松下交流伺服系統。松下minasa系列交流伺服系統由a系列驅動器和配套交流伺服電機組成。其以三相交流伺服系統為基本原理［5］，采用光電編碼器作為電機轉速和轉子磁極位置檢測單元，系統在驅動器內部集成了相關功能模塊，構成了一個高集成度、高控制精度、數字化、智能化的閉環伺服控制系統。根據期望輸入指令值，按照已設定好的控制方式和各參數設定值，驅動器控制各相關功能單元，產生出控制igbtpwm模塊的信號，最終控制伺服電機按照期望值運轉。系統具有分倍頻功能，可以以多種形式將反饋脈沖輸出給外部控制器或接收位置控制指令信號。系統具有多種控制模式，如速度和轉矩控制模式，以模擬信號作為輸入，本文采用的是轉矩控制模式［6］。
pmac運動控制卡
pmac運動控制卡是美國delta tau data systems公司生產的一種可編程、高性能伺服運動多軸控制器，采用motorola公司的數字信號處理芯片dsp56001作為cpu。
pmac可認為是一臺完整的計算機，用dsp芯片作為主處理器，處理8個軸的所有計算并可同時控制8軸運動，具有獨立的存儲空間、輸入輸出接口以及其他外圍擴展電路。它可與各種類型的主機、放大器、電機、傳感器結合完成各種類型的功能，只要我們應用好其硬件特性和軟件特性，依據特定的功能要求對其進行設置，就能使它正常高效地工作。pmac卡為用戶提供了pwin32應用軟件和pcomm32pro動態鏈接庫。高級語言通過pcomm32pro動態鏈接庫，可以直接調用相關函數與pmac卡進行通訊，從而實現對pmac卡的控制［7］。本文將它與松下交流伺服系統配合使用。
[DividePage:NextPage]
dsp圖像處理系統及圖像處理
系統簡介
本實驗中采用的是北京合眾達公司的seed-vpm642視頻處理系統，該系統是一款專為各種視頻應用而開發的pci插卡或帶10/100m以太網接口的處理系統。它是在tms320dm642芯片基礎上通過外擴容量為4m×64位的同步動態存儲器sdram;容量為4m×8位的在線電可擦/寫異步存儲器flash;可配置為rs232/rs422/rs485標準的兩路uart串行接口;4路pal/ntsc標準模擬視頻輸入，1路pal/ntsc標準模擬視頻輸出;4路立體聲音頻輸入/輸出;實時時鐘rtc和512×8位eeprom;32位的33mhz、支持主/從模式的pci接口或者10/100mbase-tx標準以太網接口;標準ata硬盤接口;以及esam硬件加密模塊。系統可實時實現多路數字視頻/音頻的編解碼運算，如mpeg4、、等;可實時接收4路視頻/音頻輸入，并實時輸出。并能實現與其他io設備、計算機、存儲設備、以太網絡進行實時數據的高速傳輸和處理。系統由實驗箱體、ccd攝像頭、seed-vpm642處理板等組成。在箱體上已固定好兩個串行接口、硬盤接口、4路圖像輸入和輸出接口、液晶顯示器等［8］。
圖像處理
本實驗圖像處理具體實現過程如圖4所示。
由ccd攝像頭攝取的按4:2：2格式傳輸的彩色模擬視頻信號經過解碼芯片的采集，對y、cb、cr信號按照2:1：1采樣率進行采樣，并將它們分離開來。在dsp系統中將彩色圖像轉變成灰度圖像，對該圖像進行閾值二值化后變成二值圖像，然后經過中值濾波濾除噪聲點，使用sobel算子進行邊界提取。對該邊界圖像信號使用點hough質心求取算法求取質心圖像坐標［3］，并通過串口通訊將質心坐標值傳遞給工控機程序;同時，處理后的數字視頻信號經過編碼芯片編碼后，送顯示設備實時顯示。
機器人視覺伺服系統工作流程
硬件流程
本實驗系統由工控機、pmac運動控制卡、松下交流伺服系統、dsp圖像處理系統和機器人組成。了解和熟悉松下交流伺服系統的原理和功能后，調試機器人關節伺服電機的運行，優化相關控制參數以求獲得最好伺服效果;研究pmac運動控制卡的原理和功能，并與松下交流伺服系統配合，編寫運動程序，不斷調整和優化pmac卡的控制參數，以求獲得滿意的運動控制效果;對seed-vpm642圖像處理系統進行深入學習和研究后，開發視頻圖像處理程序。組成該系統的硬件流程圖如圖5所示。
pmac控制卡安裝在工控機中，它通過isa總線與工控機通訊。工控機主要運行主控程序、pmac應用程序、dsp應用軟件ccs。seed-vpm642實驗箱通過rs232串口數據線與工控機相連并進行數據通訊。pmac控制卡通過電纜連接松下交流伺服系統，接收松下伺服控制器輸出的編碼器信號，輸出指令信號給松下交流伺服系統。ccd攝像頭攝取目標物體圖像，輸出連續彩色視頻圖像給dsp圖像處理系統。seed-vpm642圖像處理系統處理攝像頭攝取的圖像，求取圓形物體的質心圖像坐標，通過串口傳遞給工控機。
系統工作流程
給定期望目標物體質心圖像坐標，主控程序計算其與由dsp圖像處理系統反饋的質心圖像坐標值的差值，判斷系統是否已到達伺服位置，若已到達，則結束伺服過程;否則，求解圖像雅可比矩陣的逆陣，得到機器人兩個關節應轉動的角度值，并將其輸出給pmac運動程序，pmac卡按運動程序計算并輸出轉矩指令給松下伺服控制器，由它直接控制機器人關節電機的運轉，通過編碼器檢測關節的位置，反饋給伺服控制器和pmac卡（伺服控制器對編碼器信號進行處理后自身使用并可同時輸出）。ccd攝像頭跟隨機器人運動，攝取目標物體圖像，通過dsp圖像處理程序處理后求得目標物體質心圖像坐標，通過串口通訊傳遞給主控程序作為視覺反饋量，形成視覺伺服循環。
實驗結果
基于上述系統原理，在vc++6.0環境下編寫主控程序，主控程序主要包括界面的顯示和人機交互部分、圖像雅可比矩陣逆陣部分、pmac應用程序部分，串口通信部分、數據存儲部分。程序運行界面如圖6所示。
程序界面能對期望像素值、實際像素值的初始值、增益矩陣、關節初始轉角、數據采集間隔等進行設置。程序能夠對實際像素值、關節角度增量值和關節實際位置值等進行實時顯示，并存儲相關數據。通過調用pmac動態鏈接庫函數，實現與pmac卡的通訊。增益矩陣為對角矩陣，用來設置關節角度變化的放大比例。程序設置了兩個定時器，一個用于采集兩個關節的實際位置值，另一個用于定時接收串口數據值、計算雅可比矩陣、與pmac卡通訊等，也即為系統的伺服周期。
[DividePage:NextPage]
本實驗利用兩個時刻的像素誤差作為控制量，來驗證視覺伺服算法是否正確和上述系統是否實際可行。通過設置關節1、關節2的初始角度分別為0和0.2弧度，期望像素值u和w分別為200和110，實際像素u和w初始值分別為95和150，矩陣增益1和2分別為和，pmac卡采集時間設定為100ms，伺服周期設定為。下面兩表是根據以上設置進行實驗的一組數據。表1是物體質心圖像坐標兩相鄰時刻的變化值，表2是由程序計算出的機器人兩個關節角度變化值。
根據以上數據運用originpro軟件繪制的圖形如下：圖7是圖像坐標兩相鄰時刻的變化值曲線，圖8是機器人兩個關節角度變化值曲線。
在實驗中，根據目標物體圖像坐標像素的變化，得到機器人關節轉動角度的變化，通過pmac卡和松下交流伺服系統的作用實現了機器人的視覺伺服運動。從上述兩表和兩圖可看出，圖像坐標的變化和機器人關節角度值的變化是一種非常復雜的非線性關系，這也從另一方面證實了圖像雅可比矩陣的非線性關系和求解困難性。從公式（5）可看出，圖像雅可比矩陣既跟當前時刻的像素值有關，還與攝像機的相關參數、機器人的相關參數和關節的角度值有關，是一個時時刻刻都隨這些量的變化而變化的矩陣，因而其非線性非常嚴重，求解也非常困難，本文中假定了機器人的轉動角度初始值，才使得求解稍容易一點。本實驗只是基于圖像的機器人視覺伺服實驗研究的起始階段實驗，其效果并不太理想。本文系統的攝像頭是運動的，目標物體是不動的，所處理的圖像是動態視頻圖像，這就對dsp系統和視頻圖像處理方法提出了較高要求;因而圖像處理算法還有待進一步改進和開發，并脫離dsp仿真環境下載到系統中運行，也有待于對整個系統的伺服算法做更深入的研究。
結語
本文分析了機器人視覺伺服系統的基本原理，采用基于圖像的視覺伺服方法，繞過三維空間重建和坐標變換，建立了機器人視覺伺服系統的數學模型，并應用到實際機器人系統中來。組建了由工控機、pmac運動控制卡、松下交流伺服系統、dsp圖像處理系統和兩桿平面機器人組成的視覺伺服機器人系統，在對各子系統深入研究的基礎上，開發了pmac運動程序、dsp圖像處理程序和工控機主控程序，在實際機器人系統中初步實現了視覺伺服控制，系統能根據目標物體質心圖像坐標值的變化，求解出機器人兩關節應運動的角度值，并控制機器人按相應角度值運動，實現視覺伺服。實驗結果表明，系統初步實現了基于圖像的機器人視覺伺服在實際機器人系統中的實現。本實驗只是該課題的起始階段實驗，其效果也不理想，下一步將對整個系統進行更深入的研究。
下一篇： PLC、DCS、FCS三大控
上一篇： 機器視覺技術藥液質量
