机器人视觉系统

机器人视觉系统（精选十篇）

机器人视觉系统 篇1

关键词：视觉追踪,移动机器人,在线学习,PID,开源

0 引言

机器视觉是一种利用视觉传感器与计算机实现人的视觉功能的技术,它从采集的图像中提取信息并进行处理和理解[1],处理后的结果用于机器人决策和控制。视觉追踪是对移动目标的识别和对其移动属性(如方向、速度、轨迹、加速度等)的持续获取,然后对获取的图像序列进行目标提取和检测,从而通过深入的分析和理解,达到对移动目标的行为的理解。视觉追踪的本质就是对机器人获取的视觉图片进行合理利用,快速地对图像信息进行处理,以便最快地为决策控制提供反馈信息,从而构成视觉追踪的整个闭环系统[2]。而视觉追踪机器人要实现的功能包括[3]:先通过摄像机获取目标的方位信息,核心控制器通过相关算法判断机器人下一步该如何移动,再将这些控制信号送给机器人移动的执行元件的驱动器,使之能追踪目标物。

1 硬件平台

视觉追踪技术作为计算机视觉领域的热门课题之一,所需硬件要具备视觉部件摄像头、与上位机通信的硬件模块(如Wi Fi天线、蓝牙等)和灵活的移动控制模块。此外,为实现避障,除了单目摄像头之外,通常还会引入激光、红外线传感器等。Rovio Wow Wee机器人(如图1),作为一款成本低而功能相对完善的玩具机器人,十分适合移动机器人的视觉追踪及导航算法的研究。其摆臂前端的摄像头数据通过无线连接实时传回上位机,同时,3个全向轮确保了其运动的灵活性,下端的红外传感器可以用于避障。本文将基于Rovio构建视觉追踪移动机器人系统。

图1 路威机器人

2 通信与景物辨识

2.1 数据通信

Rovio可以接入互联网,也可工作在Adhoc模式,在此模式下机器人的IP固定,通过Socket依托TCP/IP链路向机器人发送官方API文档所指定的HTTP请求[4],机器人收到请求后产生动作并返回数据。整个流程如图2所示。

图2 路威机器人与上位机通信

图像采集模块是机器人进行视觉追踪的重要组成部分,该模块获取当前图像并提供保存接口,提供了离线处理数据的能力。为避免机器人与物体产生碰撞,使用红外传感器设计一简单接口来实现检测障碍物功能,根据传感器返回数据结构使用8 bit的信息量来存储信息,Bit0存储LED灯的开关状态,Bit1存储IR传感器的开关状态,Bit2存储IR检测是否有障碍的状态,0表示无,1表示有,分别定义3个检测码:(1<<0)、(1<<1)、(1<<2),用检测码与用户接口的传感器获取的数据进行位与操作,所获取结果即可作为传感器检测结果,如表1所示。

表1 障碍物检测

传感器返回信息显示此时IR打开,有障碍物。使用IR障碍物检测码检测结果为1,表示有障碍物。

系统中的传感器数据包括:3个轮子的方向、电机编码器信息、电池状态、摆臂位置、相机亮度、分辨率、帧率和Wi Fi信号强度等信息。

2.2 目标识别与追踪

追踪部分引入Tracking-Learning-Detection(TLD)追踪算法[5],基于其在线追踪机制,追踪机器人所采集的每一帧图像,处理追踪结果并送入控制算法模块。TLD的追踪器、检测器和机器学习之间关系如图3所示。

图3 TLD框架

TLD在对视频中未知物体的长时间跟踪有突出的优势,“未知物体”指的是任意物体,通过选定追踪的目标来初始化TLD,“长时间跟踪”意味着对算法的实时性要求,而在追踪中物体的消失再出现,光线、背景变化以及目标的遮挡给追踪提出了很大的挑战,单独使用追踪器或检测器显然无法胜任这样复杂多变的工作,故TLD算法提出将追踪器与检测器结合,同时引入在线的机器学习来提高准确度。

2.2.1 追踪器

追踪器的作用是跟踪连续帧间的运动,当物体可见时跟踪器才会起作用,基于光流法的跟踪器由前一帧已知目标位置估计当前帧的目标位置,所产生的运动轨迹为学习模块提供正样本。追踪点的选择依据FB(forwardbackward consistency)误差[6]筛选出误差最小的部分点作为最佳追踪点,如图4所示,然后根据这些点的坐标变化计算t+1帧目标包围帧的位置和尺度大小。

图4 前向后向误差

2.2.2 检测器

检测器使用的级联分类器对图像元样本进行分类,级联分类器共分为3个级别[5]:图像元方差分类器(Patch Variance Classifier),计算图像元像素灰度值的方差,如果图像块与目标图像块之间的方差(一般取灰度值计算)小于50%(经验值),那么就拒绝这些图像块,此分类器将去除大量背景图像块;集成分类器(Ensemble Classifier),由N个基分类器组成,图像元样本经平滑滤波后取13对随机点比较得到二进制码,随后依据各基分类器输出的后验概率结果平均,如果其值大于0.5,则接收并送入下一级分类器;最近邻分类器(Nearest Neighbor Classifier),经过前两级分类器,至此大约剩余50个图像元,计算新样本的相对相似度,如大于0.6,则认为这是正样本并添加到目标模型。图像元和相似度描述如下:

式中NCC为规范化的相关系数。

正、负最近邻相似度:

式中pi±为目标模型M中的正、负样本。

相对相似度:

Sr取值在[0,1]之间,值越大代表相似度越高,最后取值最高样本作为结果输出。

2.2.3 P-N学习

P-N学习[5]是一种半监督的机器学习算法,针对检测器对样本分类时产生的两种错误提供了两种“专家”进行纠正:P专家(P-expert),针对分类为负样本的样本,检出漏检的正样本;N专家(N-expert),针对分类为正样本的样本,改正误检的正样本。

图像元样本是用不同尺寸扫描窗(scanning grid)对图像进行逐行扫描,每个位置形成一个包围框(bounding box),包围帧所确定的图像区域称为一个图像元,图像元进入机器学习的样本集即目标模型M成为一个样本,扫描产生的样本是未标签样本,需要用分类器确定其分类标签。每一帧图像内目标最多只出现在一个位置;相邻帧间目标的运动是连续的,连续帧的位置可以构成一条较平滑的轨迹。P专家的作用是寻找数据在时间上的结构性,它利用追踪器的结果预测物体在t+1帧的位置。如果这个位置(图像元)被检测器分类为负,P专家就把这个位置改为正。也就是说P专家要保证物体在连续帧上出现的位置可以构成连续的轨迹。N专家的作用是寻找数据在空间上的结构性,它把检测器产生的和P专家产生的所有正样本进行比较,选择出一个最可信的位置,保证物体最多只出现在一个位置上,把这个位置作为TLD算法的追踪结果。同时这个位置也用来重新初始化追踪器。其结构如图5所示。

图5 P-N学习框架

3 跟随控制

由图像目标追踪可得目标于图像中的准确位置,通过控制算法对机器人进行控制,从而使得目标一直处于相机图像中部位置,进而实现完整的视觉伺服功能。

图像追踪模块追踪到目标,通过TLD算法对目标缩放的估测能力[5]估计出目标的前后移动;通过图像中目标的像素坐标变化估计出目标的左右移动趋势,并使用PID控制对此作出定量反馈。

离散PID控制算法[7]为:

式中,kp、ki、kd分别为比例、积分、微分环节系数,k为采样序号,T为采样时间,u(k)为图像目标追踪误差。

图像逐帧追踪所得的目标信息与目标期望位置的误差送入PID控制器,进而对移速进行实时控制,较好的实现定量控制,对不同误差值作出不同反馈。考虑到所选平台的运动特性,现制定一种适用于本系统的控制策略。机器人前后运动依据追踪目标的尺度缩放,左右运动依据实际值与期望像素坐标值的误差值进行PID控制,最终完成对任意给定目标的视觉伺服任务,流程如图6所示。

本文基于机器人全向轮的运动特性构建出运动控制模型如下:第i个轮子在机器人中心坐标系下位置如图7所示,第i轮的辊子及其在轮毂中心坐标系下的运动关系如图8所示。O、O′分别为运动中心及轮子i的旋转轴中心;αi为轮子i上辊子偏置角,即为辊子与Y′轴夹角;[vXvYω]T为O点的速度矢量;[vi′Xvi′Yωi′]T为O′点在X′O′Y′中的速度矢量;[vi Xvi Yωi]T为O′点在XOY中的速度矢量。

图7 第i轮与机器人中心的运动关系

图8 第i轮与辊子运动关系

由图8可知:

由图7可知:

机器人在平面上的运动:

由式(6)、式(7)可得机器人逆运动学方程:

因此机器人中心速度到轮子转速的转换方程为:

本文所使用的机器人α1=α2=α3=0,θ1=30°,θ2=150°,θ3=270°,l1、l2、l3分别为3个全向轮到机器人中心的距离,根据PID控制器输出所需的vX、vY、ω通过式(10)即可转换到每个轮子的转动角速度,进而对机器人进行速度控制。

4 实验

本文使用3个实验验证所提软硬件系统的可行性,代码在github上开源,代码主页:https://github.com/sunzuolei/wowwee。

4.1 基于红外的避障

机器人在Adhoc模式下会发射无线信号,通过无线网卡连接到机器人后即可开始使用该驱动。当检测到障碍物时,机器人左转;当未检测到时,机器人前进,本实验视频可通过脚注中地址查看。

4.2 追踪指定颜色标记

先对机器人相机进行配置,然后获取一帧图像并显示,如图9所示,对获取图像过滤并追踪前方出现的粉色域(图9中显示为灰色),找出图像中粉色方块,遍历找出最大的,并在其上打上X字符(如图9(b)中X符),然后将其显示出来。

图9 找到方块并做标记

4.3 追踪指定目标

通过在机器人前期采集图像中框选感兴趣的目标,可验证机器人对人脸[8]、校园卡和水壶等物体的目标追踪能力,如图10所示,本实验视频可通过脚注中地址查看。

图1 0 视觉辨识追踪

对走廊中标志物及人体后背的跟踪结果如图11所示,可见在一定的光照变化及目标运动的条件下,机器人的跟随效果可以达到较好的效果,初步验证了所提方案的可行性。

图1 1 跟随指定目标

5 结论

本文所构建的视觉追踪软硬件系统在日常环境中可实时识别并跟随目标移动,在实验平台上验证了所提系统的可行性,且误差控制在可接受范围内,对伺服机器人的研究具有一定参考价值。

参考文献

[1]倪受东,刘洋,袁祖强.机器人视觉伺服综述[J].机床与液压,2007,35(9):227.

[2]罗金梅.移动目标视觉追踪系统设计与实现[D].成都:电子科技大学,2012.

[3]卢光青,史金飞.视觉追踪机器人实时控制系统的设计[J]中国制造业信息化,2009,38(17):49.

[4]WowW ee Group.API specification for rovio[Z].2008.

[5]KALAL Z,MIKOLAJCZYK K,MATAS J.Tracking-learningdetection[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2012,34(7):1409-22.

[6]KALAL Z,MIKOLAJCZYK K,MATAS J.Forward-backward error:automatic detection of tracking failures[C].Proceedings of the Pattern Recognition(ICPR),2010 20th International Conference on,2010:2756-9.

[7]刘金琨.先进PID控制MATLAB仿真(第三版)[M].北京:电子工业出版社,2010.

机器视觉系统整合解决方案研究 篇2

机器视觉系统的原理是：将感产品或区域的图像进行采集，然后根据其图像信息用专用的图像处理软件进行处理，根据处理结果软件能自动判断产品的位置、尺寸、外观信息，并根据人为预先设定的标准进行合格与否的判断，输出其判断信息给执行机构。图像采集与图像处理作为机器视觉系统应用的两大处理阶段，其应用环节的结合将进一步促进机器视觉系统整合的发展趋势。

随着各项高新技术的飞速发展及行业应用需求的不断加大，机器视觉技术应用也步入新的发展阶段。其行业发展体现出向紧致、体积小、系统整合等趋势。而面对机器视觉系统整合的趋势，目前的市场需求中对图像采集与图像处理这两个环节的结合已非常迫切。

一套完整的机器视觉系统，图像采集部分与图像处理环节缺一不可。不管是进行工业生产质量检测，还是开展交通安全行驶监测，都是由图像采集部分来获取目标对象的有关信息，并进行实时的传输，但要想最终能够获得所需要的图像信息，还必须要有图像处理这一环节，需要图像处理技术将不必要的信号剔除，而将有用的信息进行增强、除噪等处理，使传送到终端的图像能足够清晰、准确、完整。

纵观行业发展，对于整个图像采集与图像处理技术的发展而言，我们可以发现，当信号处理技术有了显着提高时，由于图像采集环节中的核心组件——图像传感器并不能随着信号处理技术的提高而得到升级，最终造成两环节应用之间的不协调，但传感器功能的不足却是可以由信号处理技术来进行弥补的。如此说来，将图像采集与处理技术的结合将会是解决机器视觉系统升级制约的最佳手段，在应用领域中，有着绝对的需求。

基于机器视觉的模板匹配系统的研究 篇3

关键词：机器视觉；模板匹配；系统开发

模板匹配是指：在机器识别图像的过程中，需要把同一传感器在不同时间和不同成像条件下对同一事物得到的两幅或几幅事物的图片在空间上对准，或者根据已知图像到另一幅图像中寻找相应的模式。此过程可以进行图像的特点性质分析，如果利用在不同时间对同一景物拍摄的两幅图片，经过系统处理后，找出其中特征有了变化的像素点，就可以分析图像中哪些部分发生了变化，而利用放在一定距离处的两只工业相机对同一物体拍摄的两幅图片，找出相应点后可算出物体离开照相机的距离，即物体的深度信息。

基于图像特征信息的匹配算法设计：基于图像特征的匹配算法是根据图像的特点创造两幅图片之间的特征点的空间对应关系，从而求得带匹配图片与标准模板图片间的变换参数，图像匹配前，最重要是提取图像中的明显特征，图像特征可以是：曲面高点，也可以是图像中的点，线，面等。

匹配算法的具体步骤如下：

（1） 从模板图片【图（1-1）】和待匹配图片【图（1-2）】中提取它们共有的显著特征；（2） 匹配从两幅图片中提取的相似特征点；（3） 根据匹配特征计算几何变换参数；（4） 图像二次采样，即根据第（3）步中计算出的几何变换参数，对即将要匹配的的图像进行重新采样，从而使得待匹配图像【图（1-2）】和模板图像【图（1-1）】实现空间位置上的一一对应；

基于图像特征信息的匹配算法，经常被用于两幅待配准图片相关性不是很大的场景，这种算法不需要对图像的所有灰度点进行处理，只需要考虑图像提取出的显著特征点，因而减小了图片匹配过程中的计算量，提高了图像匹配的速度。

从图1-3可以看出：待检测图片和模板图片进行匹配后，能够将两幅图片的最大相似图片完美的显示在软件系统中，从而能够提取出两幅图片相同的部分。

总结：本系统通过对模板匹配算法的研究分析，研发出了模板匹配软件系统，并依据本软件系统对图像进行测试，最终得以实现，该系统能够找出两幅图像的相同部分，使其避免人工操作。

参考文献：

智能机器人视觉导航系统的研究 篇4

在智能机器人[1]的研究中,导航是一个十分重要的问题。从某种意义上来说,导航是智能机器人的核心技术,也是其实现真正的智能化和完全自主移动的关键技术。智能机器人导航研究的目标就是在没有人干预的情况下使其有目的地移动并完成特定任务、进行特定操作。

智能机器人的导航方式有很多种[2],例如惯性导航、视觉导航、传感器数据导航、GPS定位导航以及卫星导航等等。而这些导航方式分别适用于各种不同的环境,包括室内和室外环境,结构化环境与非结构化环境。

视觉方法是近年发展起来的一种先进的导航方法[3]。在机器人视觉导航的研究中,Trahanias[4]提出利用视觉检测路标来进行机器人导航的方法。Zhang等人[3]通过识别路径引导线和标志信息来为移动机器人提供视觉导航。Stanley[5]利用神经网络来完成机器人的视觉导航。传统的视觉导航方法[6]几乎都是在绝对位置上进行考虑的,由此会导致路径规划的不正确,对于断开的路径更无法做出正确的路径规划,从而使得机器人的导航无法正确进行下去。而变化往往却更能反应在相对位置上,因此基于相对位置而设计的导航策略在理论上能够更加准确地实现机器人的路径规划与自动导航,对于断开的路径也能再次寻找到新的正确路径。

本文根据智能机器人视觉导航在教学实验中的要求,以AS-UII能力风暴机器人为蓝本,提出了一种基于单目视觉的导航策略。在导航中,根据对采集来的图像序列进行图像预处理后的图像序列,提出了一种特别的直线斜率计算方法,设计了一种分段路径导航策略,并由平均斜率识别出行走路径,从而实现了智能机器人的路径规划及视觉导航。

1 智能机器人的视觉导航系统与策略

1.1 基于视觉的智能机器人导航

基于视觉的智能机器人导航主要是依靠视觉来进行的。这样就必然要对视觉所采集并传输的图像序列进行图像处理,从而就必须对颜色空间进行选择、对图像进行相关的预处理与处理以及对基于视觉导航策略的研究。

考虑到智能机器人的摄像头所采集来的图像是RGB彩色图像,颜色数据是[0,255]之间的整数[7],为Rgb24颜色模式。而且RGB颜色空间[8]计算比较简单,所以本实验中的图像处理均采用RGB颜色空间。

1.2 视觉导航策略

智能机器人的视觉导航策略包括坐标系及直线斜率的约定、上位PC机中的策略和智能机器人下位中单片机中的命令三部分。

1.2.1 坐标系及直线斜率的约定

视觉导航策略中采用的坐标系如图1所示。

在视觉导航实验中,将摄像头采集来的图像尺寸限定为320×240,即行方向上由240行像素组成,列方向上由320列像素组成。如图1所示,将水平方向规定为X轴,垂直方向规定为Y轴,坐标原点(0,0)定在左上角处,则右下角的坐标为(320,240)。

在图1中,将智能机器人抽象为一个质点,若它处在上图中的红色圆点B处,那么它在上述坐标系内的坐标就为(160,240)。由于机器人所处环境中没有定位所需的信息,而且其码盘又很不稳定,导致在导航过程中无法定位,于是提出相对坐标的定位方法。即为在运动中,通过移动坐标系将机器人的坐标始终固定到(160,240)这一点。这样就能实时计算出路径长度、方向等导航所需的信息,为下一步分段路径导航策略打下基础。

在图1中,由于白线路径有一定的宽度,故由白线路径的两个边缘线和中心线来刻画它。记白线路径中心线与直线Y=240交点为A点,用L表示机器人所处位置的横坐标减去A点的横坐标所得的值,用θ表示白线路径中心线的平均斜率。L>0意味着A点处于智能机器人的左方,即横坐标X<160;L<0意味着A点处于智能机器人的右方,即横坐标X>160。而θ的计算式为:θ=Δx/Δy,即X轴方向偏移的距离除以Y轴方向偏移的距离。θ>0意味着白线路径沿“/”方向,θ<0意味着白线路径沿“”方向。

1.2.2 平均斜率的概念

由于在智能机器人的视野范围内可能存在有多条白线路径,所以在智能机器人导航中引入了平均斜率的概念。平均斜率的概念可以通过图2直观的说明。

在图2中存在有两条白线路径,这两条白线路径的平均斜率不能够简单地等同于第一条或第二条白线路径的斜率,而是近似地取它们的平均值。这样做的好处是能够综合考虑到两条白线路径的相关性,能够更好地反映出白线路径的走向。

1.2.3 上位PC机中的策略

智能机器人视觉导航中上位PC机中的策略主要是根据智能机器人视野中看到的白线路径平均斜率进行相关的操作。

上位PC机中的策略主要有两部分:发现白线路径后的分段路径导航理策略;未发现白线路径的处理策略。同时在策略中约定L=50和θ=3作为本次导航实验中白线路径为垂直和水平的临界值,这两个值可以根据白线路径的弯曲程度进行相应的调整。

发现白线路径后的分段路径导航策略主要有以下几种情况。

在图3(1)、(2)、(3)、(4)的情况下,可以看到在智能机器人视野中的这些白线路径近似为直线,相应的判决条件为| L |<=50,并且|θ|<=3,故策略为继续前进。

在图3(5)、(6)的情况下,由于进入智能机器人视野中的白线路径在其左边,判决条件为 | L |<=50,|θ|>3,因此相应的策略为右转弯。其中 |·|表示绝对值。

图4(7)、(8)的情况刚好与图3(5)、(6)的情况相反,其判决条件为| L |<=50,θ<-3,故策略为左转弯。

在图4(9)的情况下,判决条件成为L>50,θ>0 并且θ<= L/30,策略依然为前进。

在图4(10)的情况下,判决条件为L>50,θ>L/30,智能机器人不能再前进了,否则就会越出白线路径,所以策略为右转弯。

在图4(11)的情况下,判决条件为L>50,θ<0,智能机器人不能再前进了,否则也将会越出白线路径,所以这时的策略为左转弯。

图4(12)所示的白线路径和图4(9)中的白线路径相互镜像,故判决条件为L<-50,θ<0,θ>= L/30,策略也和图4(9)中的策略相同,即为前进。

由图4(13)中所示的白线路径斜率可知智能机器人只能左转弯,否则将会越出白线路径。此时的判决条件为L<-50,θ<L/30,因此策略为左转弯。

图4(14)中的判决条件为L<-50,θ>0,处理策略为智能机器人右转弯。

当未发现白线路径时的处理策略为:智能机器人先沿原来的运动方向前进,并不断搜索白线路径。在给定阈值的情况下,如果已经达到了该阈值,并且下一步的运动趋势仍然保持为原来的运动方向,则当智能机器人现在的运动方向为左,智能机器人向右转;反之左转,然后沿着调整后的方向前进,直至遇到白线路径时为止。

1.2.4 智能机器人下位单片机中的命令

智能机器人下位单片机中的主要作用是响应上位PC机发来的命令,并且发送指令直接控制智能机器人的车体动作。由于下位单片机直接控制智能机器人车体的动作,并且接收来自上位PC机中发来的命令,所以在下位单片机的程序中主要是定义了前进、后退、左转、右转、停止、蜂鸣、左转90°以及右转90°等直接驱动智能机器人车体的命令。当依据上位PC机中的策略决策出动作时,将决策结果以数据形式通过串口发送给下位单片机,然后执行下位单片机中相关的命令,使智能机器人进行动作。

2 实验结果及分析

机器人蓝本实验平台是上海广茂达伙伴机器人有限公司的AS-UII能力风暴机器人,对其加入无线模块以及摄像头后的智能机器人如图5所示。其中无线模块为一对CZS-7B无线收发模块,摄像头为彩色无线摄像头,输出为PAL制式的视频信号。上位PC机中的图像采集卡为Ospery-200视频采集卡。而上位PC机主要配置如下:处理器为Intel Pentium 4,操作系统为Windows XP。

智能机器人视觉导航的实验环境为:以绿色木地板表示地面,而用白色的线条表示路径,光照环境为自然光照,如图6 所示。

当用一台AS-UII能力风暴机器人进行视觉导航实验时,收到了很好的效果。随着实验的展开,总共10台AS-UII能力风暴机器人同时进行智能机器人视觉导航时,首先将这10台AS-UII能力风暴机器人各自无线收发模块中的跳线设置为互不相同的数值,然后对各自无线视频传输接收模块选择不同的频段,这样各个智能机器人之间在进行视觉导航时不会产生冲突与干扰。

定义L表示实验环境中所有白线路径条数,NR表示机器人的数量。那么导航正确率为:

$W=\frac{L}{{\rm N}{}_R}\cdot r(1)$

其中r表示由于地面等其他因素而引入的松弛变量。

给定阈值C,并用机器人对白线路径跟踪的“好”与“差”来评价导航实验的效果,其中“好”表示机器人寻找到了实验场地中所有的白线路径,并且沿着所有寻找到的白线路径正确运行,达到了完全导航的目的,亦即W>C。

而“差”则表示机器人没有寻找到实验场地中所有的白线路径,即只寻找到了部分白线路径,没有达到完全导航的目的,亦即W<C。

我们用智能机器人在沿白线路径导航时所产生的路径误差来评估本文所提算法的准确率。在本实验中,取C=0.5。表1为在本文所提出的导航策略下,机器人的数量、线的状况、光线的情况对实验效果的影响。

从表1中可以看出在光线均匀情况下,无论是短线处还是未断线处智能机器人进行导航时所产生的路径误差都不超过5%,而在非均匀光线的情况下,所产生的误差都较大,但是经过多次的反复寻找也最终能够找到准确路径。因此可以证明,无论白线路径是否连续,智能机器人都能够较准确地进行视觉导航,从而证明了本文所提出导航策略的有效性。但是也可以看出智能机器人视觉导航易受光线不均匀的影响。这是因为随着光线的变化,在进行阈值分割[8]时图像总是分割不均匀,表现为在场地的另一侧图像的阈值分割效果很好,而在场地另外一侧的阈值分割效果就不是很好了。但是由于在图像处理时采用了二次滤波,从而能够减少光线不均匀对于智能机器人视觉导航的影响。经过两次滤波后的实验结果如表2所示。

从表2 经过两次滤波后的实验结果中可以看出二次滤波可以在一定程度上减少光线对于智能机器人视觉导航的影响。

3 结 论

随着社会的发展,人们的交际越来越广泛,各地的联系也越来越紧密,人们的出行变得尤为频繁,但是如何确定一条最优最省时的路径却一直是一个难以完美解决的问题。视觉导航的出现给这一问题注入了新活力,也提出了一种新的解决方案,它通过类似于人们视觉的方式来进行判别、路径规划和导航。相对于其他的导航而言,视觉导航能够有力地去除干扰、算法可改进性大、能够处理较大规模的导航问题等。本文提出了一种分段路径的视觉导航策略。它能够根据智能机器人在结构环境中遇到的问题采用本文的方法判断并规划出合理的路径,从而实现智能机器人的导航。采用分段路径导航策略,无论当智能机器人在导航中遇到什么情况时,都能够针对不同情况进行有效的处理,即使在断开的路径中也能够正确地找到新的路径,从而有力地避免了导航出错的问题,解决了视觉导航技术中的路径规划这一技术难点,实现了预期视觉导航研究的目标。未来的工作主要集中于对通过视觉采集到的图像进行更佳的分割以及寻求更好的路径规划算法。

参考文献

[1]恽为民,席裕庚.智能机器人的信息系统[J].机器人,1996,18(5):257-263.

[2]冯建农,柳明,吴捷.自主移动机器人智能导航研究进展[J].机器人,1997,19(6):468-472.

[3]张海波,原魁,周庆瑞.基于路径识别的移动机器人视觉导航[J].中国图象图形学报,2004,9(7):853-857.

[4]Trahanias P.Visual Recognition of Workspace Landmarks for Topologi-cal Navigation[J].Autonomous Robotics,1999,7(2):143-158.

[5]Stanley K,W Q M J.Neutral Network based Vision Guided Robotics[C]//Proceedings of The1999IEEE Inter Conf on Robotics and Au-tomation,1999:281-286.

[6]卢韶芳,刘大维.自主式移动机器人导航研究现状及其相关技术[J].农业机械学报,2002,33(2):113-114.

[7]杜新,赵晓光.基于彩色图像的机器人视觉跟踪[J].武汉大学学报:信息科学版,2006,31(2):136-139.

[8]Zhang Yujin.Image Engineering(Ⅱ)Image analysis(Second edition)[M].Beijing:Tsinghua University,2005:168-170.

烟标印刷质量机器视觉检测 篇5

在机器视觉检测中，每一种检测都有其特殊性，对应不同的检测对象与检测目的，需要不同的检测方法。本文结合烟标印刷质量机器视觉检测项目，介绍机器视觉检测的具体方法。

1概述

1.1烟标印刷的特点和烟标印刷质量检测的现状

烟标印刷是技术含量与质量要求最高的印刷之一。正是由于烟标印刷有着严格的质量标准，所以即使采用先进的进口印刷机械，产品也存在较多的次品。我国的烟标印刷企业目前一般采用人工在印中抽样及印后逐一目测的方法分拣次品。在烟标印刷企业常常出现这样一种现象：印刷车间，从国外进口的高档印刷机飞快的运转，几名工人轻松地注视着监控仪器；而在一旁的印刷质量检测区，几十上百的工人在紧张地对印好的成品作逐一检测。可见目前的检测方法效率低、成本高、工人劳动强度大，同时人工检测主观性强，容易造成检测标准的不统一。印刷企业通常还需要对次品进行统计，以便查找次品产生的原因，在采用人工检测时只能对次品进行抽样统计，要想实现全部次品的分类统计是很困难甚至是不可实现的。如果采用机器视觉检测，当前烟标印刷质量检测中存在的诸多问题便可迎刃而解。对烟标印刷质量机器视觉检测的有关理论问题进行研究，在此基础上研制出一套可以代替人的视觉对烟标印刷质量进行检测的系统，将大大提高烟标印刷企业的生产效率、生产质量以及经济效益。

1.2烟标印刷缺陷

烟标可能存在多种的印刷缺陷,如重影,烫金残缺,飞墨,墨色不均等,主要可归为以下几类:

1）套色缺陷。其表现为图案边缘出现重影，图案之间相对位置偏移，实质为印刷套色出现偏差。

2）烫金缺陷。其表现为烫金不全甚至没有或烫金位置偏移。

3）污迹。其表现为表面浮脏，或是有墨迹。

4）压凸缺陷。压凸部分与对应的文字或图案没有对准，或压凸的深度不符合要求。

以上几类缺陷有的有着具体的检测标准，如套色的偏差要求限制在0.2mm，而大多数 则是凭人的主观判断，如烫金污迹等。

（a）标准烟标图像

（b）有套色问题的烟标图像 图1 标准烟标图像和有套色问题烟标图像的对比

（a）标准演变图像

（b）有套色问题的烟标图像 图2.标准烟标图像和有套色问题烟标图像的对比（高分辨率、局部）

图1为标准烟标和有套色问题的烟标的对比图像，不过由于分辨率的原因,两幅图像的差别很难分辨。图2是局部对比图,由于分辨率的提高,差异已经可以容易的看到：问题烟标的字迹不清,有重影，部分边缘颜色错误。1.3机器视觉烟标印刷质量检测的难点

机器视觉烟标印刷质量检测有以下一些难点：

1、套色检测精度高

烟标印刷最大的特点就是精细,质量标准很高,套色的精度一般要求达到0.2mm所以在较低分辨率下很难显示出套色问题(如图1),这就需要提高分辨率。但随着分辨率的提高,图像尺寸也增加，图像处理的运算量也大大提高，给图像处理带来了一些困难。

2、污迹分布随机

由于污迹分布的随机性,烟标图像的每一部分都必须进行检测，使得检测的运算量很大，这在采用高分辨率图像后显得更为突出。

3、干扰因素多

烟标并不是一个平面的印刷品，其上还有压痕(为方便折叠而压的凹槽)、切口(这会使得烟标的某些部位上翘或下压)，这些不规则的压痕和切口会影响到烟标图案的相对位置，给检测带来困难。

4、各印刷缺陷互相干扰

如烫金图案的缺损，可能会被误判为污迹;当污迹恰好覆盖烫金图案时，污迹也可能被误判为烫金缺损。

2特征定位

烟标的印刷质量检测主要就是检测出套色,烫金,污迹等印刷缺陷,但是在进行这些缺陷检测之前需要作一些的工作，为这检测提供必要的信息。这些工作主要包括：特征定位和图像配准。

有关位置的印刷缺陷检测均需要位置信息，而通过特征定位则可以求得位置信息。特征定位的准确程度直接关系到后续检测的效果，所以特征定位是烟标印刷质量检测的关键步骤之一。

2.1特征的类型

图3为三种不同种类的烟标图像(图3中标注的英文字母对应图4中各烟标特征在整幅烟标图像中的位置)。由这些图像可以看出烟标具有大量的特征，这些特征主要分为以下几种类型：

1、水平边缘

位于两种不同颜色区域的水平连接处，如图4（a）

2、水平双边缘

表现为水平细线，如图4（b）

3、垂直边缘

位于两种不同颜色区域的垂直连接处，如图4(c)

图3 不同种类的烟标

图3中标注的英文字母对应图4中各烟标特征在整幅烟标图像中的位置。

图4 不同类型的特征

2.2烟标图像特征定位的搜索范围

烟标图像有三个重要的特点：一是图像旋转角很小（如图3（b））的旋转角仅为0.06度），所以在局部可以认为没有旋转；二是图像间比例尺差异很小(仅为千分之几)；三是图像间平移也很小。这三个特点决定了标准图像和目标图像的对应特征的位置（图像坐标）相差很小，这就意味着对目标图像特定特征的搜索可限制在一个较小的范围内，如果能求得目标图像对应标准图像的概略位置，则这个范围更小。

烟标图像同时还有另外一些特点，这些特点又使得特征的搜索范围必须变大。一是烟标上存在的大量压痕和切口，压痕和切口的细微差别就会使特征的位置发生变化；二是烟标的套色偏差，套色偏差会使特征的相对位置发生改变。

综合以上，影响目标图像的特征搜索范围的因素有：特征的概略位置精度，压痕切口偏差,标准图像套色偏差，目标图像套色偏差。特征的概略位置精度同采用的求法有关，本文下一节将对其进行讨论；压痕切口偏差为经验值，可统计得到；套色偏差可采用本文4节方法求得。

3图像配准

图像配准是印刷缺陷检测的基础，套色、烫金、污迹等检测只有在目标烟标图像同标准烟标图像配准的前提下才能进行。

烟标图像有很多特点，其中一个就是有大量特征存在。图像配准的算法很多，如基于边缘的配准算法，基于角点检测的配准算法等等，本文则主要针对烟标图像的特点提出了一种基于特征定位的图像配准方法。该方法的基本步骤为：首先进行特征定位，接着计算几何变换参数，最后重采样生成配准图像。3.1特征定位

特征定位的方法见第2节。特征选取应注意：

1、优先选取直角点。

2、水平边缘/沐平双边缘同垂直边缘/垂直双边缘应成对选取，即选一条水平边缘/水平双边缘就要选一条垂直边缴垂直双边缘，而且这两条边缘应尽量靠近。

3、多选取一些特征以作冗余校验，在选取文字/标志特征时更应如此。

4、避免选择彼此距离过近的特征。

3.2重采样

求得变换参数以后，标准图像上的所有点在待检测图像上的同名点的位置就可以求出来了。而这些位置的坐标值可能不是整数，所以不能直接得到这些位置上的点的灰度值，这就需要进行内插，也称为重采样。

4套色检测

4.1套色不准产生的原因

导致套色不准的原因主要有以下一些：

1、设备精度差引起的套色不准

印刷机上的滚筒齿轮、版台齿条、连杆轴承、递纸牙!凸轮以及联动前规和侧规运动的机件发生磨损松动时，易使印品套色失准。

2、机器调整不当引起的套色不准

在印刷过程中，若叼牙的叼纸量过小，叼不住纸边，压印时就容易产生滑移。递纸牙、叼牙开闭动作失调，叼纸牙的压力不足，输纸系统的某些部件失调，都会导致套色不准。此外，印刷压力过大，包衬盲目增厚，包衬松动也是造成印刷版面走样(版面拉大)，套色失准的原因。

3、纸张伸缩变形引起的套色不准

纸张含水量异常、纸边卷曲时,会出现套色不准现象。

4、操作不当引起的套色不准

印版底托不良，压力过大，油墨层薪稠度过大,纸张裁切不规范都会使得套色失准。4.2基于套色十字丝的印刷套色检测

烟标上都印有套色标志，而这些标志通常呈十字丝状，称为套色十字丝。套色印刷的每一种颜色都对应一个十字丝，在套色完全准确的情况下，各颜色的十字丝完全重合(如图5（a）)，而在套色不准的情况下，各色十字丝彼此不能完全重合(如图5（d）)，它们之间的偏差就是套色偏差。所以检测印刷套色偏差可以通过检测套色十字丝来完成。本文将这种检测方法称为基于套色十字丝的印刷套色检测。4.3二值图像处理

由于图像噪声的影响，分割后的二值图像还要进行进一步的处理。图像背景中的一些噪声点,也可能被划分成十字丝,反映在二值图像上就是,除图像中央十字丝本来所在的位置存在黑像素外,其他区域还零星分布着一些黑像素(设分割后的图像,目标为黑,背景为白,下文均如此)。为了去除这些零星黑像素,本文提出了一种孤立点剔除算法。

5烫金缺陷检测

烫金是指在一定的温度和压力下将电化铝箔烫印到承印物表面的工艺过程。电化铝烫印的图文呈现出强烈的金属光泽，色彩鲜艳夺目、永不褪色。尤其是金银电化铝，以其富丽堂皇、精致高雅的装演点缀了印刷品表面，增强了印品的艺术性,使产品具有高档的感觉。所以烫金工艺被广泛地应用于高档、精美的包装装横商标、挂历和书刊封面等印刷品上。烫金的主要材料是电化铝，它是以涤纶薄膜为片基，涂上醇溶性染色树脂层，经真空喷镀金属铝，再涂上胶粘层而制成。其工艺主要是利用热压转移的原理,在合压作用下,电化铝与烫印版、承印物接触，由于电热板的升温使烫印版具有一定的热量，电化铝受热使热熔性的染色树脂层和胶粘剂熔化，染色树脂层粘力减小，而特种热敏胶粘剂熔化后粘性增加，铝层与电化铝基膜剥离的同时转印到了承印物上，随着压力的卸除，胶粘剂迅速冷却固化，铝层牢固地附着在承印物上，完成烫印过程。烟标作为高档印刷品，也大量采用了烫金工艺。

在烫金的过程中有多种因素可能影响烫金的质量，其中最主要因素有烫金的温度、压力和速度。如果烫金温度过高，熔化过度，烫印图文周围的电化铝也熔化脱落而产生糊版，同时高温还会使电化铝染色树脂和铝层发生化学变化，烫印产品亮度降低或失去金属光泽；如

基于HALCON的机器人视觉标定 篇6

基于HALCON平面标定板，充分考虑机器人末端中心和摄像机镜头径向畸变的影响，设计了一种新的Eye-to-Hand机器人视觉标定方法。该方法不仅标定了摄像机的内外参数，同时也建立了摄像机图像坐标系和机器人世界坐标系的关系。实验证明，该方法具有较高的标定精度和实用性，适用于工业机器人的视觉系统标定。

关键词：

HALCON； 机器视觉； Eye-to-Hand； 工业机器人

中图分类号： TB 133文献标志码： Adoi： 10.3969/j.issn.1005-5630.2016.04.008

Abstract：

Based on plate calibration board of HALCON，a new Eye-to-Hand calibration method is schemed out.The method sufficiently involves the influence on robot terminal center and the radial distortion of camera lens.It calibrates the camera parameters and establishes the relationship between image coordinate and robotic coordinate.According to results of experiments，the method has more precision and it is applicable to industrial robot vision calibration.

Keywords：

HALCON； machine vision； Eye-to-Hand； industrial robot

引言

机器人视觉控制[1-2]是机器人领域的重要研究方向，也是当前的研究热点之一。其系统按照摄像机与机器人的相对位置分为Eye-to-Hand系统和Eye-in-Hand系统。Eye-to-Hand系统将摄像机固定安装于机器人本体之外。随着工业化水平与科技的不断发展，劳动力成本增加，对定位装配的精度和自动化要求也越来越高。基于机器视觉技术的工业机器人定位[3-4]具有定位精度高、自动化和智能化水平高、劳动力成本低等优点，因此在定位装配领域有着广泛的应用。

本文建立了机器人Eye-to-Hand系统，主要论述了一种基于HALCON的摄像机内外部参数和手眼关系标定方法与其实验过程。该标定方法具有操作简单，定位精度高等特点，适用于产品抓取定位。

1机器人视觉标定模型

机器人视觉系统的标定其实是获取摄像机图像坐标系（ICS）与机器人坐标系（RCS）之间转换关系的过程，在标定机器人视觉系统（Eye-to-Hand）之前，首先要

对摄像机进行标定。通常摄像机镜头会存在径向、切向和偏心等畸变，因此需要选择合适的畸变模型对摄像机进行标定。工业镜头的畸变主要为径向

畸变，为线性畸变模型；非线性模型畸变包括径向、切向和偏心等畸变。

对于工业镜头，使用非线性畸变

模型往往不能提高其标定精度，而且还会造成求解的不稳定[5-6]；采用线性畸变模型，可以使标定精度提高一个数量级，与非线性畸变模型相比标定精度差别不大。因此本文在论述中采用线性畸变模型来标定机器人视觉系统，其标定模型如图1所示。

图1中，（Oc，Xc，Yc，Zc）为摄像机坐标系（CCS），Oc即为摄像机的投影中心，z轴与摄像机的主光轴重合；（Ow，Xw，Yw，Zw）为机器人坐标系（世界坐标系WCS）；（Oi，Xi，Yi）为成像平面坐标系（IPCS）；（Ou，Xu，Yu）为图像坐标系（ICS）。空间一点P在CCS下的坐标为P（xc，yc，zc）；在WCS下的坐标为P（xw，yw，zw）。若不考虑畸变，则点P以透视投影在成像平面投影，投影点为Pn（xn，yn）；若考虑径向畸变，镜头的畸变将导致P发生偏移，投影点为（xi，yi）。

式中：sx和sy为缩放比例因子；点（cx，cy）为图像的主点，对于针孔摄像机模型而言，这个点是投影中心Oc在成像平面上的投影。

综上所述，摄像机标定实际上是确定内参cx、cy、sx、sy、f、k和外参R、t的过程，标定摄像机是标定机器人视觉系统的必要条件。

2基于HALCON的手眼标定

2.1标定板

手眼标定之前，必须通过固定在机器人末端的工具来建立机器人坐标系和图像坐标系之间的关系。

与传统的使用固定针尖人工寻找图像点的方式相比，HALCON软件自带标定板具有标定点容易提取、标定精度高、方向唯一等特点，因此本文标定摄像机内外参数和机器人视觉的标定均采用HALCON标定板来完成。标定板如图2所示。通常，标定板的尺寸为摄像机摄影的1/2～1/3；背光源选择玻璃标定板，正面光源选择陶瓷标定板，视野范围大的，标定精度不高的可以选择打印的标定板。

2.2机器人末端旋转中心

典型的四轴工业机器人如图3所示，机器人坐标点通常是末端z轴的旋转中心，如何找到其对应的图像坐标点，建立机器人坐标系和图像坐标系的关系，是标定成功与否的关键。一般可以通过在末端固定特制的针尖来寻找机器人坐标的对应图像点。该方法虽然简单易行，但是受针尖加工误差、安装误差和针尖对焦困难等影响，不能获得良好的标定效果。将标定板固定于机器人末端，取标定板中心点为Mark点，在摄像机视野内，旋转机器人z轴，获取多张图像，计算末端中心在图像坐标上的对应点。

中医按摩机器人视觉系统研究 篇7

中医推拿在我国有着悠久的历史[1], 它将经络腧穴学理论和手法按摩相结合来防病、治病和消除疲劳等。目前, 随着我国老龄化形势的不断加剧, 需要中医推拿服务的人急剧攀升, 而国内有实践经验的推拿师数量已不能满足当今社会的需求。因此, 近几年出现了很多按摩医疗器械来代替人工按摩, 如按摩椅、按摩垫、按摩床等等, 其中更为智能化的中医按摩机器人更是得到了国家的大力支持和发展。随着国内对中医按摩机器人的不断深入研究, 按摩机器人技术已经不再停留在如何实现机器人按摩的技术层面, 而是针对如何能提高按摩机器人的工作效率和按摩水平上进行深入的研究, 按摩面对的是大量不同体型特征的病人和老年人, 在每个按摩对象的身体特征各不相同的情况下, 中医按摩机器人若采用示教或离线编程的方式工作, 这对机器人的工作效率提出了严峻的挑战。因此, 开发出更加智能和灵活的按摩机器人已经成为一种迫切要求[2]。

机器人视觉技术是机器视觉的一个重要研究领域。它是以计算机视觉理论和数字图像处理技术为基础而发展起来的一门新兴学科, 它打破了传统机械臂采用示教和离线编程的方式, 大大提高了机器人的学习能力和智能化水平[3], 可以广泛应用于家用服务机器人和工业机器人等领域。

2 穴位的定位

2.1 基于SIFT特征匹配的穴位定位

针对基于灰度的图像匹配受到环境变换影响较大的问题, 本文采用基于SIFT特征匹配实现人体穴位的匹配。SIFT特征是图像的局部特征, 它对图像中目标的旋转、尺度缩放、亮度变化保持不变, 对仿射变换和噪声的影响也有较好的稳定性[4]。

人体的背部是一个曲面, 人工标志放置在上面必会有倾斜和旋转, 而SIFT算法恰好可以很好地解决倾斜和旋转, 甚至遮挡带来的问题。由于SIFT的对应特征点随机性比较强, 匹配结果不能直接获得目标的具体位置, 如形心、边缘等。本文利用SIFT算法、仿射模型计算出两幅图像的仿射变换的参数, 然后由模板图像形心和仿射参数求出目标图像形心特征位置坐标。

仿射模型是一种常用的图像几何校正方法之一, 当图像获取系统各个光轴基本平行且和目标距离较远时, 可以忽略伴随的几何畸变, 即认为图像间只有二维平行、旋转和比例变化, 因此, 这种变化可以用一个仿射模型进行描述。结合机器人视觉的实际应用, 本文利用4参数仿射模型计算仿射变换的参数, 变换矩阵如下式:

式中:s为尺度变换参数, θ为旋转角度, tx和ty分别为x与y方向的平移量。则点p=T (xp, yp) 到点q=T (xq, yq) 的映射关系见下式:

令m11=m22=scosθ, m13=tx, m12=-m21=ssinθ, m23=ty, 则上式变为

如果求解6个未知量m11、m12、m13、m21、m22、m23, 需要三对匹配点, 假设模板图像和目标图像提取的特征匹配点集合分别为P、Q, 其中, (p1, q1) 和 (p2, q2) 分别是P和Q对应的两对匹配点。则可以用最小二乘法拟合出仿射变换的6个最佳参数解。

因此, 该方法流程图如图1所示。

2.2 穴位的跟踪

针对在按摩过程中, 由摄像机固定在机器人床体的上方, 便不能直接捕捉人体穴位的图像, 因此, 本文利用人体在趴伏时背部的运动是联动的, 即背部每一点的移动向量是相等的, 所以本文利用模板匹配对穴位进行定位完成以后, 就会移除穴位点的人工标志, 然后对人体背部的特定部位 (一般选取不容易被遮挡的部位, 例如颈部。) 贴上人工标志, 然后通过模板匹配对该标志点进行实时跟踪, 并计算出该点的移动向量作为反馈值, 最后将该反馈向量累加到各穴位初始坐标, 实现穴位的跟踪。流程图如图2所示。

其中, xi和yi为第i个目标点移动后的坐标值, x0i和y0i为各目标点的初始坐标值, △xj和△yj为目标点j次移动的偏移向量值。

机器人工作过程中, 患者的移动信息分为两步进行分析。

第一步, 判断患者是否移动。按摩手对人体施力的过程中, 衣服、人体皮肤和床体的振动都会使检测点发生移动。所以本文假设患者移动在5mm以下, 都被认为患者没有移动。这一过程, 只需计算出移动向量的大小就可以判断人体的移动情况。

第二步, 在确定患者移动信息之后, 对检测点定位, 将求取的移动向量视为有效, 并累加到初始坐标, 获得检测点的新图像坐标。然后利用标定数据, 将图像坐标转换成机器人运动参数, 使机器人位置进行调整。

3 腿部姿态检测

针对人体腿部的特征, 很难直接利用图像处理和模式识别技术对大腿进行特征提取和姿态识别, 本文提出一种基于概率Hough变换的腿部姿态检测方法, 该方法利用放置的特制人工标志, 提取出人工标志中直线信息, 计算出直线的斜率, 为中医按摩机器人提供方位信息。

机器人在进行腿部捏拿按摩时, 需要获取腿部的姿态参数, 例如捏拿的起始点坐标、腿部的斜率、终点坐标等。根据病人衣服上的一些特点 (如直线) , 本文提出采用基于概率Hough算法的人体腿部姿态检测新方法。流程图如图3所示, 首先对原始图像进行图像与处理和边缘检测, 边缘检测采用的是Canny算法, 然后利用概率Hough变换检测出图像中的线段, 求出直线段的两个端点坐标, 获得其斜率, 为中医按摩机器人提供控制参数。

4 实验及结果分析

本实验是在VC++开发环境中编程验证, 首先在目标遮挡的情况下, 进行了识别实验。如图4所示。

并用100张拥有不同的目标数量和位置的图像进行了对比试验, 如图5所示。试验数据如表1所示。通过表1的数据可以看出, SIFT特征匹配比相关灰度的模板匹配更加稳定, 满足中医按摩机器人对稳定性的要求。

在人体腿部姿态检测试验中, 用的是一个人体大腿模型, 模型为去顶圆锥。底端直径是120mm, 顶端直径为95mm, 高为400mm。按摩机器人在实际工作过程中, 由于人体大腿没有明显的特征, 以及每个人穿的衣服各有不同, 会造成机器人视觉系统无法对腿部进行识别, 因此, 为了能更稳定的对大腿进行识别, 本文采用放置人工标志在腿部上的方法对大腿模型姿态进行识别。如图6所示, 人工标志由N条红色平行的线段组成。

程序运行结果如图6, 由于机器人床体大小的限制, 大腿在图像中斜率正常变化范围为±0.2。在程序中, 设定好阈值, 将斜率超出范围的舍弃, 然后对范围内的斜率求平均值。实验分析, 该方法具有较好的稳定性和实用性。

5 结束语

本文采用sift特征匹配算法和概率Hough变换算法分别实现了对人体穴位和腿部姿态的检测和定位, 在人体移动的情况下, 仍能实现穴位和人体的定位, 定位精度满足按摩机器人的精度要求, 该方法可以大大提高中医按摩机器人的工作效率, 使更多的人享受到中医按摩带来的益处。

摘要：本文针对中医按摩机器人采用示教的控制方式, 降低了中医按摩机器人的灵活性, 不适合对大量不同体型特征的病人进行治疗的问题, 提出采用基于sift特征匹配和概率Hough变换算法分别实现了对人体穴位和腿部姿态的检测和定位, 实验结果表明, 该算法具有很好的稳定性。

关键词：示教,sift,中医按摩,穴位,定位

参考文献

[1]王逸冉.中医按摩机器人系统分析与展望.信息技术与信息化.2012.[4]76-79.

[2]杜光月, 鲁守银, 张化凯.中医按摩机器人人体穴位寻找功能设计.科技通报, 2011.27 (5) 637-640.

[3]马哲文, 于豪光.基于视觉定位的按摩机器人穴位跟踪系统.2010[6]:33-35.

[4]李红波, 陈安荣.一种基于SIFT的遮挡目标跟踪算法.2011[2]23:231-236.

大场地足球机器人视觉系统优化设计 篇8

1场地校正

通过摄像头采集得到的原始场地图像,不可避免地存在着一定的变形,为了图像处理的准确,就要对图像进行校正,校正的目的就是对图像进行恢复后,得到基本无畸变的图像,以适应比赛的需要。在MiroSot 11vs11中,由于场地的变大,一个摄像头已经不能拍摄到整个场地的图像,因而要使用两个摄像头。两个摄像头的使用对视觉系统的校正提出了更高的要求。

通过分析比较各校正算法的特点,我们使用了高次多项式进行矫正。根据图像畸变的特性,可用坐标间的多项式变换来表示几何畸变,设原图像为undefined,受到几何形变影响变为undefined,这里undefined表示失真图像的坐标,它已经不是原坐标undefined,则原图像的空间坐标undefined和被矫正图像对应点的空间坐标之间的关系式为[1]:

式中n为多项式的系数;aij,bij为待定系数,显然校正精度与所用校正多项式次数有关,多项式次数越高,位置拟合误差越小。但随n的增加,也必然导致计算量的急剧增加。通过对大场地比赛系统的场地分析,我们采用了二元三次多项式,在保证校正精度的同时,有效减小了计算量。此时式(1)可写为:

undefined

由式(2)可知,要实现空间坐标变换,关键要确定式(2)中的系数aij,bij,从而通过反变换将几何畸变图像恢复成原图像。 本系统中利用现场定标方法,由图像中的标准点确定场地的标准形状,从而进一步确定aij,bij。最终判定出所采集图像的畸变程度。

在本系统中,利用二元三次多项式,则至少需标准点数为M=10。标准点的选择与矫正的精度有密切关系,所以标准点的选择应尽量均匀,考虑到场地的每个位置,即在场地上选择尽可能多的标准点。MiroSot 11vs11中,我们在每个半场上选择25个标准点,共有50个标准点,如图1和图2所示。校正后效果如图3和图4所示:

根据高次多项式变换算法基本上可以将图像的变形矫正到最小,即图像拼接时拼接线基本上是直的。所以可以直接将两副图像拼接起来而不加其他处理。如图5所示,两副图像拼接后,中间拼接部分对应的很好,中圈也对接的很好。

2颜色空间

在比赛系统中常用的颜色模型有RGB、HSI、YUV等,RGB属于基础颜色空间,它是面向硬件的颜色空间,图像采集设备最初采集到的颜色信息都是RGB值;YUV属于正交颜色空间,它的提出主要是为实现彩色电视与黑白电视系统的兼容;HSI属于认知颜色空间,它是最符合人类视觉感受的颜色模型[2]。结合比赛视觉系统的要求,我们采用了HSI颜色空间。

HSI空间中三个分量是相互独立的,改变其中任意一个,都不会对其他分量产生影响。H为色调信息,S为饱和度,I表示亮度,其中H、S对比赛中颜色识别的影响较大,而对于I因场地亮度变化较大,其值对识别的影响较小,根据比赛实时性的要求,为减小运算量,在颜色识别中我们忽略了亮度信息,只是通过H和S的阈值来识别颜色信息。RGB与HSI的转换公式为[3]:

undefined

其中

θ=arcundefined

undefined

因H值的转换公式较为复杂,考虑到比赛实时性的要求,本文建立了从RGB到H的映射表,比赛中通过查表的方式得到RGB值所对应的H值。经验证该方法对于比赛的实时性和精确性都能较好的满足。同时鉴于11vs11采用双摄像头的特殊性,我们针对左右半场分别建立了颜色库,从而对颜色信息实现了更精确的识别。

在赛前颜色样本采集过程中分别建立各个颜色分量的上、下阈值[4],从而在颜色空间中建立与目标颜色相对应的线性色库。HSI操作界面如图6所示:

对于颜色搜索,本文采用了全局遍历与局部搜索相结合的算法,首先通过正向遍历查找我方队标、球和对方队标,同时通过judge()函数判别目标色块的真伪、方位、角度等信息,然后以目标色块为中心,确定局部搜索区域,从而进一步确定机器人的队员号码。程序框架如下:

3结束语

针对FIRA的Mirosot大场地足球机器人系统的特殊性和复杂性,进行了视觉系统的优化设计。采用高次多项式对图像畸变进行了矫正;采用HSI图像模型对场地信息进行处理和目标分割与识别;在实时性和准确性等方面达到了较高的性能。已于河海大学“e龙”队的半自主足球机器人上得到了应用,在国际、国内的比赛中均取得了优异的成绩。

参考文献

[1]刘金根.一种基于现场定标的光电图像畸变校正算法.光子学报,2004,33(6):732~735

[2]周军,李振兴,李奎,郝达飞.Mirosot中基于不同颜色空间的图像分割比较研究.哈尔滨工业大学学报,2006,38(增刊):1335~1338

[3] Donald Hearn,M.Pauline Baker.COMPUTER GRAPHICS.Beijing:Prentice-Hall International,Inc,1998.564~582

[4] Goh Pit Khiam,Leong Kum Cheong,Chen Yen Yo,Liao Bao Chen.SOCRATES-TEAMDESCRIPTION PAPER.FIRA RoboWorldCongress 2006,Proceeding.Dortmund,Germany:FIRA,2006.195~198

机器视觉跟踪系统开发 篇9

关键词：机器视觉,视觉跟踪,图像识别,目标跟踪定位

0 引言

机器视觉 (Computer Vision) 作为一门综合性的学科, 在工业制造、汽车电子、自主车辆视觉导航、智能视频监控系统等领域得到了非常广泛的应用。本文搭建了机器视觉追踪平台, 重点研究机器视觉系统的基础理论方法及关键技术, 构建了机器视觉追踪系统, 完成了对动态目标物体的识别、跟踪及抓取。

1 视觉跟踪系统硬件平台

系统硬件结构分为三层:最高层的PC机, 作为人机交互与程序终端;中层位运动控制卡, 负责上位机与底层机构的连接通信;底层为相机、伺服驱动器、伺服电机、主轴电机等信息采集或执行机构。

本系统的主要控制方式如下:在启动程序后, 相机开始拍照, 并不断地将图片信息传送给上位机, 上位机经图像处理后确定目标物体并通过不断地处理图像信息实现对物体的跟踪, 当物体在拍摄范围内停止运动后, 上位机通过运动控制卡控制三轴运动平台将机械手移动到适当位置并实现对目标物体的抓取。

2 背景建模

在机器视觉跟踪系统中, 重要的是如何对动态目标进行识别和跟踪。由此背景建模对动态目标识别和跟踪起到了至关重要的作用。背景建模是通过对每一帧图片的分析和比较, 将动态目标和静态场景区分出来。本系统采用高斯模型的方法进行建模。高斯模型包含两种具体模型:单高斯模型和混合高斯模型。单高斯模型:将图像中的任意一点的像素值设为x, 其均值为u, 标准差为δ, 该点的像素值出现的概率服从高斯分布。如果该点在任意时间内像素值x都在均值u附近波动, 则可以确定该点为静止的背景;如果x比均值u变化很大, 则说明该点是运动的, 即是动态前景。由此使用单高斯模型建模时, 定义任一点像素在t时刻时有|x-u|>3δ则为动态前景;否则为静态背景[1]。对于背景简单的图像而言使用单高斯模型建模可以很好地区分动态前景和静态背景, 但是对于比较复杂且干扰因素比较多的背景而言, 单高斯模型就无法精确地进行区分了, 此时就需要对同一个像素点x进行多个高斯模型建模即是混合高斯模型建模:

式中:Uk-1 (x, y) 和σk-1 (x, y) 为前一帧背景模型均值和方差;dk (x, y) =Ik (x, y) -Uk-1 (x, y) 为灰度值;α为更新系数, α值越大更新越快[2]。

3 图像处理

通过背景建模区分出动态物体后, 系统需要对物体进行形和颜色分析以实现对目标物体的识别、跟踪和抓取。

3.1 相机标定

相机标定是求解目标的像素坐标和场景坐标变换的过程。即通过相机标定我们可以从图像中目标所在坐标计算出其在实际场景中的坐标, 从而确定动态目标每一时刻的具体位置。本系统采用直接线性法 (Direct Linear Transformation) , 简称DLT法, 是由Abdel-Aziz和Karara于1971年首先提出的。该方法不考虑摄像机的非线性畸变, 通过直接求解一组线性方程得到摄像机的有关参数。如图1直接线性相机标定所示, 将标定纸放到机器人坐标系中合适的位置, 交叉的十字线为世界坐标系, 与机器人基座坐标系之间只有简单的平移关系。也就是说在计算出目标在世界坐标系中的位置之后, 再减去一定的平移量, 就可以得出目标在机器人基座坐标系中的位置。由此获取到部分点的像素坐标 (如表1脚点数据表) 以后即可通过直接线性法算出相应参数, 从而找出世界坐标、像素坐标、相机坐标三者的关系[3]。

3.2 阈值分割

进行阈值分割的目的是将目标物体和其他动态物体区分出来。其按照灰度级, 设定不同的特征阈值, 对像素集合进行一个划分, 把图像的像素点分成若干类。本项目采用的图像二值化方法取:b0=0 (黑) , b1=1 (白) 。即选定好阈值后, 将图像分为两部分, 黑为所需识别目标, 白为其他[5]。图2为阀值分割流程图。

3.3 边缘检测

物体的边缘对数字图像的处理有着重要意义, 它是图像的基本特征。边缘是图像中的物体和物体之间, 物体和背景之间的交界线, 即是图像灰度图和颜色值急剧变化的地方[4]。通过边缘检测可以确定物体轮廓边缘, 为确定目标物体形心打下基础。本文采用Roberts算法进行边缘检测, 并通过种子填充算法确定其形心。图3 (a) 、图3 (b) 分别为两种不同物体的边缘信号。

3.4 形心标定

形心的确定是整个软件处理中承上启下的一环。即通过图像的阈值分割, 边缘检测识别目标物体并确定目标物体轮廓之后, 由该环节进行形心的确定, 然后再将该数据进行相机标定, 最终确定目标物体位置并将位置数据传输给上位机, 上位机通过运动控制卡控制三轴运动平台将机械手移动到适当位置并实现对目标物体的抓取。对正方块的形心标定参见图4形心标定。

4 对红色物快的识别、追踪及抓取实验

本实验具体是在一张白纸上放置红、黄色块, 并用手朝某一方向匀速拖动。由此要求系统对红色目标物块进行识别、追踪及抓取。

图5实验过程图中 (a) 为系统对红色目标物块的识别及追踪, 图5 (b) 为机械手对红色目标物块的抓取;由此可得出本系统能够准确的对红色目标物块进行识别、追踪及抓取, 说明本系统有良好的准确性和稳定性。

5 结语

机器视觉在我们生活中应用越来越广泛, 其对我们的生活而言已逐渐发展成为一项不可或缺的技术。本系统是基于三轴运动控制机床为研究平台, 结合CCD相机、运动控制卡、PC机等硬件, 构建的一个基于机器视觉的工业机器人视觉跟踪系统。能够很好地完成对特定动态目标进行识别, 跟踪及抓取。目前研究的机器视觉追踪还是对于简单场景中两个物体形状比较规则的运动物体间的识别和追踪, 对于在比较复杂的场景中的有着多种运动形态的多个物体间的识别和追踪还有待今后进一步研究。

参考文献

[1]罗金梅.移动目标视觉追踪系统设计与实现[D].成都:电子科技大学, 2012.

[2]百度文库.背景建模法[EB/OL].[2015-05-26]http://www.baidu.com.

[3]张俊.基于视觉的户外自主导航车辆的道路识别和研究[D].西安:西安理工大学, 2007.

机器人视觉系统 篇10

动力电池分拣机器人系统是智能机器人自动控制系统,机器视觉定位系统是该系统的一个子系统[1]。由于装有动力电池的周转箱经辊道线输送后,每次到达的分拣区域的位置会有偏差,分拣机器人不能准确地抓取电池。利用机器视觉定位系统,分拣机器人可以方便快速准确地完成对动力电池的抓取,使得分拣任务的执行时间大大的减少,提高分拣任务完成的安全性和可靠性。

本文设计了较精确的视觉定位系统,通过安装在机器人上空支架上的CCD摄像机拍摄承载动力电池的周转箱图片,通过图像处理、标定、定位、计算等一系列过程得出周转箱中动力电池的坐标信息,从而极大地方便分拣机器人分拣任务的执行。

2 分拣机器人定位所需信息

由于分拣机器人的Z轴在规定的位置(高度)不变,周转箱在辊道上的位置会有偏差,因此分拣机器人定位只需考虑托盘x、y平面上的位置。分拣机器人需要视觉系统提供每个周转箱相对于周转箱在基准位置的方向和偏差值。装载电池的周转箱实物图片如图1所示:

2.1 建立分拣机器人基坐标系o-xy分拣机器人基坐标系o-xy如图2所示

2.2 建立托盘坐标系o-uv

托盘坐标系建立在周转箱槽板上,故对槽板的设计精度有一定的要求。六个电池在托盘坐标系o-uv中的位置分别是:

P1(u1,v1),P2(u2,y2),…,P6(u6,v6) (1)

每一个电池的坐标由槽板设计确定,是恒定不变的常量,是电池i中心的位置。托盘坐标系o-uv如图3所示:

2.3 托盘坐标系(o-uv)与分拣机器人坐标系(o-xy)的关系

托盘坐标系(o-uv)与分拣机器人坐标系(o-xy)的关系:

undefined

其中R为旋转矩阵:

undefined

x0,y0,θ是周转箱在基坐标系下的位置和方向,工业机器人设定TCP和工件标定,周转箱的基准位置在此过程中规定。托盘坐标系(o-uv)与分拣机器人坐标系(o-xy)的关系如图4所示:

2.4 分拣机器人手爪对每个电池的定位

电池i的坐标即Pi(ui,vi)在机器人基坐标系(o-xy)下的位置Pi(xi,yi)为:

undefined

2.5 基于机器视觉的托盘定位

由于周转箱在轨道线上的位置有偏差,不可能每次都能到达分拣机器人标定的基准位置,需要视觉定位系统提供每个周转箱相对于周转箱在基准位置的坐标偏差值和方向:

Δx0,Δy0,Δθ (5)

2.6 分拣机器人在有偏差修正信息时的手爪定位

周转箱基准位置x0,y0,θ修正为:

x′0=x0+Δx0,y′0=y0+Δy0,θ′=θ+Δθ (6)

分拣机器人手爪定位通式,即电池i的坐标Pi(xi,yi)为:

undefined

3 机器视觉定位系统设计

3.1 机器视觉定位系统工作原理

根据动力电池在辊道线上的传输情况,在不改变原有设备的基础上,本系统用图像处理与摄影测量技术[2],通过安装在分拣机器人支架上方的CCD照相机,对准所要定位的装载动力电池的周转箱拍摄,工控机通过1394b线可实时获取相机所采集到的图像,并进行图像处理、建立模板、定位、测量几个步骤获取槽板上定位孔的坐标像素数,并转换为坐标尺寸,计算出此次周转箱相对于周转箱在基准位置时的位置偏差和旋转角度值,视觉系统将该数值传给分拣机器人控制系统,得出槽板上六个动力电池的位置信息,并进行抓取,完成分拣任务。

3.2 机器视觉定位系统组成

整个视觉系统由镜头、CCD照相机、光源、图像采集处理软件、工控机组成一套视觉定位系统,如图5所示。

①工业镜头的确定

托盘上两定位孔的距离为166mm,视场应控制在200*150mm,镜头离工件的距离在1000mm左右,故选择工作距离为1000mmm(正负10mm左右),焦距16mm,视场200*150mm的镜头。

②工业相机的确定

分拣机器人定位精度要求为0.5mm,理论上要求相机分辨率为200/0.5=400像素,也即相机分辨率至少需要600*800(50万像素)。实际上每个瑕疵无法正好用一个像素表示,因此像素要适当翻倍,翻倍多少与很多因素有关,例如:图像采集的质量、CCD芯片尺寸、光源、还有算法的精度等,因此采用200万像素的工业相机。

③LED光源的确定

为了使影像的暗部更暗,便于找到定位孔的边缘,选择优质正面同轴光源,同轴光源安装镜头上面,光源本身高度1000mm,发光面积选择200×200mm。

④图像处理软件

图像开发软件选用加拿大的Hexsight,该软件功能包括几何定位、检测、测量等工具,能够提供基本的函数库,满足二次开发需求。

3.3 机器视觉定位系统工作步骤

机器视觉定位系统的工作步骤如下:

①标定像素长度与物理长度的对应关系;

②机器视觉定位系统测量周转箱在基准位置时的位置和方向,并建立定位模板(图6);

分拣机器人系统与视觉系统共同约定一个周转箱位置作为周转箱的基准位置,在此基准位置,分拣机器人完成工件标定,视觉系统采集图片,建立定位模板,并计算出定位孔1、2在图像坐标系中的坐标值:

(xbase1,ybase1)、(xbase2,ybase2) (8)

③测量周转箱槽板相对于周转箱在基准位置时的位置偏差和旋转角度值;

当视觉系统接收到分拣机器人系统发出的请求信息时,视觉系统开始采集图片,并定位出模板,得出定位孔1、2在图像坐标系下的坐标值(x1,y1),(x2,y2)计算出此次周转箱相对于周转箱在基准位置时的位置偏差和旋转角度值(Δx0,Δy0,Δθ),并传递给分拣机器人系统 (如图7、图8)。

undefined

④分拣机器人根据视觉信息计算出六个动力电池的位置坐标,进行抓取,完成分拣任务(图9);

4 结论

对于该视觉系统,经过多次试验验证,定位误差最大不超过0.4mm,平均定位误差0.12mm,满足分拣机器人定位误差要求(分拣机器人定位精度要求为0.5mm),实现对动力电池的精确定位,分拣机器人能很好的完成对动力电池的分拣。分析误差产生的原因主要为:硬件本身的精度和软件的算法精度误差,以及光照的不均匀带来的图片质量问题产生的误差。相信在提高硬件的本身精度和对相应的算法改进后,能得到更理想的效果。

摘要：根据机器视觉的基本原理,建立机器视觉模型,设计了动力电池分拣机器人视觉定位系统。介绍了分拣机器人定位所需信息,机器视觉系统组成及工作步骤,实现对目标的自动识别和精确定位,实验证明该方案具有良好的定位效果,同时分析了引起误差的原因。

关键词：机器视觉,动力电池,分拣机器人

参考文献

[1]李志俊,王连朝,张学民,曾飞.微创手术机器人视觉定位系统的研究[N].武汉理工大学学报,2007,10-31:890-893