专利名称：：大视场中多移动目标位姿的视觉检测方法
技术领域：
：本发明涉及移动物体的位置和姿态的视觉检测方法，具体来说本发明涉及一种大视场中多移动目标位置和姿态的检测方法。
背景技术：
：移动目标的视觉检测技术把图像处理与信息科学有机结合起来，形成一种能从图像信号中实时地识别目标、提取目标信息的技术，是一种较新的动态目标位姿检测技术。移动目标视觉检测的主要目的是确定目标在视场中的精确位置及姿态等信息，即进行目标的定位。目前通用的定位方法可以归纳为以下几类惯性定位、路标定位、全局视觉定位等。惯性定位方法往往包含累积误差且设备造价较高；路标定位精度较高，但需要对环境作一些必要的改造，在应用中存在一定的局限性；近年来，视频设备及计算机处理速度有很大提高，移动目标视觉定位方法的精度和速度也得到了可靠保证。在移动目标工作空间较大的情况下，采用单摄像机来实现目标位姿检测通常图像畸变较大，即使可以通过一些畸变校正手段进行修正，但这样会增加计算复杂程度，而且效果也不一定能达到既定的检测精度。本发明设计了基于双相机实时视场拼接的多移动目标的位姿检测方法，保证了大视场中检测的快速及可靠性。
发明内容本发明的目的是提供一种用于较大工作空间内多个移动目标快速定位的方法，该方法操作简便易于掌握，计算量少，成本低且具有较高的精度，能够满足大视场操作环境下多个移动目标的定位和导航需要。包括以下几个步骤首先采用双相机视场拼接来扩大视觉检测的范围；接下来采用目标全局搜索与航迹搜索相结合的方法有效地提高搜索的速度及精度，采用种子点区域填充的方法进行移动目标的定位；最后采用基于相对测量的图像坐标系与世界坐标系的转换模型用于快速地计算移动目标的世界坐标。其中色标板方案设计简单合理，使得目标易于识别且容易确定目标位姿数据；具体为1)采用实时视场拼接技术，即用两个镜头分区域采集图像，再利用图像拼接算法将这些图像按采集时间序列拼接为用于实时位姿检测的大视场。2)在拼接后的视场中采用全局网格搜索结合航迹搜索的方法来搜索目标，并采用种子点区域生长法来实现目标识别，得到移动目标在图像坐标系中的位姿数据。3)选择世界坐标系原点在摄像机的视场范围内且世界坐标系与摄像机坐标系的Z轴相平行，在相机镜头径向所带来的非线性误差很小的情况下，建立快速的基于相对测量的图像坐标系与世界坐标系的转换模型。并据此模型计算移动目标在世界坐标系中的位姿，即实现移动目标的定位。4)考虑到尽量避免色标方案中色块交界区域过大及色标方案选择中色块的面积4尽量均匀分布于色标板等因素，设计了色标板为半径相同但颜色不同的两外切圆型。本发明的优点在于1、采用实时视场拼接技术，实现了用于位姿检测的大视场。2、采用全局网格搜索和航迹搜索相结合的方法来快速搜索目标，算法计算量小，可以同时识别多个移动目标。3、采用一种基于相对测量的方法来实现图像坐标系与世界坐标系间的转换，可以快速的计算出移动目标在世界坐标系中的位姿。4、色标板的设计尽可能多提供对视觉定位有用的信息，便于目标识别且可以有效、快速地进行目标位姿的计算。图1是本发明大视场中多移动目标位姿的视觉检测方法示意图。图2是本发明中色标板设计图。图3是目标位姿计算示意图。图4是双相机视场拼接流程图。图5是本发明中全局搜索流程图。图6是本发明中航迹搜索的流程图。图7是本发明中基于相对测量的图像坐标系与世界坐标系的转换模型示意图。图8是本发明大视场中多移动目标位姿的视觉检测方法流程图。具体实施例方式下面将结合附图对本发明作进一步的详细说明。本发明是大视场中多移动目标位姿的视觉检测方法，包括以下几个步骤步骤一双相机视场拼接，在移动目标的工作区域上方同一高度安装两部摄像机，分区域采集图像，安装时保证两摄像机视场有重叠区域；设仿射变换模型下的两点(Xl，y》、(x2，y2)分别为两摄像机所采集图像中对应的两点，则有:转角度cV"、「、f"、^1cosa—smorsincosaVY、人i(1)其中s表示縮放系数，tx，ty分别表示水平、垂直方向的像素平移位移，a表示旋方程(1)可简化成卜)、1;、《"+、、"21、、(2)拼接时首先在视场重叠区域手动选取两个视场中的三组对应特征点，可以构造6个方程，求解方程(2)中的6个参数，后续的图像拼接算法将按照此变换关系将两个镜头采集的图像按采集时间序列拼接为用于实时位姿检测的大视场。步骤二在拼接后的视场中采用目标全局搜索与航迹搜索相结合的方法来确定种子点，并采用种子点区域填充的方法统计计算得到色标板上两色标块重心的图像坐标。全局搜索的检测方法，其特征在于采用网格搜索和种子点区域生长相结合的方法来进行搜索。首先把整幅图像分成大小相等的若干个窗口，对每个窗口内的中心像素点参照目标颜色阈值进行判断，当窗口内像素点属于目标颜色时，就把这个点作为种子；航迹搜索方法，其特征在于由目标历史位置推测当前位置，当推测的位置处像素点属于目标颜色时，就把这个点作为种子。正常情况下，目标的位置是连续变化的，速度也是在一定范围内的，通过上一帧图像中目标的位置、最大速度和两帧的时间间隔，可以得到下一帧图像中目标可能出现的范围。在此范围内进行新的搜索，由此可以进一步减小搜索数量，更有利于达到实时性。设目标色块的当前位置为(Xk，yk)，则其下一帧的预测位置为「A+1=WW力+11+.AT但由于在实际中无法直接得到移动目标的速度，则上式改为=&+Ax=—(12)式中vxk、Vyk为预测的目标在当前帧x、y方向速度分量。AT为相邻帧之间的时间间隔，Ax、Ay分别为在AT时间内x、y方向上的增量。xk—^y,—工为上一帧目标位置。设目标P在当前帧没有识别出来，则认为目标产生运动模糊图像，以上一帧预测的点(Xh、y^)为中心，移动目标外接圆半径R为距离向外扩展的动态窗口为新的搜索区域，若仍然搜索不到目标，则认为目标丢失，此时转向对丢失目标的全局搜索。实际应用中，考虑到移动目标的一些可能运动突变，导致目标的运动轨迹发生变化，对于搜索区域的选取可以留有一定的余地，选取2R3R的距离。种子点区域填充是依各种子点进行区域生长，及依次取出各种子点，以其图像坐标为基准，向四周扩散，并且判断周围像素点是否属于目标颜色，直到把整个区域填充满、形成多个独立的连通域为止。如图3所示，在图像坐标系中两色标块的坐标分别为0q，y》，(x2，y2)，色标板即移动目标的坐标为(x，y)，则:22(3)(4)当移动目标位于第一象限，移动目标的姿态角e^=arctan(当移动目标位于第二象限，移动目标的姿态角eP=;r—arctan(当移动目标位于第三象限，移动目标的姿态角eP=;r+arctan(乂i~"~当移动目标位于第四象限，移动目标的姿态角e(5)(6)(7)6>=2;r—arctan((8)(9)(10)当移动目标位于Y轴正半轴，移动目标的姿态角ee=ji/2当移动目标位于Y轴负半轴，移动目标的姿态角e9=3Ji/2这样就得到移动目标在图像坐标系中的位姿数据。步骤三采用基于相对测量的图像坐标系与世界坐标系的转换模型，得到移动目标在世界坐标系中的位姿数据。基于如下的假设4)世界坐标系与摄像机坐标系的Z轴相平行5)世界坐标系的原点在摄像机的视场范围内6)由相机镜头径向所带来的非线性误差很小在一定误差允许范围内，加之世界坐标系是可根据实验场地进行自定义的，故以上假设可以实现。如图7所示，世界坐标系相对于图像坐标系绕Z轴旋转9度、平移[a，b，0]T;假设在图像坐标系中世界坐标系的原点坐标为Ojx^yJ，Y轴上一点坐标为Py(Xpy，ypy)。注意图像坐标系的Y轴向下为正方向，当选择世界坐标系的Y轴方向在图像坐标系中Y轴方向上投影为正，则6=_taxT6>=tan一1乂。w—气少。wJ^"py(Xw〈4)》py少ow(13)同时，由图像平面投影到世界坐标平面的放大率因子为A，圆形色块在世界坐标系中的直径为Dw，在图像坐标系中的直径为D，则A=Dw/D(14)设图像坐标系为0「uvZ，所自定义的世界坐标系为Ow_XwYwZw，过渡坐标系Oj-XjYjZj，在一定物距时，点P在图像坐标系内坐标为^，在世界坐标系内坐标为^，则有尸。『=》(-々)a(15)其中ZcosPsin汐0、'(16)》(—=乂-sin^cos^0001》M,。r(17)目标在世界坐标系中的角度、计算方法为9W=9-9'(18)这样目标在世界坐标系中位姿确定，本发明的主要步骤全部实现，图8所示为整水实现过程的流程图。权利要求大视场中多移动目标位姿的视觉检测方法，其特征在于以下步骤步骤一双相机视场拼接，在移动目标的工作区域上方同一高度安装两部摄像机，分区域采集图像，安装时保证两摄像机视场有重叠区域；设仿射变换模型下的两点(x1，y1)、(x2，y2)分别为两摄像机所采集图像中对应的两点，则有<mrow><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>x</mi><mn>2</mn></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mn>2</mn></msub></mtd></mtr></mtable></mfenced><mo>=</mo><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>t</mi><mi>x</mi></msub></mtd></mtr><mtr><mtd><msub><mi>t</mi><mi>y</mi></msub></mtd></mtr></mtable></mfenced><mo>+</mo><mi>s</mi><mo>·</mo><mfencedopen='('close=')'><mtable><mtr><mtd><mi>cos</mi><mi>α</mi></mtd><mtd><mo>-</mo><mi>sin</mi><mi>α</mi></mtd></mtr><mtr><mtd><mi>sin</mi><mi>α</mi></mtd><mtd><mi>cos</mi><mi>α</mi></mtd></mtr></mtable></mfenced><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>x</mi><mn>1</mn></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mn>1</mn></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>其中s表示缩放系数，tx，ty分别表示水平、垂直方向的像素平移位移，α表示旋转角度，方程(1)可简化成<mrow><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>x</mi><mn>2</mn></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mn>2</mn></msub></mtd></mtr></mtable></mfenced><mo>=</mo><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>t</mi><mi>x</mi></msub></mtd></mtr><mtr><mtd><msub><mi>t</mi><mi>y</mi></msub></mtd></mtr></mtable></mfenced><mo>+</mo><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>a</mi><mn>11</mn></msub></mtd><mtd><msub><mi>a</mi><mn>12</mn></msub></mtd></mtr><mtr><mtd><msub><mi>a</mi><mn>21</mn></msub></mtd><mtd><msub><mi>a</mi><mn>22</mn></msub></mtd></mtr></mtable></mfenced><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>x</mi><mn>1</mn></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mn>1</mn></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>拼接时首先在视场重叠区域手动选取两个视场中的三组对应特征点，可以构造6个方程，求解方程(2)中的6个参数，后续的图像拼接算法将按照此变换关系将两个镜头采集的图像按采集时间序列拼接为用于实时位姿检测的大视场；步骤二在拼接后的视场中采用目标全局搜索与航迹搜索相结合的方法来确定种子点，并采用种子点区域填充的方法统计计算得到色标板上两色标块重心的图像坐标；全局搜索的检测方法，其特征在于把整幅图像分成大小相等的若干个窗口，对每个窗口内的中心像素点参照目标颜色阈值进行判断，当窗口内像素点属于目标颜色时，就把这个点作为种子；航迹搜索方法，其特征在于由目标历史位置推测当前位置，当推测的位置处像素点属于目标颜色时，就把这个点作为种子；正常情况下，目标的位置是连续变化的，速度也是在一定范围内的，通过上一帧图像中目标的位置、最大速度和两帧的时间间隔，可以得到下一帧图像中目标可能出现的范围，在此范围内进行新的搜索，由此可以进一步减小搜索数量，更有利于达到实时性，设目标色块的当前位置为(xk，yk)，则其下一帧的预测位置为<mrow><mfencedopen='{'close=''><mtable><mtr><mtd><msub><mi>x</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub><mo>=</mo><msub><mi>x</mi><mi>k</mi></msub><mo>+</mo><msub><mi>v</mi><mi>xk</mi></msub><mo>·</mo><mi>ΔT</mi></mtd></mtr><mtr><mtd><msub><mi>y</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub><mo>=</mo><msub><mi>y</mi><mi>k</mi></msub><mo>+</mo><msub><mi>v</mi><mi>yk</mi></msub><mo>·</mo><mi>ΔT</mi></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow>但由于在实际中无法直接得到移动目标的速度，则上式改为<mrow><mfencedopen='{'close=''><mtable><mtr><mtd><msub><mi>x</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub><mo>=</mo><msub><mi>x</mi><mi>k</mi></msub><mo>+</mo><mi>Δx</mi><mo>=</mo><mn>2</mn><msub><mi>x</mi><mi>k</mi></msub><mo>-</mo><msub><mi>x</mi><mrow><mi>k</mi><mo>-</mo><mn>1</mn></mrow></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mrow><mi>k</mi><mo>+</mo><mn>1</mn></mrow></msub><mo>=</mo><msub><mi>y</mi><mi>k</mi></msub><mo>+</mo><mi>Δy</mi><mo>=</mo><mn>2</mn><msub><mi>y</mi><mi>k</mi></msub><mo>-</mo><msub><mi>y</mi><mrow><mi>k</mi><mo>-</mo><mn>1</mn></mrow></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>式中vxk、vyk为预测的目标在当前帧x、y方向速度分量，ΔT为相邻帧之间的时间间隔，Δx、Δy分别为在ΔT时间内x、y方向上的增量，xk-1、yk-1为上一帧目标位置；种子点区域填充是依各种子点进行区域生长，及依次取出各种子点，以其图像坐标为基准，向四周扩散，并且判断周围像素点是否属于目标颜色，直到把整个区域填充满、形成多个独立的连通域为止；步骤三采用基于相对测量的图像坐标系与世界坐标系的转换模型，得到移动目标在世界坐标系中的位姿数据；如图7所示，世界坐标系相对于图像坐标系绕Z轴旋转θ度、平移[a，b，0]T；假设在图像坐标系中世界坐标系的原点坐标为Ow(xow，yow)，Y轴上一点坐标为Py(xpy，ypy)，注意图像坐标系的Y轴向下为正方向，当选择世界坐标系的Y轴方向在图像坐标系中Y轴方向上投影为正，则<mrow><mfencedopen='{'close=''><mtable><mtr><mtd><mi>θ</mi><mo>=</mo><mo>-</mo><msup><mi>tan</mi><mrow><mo>-</mo><mn>1</mn></mrow></msup><mo>|</mo><mfrac><mrow><msub><mi>x</mi><mi>ow</mi></msub><mo>-</mo><msub><mi>x</mi><mi>py</mi></msub></mrow><mrow><msub><mi>y</mi><mi>pw</mi></msub><mo>-</mo><msub><mi>y</mi><mi>py</mi></msub></mrow></mfrac><mo>|</mo></mtd><mtd><mrow><mo>(</mo><msub><mi>x</mi><mi>ow</mi></msub><mo>></mo><msub><mi>x</mi><mi>py</mi></msub><mo>,</mo><msub><mi>y</mi><mi>ow</mi></msub><mo><</mo><msub><mi>y</mi><mi>py</mi></msub><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mi>θ</mi><mo>=</mo><msup><mi>tan</mi><mrow><mo>-</mo><mn>1</mn></mrow></msup><mo>|</mo><mfrac><mrow><msub><mi>x</mi><mi>py</mi></msub><mo>-</mo><msub><mi>x</mi><mi>pw</mi></msub></mrow><mrow><msub><mi>y</mi><mi>py</mi></msub><mo>-</mo><msub><mi>y</mi><mi>ow</mi></msub></mrow></mfrac><mo>|</mo></mtd><mtd><mrow><mo>(</mo><msub><mi>x</mi><mi>ow</mi></msub><mo><</mo><msub><mi>x</mi><mi>py</mi></msub><mo>,</mo><msub><mi>y</mi><mi>ow</mi></msub><mo><</mo><msub><mi>y</mi><mi>py</mi></msub><mo>)</mo></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>圆形色块在世界坐标系中的直径为Dw，在图像坐标系中的直径为D，则图像平面投影到世界坐标平面的放大率因子为λλ＝Dw/D(6)设图像坐标系为O1-uvZ，所自定义的世界坐标系为OW-XWYWZW，过渡坐标系Oj-XjYjZj，在一定物距时，点P在图像坐标系内坐标为在世界坐标系内坐标为则有<mrow><msub><mi>P</mi><msub><mi>O</mi><mi>W</mi></msub></msub><msubsup><mo>=</mo><msub><mi>O</mi><mi>t</mi></msub><msub><mi>O</mi><mi>j</mi></msub></msubsup><mi>R</mi><mrow><mo>(</mo><mo>-</mo><mi>θ</mi><mo>)</mo></mrow><mo>·</mo><mrow><mo>(</mo><msub><mi>P</mi><msub><mi>O</mi><mn>1</mn></msub></msub><msubsup><mo>-</mo><msub><mi>O</mi><mn>1</mn></msub><msub><mi>O</mi><mi>j</mi></msub></msubsup><mi>P</mi><mo>)</mo></mrow><mo>·</mo><mi>λ</mi><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>其中<mrow><msubsup><mn></mn><msub><mi>O</mi><mn>1</mn></msub><msub><mi>O</mi><mi>j</mi></msub></msubsup><mi>R</mi><mrow><mo>(</mo><mo>-</mo><mi>θ</mi><mo>)</mo></mrow><mo>=</mo><mfencedopen='('close=')'><mtable><mtr><mtd><mi>cos</mi><mi>θ</mi></mtd><mtd><mi>sin</mi><mi>θ</mi></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mo>-</mo><mi>sin</mi><mi>θ</mi></mtd><mtd><mi>cos</mi><mi>θ</mi></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow><mrow><msubsup><mi></mi><msub><mi>O</mi><mn>1</mn></msub><msub><mi>O</mi><mi>j</mi></msub></msubsup><mi>P</mi><mo>=</mo><msup><mrow><mo>[</mo><mi>a</mi><mo>,</mo><mi>b</mi><mo>,</mo><mn>0</mn><mo>]</mo></mrow><mi>T</mi></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>9</mn><mo>)</mo></mrow></mrow>移动目标在世界坐标系中的角度θwθw＝θ-θ′(10)至此，移动目标的位姿得以确定。F2010100010024C00024.tif,F2010100010024C00031.tif2.根据权利要求l所述的色标板设计，其特征在于在几何形状方面，色标块设计成外切圆形，一是外切圆形为点交界，可避免色块的色混，二是采用圆的对称结构来平衡光照等因素对色标块识别的影响，三是使移动目标的坐标可由色标块坐标简单表达；在尺寸方面，色标板的投影面积应该比移动目标投影面积小，这是为避免两个移动目标紧挨在一起的时候出现粘连现象；在色标块的颜色选择方面，参考色轮中补色的搭配，如图2所示，选用红(ftFF0000，十六进制颜色值，下同)绿(#008000)、蓝(糾000FF)黄(ftFFFF00)、红紫(SFF00FF)、酸橙(#00FF00)共三组色标板。全文摘要本发明公开了大视场中多移动目标位姿的视觉检测方法，包括色标板设计、双相机视场拼接、移动目标搜索定位以及图像坐标系与世界坐标系的转换等步骤。其中色标板用于识别移动目标并确定目标位姿数据，设计为包含有不同颜色但半径相等的外切圆型色标块；视场拼接方法采用两部摄像机同时拍摄，将两幅互相有重叠的场景图像进行实时拼接以获得大视场；移动目标搜索定位采用基于全局网格搜索与航迹搜索相结合的策略进行搜索，并采用种子点区域生长的方法定位移动目标；最后采用基于相对测量的图像坐标系与世界坐标系的转换模型得出移动目标在世界坐标系中的位置与姿态。本发明方法简单，计算量小，定位精度较高且应用成本低。文档编号G01B11/00GK101750017SQ20101000100公开日2010年6月23日申请日期2010年1月18日优先权日2010年1月18日发明者战强,王祥,闫彩霞,黄守仁申请人:战强