专利名称：基于独立多自由度视觉模块的主动复合双目快速目标搜索与捕获系统的制作方法
技术领域：
本发明涉及一种仿变色龙捕食行为的独立多自由度双目视觉机构及其目标搜索 与定位技术，更特别地说，是指一种由两个独立多自由度视觉模块与DSP控制器组成的复 合双目视觉搜索与定位机构，通过控制策略，实现了对运动或静止目标进行快速搜索与捕获。
背景技术：
视觉是人类感知环境、认识世界的主要途径，基于机器视觉的目标搜索及捕获在 交通、安防、军事、空间探测等诸多领域有着广泛的应用前景。一般基于机器视觉的目标搜 索及捕获系统主要采用如下两种方式
(1)单目或光轴平行的固定双目搜索及捕获，单目方法利用单摄像头进行不同方 位的全空间扫描，只能获得目标方位，难以获取目标距离；光轴平行双目搜索方法利用在 同一平面安装且光轴始终平行的两个摄像头，通过双目同时扫描进行空间目标的定位及搜 索，其优于单目之处在于可以在一定范围内确定目标的距离。但是，其测量灵活性受到结构 限制，搜索及捕获时间都受到机构限制与单目搜索一样耗时。
(2)多目(3个以上摄像头)搜索及捕获，主要采用以多个摄像头固定凝视不同的 空间方位，形成阵列式目标搜索及捕获方法，该方法不需要进行空间扫描，但是，目标距离 测量范围缺乏灵活性，而且，成本高成为这类机构的重要局限。
因此，针对以上两种方式的局限性，本发明提出一种结构简单、搜索效率高、控制 灵活、移植性好的目标搜索及捕获系统，可以实现目标的快速搜索及捕获。发明内容
本发明通过两个独立多自由度视觉模块(以下简称左视觉模块、右视觉模块)检 测环境信息，然后分析左、右视觉模块所检测信息中目标方位信息，并综合左、右视觉模块 的目标方位分析结果，通过主动双目复合策略得到左、右视觉模块各自的优化运动轨迹，最 后通过该运动轨迹实现左、右视觉模块对目标进行快速捕获，从而获得目标的方位、距离测 量以及表观3D重构。
本发明的目的是提供一种基于独立多自由度视觉的主动复合双目快速目标搜索 与捕获系统，该系统是基于仿变色龙捕食行为的双目视觉机构，以两个独立多自由度视觉 模块构成图像获取部分，通过DSP处理器实现图像采集、信号处理、左视觉模块、右视觉模 块的独立多自由度控制，并通过模仿变色龙捕食行为过程中的目标搜索及捕获模式，建立 两个视觉模块的协调优化运动策略集，实现快速目标搜索及捕获算法，并及时准确地确定 目标的空间位置。
本发明的一种基于多自由度视觉的主动复合双目快速目标搜索与捕获系统，包括 有仿生双目机构，该系统在目标搜索及捕获过程中模仿自然界中变色龙捕食时双目分别独立搜寻目标以减小躯体动作并提高搜索效率的行为，实现快速高效准确的目标搜索定位； 其通过下列步骤实现目标的搜索及捕获
第一步初始姿态向量
系统初始化，调节左视觉模块⑴至初始姿态ELtl = [ α。β。θ，d，f] = [+90， 0,0,100,50]；
调节右视觉模块O)至初始姿态 = [αΕ, βΕ, θ，d，f] = [+90,0,0,100,50]；
第二步目标独立搜索
在相同时间条件下对左视觉模块(1)、右视觉模块( 分别采集到的图像信息进 行特征比对，若左视觉模块(1)、右视觉模块O)皆未发现目标时，执行目标搜索策略，直到 其中一个视觉模块发现目标时止；
若其中一个视觉模块发现目标则执行第三步，否则重复执行第二步；
第三步目标捕获
依据目标捕获策略首先调节左视觉模块⑴和右视觉模块(2)的姿态，使左视觉 模块(1)和右视觉模块O)同时发现左发现目标AIM-Yt ；
在左视觉模块(1)和右视觉模块O)同时发现左发现目标AIM-Yt后，依据方位调 整策略调整转盘(5)使左发现目标AIM-Yt处于中垂线上；
当左发现目标AIM-Yt处于中垂线后，左视觉模块(1)采集的图像记为PTLt，右视 觉模块(2)采集的图像记为PT& ；
对PTLt和PT&图像信息进行特征比对，确认是否为左发现目标AIM-Yt ；若目标不 符则返回第二步；若是左发现目标AIM-Yt则执行第四步；
第四步获取目标方位
采用目标定位策略对左发现目标AIM-Yt进行目标定位处理，获得目标的方位。
本发明基于仿变色龙捕食行为的独立多自由度复合双目机构(以下简称机构) 的目标搜索及捕获设备的优点在于
1)在机构上对两个视觉模块可各自实现独立控制，保证了图像信息(可控视角像 素)采集控制的高效性。
2)整个机构具有6自由度，既包含每个视觉模块的独立运动又包括基于底盘的整 体运动，灵活实现全方位扫描、
3)根据目标距离调整视觉模块焦距，保证目标成像的清晰度。
4)自动调整两视觉模块光轴间距，配合专用测距算法保证目标距离测量的精度。
5)仿变色龙行为模式的目标搜索算法及策略集，实现对目标的快速发现。
6)配合底盘控制的双目协同定位算法，精确锁定目标。
7)本发明设备可用作特定目标的搜索及捕获，也可用作对场所中指定目标的搜 索、定位、跟踪、3D重构，其体积小，易于移植。
图1是本发明仿生双目机构的结构示意图。
图IA是本发明仿生双目机构的俯视结构示意图。
图2是本发明目标搜索与捕获的流程图。
图3是本发明目标搜索的流程图。
图4是本发明目标捕获的流程图。
具体实施方式
下面将结合附图对本发明作进一步的详细说明。
本发明是一种基于仿生双目机构的主动复合双目快速目标搜索与捕获系统，该系 统包含有机械部分和控制部分，是基于图像信息的全空间任意位置空间目标方位、距离、方 位快速计算的视觉模型，实现快速目标搜索、捕获、重构的多功能一体化实时探测、定位、外 观描述。机构的结构仿生变色龙眼部结构，目标搜索策略亦仿生变色龙的捕食行为方式，实 现快速准确的目标捕获。
机械部分的简示图如图1所示，转盘5安装在底座6上，横轨7安装在转盘5上， 左转台3和右转台4安装在横轨7的两端，左转台3上安装有左视觉模块1，右转台4上安 装有右视觉模块2。机械部分的结构模拟变色龙眼部结构，是一种仿生双目机构。
本发明的机械部分具有六个自由度，这六个自由度的运动可以通过DSP处理器、 电机、驱动机构(可以是齿轮、连杆)实现。其中
第一自由度为左视觉模块1绕左转台转轴运动，转动的角度记为c^，该C^也是 左视觉模块1的水平转动角度，简称为左水平转角。左水平转角c^沿逆时针方向转动 的角度记为“ + ”角度，而沿顺时针方向转动的角度记为“_”角度。
第二自由度为右视觉模块2绕右转台转轴运动，转动的角度记为α R，该α R也是 右视觉模块2的水平转动角度，α κ简称为右水平转角。右水平转角ακ沿顺时针方向转动 的角度记为“ + ”角度，而沿逆时针方向转动的角度记为“_”角度。
第三自由度为左视觉模块1绕俯仰转轴运动，转动的角度记为βρ该也是左 视觉模块1的俯仰转动角度，简称为左俯仰转角。左俯仰转角向上转动的角度记为 “+”角度，而向下转动的角度记为“-”角度。
第四自由度为右视觉模块2绕俯仰转轴运动，转动的角度记为βκ，该βκ也是右 视觉模块2的俯仰转动角度，β κ简称为右俯仰转角。右俯仰转角βκ向上转动的角度记为 “ + ”角度，而向下转动的角度记为“_”角度。
第五自由度为转盘5绕转盘转轴运动，转动的角度记为θ，θ简称为水平转角。 水平转角θ沿逆时针方向转动的角度记为“ + ”角度，而沿顺时针方向转动的角度记为“_” 角度。
第六自由度为左视觉模块1与右视觉模块2沿横轨7相对平移运动，使得左视觉 模块1与右视觉模块2之间的间距d实现收拢或离散变化，间距d单位为毫米。
基于上述的六个自由度，左视觉模块1在运动过程中的姿态向量记为ELt =[ α L, ^l, θ，d，f]，右视觉模块2在运动过程中的姿态向量记为= [ α κ，β κ，θ，d，f]，T表 示当前时刻，f表示左视觉模块1和右视觉模块2中摄像头采集图像时的焦距，f单位为毫 米。
参见图2所示，为了实现主动复合双目快速目标搜索与捕获，本发明的控制部分 采用汇编和C语言混合编程的方法，基于CCS集成开发环境进行图像的处理、分析、解释、判 断来获取环境数据，搜索和捕获目标，并确定目标的空间位置。控制部分选用的载体可以是DSP处理器(TMS320DM642芯片)。在目标搜索及捕获过程中模仿自然界中变色龙捕食时双 目分别独立搜寻目标以减小躯体动作并提高搜索效率的行为，实现快速高效准确的目标搜 索定位。本发明通过下列步骤实现目标的搜索及捕获
第一步初始姿态向量
系统初始化，调节左视觉模块1至初始姿态ELtl = [ α L，β L，θ，d，f] = [+90，0， 0，100，50]；
右视觉模块2 至初始姿态 ER0 = [ α Ε, β Ε, θ，d，f] = [+90，0，0，100，50]；
在本发明中，离散间距d设定为100毫米是为了适合小体积机械结构应用，同时也 是为了模拟变色龙头部上的双目的布局。焦距f设定为50毫米适合人类正常视野范围。
第二步目标独立搜索
在相同时间条件下对左视觉模块1、右视觉模块2分别采集到的图像信息进行特 征比对(识别目标的方法可参照 Paul Viola, Michael Jones. Robust Real-time Object Detection. In :Second International Workshop On Statistical And Computational Theories Of Vision-Modeling, Learning, Computing, And Sampling. 2001),若左视觉模 块1、右视觉模块2皆未发现目标时，执行目标搜索策略，直到其中一个视觉模块发现目标 时止；若其中一个视觉模块发现目标则执行第三步，否则重复执行第二步；
在本发明中，为了方便说明，在T时刻设定左视觉模块1发现目标，将该目标记为 AIM-Yt(简称为左发现目标)。
第三步目标捕获
依据目标捕获策略首先调节左视觉模块1和右视觉模块2的姿态，使左视觉模块 1和右视觉模块2同时发现左发现目标AIM-Yt ；
在左视觉模块1和右视觉模块2同时发现左发现目标AIM-Yt后，调整转盘5使左 发现目标AIM-Yt处于中垂线上。
参见图IA所示，在本发明中，中垂线是指垂直且过LR连线中心的线，所述LR连线 是指左视觉模块1的中心点L与右视觉模块2的中心点R的连线。
当左发现目标AIM-Yt处于中垂线后，左视觉模块1采集的图像记为PTLT，右视觉 模块2采集的图像记为PT&;
对PTLt和PT&图像信息进行特征比对，确认是否为左发现目标AIM-Yt ；若目标不 符则返回第二步；若是左发现目标AIM-Yt则执行第四步；
第四步获取目标方位
采用目标定位策略对左发现目标AIM-Yt进行目标定位处理，获得目标的方位。
(一)目标搜索策略
上述第二步和第三步处理方式构成了主动双目复合策略。
本发明中目标搜索策略仿生变色龙的捕食行为模式，双目分别独立搜索，相互之 间没有限制，减少了目标搜索所用时间，搜索范围只受转盘5遮挡，覆盖绝大部分有效空 间。搜索过程如图3所示，其步骤具体为
步骤2-1 调节旋转姿态
左视觉模块1 由 EL0 = [ α L，β L，θ，d，f] = [+90，0，0，100，50]姿态沿顺时针方 向转动 45 度角，到达姿态为 EL45 = [aL, θ，d，f] = [+45，0，0，100，50]；
右视觉模块2 由 ER。= [αΕ, βΕ, θ，d，f] = [+90，0，0，100，50]姿态沿逆时针方 向转动 45 度角，到达姿态为 ER45 = [αΕ, βΕ, θ，d，f] = [+45,0，0,100，50]；
步骤2-2 调节水平姿态
左视觉模块1沿左转台转轴作逆时针方向旋转；
右视觉模块2沿右转台转轴作顺时针方向旋转；
步骤2-3 判断目标是否存在
旋转过程中，左视觉模块1或右视觉模块2是否发现目标；若任一视觉模块发现目 标则执行第三步；若皆未发现目标，执行步骤2-4。
步骤2-4 边界判断
判断左视觉模块1和右视觉模块2是否已旋转至边界位置，其边界位置为
左视觉模块1 正向旋转到达姿态 ELt = [aL, ^l, θ，d，f] = [+315，3L，0，100， 50]和右视觉模块2正向旋转到达姿态= [αΕ, βΕ, θ ,d,f] = [+315, β E, 0,100, 50]； 或者
左视觉模块1 反向旋转到达姿态 ELt= [aL, ^l, θ ,d,f] = [+45, β L, 0,100, 50] 和右视觉模块2反向旋转到达姿态= [αΕ, βΕ, θ , d, f] = [+45，β Ε, 0,100, 50]；
若左视觉模块1和右视觉模块2均未到达边界位置，则返回步骤2-3 ；
若左视觉模块1和右视觉模块2同时到达边界位置，则执行步骤2-5 ；
步骤2-5 边界姿态调节
左视觉模块1沿左转台转轴的旋转方向反转(若之前为逆时针则变为顺时针， 若之前为顺针则变为逆时针)，同时调节左视觉模块1的俯仰角β L,每进入该步骤循环选 取-20度、+20度、+40度、+60度、+80度、0度中的一个角度设定为俯仰角β L ；
右视觉模块2沿右转台转轴的旋转方向反转(若之前为顺时针则变为逆时针，若 之前为逆时针则变为顺时针)，同时调节右视觉模块2的俯仰角β κ，每进入该步骤循环选 取-20度、+20度、+40度、+60度、+80度、0度中的一个角度设定为俯仰角β Ε ；
在设定好β L和β κ后，返回步骤2-3。
在本发明中，目标搜索完成后，分别获得了左视觉模块1和右视觉模块2的姿态向 量，并能够确定出是左视觉模块1还是右视觉模块2发现了目标。
(二)目标捕获策略
搜索到目标后，需令左视觉模块1、右视觉模块2同时锁定目标，以实现定位，称双 目同时调整姿态、锁定并确认目标的过程为目标捕获。目标捕获是为了对准目标以便精确 定位，亦模拟变色龙发现猎物后转头的动作，从而克服双目各自寻转导致的光轴不平行带 来的定位误差。目标捕获流程如图4所示，其具体过程如下
步骤3-1 在T时刻左视觉模块1发现目标，将该目标记为AIM-Yt (简称为左发现 目标)，此刻左视觉模块1、右视觉模块2停止转动，并获得左视觉模块1当前的姿态ELt = [aL-当前，β L-浦，0，100，50]，并执行步骤3-2 ；
步骤3-2 采用协同转角方法对c^L进行处理，得到水平转角θ、左水 平转角C^、右水平转角a R、左俯仰转角βρ右俯仰转角βκ;
所述协同转角方法为
Dl.判断本次转角计算是否为本轮捕获的首次转角计算，若是，进入步骤D2，否则进入步骤D3 ；
D2.使左视觉模块1与右视觉模块2的俯仰转角相等，即β L = β κ = β uti，并 判断当前水平转角的角度范围；
若、-浦彡90°，令q= CIr = 90°，本次转角计算结束，执行步骤3-3 ；
若90° < α 当前≤180°，令aL= ακ = 90°且θ = aL_当前-90°，本次转角计 算结束，执行步骤3-3;
若a L_ 当前 > 180°，则令 aL= aR = 270° 且 θ = aL__-270°，本次转角计算 结束，执行步骤3-3;
在本发明中，若右视觉模块2发现目标，则对水平转角θ取反(若之前为“ + ”则 变为“_”，反之，若之前为“_”，则变为“ + ”)，最终θ角度为负代表转盘5应按顺时针旋转， 为正按逆时针旋转。
D3.确定左发现目标AIM-Yt在所成图像中的位置AIM(p，q)，ρ为左发现目标 AIM-Yt在图像中所处的列，q为左发现目标AIM-Yt在图像中所处的行，执行
步骤D4 ；
D4.调整左俯仰转角 ^、右俯仰转角β κ和水平转角θ满足
权利要求
1.一种基于多自由度视觉的主动复合双目快速目标搜索与捕获系统，包括有仿生双目 机构，其特征在于在目标搜索及捕获过程中模仿自然界中变色龙捕食时双目分别独立搜 寻目标以减小躯体动作并提高搜索效率的行为，实现快速高效准确的目标搜索定位；其通 过下列步骤实现目标的搜索及捕获第一步初始姿态向量系统初始化，调节左视觉模块(1)至初始姿态ELtl = [aL, β,, θ，d，f] = [+90,0,0, 100，50]；调节右视觉模块(2)至初始姿态 ER。= [αΕ, βΕ, θ，d，f] = [+90,0,0,100,50]；第二步目标独立搜索在相同时间条件下对左视觉模块(1)、右视觉模块( 分别采集到的图像信息进行特 征比对，若左视觉模块(1)、右视觉模块O)皆未发现目标时，执行目标搜索策略，直到其中 一个视觉模块发现目标时止；若其中一个视觉模块发现目标则执行第三步，否则重复执行第二步； 第三步目标捕获依据目标捕获策略首先调节左视觉模块(1)和右视觉模块O)的姿态，使左视觉模块 (1)和右视觉模块O)同时发现左发现目标AIM-Yt;在左视觉模块(1)和右视觉模块O)同时发现左发现目标AIM-Yt后，依据方位调整策 略调整转盘(5)使左发现目标AIM-Yt处于中垂线上；当左发现目标AIM-Yt处于中垂线后，左视觉模块⑴采集的图像记为PTLt，右视觉模 块O)采集的图像记为PT& ；对PTLt和PT&图像信息进行特征比对，确认是否为左发现目标AIM-Yt ；若目标不符则 返回第二步；若是左发现目标AIM-Yt则执行第四步； 第四步获取目标方位采用目标定位策略对左发现目标AIM-Yt进行目标定位处理，获得目标的方位。
2.根据权利要求1所述的一种基于多自由度视觉的主动复合双目快速目标搜索与捕 获系统，其特征在于所述仿生双目机构具有六个自由度，这六个自由度的运动为第一自由度为左视觉模块(1)绕左转台转轴运动，转动的角度记为c^，该C^也是左 视觉模块(1)的水平转动角度，简称为左水平转角。左水平转角C^沿逆时针方向转动 的角度记为“ + ”角度，而沿顺时针方向转动的角度记为“_”角度。第二自由度为右视觉模块( 绕右转台转轴运动，转动的角度记为，该ακ也是右 视觉模块O)的水平转动角度，a κ简称为右水平转角。右水平转角CIk沿顺时针方向转动 的角度记为“ + ”角度，而沿逆时针方向转动的角度记为“_”角度。第三自由度为左视觉模块(1)绕俯仰转轴运动，转动的角度记为 ^，该也是左视 觉模块(1)的俯仰转动角度，简称为左俯仰转角。左俯仰转角向上转动的角度记为 “ + ”角度，而向下转动的角度记为“_”角度。第四自由度为右视觉模块( 绕俯仰转轴运动，转动的角度记为，该是右视 觉模块O)的俯仰转动角度，β κ简称为右俯仰转角。右俯仰转角向上转动的角度记为 “ + ”角度，而向下转动的角度记为“_”角度。第五自由度为转盘( 绕转盘转轴运动，转动的角度记为θ，θ简称为水平转角。水平转角θ沿逆时针方向转动的角度记为“ + ”角度，而沿顺时针方向转动的角度记为“_”角度。第六自由度为左视觉模块(1)与右视觉模块( 沿横轨(7)相对平移运动，使得左视 觉模块⑴与右视觉模块⑵之间的间距d实现收拢或离散变化，间距d单位为毫米。基于上述的六个自由度，左视觉模块(1)在运动过程中的姿态向量记为ELt= [aL, β l，θ，d，f]，右视觉模块(2)在运动过程中的姿态向量记为= [ α κ，β κ，θ，d，f]，T 表示当前时刻，f表示左视觉模块(1)和右视觉模块O)中摄像头采集图像时的焦距，f单 位为毫米。
3.根据权利要求1所述的一种基于多自由度视觉的主动复合双目快速目标搜索与捕 获系统，其特征在于所述的目标搜索策略有下列步骤步骤2-1 调节旋转姿态左视觉模块(1) EL0 = [ a L, β L, θ , d, f] = [+90,0,0,100,50]姿态沿顺时针方向 转动 45 度角，到达姿态为 EL45 = [aL, θ，d，f] = [+45，0，0，100，50]；右视觉模块O)由ER。= [ακ，βκ，θ，d，f] = [+90,0,0,100,50]姿态沿逆时针方向 转动 45 度角，到达姿态为 ER45 = [αΕ, βΕ, θ，d，f] = [+45,0，0,100，50]； 步骤2-2 调节水平姿态左视觉模块(1)沿左转台转轴作逆时针方向旋转； 右视觉模块( 沿右转台转轴作顺时针方向旋转； 步骤2-3:判断目标是否存在旋转过程中，左视觉模块(1)或右视觉模块( 是否发现目标；若任一视觉模块发现目 标则执行第三步；若皆未发现目标，执行步骤2-4。 步骤2-4 边界判断判断左视觉模块(1)和右视觉模块( 是否已旋转至边界位置，其边界位置为 左视觉模块(1)正向旋转到达姿态ELt= [aL, ^l, θ , d, f] = [+315，0,100,50] 和右视觉模块(2)正向旋转到达姿态ERt = [αΕ, βΕ, θ，d，f] = [+315，β E, 0,100, 50]； 或者左视觉模块(1)反向旋转到达姿态ELt= [aL, θ , d, f] = [+45，0,100,50] 和右视觉模块(2)反向旋转到达姿态ERt = [αΕ, βΕ, θ，d，f] = [+45，β E, 0,100, 50]； 若左视觉模块(1)和右视觉模块( 均未到达边界位置，则返回步骤2-3 ； 若左视觉模块(1)和右视觉模块O)同时到达边界位置，则执行步骤2-5 ； 步骤2-5 边界姿态调节左视觉模块(1)沿左转台转轴的旋转方向反转，同时调节左视觉模块(1)的俯仰角 β μ每进入该步骤循环选取-20度、+20度、+40度、+60度、+80度、0度中的一个角度设定 为俯仰角β L ；右视觉模块( 沿右转台转轴的旋转方向反转，同时调节右视觉模块O)的俯仰角 β R，每进入该步骤循环选取-20度、+20度、+40度、+60度、+80度、0度中的一个角度设定 为俯仰角β R ；在设定好^和β κ后，返回步骤2-3。
4.根据权利要求1所述的一种基于多自由度视觉的主动复合双目快速目标搜索与捕获系统，其特征在于所述的目标捕获策略有下列步骤步骤3-1 在T时刻左视觉模块(1)发现左发现目标AIM-Yt，此刻左视觉模块(1)、右 视觉模块⑵停止转动，并获得左视觉模块⑴当前的姿态
5.根据权利要求1所述的一种基于多自由度视觉的主动复合双目快速目标搜索与捕 获系统，其特征在于所述的目标定位策略有下列步骤
全文摘要
本发明公开了一种基于多自由度视觉的主动复合双目快速目标搜索与捕获系统，该目标搜索及捕获由两个独立多自由度视觉模块组成，分别称为左视觉模块和右视觉模块；系统工作时，首先分别控制左视觉模块与右视觉模块同时向不同方向搜索目标，当某个视觉模块发现目标后，DSP处理器则解析获得图像信息中目标的方位及相应视觉模块运动方位，进而控制另一视觉模块也迅速到达合理位置进行目标协同定位，锁定目标后进行调焦和进一步位置调整以精确聚焦目标，最后计算出目标方位。本发明以两个独立多自由度视觉模块构成图像获取部分，可以通过DSP处理器实现图像采集、信号处理、左视觉模块、右视觉模块的独立多自由度控制，并通过模仿变色龙捕食行为过程中的目标搜索及捕获模式，实现快速目标搜索及捕获算法，并及时准确地确定目标的空间位置。
文档编号G06T7/00GK102034092SQ20101057191
公开日2011年4月27日 申请日期2010年12月3日 优先权日2010年12月3日
发明者刘振强, 王赟, 郑红, 隋强强 申请人:北京航空航天大学