仿生型自动视觉和视线控制系统及方法

专利名称：仿生型自动视觉和视线控制系统及方法
技术领域：
本发明所涉及一种仿生型自动视觉和视线控制系统及方法，是和人的双眼的功能相似的，可以进行目标定位、视线跟踪、和补偿因自身运动所引起的视线偏离，特别是本系统可以确保同时定位和跟踪同一目标，易于精确测量目标的位置和距离。
背景技术：
现有技术的自动监视系统的目标定位方法，一般是采用视觉反馈控制一种方法，使目标定位的速度受到一定限制，特别是自身运动时的快速定位和高精确度的跟踪难以解决。又因为定位和跟踪用的是同一台摄像机，所以视线的跟踪控制不可能有高的精度。补偿摄像机自身运动的方法只是通过图像处理进行微小移动的调节，类似于应用摄像机的防手颤动的处理，因此可补偿的范围较小。特别是当使用两台以上摄像机时，各摄像机之间是相对固定的，或是各自单独控制的，无法确保每台摄像机定位或跟踪同一目标。

发明内容
本发明所要解决的技术问题是提供一种仿生型的自动视觉和视线控制系统及方法，其利用了人的双眼的神经系统的控制原理，能快速进行目标定位、高精度地进行视线跟踪，大范围地补偿因自身运动所引起的视线偏离，能确保两个摄像机给定位和跟踪同一个目标。
本发明通过下述技术方案予以实现本系统的基本结构为由中央控制器控制的双眼结构，每只眼为一个摄像机组，所述摄像机组由两台摄像机头并排设置而成。一台是装有广角镜头的摄像机头(以下简称“广角机”)，相当于人眼睛，另一台是装有可自动变焦的望远镜头的摄像机头(以下简称“望远机”)，相当于人眼视网膜的中心窝。每只眼睛由两台电动机带动，可上下左右旋转。当广角机的视野里出现“感兴趣”的物体时两眼便迅速转动(对应人眼的“急动性眼球运动”)，把视线对准该物体，使该物体成为广角机视野的中心。所述的“感兴趣”的物体可根据客户要求而定，如视野中运动速度最快的物体、特定颜色的物体、特定形状的物体、通过键盘或荧屏等外部接口指定的物体等等。把广角机和望远机并排贴近设置，当物体成为广角机视野中心时，该物体也就自然地进入了望远机视野，从而，通过望远机便得到了清晰图像。然后在望远机视野中找到特征点并使视线(视野中心)对准该点(称“注视”)。当该特征点运动时，视线便自动跟踪该点(对应人眼的“平滑性眼球运动”)。当广角镜中出现了其他“感兴趣”的物体时，再按上述步骤注视新的物体。另外，当需要把该系统装到运动体上时，可装上一对3自由度的转角加速度传感器和一对3自由度的平移加速度传感器，测出头部(相对固定于两眼旋转中心的基盘)的运动信号，该信号直接被用于眼球的前馈运动控制，使得该视觉系统具备了补偿由自身运动引起的视线偏离的能力(对应于人眼的“前庭动眼反射”)。
1.广角机采用“急动性反射控制曲线”来进行前馈控制，因而可达到伺服电机所可能达到的最快速度的定位；先快速定位然后跟踪，快速定位的信号来自于广角机，跟踪的信号来自于望远机。2.再通过加速度信号的前馈控制，调节摄像机位置，来补偿“头部”的运动。3.我们也利用视觉反馈控制。使我们的系统补偿自身运动引起视偏移的范围大，定位速度快、精度高。确保两眼(两个摄像机组)紧紧地盯住同一目标。
采用以上技术方案，本自动视觉和视线控制系统用于监视系统时，能自动对在场者依次进行高清晰度的拍摄，实时记录每个在场者的行踪，自动发出各种级别的警报，并且能补偿自身振动。该系统可用于各种固定场所的室内外监视、或进行近距离的低空监视，作为雷达的补充。该系统还可用于各种运动装置及设备上，如汽车、火车、飞机、轮船及军事装备。使得对被视线跟踪的人或物进行快速和高精度的打击变得很容易实现，这个控制原理，还适用于制作各种机器人的眼睛。


图1是两眼视线运动控制系统的构成；图2是两眼视线运动系统的坐标系；
图3是两眼左右运动控制系统方框图；图4是两眼上下运动控制系统方框图。
具体实施例方式两眼视线运动控制系统如图1所示，每只眼睛由两台摄像机组成，一台装有广角镜头，另一台装有望远镜头，两摄像机头平行放置，越近越好。该视觉装置的运动系统共有5个自由度，每只眼睛有2个自由度(必要时可增加一台电动机，达到3个自由度，即绕视轴旋转的自由度)，头颈部1个自由度(根据需要，可增至3个)。
基盘19相对固定于两个摄像机组10的旋转中心。电动机控制回路为由中央处理器18发出数字信号输入到D/A变换器15，在D/A变换器15进行数模转换后，将模拟信号输入到电动机驱动器13，由电动机驱动器13驱动电动机20、1、2、3、4，而相应的设置于电动机上的转角传感器分别将电动机20、1、2、3、4的转角信号输入计数器，再由计数器回传给中央处理器18。
各摄像机10的图像经图像及声音处理卡17送入中央处理器18，通过图像处理，算出对象物体相对于各个摄像机组10的速度和误差。
转角及平移加速度器11测出头部转动及平移运动产生的信号，通过A/D变换卡输入到中央处理器18。
头部两侧麦克风12的声音经图像及声音处理卡17送入中央处理器18。系统的坐标如图2所示，其中xA-l-yA-l-zA-l和xA-r-yA-r-zA-r为固定于左右加速度传感器的坐标；xE-l-yE-l-zE-l和xE-r-yE-r-zE-r为固定于左右眼球的坐标；xO-l-yO-l-zO-l和xO-r-yO-r-zO-r为固定于左右眼窝的坐标，即原点与固定于左右眼球的坐标相同，但相对与头部固定。θ1，θ2表示电动机1，2，的转角，即坐标xE-1-yE-l-zE-l和xE-r-yE-r-zE-r分别围绕zO-l和zO-r的旋转角。θ3，θ4表示电动机3，4的转角，即坐标xE-l-yE-l-zE-l和xE-r-yE-r-zE-r分别围绕yO-l和yO-r的旋转角。1，2表示目标围绕左右眼窝固定坐标的zO-l和zO-r轴的转角；3，4表示目标围绕左右眼窝固定坐标的yO-l和yO-r轴的转角。图中的坐标均为左右对称，即电动机1、2和电动机3、4的旋转方向相反。
两眼的左右运动控制系统方框图如图3所示，t-l，t-r表示通过左右眼的望远机测出的目标与视线的横向误差，w-l，w-r表示通过左右眼的广角机测出的目标与视线的横向误差。t-l，t-r和w-l，w-r都对应于1-θ1，2-θ2只是所用摄像机不同(见图2)。 和 分别为左右加速度传感器测出的加速度和角加速度(见图2)。图3中除广角机测出的w-l，w-r的信号回路以外的控制系统的传递函数可表示如下θ1(s)+θ2(s)=Tvm(ρ-ρr)1+Tvm(ρ-ρr)(σ-σr)+Tvm(1+(ρ-ρr)(η-ηr))s]]>×[-(κx-κxr)TvTvs+1(x··A-l(s)+x··A-r(s))-(κy-κyr)TTvs+1(y··A-l(s)+y··A-r(s))]]> θ1(s)-θ2(s)=Tvm(ρ+ρr)1+Tvm(ρ+ρr)(σ+σr)+Tvm(1+(ρ+ρr)(η+ηr))s]]>×[-(κx+κxr)TvTvs+1(x··v-l(s)-x··v-r(s))-(κy+κyr)TTvs+1(y··v-l(s)-y··v-r(s))]]> 其中，Tvm，Tv，Ts为时间定数，ρ，ρr，σ，σr，η，ηr，κx，κxr，κy，κyr，κ，κr等全是正参数。 表示通过左右眼的望远机测出的目标相对与视线的速度。式(1)为转眼运动(vergence)的方程式，式(2)为共轭运动(conjugate)的方程式，通过式(1)+式(2)和式(1)-式(2)可得出每个电动机的转角。从式(1)，式(2)可以看出，共轭运动的应答速度(即，时定数Tvm[1+(ρ-ρr)(η-ηr)]/[1+Tvm(ρ-ρr)(σ-σr)])大于转眼运动的应答速度(时定数Tvm[1+(ρ+ρr)(η+ηr)]/[1+Tvm(ρ+ρr)(σ+σr)])。这项特性是确保两眼同时注视同一目标的关键。
广角机测出的信号w-l，w-r用来选择最佳“冲动性反射”控制曲线，再由此曲线控制电机快速旋转，达到冲动性眼球运动的效果。当进行“冲动性反射”控制时，望远机来的控制信号要切除。
“急动性反射”控制曲线的生成是根据线性傅立叶变换法得到。设，把视线从现在位置转向目标位置需要时间T，则控制曲线f(t)可近似由m条周期为T，T/2，T/3，…T/m的正弦和余弦曲线组和而成。即，
f(t)=a02+Σn=1m(ancos2nπTt+bnsin2nπTt)]]>其中，a0，an，bn利用反复学习式傅立叶反变换法把控制误差进行反变换求得。
即，an[i+1]=an[i]+ka4T∫0T(R(t)-iθ(t))cos2nπTtdt----(n=0,1,2,3,···m)]]>bn[i+1]=bn[i]+kb4T∫0T(R(t)-iθ(t))sin2nπTtdt----(n=0,1,2,3,···m)]]>其中i是学习次数，R(t)是由广角机测出的误差换算出的电动机的最佳轨迹，i(t)是第i次学习时的电动机的转角。电动机1，2用同样方法同时进行学习。这样，每条曲线只需要2m(一般，m＜10)个参数即可实现和保存。因每只“眼”有数十万条“冲动性反射”控制曲线，这种方法可节省大量存储器容量，便于快速调出。
两眼的上下运动控制系统方框图如图4所示，ψt-l，ψt-r表示通过左右眼的望远机测出的目标与视线的纵向误差，ψw-l，ψw-r表示通过左右眼的广角机测出的目标与视线的纵向误差。 和 分别为左右加速度传感器测出的加速度和角加速度(见图2)。图4和图3的控制原理完全相同。只是上下运动时的转眼运动在生理学领域里尚未发现，因此，设ρ＝ρr即控制时θ3将与θ4相同。
图3和图4中 和 和 和 和 分别为左右加速度传感器测出的加速度和角加速度信号(二种传感器统称为转角及平移加速度器11)。这对加速度传感器测出的头部运动信号，直接被用于眼球的前馈运动控制，相当于前庭动眼反射，使该视觉系统具备补偿自身振动的能力。该控制系统不直接使用平移加速度和旋转加速度信号，而是把这些信号漏积分处理(T/(Ts+1))后使用。
若该自动视觉和视线控制系统用于监视并装在某空间很大的室内，天花板或视野开阔处可增加一只固定式的天眼，即一台带超广角镜头的摄象机头(俗称“鱼眼”)，可把监视范围内的所有运动物体的运动过程全部记录下来，并把感兴趣的物体传给两眼视线控制系统。
该监视系统还可装入麦克风，对现场的声音进行处理和定位。
本自动视觉和视线控制系统，基本件是一对眼睛(即两组摄像机)，装在何处可具体设计，也可装二对或多对眼睛，每只眼可增加任意组摄像范围或望远能力不同的摄像机。在多对眼睛的情况下，中央处理器最优先处理的一对眼精称主眼。可实现每对眼精同时定位和跟踪同一目标，而各对眼同时监视各不同的目标(相当于每个人某一时刻只能盯住一个物体，而几个人便可同时盯住几个物体)。
权利要求
1.一种仿生型自动视觉和视线控制系统，包括中央处理器(18)、摄像机组(10)、电动机、传感器，其特征在于，所述摄像机组(10)有两个，每个摄像机组(10)至少包括两台并排设置的摄像机，所述摄像机一台为广角机，另一台为望远机，所述的广角机及望远机均分别由两台电动机带动，可作两个自由度方向的旋转。
2.根据权利要求1所述的仿生型自动视觉和视线控制系统，其特征在于，所述的每个摄像机组(10)可再增加一台可使广角机及望远机作第三自由度旋转的电动机，所述的第三自由度为绕两个摄像机组的中轴线转动的自由度。
3.根据权利要求1或2所述的仿生型自动视觉和视线控制系统，其特征在于，所述的两个摄像机组(10)的旋转中心固定一基盘(19)，所述基盘(19)的两侧装有可以测量基盘旋转运动及平移运动的转角及平移加速度传感器(11)。
4.根据权利要求1或2所述的仿生型自动视觉和视线控制系统，其特征在于，所述每台电动机都设有可用于测量电动机的转角的转角传感器。
5.根据权利要求1或2所述的仿生型自动视觉和视线控制系统，其特征在于，还设有与计算机相连的图像及声音处理卡(17)，及一与所述的图像及声音处理卡(17)相连的麦克风(12)。
6.根据权利要求1或2所述的仿生型自动视觉和视线控制系统，其特征在于，每个摄像机组还可增加若干台摄像范围或望远能力不同的摄像机。
7.根据权利要求1或2所述的仿生型自动视觉和视线控制系统，其特征在于，还包括至少一台与计算机相联的带超广角镜头的固定安装于天花板的中心或高处的摄像机头。
8.一种仿生型自动视觉和视线控制方法，其特征在于，包括如下步骤1)、当广角机的视野里出现“感兴趣”的物体时两个摄像机组便迅速转动，把视线对准该物体，使该物体成为广角机视野的中心。2)、由于广角机与望远机并排贴近设置，当物体成为广角机视野中心时该物体就自然进入望远机视野，从而，通过望远机便得到了清晰图像。3)、然后在望远机视野中找到特征点并使视野中心对准该点。4)、当该特征点运动时，视线便自动跟踪该点。5)、当广角机中出现其他“感兴趣”的物体时，再按上述步骤注视新的物体。
9.根据权利要求8所述的仿生型自动视觉和视线控制方法，其特征在于，所述的两个摄像机组的对应电动机的控制系统传递函数可表示为θ1(s)+θ2(s)=Tvm(ρ-ρr)1+Tvm(ρ-ρr)(σ-σr)+Tvm(1+(ρ-ρr)(η-ηr))s]]>×[-(κx-κxr)TvTvs+1(x··A-l(s)+x··A-r(s))-(κy-κyr)TTvs+1(y··A-l(s)+y··A-r(s))]]> θ1(s)-θ2(s)=Tvm(ρ+ρr)1+Tvm(ρ+ρr)(σ+σr)+Tvm(1+(ρ+ρr)(η+ηr))s]]>×[-(κx+κxr)TvTvs+1(x··v-l(s)-x··v-r(s))-(κy+κyr)TTvs+1(y··v-l(s)-y··v-r(s))]]> 其中t-l，t-r表示经左右眼中望远机测出的目标与视线的横向误差角度， 和 分别为左右加速度传感器测出的加速度和角加速度，Tvm，Tv，Ts为时定数，ρ，ρr，σ，σr，η，ηr，κx，κxr，κy，κyr，κ，κr等为正参数， 表示经左右眼中望远机测出的目标相对于视线的速度，第一式为转眼运动的方程式，第二式为共轭运动的方程式，通过第一式加第二式和第一式减第二式可得出每个电动机的转角。
10.根据权利要求8所述的仿生型自动视觉和视线控制方法，其特征在于，所述广角机的运动控制曲线f(t)是根据线性傅立叶变换法得到，可表示为f(t)=a02+Σn=1m(ancos2nπTt+bnsin2nπTt)]]>其中，a0，an，bn利用反复学习式傅立叶反变换法把控制误差进行反变换求得，即，an[i+1]=an[i]+ka4T∫0T(R(t)-iθ(t))cos2nπTtdt----(n=0,1,2,3,···m)]]>bn[i+1]=bn[i]+kb4T∫0T(R(t)-iθ(t))sin2nπTtdt----(n=0,1,2,3,···m)]]>其中T为把视线从现在位置转向目标位置所需要的时间，i是学习次数，R(t)是根据广角机测出的误差换算成电动机的最佳轨迹，iθ(t)是第i次学习时的电动机转角。
11.根据权利要求8所述的仿生型自动视觉和视线控制方法，其特征在于，该方法还包括步骤6)所述的平移加速度器及转角加速度器将测到的信号输入计算机，所述信号漏积分处理后用于调节摄像机位置以补偿基盘的振动或移动，所述的漏积分处理为信号通过传递函数T/(Ts+1))后使用。
12.根据权利要求9所述的仿生型自动视觉和视线控制方法，其特征在于，共轭运动的应答速度大于转角运动的应答速度。
13.根据权利要求8所述的仿生型自动视觉和视线控制方法，其特征在于，各个摄像机组利用信号交叉反馈的原理同时定位和跟踪同一目标。
全文摘要
本发明公开了一种仿生型自动视觉及视线控制系统及方法，它包括两个摄像机组(10)，每个摄像机组由一台广角机和一台望远机并排设置组成，每台广角机或望远机由两台或三台电动机带动，可作两个或三个自由度的转动。这种系统能进行快速目标定位、高精度视线跟踪和具有大范围补偿因自身运动所引起的视线偏离的能力。特别是该系统可以确保两个摄像机组同时定位和跟踪同一目标。该系统不仅可用于各种固定场所的监视、防卫及看护，也适用于安装在各种运动体上，如车辆、飞机、轮船及军事设备上等，还可用于制作各种机器人的眼睛。
文档编号H04N7/18GK1492668SQ0213757
公开日2004年4月28日 申请日期2002年10月22日 优先权日2002年10月22日
发明者张晓林, 张光荣 申请人:上海雷科电子系统有限责任公司