一种仿生双眼视觉校准系统及校准方法与流程

文档序号:15595205发布日期:2018-10-02 19:25阅读:166来源:国知局

本发明属于仿真领域,涉及一种仿生双眼视觉校准系统及校准方法。



背景技术:

以三角算法为基础的双目立体视觉传感器是计算机视觉或机器人视觉传感器的主流传感器之一。由于算法和运算量等各方面的限制,作为双目的两套摄像头需要有较强的位置关系约束,比如标准辐辏关系,以确保两套摄像机拍摄的两幅图像的对应像素匹配准确而且高速。一般为了保持这种位置关系不变,这两组摄像头的相对位置都会被固定住,同时常常会通过标定的方法算出摄像头的内外参数,用这些参数对摄像头再进行一次标定。因此,摄像头的相对位置固定得越牢固,该双目视觉传感器的性能就越稳定。

但是为了达到某些目的,例如稳拍、目标追踪、拉大基线长度等,双目摄像头之间不得不进行各种运动,此时,摄像头之间就很难保持双目立体视觉传感器所需要的相对位置关系,导致两幅图像的对应像素出现偏差。



技术实现要素:

本发明的目的在于提供一种仿生双眼视觉校准系统及校准方法,解决现有技术中因双目摄像头之间的相对运动导致图像对应像素出现偏差的问题。

为解决上述技术问题,本发明提供了一种仿生双眼视觉校准系统,包括:

至少两套摄像装置;

至少两个位姿传感器,每个所述位姿传感器用于获取对应的一套所述摄像装置的运动位置;

一图像处理器,用于根据所述至少两套摄像装置的运动位置和/或姿态对所述摄像装置获取的图像信息进行修正。

可选的,所述图像处理器可以为计算机或gpu、fpga、soc等装置,来实现。

可选的,所述图像处理器包括图像信息处理器和图像渲染处理器,

所述图像信息处理器用于接收所述至少两套摄像装置拍摄的图像信息;

所述图像渲染处理器用于根据所述至少两套摄像装置的运动位置和/或姿态对所述图像信息进行修正。

进一步的,所述系统还包括动力装置和动力控制器;

每套所述摄像装置通过一个所述动力装置驱动进行一个自由度以上的运动;

每个所述动力装置连接一个所述动力控制器,所述动力控制器用于控制所述动力装置的运动状态;

所述位姿传感器通过测定所述动力装置的运动位置获取所述摄像装置的运动位置和/或姿态。

进一步的,每个所述动力装置分别与对应的所述摄像装置连接;每个所述位姿传感器分别安装于对应的所述摄像装置或动力装置上;每个所述动力控制器分别与对应的所述动力装置及位姿传感器连接;所述图像信息处理器分别与所述摄像装置和所述动力控制器连接;所述图像渲染处理器分别与所述图像信息处理器和所述位姿传感器连接。

优选的,所述动力装置为伺服电机,所述动力控制器控制所述伺服电机驱动所述摄像装置运动。

本发明还提供了一种利用所述的仿生双眼视觉校准系统进行校准的方法,包括如下步骤:

s1:将所有所述摄像装置设定在初始位置,并开启实时拍摄;

s2:所述图像信息处理器接收并处理所述摄像装置拍摄的图像信息,并将所述图像信息传递给所述图像渲染处理器;

s3:所述位姿传感器获取所述摄像装置的运动位置和/或,并将所述摄像装置的运动位置和/或姿态传递给所述图像渲染处理器;

s4:所述图像渲染处理器根据所述摄像装置的运动位置和/或姿态对所述图像信息进行修正,使所有所述摄像装置拍摄的图像的相对关系达到设定要求。

进一步的,所述仿生双眼视觉校准系统还包括动力装置和动力控制器,每套所述摄像装置通过一个所述动力装置驱动进行一个自由度以上的运动;每个所述动力装置通过一个所述动力控制器控制其运动状态;于步骤s3中,所述位姿传感器通过测定所述动力装置的运动位置获取所述摄像装置的运动位置。

进一步的,所述s1具体包括:将所有所述摄像装置设定在初始位置,并开启拍摄;以及,所述图像信息处理器接收所有所述摄像装置拍摄的图像,并对所述图像进行分析,根据图像的特征点或图像之间的变化测出被拍摄物体相对所述摄像装置的移动信息,所述动力控制器根据所述移动信息控制所述动力装置驱动所述摄像装置运动,使所述摄像装置跟踪所述被拍摄物体进行实时拍摄。

进一步的,所述s2具体包括:所述图像信息处理器接收所述摄像装置拍摄的图像信息,获取图像之间的视差信息,并将所述视差信息传递给所述图像渲染处理器;

所述s3具体包括:所述位姿传感器测定所述动力装置的运动位置,获取所述摄像装置的运动位置和/或姿态,并将所述摄像装置的运动位置和/或姿态传递给所述图像渲染处理器;

所述s4具体包括:所述图像渲染处理器根据所述视差信息和所述摄像装置的运动位置和/或姿态,使所述动力控制器控制所述动力装置驱动所述摄像装置运动,使所有所述摄像装置拍摄的图像的相对关系达到设定要求。

进一步的,所述s2具体包括,所述图像信息处理器接收所述摄像装置拍摄的图像信息,获取图像之间的视差信息,并将所述视差信息传递给所述图像渲染处理器;

所述s4具体包括:所述图像渲染处理器根据所述摄像装置的运动位置和/或姿态以及所述视差信息对所述图像信息进行修正,使所有所述摄像装置拍摄的图像的相对关系达到设定要求。

进一步的,于步骤s4中,所述图像渲染处理器对所述图像信息的修正包括对所述图像信息进行平移、旋转或尺寸缩放。

与现有技术相比,本发明提供的仿生双眼视觉校准系统及校准方法采用图像渲染处理器根据摄像装置的运动位置和/或姿态以及图像视差信息对图像进行修正,使得双目摄像装置在跟踪目标进行实时拍摄的过程中,保证摄像装置拍摄得到的图像保持标准立体视图像,克服现有技术中因双目摄像头之间的相对运动导致图像对应像素出现偏差的问题。

附图说明

图1是本发明实施例提供的一种仿生双眼视觉校准系统的结构示意图;

图2是本发明另一实施例提供的一种仿生双眼视觉校准系统的结构示意图;

图3是本发明另一实施例提供的一种仿生双眼视觉校准系统的结构示意图;

图4是本发明另一实施例提供的一种仿生双眼视觉校准系统的结构示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种仿生双眼视觉校准系统及校准方法作进一步详细说明。根据下面说明和权利要求书,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。

如图1所示,本发明提供了一种仿生双眼视觉校准系统,包括:

至少两套摄像装置1和2,每套摄像装置内至少包含一个摄像头;

至少两个位姿传感器11和21(转角传感器、平移传感器等),每个所述位姿传感器用于获取对应的一套所述摄像装置的运动位置;

一图像处理器3,用于根据所述至少两套摄像装置的运动位置和/或姿态对所述摄像装置获取的图像信息进行修正。

如图3所示,可选的,所述图像处理器3包括图像信息处理器31和图像渲染处理器32,

所述图像信息处理器31用于接收所述至少两套摄像装置1和2拍摄的图像信息;

所述图像渲染处理器32用于根据所述至少两套摄像装置1和2的运动位置和/或姿态对所述图像信息进行修正。当摄像装置1和2跟踪物体运动进行实时拍摄时,利用本发明提供的视觉校准系统,通过图像渲染处理器32根据传感器得到的摄像头的位移信息(旋转和平移信息)对各摄像头拍摄的图像进行平移、旋转、尺寸缩放等处理(渲染),以确保两幅视频图像的相对关系达到用户的要求。

如图1和图2所示,进一步的,所述仿生双眼视觉校准系统还包括动力装置12和22(如云台等)、动力控制器13和23,

每套所述摄像装置通过一个所述动力装置驱动进行一个自由度以上的运动;

每个所述动力装置连接一个所述动力控制器,所述动力控制器13和23分别用于控制所述动力装置12和22的运动状态;

所述位姿传感器11和21通过分别测定所述动力装置12和22的运动位置获取所述摄像装置1和2的运动位置和/姿态。

如图3和4所示,可选的,每个所述动力装置分别与对应的所述摄像装置连接;

每个所述位姿传感器分别安装于对应的所述摄像装置或动力装置上;

每个所述动力控制器分别与对应的所述动力装置及位姿传感器连接;

所述图像信息处理器31分别与所述摄像装置1、2和所述动力控制器13、23连接;

所述图像渲染处理器32分别与所述图像信息处理器31和所述位姿传感器11、21连接。

优选的,所述动力装置12和22为伺服电机,所述动力控制器13和23控制所述伺服电机驱动所述摄像装置运动。

本发明还提供一种利用上述的仿生双眼视觉校准系统进行校准的方法,包括如下步骤:

s1:用初期标定法(任意方法)将所有所述摄像装置1和2的初始位置设定在初始位置(标准辐辏或其他用户要求的位置),并开启实时拍摄;

s2:所述图像信息处理器31接收并处理所述摄像装置1和2拍摄的图像信息,并将所述图像信息传递给所述图像渲染处理器32;

s3:所述位姿传感器11和21获取所述摄像装置1和2的运动位置和/或姿态,并将所述摄像装置1和2的运动位置和/或姿态传递给所述图像渲染处理器32;

s4:所述图像渲染处理器32根据所述摄像装置1和2的运动位置和/或姿态对所述图像信息进行修正,使所有所述摄像装置拍摄的图像的相对关系达到设定要求。其中,图像的相对关系可以为标准立体视的关系,所谓标准立体视即指两台摄像机具备光轴在同一平面、u轴平行、图像尺寸相同的关系(即标准辐辏)时所拍摄的图像所具备的性质,即极限平行的两幅图像就可称之为标准立体视图像。

进一步的,所述s1具体包括:

将所有所述摄像装置1和2设定在初始位置,并开启拍摄;以及

所述图像信息处理器31接收所有所述摄像装置1和2拍摄的图像,并对所述图像进行分析,根据图像的特征点或图像之间的变化测出被拍摄物体相对所述摄像装置的移动信息,所述动力控制器根据所述移动信息控制所述动力装置驱动所述摄像装置运动,使所述摄像装置跟踪所述被拍摄物体进行实时拍摄。在本方案中,所述移动信息也可根据两套摄像头拍摄的左右图像的视差(任意点和方向)信息分析得到,或者通过陀螺、加速度传感器、磁场或气压传感器等传感器测出承载摄像装置的基盘的移动信息得到移动信息。

进一步的,所述s2具体包括:所述图像信息处理器31接收所述摄像装置1和2拍摄的图像信息,获取图像之间的视差信息,并将所述视差信息传递给所述图像渲染处理器32;

所述s3具体包括:所述位姿传感器11和21测定所述动力装置12和22的运动位置,获取所述摄像装置1和2的运动位置和/或姿态,并将所述摄像装置1和2的运动位置和/或姿态传递给所述图像渲染处理器32;

所述s4具体包括:所述图像渲染处理器32根据所述视差信息和所述摄像装置的运动位置和/或姿态,使所述动力控制器13和23控制所述动力装置12和22驱动所述摄像装置1和2运动,使所有所述摄像装置1和2拍摄的图像的相对关系达到设定要求。

进一步的,所述s2具体包括:所述图像信息传感器3接收所述摄像装置1和2拍摄的图像信息,获取图像之间的视差信息,并将所述视差信息传递给所述图像渲染处理器32;

所述s4具体包括:所述图像渲染处理器32根据所述摄像装置1和2的运动位置和/或姿态以及所述视差信息对所述图像信息进行修正,使所有所述摄像装置1和2拍摄的图像的相对关系达到设定要求。

进一步的,于步骤s4中,所述图像渲染处理器32对所述图像信息的修正包括对所述图像信息进行平移、旋转或尺寸缩放等。

本发明提供的仿生双眼视觉校准系统及校准方法采用图像渲染处理器根据摄像装置的运动位置和/或姿态以及图像视差信息对图像进行修正,使得双目摄像装置在跟踪目标进行实时拍摄的过程中,保证摄像装置拍摄得到的图像保持标准立体视图像,克服现有技术中因双目摄像头之间的相对运动导致图像对应像素出现偏差的问题。

上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1