采用标定方法的图像辅助系统的制作方法

文档序号:7702406
专利名称:采用标定方法的图像辅助系统的制作方法
技术领域
本发明涉及汽车及移动机械以及监控等系统中使用的采用标定方法的图像辅助系统。
背景技术
在各种移动机械操作领域,如机动车辆行驶、船舶进港、移动机械通过狭窄区域、 吊塔等装载机械的货物抓取和移动、放置等,此类不同物体之间存在位移的时候,特别是当移动物体的许可移动路径比较狭小的情况下,需要操作人员非常考虑仔细移动时的周边环境,以防止出现碰触、碰撞和摩擦。一个常见的例子是,驾驶汽车时,特别是在驾驶大型车辆的情况下,由于车体的遮蔽及后视镜和观后镜的观察角度的不足而形成一定的观察盲区。由于此类盲区的存在,对驾驶员的车体空间感提出较高要求,尤其是当驾驶车辆通过狭窄区域以及停车、倒车时,驾驶人员很容易因为视觉盲区的问题和在行进时由于观察不全面造成剐蹭、碰撞而产生危险。现有的解决方法是采用超声倒车雷达或倒车摄像头。倒车雷达可以较好地对盲区的障碍物进行距离检测,并将障碍物的检测结果通过声音和图形的方式对驾驶员进行有限的提示。但是超声雷达存在不直观、不明显的问题,而且由于测距探头的个数有限,无法做到全方位地各个角度都进行可靠检测。同时,由于测距存在一定的精度误差,此类测距方法无法提供准确可靠的测距。另外一个解决方案是采用倒车摄像头,此方法是通过在车尾安装一个广角摄像头进行对后视图像的摄取和显示。将该方法配合测距雷达等可以完成对后面图像的采集和显示,但该方法存在一个明显的弊端该方法仅仅能对车辆后面的实时图像进行采集和显示, 无法对全景图像进行采集和显示,因此当车辆处于非倒车状态时该方法就失效了。随着图像处理技术的发展,目前出现了一种全景的倒车图像系统,该系统通过把多个摄像头的图像经过畸变校准以后进行拼接,显示给驾驶员,以便于驾驶人员对周边的环境进行测评。此方法十分有效的解决了汽车周边的视野的问题,如中国专利 200710106237.8,200810236552.7,200810163310. X,200380101461. 8。但是上述专利也存在一些待提高的地方比如200710106237. 8由于仅采用3路图像采集而对体积过大的车辆或者挂车进行图像合成时,会导致对图像传感器的光学组件的视野和分辨率要求提高,同时该专利没有谈到图像的畸变矫正,当采用广角摄像头时,不进行矫正的畸变图像将使观察者观察得到的空间关系变差;上述专利如200380101461. 8等未提及对摄像机进行参数标定,这样在图像不存在所谓的尺度信息,使操作员无法进行距离估算;同样由于没有摄像机标定参数的存在,而导致合成图像无法融合多种传感器技术比如距离传感器以提供最全方面信息。

发明内容
本发明的目的是对上述现有技术的缺陷进行改进,提供一种标定方法的图像辅助系统,以提供全方面周边图像信息,该系统能够根据监控物体运动趋势提供自适应的场景变化以及对图像进行增强处理以提供更有效的信息。本发明的目的是通过以下技术方案实现的,采用标定方法的图像辅助系统,包括如下单元图像传感器单元,该图像传感器单元用以获得被监控物体有效的周边环境的图像 信息;图像处理单元,该图像处理单元用以对所述图像传感器单元获得的被监控物体周边视野的图像信息进行采集、处理和融合形成处理后的被监控物体周边视野的合成图像信息;输出单元,该输出单元将所述图像处理单元处理后的被监控物体周边视野的合成图像信息输出;标定单元,该标定单元在系统投入运行前,通过标定模板对所述图像传感器单元中的各图像传感器的光学参数和畸变参数进行标定,产生标定后的各图像传感器的标定光学参数和标定畸变参数输入图像处理单元,完成畸变图像矫正;并在用标定模板所构成的标定区域内对所述图像传感器单元中的各图像传感器的姿态参数和位置参数进行标定;场景决策单元,所述场景决策单元接收操作者指令和/或被监控物体的移动速度和运动趋势信息,输出一场景决策参数至图像处理单元。所述图像传感器单元包含多个安装于被监控物体周边的图像传感器,相邻的两个图像传感器存在互相重叠的视野区域,并确保不留视野死角。本发明的被监控物体是指,需要所述的采用标定方法的图像辅助系统对其进行周围环境监控的设备,包括但不限于车辆,机械等。所述图像传感器为彩色图像传感器、黑白图像传感器、红外图像传感器或者是它们的组合使用,比如黑白图像传感器和彩色图像传感器相结合、或黑白图像传感器与红外图像传感器相结合、或者彩色图像传感器与红外图像传感器相结合、黑白图像传感器和彩色图像传感器以及红外图像传感器相结合的组合。本发明所述的图像处理单元中包含图像采集子单元、图像畸变矫正子单元、图像融合子单元;所述图像采集子单元对所述图像传感器单元中各图像传感器的图像进行采集和暂存;所述图像畸变矫正子单元,采用所述标定单元通过标定模板对所述图像传感器单元中的各图像传感器的光学参数和畸变参数进行标定后的各图像传感器的标定光学参数和标定畸变参数,对所述图像传感器单元中各图像传感器的图像进行畸变矫正处理得到畸变矫正处理后的各图像传感器的畸变矫正处理图像;所述图像视角变换子单元,用于根据场景决策单元的场景参数对各图像传感器的畸变矫正处理图像,依据各图像传感器的畸变矫正处理图像的视角和图像各个部分的比例,进行视角变换和图像缩放,以形成特定的各图像传感器的视角图像;所述图像融合单元,用以完成所述图像视角变换子单元输送过来的各个图像传感器的视角图像以及被监控物体的图像进行融合和拼接,形成被监控物体周边视野的合成图像。本发明所述的图像处理单元中包含一设置在所述图像畸变矫正子单元与所述图像视角变换子单元之间的图像防抖子单元,所述图像防抖子单元用以对所述图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像进行抖动检测并对由于所述图像传感器单元中的图像传感器轻微抖动而产生的帧间图像模糊进行处理;得到各图像传感器的防抖处理图像;所述图像视角变换子单元,用于根据场景决策单元的场景参数对各图像传感器的防抖处理图像,依据各图像传感器的防抖处理图像的视角和图像各个部分的比例,进行视角变换和图像缩放,以形成特定的各图像传感器的视角图像。本发明所述的图像处理单元中包含一设置在所述图像畸变矫正子单元与所述图像视角变换子单元之间的图像增强子单元,所述图像增强子单元用以完成对所述各图像传感器的畸变矫正处理图像进行图像调整,以提高合成图像的可读性,经图像增强子单元增强后的各图像传感器的增强图像输送至所述图像视角变换子单元;所述图像视角变换子单元,用于根据场景决策单元的场景参数对各图像传感器的增强图像,依据各图像传感器的增强图像的视角和图像各个部分的比例,进行视角变换和图像缩放,以形成特定的各图像传感器的视角图像。本发明所述的图像处理单元中包含设置在所述图像畸变矫正子单元与所述图像视角变换子单元之间的图像防抖子单元和图像增强子单元,所述图像防抖子单元用以对所述图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像进行抖动检测并对由于所述图像传感器单元中的图像传感器轻微抖动而产生的帧间图像模糊进行处理;得到各图像传感器的防抖处理图像;所述图像增强子单元用以完成对所述各图像传感器的防抖处理图像进行图像调整,以提高合成图像的可读性,经图像增强子单元增强后的各图像传感器的增强图像输送至所述图像视角变换子单元。所述图像畸变矫正子单元对畸变矫正前的各图像传感器的图像数据采用插值或者卷积的方法求得畸变矫正后的各图像传感器的畸变矫正处理图像数据。所述畸变矫正处理包括切向畸变处理、径向畸变处理,薄棱镜畸变处理,偏心畸变处理。所述光学参数包括各图像传感器的镜头光学参数和图像传感器单元的光学系统不理想造成的畸变参数。所述图像防抖子单元包括抖动检测子单元、抖动估计子子单元和抖动补偿子子单元,其中抖动检测子单元对所述图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像的抖动进行检测,抖动估计子子单元对所述图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像进行抖动估计,通过过滤除去随机抖动的影响,获得有效的全局运动矢量,并以此获得序列帧的运动趋势,计算得到实际的图像偏移、旋转以及缩放的值;所述抖动补偿子子单元根据抖动估计子子单元计算得到的图像偏移、旋转以及缩放的值,对图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像进行补偿,得到消除随机抖动以后的各图像传感器的防抖处理图像。所述对所述图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像进行抖动估计是估计相邻帧各图像传感器的畸变矫正处理图像所存在的抖动参数。所述图像增强子单元的图像调整是指对图像亮度的调整和图像对比度的增强以及图像勾勒。所述图像增强子单元为图像亮度调整子单元、图像对比度增强子单元、图像勾勒子单元中的一种或任意两种以上的组合。由于各个摄像头的的感光特征存在差异,不同图像传感器的图像中存在的明显亮度不一致的情况,所述图像亮度调整子单元是对各图像传感器的畸变矫正处理图像或各图像传感器的防抖处理图像的亮度进行矫正,使所述图像融合单元形成被监控物体周边视野的合成图像不存在由于感光特性造成的明显的分块区域。所述图像对比度增强子单元是在当下雨、雾天或照明情况差时,所述图像传感器单元中的各图像传感器所拍摄到模糊降质图像进行进行对比度增强,以提高图像的视觉效
权利要求
1.采用标定方法的图像辅助系统,其特征在于,包括如下单元图像传感器单元,该图像传感器单元用以获得被监控物体有效的周边环境的图像信息;图像处理单元,该图像处理单元用以对所述图像传感器单元获得的被监控物体周边视野的图像信息进行采集、处理和融合形成处理后的被监控物体周边视野的合成图像信息;输出单元,该输出单元将所述图像处理单元处理后的被监控物体周边视野的合成图像信息输出;标定单元,该标定单元在系统投入运行前,通过标定模板对所述图像传感器单元中的各图像传感器的光学参数和畸变参数进行标定,产生标定后的各图像传感器的标定光学参数和标定畸变参数输入图像处理单元,完成畸变图像矫正;并在用标定模板所构成的标定区域内对所述图像传感器单元中的各图像传感器的姿态参数和位置参数进行标定;场景决策单元,所述场景决策单元接收操作者指令和/或被监控物体的移动速度和运动趋势信息,输出一场景决策参数至图像处理单元。
2.如权利要求1所述的采用标定方法的图像辅助系统,其特征在于,所述图像传感器单元包含多个安装于被监控物体周边的图像传感器,相邻的两个图像传感器存在互相重叠的视野区域;所述的被监控物体是指,需要所述的采用标定方法的图像辅助系统对其进行周围环境监控的设备;所述图像传感器为彩色图像传感器、黑白图像传感器、红外图像传感器或者是它们的组合使用。
3.如权利要求1所述的采用标定方法的图像辅助系统,其特征在于,所述的图像处理单元中包含图像采集子单元、图像畸变矫正子单元、图像融合子单元;所述图像采集子单元对所述图像传感器单元中各图像传感器的图像进行采集和暂存 采集和暂存;所述图像畸变矫正子单元,采用所述标定单元通过标定模板对所述图像传感器单元中的各图像传感器的光学参数和畸变参数进行标定后的各图像传感器的标定光学参数和标定畸变参数,对所述图像传感器单元中各图像传感器的图像进行畸变矫正处理得到畸变矫正处理后的各图像传感器的畸变矫正处理图像;所述图像视角变换子单元,用于根据场景决策单元的场景参数对各图像传感器的畸变矫正处理图像,依据各图像传感器的畸变矫正处理图像的视角和图像各个部分的比例,进行视角变换和图像缩放,以形成特定的各图像传感器的视角图像;所述图像融合单元,用以完成所述图像视角变换子单元输送过来的各个图像传感器的视角图像以及被监控物体的图像进行融合和拼接,形成被监控物体周边视野的合成图像。
4.如权利要求3所述的采用标定方法的图像辅助系统,其特征在于,所述的图像处理单元中包含一设置在所述图像畸变矫正子单元与所述图像视角变换子单元之间的图像防抖子单元,所述图像防抖子单元用以对所述图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像进行抖动检测并对由于所述图像传感器单元中的图像传感器轻微抖动而产生的帧间图像模糊进行处理;得到各图像传感器的防抖处理图像;所述图像视角变换子单元,用于根据场景决策单元的场景参数对各图像传感器的防抖处理图像,依据各图像传感器的防抖处理图像的视角和图像各个部分的比例,进行视角变换和图像缩放,以形成特定的各图像传感器的视角图像;所述的图像处理单元中包含一设置在所述图像畸变矫正子单元与所述图像视角变换子单元之间的图像增强子单元,所述图像增强子单元用以完成对所述各图像传感器的畸变矫正处理图像进行图像调整,以提高合成图像的可读性,经图像增强子单元增强后的各图像传感器的增强图像输送至所述图像视角变换子单元;所述图像视角变换子单元,用于根据场景决策单元的场景参数对各图像传感器的增强图像,依据各图像传感器的增强图像的视角和图像各个部分的比例,进行视角变换和图像缩放,以形成特定的各图像传感器的视角图像;所述的图像处理单元中包含设置在所述图像畸变矫正子单元与所述图像视角变换子单元之间的图像防抖子单元和图像增强子单元,所述图像防抖子单元用以对所述图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像进行抖动检测并对由于所述图像传感器单元中的图像传感器轻微抖动而产生的帧间图像模糊进行处理;得到各图像传感器的防抖处理图像;所述图像增强子单元用以完成对所述各图像传感器的防抖处理图像进行图像调整,以提高合成图像的可读性,经图像增强子单元增强后的各图像传感器的增强图像输送至所述图像视角变换子单元。
5.如权利要求4任一项权利要求所述的采用标定方法的图像辅助系统,其特征在于, 所述图像畸变矫正子单元对畸变矫正前的各图像传感器的图像数据采用插值或者卷积的方法求得畸变矫正后的各图像传感器的畸变矫正处理图像数据;所述畸变矫正处理包括切向畸变处理、径向畸变处理、薄棱镜畸变处理、偏心畸变处理中的一种或以及两种以上的组合;所述光学参数包括各图像传感器的镜头光学参数和图像传感器单元的光学系统不理想造成的畸变参数。
6.如权利要求5所述的采用标定方法的图像辅助系统,其特征在于,所述图像防抖子单元包括抖动检测子单元、抖动估计子子单元和抖动补偿子子单元,其中抖动检测子单元对所述图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像的抖动进行检测,抖动估计子子单元对所述图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像进行抖动估计,通过过滤除去随机抖动的影响,获得有效的全局运动矢量,并以此获得序列帧的运动趋势,计算得到实际的图像偏移、旋转以及缩放的值;所述抖动补偿子子单元根据抖动估计子子单元计算得到的图像偏移、旋转以及缩放的值,对图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像进行补偿,得到消除随机抖动以后的各图像传感器的防抖处理图像;所述对所述图像畸变矫正子单元输送的各图像传感器的畸变矫正处理图像进行抖动估计是估计相邻帧各图像传感器的畸变矫正处理图像所存在的抖动参数;所述图像增强子单元的图像调整是指对图像亮度的调整和图像对比度的增强以及图像勾勒;所述图像增强子单元为图像亮度调整子单元、图像对比度增强子单元、图像勾勒子单元中的一种或任意两种以上的组合;所述图像对比度增强子单元是在当下雨、雾天或照明情况差时,所述图像传感器单元中的各图像传感器所拍摄到模糊降质图像进行进行对比度增强,以提高图像的视觉效果;所述图像勾勒子单元是对图像边缘进行勾勒和对障碍物进行突出及勾画,以使图像具有更强的可辨识性,对观察者的目光进行有效的提示指引;所述图像融合单元的融合的方法为直接将配准位置的来自两个图像传感器的图像像素进行拼接;拼接时选用直接将配准位置的来自两个图像传感器的图像通过搬移到而形成融合后的图像。
7.如权利要求6所述的采用标定方法的图像辅助系统,其特征在于,所述配准位置的配准方法为在配准位置附近寻找图像特征,然后利用这些图像特征对两个图像传感器的图像进行匹配,以寻找最佳的配准位置,然后图像在该最佳的配准位置上进行融合,以避免重影等情况的出现;所述图像特征为图像的角点特征、轮廓特征、边缘特征中的一个或任何两个的组合; 所述配准位置为拼接线位置,是依据拼接线两侧的两个图像传感器的视野范围和清晰度范围而决定,且在拼接线两侧的两个图像传感器的图像清晰度是一致的; 所述拼接线为弧型线或直线;所述拼接线即可以显示特殊颜色和灰度,以利于观察者确定拼接线位置,也可以不显示颜色和灰度,以不破坏图像的整体性;所述图像融合单元的融合的方法是融合区域采用来自相邻的两个图像传感器的图像在同一个融合点进行加权平均,这样在拼接区就不存在拼接线,图象一致性会更好;所述加权平均为变权重的方式的加权平均,即在拼接区内,图像融合后的某一点的图像,越远离图像传感器的点在融合图像中所占的权重越小,而来在同一位置来自另外一个图像传感器的图像的权重则越大。
8.如权利要求1所述的采用标定方法的图像辅助系统,其特征在于,在所述被监控物体周边视野的合成图像中,还包括被监控物体的图像;所述被监控物体的图像俯视平面图像或者俯视三维图像或者与场景决策单元输出的视角相一致的三维透视图像;所述被监控物体的图像为具有一定的透明程度的图像或具有一定颜色的图像; 所述被监控物体的图像的透明程度或颜色可以手工设定,以显示被被监控物体遮蔽的周边环境图像信息。
9.如权利要求1所述的采用标定方法的图像辅助系统,其特征在于,在所述被监控物体周边视野的合成图像中,还包括障碍物信息或/和障碍物距离信息,所述障碍物信息或/ 和障碍物距离信息采用外部传感器测得,可以合并显示在最终全景的被监控物体周边视野的合成图像中。
10.如权利要求1所述的采用标定方法的图像辅助系统,其特征在于,所述标定单元采用非线性模型或者线性模型的相机标定方法,通过标定模板对所述图像传感器单元中的各图像传感器的光学参数和畸变参数进行标定,并在用标定模板所构成的标定区域内对所述图像传感器单元中的各图像传感器的姿态参数和位置参数进行标定;所述通过标定模板对所述图像传感器单元中的各图像传感器的光学参数和畸变参数进行标定可以在各图像传感器生产过程进行,也可以在所述采用标定方法的图像辅助系统安装时进行;所述通过标定模板对所述图像传感器单元中的各图像传感器的光学参数和畸变参数进行标定的方法为每个图像传感器在不同方位和姿态对所述的标定模板进行拍照,以得到不同姿态的标定模板照片,所述标定单元通过这些标定模板照片计算得到每一个图像传感器镜头光学参数和畸变参数,完成标定过程;所述用标定模板所构成的标定区域内对所述图像传感器单元中的各图像传感器的姿态参数和位置参数进行标定是在所述的标定区域中设置一基准停靠位置,将被监控物体停靠在所述基准停靠位置上,然后保持被监控物体位置的不变,对各个图像传感器进行图像采集,然后计算每个图像传感器相对于各标定模板的姿态旋转量和位移量,再计算出每个图像传感器的在全局的位置和姿态数据,以获得每一个图像传感器的姿态参数和位移参数;所述基准停靠位置由若干基准停靠参考线限定而形成,所述基准停靠参考线的形状和坐标是依据被监控物体的某些外形特征预先设定的,并与监控物体的某些外形特征相吻合,以保证被监控设备容易准确停靠;所述用标定模板所构成的标定区域内对所述图像传感器单元中的各图像传感器的姿态参数和位置参数进行标定是将被监控设备放置在相邻两个图像传感器的重叠区域中,使相邻两个图像传感器都能同时拍摄到该相邻两个图像传感器的重叠区域内的标定模板的图样,通过各个标定模板预先设定的姿态和位置,对相邻两个图像传感器进行两两定位,最后依次计算出各个图像传感器的姿态参数和位移参数;所述各个标定模板预先设定的姿态包括水平放置姿态、垂直方式姿态、倾斜放置姿态中的一种或任意两种以上的组合。
11.如权利要求1所述的采用标定方法的图像辅助系统,其特征在于,所述标定区域为由若干个标定模板放置的同一区域;所述标定模板为放置在标定区域内的标定模板或单独的标定模板;所述标定模板由具有特殊画面结构的平面图样或者三维图样或线状图样构成;所述标定模板的结构和尺寸是预先设定好的;所述标定模板为具有包含若干个带有直线或曲线特征或者角点特征的方形模板;或者为若干多边形组成的模板;或者由直线构成模板。
12.如权利要求1所述的采用标定方法的图像辅助系统,其特征在于,所述输出单元将所述图像处理单元处理后的图像信息输出到图像器进行显示和/或者输出到存储装置进行存储和/或者通过通信设备与其他设备进行通讯。
全文摘要
本发明公开了采用标定方法的图像辅助系统,包括图像传感器单元、图像处理单元、输出单元、标定单元、场景决策单元。本发明通过对图像传感器在标定区域进行标定,确定各个图像传感器的姿态和位置信息,再以此进行图像矫正和视角变换和图像融合,获得是操作人员能够看到尽可能多的直观有效信息。本发明可以显著的降低操作人员视线盲区,使操作人员能够看到尽可能多的直观有效的信息。
文档编号H04N7/18GK102163331SQ201110040440
公开日2011年8月24日 申请日期2011年2月12日 优先权日2010年2月12日
发明者王炳立 申请人:王炳立
再多了解一些
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1