专利名称：多图像传感器的监控设备的校准装置的制作方法
技术领域：
本实用新型涉及现场监控等系统中多图像传感器的监控设备的校准装置。
背景技术：
在各种现场监控领域，当环境比较大需要多个监控摄像头进行监控，目前的设备是将各个单独的摄像头的信号采集，并分别进行处理和存储。为了能够使监控的图像没有死角，因此多个摄像头之间可能存在两两重叠的区域，这样会导致存在冗余图像，从而导致传输带宽或者存储空间或者显示空间的浪费。这种情况在以下领域是经常遇到的。比如机动车辆行驶、船舶进港、移动机械通过狭窄区域、吊塔等装载机械的货物抓取和移动、放置等，此类不同物体之间存在位移的时候，特别是当移动物体的许可移动路径比较狭小的情况下，需要操作人员非常仔细考虑移动时的周边环境，以防止出现碰触、碰撞和摩擦，因此会采取多个摄像头进行拍照，并显示在多个屏幕上。一个常见的例子是，驾驶汽车时，特别是在驾驶大型车辆的情况下，由于车体的遮蔽及后视镜和观后镜的观察角度的不足而形成一定的观察盲区。由于此类盲区的存在，对驾驶员的车体空间感提出较高要求，尤其是当驾驶车辆通过狭窄区域以及停车、倒车时，驾驶人员很容易因为视觉盲区的问题和在行进时由于观察不全面造成剐蹭、碰撞而产生危险。在汽车领域该问题的解决方案是采用倒车摄像头，此方法是通过安装在车尾一个或者多个广角摄像头对后视图像的摄取和显示。随着图像处理技术的发展，目前所出现了一种全景的倒车图像系统，该系统通过把多个摄像头的图像经过畸变校准以后进行拼接，显示给驾驶员，以便于驾驶人员对周边的环境进行测评。此方法十分有效的解决了汽车周边的视野的问题，如中国专禾 U :200710106237. 8,200810236552. 7，200810163310. X， 200380101461. 8。但是上述专利也存在一些待提高的地方比如200710106237.8由于仅采用3 路图像采集而对体积过大的车辆或者挂车进行图像合成时，将会导致对图像传感器的光学组件的视野和分辨率提过更高要求，同时该专利没有谈到图像的畸变矫正，当采用广角摄像头时，不进行矫正的畸变图像将使观察者观察得到的空间关系变差；上述专利如 200380101461. 8等未提及对摄像机进行参数标定，这样在图像不存在所谓的尺度信息，使操作员无法进行距离估算，而这些信息的获得都需要对图像传感器的参数进行标定。因此在多图像传感器的监控领域，需要测算各个摄像图像传感器的参数，而且由于各个传感器的存在安装误差和各个传感器的制造误差，需要在安装后进行姿态和位置测笪弁。
发明内容本实用新型的目的是对上述现有技术的缺陷进行改进，提供一种图像监控设备的校准装置，对各个图像传感器设备进行统一标定。本实用新型的目的是通过以下技术方案实现的，多图像传感器的监控设备的校准装置，包括如下单元校准区域，位于被监控物体的四周，其中，所述被监控物体是指需要被校准的多图像传感器的监控设备进行周围环境监控的物体；图像传感器单元，用于获取所述校准区域的图像信息，且任意相邻两个所述图像传感器存在互相重叠的视野区域；图像采集单元，与所述图像传感器单元连接，对所述图像传感器单元获取的图像进行采集和暂存；标定单元，与所述图像采集单元连接，利用所述图像采集单元所采集的所述图像传感器单元获取的图像，对所述图像传感器单元的姿态参数和位置参数以及所述图像传感器的光学参数和畸变参数进行标定；输出单元，与所述标定单元连接，输出所述图像传感器单元的姿态参数和位置参数以及所述图像传感器的光学参数和畸变参数。上述多图像传感器的监控设备的校准装置，其中，所述校准区域由参考线和/或参考点划分成多个标定区域，每个所述标定区域内设有一标定模块。上述多图像传感器的监控设备的校准装置，其中，所述图像传感器为彩色图像传感器、黑白图像传感器、红外图像传感器或者是它们的组合使用。本实用新型提供的多图像传感器的监控设备的校准装置，该系统可以有效的求出各个传感器的位置和姿态和参数参数和光学畸变参数。
图1为本实用新型具体实施方式
所介绍的采用标定方法的图像辅助系统的组成结构图。图2为本实用新型具体实施方式
所介绍的采用标定方法的图像辅助系统使用的一种标定区域示意图。图3A为本实用新型具体实施方式
所介绍的采用标定方法的图像辅助系统使用的另一种标定模板示意图。图;3B为本实用新型具体实施方式
所介绍的采用标定方法的图像辅助系统使用的又一种标定模板示意图。图3C为本实用新型具体实施方式
所介绍的采用标定方法的图像辅助系统使用的再一种标定模板示意图。图3D为本实用新型具体实施方式
所介绍的采用标定方法的图像辅助系统使用的再一种标定模板示意图。图4A为本实用新型具体实施方式
所介绍的采用标定方法的图像辅助系统使用的平面标定区域示意图。图中Al、A2、A3、A4为计算图像传感器的姿态和位置参数用的标定模板，P点为两条基准停靠参考线的交点。
具体实施方式
以下通过图1 图4，详细介绍本实用新型的具体实施例，以便进一步了解本实用新型的内容。以校准安装在汽车上的多图像传感器的监控设备为例，说明本实用新型多图像传感器的监控设备的校准装置[0022]如图1所示，本实用新型多图像传感器的监控设备的校准装置包括校准区域5、图像传感器单元1、图像采集单元2、标定单元3和输出单元4。所述校准区域位于汽车的四周，所述校准区域由参考线和/或参考点划分成多个标定区域，每个所述标定区域内设有一标定模块。图像传感器单元1包含若干图像传感器11，由该图像传感器单元1获得有效的周边环境的图像信息，若干图像传感器11安装在车体上，且环绕车体一周，一般系统包含大于等于一个图像传感器器11，较小的车体可以采用4路或者6路图像传感器11方案，更大的车体将需要更多数目的图像传感器11。各个相邻的图像传感器11存在互相重叠的视野区域，并且不存在视野盲区。在图像传感器11安装时，可考虑视野中包含部分车体，即拍摄车体的部分，以确保在拼接时能够显示车体与障碍物的位置关系。所述图像传感器为彩色图像传感器、黑白图像传感器、红外图像传感器或者是它们的组合使用，比如黑白图像传感器和彩色图像传感器相结合、或黑白图像传感器与红外图像传感器相结合、或者彩色图像传感器与红外图像传感器相结合、黑白图像传感器和彩色图像传感器以及红外图像传感器相结合的组合。图像采集单元2，主要完成各个图像传感器11的图像的采集和暂存。标定单元3，对各个图像传感器11单元的姿态参数、位置参数以及图像传感器的光学参数和畸变参数进行标定。对各个图像传感器的光学参数和畸变参数进行标定可以在各个图像传感器生产过程中进行，也可以在本系统安装时进行；所述标定单元采用非线性模型或者线性模型的相机标定方法，通过标定模板对所述图像传感器单元中的各图像传感器的光学参数和畸变参数进行标定，并在由标定模板所构成的标定区域内对所述图像传感器单元中的各图像传感器的姿态参数和位置参数进行标定。所述非线性模型或者线性模型的相机标定方法包括基于径向约束的非线性相机标定方法(RAC)，参考文献为《A versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses)), Roger Y. Tsai, IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4,August 1987,pages 323-344。张正友的基于2D靶标的摄像机标定算法，参考文献《Z. a^ng. A flexible new technique for camera calibration)). IEEE Transactions on Pattern Analysis and Machine Intelligence，22(11) : 1330-1334，2000.折反式相机和鱼眼相机的标定方法，参考文献为dcaramuzza，D. (2008). 《Omnidirectional Vision :from Calibration to Robot Motion Estimation》ETH Zurich Thesis no. 17635.对各个图像传感器的光学参数和畸变参数进行标定的方法为每个图像传感器在不同方位和姿态对所述的标定模板进行拍照，以得到不同姿态的标定模板照片，所述标定单元通过这些标定模板照片计算得到每一个图像传感器镜头光学参数和畸变参数，完成标定过程，如果在生产过程中已经获得每个图像传感器的光学参数和畸变参数，则本步骤不是必须。[0035]所述标定模板照片为至少四张以上。用标定模板所构成的标定区域内对所述图像传感器单元中的各图像传感器的姿态参数和位置参数进行标定是在所述的标定区域中设置一基准停靠位置，将被监控物体停靠在所述基准停靠位置上，然后保持被监控物体位置的不变，对各个图像传感器进行图像采集，然后计算每个图像传感器相对于各标定模板的姿态旋转量和位移量(由于每个标定模板在整个标定区域的位置和姿态都是已知的，因此可以计算出)，再计算出每个图像传感器的在全局的位置和姿态数据，以获得每一个图像传感器的姿态参数和位移参数。
所述基准停靠位置由若干基准停靠参考线限定而形成，所述基准停靠参考线的形状和坐标是依据被监控物体的某些外形特征预先设定的，并与监控物体的某些外形特征相吻合，以保证被监控设备易于准确停靠。如果在标定区域没有设置基准线，所述标定模板所构成的标定区域内对所述图像传感器单元中的各图像传感器的姿态参数和位置参数进行标定是将被监控设备放置在相邻两个图像传感器的重叠区域中，使相邻两个图像传感器能同时拍摄到该重叠区域内的标定模板的图样，通过各个标定模板预先设定的姿态和位置，对相邻两个图像传感器进行两两定位，最后依次计算出各个图像传感器的姿态参数和位移参数。所述各个标定模板预先设定的姿态包括水平放置姿态、垂直放置姿态、倾斜放置姿态中的一种或任意两种以上的组合。水平放置姿态是指着各个标定模板均为位于同一个水平面上；垂直方式姿态指各个标定模板位于均垂直于某个平面；倾斜放置姿态指各个模板与某个平面成一定角度。所述标定区域为由若干个标定模板放置的同一区域。所述标定模板为放置在标定区域内的标定模板或单独的标定模板。所述标定模板由具有特殊画面结构的平面图样或者三维图样或线状图样构成。所述标定模板的结构和尺寸是预先设定好的。所述标定模板为具有包含若干个带有直线或曲线特征或者角点特征的方形模板， 如棋盘格或网格或若干分立的方形图样组成；或者为若干多边形组成的模板，如三角形等多边型；或者为圆型模板，即模板中存在若干圆型图样的标定模板；或者由直线构成模板。在系统初次安装时或者专门进行校准时，需要对图像传感器11的姿态和位置参数进行标定，本实例示例了一个平面的“校准区域”，车辆停靠“基准停靠位置”，通过采用图 3A 图3D中的标定模板(也即，图4A中的标定模板A1、A2、A3、A4)对各个图像传感器11 的姿态和位置参数标定，通过此时的各个图像传感器11的姿态和位置参数和标定模板Al、 A2、A3、A4数据，即可获得相对于整个校准区域各个图像传感器的位置和姿态信息，即得到图像传感器11的原始位置信息。图4A示意了一种平面校准区域，其特征为各个标定模板Al、A2、A3、A4放置在一个水平区域内，标定时图像传感器11对处于水平面的标定模板Al、A2、A3、A4进行图像采集。事实上根据系统的需要，标定模板Al、A2、A3、A4可以采取竖直、水平或者以特定的姿态放置的组合。图2为本实用新型所使用的一个平面校准区域的使用示意图，图2中A、B、C、D为标定模板，而标注为lla、llb、llc、lld的柱状体为图像传感器，图像传感器Ila拍摄标定模板A的图像，图2中图像传感器lib拍摄标定模板B的图像，图2中图像传感器Ilc拍摄标定模板C的图像，图2中图像传感器Ild拍摄标定模板D的图像。在整个校准区域中标定模板A、B、C、D的位置和大小和姿态都是事先设定好的。图2仅仅是个示意图，在实际系统中可能存在多个摄像机以及多个标定模板。标定单元2包括但不局限于采用“张正友的基于2D靶标的摄像机标定算法”，或者“折反式相机和鱼眼相机的标定方法”对各个图像传感器的图像传感器的镜头光学参数和图像传感器畸变参数 ，以及以测算每个图像传感器的姿态参数和位置参数，其中姿态包括但不限于每个图像模板的倾角，以及旋转的角度等，位置参数包括但不限于距离某一参考点的三维位移。输出单元，将各个图像传感器单元的光学参数和畸变参数输出，输出的参数可以用于各个摄像头的图像拼接和融合，或者摄像头图像的畸变校正。一个典型的利用该输出参数的方法为，在全景汽车监控系统中，将各个图像传感器的图像利用这些输出参数进行图像校准融合以获得全景图像。另外一个使用例子是，在多摄像头监控领域，利用这些输出参数进行图像校准融合以获得全景图像后，进行存储，以节约存储空间。本实用新型提供的多图像传感器的图像监控设备的校准方法，能够使多个传感器在校准环境下进行统一校准，能够输出在该标准校准环境下的各个图像传感器的外部参数和光学参数和畸变参数，即完成标定过程。以上显示和描述了本实用新型的基本原理、主要特征和本实用新型的优点。本行业的技术人员应该了解，本实用新型不受上述实施例的限制，上述实施例和说明书中描述的只是说明本实用新型的原理，在不脱离本实用新型精神和范围的前提下本实用新型还会有各种变化和改进，这些变化和改进都落入要求保护的本实用新型范围内。
权利要求1.多图像传感器的监控设备的校准装置，其特征在于，包括如下单元校准区域，位于被校准的监控物体的四周，其中，所述被监控物体是指需要被校准的多图像传感器监控设备进行周围环境监控的物体；图像传感器单元，用于获取所述校准区域的图像信息；图像采集单元，与所述图像传感器单元连接，对所述图像传感器单元获取的图像进行采集和暂存；标定单元，与所述图像采集单元连接，利用所述图像采集单元所采集的所述图像传感器单元获取的图像，对所述图像传感器单元的姿态参数和位置参数以及所述图像传感器的光学参数和畸变参数进行标定；输出单元，与所述标定单元连接，输出所述图像传感器单元的姿态参数和位置参数以及所述图像传感器的光学参数和畸变参数。
2.如权利要求1所述的多图像传感器的监控设备的校准装置，其特征在于，所述校准区域由参考线和/或参考点划分成多个标定区域，每个所述标定区域内设有一标定模块。
专利摘要本实用新型公开了多图像传感器的监控设备的校准装置，该校准装置包括校准区域，位于被校准的监控物体的四周；图像传感器单元，安装于所述被监控物体上，用于获取所述校准区域的图像信息，且任意相邻两个所述图像传感器存在互相重叠的视野区域；图像采集单元，与所述图像传感器单元连接，对所述图像传感器单元获取的图像进行采集和暂存；标定单元，与所述图像采集单元连接，利用所述图像采集单元所采集的所述图像传感器单元获取的图像，对所述图像传感器单元的姿态参数和位置参数以及所述图像传感器的光学参数和畸变参数进行标定；输出单元，与所述标定单元连接，输出所述图像传感器单元的姿态参数和位置参数以及所述图像传感器的光学参数和畸变参数。
文档编号H04N7/18GK202111802SQ20112004606
公开日2012年1月11日 申请日期2010年2月12日 优先权日2010年2月12日
发明者王炳立 申请人:王炳立