摄像机校准装置、摄像机校准系统及摄像机校准方法

文档序号:9713959阅读:806来源:国知局
摄像机校准装置、摄像机校准系统及摄像机校准方法
【技术领域】
[0001 ]本发明涉及摄像机校准装置、摄像机校准系统及摄像机校准方法。
【背景技术】
[0002]目前,为了提高例如车辆后退时的可视性,已知如下装置:将由车载摄像机拍摄了的车辆后方的图像显示于车载监视器,使对驾驶员来说是视野死角的车辆后方附近的状况作为显示于车载监视器的图像进行视认。
[0003]在这种装置中,为了适当校准(校正)显示于车载监视器的图像,在车辆后方设置校准用标识,一边观察车载监视器所映照的校准用标识的图像,一边调整车载摄像机的安装状态,以使得在车载监视器上适当映照该校准用标识的图像。另外,还通过对从车载摄像机得到的图像实施基于校准用标识的图像的规定的运算处理,适当校准显示于车载监视器的图像。
[0004]近年来,为了使驾驶员等能够看到车辆周围的状况,利用多个车载摄像机拍摄车辆的整个周围,将从各车载摄像机得到的多个图像分别变换成从正上方俯视车辆那样的图像(俯瞰图像),并且进行调整了各图像间的位置的绘图,由此,获得单一视点变换合成图像的装置也能够实用化。
[0005]在这种装置中,需要在例如相邻的两个图像间细致地进行对位,因此,期望精度更高的校准技术。
[0006]但是,在现有的校准方法中,需要严格规定校准用标识与车辆的相对的位置关系,需要在将车辆设置于规定位置后,对该车辆细致地设置校准用标识,或者,在将校准用标识设置于规定位置后,对该校准用标识细致地设置车辆。因此,例如为了在车辆的生产线上提高车辆与校准用标识的对位精度,需要花费巨额的费用改造设备。另外,例如在一旦从生产现场出库后,在销售、服务公司的维修保养部门等变更校准的情况下(在修理的情况下或在追加车载摄像机的情况下等),需要每次对车辆细致地设置校准用标识,从而存在校准的作业工序复杂的问题。
[0007]对于这种问题,专利文献1中公开了一种有助于简化校准环境的维修保养的摄像机校准装置。
[0008]在专利文献1所公开的摄像机校准装置中,求取用于将来自N台摄像机的各拍摄图像投影在规定面上进行合成的参数的参数导出单元,基于配置于各公共拍摄区域内的校准图案的各摄像机的拍摄结果,求取上述参数,各校准图案相互独立地配置。
[0009]现有技术文献
[0010]专利文献
[0011]专利文献1:日本特开2008 —187566号公报

【发明内容】

[0012 ]发明要解决的技术问题
[0013]根据专利文献1公开的摄像机校准装置,通过利用配置于各公共拍摄区域内的校准图案的拍摄结果,可以在共有公共拍摄区域的多个摄像机间进行图像的对位,可以导出用于合成各拍摄图像的参数。另外,各校准图案相互独立地配置,因此,可以简化校准环境的维修保养。
[0014]但是,在专利文献1公开的摄像机校准装置中,需要利用配置于各公共拍摄区域内的校准图案的拍摄结果,在应用于例如公共汽车或卡车、大型的建设用机械等之类的大型车辆的情况下,摄像机的设置位置通常变高,据此,在图像上较小地映照校准图案,因此,不易细致地设定图像上的特征点(校准图案)的位置。因此,需要准备与车辆的体格对应的校准图案,在例如建设机械等大型车辆中,需要准备1?3米左右大小的校准图案。而且,这样校准图案变大时,会发生操作员不易进行校准作业时的校准图案的搬运或设置作业的问题和需要准备用于校准图案的较大的保管场所的问题。
[0015]本发明是鉴于上述问题而完成的,其目的在于,提供一种摄像机校准装置、摄像机校准系统及摄像机校准方法,其能够大幅减轻伴随校准作业时的校准图案的搬运或设置作业而给作业者带来的负担,且能够使校准图案的保管场所显著地小型化。
[0016]用于解决问题的技术方案
[0017]为了解决上述问题,本发明提供一种摄像机校准装置,其对具有配置有至少两个校准图案的公共摄像区域的多个摄像机拍摄的图像彼此进行校准,其特征在于,包括:图像变换部,其基于根据各摄像机的初始参数变换成俯瞰视点(俯视)的投影矩阵,变换各摄像机拍摄的图像,生成变换图像;误差评价部,其计算上述变换图像中的从所述多个摄像机选择的基准摄像机所得到的变换图像与上述基准摄像机以外的摄像机所得到的变换图像的误差;投影矩阵更新部,其基于所述误差更新投影矩阵,使各摄像机的公共摄像区域的影像一致;摄像机参数计算部,其基于更新后的投影矩阵,计算包含关于各摄像机相对于地面的姿态(朝向)的外部参数的摄像机参数。
[0018]本发明还提供一种摄像机校准系统,其特征在于,包括:所述摄像机校准装置;具有公共摄像区域的多个摄像机;合成图像生成装置,其使用从所述摄像机校准装置得到的各摄像机的摄像机参数,对由所述多个摄像机拍摄的图像彼此进行校准,生成合成图像;显示所述合成图像的显示装置。
[0019]本发明还提供一种摄像机校准方法,其对具有配置有至少两个校准图案的公共摄像区域的多个摄像机拍摄的图像彼此进行校准,其特征在于,基于根据各摄像机的初始参数变换成俯瞰视点的投影矩阵,变换由各摄像机拍摄的图像,生成变换图像,计算所述变换图像中的从所述多个摄像机选择的基准摄像机所得到的变换图像与所述基准摄像机以外的摄像机所得到的变换图像的误差,基于所述误差更新投影矩阵,使各摄像机的公共摄像区域的影像一致,基于更新后的投影矩阵,计算包含与各摄像机相对于地面的姿态相关的外部参数的摄像机参数。
[0020]发明效果
[0021]根据本发明,在摄像机图像的校准时不需要使用公共摄像区域中的校准图案的特征点的配置关系,能够将该校准图案的数量及尺寸抑制为最低需要限度,因此,能够大幅减轻伴随校准作业时的校准图案的搬运或设置作业而给作业者带来的负担,并且能够使得用于校准作业的校准图案的保管场所显著地小型化。
[0022]上述以外的技术问题、结构和效果能够通过以下实施方式的说明进一步明确。
【附图说明】
[0023]图1是表示本发明的摄像机校准系统的实施方式的整体结构的图。
[0024]图2是示意性地表示各摄像机的设置位置和摄像区域的俯视图。
[0025]图3是说明图1所示的摄像机校准装置进行的摄像机的校准运算处理的图,是示意性地表示配置于校准目标的车辆和校准图案的俯视图。
[0026]图4是表示图1所示的摄像机校准装置的基本结构的基本结构图。
[0027]图5是说明图1所示的摄像机校准系统进行的摄像机校准方法的流程图。
【具体实施方式】
[0028]以下,参照【附图说明】本发明的摄像机校准装置及摄像机校准系统的实施方式。此夕卜,以下主要说明对由搭载于车辆的车载摄像机拍摄的图像彼此进行校准(校正)的情况,但本实施方式的摄像机校准装置和摄像机校准系统也可以适用于对由安装于车辆以外的设备上的多个摄像机拍摄的图像彼此进行校准的情况。另外,以下,对使用4台摄像机且相邻的两台摄像机彼此具有公共摄像区域的情况进行说明,但系统整体的摄像机的台数及拍摄公共摄像区域的摄像机的台数可以根据使用者等要求进行适当变更。另外,如以下说明,除了使用校准目标进行校准以外,也可以不使用校准目标而使用存在于公共摄像区域的特征物体来进行校准。
[0029]<摄像机校准系统的实施方式>
[0030]图1是表示本发明的摄像机校准系统的实施方式的整体结构的图。图示的摄像机校准系统100主要包括:具有4台摄像机111?114的摄像装置101、摄像机接口 10 2、图像存储装置(RAM) 104、参数存储装置(ROM) 105、输入装置106、具有摄像机校准装置108和合成图像生成装置109的运算装置103、显示装置107。
[0031]构成摄像装置101的各摄像机111?114分别如图2所示,设置于例如车辆1的前后左右,利用该4台摄像机111?114拍摄包含校准目标R的车辆1的周围的图像。
[0032]校准目标R具有后述的作为校准用标识的校准图案(参照图3)等的摄像机的校准所需要的信息,各摄像机111?114分别在摄像机图像的校准时拍摄校准目标R,且将拍摄的图像经由摄像机接口 102发送至运算装置103。此外,图2中的虚线表示各摄像机111?114的拍摄区域,为了细致地校准摄像机图像,相邻的摄像机具有重复部分,即被双方的摄像机共同地拍摄的区域(以下,称为“公共摄像区域”。)RK1?RK4。运算装置103利用摄像机校准装置108计算用于对各摄像机111?114拍摄的图像彼此进行校准的摄像机参数。
[0033]利用摄像机校准装置108计算出摄像机参数后,该摄像机参数被发送至合成图像生成装置109。另外,由摄像机111?114拍摄的图像经由摄像机接口 102被发送至运算装置103,由运算装置103中的合成图像生成装置109利用上述摄像机参数进行视点变换、合成后,被发送至显示装置107,经由显示装置107作为从正上方俯视车辆1的图像(俯瞰图像)提示给使用者等。此外,本实施方式中,由于对从各摄像机111?114得到的图像进行视点变换、合成,生成车辆1的周围的俯瞰图像,因此优选各摄像机111?114采用例如魚眼摄像机等的可拍摄大角度的摄像机。
[0034]如上所述,摄像机接口102将各摄像机111?114发送来的图像信号适当采样后,发送至运算装置103。
[0035]图像存储装置(RAM)104中储存各摄像机111?114拍摄的图像和运算装置103运算的各种运算结果。
[0036]另外,在参数存储装置(R0M)105中例如写入储存有:关于各摄像机111?114的设置位置、姿态(设置角度,朝向)的设计值等(将它们称为外部参数);关于各摄像机111?114的焦点距离、像素尺寸、光轴中
当前第1页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1