差量与规定的判断阈值，实施收敛判断处理S508。在该收敛判断处理S508中，实施误差评价处理S504中输出的误差量的收敛判断，在判断为误差没有收敛的情况下，利用图4所示的投影矩阵更新部143实施投影矩阵更新处理S505。该投影矩阵更新处理S505包括更新量计算处理S506和投影矩阵计算处理S507，在更新量计算处理S506中，计算摄像机姿态和位置等摄像机参数的更新量。在此，更新量成为为了减少表示一个摄像机图像中的公共摄像区域部分的图像与另一个摄像机图像中的公共摄像区域部分的图像一致到什么程度的误差量，而微小修改摄像机姿态和位置等摄像机参数的量。具体而言，更新量可以通过例如求取当前的摄像机参数中的误差函数的偏微分来计算。在更新量计算处理S506中，输出摄像机参数微小修改后的值，在投影矩阵计算处理S507中，接收更新量计算处理S506的输出值，计算与该摄像机参数相当的投影矩阵，并将其输出。
[0074]本实施方式中，反复实施图像变换处理S503、误差评价处理S504、投影矩阵更新处理S505，直到误差评价处理S504中的输出值收敛为止。评价每次实行的误差评价处理S504中输出的误差量，如果该误差量极小，则判断为误差进行了收敛并结束处理。这样反复实施图像变换处理S503、误差评价处理S504、投影矩阵更新处理S505的处理，由此，可以使一个摄像机图像中的公共摄像区域部分的图像与另一个摄像机图像中的公共摄像区域部分的影像一致，据此，得到公共摄像区域的法线向量，由此能够知道各图像没有偏离地连接，进而知道摄像机与平面的关系，因此能够根据多个摄像机的图像实现俯瞰图像的生成。
[0075]但是，在该上述处理中，虽然使图像连接而成为从上方俯视的图像，但1个像素的尺寸相当于多少距离是未知的，因而没有被修改。因此，实施比例修改处理S509，对其进行修改。比例修改处理S509中，由操作员等进行测定，利用经由输入装置106输入的关于校准图案的间隔的距离信息，修改摄像机参数，生成最终的俯瞰图像。作为该处理，基于俯瞰视点的摄像机的外部参数，计算在俯瞰图像中必须以多少像素观察校准图案的间隔，修改摄像机参数，使得俯瞰图像中的校准图案的间隔为实际计算出的像素间隔。通过实施以上的处理，可以实现摄像机的校准。
[0076]此外，本发明不限定于上述的实施方式，包含各种变形方式。例如，为了易于理解地说明本发明，而对上述实施方式进行了详细地说明，但并没有限定于包括以上说明中的全部结构。另外，可以将某实施方式的结构的一部分置换成另一实施方式的结构，另外，也可以对某实施方式的结构追加另一实施方式的结构。另外，可以对实施方式的结构的一部分进行其它结构的追加、删除、置换。
[0077]另外，控制线和信息线表示说明上需要的线，产品上没有限定于必须表示全部的控制线和信息线。实际上也可以认为几乎全部的结构相互连接。
[0078]符号的说明
[0079]1车辆
[0080]100摄像机校准系统[0081 ] 101 拍摄装置
[0082]102摄像机接口
[0083]103运算装置
[0084]104图像存储装置(RAM)
[0085]105参数存储装置(ROM)
[0086]106输入装置
[0087]107显示装置
[0088]108摄像机校准装置
[0089]109合成图像生成装置
[0090]111?114摄像机
[0091]141图像变换部
[0092]142误差评价部
[0093]143投影矩阵更新部
[0094]144校准部
[0095]145摄像机参数计算部
[0096]P1?P16 校准图案
[0097]R校准目标
[0098]RK1?RK4公共摄像区域
[0099]S501影像取得处理
[0100]S502 初始投影矩阵生成处理
[0101]S503图像变换处理
[0102]S504误差评价处理
[0103]S505投影矩阵更新处理
[0104]S506更新量计算处理
[0105]S507投影矩阵计算处理
[0106]S508收敛判断处理
[0107]S509比例修改处理。
【主权项】
1.一种摄像机校准装置，其对搭载于车辆且拍摄包含地面的车辆周围并且具有公共摄像区域的多个摄像机，使用配置于所述公共摄像区域中的至少3个校准图案来进行校准，该摄像机校准装置的特征在于，包括: 图像变换部，其基于规定的投影矩阵，将各摄像机拍摄的图像变换成俯瞰视点的图像；误差评价部，其计算所述多个摄像机中的规定的摄像机拍摄的所述校准图案的变换图像与其它摄像机拍摄的所述校准图案的变换图像的误差，其中，所述其它摄像机与该规定的摄像机之间具有公共摄像区域； 投影矩阵更新部，其基于所述误差来更新所述规定的投影矩阵；距离信息输入部，其输入所述校准图案中的任意两个校准图案之间的距离信息;和摄像机参数计算部，其将所述误差评价部计算出的所述误差成为零的投影矩阵，分解为变换图像中的地面的法线向量和摄像机间的相对的外部参数，根据所述地面的法线向量和摄像机间的相对的外部参数以及从所述距离信息输入部输入的距离信息，计算包含关于各摄像机相对于地面的姿态的外部参数的摄像机参数。2.如权利要求1所述的摄像机校准装置，其特征在于: 还包括输入所述车辆相对于所述地面的相对的旋转量的旋转量输入部， 所述摄像机参数计算部还追加使用从所述旋转量输入部输入的所述旋转量来计算所述摄像机参数。3.—种摄像机校准装置，其对搭载于车辆且拍摄包含地面的车辆周围并且具有公共摄像区域的多个摄像机，使用存在于所述公共摄像区域中的物体的特征点来进行校准，该摄像机校准装置的特征在于，包括: 图像变换部，其基于规定的投影矩阵，将各摄像机拍摄的图像变换成俯瞰视点的图像；误差评价部，其计算所述多个摄像机中的规定的摄像机拍摄的所述物体的变换图像与其它摄像机拍摄的所述物体的变换图像的误差，其中，所述其它摄像机与该规定的摄像机之间具有公共摄像区域； 投影矩阵更新部，其基于所述误差来更新所述规定的投影矩阵； 距离信息输入部，其输入所述物体中的任意两点之间的距离信息;和摄像机参数计算部，其将所述误差评价部计算出的所述误差成为零的投影矩阵，分解为变换图像中的地面的法线向量和摄像机间的相对的外部参数，根据所述地面的法线向量和摄像机间的相对的外部参数以及从所述距离信息输入部输入的距离信息，计算包含关于各摄像机相对于地面的姿态的外部参数的摄像机参数。4.如权利要求3所述的摄像机校准装置，其特征在于: 还包括输入所述车辆相对于所述地面的相对的旋转量的旋转量输入部， 所述摄像机参数计算部还追加使用从所述旋转量输入部输入的所述旋转量来计算所述摄像机参数。5.—种摄像机校准方法，其对搭载于车辆且拍摄包含地面的车辆周围并且具有公共摄像区域的多个摄像机，使用配置于所述公共摄像区域中的至少3个校准图案来进行校准，其特征在于，包括: 基于规定的投影矩阵，将各摄像机拍摄的图像变换成俯瞰视点的图像的步骤； 计算所述多个摄像机中的规定的摄像机拍摄的所述校准图案的变换图像与其它摄像机拍摄的所述校准图案的变换图像的误差的步骤，其中，所述其它摄像机与该规定的摄像机之间具有公共摄像区域； 基于所述误差来更新所述规定的投影矩阵的步骤;和 将所述误差成为零的投影矩阵分解为变换图像中的地面的法线向量和摄像机间的相对的外部参数，根据所述地面的法线向量和摄像机间的相对的外部参数以及所述校准图案中的任意两个校准图案之间的距离信息，计算包含关于各摄像机相对于地面的姿态的外部参数的摄像机参数。6.—种摄像机校准方法，其对搭载于车辆且拍摄包含地面的车辆周围并且具有公共摄像区域的多个摄像机，使用存在于所述公共摄像区域中的特征物体来进行校准，其特征在于，包括: 基于规定的投影矩阵，将各摄像机拍摄的图像变换成俯瞰视点的图像的步骤； 计算所述多个摄像机中的规定的摄像机拍摄的所述特征物体的变换图像与其它摄像机拍摄的所述特征物体的变换图像的误差的步骤，其中，所述其它摄像机与该规定的摄像机之间具有公共摄像区域； 基于所述误差来更新所述规定的投影矩阵的步骤;和 将所述误差成为零的投影矩阵分解为变换图像中的地面的法线向量和摄像机间的相对的外部参数，根据所述地面的法线向量和摄像机间的相对的外部参数以及所述特征物体中的任意两点之间的距离信息，计算包含关于各摄像机相对于地面的姿态的外部参数的摄像机参数。
【专利摘要】本发明提供一种能够大幅减轻伴随校准作业时的校准图案的搬运或设置作业而给作业者带来的负担，且使校准图案的保管场所显著地小型化的摄像机校准装置和摄像机校准系统。包括：基于根据各摄像机的初始参数变换成俯瞰视点的投影矩阵，变换由各摄像机拍摄的图像，生成变换图像的图像变换部(141)；计算该变换图像中的从多个摄像机选择的基准摄像机所得到的变换图像与基准摄像机以外的摄像机所得到的变换图像的误差的误差评价部(142)；基于该误差更新投影矩阵，使各摄像机的公共摄像区域的影像一致的投影矩阵更新部(143)；基于更新后的投影矩阵，计算包含关于各摄像机相对于地面的姿态的外部参数的摄像机参数的摄像机参数计算部(145)。
【IPC分类】H04N7/18, G06T1/00, B60R1/00
【公开号】CN105474634
【申请号】CN201480045455
【发明人】坂野盛彦, 佐藤启二
【申请人】歌乐株式会社
【公开日】2016年4月6日
【申请日】2014年8月25日
【公告号】EP3041228A1, US20160176343, WO2015029934A1