照相机的校准方法以及装置制造方法
【专利摘要】本发明提供一种不要求车辆与校正用标识的相对设置精度且能够使校正用标识的敷设准备简略化的照相机的校准方法以及装置。该照相机的校准方法根据多个图像进行照相机的校准，所述多个图像通过在设置有车辆的路面上，利用设置在车辆上的多个照相机拍摄包括预先设置的校正用标识在内的所述车辆的周边区域而得到，校正用标识是至少两条第一平行直线与斜率不同于两条平行直线的两条第二平行直线相交的多个交点，该照相机的校准方法根据预先存储有多个图像的各个图像的第一照相机参数进行视点变换而生成俯瞰影像，根据生成的俯瞰影像识别多个交点，根据识别出的多个交点与多个照相机的位置以及姿势的信息，计算能够生成没有偏移的俯瞰影像的第二照相机参数。
【专利说明】照相机的校准方法以及装置
【技术领域】
[0001]本发明涉及一种照相机的校准方法以及装置。
【背景技术】
[0002]通过将由车载照相机拍摄到的车辆后方的图像显示在车载监视器，使从驾驶员观察处于盲区的车辆后方附近的状况成为在车载监视器显示的图像而进行目测，从而提高车辆后退时的可见性。
[0003]在使这种车载照相机的图像显示在车载监视器时，为了校正车载照相机向车辆的安装状态，在车辆的后方设置校正用的标识，并一边观察呈现在车载监视器的校正用标识的像，一边适当调整车载照相机的安装状态以适当呈现该校正用的标识的像。
[0004]而且，对于由车载照相机得到的图像，通过实施基于校正用标识的像的规定的运算处理，从而适当校正呈现在车载监视器的图像。
[0005]而且，通过多个车载照相机对车辆的周围整体进行拍摄，并将通过各个车载照相机得到的多个图像分别变换成如从车辆的正上方俯视而得到的图像(俯视图像)，并且进行调整了在各个图像间的位置的匹配，从而得到单一的视点变换合成图像(专利文献I)。
[0006]在这种情况下，由于需要在邻接的两个图像间精度良好地进行对位，因此要求高精度的校准。
[0007]但是，现有的校准方法需要严格确定校正用标识与车辆的相对位置关系，需要在设置车辆后，对于该车辆精度良好地设置校正用标识，或者需要在设置校正用标识后，对于该校正用标识精度良好地设置车辆。
[0008]因此，在车辆生产线中，花费费用而改造设备以对提高车辆与校正用标识的对位精度进行研究。此外，一旦从生产现场出场后在销售或服务公司的配备部门重新进行校准时(修理等情况或附加车载照相机等的情况等)，需要根据其状况精度良好地设置校正用标识，因此造成更加花费作业工时。
[0009]由于这样的状况，寻求一种不要求车辆与校正用标识的相对设置精度的校准方法。
[0010]作为不要求车辆与校正用标识的相对设置精度的校准方法而存在专利文献2。专利文献2利用如白线格子的直线性、平行性、正交性、间隔等与车辆的停车状态无关的特征对多个照相机的内部参数或者歪曲参数以及外部参数进行校准。由于无需车辆的定位也能够校准内部参数或者歪曲参数，因此能够实现简易且高精度的校准。
[0011]【在先技术文献】
[0012]【专利文献】
[0013]专利文献1:国际公开第00/07373号公报
[0014]专利文献2:日本特开2012-015576号公报
[0015]【发明要解决的课题】
[0016]但是，在车辆下的平面直接描画或者通过敷设地利用校正用的白线格子，因此在大型的建筑用设备等车辆庞大的情况下需要大的校正用图表，从而在校正用图表的制作、搬运、敷设等校正所需的准备花费工时。
【发明内容】
[0017]本发明鉴于上述课题而完成，其目的在于，不需要求车辆与校正用标识的相对设置精度并且能够使校正用标识的敷设准备简略化。
[0018]【用于解决课题的手段】
[0019]为了解决上述课题，本发明采取一种照相机的校准方法，其根据多个图像来进行照相机的校准，所述多个图像通过在设置有车辆的路面上，利用设置在车辆上的多个照相机对包括预先设置的校正用标识在内的所述车辆的周边区域拍摄而得到，校正用标识是至少两条第一平行直线与斜率不同于两条第一平行直线的两条第二平行直线相交的多个交点，该照相机的校准方法根据预先存储有多个图像的各个图像的第一照相机参数进行视点变换而生成俯瞰影像，根据生成的俯瞰影像识别多个交点，根据识别出的多个交点与多个照相机的位置以及姿势的信息，计算能够生成没有偏移的俯瞰影像的第二照相机参数。
[0020]而且，本发明采取一种照相机的校准装置，其根据多个图像进行照相机的校准，所述多个图像通过在设置有车辆的路面上，利用设置在车辆上的多个照相机对包括预先设置的校正用标识在内的车辆的周边区域进行拍摄而得到，校正用标识是至少两条第一平行直线与斜率不同于两条第一平行直线的两条第二平行直线相交的多个交点，该照相机的校准装置包括:俯瞰影像生成部，其根据预先存储有多个图像的各个图像的第一照相机参数进行视点变换而生成俯瞰影像；特征点识别部，其根据生成的俯瞰影像识别多个交点；校准部，其根据识别出的多个交点与多个照相机的位置以及姿势的信息，计算能够生成没有偏移的俯瞰影像的第二照相机参数。
[0021]【发明效果】
[0022]本发明不需要求车辆与校正用标识的相对设置精度并且能够使校正用标识的敷设准备简略化。`【专利附图】
【附图说明】
[0023]图1为表示本发明所涉及的照相机的校准装置的一个结构例的图。
[0024]图2为表示本发明的校准目标的一个示例的图。
[0025]图3为表示本发明的车辆相对于校准目标的设置状态的图。
[0026]图4为表示本发明的校准装置的流程的一个示例的图。
[0027]图5为表示本发明的识别判定部的流程的一个示例的图。
[0028]图6为表示本发明的校准部的流程的一个示例的图。
【具体实施方式】
[0029]以下对本发明所涉及的校准装置的一个示例进行说明。
[0030]图1为表示本实施例的校准装置的一个示例的图。
[0031]一种校准装置100，其根据多个图像进行照相机的校准，所述多个图像通过在设置有车辆的路面上，利用设置在车辆上的多个照相机对包括预先设置的校正用标识在内的车辆的周边区域进行拍摄而得到，该校准装置100具备:校准目标101 ;作为拍摄部的照相机
1、照相机2、照相机3、照相机4 ;照相机接口 102 ;运算装置103 ;作为存储部的RAM104 ;作为存储部的ROM105 ;输入装置106 ;显示装置107。
[0032]作为校正用标识的校正目标101具有在本发明中实施的校准所需的信息。通过照相机1、照相机2、照相机3、照相机4的各个照相机进行拍摄，并用于校准。关于校准所需的信息在下述的图2的说明中表示。
[0033]照相机1、照相机2、照相机3、照相机4的各个照相机例如像图3那样设置在车辆的前后左右。校正时对校正目标101进行拍摄，并将拍摄的影像用于校准。校准后通过运算装置103对照相机1、照相机2、照相机3、照相机4的各个照相机的影像进行视点变换、合成，并通过显示装置107向用户提示从车辆的正上方俯视的俯瞰影像。
[0034]照相机接口 102准确地对从作为拍摄部的照相机1、照相机2、照相机3、照相机4的各个照相机送出的影像信号进行采样，并将采样出的来自各个照相机的影像信号送入运算装置103。
[0035]运算装置103协同照相机接口 102、RAM104、R0M105、输入装置106、显示装置107，
实施包括校准运算的各种运算。具体而言，进行如下的处理，即，取得从照相机接口 102送来的影像信号，存储在RAM104，或读取存储在R0M105的作为第一照相机参数的照相机参数初始值411，对存储在RAM104的影像信号进行视点变换以及合成，或将视点变换以及合成后的影像信号显示在显示装置107。而且，以使俯瞰影像成为从正上方俯视的影像的方式，实施计算照相机的设置位置、照相机姿势的校准运算，或接受在输入装置106接收的用户的输入信息，而活用于校准运算。关于详细的顺序，配合下述的图4、图5进行说明。
[0036]RAM104存储有由照相机1、照相机2、照相机3、照相机4拍摄并从照相机接口 102取得的影像信号。而且，也存储有通过运算装置103得到的计算结果。
[0037]R0M105写入并存储有对校准装置100而言需要的事前的信息。例如，存储有照相机的设置位置、姿势的设计值、照相机的焦点距离、像素尺寸、光轴中心、歪曲函数等照相机参数。
[0038]输入装置106从用户接收校准所需的信息等的输入，并将该输入信息送入运算装置 103。
[0039]显示装置107根据运算装置103的指示，对照相机1、照相机2、照相机3、照相机4的各个影像信号进行变换并显示。根据来自运算装置103的指示，仅不变换照相机2的影像而显示，或者对照相机1、照相机2、照相机3、照相机4的各影像信号进行视点变换、合成而变换成俯瞰影像地进行显示。
[0040]图2为在本实施例中利用的作为校正用标识的校准目标101的一个示例。
[0041]校准目标101由特征点201至特征点216的16个特征点构成。特征点201至特征点216设置在一个平面上。特征点201至特征点216为各平行直线的交点。
[0042]此处，作为校正用标识的校准目标101例如是至少两条第一平行直线(L1、L2)与垂直于两条平行直线的两条第二平行直线(L5、L6或者L7、L8)相交的多个交点(特征点201、特征点202、特征点205、特征点206、或者特征点209、特征点210、特征点213、特征点214)。但是，如图2所示，作为校正用标识的校准目标101也可以是四条平行直线(第一平行直线:L1、L2，第三平行直线:L3、L4)与垂直于四条平行直线的四条平行直线(第二平行直线:L5、L6，第四平行直线:L7、L8)相交的多个交点(特征点201至特征点216)。而且，也可以是四条平行直线(第一平行直线:L1、L2，第三平行直线:L3、L4)与垂直于四条平行直线的两条平行直线(第二平行直线:L5、L6或者第四平行直线:L7、L8)相交的多个交点(特征点201至208、特征点209、特征点210、特征点213、特征点214，或者特征点201至208、特征点211、特征点212、特征点215、特征点216)。
[0043]例如，连结特征点201与特征点213的直线L1、连结特征点202与特征点214的直线L2、连结特征点203与特征点215的直线L3、连结特征点204与特征点216的直线L4相互平行。而且，连结特征点201与特征点204的直线L5、连结特征点205与特征点208的直线L6、连结特征点209与特征点212的直线L7、连结特征点213与特征点216的直线L8
相互平行。
[0044]另外，在连结特征点201与特征点213的直线LI上存在特征点205与特征点209，在连结特征点202与特征点214的直线L2上存在特征点206与特征点210，在连结特征点203与特征点215的直线L3上存在特征点207与特征点211，在连结特征点204与特征点216的直线L4上存在特征点208与特征点212。
[0045]另外，在连结特征点201与特征点204的直线L5上存在特征点202与特征点203，在连结特征点205与特征点208的直线L6上存在特征点206与特征点207，在连结特征点209与特征点212的直线L7上存在特征点210与特征点211，在连结特征点213与特征点216的直线L8上存在特征点214与特征点215。
[0046]而且，特征点201与特征点205的间隔为W1，特征点205与特征点209的间隔为W2，特征点209与特征点213的间隔为W3等规定值。
[0047]而且，特征点201与特征点202的间隔为W4，特征点202与特征点203的间隔为W5，特征点203与特征点204的间隔为W6等规定值。
[0048]在图1的说明的先头部分记述的“校准所需的信息”指上述特征点的平面性；特征点构成的直线LI至L4与L5至L8的平行性；特征点201、特征点205、特征点209、特征点213存在于LI上等的直线性；特征点的间隔Wl至W6。无需在校准目标101上实际描画直线LI至L8。
[0049]此处所示的校准目标101仅为一个示例，并非限定于此。例如，只要满足平行性、直线性，则也可以增加特征点的数量。而且，连结特征点201与特征点204的直线L5与连结特征点201与特征点213的直线LI未必具备正交性。
[0050]举出具体例时，也可以为直线L1、L2相对于直线L5、L6从正交偏离5度，直线L3、L4相对于直线L5、L6从正交偏离10度等的状况。
[0051]在上述的条件下也能够校准，但为了输出精度，优选L1、L2、L3、L4全部平行且L5、L6、L7、L8全部平行。LI?L4的直线和L5?L8的直线的关系也可以为从正交偏离。
[0052]而且，特征点本身与形状无关。优选为交点坐标能够尽可能精度良好地可读的形状。
[0053]图3表示车辆301相对于校准目标101的设置状态。分别在车辆301的前侧安装有照相机1，后侧安装有照相机2，左侧安装有照相机3，右侧安装有照相机4。车辆301在校准目标101的内侧停车。此时，虽然车辆301的理想的停车位置为车辆中心与目标的中心一致的位置，然而也可以像图3那样使车辆301倾斜或者使车辆301的停车位置向前后左右偏移。
[0054]但是，需要使特征点201、特征点202、特征点203、特征点204、特征点205、特征点206、特征点207、特征点208配置在照相机I的拍摄范围内。
[0055]而且，需要在照相机2的拍摄范围内拍摄到特征点209、特征点210、特征点211、特征点212、特征点213、特征点214、特征点215、特征点216。
[0056]而且，需要在照相机3的拍摄范围内拍摄到特征点201、特征点202、特征点205、特征点206、特征点209、特征点210、特征点213、特征点214。
[0057]而且，需要在照相机4的拍摄范围内拍摄到特征点203、特征点204、特征点207、特征点208、特征点211、特征点212、特征点215、特征点216。
[0058]图4为校准装置100的运算装置103的流程图的一个示例。
[0059]以下对各个处理进行说明。
[0060]在影像取得处理401从照相机接口 102取得由照相机1、照相机2、照相机3、照相机4的各个照相机拍摄校准目标101而得到的各个影像信号。该影像信号经由运算装置103而保存在RAM104。
[0061 ] 在映像生成处理402中，从作为存储部的R0M105读取照相机参数初始值411，根据照相机参数初始值411而生成映像，所述映像将保存在作为存储部的RAM104的照相机1、照相机2、照相机3、照相机4的各个影像信号变换成俯瞰影像。例如关于照相机1，映像由如下的信息的集合体构成，所述信息为与俯瞰影像中的某个像素对应的像素是由照相机I拍摄到的影像的该像素等。映像在对照相机1、照相机2、照相机3、照相机4的各个影像信号进行视点变换、合成时使用。只要了解照相机的初始姿势与俯视视点的姿势，则能够根据照相机的几何变换公式容易地求出俯瞰影像的某个像素与各个照相机影像的像素的对应关系O
[0062]俯瞰影像生成处理403利用由映像生成处理402生成的映像与通过照相机1、照相机2、照相机3、照相机4的各个照相机进行拍摄并存储在RAM104的各个影像信号，对各个影像信号进行视点变换来生成各个俯瞰影像。此时，不进行照相机影像的合成。将与照相机1、照相机2、照相机3、照相机4的各个影像信号变换成俯视视点的情况相对应的四个俯瞰影像再次存储在RAM104中。
[0063]此处生成的俯瞰影像并非完全从正上方观察而得到的影像。这是由于在安装时微妙地位置偏移或者姿势偏移从而能造成实际安装的照相机的状态与照相机参数初始值411不同的缘故。只有在照相机的安装与照相机参数初始值411完全相同时成为完全从正上方观察的影像，即使稍有偏移也会在俯瞰影像产生偏移。因此，需要可以求出正确的照相机位置、姿势的校准。
[0064]在特征点识别处理404识别保存在RAM104的照相机1、照相机2、照相机3、照相机4的四个俯瞰影像中呈现的特征点。
[0065]在照相机I的俯瞰影像中，呈现出特征点201、特征点202、特征点203、特征点204、特征点205、特征点206、特征点207、特征点208的8个特征点。
[0066]在照相机2的俯瞰影像中，呈现出特征点209、特征点210、特征点211、特征点
212、特征点213、特征点214、特征点215、特征点216的8个特征点。
[0067]在照相机3的俯瞰影像中，呈现出特征点201、特征点202、特征点205、特征点206、特征点209、特征点210、特征点213、特征点214的8个特征点。
[0068]在照相机4的俯瞰影像中，呈现出特征点203、特征点204、特征点207、特征点208、特征点211、特征点212、特征点215、特征点216的8个特征点。
[0069]通过图像识别自动识别上述各个照相机所呈现的特征点，并取得各特征点的在图像上的坐标。对于取得方法，通过样板匹配或霍夫变换等既有的图像识别方法来实施。
[0070]在识别判定处理405中判定在特征点识别处理404识别的特征点正确与否。在图5的说明部分说明判定方法。
[0071]在识别判定处理405判断为否的情况即判定为识别的特征点错误的情况下向由用户进行的特征点输入模式转移。首先，在监视器显示处理406中，在显示装置107显示保存在RAM104的照相机I的俯瞰影像。用户一边参照监视器影像，一边利用输入装置106手动输入在照相机I呈现的特征点的坐标。此时，显示装置107例如为PC的监视器，输入装置106利用鼠标等。而且，分别将直线L5的端部的两个特征点、直线L6的端部的两个特征点、直线LI上的两个特征点、直线L2上的两个特征点、直线L3上的两个特征点、直线L4上的两个特征点成对输入(手动输入处理407)。
[0072]通过照相机2、照相机3、照相机4的俯瞰影像来实施该操作。
[0073]分别将照相机2中的直线L7的端部的两个特征点、直线L8的端部的两个特征点、直线LI上的两个特征点、直线L2上的两个特征点、直线L3上的两个特征点、直线L4上的两个特征点成对输入。
[0074]分别将照相机3中的直线LI的端部的两个特征点、直线L2的端部的两个特征点、直线L5上的两个特征点、直线L6上的两个特征点、直线L7上的两个特征点、直线L8上的两个特征点成对输入。
[0075]分别将照相机4中的直线L3的端部的两个特征点、直线L4的端部的两个特征点、直线LI上的两个特征点、直线L2上的两个特征点、直线L3上的两个特征点、直线L4上的两个特征点成对输入。
[0076]利用在此输入的特征点坐标实施校准处理408。
[0077]另外，在识别判定处理405是的情况，即识别出的特征点正确时利用该识别出的特征点实施校准处理408。
[0078]在校准处理408修正偏离照相机1、照相机2、照相机3、照相机4的各个照相机的位置以及姿势的设计值的误差，以得到没有偏移的理想的俯瞰影像。位置指三维空间坐标(X、1、Z)，姿势指滚动、俯仰、横摆。具体处理通过流程图来说明图6的校准处理408的处理。此处，得到包含偏离各个照相机的设计值的误差的位置以及姿势即作为第二照相机参数的校准完成的参数412。
[0079]映像生成处理409的处理内容与映像生成处理402相同。映像使照相机1、照相机
2、照相机3、照相机4的影像中的各个像素与变换后的俯视视点的照相机影像的像素相对应，通过按照该对应关系生成俯瞰影像而进行合成。视点变换在俯瞰影像生成处理403的俯瞰影像生成的时刻进行，而合成在该时刻开始实施。映像生成处理402的映像生成不合成照相机1、照相机2、照相机3、照相机4的影像，而仅将各个影像变换成俯视视点。由于在生成该映像时利用校准完成的参数412，因此成为正确了解照相机1、照相机2、照相机3、照相机4的姿势的状态。由于根据基于该正确的姿势算出的像素的对应关系生成映像，因此使用该映像对影像进行俯视变换时，可以得到没有偏移的正确的俯瞰影像。
[0080]在监视器显示处理410使用考虑到通过映像生成处理409生成的安装位置与姿势的误差的映像来生成俯瞰影像，并将生成的俯瞰影像向监视器输出。在显示装置107显示输出的俯瞰影像。
[0081]调整功能处理411为用户能够一边观察监视器显示410的结果一边调整显示影像的功能。例如，与俯瞰影像一起在监视器显示像调整用的滑杆那样的图标。显示的滑杆与照相机参数对应。通过输入装置106左右移动滑杆，使照相机参数变化。当改变参数时根据该参数的值切换俯瞰影像的显示。通过该功能用户能够一边观察影像一边调整照相机参数。即使在例如校正精度不够而略微残留有偏移的情况，也能够通过该调整功能得到没有偏移的正确的俯瞰影像。在偏移大的阶段难于使用户进行这种调整，然而在例如基本上能够正确调整而仅存在少许偏移的情况下，即使用户没有经验或知识也能够简单地进行补正。在判断为俯瞰影像没有偏移、校准精度足够的情况无需使用该功能。
[0082]如上所述，根据影像取得处理401至监视器显示处理410能够显示没有偏移的正确的俯瞰影像。
[0083]图5为表示识别判定处理405的详细处理的流程图。
[0084]在识别判定处理405判定通过特征点识别处理404识别的特征点正确与否。判定以实施一部分校准的方式进行。
[0085]在假想直线生产处理501生成连结成对的特征点的直线。通过满足该直线的平行性并使间隔固定的方式进行调整来实施校准。
[0086]在俯仰补正处理502进行照相机俯仰角的校准。此处，计算照相机1、照相机2、照相机3、照相机4的各个照相机的俯仰角，所述各个照相机的俯仰角使在校准目标101上平行的直线平行，即，使L1、L2、L3、L4以及L5、L6、L7、L8的直线平行。在未校准的状态下，存在照相机的设置误差、姿势误差。因此，原来看上去平行的直线看起来不平行而呈“八字”状。计算使该“八字”看起来平行的照相机的俯仰角。关于照相机1、照相机2，计算满足直线L1、L2、L3、L4的平行性的俯仰角，关于照相机3、照相机4，计算满足直线L5、L6、L7、L8的平行性的俯仰角。
[0087]另外，计算方法，例如，对于照相机1、照相机2，设计如下述的误差函数，所述误差函数在能够由直线L1、L2、L3、L4构成的全部的成对的角度为O度时最小，而越从O度偏移值越大，通过利用最佳化方法使照相机的俯仰角反复变化以使其误差函数最小，从而能够得到使L1、L2、L3、L4平行的俯仰角，S卩，能够得到变更成俯视视点的理想的俯仰角。若了解变更成俯视视点的理想的俯仰角，反之则变为计算包含误差的照相机的俯仰角(当前的安装状态)。对于照相机3、照相机4，利用直线L5、L6、L7、L8而实施同样的处理。
[0088]在平行性判定处理503判定通过俯仰补正处理502求出的俯仰角进行变换的俯瞰影像的假想直线的平行性。关于平行性，例如，对于照相机1、照相机2，设置能够由直线L1、L2、L3、L4构成的全部的成对的角度中最大的角度，在最大角度偏移设计人员根据环境确定的固定值以上(例如I度以上)时判断为否，即未正确进行特征点的识别，而在固定值以内时判断为是。通过俯仰补正处理502得到的俯仰角能够使各直线尽可能平行地俯视变换。即使这样，从平行偏移角度，可以将其视为特征点的识别本身没有正确进行。否的情况向监视器显示处理406、手动输入处理407迁移。即，让用户输入特征点。是的情况实施进一步的判定。
[0089]在横摆补正处理504进行照相机的横摆角的校准。该处理在识别判定处理405中作为后步的高度补正处理505的前处理。若补正俯仰角与横摆角，则能够制作从正上方观察而得到的俯瞰影像，从而能够实施后步的高度补正处理505。校准的思路与俯仰补正处理502完全相同。利用最佳化方法计算横摆角以使直线平行。但是，参照的直线不同。俯仰角与照相机的纵方向的摇摆对应，而横摆角与横方向的摇摆对应。
[0090]因此，对于各个照相机，调整角度以使与横线对应的直线平行。对于照相机1，求横摆角以使直线L5与L6平行，对于照相机2，求横摆角以使直线L7与L8平行，对于照相机3，求横摆角以使直线LI与L2平行，对于照相机4，求横摆角以使直线L3与L4平行。此处，由于从照相机只能看到两条直线，因此即使特征点坐标存在误差也一定能够得到平行的横摆角，因此不能进行是、否的判定。但是，使用直线条数不同的校准目标101的情况没有这种限制，此处与俯仰角同样也可以实施是、否的判定。
[0091]在高度补正处理505进行照相机高度的校准。通过照相机高度的校准求出使直线的间隔与规定的间隔(即，在校准目标101上的直线的间隔)相同的照相机的高度。照相机I呈现有直线L1、L2、L3、L4、L5、L6。直线LI与L2的间隔为W4，直线L2与L3的间隔为W5，直线L3与L4的间隔为W6，直线L5与L6的间隔为Wl。能够根据几何计算容易地算出它们在俯瞰影像上的间隔。求出使这些间隔与特征点所构成的假想直线的间隔相等的照相机的高度。
[0092]计算方法与俯仰补正处理502的情况同样，采取如下的方式，即，设计使假想直线的间隔成为规定间隔的情况下变得最小的误差函数，利用最佳化方法使照相机高度反复变化以使该误差函数变得最小。此处得到的使误差变得最小的照相机高度表示包含误差的照相机高度(当前的安装状态)。照相机2、照相机3、照相机4的情况也同样对拍摄的特征点所构成的假想直线实施该处理。
[0093]在间隔判定处理506判定利用通过高度补正处理505求出的照相机高度生成俯瞰影像的情况的假想直线的间隔。当假想直线的间隔的偏移超出设计人员根据环境确定的固定值以上地偏移时判断为否，即判断为特征点的识别没有正确进行，而当假想直线的间隔的偏移在设计人员根据环境确定的固定值以内时判断为是，即判断为特征点的识别正确进行。通过高度补正处理505得到的照相机高度用于生成例如使各个假想直线的间隔尽量成为规定的间隔的俯瞰影像。如果特征点的识别正确，则应当发现全部的直线的间隔一致的照相机高度。相反间隔偏移可以视为特征点的识别没有顺利进行。
[0094]在间隔判定处理506判断为否时，向监视器显示处理406、手动输入处理407迁移。即让用户输入特征点。是的情况向校准处理408迁移。
[0095]图6为表示校准处理408的具体处理的流程图。
[0096]校准处理408由假想直线生成处理501、俯仰补正处理502、横摆补正处理504、高度补正处理505、倾滚补正处理601、平移补正处理602构成。采取按照如下的顺序求值的方式，即，通过俯仰补正处理502求出俯仰角，通过横摆补正求出横摆角，通过高度补正求出照相机高度，通过倾滚补正求出倾滚角，通过平移补正求出照相机平移位置，求出三个照相机姿势参数，再求出与三维空间坐标对应的照相机位置参数。
[0097]通过俯仰补正处理502、横摆补正处理504得到生成从正上方俯视的俯瞰影像的俯仰角与横摆角，通过高度补正处理505得到生成成为与校准目标101—致的直线间隔的俯瞰影像的照相机高度，通过倾滚补正处理601得到考虑到车辆的倾斜停车成分与照相机倾滚角的倾滚角，通过平移补正处理602得到照相机的平移位置。
[0098]由于假想直线生成处理501、俯仰补正处理502、横摆补正处理504、高度补正处理505与在图5的识别判定处理405说明的内容完全相同，因此省略对处理的说明。
[0099]在倾滚补正处理601校准照相机的倾滚角。倾滚角的校准使在照相机1、照相机
2、照相机3、照相机4呈现的纵向的直线L1、L2、L3、L4的斜率全体暂时在同一方向上一致，之后，在使照相机1、照相机2、照相机3、照相机4的倾滚角全部改变相等量的前提下，求出俯瞰影像中的各个照相机的连接处部分的使直线L1、L2、L3、L4的误差最小的倾滚角。在使直线的斜率暂时在同一方向上一致后，使倾滚角变更相等量，这是由于在直线的斜率相同的解中存在真正的倾滚角的缘故，其用于限定候选解。而且，基于如下的理由将连接处部分的误差最小的倾滚角作为解。
[0100]首先，可以视为照相机的位置误差小(?Icm左右)，在该情况下，在照相机俯瞰影像上表现出的位置偏移小。若位置偏移小，由于其他误差(俯仰角、横摆角、高度)全部修正完成，因此通过使俯瞰影像接近自然地进行补正，能够求出与实际的姿势误差对应的倾滚角。计算方法与其他方方法同样，设计目的函数，并求出最小化的角度。设计连接处部分的直线偏移误差小时变得最小的目的函数。该处理与俯仰补正502、横摆补正504、高度补正505不同，并非使用一台照相机的信息来实施，而使用照相机1、照相机2、照相机3、照相机4的信息实施。
[0101]在平移补正处理602对各个照相机的平移成分进行校准。当将三维坐标设为X、y、z，将z设为高度时，该校准为对对应于X、y坐标的成分的校准。通过照相机的平移成分的校准求出俯瞰影像中的直线偏移最小的平移成分。与倾滚补正601的不同点在于变化的参数，倾滚补正处理601中为倾滚角，平移补正处理602中为平移成分。
[0102]S卩，使影像向上下左右偏移，并使偏移最小化地求值。由于利用倾滚补正处理601仅通过倾滚角进行调整，因此虽然不能完全去除平移成分的误差，然而能够通过平移补正处理602去除该误差从而生成没有偏移的俯瞰影像。平移成分的计算方法与其他方法相同，设计误差函数，并求出例如使其最小化的平移成分。设计连接处部分的直线的偏移误差小时变得最小的误差函数。通过最佳化法求出使误差最小化的平移成分。其为与实际的照相机的设置偏移量对应的平移成分。
[0103]通过上述方式得到的参数生成如下的俯视图，所述俯视图不会偏移包含偏离设计值的误差在内的照相机设置或姿势。
[0104]而且，在本实施例中，对使用四台照相机的情况进行了说明。即，如果存在特征点201至特征点216，则通过四台照相机能够进行补正。但是，为了补正四台照相机，至少具备特征点201至208、特征点209、特征点210、特征点213、特征点214，或者特征点201至208、特征点211、特征点212、特征点215、特征点216即可。而且，本发明至少需要两台照相机，三台照相机的情况也可以应用本发明。例如，若具有特征点201、特征点202、特征点205、特征点206则能够补正照相机I与照相机3，若具有特征点203、特征点204、特征点207、特征点208则能够补正照相机I与照相机4，若具有特征点201至特征点208则能够补正照相机
1、照相机3、照相机4。[0105]综上，通过说明的校准方法，不需要求车辆与校正用标识的相对设置精度并且能够使校正用标识的敷设准备简略化。
【权利要求】
1.一种照相机的校准方法，该校准方法根据多个图像来进行照相机的校准，所述多个图像通过在设置有车辆的路面上，利用设置在所述车辆上的多个照相机，对包括预先设置的校正用标识在内的所述车辆的周边区域进行拍摄而得到， 所述校正用标识是至少两条第一平行直线与斜率不同于所述两条第一平行直线的两条第二平行直线相交的多个交点， 所述照相机的校准方法包括: 根据预先存储有所述多个图像的各个图像的第一照相机参数进行视点变换而生成俯瞰影像的步骤； 根据生成的所述俯瞰影像识别所述多个交点的步骤； 根据识别出的所述多个交点与所述多个照相机的位置以及姿势的信息，计算能够生成没有偏移的俯瞰影像的第二照相机参数的步骤。
2.如权利要求1所述的照 相机的校准方法，其中， 计算所述第二照相机参数的步骤包括: 判定识别出的所述多个交点是否正确的步骤； 在判定的结果是判定为所述多个交点错误时，将所述俯瞰影像向显示装置输出的步骤； 在输入有正确的多个交点时，根据输入的所述多个交点与预先存储的所述多个照相机的位置以及姿势的信息，计算能够生成没有偏移的俯瞰影像的第二照相机参数的步骤。
3.如权利要求1所述的照相机的校准方法，其中， 利用根据所述第一照相机参数生成的映像生成所述俯瞰影像。
4.如权利要求2所述的照相机的校准方法，其中， 还包括: 根据识别出的所述多个交点生成多条直线的步骤； 计算使生成的所述多条直线平行的所述多个照相机的俯仰角以及横摆角的步骤；计算使所述多条直线的间隔成为预先确定的间隔的所述多个照相机的高度的步骤；根据计算出的所述俯仰角、所述横摆角、所述高度判定识别出的所述多个交点是否正确的步骤。
5.如权利要求1所述的照相机的校准方法，其中， 计算所述第二照相机参数的步骤包括: 根据识别出的所述多个交点生成多条直线的步骤； 计算使生成的所述多条直线平行的所述多个照相机的俯仰角以及横摆角的步骤； 计算使所述多条直线的间隔成为预先确定的间隔的所述多个照相机的高度的步骤； 根据所述多条直线的斜率校准所述多个照相机的倾滚角的步骤； 计算使所述俯瞰影像中的所述多条直线的偏移成为最小的平移成分的步骤； 根据作为所述多个照相机的位置以及姿势的所述信息的、计算出的所述俯仰角、所述横摆角、所述高度、所述倾滚角、所述平移成分以及识别出的所述多个交点，计算能够生成没有偏移的俯瞰影像的第二照相机参数的步骤。
6.如权利要求1所述的照相机的校准方法，其中， 所述校正用标识是至少两条第一平行直线、斜率不同于所述两条第一平行直线的两条第二平行直线、以及斜率不同于所述两条第一平行直线的两条第三平行直线相交的多个交点。
7.如权利要求1所述的照相机的校准方法，其中， 所述校正用标识是两条第一平行直线、斜率不同于所述两条第一平行直线的两条第二平行直线、斜率不同于所述两条第一平行直线的两条第三平行直线、以及斜率不同于所述两条第二、第三平行直线的两条第四平行直线相交的多个交点。
8.一种照相机的校准装置，该校准装置根据多个图像来进行照相机的校准，所述多个图像通过在设置有车辆的路面上，利用设置在所述车辆上的多个照相机，对包括预先设置的校正用标识在内的所述车辆的周边区域进行拍摄而得到， 所述校正用标识是至少两条第一平行直线与斜率不同于所述两条第一平行直线的两条第二平行直线相交的多个交点， 所述照相机的校准装置包括: 俯瞰影像生成部，其根据预先存储有所述多个图像的各个图像的第一照相机参数进行视点变换而生成俯瞰影像； 特征点识别部，其根据生成的所述俯瞰影像识别所述多个交点； 校准部，其根据识别出的所述多个交点与所述多个照相机的位置以及姿势的信息，计算能够生成没有偏移的俯瞰影像的第二照相机参数。
9.如权利要求8所述的照相机的校准装置，其中， 还包括:` 识别判定部，其判定识别出的所述多个交点是否正确； 显示部，其在判定的结果是判定为所述多个交点错误时，将所述俯瞰影像向显示装置输出； 输入部，其输入正确的多个交点， 所述校准部根据从所述输入部输入的所述多个交点与预先存储的所述多个照相机的位置以及姿势的信息，计算能够生成没有偏移的俯瞰影像的第二照相机参数。
10.如权利要求8所述的照相机的校准装置，其中， 还包括映像生成部，其根据所述第一照相机参数生成用于将所述多个图像变换成所述俯瞰影像的映像。
11.如权利要求9所述的照相机的校准装置，其中， 所述识别判定部包括: 假想直线生成部，其根据识别出的所述多个交点生成多条直线； 俯仰补正部，其计算使生成的所述多条直线平行的所述多个照相机的俯仰角； 横摆补正部，其计算使生成的所述多条直线平行的所述多个照相机的横摆角； 高度补正部，其计算使所述多条直线的间隔成为预先确定的间隔的所述多个照相机的高度， 根据计算出的所述俯仰角、所述横摆角、所述高度判定识别出的所述多个交点是否正确。
12.如权利要求8所述的照相机的校准装置，其中， 所述校准部包括:假想直线生成部，其根据识别出的所述多个交点生成多条直线； 俯仰补正部，其计算使生成的所述多条直线平行的所述多个照相机的俯仰角； 横摆补正部，其计算使生成的所述多条直线平行的所述多个照相机的横摆角； 高度补正部，其计算使所述多条直线的间隔成为预先确定的间隔的所述多个照相机的高度； 倾滚补正部，其根据所述多条直线的斜率校准所述多个照相机的倾滚角； 平移补正部，其计算使所述俯瞰影像中的所述多条直线的偏移成为最小的平移成分，根据作为所述多个照相机的位置以及姿势的所述信息的、计算出的所述俯仰角、所述横摆角、所述高度、所述倾滚角、所述平移成分以及识别出的所述多个交点，计算能够生成没有偏移的俯瞰影像的第二照相机参数。
13.如权利要求8所述的照相机的校准装置，其中， 所述校正用标识是至少两条第一平行直线、斜率不同于所述两条第一平行直线的两条第二平行直线、以及斜率不同于所述两条第一平行直线的两条第三平行直线相交的多个交点。
14.如权利要求8所述的照相机的校准装置，其中， 所述校正用标识是两条第一平行直线、斜率不同于所述两条第一平行直线的两条第二平行直线、斜率不同于所述两条第一平行直线的两条第三平行直线、以及斜率不同于所述两条第二、第三平行直线 的两条第四平行直线相交的多个交点。
【文档编号】G06T7/00GK103686143SQ201310378636
【公开日】2014年3月26日 申请日期:2013年8月27日 优先权日:2012年9月24日
【发明者】坂野盛彦, 佐藤启二, 高田祐辅, 冈田司 申请人:歌乐株式会社