照相机的校准装置、照相机系统、以及照相机的校准方法与流程

本发明涉及一种求出监视照相机或照相机传感器等照相机的照相机参数的照相机的校准装置、具有该校准装置的照相机系统、以及照相机的校准方法。
背景技术：
：以往，在修正监视照相机或照相机传感器的影像的失真时，或者如立体照相机那样为了实现基于多个照相机的影像识别，推定表示照相机的焦点距离、朝向等的照相机信息即照相机参数。考虑到照相机参数在制造照相机时和在现场设置照相机时产生偏差。这是由于在设置照相机时接触面的压力使壳体发生变形，或者由于温度或湿度等造成照相机壳体材料膨胀收缩而产生变化。另外，照相机参数也会由于长时间的振动等产生误差。因此，以往根据推定的照相机参数来进行照相机的校准(校正)。例如，在专利文献1中记载了使用改变照相机的光学条件拍摄到的多个图拍摄图像来求出照相机的校准用数据的技术，该照相机改变光学条件来拍摄配置了标记的校准用图。然而，在设置了照相机的位置进行校准时，与制造照相机的工厂不同，用于进行校准的设备未必存在于设置了照相机的位置，因此该作业变得非常繁琐。另外，对于设置的照相机的焦点距离和基线长度等的每个规格，拍摄基准图的位置、尺寸等的校准作业不同。因此，作业者需要根据照相机的规格选择校准作业，从而校准作业变得非常繁琐。结果，存在作业者推定的照相机参数中产生偏差，校准精度下降这样的问题。专利文献专利文献1：日本特开2004-37270号公报技术实现要素：考虑到上述的问题点，本发明的目的在于提供一种能够谋求简化校准作业以及提高校准精度的照相机校准装置、照相机系统以及照相机的校准方法。为了解决上述课题达成本发明的目的，本发明的照相机的校准装置具备数据库、指示部、修正部、评价部。在数据库中存储与照相机的规格相应的校准的作业工序即过程数据。指示部基于在数据库存储的过程数据向显示画面输出作业指示。修正部根据照相机拍摄到的图像数据修正基于过程数据取得的基准数据。评价部评价修正部修正后的修正图像。另外，本发明的照相机系统具备拍摄图像的照相机和进行照相机校准的校准装置。校准装置使用上述的校准装置。并且，本发明的照相机的校准方法包含以下(1)至(4)所示的工序。(1)根据照相机的规格从数据库取得校准的作业工序即过程数据的工序。(2)基于取得的过程数据在显示画面上通过指示部输出作业指示的工序。(3)根据照相机拍摄到的图像数据通过修正部修正基于过程数据取得的基准数据的工序。(4)通过评价部评价修正部修正后的修正图像的工序。通过本发明的照相机校准装置、照相机系统以及照相机的校准方法，能够谋求简化校准作业以及提高校准精度。附图说明图1是表示本发明实施例的照相机系统的整体结构的框图。图2是表示本发明的第一实施例的照相机系统的过程数据表的一个例子的说明图。图3是详细说明本发明的第一实施例的照相机系统的过程数据的示意图。图4是表示本发明的第一实施例的照相机系统的拍摄位置的详细内容的说明图。图5是表示本发明的第一实施例的照相机系统的拍摄位置的详细内容的说明图。图6是表示本发明的第一实施例的照相机系统的校准作业的流程图。图7是表示本发明的第一实施例的照相机系统的通过指示部向显示画面输出的指示的显示例的说明图。图8是表示本发明的第一实施例的照相机系统的通过指示部向显示画面输出的指示的显示例的说明图。图9是表示本发明的第二实施例的照相机系统的通过指示部向显示画面输出的指示的显示例的说明图。图10是表示本发明的第二实施例的照相机系统的校准的一个例子的说明图。图11是表示本发明的第三实施例的照相机系统的通过指示部向显示画面输出的指示的显示例的说明图。具体实施方式以下，参照图1～图11对本发明的照相机校准装置、照相机系统以及照相机的校准方法进行说明。在各图中对通用的部件赋予相同的符号。1.第一实施例1-1.照相机系统的结构例首先，参照图1对本发明的第一实施例(以下称为本例)的照相机系统的结构进行说明。图1是表示本例的照相机系统的整体结构的框图。图1所示的照相机系统1是使用两个照相机来拍摄距离和立体影像的立体照相机。如图1所示，照相机系统1具有两个照相机11A，11B、校准装置2、图像识别部40、终端装置50。两个照相机11A，11B、校准装置2、图像识别部40以及终端装置50能够经由无线或有线的网络7(LAN(LocalAreaNetwork局域网)、因特网、专用线路等)连接，并能够相互进行数据的发送接收。在两个照相机11A，11B中分别设置了识别照相机规格的ID编号11a。将两个照相机11A，11B拍摄到的图像数据以及ID编号11a经由网络7向校准装置2、图像识别部40以及终端装置50进行发送。校准装置2具有校准部20和存储有各种数据的数据库30。校准部20具有图像取得部21、基准数据存储部22、修正参数计算部23、评价部24、指示部25、过程数据检索部26。图像取得部21在进行校准时取得照相机11A，11B拍摄到的图像数据。然后，图像取得部21从取得的图像数据抽出在校准作业时使用的基准数据，并将其输出给基准数据存储部22。另外，图像取得部21向评价部24输出取得的图像数据。在基准数据存储部22中存储从图像取得部21输出的基准数据。此外，虽然在本例中说明了图像取得部21从图像数据抽出基准数据的例子，但并不限于此。例如，也可以从图像取得部21向基准数据存储部22输出图像数据，从基准数据存储部22输出的图像数据抽出并存储基准数据。并且，可以另外设置从图像取得部21取得的图像数据抽出基准数据的基准数据取得部。基准数据存储部22与修正参数计算部23相连接。修正参数计算部23根据在基准数据存储部22中存储的基准数据来计算修正参数。修正参数计算部23向后述的数据库30的修正参数存储部32输出计算后的修正参数。向评价部24输出图像取得部21取得的图像数据和修正参数计算部23计算出的存储在修正参数存储部32的修正参数。评价部24使用图像数据和修正参数生成评价用修正图像。另外，在评价部24中存储有用于评价修正图像的评价数据。然后，评价部24根据评价数据评价生成的评价用修正图像。评价部24向指示部25输出评价后的信息。此外，在本例中说明了评价部24生成评价用修正图像的例子，但是并不限于此。例如，也可以在校准部20设置根据修正参数和图像数据生成评价用修正图像的修正部，或者也可以使用后述的图像识别部40的修正部42生成的修正图像。指示部25接收评价部24评价后的信息，或者接收后述的过程数据检索部26检索到的过程数据。然后，指示部25向终端装置50输出接收到的信息。过程数据检索部26与后述的数据库30的过程数据存储部31以及照相机设置数据存储部33相连接。过程数据检索部26根据照相机11A，11B的ID编号11a从过程数据存储部31以及照相机设置数据存储部33检索并取得用于进行校准的过程数据。然后，过程数据检索部26向指示部25输出取得的过程数据。接着，对数据库30进行说明。数据库30具有过程数据存储部31、修正参数存储部32、照相机设置数据存储部33。在过程数据存储部31中，针对照相机的每个规格，存储有用于进行校准作业的作业数据。另外，在照相机设置数据存储部33中存储用于设置照相机11A，11B的表示坐标位置和照相机朝向的照相机设置数据。然后，通过该作业数据和照相机设置数据构成用于进行校准作业的作业工序即过程数据。图2是表示在过程数据存储部31以及照相机设置数据存储部33中存储的过程数据的表的一个例子的说明图。图3是说明过程数据的详细内容的示意图。如图2所示，过程数据例如根据ID编号11a、基线长度300、照相机11A，11B的焦点距离301设定了图尺寸302、距离303、拍摄位置304、出货时有无基准图像305。如图3所示，基线长度300表示两个照相机11A，11B的镜头间的距离。另外，焦点距离301是照相机11A的镜头的主点到焦点的距离，即进行了对焦时的镜头到拍摄元件的距离。并且，焦点距离301与视角306对应，该视角306是在图3所示的照相机11A，11B拍摄的图像中拍到的景象的范围的角度。例如，焦点距离301越短，视角306越广，焦点距离301越长，视角306越窄。过程数据中的距离303表示照相机11A，11B与进行校准时由照相机11A，11B拍摄的基准图201之间的距离。另外，图尺寸302表示进行校准时通过照相机11A，11B拍摄的基准图201的大小。关于图尺寸302，在决定了照相机11A，11B的视角306以及基线长度300时，设定以距离303收纳在两个照相机11A，11B的公共视场308中的范围的图尺寸。然后，参照图4以及图5对过程数据所示的拍摄位置304的详细内容进行说明。图4以及图5是表示拍摄位置的详细内容的说明图。关于拍摄位置304，例如如图4所示固定基准图201，移动照相机11A，设定取得基准数据的位置。在图4所示的例子中，表示了从地点Q1、Q2、Q3、Q4的四个方向拍摄基准图201。另外，根据校准所要求的修正精度来适当设定拍摄位置304，优选针对基准图201设定上下左右四个位置和正面的五个以上位置。此外，在图4的示例中说明了移动照相机11A的例子，但是并不限于此。例如，可以在固定了照相机11A的情况下，如图5A以及图5B所示那样，相对于照相机11A移动基准图201。此时，关于照相机11A与基准图201的距离按照，以通过距离303设定的距离来进行作业。出货时有无基准图像305设定了在将照相机11A，11B出货时是否具有在与校准作业时相同的条件下拍摄基准图201得到的图像(以下称为“出货时基准图像”)。在具有表示初始基准图像的一例的出货时基准图像时，通过将该出货时基准图像与校准作业时拍摄到的图像数据，即所谓的基准数据进行比较，由此能够推定照相机参数的偏差。另外，在评价部24评价修正参数时，可以使用出货时基准图像进行评价。然后，关于上述的照相机的每个规格的多个过程数据，通过校准部20的过程数据检索部26检索与进行校准的照相机相应的过程数据。然后，将检索到的过程数据经由过程数据检索部26输出给指示部25。在修正参数存储部32中存储修正参数计算部23计算出的修正参数。修正参数存储部32向评价部24或后述的图像识别部40的修正部42输出存储的修正参数。另外，可以向修正参数存储部32输出通过上述的图像识别部40修正后的修正图像。图像识别部40具有图像取得部41、修正部42、图像处理部43。图像取得部41取得来自两个照相机11A，11B的图像数据。修正部42根据从修正参数存储部32输出的修正参数来修正图像取得部41取得的图像数据，并生成修正图像。修正部42向修正参数存储部32或者图像处理部43输出生成的修正图像。图像处理部43处理从修正部42输出的修正图像，并运算两个照相机11A，11B的左右视差。在本例中对图像处理部43中立体照相机的处理进行了说明，但并不局限于此。图像处理部43例如可以根据从修正部42输出的修正图像处理用于立体影像的图像。终端装置50例如是具有由液晶显示画面或CRT(CathodeRayTube阴极射线管)显示画面等构成的显示画面50A和输入部的显示装置。在显示画面50A中显示照相机11A，11B拍摄到的图像、从指示部25输出的指示信息。将在后面叙述在终端装置50的显示画面50A中显示的指示信息的详细内容。此外，说明了在本例的照相机系统1中，经由网络7连接两个照相机11A，11B、校准部20、数据库30、图像识别部40以及终端装置50，并分别为单独的结构，但是并不限于此。例如，也可以将校准部20、数据库30、图像识别部40以及终端装置50内置到照相机11A内。另外，也可以在PC(个人计算机)等外部装置的液晶显示装置或CRT显示装置中进行RGB(RedGreenBlue红绿蓝)监视器输出、或经由网络进行数据输出，从而取代设置终端装置50。1-2.照相机的校准方法其次，参照图6～图8对本例的照相机系统1的照相机11A，11B的校准方法进行说明。图6是表示校准作业的流程图。首先，如图6所示，校准部20从数据库30取得用于进行校准作业的过程数据(步骤S1)。具体来说，首先校准部20从照相机11A，11B取得识别照相机的规格的ID编号11a。然后，过程数据检索部26基于取得的ID编号11a，从过程数据存储部31以及照相机设置数据存储部33检索过程数据，来取得过程数据。接着，过程数据检索部26向指示部25输出取得的过程数据。然后，指示部25基于输出的过程数据向终端装置50的显示画面50A输出作业指示(步骤S2)。例如，指示部25向终端装置50的显示画面50A输出图2所示的过程数据的表。由此，作业者能够容易地辨别用于进行校准的作业内容，并能够谋求简化校准作业。另外，指示部25可以基于在后述的步骤S3取得的图像数据来向终端装置50输出作业指示。在此，参照图7以及图8对在显示画面50A显示的指示内容的一个例子进行说明。图7以及图8是表示通过指示部向显示画面50A输出的指示的显示例子的说明图。如图7所示，在显示画面50A中设置了显示照相机11A拍摄到的图像的第一显示部51A和显示照相机11B拍摄到的图像的第二显示部51B。终端装置50具有取得照相机11A，11B拍摄到的图像数据的图像取得部。在第一显示部51A中显示第一导引52A，在第二显示部51B中显示第二导引52B。基于过程数据，适当变更第一导引52A以及第二导引52B。并且，在显示画面50A中显示作业指示窗口53，该作业指示窗口53显示针对作业者的作业内容。作业者移动基准图201或者照相机11A，11B，以使在显示画面50A中显示的第一导引52A以及第二导引52B的框与基准图201的外缘吻合。另外，指示部25根据在第一显示部51A以及第二显示部51B中显示的基准图201的位置，使作业指示窗口53输出作业指示。指示部25测定在第一显示部51A以及第二显示部51B中显示的基准图201的四角与第一导引52A、第二导引52B的四角的距离。然后，指示部25根据测定到的距离向作业指示窗口53输出作业指示。关于在第一显示部51A以及第二显示部51B中显示的基准图201与第一导引52A、第二导引52B的比较，可以进行判定以使四边的长度误差最小化。或者，如图8所示，指示部25也可以基于取得的图像数据来计算照相机11A，11B以及基准图201在实际空间的位置，并输出给显示画面50A。然后，指示部25可以使显示画面50A显示箭头54和导引55，来对作业者进行指示以使基准图201成为预定的位置。如上所述，指示部25指示校准作业中的作业顺序，由此能够向作业者正确地传达作业内容，并能够防止根据作业者的不同校准作业的精度发生变化的情况。因此，能够提高校准的精度。接着，校准部20使用图像取得部21取得照相机11A，11B拍摄到的图像数据(步骤S3)。然后，图像取得部21从取得的多个图像数据中取得校准所需要的基准数据(步骤S4)。基准数据是多个图像数据中的与过程数据的条件相符合的图像数据。然后，图像取得部21向基准数据存储部22输出取得的基准数据。接着，修正参数计算部23基于在基准数据存储部22中存储的基准数据来计算修正参数(步骤S5)。详细来说，修正参数计算部23首选基于基准数据来推定由照相机11A，11B的内部参数K和外部参数D组成的照相机参数C。然后，修正参数计算部23计算推定出的照相机参数C与预先设定的基准参数之间的偏差量。然后，修正参数计算部23计算修正参数的偏差量为最小或者成为0的修正参数。此外，以预定的次数重复进行运算处理，由此来计算修正参数。在此，对照相机参数C进行说明。首先，内部参数K通过下述的数1所示的矩阵来表示。数1中的f表示焦点距离，a表示宽高比，s表示变形，该变形表示图像的失真度、(vc、uc)表示照相机11A，11B拍摄到的图像内的坐标(图像坐标)的中心坐标。(数1)K=fsfvc00afuc00010]]>另外，外部参数D通过下述的数2所示的矩阵来表示。数2中的(r11、r12、r13、r21、r22、r23、r31、r32、r33)表示照相机11A，11B的朝向。另外，数2中的(tx、ty、tz)表示设置照相机11A，11B的位置的坐标，所谓的世界坐标。(数2)D=r11r12r13tXr21r22r23tYr31r32r33tZ0001]]>然后，通过内部参数K和外部参数D，图像坐标(u、v)和世界坐标(XW、YW、ZW)能够通过下述数3所示的关系式来表示。此外，数3中的λ为常数。(数3)λuv1=KDXwYwZw1]]>外部参数D中的表示照相机11A，11B的朝向的(r11、r12、r13、r21、r22、r23、r31、r32、r33)当通过欧拉角进行定义时，通过作为照相机11A，11B的设置角度的摇摄θ、倾斜φ、旋转ψ这三个参数来表示。因此，为了将图像坐标和世界坐标对应起来所需要的照相机参数数量为5个内部参数数量和6个外部参数数量，合计11个。另外，在数3中照相机参数的C的矩阵理解为即使是常数倍意思也不变。因此，能够将常数λ、内部参数K、外部参数D整理为一个矩阵，并如下述的数4所示来表示。(数4)uv1=c11c12c13c14c21c22c23c24c31c32c33c34XwYwZw1]]>并且，在数4中，如果固定为c34＝1则未知的参数数量为11个。然后，求出该11个参数的值与求出数3中的5个内部参数数量和6个外部参数数量的意义相同。因此，数3可以转换为下述所示的数5。然后，数5中的矩阵C为照相机参数C。(数5)uv1=CXwYwZw1(C=c11c12c13c14c21c22c23c24c31c32c331)]]>此外，修正参数计算部23计算的修正参数可以是数5所示的照相机参数C，或者也可以只是式1所示的内部参数K。接着，修正参数计算部23将计算出的修正参数存储在修正参数存储部32。然后，评价部24或修正部42基于存储的修正参数来修正图像数据(步骤S6)。通过该步骤S6中的修正处理选择与照相机系统1的应用相应的处理。接着，评价部24基于预先存储的评价数据来对评价用修正图像进行评价。即，评价部24对修正图像是否在评价数据的范围内进行判断(步骤S7)。作为评价部24进行评价的方法，例如，将从修正图像计算出的距离数据与实测值进行比较，或者在具有出货时基准图像的情况下评价出货时基准图像与修正图像之间的偏差。或者，评价部24从评价表修正图像中检测边缘点数E，并根据有效视差数d计算视差密度D。视差密度D根据下述式1进行计算。(式1)D＝d/E式1表示相对于边缘点数的有效视差的数量，能够作为修正参数的精度、立体处理中的是否平行的评价值使用。然后，评价部24可以通过判断计算出的视差密度D是否在阈值的范围内来进行修正图像的评价。在步骤S7的处理中，当评价部24判断修正后的图像在评价数据范围内时(步骤S7判定为“是”)，评价部24向指示部25输出评价结果。然后，校准部20将评价后的修正参数存储在修正参数存储部32。由此，校准作业结束。另外，在步骤S7的处理中，当评价部24判断修正后的图像不在评价数据范围内时(步骤S7判定为“否”)，评价部24向指示部25输出评价结果。然后，校准部20返回到步骤S2的处理，再次进行校准作业。如此，在本例的照相机系统1中，通过由评价部24评价计算出的修正参数，即使校准精度降低，也能够由评价部24进行判断。然后，经由指示部25输出评价部24评价的信息。结果，作业者能够尽早知晓校准精度降低的情况，能够提高校准的精度。另外，在校准作业发生了错误时，也能够通过评价部24检测出来。此外，在本例中，说明了校准部20取得在照相机11A，11B中设置的ID编号11a的例子，但是并不限于此。例如，在进行校准作业时，作业者向终端装置50输入照相机11A，11B的ID编号、基线长度、焦点距离等照相机识别信息。然后终端装置50也可以向校准装置2发送输入的照相机识别信息。2.第二实施例接着，参照图9对本发明的第二实施例的照相机系统进行说明。图9是表示第二实施例的照相机系统的指示部的指示内容的说明图。第二实施例的照相机系统与第一实施例的照相机系统的不同点在于，指示部25向终端装置50输出的指示内容。因此，在此对在终端装置50的显示画面50A中显示的内容进行说明，对于与第一实施例的照相机系统1通用的部分赋予相同的符号来省略重复的说明。在此，当对于某个物体预先知道到照相机11A，11B的距离时，能够求出两个照相机11A，11B的视差的期待值。例如，如果物体是相对于照相机11A，11B正对的平面则视差固定。并且，在相对于照相机11A，11B倾斜配置物体时，对于该平面也可以通过检测物体与照相机11A，11B的角度来将计算出的视差结果最佳化。图9是表示在显示画面50A中显示的显示内容的说明图。如图9所示，在显示画面50A中，显示两个照相机11A，11B拍摄到的图像。此外，在显示画面50A中，显示用于输入从照相机11A，11B到选择的物体的实测值的距离输入窗口56。指示部25对作业者进行指示，以使其经由光标50B选择到照相机11A，11B的距离预先已知的所谓的已知物体的平面400、401、402。另外，指示部25对作业者进行指示，以使其在距离输入窗口56输入从照相机11A，11B到选择的平面400、401、402的距离。在此，相对于距离Z的视差d能够从下述式2进行计算。B是基线长度，f是焦点距离。(式2)d＝Bxf/Z然后，校准部20基于输入的区域和距离，改变式1所示的内部参数K和数5所示的照相机参数C的值来进行修正，以使视差接近期待值。另外，进行在测量领域中使用的集束调整法(bundleadjustment)，亦即使误差的平方和最小化来进行视差的校准。图10是校准的一个例子的说明图。另外，不限于平面，可以通过直线等的调整来求出校准的修正值，以使在地面或天花板得到的线状数据1001成为理想的线状数据1000。3.第三实施例其次，参照图11对本发明的第三实施例的照相机系统进行说明。图11是表示第三实施例的照相机系统的指示部的指示内容的说明图。第二实施例的照相机系统与第一实施例的照相机系统的不同点在于，指示部25向终端装置50输出的指示内容以及评价部24的评价数据的范围。因此，在这里对在终端装置50的显示画面50A中显示的内容进行说明，对于与第一实施例的照相机系统1通用的部分赋予相同的符号并省略重复的说明。如图11所示，在显示画面50A中，显示两个照相机11A，11B拍摄到的图像。然后，将该图像分割为9个区域401A、401B、401C、401D、401E、401F、401G、401H、401I。然后，评价部24的评价数据的值对于区域401A、401B、401C、401D、401E、401F、401G、401H、401I中的每个区域进行变化。例如，重要的人或物通行的区域与其他区域相比设定为严格的评价数据的范围。另外，指示部25也可以促使作业者经由光标50B来选择评价图像的区域。由此，能够在两个照相机11A，11B拍摄到的图像中只提高特定区域的性能。此外，分割的区域不限于9个，也可以设定将图像分割为8个以下，或10个以上，以使评价部24的评价数据不同。本发明并不限于在上述各附图中所示的实施方式，在不脱离权利要求书所记载的发明宗旨的范围内能够实施各种变形。在上述的实施例中，说明了作为照相机系统应用具有两个照相机的立体照相机的例子，但是并不限于此。作为照相机系统，例如也可以用于具有三个以上照相机的照相机系统或由一台照相机构成的监视照相机等。并且，作为照相机系统，还可以用于拍摄立体影像的立体影像用照相机，或车载照相机、感知人或物体的对物对人感知照相机、自动运行系统、人流测量系统、影像安全系统等其他各种的照相机系统。符号的说明1：照相机系统2：校准装置7：网络11a：ID编号11A、11B：照相机20：校准部21：图像取得部22：基准数据存储部23：修正参数计算部24：评价部25：指示部26：过程数据检索部30：数据库31：过程数据存储部32：修正参数存储部33：照相机设置数据存储部40：图像识别部41：图像取得部42：修正部43：图像处理部50：终端装置50A：显示画面53：作业指示窗口201：基准图300：基线长度301：焦点距离306：视角当前第1页1 2 3