AVM系统的公差校正装置及其方法与流程

本发明涉及AVM系统的公差校正装置及其方法。
背景技术：
：通常，乘坐在车辆内部的驾驶员的视野主要朝向前方，驾驶员的左右侧和后方视野被车体遮挡相当一部分，因此具有非常有限的视野。为了解决上述问题，通常使用用来弥补驾驶员有限范围的视野的侧镜等视野辅助工具，最近的趋势是，车辆中应用包括摄像手段的技术，用来拍摄车辆外部图像提供给驾驶员。其中，具有全景监测系统(AVM：AroundViewMonitoring)(以下称作AVM)，即在目前车辆周围设置多个摄像机，显示车辆周边360°全方位的图像。AVM系统不仅提供通过拍摄车辆周边的多个摄像机所拍摄的单独视图(view)，还组合车辆周边的图像，提供驾驶员犹如从空中观看车辆般的顶视图(TopView)图像，从而显示车辆周边障碍物，消除死角地带。图1中概略地示出了AVM系统的概念。参照图1时，车辆100的前后方、左右侧分别设置有摄像机110a、110b、110c、110d(以下，统称为110)。摄像机110分别拍摄车辆100的前后方以及左右侧的图像A、B、C、D，并将拍摄的图像重建为如同从上方观看车辆100的状态的图像(参照图1的(b))，并输出到安装在车辆100上的各种显示装置上。其中，在生成如图1的(b)所示的顶视图的过程中，组合利用多个摄像机所拍摄的周边图像时，摄像机的安装误差会产生如个别摄像机所拍摄的图像之间的不整合的缺陷，这种在车辆中的摄像机安装过程中所产生的误差称作公差。目前研究出一种用软件去除顶视图生成过程中的缺陷的图像校正方法，美国专利公开US2009/0010630号也公开了摄像机系统的图像校正方法。以往，利用设置在车辆上的摄像机生成车辆周边图像的顶视图的过程中，为了校正公差，一直使用了矩形、三角形、棋盘形态的多边形图案。对于图像中出现的多边形图案，找出顶点或X字记号等特征，利用特征的世界坐标(worldcoordinate)和图像坐标来校正公差，从而生成顶视图。此时，对于多边形图案，需任意赋予世界坐标，但为了赋予世界坐标，需要掌握顶点之间的距离或顶点的位置关系等多边形图案在世界坐标中的相对信息。这样的制约具有如下不便，即为了生成顶视图，需按照指定规格设置多边形图案，输入或掌握图案信息很费劲。在先技术文献专利文献美国专利公开US2009/0010630号(公开日期2009年1月8日)-Camerasystemandmethodofcorrectingcamerafittingerrors技术实现要素：发明所要解决的技术问题因此，本发明是为了解决上述问题而提出的，提供一种AVM系统的公差校正装置及其方法，其利用圆形图案(pattern)而非多边形图案，无需输入图案的世界坐标，当图案满足图像出现的条件时可生成顶视图，利用为了生成顶视图而计算的单应矩阵(homography)，能够正确地推定摄像机的外部参数。本发明提供一种AVM系统的公差校正装置及其方法，即便使图案位于任意位置也能校正公差，可以缩短设置图案所需的时间，即使不知道摄像机和图案的相对以及绝对位置，也能够合成多个摄像机的图像，自动寻找圆形图案，从而可用于自动校正公差。本发明的其他目的会通过以下说明的优选实施例更加明确。问题的解决方法根据本发明的一个实施方式，提供一种设置在车辆上的摄像机的公差校正装置，该装置包括：图像输入部，将由所述车辆具备的摄像机对配置在所述车辆周边的圆形图案进行拍摄而获得的图像信号，分别转换为摄像机图像数据；以及公差校正部，在所述摄像机图像数据中提取与所述圆形图案对应的椭圆，利用所述椭圆和所述圆形图案之间的相关关系，计算出所述摄像机 图像数据和顶视图图像之间的单应矩阵(homography)，并计算出所述摄像机的外部参数(extrinsicparameter)，从而在世界坐标上推定所述摄像机的位置。所述摄像机包括设置在所述车辆的前方、右侧、左侧以及后方的第一摄像机、第二摄像机、第三摄像机以及第四摄像机，所述圆形图案可包括第一圆形图案，该第一圆形图案被配置成满足如下位置条件，即，位于所述摄像机中相邻摄像机的视角重叠的区域内的任意位置。或者，所述摄像机包括设置在所述车辆的前方、右侧、左侧以及后方的第一摄像机、第二摄像机、第三摄像机以及第四摄像机，所述圆形图案包括第一圆形图案，该第一圆形图案包含于从至少两个视图获得的所述摄像机图像数据中。所述圆形图案还包括以与所述车辆的左右侧车轮成水平的方式配置的第二圆形图案。所述公差校正部可执行如下步骤：从所述摄像机图像数据提取椭圆；提取所述椭圆的轮廓；校正所述摄像机的由内部参数引起的畸变；基于校正畸变后的椭圆的轮廓坐标，计算出椭圆方程式；利用所述椭圆方程式，计算出世界坐标和摄像机图像数据之间的单应矩阵。所述公差校正部求出经过圆形点(circularpoint)变换的所述椭圆的交点，求出投影矩阵的逆矩阵P-1和仿射矩阵的逆矩阵A-1，并可根据下面的数学式计算出单应矩阵H。数学式是HI=P-1A-1I=P-1β+iαi0=β+iαi-l1l3(β+iα)-il2l3,]]>α=-cos(φ)sin(φ)sin2(θ)cos2(φ)cos2(θ)+sin2(θ)β=-cos(θ)cos2(θ)cos2(φ)+sin2(φ),]]>φ是旋转角(rotationalangle)，θ是仰角(elevationangle)。所述公差校正部利用将所述世界坐标变换为所述摄像机图像数据的图像 坐标的矩阵P、所述摄像机的内部参数K、世界坐标和摄像机坐标之间的旋转变换R、在世界坐标中的摄像机坐标之间的移动量C之间的相关关系，利用单应矩阵H和已知的K，从在世界坐标上推定摄像机的位置。另一方面，根据本发明的另一实施方式，提供设置在车辆上的摄像机的公差校正方法以及记录用于执行该公差校正方法的程序的记录介质。根据一个实施例的公差校正方法可以包括如下步骤：通过图像输入部，将所述车辆具备的摄像机对配置在所述车辆周边的圆形图案进行拍摄而获得的图像信号，分别变换为摄像机图像数据；从所述摄像机图像数据提取与所述圆形图案对应的椭圆；利用所述椭圆和所述圆形图案之间的相关关系，计算出所述摄像机图像数据和顶视图图像之间的单应矩阵；以及计算出所述摄像机的外部参数，在世界坐标上推定所述摄像机的位置。所述计算单应矩阵的步骤可以包括如下步骤：提取所述椭圆的轮廓；校正所述摄像机的由内部参数引起的畸变；基于校正畸变后的椭圆的轮廓坐标，计算出椭圆方程式；以及利用所述椭圆方程式，计算出世界坐标和摄像机图像数据之间的单应矩阵。求出经过圆形点变换的所述椭圆之间的交点，求出投影矩阵的逆矩阵P-1和仿射矩阵的逆矩阵A-1，并根据指定的数学式，计算出单应矩阵H。所述摄像机位置推定步骤中，可利用将所述世界坐标变换为所述摄像机图像数据的图像坐标的矩阵P、所述摄像机的内部参数K、世界坐标和摄像机坐标之间的旋转变换R、在世界坐标中的摄像机坐标之间的移动量C之间的相关关系，利用单应矩阵H和已知的K，在世界坐标上推定摄像机的位置。通过下面的图、专利权利要求范围以及发明的详细说明，除上述以外的其他方式、特征、优点会更明确。发明效果本发明具有如下效果：利用圆形图案而非多边形图案，无需输入图案的世界坐标，只要图案满足图像出现的条件，就可以生成顶视图，并利用为了生成顶视图而计算的单应矩阵，能够正确推定摄像机的外部参数。另外还具有如下效果：即使将图案位于任意位置也能校正公差，能够缩短设置图案所需的时间，即使不知道摄像机和图案的相对以及绝对位置，也能合成多个摄像机的图像，自动寻找圆形图案，因此还可用于自动校正公差。附图说明图1是概略地示出AVM系统的概念的图。图2是概略地示出本发明的一实施例的AVM系统的结构的框图。图3是用于说明为了进行本发明的实施例的校正公差的圆形图案配置的一例的概略图。图4是示出本发明的一实施例的AVM系统中的公差校正过程的流程图。图5是详细示出校正公差过程中单应矩阵计算过程的流程图。图6是拍摄圆形图案的图像。图7是示出在图像内找到椭圆的状态的图。图8是提取椭圆轮廓的图。图9是示出校正畸变前后的椭圆轮廓坐标的图。图10是利用所计算的单应矩阵进行重建的顶视图图像。图11是表示摄像机的推定位置的顶视图图像。附图标记100：车辆110a、110b、110c、110d：摄像机200：AVM系统210：图像输入部220：存储部230：公差校正部240：图像合成部250：显示部311、313、315、317：第一圆形图案321、323、325、327：第二圆形图案具体实施方式本发明可进行多种变更，并具有多种实施例，将通过附图示例并详细说明特定实施例。但是本发明并非限定于特定实施方式，本发明包括本发明思想以及技术范围所包括的所有变更、等同物以及替代物。涉及到某结构要素“连接于”或“衔接于”另一结构要素时，可以直接连接或衔接于其另一要素，但是也要理解为中间会存在其他结构要素。相反，涉及到某要素“直接连接于”或“直接衔接于”另一结构要素时，要理解为中间不存在其他结构要素。第一、第二等术语可用于说明多种结构要素，但是所述结构要素不被所述术语限定。所述术语只能用于将一个结构要素区别于另一结构要素的目的。在本说明书中所使用的术语只是用于说明特定实施例，并非意图限定本发明。单数的表述使文章脉络清楚且不产生歧义，并包括复数的表述。要理解，本说明书中，“包括”或“具备”等术语是用来指定说明书中所记载的特征、数字、步骤、动作、结构要素、零件或其组合的存在，并非事先排除一个或其以上的其他特征或数字、步骤、动作、结构要素、零件或它们的组合的存在或附加功能性。另外，参照各附图所说明的实施例的结构要素并非只能有限地适用于该实施例，在维持本发明技术思想的范围内，可以包括在其他实施例，另外，即使省略单独的说明，也可以实现为合并多个实施例的一个实施例。另外，参照附图进行说明时，与附图标记无关地对相同结构要素标注相同或相关的参照标记，并省略对此的重复说明。在说明本发明的过程中，公知技术的具体说明使本发明的宗旨不清楚时，省略对其的详细说明。图2是概略地示出根据本发明的一个实施例的AVM系统的结构的框图。根据本发明的一个实施例的AVM系统200，对通过设置在车辆上的摄像机拍摄的图像进行校正处理，并将所生成的周边图像显示在画面上，以使驾驶员能够确认车辆周边情况。本实施例的特征在于，为了校正将摄像机安装到车辆时所产生的公差而利用圆形图案，即便使图案位于任意位置也能校正公差，即使不知道摄像机和图案的相对以及绝对位置，也能对多个摄像机的图像进行合成。参照图2时，本实施例的AVM系统200包括图像输入部210、存储部220、公差校正部230、图像合成部240、显示部250。虽未图示，但是还可以包括控制部，其用于控制AVM系统200所包括的一个以上结构要素的动作。图像输入部210将设置在车辆100的多个位置(例如，用于分别拍摄前方、后方、左侧以及右侧的指定位置)的摄像机110拍摄并被输入的各摄像 机图像信号，分别生成为摄像机图像数据，并存储到存储部220。在这里，摄像机110可以是大视角的广角摄像机，从而能够通过少数摄像机拍摄车辆周边环境。存储部220中可以存储例如AVM系统200的运行程序、通过图像输入部210生成的摄像机图像数据、通过后述的图像合成部240合成处理的AVM图像数据(特别是顶视图)等。存储部220可以分开运行为永久存储数据的永久存储器和动作时临时存储所需的数据而运行的临时存储器。公差校正部230分析存储在存储部220的摄像机图像数据，找出圆形图案(在图像内呈椭圆形态)，根据事先指定的外部参数推定算法对图案信息(与图像内的圆形图案相关的信息)进行加工，从而计算出单应矩阵(homography)。另外，在计算单应矩阵的过程中，还可以计算出摄像机110的外部参数(extrinsicparameter)，从而能够在世界坐标上推定摄像机110的位置。图像合成部240利用公差校正部230推定的摄像机的位置以及图案信息，对摄像机图像数据进行变换，从而生成犹如从车辆上防俯瞰车辆周边环境的顶视图(TopView)，并合成为AVM图像数据。即，将车辆100周边图像的摄像机图像数据变换为顶视图图像以后，基于公差校正部230推定的摄像机位置，调整顶视图图像的位置以及方向并进行合成，从而能够生成相当于车辆100整个周边的顶视图的AVM图像数据。通过图像合成部240生成的AVM图像数据可以通过显示部250输出。图3是用于说明为了进行本发明实施例的校正公差的圆形图案配置的一例的概略图。如图3所示，放置有车辆的校正区域周边可任意设置第一圆形图案311、313、315、317。用于校正公差的第一圆形图案311、313、315、317，其形状为圆形，如图3所示，以其中心点为中心，与旋转角度无关地始终呈现相同的形状。即，在设置图案过程中，无需像现有的多边形图案那样以正确的角度设置在事先指定的位置，因此能够缩短图案设置所需的时间。另外，第一圆形图案311、313、315、317不像现有的多边形图案那样位于事先指定的位置，而是只要满足规定位置条件，位于任意位置也能校正公 差。第一圆形图案311、313、315、317的位置条件是，利用设置在车辆上的摄像机110进行拍摄时最少两个图案需出现在一个图像中。即，每个摄像机图像数据需出现最少两个图案，这是因为相同的第一圆形图案至少要在从不同的视图获得的摄像机图像数据中显示。例如，如图所示，通过设置在前方的第一摄像机110a拍摄的图像中包括两个第一圆形图案311、313，通过设置在右侧的第二摄像机110b拍摄的图像中包括两个第一圆形图案313、317，通过设置在左侧的第三摄像机110c拍摄的图像中包括两个第一圆形图案311、315，通过设置在后方的第四摄像机110d拍摄的图像包括两个第一圆形图案315、317。因此，本实施例中，第一圆形图案311、313、315、317的位置条件是，第一圆形图案被放置在相邻两个摄像机视角重叠的区域内，只要是视角重叠的区域，放在任意位置都无妨。另外，第一圆形图案311、313、315、317的尺寸可以全部相同。另外，在知道直径信息的情况下，在图像合成部240生成顶视图时，可正确计算像素间距(pixelpitch)(mm/pixel)。但是，直径信息未被限定。即，根据情况可以使用直径不同的第一圆形图案。在本实施例中，当只存在第一圆形图案311、313、315、317时，因圆基本没有方向性，因此在后述的图像合成部240生成AVM图像数据时，有可能产生顶视图旋转的现象(看似旋转的现象)。为了避免这种现象，设置第二圆形图案321、323、325、327，使其与车辆的左右侧车轮成水平，利用从左侧图像数据以及右侧图像数据检测出的图案信息，找准左右侧区域在顶视图图像的水平后，找准前后方区域，从而防止顶视图看似旋转的现象。下面，参照相关附图，对利用这样的圆形图案来校正公差并生成顶视图的过程进行说明。图4是示出本发明的一个实施例的AVM系统中的公差校正以及顶视图生成过程的流程图，图5是详细示出公差校正过程中单应矩阵计算过程的流程图，图6是拍摄圆形图案的图像，图7是示出在图像内找到椭圆的图，图8是提取椭圆轮廓的图，图9是示出校正畸变前后的椭圆轮廓坐标的图，图10 是利用所计算的单应矩阵进行重建的顶视图图像，图11是表示摄像机的推定位置的顶视图图像。如图3所示，完成第一圆形图案311、313、315、317以及/或第二圆形图案312、323、325、327的配置后，利用安装在车辆上的摄像机110拍摄包括圆形图案的车辆周边环境(步骤S410)，图像输入部210接收拍摄有圆形图案的摄像机图像数据。在这里，摄像机图像数据可以存储到存储部220或直接传送到图像输入部210。图6中示出了摄像机图像数据的示例。公差校正部230利用从图像输入部210直接接收的或存储在存储部220的摄像机图像数据，计算单应矩阵(步骤S420)。图5中详细示出了单应矩阵的计算过程。公差校正部230从摄像机图像数据提取椭圆(步骤S510)。这是因为，拍摄到圆形图案时，除在垂直上方拍摄的情况以外，会显示为椭圆形态。参照图7，从图像数据找到的椭圆显示为白色。从摄像机图像数据提取椭圆的方法可利用图像分割(segmentation)法、霍夫变换(houghtransform)法等。图像分割法是在图像内分离特定区域的技术，霍夫变换法是提取图像内特征的技术，其利用投票(voting)方法在图像提取直线或圆成分。对于本领域技术人员来说，在图像提取椭圆的技术是不言而喻的，因此省略对其的详细说明。接下来，提取椭圆的轮廓(步骤S520)。图8示出了从图像提取的椭圆的轮廓线。椭圆的轮廓可以利用坎尼(Canny)、索贝尔(soble)、普里威特(prewitt)等一般检测图像边缘(edge)的方法提取。对于本领域技术人员来说椭圆轮廓提取过程也是公知的，因此省略对其的详细说明。接下来，设置在车辆上的摄像机的图像中存在由摄像机的内部参数(intrinsicparameter)引起的畸变，因此进行畸变校正(步骤S530)，将所提取的椭圆轮廓坐标变换为没有畸变的图像坐标。摄像机的内部参数可以是透镜的形状引起的镜头畸变(lensdistortion)，这可以用泰勒级数表达。另一个内部参数可以是表示CCD面板至透镜中心的距离的焦距(focallength)以及在CCD面板上成像时表示实际图像的中心点的图像中心(imagecenter)。对每个摄像机可以事先计算出由摄像机内部参数引起的畸变系数，图9 中示出了这种由摄像机内部参数引起的畸变校正前后椭圆的轮廓坐标。红色(位于下方的两个小椭圆)为畸变校正前的椭圆的轮廓坐标，蓝色(位于上方的两个大椭圆)为畸变校正后的椭圆的轮廓坐标。与图8比较时，看起来椭圆的大小以及形状不同是因为，在图8的图像中，作为基准点的左上角为(0，0)，相比之下，在图9中，左下角为(0，0)。另外，以Y轴为基准，其范围在图8中是0～480，而在图9中表示为270～370。接下来，基于椭圆轮廓坐标，计算出椭圆方程式(步骤S540)。计算椭圆方程式的方法是，利用椭圆拟合(ellipsefit)等图像的边缘信息，并利用相关区域的轮廓(contour)信息，计算与轮廓很好地匹配的椭圆的方法，可使用SVD或RANSAC算法等。对本领域技术人员来说椭圆方程式计算方式公知的，因此省略对其的详细说明。利用椭圆方程式，计算出世界坐标和图像之间的单应矩阵(步骤S550)。对于单应矩阵计算过程的详细说明如下。在齐次坐标(homogeneouscoordinates)中，所有圆都如下表示。数学式1(x-aw)2+(y-bw)2＝r2w2其中，(x，y，w)是齐次坐标，(a，b，1)是圆的中心，r是圆的半径。这时(1，i，0)T和(1，-1，0)T与a、b、r无关地始终满足数学式1，因此，成为包含于所有圆的点。因此，这两点是在复数平面上任意两个圆交叉的点，该点称作圆形点(circularpoint)。因此，在图像中呈现为椭圆形态的圆始终在圆形点I和J具有交点。I和J可用如下坐标表示。I＝(1，i，0)T，J＝(1，-1，0)T，其中，i为世界坐标和所拍摄的图像之间存在单应矩阵H和H-1，H和H-1可用如下的S、A、P的乘积表示。数学式2H-1＝SAPH＝(SAP)-1＝P-1A-1S-1其中，S表示相似(similarity)矩阵，A表示仿射(affinity)矩阵，P表 示投影(projectivity)矩阵。其中，表示为P-1=100010-l1l3-l2l3ll3,A-1=βα0010001.]]>α和β是仿射变换的系数，通过如下计算。其中是消失线(vanishingline)。α=-cos(φ)sin(φ)sin2(θ)cos2(φ)cos2(φ)+sin2(θ)]]>β=-cos(θ)cos2(θ)cos2(φ)+sin2(φ)]]>其中，φ为旋转角(rotationalangle)，θ为仰角(elevationangle)。S-1=sr1sr2txsr3sr4ty001]]>对圆形点的变换不产生影响，因此可以省略。其中，s表示比例(scale)，r1～r4表示旋转，tx、ty表示移动量。圆形点I和J是任意两个圆相交的点，因此在图像中相交的点也是圆形点I和J变换的点HI和HJ，因此如下表示。数学式4HI=P-1A-1I=P-1β+iαi0=β+iαi-l1l3(β+iα)-il2l3]]>HJ是HI的共轭复数。图像中出现的椭圆全部在图像上的两点HI和HJ具有交点。为了方便，利用两个椭圆时，两个椭圆可用下式表示。数学式5d1x2+d2xy+d3y2+d4x+d5y+d6＝0e1x2+e2xy+e3y2+e4x+e5y+e6＝0求出数学式5的两个椭圆的交点，代入到前面所述的HI，可求出P-1和A-1，在图像中可求出顶视图的单应矩阵H。此时，知道被拍摄的圆形图案的直径时，也能够知道S-1的s(比例)。再次参照图4，如前面所述算出单应矩阵H后，能够通过以下过程推定世界坐标中存在的摄像机的位置(步骤S430)。世界坐标X和图像坐标x之间存在使其相互匹配(mapping)的投影矩阵(projectionmatrix)P，用下式表示。数学式6x＝PX其中，P表示将世界坐标变换为摄像机图像数据的图像坐标的矩阵，如数学式7所示，可用摄像机的内部参数K、世界坐标和摄像机坐标之间的旋转变换R、在世界坐标中的摄像机坐标之间的移动量C表示。其中，内部参数K可以包括X轴方向上的比例因子(scalefactor)、Y轴方向上的比例因子、歪斜(skew)、主点(principalpoint)位置等。数学式7P=KR[I|-C~]=K[r1r2r3|-RC~]]]>其中，单应矩阵H是顶视图图像(二维图像)和摄像机图像数据之间的变换矩阵，因此没有Z轴变换，所以可看作P中去除r3的特殊情况，如下式表示。数学式8H=K[r1r2|-RC~]]]>此时，r3可通过r1和r2的外积求出，因此具有γ3＝γ1×γ2的关系。利用此关系可推理出r3，由此推理出P。在P中已知K和R，因此利用在前面求出的单应矩阵H和已知的K，在世界坐标能够推理出摄像机的位置接下来，在图像合成部240，利用在前面推定的摄像机位置信息和图案信 息，将摄像机图像数据变换为顶视图图像，对前方、后方、左侧以及右侧的顶视图图像进行合成，从而能够生成AVM图像数据(步骤S440)。在这里，在顶视图图像的合成过程中，通过对从第二圆形图案321、323、325、327提取的椭圆进行图案信息解析，能够找准左右侧区域的顶视图图像的水平，然后找准前后方区域的顶视图图像。图10中示出了利用步骤S420中计算的单应矩阵来重建的顶视图图像，图11中用红色*(点)表示在步骤S430推定的摄像机位置。在所述本发明的AVM系统中生成顶视图并推定外部参数的方法，可在计算机能够读取的记录介质中，以可通过计算机能够读取的代码实现。计算机可读记录介质包括存储有可通过计算机系统解读的数据的、所有种类的记录介质。例如，ROM(ReadOnlyMemory：只读存储器)、RAM(RandomAccessMemory：随机存取存储器)、磁带、磁盘、闪存、光数据存储装置等。另外，计算机可读记录介质分散在通过计算机通信网连接的计算机系统，可通过能够以分散方式读取的代码存储并被执行。以上，参照本发明的优选实施例进行了说明，本领域技术人员能够在不超出权利要求范围中所记载的本发明的思想以及范围的情况下，对本发明进行修改以及变更。当前第1页1 2 3