用于环视监控系统的摄像头角度估计方法与流程

本申请要求分别于2017年6月14日和2017年10月12日提交的韩国专利申请no.10-2017-0074556和no.10-2017-0132250的优先权，其全部内容通过引用的方式结合于此。

本公开的实施例涉及一种用于环视(aroundview，全景)监控系统的摄像头角度估计方法，更特别地，涉及这样一种用于环视监控系统的摄像头角度估计方法：通过该方法校正摄像头的图像，以在车辆的环视监控系统中产生环视图像，即使在装有摄像头的车辆的附近不安装校正图案，也可从由摄像头捕获的周边图像提取特征点，这样使得能够基于通过跟踪特征点而获得的对应点，来估计摄像头的角度。

背景技术

在最近销售的车辆中，日益安装先进驾驶员辅助系统(adas)以帮助驾驶员的安全驾驶。

作为这种先进驾驶员辅助系统(adas)的一部分，在其中安装有超声波传感器或者后视摄像头的车辆增多，以减少由于盲点而导致的事故的出现。最近，在其中安装有环视监控(avm)系统的车辆也增多。

特别地，由于环视监控(avm)系统可监控车辆周围360°的所有方向，所以其引人关注。然而，由于安装特定设备(例如，用于摄像头校正的点阵或者车道图案)的宽阔空间的原因，且需要用于校正工作的技术人员在安装系统后校正摄像头，所以其在成本和时间方面是不利的。因此，环视监控(avm)系统的广泛应用存在限制。

在韩国未审查专利公开no.2016-0056658(2016年5月20日(公开日))中公开了本发明的背景技术。该专利的标题为“环视监控系统及其控制方法”。

技术实现要素：

各种实施例涉及用于环视监控系统的摄像头角度估计方法，通过该方法校正摄像头的图像，以在车辆的环视监控系统中产生环视图像，即使在装有摄像头的车辆的附近不安装校正图案，也可从由摄像头捕获的周边图像提取特征点，这样使得能够基于通过跟踪特征点而获得的对应点，来估计摄像头的角度。

在一个实施例中，用于环视监控系统的摄像头角度估计方法包括：通过环视监控系统的控制单元从至少三个摄像头中的每个摄像头的图像均一化(uniformizing)并提取特征点；通过控制单元跟踪所提取的特征点来获得对应点；通过控制单元使从每个摄像头的图像获得的对应点彼此整合；通过控制单元使用整合的对应点来估计消失点和消失线；并且基于所估计的消失点和消失线来估计每个摄像头的角度。

在一个实施例中，特征点是容易与每个摄像头的图像中的周围背景区分开的点，并且是甚至当改变物体的形状、尺寸或者位置时也容易区分且甚至当改变摄像头或者照明的视角时也容易从图像上发现的点。

在一个实施例中，在特征点的均一化和提取中，控制单元将每个摄像头的图像分成多个预设区域以均一化特征点，并允许强制从所划分的每个区域中提取预定数量的特征点。

在一个实施例中，该至少三个摄像头中的每个摄像头的图像是连续地或者顺序地捕获的图像，并包括在前一捕获的图像之后立即捕获的图像或者具有特定帧或者更多帧的时间差的摄像头图像。

在一个实施例中，为了估计消失点和消失线，控制单元绘制虚拟直线，两个对应点沿着虚拟直线在纵向方向上延伸，以在虚拟直线彼此交叉的位置估计一个消失点，并绘制使两个对应点的两端分别连接到彼此的虚拟直线，以在虚拟直线延伸并彼此交叉的位置估计剩余的消失点，从而估计使两个消失点彼此连接的消失线。

在一个实施例中，在每个摄像头的角度的估计中，控制单元估计用于将真实世界路面的坐标系转换成在之上显示畸变校正图像的图像坐标系的旋转矩阵re，作为每个摄像头的角度。

根据一个实施例，为了校正用于在车辆的环视监控系统中产生环视图像的摄像头的图像，即使在装有摄像头的车辆的附近不安装校正图案，也可从由摄像头捕获的周边图像提取特征点，并且基于通过跟踪特征点而获得的对应点来估计摄像头的角度，这样使得基于所估计的摄像头的角度来自动地校正摄像头的图像，从而能够更简单地产生精确的环视图像。

附图说明

图1是示出了根据一个实施例的环视监控系统的示意性构造的示例图。

图2是用于说明根据一个实施例的用于环视监控系统的摄像头角度估计方法的流程图。

图3是用于说明与根据一个实施例的特征点检测方法相比的相关技术中的一种特征点检测方法的示例图。

图4是用于说明根据一个实施例的特征点提取方法的示例图。

图5是用于说明用于通过图2中的连续图像中的特征点跟踪来获得对应点的方法的示例图。

图6是示出了通过整合对应点来获得的结果的示例图，通过跟踪图2中的多个连续捕获图像中的特征点来获得这些对应点。

图7是用于另外说明图6中说明的方法的示例图，其中，将从连续摄像头图像获得的对应点彼此整合。

图8是用于说明用于通过使用图2中所获得的对应点估计消失点和消失线的方法的示例图。

图9是用于说明与一个实施例相关的摄像头角度和消失点之间的关系的示例图。

图10是示出了使用通过根据一个实施例的用于环视监控系统的摄像头角度估计方法校正的图像产生的环视图像的示例图。

具体实施方式

在下文中，将在下面通过实施例的各种实例参考附图描述一种用于环视监控系统的摄像头角度估计方法。

图1是示出了根据一个实施例的环视监控系统的示意性构造的示例图。

如图1中示出的，根据该实施例的环视监控系统包括一个或多个安装在车辆处的摄像头120、121、122，和输出环视图像的控制单元110，通过将由摄像头120、121、122捕获的图像处理到视听导航(avn)装置(未示出)的屏幕来获得该环视图像。

控制单元110估计摄像头120、121、122的安装角度(或者摄像头角度)，并基于所估计的摄像头安装角度(或者摄像头角度，见图2)自动地校正摄像头图像。

然后，控制单元110输出环视图像，该环视图像是通过将所校正的摄像头图像处理到视听导航(avn)装置(未示出)的屏幕而获得。

当估计摄像头角度时，可简单地基于所估计的摄像头角度来校正摄像头图像。在下文中，在本实施例中，将参考图2至图10详细地描述一种用于估计摄像头安装角度(或者摄像头角度)的方法。

如图1中示出的，在环视监控系统的情况中，可在车辆的前侧、后侧、右侧和左侧安装至少四个摄像头。

例如，可在车辆的前侧、后侧、右侧(例如，右视镜)、左侧(例如，左视镜)、内前侧(例如，后视镜)和内后侧安装六个摄像头。

图2是用于说明根据该实施例的用于环视监控系统的摄像头角度估计方法的流程图。

如图2中示出的，控制单元110从摄像头图像均一化并提取特征点(例如，容易在图像匹配中与周围背景区分开的点，以及甚至当改变物体的形状、尺寸或者位置时也容易区分且甚至当改变摄像头或者照明的视角时也容易从图像上发现的点)(s101)。

特征点的均一化和提取表示在摄像头图像的整个区域中均匀分布的特征点的提取。

而且，控制单元110跟踪均一化的特征点并获得对应点(s102)(在此情况中，由于通过跟踪特征点来获得对应点，所以对应点可与所跟踪的特征点的形状线性地对应)，并将所获得的对应点与从多个图像(例如，三帧或者更多帧的摄像头图像)获得的对应点整合(s103)。

而且，控制单元110通过使用所获得的对应点来估计消失点和消失线，并基于所估计的消失点和消失线来估计摄像头角度(s104)。

而且，控制单元110基于所估计的摄像头角度来校正摄像头的图像(s105)。

在如上所述地校正摄像头图像之后，控制单元110通过根据预定环视算法将所校正的摄像头图像彼此组合来产生环视图像。

在下文中，在本实施例中，将参考图3至图10更详细地描述根据图2的步骤的用于估计摄像头角度的方法。

图3是用于说明与根据该实施例的特征点检测方法相比的相关技术中的一种特征点检测方法的示例图。

在图2中的提取(或者检测)特征点中，控制单元110检测作为摄像头图像中的特征的位置(即，特征点)。

然而，特征点可能并不按照捕获环境均匀地分布，因此可能增加摄像头角度的估计误差。在这方面，在本实施例中，执行一种用于均一化特征点的分布的过程。

作为众所周知的用于检测特征点的方法，具有诸如harris角点检测器、shi和tomasi角点检测器、fast和dog等的多种方法。

例如，图3是示出了在均一化使用众所周知的用于检测特征点的方法的shi和tomasi角点检测器提取(或者检测)的特征点之前的特征点提取结果的示例图，并示出了提取大约320个特征点(红点)的实例。然而，当如图3中示出的提取规定数量的特征点时，将非常可能主要在短距离路面上或者远处障碍物周围检测到特征点。

在这方面，在本实施例中，将摄像头图像分成多个预设区域，以均匀地分布特征点(见图4的(a))，并在所划分的每个区域中强制提取(或者检测)规定数量的特征点。也就是说，在本实施例中，通过均一化从摄像头图像中提取特征点。

图4是用于说明根据该实施例的特征点提取方法的示例图，其中，图4的(a)示出了将摄像头图像均匀地分成4×8个像素的实例，图4的(b)示出了通过在所划分的每个区域中提取(或者检测)规定数量的(例如10个)特征点来获得的结果(例如，320个特征点)。

因此，当将在图4的(b)中示出的特征点提取结果与在图3中示出的特征点提取结果进行比较时，能够确认特征点的分布是相当均匀的。

再次参考图2，在跟踪均一化特征点并获得对应点的步骤中(s102)，控制单元110从连续图像(即，连续捕获的摄像头图像)跟踪所提取的特征点，以捕获对应点(见图5)。

图5是用于说明用于通过图2中的连续图像中的特征点跟踪来获得对应点的方法的示例图，并且通常，在相关技术中，通过仅使用两个图像(或者图像的两帧)使特征点彼此匹配来获得对应点。然而，在本实施例中，为了从具有小特征的路面稳定地确保更大数量的对应点，提供一种用于从连续图像(例如，三帧或者更多帧)跟踪特征点的方法。

在此情况中，在跟踪特征点时，可能能够使用众所周知的各种光流跟踪方法，例如census变换(ct，一种用于将一个像素的周围区域的亮度的变化与中心像素的亮度进行比较的方法)和kanade-lucastomasi(klt)。图5示出了通过跟踪在图4的(b)中检测到的特征点来获得对应点的结果。

图6是示出了通过整合对应点来获得的结果的示例图，这些对应点是通过跟踪图2中的多个连续捕获图像中的特征点而获得，并且尽可能多地获得并使用多个对应点以改进摄像头角度估计的精度是有利的。然而，为了获得多个对应点，由于必须同时提取并跟踪多个特征点，所以存在需要更多执行时间的问题。

在这方面，本实施例使用这样一种方法：通过使用连续摄像头图像从每个摄像头图像提取并跟踪少量特征点，根据每个摄像头图像获得对应点，并使从每个摄像头图像获得的对应点彼此整合。

例如，如图6中示出的，在使用从连续三帧(图6的(a)、(b)和(c))的摄像头图像提取并跟踪特征点，根据摄像头图像获得对应点，然后使从摄像头图像获得的对应点彼此整合(图6的(d))的方法的情况中，与用于从一个摄像头图像获得对应点(例如，2000至3000个)的方法相比，从连续捕获的摄像头图像获得少量对应点(例如，400至600个)并使其彼此整合的方法，在获得基本上相同的结果(例如，获得2000至3000个对应点)的时间方面更有效，并能够通过对应点的整合来确保在整个摄像头图像中均匀分布的对应点(图6的(d))，甚至当对应点仅存在于每个摄像头图像的一部分中时(见图6的(a)、(b)和(c))。因此，能够改进参数(即，用于估计摄像头角度的参数)的估计的稳定性。

图7是用于另外说明图6中说明的方法的示例图，其将从连续摄像头图像获得的对应点彼此整合，其中，图7的(a)是示出了通过一次从一个摄像头图像提取并跟踪960个特征点来获得的结果的示例图，而图7的(b)是示出了通过从连续捕获的三帧的每个摄像头图像提取并跟踪320个特征点并将特征点彼此整合来获得的结果的示例图。

可理解，一次在图7的(b)的结果中使用的计算量(即，用于计算的负载)比图7的(a)的计算量小得多，并能够确保特征点均匀地分布在整个摄像头图像中。

在本实施例中，连续捕获的图像(或者连续图像)不限于在前一捕获的图像之后立即捕获的图像。也就是说，在本实施例中，当使用多个图像时，这些图像并非必须是连续的，也可使用具有特定帧或者更多帧的时间差的摄像头图像。其表示可使当前获得的对应点与10分钟前获得的对应点彼此整合以进行使用。

图8是用于说明用于通过使用图2中所获得的对应点估计消失点和消失线的方法的示例图。

在本实施例中，控制单元110通过使用从摄像头图像获得的对应点来估计消失点和消失线，并估计地面和摄像头之间的旋转矩阵。

旋转矩阵是用于当使二维空间或者三维空间上的一个点围绕原点逆时针旋转预期角度时获得新的点的坐标的矩阵。

例如，当车辆笔直移动时，两个所获得的对应点应彼此平行，并且在真实世界路面上(鸟瞰图)应具有基本上相同的长度，如图8的(a)中示出的。

然而，当将对应点作为摄像头图像而捕获时，对应点的方向和长度由于如图8的(b)中示出的透视畸变的原因而彼此基本上并不相等。

由于两个对应点在真实世界中形成平行四边形，所以控制单元110绘制虚拟直线，对应点沿着虚拟直线在纵向方向上延伸，以在虚拟直线彼此交叉的位置获得一个消失点，并绘制使对应点的两端分别连接到彼此的虚拟直线，以在虚拟直线延伸并彼此交叉的位置获得其他消失点，这样使得能够获得使两个消失点彼此连接的消失线，如图8的(c)中示出的。

图9是用于说明与该实施例相关的摄像头角度和消失点之间的关系的示例图。

如图9中示出的，控制单元110估计用于将真实世界路面的坐标系转换成在之上显示畸变校正图像的图像坐标系的旋转矩阵re，作为摄像头角度。也就是说，在本实施例中，注意，将要估计的摄像头角度指示用于将真实世界路面的坐标系转换成在之上显示畸变校正图像的图像坐标系的旋转矩阵re。

其指示将如图9的(a)中示出的真实世界路面的坐标系转换成如图9的(b)中示出的在之上显示畸变图像(实际上是畸变校正图像，由于在实际的摄像头图像中可能将直线稍微显示成曲线，所以其指示通过将曲线校正成直线来获得的图像)的坐标系(见图9的(b))。

因此，为了方便估计，可通过反向转换(即，将畸变校正图像坐标系转换成真实世界路面的坐标系)来估计摄像头的角度re。也就是说，在图9中，当使图像旋转(图9的(b)到图9的(a)的图像旋转)时，将在图9的(b)中估计的两个消失点v1和v2转换成无穷远处的点p1和p2。

例如，用以下方程式1表达图9中示出的转换操作。

方程式1

在以上方程式1中，k表示包括摄像头内部变量的矩阵，v'1和v'2表示通过将消失点v1和v2乘以k^-1来获得的结果，其中，k是可提前获得的值。

而且，由于p'1表示车辆在图像中的笔直方向，所以在侧摄像头的情况中，p'1是[100]^t，在前/后摄像头的情况中，是[010]^t。

因此，在侧摄像头的情况中，第一消失点v'1的坐标是r1，其是待估计摄像头的角度re的第一列向量，如通过以下方程式2所表达的。

方程式2

同时，不可能固定p'2的精确位置，但是由于将此点隔离到无穷远，所以其可用[ab0]^t表达。

当将v'2转换成时，由于获得p'2，所以可获得以下方程式3的①。

方程式3

①

②

③

而且，当以基本上相同的方式转换以上方程式2时，可获得以上方程式3的②。最后，当对彼此增加以上方程式3的①和②时，可获得以上方程式3的③。

而且，以上方程式3的③表示，r3是消失线的参数，消失线是使两个消失点v'1和v'2彼此几何连接的直线。

同时，由于r1是通过以上方程式2计算的v'1，所以可基于以下用于计算消失点的方程式4来计算r1。也就是说，可通过以下方程式4来计算r1。

在以下方程式4中，(xi,yi)和(x'i,y'i)表示第i个对应点的坐标。

方程式4

而且，r3表示消失线的参数。

因此，从对应点的组合计算多个消失点v2，并基于该多个消失点v2执行直线估计，这样使得能够计算r3。

在此情况中，当使用直线(即，消失线，r3)应通过r1(v1)的强制条件时，可如由以下方程式5表达的来获得r3。也就是说，可通过以下方程式5来计算r3。

方程式5

在以上方程式5中，和表示通过以上方程式4计算的消失点v1的坐标，而表示通过对应点的组合来获得的第i个消失点的坐标。如上所述，在计算r1和r3之后，通过r1和r3的叉积来计算r2，这样使得估计摄像头的re，希望该re是将要估计的re。

图10是示出了使用通过根据该实施例的用于环视监控系统的摄像头角度估计方法校正的图像产生的环视图像的示例图。

图10的(a)是在执行实验的地方捕获的摄像头图像，而图10的(b)是通过基于环视监控系统的摄像头角度自动地执行校正来产生的环视图像，该摄像头角度是基于所捕获的摄像头图像来估计。

如图10中示出的，在本实施例中，可理解，通过自动地估计摄像头的角度来执行校正，甚至是在几乎没有特征的情况中，例如没有车道和图案(具有通过从地面移除车道而获得的标记以及仅远距离建筑物的情况)，如图10的(a)中示出的。

如上所述，在本实施例中，能够基于由摄像头捕获的图像自动地估计环视监控(avm)系统的摄像头角度。特别地，甚至是在没有特殊图案(用于摄像头校正的特殊图案，例如地面上的点阵和车道)的情况中，也能够估计摄像头角度。

因此，在本实施例中，当除了专业工程师以外的一般驾驶员在任意道路(任何地方)上驾驶车辆时，由于自动地估计摄像头的角度，所以改进avm系统的方便性并降低安装成本。而且，由于减小用于系统操作环境或者校正的限制条件(诸如公差校正装置的特殊设备)，所以提高了利用率，这样使得可解决对海外出口的限制。

虽然以上已经描述了各种实施例，但是对于本领域技术人员来说将理解，所述实施例仅是通过实例来实现的。因此，这里描述的用于环视监控系统的摄像头角度估计方法不应基于所述实施例而受限。