车载相机的图像处理方法和使用该方法的图像处理设备的制作方法

车载相机的图像处理方法和使用该方法的图像处理设备的制作方法
【专利摘要】车载相机的图像处理方法和使用该方法的图像处理设备。本文公开了一种车载相机的图像处理设备，该图像处理设备包括：光源提取单元，其被配置为从在第一时间期间暴露于光源的第一帧中提取光源，以及从在比所述第一时间更长的第二时间期间暴露于所述光源的第二帧中提取产生运动模糊的光源；目标光源分类单元，其被配置为将属于所述第一帧的光源的并且不运动的第一目标光源和属于所述第二帧的光源的并且不运动的第二目标光源分类；以及运动确定单元，其被配置为估计作为所述第一目标光源的中心点的第一位置和作为包括所述第二目标光源的中心点的中心线的第二位置，将所述第一位置与所述第二位置进行比较，以及确定车辆的颠簸运动是否已经发生。
【专利说明】车载相机的图像处理方法和使用该方法的图像处理设备

【技术领域】
[0001]本发明的示例性实施方式涉及一种车载相机的图像处理方法以及使用该方法的图像处理设备，更具体地说，涉及一种车载相机的图像处理方法和使用该方法的图像处理设备，其能够通过有效地修正通过安装在车辆上的相机拍摄的夜间图像提高使用该夜间图像的车辆驾驶辅助系统的稳定性和可靠性。

【背景技术】
[0002]近来，积极地研发了利用诸如安装在车辆上的相机的光学装置检测诸如通车车道、指示牌、车辆或其它地理特征的对象的检测装置。关于通过这种检测装置检测到的对象的信息可用于车辆的安全驾驶。然而，在车辆行驶的同时，可根据道路的路面状态产生颠簸(pitch)运动。颠簸运动是指可归因于运动道路条件的车辆的上下运动。
[0003]车辆的这种颠簸运动可成为当检测装置检测对象时产生错误的原因。因此，需要一种在颠簾运动中能够最小化错误的技术。
[0004]就诸如现有颠簸运动方案的图像稳定性方法而言，提取图像中显现的视野范围附近的边缘分量、测量前一帧图像与当前帧图像之间的差异、以及基于所述差异的结果估计车辆的当前颠簸运动。在韩国专利申请公开N0.2013-0015974 (2013年2月14日)中公开了关于这种颠簸运动估计的示例。
[0005]然而，因为夜间照明强度不足，所以存在不能利用相机监视视野范围的情况。在这种情况下，如果使用现有方法则性能可变差。
[0006]关于在夜间在图像的上端出现的街灯，最重要的是，当利用诸如图像内的运动、车速和偏航率的数据搜索街灯的运动特征时，分析街灯的图像内的运动。在这种情况下，利用跟踪算法主要分析街灯的图像内的运动。
[0007]然而，如果在车辆前方存在各种形式的许多光源，则执行跟踪算法所需的计算负担非常大。结果，存在性能变差的问题。
[0008]现有技术文献
[0009]专利文献
[0010](专利文献001)韩国专利申请公开N0.2013-0015974(2013年2月14日)


【发明内容】

[0011]因此，鉴于在现有技术中出现的以上问题提出本发明，并且本发明的一个目的是提供一种车载相机的图像处理方法和使用该方法的图像处理设备，当安装在车辆上的驾驶辅助系统基于通过安装在车辆前部上的相机拍摄的夜间图像估计与前车的距离时，所述图像处理方法和使用该方法的图像处理设备可防止可归因于车辆的振动的通车车道的识别度或距离精度的可靠性的降低。
[0012]根据用于实现本发明的目的的本发明的第一方面，一种车载相机的图像处理设备可包括:光源提取单元，其被配置为从在第一时间期间暴露于光源的第一帧中提取光源，以及从在比所述第一时间更长的第二时间期间暴露于所述光源的第二帧中提取产生运动模糊的光源；目标光源分类单元，其被配置为将属于所述第一帧的光源的并且不运动的第一目标光源和属于所述第二帧的光源的并且不运动的第二目标光源分类；以及运动确定单元，其被配置为估计作为所述第一目标光源的中心点的第一位置和作为包括所述第二目标光源的中心点的中心线的第二位置，将所述第一位置与所述第二位置进行比较，以及确定车辆的颠簸运动是否已经发生。
[0013]另外，图像处理设备还可包括:修正单元，其被配置为基于所述第一位置与所述第二位置之间的比较结果修正所述车载相机的图像。
[0014]另外，不运动的光源可包括街灯和视觉指引反射器中的至少一个。
[0015]另外，所述运动确定单元还可被配置为将所述第一帧和所述第二帧重叠以及基于所述第一位置和所述第二位置重叠的位置确定所述车辆的所述颠簸运动的方向或程度。
[0016]另外，所述图像处理设备的数字传感器可以是滚动快门类型的CMOS传感器。
[0017]根据用于实现本发明的目的的本发明的第二方面，一种车载相机的图像处理方法可包括:从已由所述车载相机获得的并且已在第一时间期间暴露于光源的第一帧中提取光源；将属于提取的光源的并且不运动的第一目标光源分类；计算作为所述第一目标光源的中心点的第一位置；从已由所述车载相机获得的并且已在比所述第一时间更长的第二时间期间暴露于光源的第二帧中提取产生运动模糊的光源；将属于从所述第二帧中提取的光源的并且不运动的第二目标光源分类；计算作为包括所述第二目标光源的中心点的中心线的第二位置；将所述第一位置与所述第二位置进行比较；以及基于所述第一位置与所述第二位置之间的比较结果确定车辆的颠簸运动是否已经发生。
[0018]图像处理方法还可包括基于所述第一位置与所述第二位置之间的比较结果修正所述车载相机的图像。
[0019]另外，将所述第一目标光源分类或将所述第二目标光源分类的步骤可包括将在所述第一帧或所述第二帧的预定区中存在的光源分类为目标光源。
[0020]另外，将所述第一目标光源分类或将所述第二目标光源分类的步骤可包括根据利用支持向量机的训练方法将沿着道路布置的多个街灯或视觉指引反射器分类为目标光源。
[0021]另外，计算所述第一位置或计算所述第二位置的步骤可包括:对所述第一帧或所述第二帧的图像执行二值化，以及提取具有特定值的像素的重心的坐标作为所述第一位置或所述第二位置。
[0022]另外，基于所述第一位置与所述第二位置之间的比较结果确定所述车辆的颠簸运动是否已经发生的步骤可包括:将所述第一帧和所述第二帧重叠，以及基于所述第一位置和所述第二位置重叠的位置确定所述车辆的所述颠簸运动的方向或程度。
[0023]另外，所述第二帧可以是属于包括在图像中的多个帧并且正好位于所述第一帧之后的帧。
[0024]另外，修正所述车载相机的图像的步骤可以包括:利用随机样本一致性RANSAC算法提取最佳修正方向和距离，以及修正所述图像。

【专利附图】

【附图说明】
[0025]从以下结合附图进行的详细描述中，将更加清楚地理解本发明的以上和其它目的、特征和优点，其中:
[0026]图1示出了根据本发明的实施方式的图像处理设备的示意性框图；
[0027]图2是示出根据本发明的实施方式的前相机的图像处理方法的流程图；
[0028]图3和图4是示出根据本发明的实施方式的车载相机的图像处理方法的概念图；
[0029]图5是示出根据本发明的实施方式的检查车辆的运动的方法的概念图；
[0030]图6是示出根据本发明的另一实施方式的检查车辆的运动的方法的概念图；
[0031]图7至图10是示出图2的车载相机的图像处理方法的示例性示图；以及
[0032]图11是示出根据本发明的实施方式的第一帧和第二帧重叠的示图。

【具体实施方式】
[0033]下文中详细描述本发明的实施示例和实施方式，从而本申请所属领域的技术人员可容易地实施本发明。
[0034]然而，可按照各种其它形式实施本申请，并且本申请不限于本文描述的实施示例和实施方式。
[0035]在整个说明书中，除非明确地描述不是这样，否则词语“包括”将理解为意指包括所列元件，但不排除任何其它元件。
[0036]在本申请的整个说明书中，当描述一个步骤在另一步骤之前或之后时，应该理解，除了一个步骤直接与另一步骤相连的情况之外，还包括第三步骤存在于这两个步骤之间的情况。
[0037]在本申请的整个说明书中，当在描述的含义中存在唯一制造和容许误差时，将诸如“约”或“基本上”的程度术语用在对应的数值中或作为与该数值接近的含义使用，并且用于防止利用包括示为精确或绝对的数值的公开的内容进行非法的不合理侵犯，以帮助理解本发明。
[0038]在本申请的整个说明书中，诸如“(执行或进行的)步骤?”或“步骤?”的术语不意指“用于?的步骤”。
[0039]在描述根据本发明的实施方式的图像处理设备的元件之前，下面首先描述本说明书中描述的一些兀件。
[0040]术语“多次曝光”意指曝光一次的单个帧再次被多次曝光，从而多个图像添加至所述单个中贞。
[0041]术语“运动模糊”是指在诸如图像和动画的连续图画或静止图像中反映并且快速运动的对象的清晰线条。如果曝光过久或运动很快或当图像在拍摄单个帧的同时改变时，出现这种现象。
[0042]下文中，参照附图和实施方式详细描述本发明，从而本申请所属领域的技术人员可重复地再现本申请。
[0043]图1示出了根据本发明的实施方式的图像处理设备的示意性框图。
[0044]参照图1，根据当前实施方式的图像处理设备10包括光源提取单元11、目标光源分类单元12、运动确定单元13和修正单元14，以分析车载相机的夜间图像和分析车辆的颠簸运动。
[0045]车载相机包括安装在车辆前部的前相机。
[0046]另选地，车载相机可包括被配置为在车辆的所有方向(包括车辆的前方)上拍摄图像的相机。另外，车载相机可包括安装在车辆上并被配置为除车辆前部以外还拍摄车辆前方的其它部分的相机。
[0047]夜间图像是由车载相机拍摄的图像，并指在夜间拍摄的图像。夜间图像通常包括在天黑以后行驶的车辆附近(具体地说，车辆的前方)的图像。通常，可按照运动图像形式拍摄夜间图像，并且各个夜间图像可包括约几帧/秒至约几十帧/秒的静止图像。
[0048]光源提取单元11从车载相机拍摄的第一帧图像(夜间图像等)中提取光源，并从在距离第一帧第一时间间隔获得的第二帧图像中提取光源。光源提取单元11可通过共同图像处理(二值化等)基于每一个帧的像素值(I或O)提取光源。更具体地说，光源提取单元11从在第一时间期间暴露于光源的第一帧中提取光源，并从在第二时间期间暴露于光源的第二帧中提取光源。在这种情况下，第一时间和第二时间可彼此不同。通常，在快速运动并长时间暴露于光源的对象的图像中产生运动模糊现象，而在快速运动并短时间暴露于光源的对象的图像中不产生运动模糊现象。根据本发明的实施方式的光源提取单元11利用这种现象从包括其中已发生运动模糊现象的帧的所有帧中提取光源。
[0049]目标光源分类单兀12将属于第一巾贞的光源并且未运动的第一目标光源分类。另夕卜，目标光源分类单元12将属于第二帧的光源并且未运动的第二目标光源分类。在这种情况下，未运动的光源安装在车辆行驶的道路附近，并可包括街灯或视觉指引反射器。
[0050]安装街灯或视觉指引反射器以使得其在道路附近产生或反射光。街灯或视觉指引反射器位于车载相机拍摄的夜间图像的帧的特定区中，并且被拍摄为相对于其它周围对象具有高亮度。因此，目标光源分类单元12可在将第一帧和第二帧二值化的处理中将位于预定区(例如，该帧的左上部和右上部)中并且具有特定像素值I的光源分为第一目标光源和第二目标光源。
[0051]运动确定单元13估计第一位置(也就是说，第一目标光源的中心点)，估计发生运动模糊的第二位置(也就是说，第二目标光源的中心点)，并基于第一位置和第二位置分析车辆的颠簸运动。运动确定单元13计算包括第一帧中的多个像素的第一目标光源的重心作为第一位置，并计算包括第二帧中的多个像素的在第二目标光源中发生运动模糊的位置作为第二位置。根据这种配置，运动确定单元13可关于每一个帧上的单个目标光源指定单个像素作为第一位置，并指定一个或更多个像素作为第二位置。第二位置可包括一个或更多个像素是因为在第二位置中产生运动模糊。
[0052]另外，运动确定单元13将第一帧和第二帧重叠，并将第一位置与第二位置进行比较。因为在不同的曝光时间期间拍摄相同对象，所以在第一帧和第二帧中出现的两个对象重叠，但是由于运动模糊现象，导致两个对象的中心不重叠。运动确定单元13基于两个对象的中心未重叠的原理计算车辆的颠簸运动的方向和程度。
[0053]另外，运动确定单元13基于车辆的车速和偏航率计算在运动第一时间之后期望出现第一位置的估计位置。根据这种配置，运动确定单元13可计算和估计第一位置的估计位置，并且可提供第一时间之后的图像帧(即，第二帧)中的第二位置的补偿标准。
[0054]修正单元14基于第一位置与第二位置之间的比较结果修正车载相机的图像。修正单元14可基于已由运动确定单元13确定的车辆的运动修正车载相机的图像。
[0055]在另一实施方式中，可利用用于执行光源提取单元11、目标光源分类单元12、运动确定单元13和修正单元14的功能的装置或者被配置为执行对应于该装置的功能的元件来实现根据本实施方式的图像处理设备10。例如，可利用使用触发电路或微处理器的逻辑电路来实现图像处理设备10。在这种情况下，可按照以下方式实现图像处理设备10，所述方式即，其中限定了光源提取单元11、目标光源分类单元12、运动确定单元13和修正单元14的功能的特定程序被存储在该图像处理设备10自己的存储器中或单独的存储装置中，并且逻辑电路或微处理器执行存储在存储器或存储装置中的特定程序。
[0056]图2是示出根据本发明的实施方式的前相机的图像处理方法的流程图。
[0057]参照图2，在根据本实施方式的前相机的图像处理方法中，首先，在步骤S21，当从车载相机接收到图像(例如，夜间图像)时，在步骤S22，光源提取单元11在第一时间期间曝光图像。在步骤S23，光源提取单元11从车载相机获得的第一帧图像中提取光源。
[0058]在步骤S24，目标光源分类单元12将属于从第一帧中提取的光源的并且未运动的第一目标光源El分类。在将第一目标光源El分类的步骤S24，目标光源分类单元12可通过考虑诸如安装在道路附近的街灯或视觉反射指引器的不运动的光源位于图像的特定区中，将在第一帧的预定区中存在的光源分类为第一目标光源。在本实施方式中，街灯可为用于确定车辆的颠簸运动的目标光源。
[0059]在步骤S25，运动确定单元13计算第一位置Pl，也就是说，第一目标光源El的中心点。在计算第一位置Pl的步骤S25，运动确定单元13可对第一帧图像执行二值化，并提取具有特定值的像素的重心的坐标作为第一位置Pl。
[0060]然后，在步骤S26，光源提取单元11在距离第一帧第一时间间隔的第二时间期间将图像曝光。另外，在步骤S27，光源提取单元11从获得的第二帧中提取光源。第二帧可为包括在从车载相机接收的图像中包括的多个帧中的并且正好位于第一帧之后的帧。假设从车载相机接收的图像包括几帧/秒至几十帧/秒，可几乎同时或并行地处理从第一帧提取光源和从第二巾贞提取光源。这意味着，根据本实施方式的修正车载相机的夜间图像的方法可用于在道路上以约100 km /h( S卩，约28米/秒)的实时速度行驶的车辆。
[0061]在步骤S28，目标光源分类单元12将属于从第二帧中提取的光源的并且不运动的第二目标光源E2分类。在将第二目标光源E2分类的步骤S28，目标光源分类单元12可通过考虑诸如安装在道路附近的街灯或视觉反射指引器的不运动的光源位于图像的特定区中，将在第二帧的预定区中存在的光源分类为第二目标光源E2。
[0062]在将第一目标光源El分类的步骤S24或将第二目标光源E2分类的步骤S28，目标光源分类单元12可通过利用支持向量机(SVM)的训练方法将沿着道路布置的多个街灯或视觉指引反射器分类为目标光源。SVM用于通过以下步骤在统计上将预定数据二值化和分类，所述步骤即:在输入空间中产生最大边缘超平面，提供赋予值“是”或“否”的训练样本，以及，将训练样本划分为“是”和“否”以使得从最近样本至超平面的距离变为最大。如果使用SVM，则可有效地将属于夜间图像的光源的并且不运动的目标光源分类。
[0063]在步骤S29，运动确定单元13计算第二位置P2，也就是说，第二目标光源E2的中心点。在计算第二位置P2的步骤S29，运动确定单元13可对第二帧图像执行二值化，然后提取具有特定值(例如，I和O中的I)的像素的重心的坐标作为第二位置P2。在这种情况下，第二目标光源的中心点对应于由于长时间的曝光而产生运动模糊的目标光源，因此与第一位置Pl不同，第二位置P2可以单条线的形式而非单个像素的形式呈现。
[0064]在这种情况下，实际上，第二目标光源E2与第一目标光源El相同。然而，由于第二目标光源导致的曝光时间与第一目标光源导致的曝光时间不同，因此第一位置(也就是说，第一目标光源的中心点)和第二位置(也就是说，第二目标光源的中心点)只能交叠，但彼此不同。一张图像通过自动曝光获得，而另一张图像相对于相同场景利用多次曝光相机通过短曝光获得。在这种情况下，滚动快门类型的CMOS传感器可用作用于获得图像的数字传感器。滚动快门是一种用在通用CMOS类型的图像传感器中的电子快门。在这种滚动快门类型的传感器中，由于滚动快门类型的传感器的本质，随着拍摄快速运动的物体，产生更大的运动模糊。这种技术对于本领域技术人员是公知的，因此省略其详细描述。
[0065]然后，在步骤S30，运动确定单元13将第一位置Pl (也就是说，第一目标光源的中心点)与第二位置P2(也就是说，第二目标光源的中心点)进行比较。运动确定单元13基于比较结果确定在车辆中是否产生颠簸运动以及产生的颠簸运动的方向。
[0066]在步骤S31，修正单元14基于第一位置Pl和第二位置P2之间的比较结果修正车载相机的图像。
[0067]在修正车载相机的夜间图像的步骤S31中，修正单元14可利用随机样本一致性(RANSAC)算法提取最佳修正方向和距离，并且可利用提取的最佳修正方向和距离修正夜间图像。RANSAC算法用于通过重复地执行随机选择一些预定原始数据的处理来预测最佳参数。对于根据本实施方式的安装在图像处理设备上的图像处理方法，可按照程序或步骤的形式实现RANSAC算法。
[0068]在一些实施方式中，为了修正车载相机的夜间图像，修正单元14可输出修正信号，以基于估计位置与第二位置之间的比较结果修正车载相机的倾斜装置的当前位置。可将修正信号直接发送至车载相机的倾斜装置，或者将其发送至用于控制倾斜装置的单独的电子控制单元(ECU)。车载相机的倾斜装置或ECU在本领域是公知的，因此将省略它们的详细描述。
[0069]图3和图4是示出根据本发明的实施方式的车载相机的图像处理方法的概念图。
[0070]如图3所示，街灯被确定在接收到的夜间图像的上侧，并且光源被提取。如果如图3所示车辆在平坦路面上行驶，则车辆中不发生颠簸运动。因此，从在图3的左侧通过长曝光时间的自动曝光拍摄的图像提取的光源和从在图3的右侧通过短曝光时间的短曝光拍摄的图像提取的光源基本位于相同点或相同高度。
[0071]相比之下，如图4所示，如果车辆在具有不平整部分的路面上行驶，则车辆中发生颠簸运动。因此，从在图4的左侧通过长曝光时间的自动曝光拍摄的图像提取的光源和从在图4的右侧通过短曝光时间的短曝光拍摄的图像提取的光源由于运动模糊而在重叠的位置上是不同的。
[0072]利用根据曝光时间的运动模糊来检查车辆的运动，并且修正夜间图像。
[0073]以下更加详细地描述检查车辆的运动和修正夜间图像的方法。
[0074]图5是示出根据本发明的实施方式的检查车辆的运动的方法的概念图。
[0075]图5示出了在车辆遇到不平整部分之后产生上升运动特征的同时，车辆依次在第一时间和第二时间期间暴露于光源的情况。
[0076]首先，从在车辆经过不平整部分的同时已经在第一时间期间暴露于光源的第一帧提取光源。从在正好在第一时间之后的第二时间期间已经暴露于光源的第二帧提取光源。在这种情况下，第一时间相对比第二时间更长。
[0077]因为第一时间比第二时间更长，所以在第一时间期间产生运动模糊。另外，因为第二时间比第一时间更短，所以在第二时间期间很少产生运动模糊。因此，可通过利用关于第一时间的信息和关于第二时间的信息分析第一帧和第二帧来确定车辆的颠簸运动的方向。更具体地说，如果第一帧和第二帧中的光源呈现为在下侧重叠，则可确定在一帧中的例如街灯的光源受到上下颠簸运动，也就是说，车辆已经受到上下颠簸运动。
[0078]图6是示出根据本发明的另一实施方式的检查车辆的运动的方法的概念图。
[0079]图6示出了在车辆遇到不平整部分之后产生上升运动特征的同时，车辆依次在第一时间和第二时间期间暴露于光源的情况。
[0080]如图6中那样，从在车辆经过不平整部分的同时已经在第一时间期间暴露于光源的第一帧提取光源。从在正好在第一时间之后的第二时间期间已经暴露于光源的第二帧提取光源。在这种情况下，第二时间相对比第一时间更长。
[0081]因为第二时间比第一时间更长，所以在第二时间期间产生运动模糊。另外，因为第一时间比第二时间更短，所以在第一时间期间很少产生运动模糊。因此，可通过利用关于第一时间的信息和关于第二时间的信息分析第一帧和第二帧来确定车辆产生的颠簸运动的量和方向。更具体地说，如果第一帧和第二帧中的光源呈现为在上侧重叠，则可确定在一帧中的例如街灯的光源受到上下颠簸运动，也就是说，车辆受到上下颠簸运动。另外，如果运动模糊显现得长，则可确定剧烈地产生了车辆的颠簸运动。
[0082]如果其上安装有车载相机的车辆本身运动，则仅基于光源的位置变化修正夜间图像是有问题的。为了解决该问题，可通过利用可从通过车速传感器和偏航率传感器检测到的信号获得的车速和偏航率计算车辆的运动来追踪夜间图像中的光源的运动。也就是说，可对不运动的光源执行补偿，这是因为，如果知道车速和偏航率，则可以知道车辆的下一位置。利用车速和偏航率预测车辆的下一位置的技术是本领域公知的，因此将省略它的详细描述。
[0083]下面更加详细地描述利用光源的位置变化和车辆的运动修正夜间图像的方法。
[0084]图7至图10是示出图2的车载相机的图像处理方法的示例性示图。
[0085]如图8所示，可基于从夜间图像80中提取的光源的位置的变化而应用使夜间图像稳定的图像修正。也就是说，可基于光源的位置变化而补偿与车辆的摇晃或车载相机的摇晃相应的在夜间图像中的误差。
[0086]首先，如图8所示，将在从车载相机接收到的夜间图像中的运动的光源和不运动的光源分离。在图8中，将在从车载相机接收到的第一帧夜间图像80中的四个不运动的光源分类为第一目标光源81。
[0087]不运动的光源可为街灯，邻近车辆的光源可被分类为运动的光源。另外，反射器(例如，以特定间隔沿着隔离带或导轨布置的视觉指引反射器)可被分类为不运动的光源，因为它们不运动。
[0088]在识别光源的方法中，街灯的位置相对高，并且该街灯位于左侧和右侧。对应区中的光源可被分类为街灯。像街灯一样，可使用特定的识别方法将反射器分类。例如，可利用训练方法和SVM对光源分类。
[0089]在检索到第一目标光源81之后，搜索每一个第一目标光源81的中心点。可将第一位置82(也就是说，每一个第一目标光源81的中心点)指定为第一帧中的单个像素。为了方便起见，图9示出了各自具有特定尺寸的第一位置82 (也就是说，第一目标光源的中心点)。
[0090]在本实施方式中，作为利用目标光源的中心点之间的比较的替代，因为目标光源的尺寸根据位置有所不同，所以使用目标光源的中心点的位置。通过图像二值化，每一个目标光源的中心点的计算可对应于目标光源的重心或对应的区的中心的搜索。
[0091]然后，如图10所示，图像处理设备10显示其中当前帧(即，第一帧)的各个第一目标光源81在第一时间期间暴露的区82。
[0092]然后，如图10所示，图像处理设备10从下一帧(B卩，第二帧)中提取光源，将属于提取的光源的且不运动的第二目标光源83分类，并显示在比第一时间更短的第二时间期间暴露的第二区84。
[0093]然后，图像处理设备10将其中光源在其中第一帧和第二帧重叠的夜间图像或帧80中被暴露的第一位置82和对应的第二位置84进行比较，基于比较结果分析车辆的颠簸运动或车载相机的摇晃程度，以及基于分析结果对夜间图像执行稳定化。图像处理设备10可通过对第一位置82和第二位置84的竖直位置和其中第一目标光源和第二目标光源在帧80中重叠的部分执行比较来计算上下振动的车辆的方向和程度。
[0094]当利用车速和偏航率计算估计位置时，基于在通过以每单位时间(例如，I秒)除以帧数而获得的时间期间车载相机的死点的时间点或与该时间点对应的第一帧的大约死点，图像处理设备10可基于车辆的偏航率不同地计算已从第一帧左侧的第一位置运动的估计位置和已从第一帧右侧的第一位置运动的估计位置，并且更具体地说，可计算车辆的颠簸运动的程度。
[0095]图11是示出根据本发明的实施方式重叠的第一帧和第二帧的示图。
[0096]从图11中，可以看出，当第一帧和第二帧重叠时，在下侧产生其中第一位置82和第二位置84重叠的部分。可通过确定是在上侧还是下侧上产生上述其中第一位置和第二位置重叠的部分来确定车辆的颠簸运动的方向。另外，可参照第一位置的长度确定颠簸运动的程度。
[0097]需要在考虑在第一时间期间可归因于时间差的车辆的运动的情况下修正夜间图像，这是因为，利用在第一时间过去之后产生的图像帧分析车辆的运动。更具体地说，可计算当前帧(即，第一帧)的第一目标光源的第一位置在特定时间(例如，第一时间)之后将在下一帧(即，第二帧)中所处的估计位置。可利用车辆的速度和偏航率计算估计位置。
[0098]根据本实施方式，可提供能够有效地执行通过车载相机获得的夜间图像的稳定化的图像处理方法和图像处理设备。另外，利用上述图像处理方法或图像处理设备的车辆驾驶辅助系统的有益之处在于，其在测量与前车距离或者防止与前车的碰撞时可提高稳定性和可靠性。
[0099]因此，根据本发明的实施方式的车载相机的图像处理方法和使用该方法的图像处理设备的有益之处在于，当安装在车辆上的驾驶辅助系统基于通过安装在车辆前部的车载相机拍摄的夜间图像估计与前车的距离时，所述图像处理方法和使用该方法的图像处理设备可防止可归因于车辆的振动的通车车道的识别或距离精度的可靠性的降低。
[0100]如上所述，虽然已经示出了本发明的特定实施方式，但是本发明不限于所述实施方式，在不脱离本发明的范围和精神的情况下，本发明所属领域的技术人员可按照各种方式改变、替代和修改本发明。应该理解，这种改变、替代和修改属于本发明的随附权利要求的范围。
【权利要求】
1.一种车载相机的图像处理设备，该图像处理设备包括: 光源提取单元，其被配置为从在第一时间期间暴露于光源的第一帧中提取光源，以及从在比所述第一时间更长的第二时间期间暴露于所述光源的第二帧中提取产生运动模糊的光源； 目标光源分类单元，其被配置为将属于所述第一帧的光源的并且不运动的第一目标光源和属于所述第二帧的光源的并且不运动的第二目标光源分类；以及 运动确定单元，其被配置为估计作为所述第一目标光源的中心点的第一位置和作为包括所述第二目标光源的中心点的中心线的第二位置，将所述第一位置与所述第二位置进行比较，以及确定车辆的颠簸运动是否已经发生。
2.根据权利要求1所述的图像处理设备，所述图像处理设备还包括:修正单元，其被配置为基于所述第一位置与所述第二位置之间的比较结果修正所述车载相机的图像。
3.根据权利要求1或2所述的图像处理设备，其中，不运动的光源包括街灯和视觉指弓I反射器中的至少一个。
4.根据权利要求1或2所述的图像处理设备，其中，所述运动确定单元还被配置为将所述第一帧和所述第二帧重叠以及基于所述第一位置和所述第二位置重叠的位置确定所述车辆的所述颠簸运动的方向或程度。
5.根据权利要求1或2所述的图像处理设备，其中，所述图像处理设备的数字传感器是滚动快门类型的CMOS传感器。
6.一种车载相机的图像处理方法，所述方法包括以下步骤: 从已由所述车载相机获得的并且已在第一时间期间暴露于光源的第一帧中提取光源； 将属于提取的光源的并且不运动的第一目标光源分类； 计算作为所述第一目标光源的中心点的第一位置； 从已由所述车载相机获得的并且已在比所述第一时间更长的第二时间期间暴露于光源的第二帧中提取产生运动模糊的光源； 将属于从所述第二帧中提取的光源的并且不运动的第二目标光源分类； 计算作为包括所述第二目标光源的中心点的中心线的第二位置； 将所述第一位置与所述第二位置进行比较；以及 基于所述第一位置与所述第二位置之间的比较结果确定车辆的颠簸运动是否已经发生。
7.根据权利要求6所述的图像处理方法，所述方法还包括基于所述第一位置与所述第二位置之间的比较结果修正所述车载相机的图像。
8.根据权利要求6或7所述的图像处理方法，其中，将所述第一目标光源分类或将所述第二目标光源分类的步骤包括将在所述第一帧或所述第二帧的预定区中存在的光源分类为目标光源。
9.根据权利要求6或7所述的图像处理方法，其中，将所述第一目标光源分类或将所述第二目标光源分类的步骤包括根据利用支持向量机的训练方法将沿着道路布置的多个街灯或视觉指引反射器分类为目标光源。
10.根据权利要求6或7所述的图像处理方法，其中，计算所述第一位置或计算所述第二位置的步骤包括: 对所述第一帧或所述第二帧的图像执行二值化，以及 提取具有特定值的像素的重心的坐标作为所述第一位置或所述第二位置。
11.根据权利要求6或7所述的图像处理方法，其中，基于所述第一位置与所述第二位置之间的比较结果确定所述车辆的颠簸运动是否已经发生的步骤包括: 将所述第一帧和所述第二帧重叠，以及 基于所述第一位置和所述第二位置重叠的位置确定所述车辆的所述颠簸运动的方向或程度。
12.根据权利要求6或7所述的图像处理方法，其中，所述第二帧是属于包括在图像中的多个帧并且正好位于所述第一帧之后的帧。
13.根据权利要求7所述的图像处理方法，其中，修正所述车载相机的图像的步骤包括: 利用随机样本一致性RANSAC算法提取最佳修正方向和距离，以及 修正所述图像。
【文档编号】H04N5/235GK104427255SQ201410414783
【公开日】2015年3月18日 申请日期:2014年8月21日 优先权日:2013年8月22日
【发明者】林濬泽 申请人:株式会社万都