车载镜头偏移检测方法与车载镜头偏移检测系统与流程

本发明是有关于一种车载镜头偏移检测方法与车载镜头偏移检测系统，且特别是有关于一种基于图像处理技术的车载镜头偏移检测方法与系统。

背景技术：

驾驶车辆时，车内后视镜为驾驶者观察后方交通状况的一种重要工具。由于是利用反光镜的原理将后端图像反映至驾驶者的眼中，在后方车辆开启大灯时，可能产生视线不明或眩光的问题。此外，驾驶也可能因为车内物件的阻挡或气候环境因素而无法通过后视镜清楚观察后方交通状况。因此，近来有人提出以电子后视镜(e-mirror)取代传统后视镜的构想。现行的电子后视镜是于后视镜中设置显示模组，使后视镜能藉由显示模组显示由图像撷取装置所撷取的路况画面。

电子后视镜相较于传统不具显示模组的后视镜可具有更广的视野。原因在于，电子后视镜的显示图像可以是基于对多张图像进行图像拼接而产生，而这些图像是分别由设置于不同位置的多个镜头撷取而得，因而可以消除传统后视镜的盲区。然而，当用以撷取图像的镜头发生位移或旋转时，进行图像拼接而产生的图像可能有扭曲或变形的情况，而驾驶将可能因为电子后视镜显示扭曲或变形的图像内容而造成行车危险。

技术实现要素：

有鉴于此，本发明提供一种车载镜头偏移检测方法与偏移检测系统，其可用以检测车载镜头是否偏移而提高行车安全。

本发明提出一种车载镜头偏移检测方法，其中第一图像撷取装置与第二图像撷取装置设置于一车辆上，所述方法包括：利用第一图像撷取装置撷取第一图像，以及利用第二图像撷取装置撷取第二图像；依据多个第一预设位置从第一图像取得多个第一特征点，以及依据多个第二预设位置从第二图像取得多个第二特征点；比对第一特征点的特征值与第二特征点的特征值，而判断第一特征点是否吻合第二特征点；以及反应于第一特征点不吻合第二特征点，执行校正警示操作。

从另一观点来看，本发明提出一种车载镜头偏移检测系统，设置于一车辆上，并包括：第一图像撷取装置、第二图像撷取装置、储存电路，以及一处理器。储存电路储存多个模组。处理器耦接储存电路、第一图像撷取装置，以及第二图像撷取装置，并存取上述模组以执行下列步骤：利用第一图像撷取装置撷取第一图像，以及利用第二图像撷取装置撷取第二图像；依据多个第一预设位置从第一图像取得多个第一特征点，以及依据多个第二预设位置从第二图像取得多个第二特征点；比对第一特征点的特征值与第二特征点的特征值，而判断第一特征点是否吻合第二特征点；以及反应于第一特征点不吻合第二特征点，执行校正警示操作。

基于上述，本发明实施例可以低运算量即时检测出设置于车辆上的车载镜头是否发生偏移，从而提高行车安全。除此之外，本发明实施例的偏移检测方法与系统更可于车载镜头已发生偏移时执行对应的校正警示操作，避免电子后视镜显示扭曲或变形的图像。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1是依照本发明一实施例所绘示的车载镜头偏移检测系统的示意图。

图2为依照本发明所绘示的一种应用情景的范例示意图。

图3为依照本发明所绘示的一种应用情景的范例示意图。

图4是依照本发明一实施例所绘示的车载镜头偏移检测方法的流程图。

图5是依照本发明一实施例所绘示的车载镜头偏移检测方法的流程图。

图6为依照本发明一实施例所绘示的第一图像与第二图像的示意图。

图7是依照本发明实施例所绘示的取得第一预设位置与第二预设位置的方法的流程图。

图8为依照本发明一实施例所绘示的校正画面的示意图。

图9为依照本发明一实施例所绘示的第一图像与第二图像的示意图。

附图标号：

100：车载镜头偏移检测系统

101：第一图像撷取装置

102：第二图像撷取装置

103：储存电路

104：处理器

105：显示装置

106：第三图像撷取装置

c1：车辆

img-b：后视图像

img-l：左侧图像

img-r：右侧图像

p4～p6：第一特征点

p1～p3：第二特征点

s401～s406、s501～s509、s701～s703：步骤

q1～q3：第一标记点

q4～q6：第二标记点

x1～x3：第一预设位置

x4～x6：第二预设位置

b1：第一图像区块

b2：第二图像区块

m1～m3：校正点

具体实施方式

本发明的部份实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的车载镜头偏移检测方法与系统的范例。

图1是依照本发明一实施例所绘示的车载镜头偏移检测系统的示意图。请参照图1，车载镜头偏移检测系统100适于设置于一车辆上，并包括第一图像撷取装置101、第二图像撷取装置102、第三图像撷取装置106、储存电路103、处理器104，以及显示装置105。

第一图像撷取装置101、第二图像撷取装置102与第三图像撷取装置106设置于车辆上，例如是具有车载镜头、电荷耦合元件(chargecoupleddevice，ccd)或互补型金属氧化物半导体(complementarymetal-oxidesemiconductor，cmos)元件的图像感测器，用以撷取车辆四周的图像。需说明的是，第一图像撷取装置101的拍摄视角与第二图像撷取装置102的拍摄视角有部份重叠，因而可撷取或是拼接重复的场景内容。于另一实施例中，第一图像撷取装置101的拍摄视角与第三图像撷取装置106的拍摄视角有部份重叠，因而可撷取或是拼接重复的场景内容。此外，车辆上图像撷取装置的数量可视实际应用而变更，在此并不设限。

图2为依照本发明所绘示的一种应用情景的范例示意图。请参照图2，第一图像撷取装置101可以设置于车辆c1的后方，以朝车辆后方撷取后视图像。第二图像撷取装置102可以设置于车辆c1的左侧后视镜上，以朝车辆左侧撷取左侧图像。第一图像撷取装置101所撷取的后视图像与第二图像撷取装置102所撷取的左侧图像至少一部分重叠。相似的，第三图像撷取装置106可以设置于车辆c1的右侧后视镜上，以朝车辆右侧撷取右侧图像。第一图像撷取装置101所撷取的后视图像与第三图像撷取装置106所撷取的右侧图像至少一部分重叠。需说明的是，为清楚说明本发明，后续实施例将以图2的配置为例进行说明，但本发明并不以此为限。

储存电路103例如是任意型式的固定式或可移动式随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)、硬盘或其他类似装置或这些装置的组合，而可用以记录多个程序码或模组。

处理器104耦接于储存电路103、第一图像撷取装置101、第二图像撷取装置102、第三图像撷取装置106，以及显示装置105，并可为一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、多个微处理器(microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(fieldprogrammablegatearray，fpga)、任何其他种类的集成电路、状态机、基于进阶精简指令集机器(advancedriscmachine，arm)的处理器以及类似品。在本发明的实施例中，处理器104可载入储存电路103中所记录的程序码或模组以执行本发明提出的车载镜头偏移检测方法，后续将搭配流程图作进一步说明。

显示装置105例如是液晶显示器(liquidcrystaldisplay，lcd)、发光二极管(light-emittingdiode，led)显示器或其他种类的显示器，用以显示画面给车辆的驾驶，在此并不设限。

值得一提的是，于一实施例中，显示装置105可以与一镜体实施为电子后视镜。当显示装置105的背光模组开启时，电子后视镜可依据第一图像撷取装置101、第二图像撷取装置102与第三图像撷取装置106撷取的图像内容显示路况画面。当显示装置105的背光模组关闭时，电子后视镜可作为一般传统后视镜。

于一实施例中，处理器104可对第一图像撷取装置101、第二图像撷取装置102与第三图像撷取装置106所撷取的图像进行图像拼接功能而产生可视范围更大的缝合图像，并控制电子后视镜显示此缝合图像，以消除传统后视镜的盲区。图3为依照本发明所绘示的一种应用情景的范例示意图。请参照图3，第一图像撷取装置101可撷取车辆后方的后视图像img-b，第二图像撷取装置102可撷取车辆左侧的左侧图像img-l，而第三图像撷取装置106可撷取车辆右侧的右侧图像img-r。处理器104可对后视图像img-b、左侧图像img-l、右侧图像img-r执行图像拼接功能而产生缝合图像img-s。需说明的是，由于电子后视镜需要即时的反应路况，因而进行图像拼接功能所需的拼接参数(像是图像映射转换矩阵等等)是基于预设的镜头位置而产生并储存。藉此，处理器104可利用预先储存的拼接参数来执行图像拼接功能，而不需要耗费庞大的计算量与运算时间。然而，倘若第一图像撷取装置101、第二图像撷取装置102与第三图像撷取装置106的镜头位置发生偏移，图像拼接功能所产生的缝合图像将有扭曲或变形的情况。因此，本发明的车载镜头偏移检测方法与系统可即时的检测车载镜头是否发生偏移，并据以执行校正警示操作，而避免驾驶通过电子后视镜看到扭曲或变形的图像而发生误判。

图4是依照本发明一实施例所绘示的车载镜头偏移检测方法的流程图。请参照图4，本实施例的方式适用于上述实施例中的车载镜头偏移检测系统100，以下即搭配车载镜头偏移检测系统100中的各项元件说明本实施例的车载镜头偏移检测方法的详细步骤。

于步骤s401，处理器104利用第一图像撷取装置101撷取第一图像(即后视图像)，以及利用第二图像撷取装置102撷取第二图像(即左侧图像)。于步骤s402，处理器104依据多个第一预设位置从第一图像取得多个第一特征点，以及依据多个第二预设位置从第二图像取得多个第二特征点。具体而言，此些第一预设位置与此些第二预设位置为预先储存多个的像素坐标信息。此外，此些第一特征点与第二特征点分别为由相邻的多个像素点构成的像素集合区块。举例而言，第一特征点与第二特征点可以分别为半径为9个像素的像素集合区块。然而，第一特征点与第二特征点的数量、尺寸与形状可视实际应用而设计，本发明对此并不限制。换言之，处理器104可依据预先储存多个的像素坐标信息分别从第一图像与第二图像上撷取出多个像素集合区块。于另一实施例中，第一特征点于第一图像中的第一预设位置与第二特征点于第二图像中的第二预设位置落在第一图像撷取装置101与第二图像撷取装置102的拍摄视角重叠区域中。基此，可预先于两图像的重叠区域中选出多个特征点，以藉由选出来的多个特征点定义出第一图像中的第一预设位置和第二图像中的第二预设位置。

接着，于步骤s403，处理器104比对第一特征点的特征值与第二特征点的特征值，而判断第一特征点是否吻合第二特征点。具体而言，处理器104可执行图像处理技术中的特征撷取(featureextraction)与特征匹配(featurematching)，并判断这些第一特征点的特征值是否分别与对应的第二特征点的特征值相同。倘若这些第一特征点的特征值分别与对应的第二特征点的特征值相同，处理器104判断此些第一特征点吻合此些第二特征点。相反的，倘若这些第一特征点其中之一的特征值并未与任何第二特征点的特征值相同，处理器104判断此些第一特征点不吻合此些第二特征点。

若步骤s403判断为是，于步骤s405，反应于第一特征点吻合第二特征点，处理器104对第一图像与第二图像执行图像拼接功能而产生缝合图像。于步骤s406，通过显示装置105显示缝合图像。

若步骤s403判断为否，于步骤s404，反应于第一特征点不吻合第二特征点，处理器104执行校正警示操作。于一实施例中，所述的校正警示操作可包括启动例如提示文字、声响与灯光的其一或其组合的警示，以通知驾驶车载镜头已经发生偏移。举例而言，当处理器104判断第一特征点不吻合第二特征点，处理器104可启动led灯来通知驾驶。此外，于一实施例中，所述的校正警示操作可包括对车载镜头发生偏移的状况进行校正，以排除车载镜头发生偏移产生的不良影响。另外，于一实施例中，当显示装置105与一镜体实施为电子后视镜时，所述的校正警示操作可包括关闭显示装置105的背光模组，而使电子后视镜可作为一般传统后视镜，从而避免电子后视镜显示有扭曲或变形的缝合图像。

可知的，上述实施例是以左侧镜头所撷取的左侧图像与后侧镜头所撷取的后视图像为例进行说明，然而，处理器104也可针对右侧镜头所撷取的右侧图像与后侧镜头所撷取的后视图像执行相同的流程。基此，处理器104可在判断左侧镜头与右侧镜头皆未发生偏移之后，将右侧图像、左侧图像与后视图像进行图像拼接而获取缝合图像，以控制电子后视镜显示未有扭曲或变形的缝合图像。

需注意的是，步骤s403的判断可能因为场景因素而存在误判。因此，于本发明的一实施例中，基于不吻合次数的容错机制可避免车载镜头偏移检测系统100发出不必要的警示。以下将列举实施例以说明。

图5是依照本发明一实施例所绘示的车载镜头偏移检测方法的流程图。请参照图5，本实施例的方式适用于上述实施例中的车载镜头偏移检测系统100，以下即搭配车载镜头偏移检测系统100中的各项元件说明本实施例的车载镜头偏移检测方法的详细步骤。

于步骤s501，处理器104利用第一图像撷取装置101撷取第一图像，以及利用第二图像撷取装置102撷取第二图像。于步骤s502，处理器104依据多个第一预设位置从第一图像取得多个第一特征点，以及依据多个第二预设位置从第二图像取得多个第二特征点。于步骤s503，处理器104比对第一特征点的特征值与第二特征点的特征值，而判断第一特征点是否吻合第二特征点。上述步骤s501～步骤s503的实施细节可参照步骤s401～步骤s403。举例而言，图6为依照本发明一实施例所绘示的第一图像与第二图像的示意图。请参照图6，处理器104可依据预先储存多个的像素坐标信息而从第一图像img-b上取得三个第一特征点p4～p6，并从第二图像img-l上取得三个第二特征点p1～p3。接着，处理器140对第一特征点p4～p6与第二特征点p1～p3执行特征撷取与特征匹配。然后，于此范例中，由于第一特征点p4的特征值相同于对应的第二特征点p1，第一特征点p5的特征值相同于对应的第二特征点p2，且第一特征点p6的特征值相同于对应的第二特征点p3，因此处理器104可判断第一特征点p4～p6吻合第二特征点p1～p3。

回到图5的流程，若第一特征点不吻合第二特征点，于步骤s504，处理器104判断不吻合次数是否大于门槛值。若不吻合次数不大于门槛值，于步骤s506，处理器104累计不吻合次数。若不吻合次数大于门槛值，于步骤s505，处理器104执行校正警示操作。具体而言，于车辆的移动期间，处理器104例如可定时(例如每隔1秒钟)判断第一特征点是否吻合第二特征点。然而，处理器104可能因为场景因素(像是场景特征不足或场景特征重复性高等等)而产生误判。因此，于本实施例中，在不吻合次数累积至大于门槛值的情况下，处理器104才执行校正警示操作，以避免驾驶被不必要的警示打扰。上述门槛值可依据实际需求而设置，本发明对此并不限制。

若第一特征点吻合第二特征点，于步骤s507，处理器104降低不吻合次数。具体而言，随着行车期间场景的变化，在车载镜头尚未偏移的情况下，处理器104发生误判的现象可能只短暂出现数次。因此，处理器104可在判断第一特征点吻合第二特征点之后，降低因为前几次误判而累计产生的不吻合次数。上述降低不吻合次数的方式可包括将不吻合次数减去一预设值。接着，于步骤s508，处理器104对第一图像与第二图像执行图像拼接功能而产生缝合图像。于步骤s509，通过显示装置105显示缝合图像。

需说明的是，于前述实施例中，处理器104是依据预先储存的第一预设位置与第二预设位置来取得用以判断车载镜头是否已经偏移的第一特征点与第二特征点。以下将列举一实施例以说明如何取得第一预设位置与第二预设位置。图7是依照本发明实施例所绘示的取得第一预设位置与第二预设位置的方法的流程图。请参照图7，本实施例的方式适用于上述实施例中的车载镜头偏移检测系统100，以下即搭配车载镜头偏移检测系统100中的各项元件说明本实施例的取得第一预设位置与第二预设位置的详细步骤。具体而言，在车载镜头偏移检测系统100执行图4或图5所示的流程之前，车载镜头偏移检测系统100可先执行图7的流程而取得第一预设位置与第二预设位置并据以储存。

于步骤s701，处理器104利用第一图像撷取装置101撷取第三图像(即后视图像)，以及利用第二图像撷取装置102撷取第四图像(即左视图像)。于步骤s702，处理器104于第三图像与第四图像之间的重叠区域内设置多个第一预设特征点而取得第三图像上的第一预设位置。可以知道的是，用以判断车载镜头是否已经偏移的第一特征点与第二特征点应当对应至相同的场景内容，因而这些第一预设特征点的第一预设位置必须位于第三图像中第三图像与第四图像之间的重叠区域内。于本实施例中，步骤s702可分为子步骤s7021～s7022而实施。

于子步骤s7021，处理器104将第一预设特征点其中之一设置于重叠区域内的接合区域。上述接合区域例如为进行图像拼接功能时左侧图像与后视图像的接合线区域。于子步骤s7022，处理器104依据分布形状与第一预设特征点其中之一的第一预设位置取得其他的第一预设特征点的第一预设位置。例如以分布形状为边长为60个像素的正三角形为例，在设置完第一个预设特征点之后，处理器104将以此第一个第一预设特征点作为一正三角形的顶点而向下寻找另外两个第一预设特征点，从而获取另外两个个第一预设特征点的第一预设位置。然而，上述分布形状不并局限于正三角形，也可以为其他规则或不规则的形状，可视实际应用与需求而设计。

在取得第一预设位置之后，于步骤s703，处理器104利用第一预设特征点执行特征撷取与特征匹配而于第四图像上搜寻多个第二预设特征点，以获取第二预设特征点的第二预设位置。具体而言，处理器104可于第四图像上搜寻到与第一预设特征点具备相同特征值的多个第二预设特征点。值得一提的是，由于第一预设特征点其中之一位于接合区域是已知的，因此处理器104可于第四图像上的接合区域中搜寻第一个第二预设特征点。此外，由于第一预设特征点的分布形状是已知的，因而搜寻其他第二预设特征点的搜寻范围可依据分布形状而决定，从而降低运算量与减少匹配错误的现象。

可知的，上述产生第一预设位置与第二预设位置的实施例是以左侧镜头所撷取的左侧图像与后侧镜头所撷取的后视图像为例进行说明，然而，处理器104也可针对右侧镜头所撷取的右侧图像与后侧镜头所撷取的后视图像执行相同的流程。如此，第一预设位置与第二预设位置可以是储存于储存电路103中的像素坐标信息。另外，于另一实施例中，每个第一预设位置与每个第二预设位置之间的对应关系可进一步储存于储存电路103中，使处理器104后续执行图4或图5所示的流程时可先依据像素坐标信息取得多个第一特征点以及多个的二特征点，并可依据已储存的对应关系比对多个第一特征点的特征值与对应的多个第二特征点的特征值。

以下将对校正警示操作进行更详细的说明。

于一实施例中，当处理器104判定第一特征点不吻合第二特征点，处理器104可执行校正警示操作而控制显示装置105显示校正画面，致使驾驶可以依据校正画面提供的提示信息来手动校正车载镜头的镜头方向。更具体而言，当处理器104判定第一特征点不吻合第二特征点，处理器104可控制原本显示缝合图像的显示装置105切换为显示校正画面，此校正画面可同时显示第一图像撷取装置101与第二图像撷取装置102撷取的两张图像，并且此两张图像上分别标记有多个标记点，以供驾驶根据校正画面中的这些标记点调整镜头方向。图8为依照本发明一实施例所绘示的校正画面的示意图。请参照图8，基于预先储存的多个第一预设位置与多个第二预设位置，处理器104可于第一图像img-b上的第一预设位置上标示多个第一标记点q1～q3，并于第二图像img-l上的第二预设位置上标示多个第二标记点q4～q6。接着，通过显示装置105同时显示包括第一标记点q1～q3的第一图像img-b与包括第二标记点q4～q6的第二图像img-l。藉此，驾驶可调整第二图像撷取装置102的镜头方向，使第二标记点q4～q6对应的场景内容分别相同于第一标记点q1～q3对应的场景内容，以消除左侧车载镜头的偏移状况。

于一实施例中，当处理器104判定第一特征点不吻合第二特征点，处理器104可执行校正警示操作而自动调整车载镜头的镜头方向。更具体而言，当处理器104判定第一特征点不吻合第二特征点，处理器104可利用图像分析技术判断车载镜头的偏移状况，并据以控制电动机械马达来自动调整镜头方向。图9为依照本发明一实施例所绘示的第一图像与第二图像的示意图。请参照图9，处理器104可取得第一预设位置x1～x3所形成的第一图像区块b1的第一图像内容。接着，处理器104可于第二图像img-l上搜寻具有相似于第一图像内容的第二图像内容的第二图像区块b2，以获取形成第二图像区块b2的多个校正点m1～m3。处理器104可依据校正点m1～m3的位置与第二预设位置x4～x6之间的偏移量控制电动机械马达调整第二图像撷取装置102的镜头方向。上述偏移量可包括水平偏移量、垂直偏移量与旋转偏移量。

于一实施例中，当处理器104判定第一特征点不吻合第二特征点，处理器104可执行校正警示操作而调整图像拼贴功能的设定参数。更具体而言，当处理器104判定第一特征点不吻合第二特征点，处理器104可利用图像分析技术判断车载镜头的偏移状况，并据以调整图像拼贴功能的设定参数。相似于图9的说明，处理器104可取得校正点m1～m3的位置与第二预设位置x4～x6之间的偏移量。接着，处理器104可依据此偏移量调整图像拼接功能的设定参数，此设定参数可用以从第二图像撷取部份图像来执行图像拼接功能。详细而言，处理器104一般采用实际撷取的第一图像与第二图像的部份内容进行图像拼接功能。换言之，处理器104即依据特定的设定参数从第二图像内容撷取部份图像来进行图像拼接功能。因此，当处理器104计算出偏移量之后，处理器104可调整第二图像的内容撷取位置，以在不调整镜头方向的情况下弥补镜头方向产生偏移的不良影响。举例而言，假设第二图像的尺寸为1280*720，处理器104原本是从像素位置(110,110)自第二图像撷取出640*370大小的部份图像进行图像拼接功能。在依据偏移量调整图像拼接功能的设定参数之后，处理器104例如可改为从像素位置(90,110)自第二图像撷取出640*370大小的部份图像进行图像拼接功能。

综上所述，本发明实施例可低运算量即时地检测出车载镜头是否发生偏移，以提高行车安全。当车载镜头已经偏移，本发明实施例可警示驾驶并让驾驶可依据校正画面来调整车载镜头的镜头方向。此外，当车载镜头已经偏移，本发明实施例可依据撷取图像内容，来自动调整车载镜头的镜头方向或调整图像拼接功能的设定参数。基此，本发明实施例可避免电子后视镜显示扭曲或变形的缝合图像。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定者为准。