图像内周期性噪声修补方法
【专利摘要】一种图像内周期性噪声修补方法，判断当前画面是否含有周期性噪声，并找出当前画面中构成周期性噪声的所有像素的位置。利用参考画面的非周期性噪声像素来修补当前画面的周期性噪声。
【专利说明】图像内周期性噪声修补方法
【技术领域】
[0001 ] 本申请涉及一种图像内周期性噪声修补方法。
【背景技术】
[0002]现今人们生活日渐富裕，机动车辆(比如汽车)日益普及化。除了在动力部分持续进步外，汽车对于行车安全性的要求也愈高。
[0003]一般来说，驾驶者以肉眼来辨识车前/车旁的其他物体。为提高安全，现已有前视安全警示系统安装于汽车之内。前视安全警示系统通常是安装在前档风玻璃之后，拍摄车子前方图像并辨识图像中的障碍物，提醒驾驶者要保持安全距离，或避免危险的驾驶行为。然而，在恶劣天侯，如大雨下，前视安全警示系统的辨识率可能会大幅下降，因为图像内的周期性噪声(比如，来回摆动的雨刷物件)可能周期性地遮蔽前视安全警示系统的系统辨识标的(如行人、汽车、车道及交通号志等)，因而使得前视安全警示系统产生误判，驾驶者在这样的行车情境下行驶，充满着危险性。
[0004]现虽有一技术能判断图像是否受到雨的影响，但仍无法判断图像中是否具有周期性噪声(如雨刷物件)，并滤除。此外，另一技术提出雨纹去除方法，但其无法适用于前视安全警示系统，因为下雨时，去除雨纹并不如去除雨刷物件来得重要。更有另一技术提出对含雾图像清晰化，然而其无法适用于前视安全警示系统，因为一旦雨刷被启动，雨刷将成为最大的噪声来源。
[0005]故而，本申请提出图像内周期性噪声修补方法，其能修补画面中的周期性噪声像素群(如雨刷物件)，如此一来，即便在大雨的恶劣天侯下，仍能辨识如行人、它车、车道或交通号志等障碍物，以提升行车安全。
【发明内容】
[0006]本公开实施例有关于一种图像内周期性噪声修补方法，其判断当前画面内是否含有周期性噪声，并找出当前画面中构成周期性噪声的所有像素的位置，利用参考画面的非周期性噪声像素来修补当前画面的周期性噪声。
[0007]根据本公开的一示范性实施例，提出一种图像内周期性噪声修补方法，包括:确认一当前画面是否包括一周期性噪声像素群，以及如果是，确认该当前画面的该周期性噪声像素群的各像素位置；对该当前画面中的多个非周期性噪声像素与一参考画面的多个非周期性噪声像素进行匹配，以得到该当前画面与该参考画面之间的像素对应关系；以及根据该周期性噪声像素群在该当前画面中的各像素位置以及该像素对应关系，从该参考画面中选择对应的像素以修补该当前画面的该周期性噪声像素群。
[0008]为了对本申请的上述及其他方面有更佳的了解，下文特举实施例，并配合附图，作详细说明如下:
【专利附图】
【附图说明】[0009]图1显示机动车辆的示意图，其安装本申请实施例的内含雨刷物件去除方法的前视安全警示系统装置。
[0010]图2显示根据本申请实施例的去除雨刷像素的流程。
[0011]图3显示根据本申请实施例的图像分割的流程。
[0012]图4A~图4C显示本申请图像内周期性噪声修补方法的实施例。
[0013]图5A与图5B显示本申请另一实施例的另一种确认当前画面是否包括周期性噪声像素群(比如是雨刷像素群)的流程。
[0014]【主要元件符号说明】
[0015]100:机动车辆
[0016]110:图像提取单元
[0017]120:内含图像内周期性噪声修补方法的前视安全警示系统
[0018]210~250:步骤
[0019]310~350:步骤
[0020]P (t-n):参考画面
[0021]410:树图像
[0022]420:人物图像
[0023]430:雨刷图像
[0024]P(t):当前画面
[0025]P’⑴:修补后当前画面
[0026]510~560:步骤
【具体实施方式】
[0027]以下通过具体实施例说明本申请的实施方式，本领域技术人员可由本说明书所揭示的内容了解本申请实施例的优点与功效。
[0028]本申请实施例利用图像分割与图像修补技术，修补图像中的周期性噪声。雨刷物件是图像中的一种周期性噪声，而下文实施例所讲的“去除当前画面中的雨刷物件”乃是“修补当前画面中周期性噪声”的一个例子)。针对当前画面，图像分割技术确认此当前画面中的雨刷物件所占据的多个像素(下文也可称为雨刷像素群，也就是说，雨刷物件在此当前画面中的位置)，并针对当前画面中的多个非雨刷像素与参考画面(可能是前一画面或前几个画面)中的多个非雨刷像素进行特征点匹配，以求出仿射转换矩阵，仿射转换矩阵用于描述待修补画面与参考画面之间的像素对应关系。根据此仿射转换矩阵，从参考画面中选择相对应的像素以修补当前画面中雨刷物件所占据的多个像素。如此的话，可将雨刷物件从当前画面中去除，以得到不含雨刷物件的修补后当前画面。故而，已去除雨刷物件的画面输入至前视行车安全警示系统，可帮助其不受雨刷此周期性噪声影响地辨识障碍物，进而可确保驾驶者行车的安全性。
[0029]现请参考图1，其显示机动车辆100的示意图，此机动车辆100安装有:图像提取单元110与本申请实施例的内建图像内周期性噪声修补方法的前视安全警示系统装置120。
[0030]图像提取单元110用以提取车前的窗外图像。当下雨时，如果雨刷被启动，则图像提取单元110所提取的画面将可能包括雨刷图像。图像提取单元110可为一图像传感器，其比如但不受限于一红外线图像提取装置、一光电耦合元件或一互补式金属氧化物半导体的光学感测元件的其中一个或其任意组合。
[0031]图像提取单元110所提取的画面会被送至内建图像内周期性噪声修补方法的前视安全警示系统装置120，以去除雨刷物件。前视安全警示系统可为车道偏离警示系统(Lane Departure Warning System, LDWS)、前方防碰撞警不系统(Forward CollisionWarning System, FCWS)或交通号志辨识系统(Traffic Sign Recognition System, TSRS)等，但不受限于此。此内建图像内周期性噪声修补方法的前视安全警示系统装置120可为实现在各类硬件平台的软件或为可编程的集成电路如微控制器、元件可编程逻辑门阵列(FPGA, Field Programmable Gate Array)之类的电路。
[0032]于本申请实施例中，内建图像内周期性噪声修补方法的前视安全警示系统装置120确认当前画面中的雨刷所占据的像素(也就是说，确认雨刷物件在此当前画面中的位置)。之后，内建图像内周期性噪声修补方法的前视安全警示系统装置120根据当前画面与参考画面之间的像素对应关系，从参考画面中选择相对应的多个像素以修补当前画面中雨刷物件所占据的像素群。比如，假设当前画面中，因为雨刷启动的关系，图像提取单元110在提取图像时，交通号志(窗外物件)的全部或一部分被雨刷所遮住。则内建图像内周期性噪声修补方法的前视安全警示系统装置120会从适当的参考画面中找出构成此交通号志的多个像素，用以修补当前画面中的雨刷像素群，使得修补后当前画面中出现完整的交通号志，也就是修补后的当前画面内将不含雨刷物件。如此一来，前视安全警示系统将不会因待辨识物体的外观被雨刷遮蔽，因而影响系统辨识率，故行车安全性即可因此而得以提升。
[0033]现请参考图2，其显示本申请实施例的图像内周期性噪声修补方法的流程。在步骤
210中，针对当前画面P(t)进行图像分割(Image Segmentation)。现将举例说明本申请实施例中的图像分割的细节内容，但当知，本申请其他实施例可能有其他图像分割的方式。
[0034]现请参考图3，其显示根据本申请实施例的图像分割的流程。在步骤310中，以K平均(K-means)算法将当前画面的所有像素(比如但不受限于，像素以RGB信号来表示)分成K群(K为自然数)，并将暗像素群(也就是具有最低RGB信号的像素群)视为雨刷物件的可能成份之一。这是因为，雨刷物件通常是黑色且为画面中最暗的一群像素，故而，暗像素群视为可能的雨刷成份之一。
[0035]在步骤320中，对在步骤310的结果，以侵蚀、膨胀等算法消除当前画面较为破碎的暗像素群，并将较完整暗像素群的外型修正的更加完整。这是因为，雨刷的形状是完整的，而其他暗色障碍物(比如阴影等)则有可能是破碎的形状。故而，在此步骤320中，将破碎的暗色像素群去除，并将可能是雨刷物件的较完整暗像素群修正其外型。
[0036]在步骤330中，对步骤320的结果进行二值化，也就是，对于所有可能的雨刷像素群二值化为1，对被视为不含雨刷物件的像素群则二值化为O。进行缩减取样(Downsampling)至像素总量为P (P为正整数)，计算出被二值化为I的像素总个数q(q为正整数)，q/P为二值化雨刷图像的平均值。将P(P为正整数)个矩阵像素皆减去此平均值，并将所得到矩阵向量化(Vectorizing),使其成为列向量(Column Vector)并进行缩减取样而得到向量I。
[0037]在步骤340中，将向量I与特征雨刷矩阵(Eigen Wipers Matrix)U依下列公式(I)得到其内积值
[0038]ItU (I)
[0039]特征雨刷矩阵U是在离线阶段下，事先训练好，以供后续线上判断使用。在本申请实施例中，特征雨刷矩阵U的求法如下。利用主成份分析(Principal Component Analysis,PCA)算法，对于事先搜集的N笔训练图像(N为正整数)(训练图像是事先得到的，且其皆包含雨刷图像)，事先以人工标记出各笔图像中的雨刷位置(也就是，在每一笔N笔训练图像中，多个雨刷像素的多个坐标点为已知)。
[0040]在另一情形下，假使装设具本实施例的前视安全警示系统的车辆所使用的雨刷以及其摄影机所安装的角度，使得雨刷在画面中出现的大小、位置、外型与预设训练图像(内含雨刷)不同，也可设计自动人机训练模式。其实施方式可为，在摄影机面前放置纯白背景物件(比如纯白海报)，使得摄影机所提取的图像为全白的画面，接着，在开启雨刷的情形下，进行步骤310与320或步骤510与520即可准确地，不受任何噪声干扰地自动提取(学习)雨刷图像，以供后续使用。
[0041]将学习到的多个雨刷图像进行步骤330的处理，并将处理结果排列成观测矩阵(observation matrix),其维度为PxN。使用奇异值分解(Singular Value Decomposition)来解下列公式(2)
[0042]O=UDVt (2)
[0043]其中，U为特征雨刷矩阵，其维度也为PxN ；D为对角矩阵，维度为NxN，其记录着每个特征雨刷的重要性或显着性；￥记录着特征雨刷空间中，此N笔训练图像所投影出的系数，其维度为NxN。
[0044]进行步骤350 (线上分类步骤)，在步骤340中得到N笔训练图像的内积后，找出具有最大内积值的训练数据及其对应的原始雨刷图像。由于N笔训练数据为事先离线训练阶段中所预先找出的，故其雨刷位置皆为已知。
[0045]但于本申请其他可能实施例中，对于图像分割技术，除了使用分群算法、类型学运算及主成份分析外，也可使用任何足以确认多个雨刷像素的多个坐标的算法或这些算法的任意组合。
[0046]步骤210之后，进行步骤220，判断当前画面P (t)内是否含有雨刷物件。具体来说，如果当前画面p(t)对应的I通过ItU所计算出来的N笔内积值中的最大值大于预设阈值(threshold)，则判断当前画面P (t)中含有雨刷物件并进行后续步骤以完成图像修补。如果当前画面P(t)对应的I通过ItU所计算出来的N笔内积值中的最大值小于阈值，则判断当前画面P(t)不含雨刷物件。这是因为，如果P(t)中的暗像素群不符合N种事先训练的雨刷形状的话，则依ItU所计算出的N笔内积值皆较小。
[0047]在步骤230中，求出当前画面与参考画面间的像素对应关系，其细节如后。在行车过程中，前 视图像安全警示系统乃是提取车子前方的图像。如欲达成实时图像修补，用以修补当前画面P(t)的参考画面需早于当前画面。但如为非实时图像修补，则用以修补当前画面p(t)的参考画面可早于或晚于当前画面。
[0048]在修补时，当前画面P (t)中构成雨刷的多个像素不能直接以参考画面P (t-n) (η为正整数)中相同位置的多个像素来修补。这是因为，在背景不动的情形下，在车子往前行驶的情况下，对于同一背景物体而言，较早提取图像中的此背景物体会小于较晚提取图像中的此背景物体。
[0049]故而,在本实施例中，使用仿射转换(Affine Transformation)矩阵或投影转换(Projective Transformation)矩阵或任一种足以描述两画面间的像素对应关系的转换矩阵或转换方程式，来模型化不同的两画面(亦即当前画面与参考画面)之间的像素对应关系。也就是说，对于出现在此两画面中的一共同物件而言，仿射转换矩阵可描述此一共同物件在此两画面中的像素对应关系(亦即，此一共同物件在画面I中的像素位置为Pil，而在画面2中的像素位置为Pi2，则仿射转换矩阵可描述Pil与Pi2之间的关系)。
[0050]欲求解此仿射转换矩阵，在本申请实施例中，利用尺度不变特征转换(Scale-1nvariant Feature Transform, SIFT)算法或加速强健特征(Speeded UpRobost Features, SURF)算法或任何可以求取两图像间对应点的算法，来找出参考画面P(t-n)中的多个非雨刷像素特征点、当前画面P(t)中的多个非雨刷像素特征点(以进行特征点匹配)，以及此两张画面中的对应点(Correspondence)。接着，利用随机抽样一致算法(Random Sample Consensus, RANSAC)或最小平方法或是任何可解过定系统(Overdetermined System)的算法,代入参考画面P(t_n)以及当前画面P(t)的共同对应点，以求出仿射转换矩阵。也就是求出下列公式⑶中的％及ay。
【权利要求】
1.一种图像内周期性噪声修补方法，包括: 确认一当前画面是否包括一周期性噪声像素群，以及如果是，确认该当前画面的该周期性噪声像素群的各像素位置； 对该当前画面中的多个非周期性噪声像素与一参考画面的多个非周期性噪声像素进行匹配，以得到该当前画面与该参考画面之间的一像素对应关系；以及 根据该周期性噪声像素群在该当前画面中的各像素位置以及该像素对应关系，从该参考画面中选择对应的像素以修补该当前画面的该周期性噪声像素群。
2.如权利要求1所述的图像内周期性噪声修补方法，其中，该当前画面与该参考画面由一图像传感器所提取，该图像传感器为一红外线图像提取装置、一光电耦合元件或一互补式金属氧化物半导体光学感测元件的其中一个或其任意组合。
3.如权利要求1所述的图像内周期性噪声修补方法，其中，该周期性噪声像素群由多个雨刷像素所构成。
4.如权利要求1所述的图像内周期性噪声修补方法，其中，以一图像分割步骤来确认该当前画面是否包括该周期性噪声像素群，及确认该周期性噪声像素群的各像素位置。
5.如权利要求4所述的图像内周期性噪声修补方法，其中，该图像分割步骤包括: 将该当前画面的所有像素分成多个群，并将至少一暗像素群视为可能的周期性噪声像素群； 消除该当前画面的至少一不完整暗像素群，并将一完整暗像素群的一外型修正； 对该当前画面进行二值化、缩减取样、得到二值化平均值，以得得到一向量；` 将该向量与事先训练的一特征矩阵得到一内积值；以及 根据该内积值，判断该当前画面是否包括该周期性噪声像素群。
6.如权利要求4所述的图像内周期性噪声修补方法，其中，该图像分割步骤包括: 将该当前画面与一背景图像相减，其中该背景图像不含该周期性噪声像素； 滤除该当前画面中，像素差的绝对值小于一阈值的任一像素，该像素差为该当前画面的一像素与该背景图像的一相同位置像素之间的差值； 滤除该当前画面中，面积小于一面积阈值的任一连通单元，该连通单元由未被滤除的多个像素所相连而成； 对该当前画面进行二值化、缩减取样、得到二值化平均值，以得得到一向量； 将该向量与事先训练的一特征矩阵得到一内积值；以及 根据该内积值，判断该当前画面是否包括该周期性噪声像素群。
7.如权利要求6所述的图像内周期性噪声修补方法，还包括: 将该当前画面与一先前画面相减；以及 如果一最大连通单元面积小于一面积阈值且一累积次数大于一次数阈 值，则将该背景图像更新为该当前画面。
8.如权利要求1所述的图像内周期性噪声修补方法，其中，以一仿射转换矩阵、一投影转换矩阵或任一种足以描述两画面间的像素对应关系的转换矩阵或转换方程式，来模型化该当前画面与该参考画面之间的该像素对应关系。
9.如权利要求8所述的图像内周期性噪声修补方法，其中， 利用一尺度不变特征转换算法或一加速强健特征算法，来找出该参考画面中的多个非周期性噪声特征点、该当前画面中的多个非周期性噪声特征点，以及该参考画面的该多个非周期性噪声特征点与该当前画面的该多个非周期性噪声特征点之间的一对应关系；以及 利用随机抽样一致算法或最小平方法或是任何用于解一过定系统算法，代入该参考画面以及该当前画面的一共同对应点，以求出该仿射转换矩阵。
10.如权利要求9所述的图像内周期性噪声修补方法，其中， 将待修补的该当前画面的该周期性噪声像素群代入至该仿射转换矩阵中，以求出用于修补的该参考画面的多个对应像素的位置。
11.如权利要求1所述的图像内周期性噪声修补方法，其中， 在一实时运算应用中，该参考画面为早于该当前画面；以及 在一非实时运算应用中，该参考画面为早于或晚于该当前画面。
12.如权利要求1所述的图像内周期性噪声修补方法，其可应用于执行一至多种程序指令的具有运算能力的一装置、一种嵌入式系统、一智能手机、或是一个人计算机。
13.如权利要求1所述的图像内周期性噪声修补方法，还包括: 接收一雨刷信号，以决定是否开始执行该图像内周期性噪声修补方法，其中该周期性噪声像素群为一雨刷像素群。
14.如权利要求13所述的图像内周期性噪声修补方法，其中， 根据该雨刷信号来判断一雨刷是否正在运作；以及 该雨刷由一雨刷启动事件来启动或由`一雨滴传感器判定外界是否正在下雨来启动。
15.如权利要求14所述的图像内周期性噪声修补方法，其中，该雨滴传感器为一光学反射型传感器或一音频型传感器或一传导型传感器(conductive sensor)或其任意组合。
【文档编号】G06T5/50GK103886567SQ201310041397
【公开日】2014年6月25日 申请日期:2013年2月1日 优先权日:2012年12月19日
【发明者】林哲聪, 林昱成 申请人:财团法人工业技术研究院