影像动态融合方法与装置制造方法
【专利摘要】本发明公开一种影像动态融合方法与装置。该影像动态融合方法包括：接收一车辆的周围车辆的广播信息；根据该广播信息判断该车辆的周围车辆中是否有一邻近车辆与该车辆位于同一车道；判断该邻近车辆是否过近且遮蔽该车辆的视线，如果是，则在影像中将该邻近车辆进行透明化或半透明化处理。
【专利说明】影像动态融合方法与装置
【技术领域】
[0001]本公开涉及影像动态融合方法与装置。
【背景技术】
[0002]在行车过程中，即便同一车道内的车辆皆装载摄影机且两车辆皆通过车间通信装置彼此分享各自车辆所提取的影像，后方车辆的驾驶者在与前方车辆过近因而造成视觉上的盲点时，该驾驶者既使观看前方车辆所提取的影像亦无助于提升安全性，因而容易产生连环追撞，其原因在于后方车辆驾驶者的视线被前车所阻档，一旦前方车辆因为突发状况而紧急煞车，驾驶者往往因为反应不及而造成与前方车辆的追撞。追根究底，这种意外产生的原因在于后方车辆驾驶者的视野受限，一旦有突发状况，往往会因为来不及反应，而与前车产生碰撞意外。
[0003]在主动安全系统的协同安全应用中，现虽有一技术提出，以车间通信的方式接收它车的全球卫星定位系统(Global Posit1ning System, GPS)的定位结果以避免碰撞的可能，但是一旦可能造成本车危害的它车位于本车的盲点，驾驶者将难以理解此系统所产生的警示是否具有立即性的危害。在另一使用车间通信的车辆追撞警告系统中，一旦某前车紧急煞车，该信息将一路传递给后方车辆，以避免连环追撞，然而，如果发送紧急煞车信号的前车无法为本车所直接观看到，本车驾驶者将难以做出适当的紧急反应。更有另一技术提出在监控系统当中，通过拼接多个摄影机所提取的多张影像，所产生的一全域的影像以方便监控人员在单一影像中监控超出单一摄影机所能拍摄到的范围。然而，该拼接技术并无法在前后车辆各自具备摄影机与车间通信装置的情境下，消除后方驾驶者视觉上的盲点。
[0004]故而，本公开提出的影像动态融合方法与装置，其利用同轴几何分析技术，达成动态影像融合的功效，也就是利用不具视线上盲点的影像消除具视线上盲点的影像中的盲点像素。在行车安全警示系统的应用中，其可将前车所提取的影像与本车所提取的影像予以融合，使得造成本车盲点的前车于影像中变成(半)透明，本车驾驶者由于可直接观看前方路况，不仅行车过程更为轻松与自在，安全性也可大幅提升。
【专利附图】
【附图说明】
[0005]为了可详细地了解到本发明上述的参考特性的手段，以至于本发明一更特别的描述，即上述简短地摘要，系可参考实施例来获得，其某些实施例绘示在附加的附图中。然而，所注意的是，附加的附图仅绘示本发明典型的实施例，且因此其并不会限制其范围，本发明可容许其他等效的实施例。
[0006]图1是显示根据本公开的一实施例的一影像动态融合方法。
[0007]图2是显示根据本公开的一实施例的一影像动态融合装置。
[0008]图3、图4显示应用本公开的实际例子。
[0009]【符号说明】
[0010]21接收单元
[0011]22提取单元
[0012]23处理单元
[0013]24显示单元
[0014]s 101 ?s 104 步骤
【具体实施方式】
[0015]图1是显示根据本公开的一实施例的一影像动态融合方法，该方法包括:接收一车辆的周围车辆的广播信息(步骤slOl);根据该广播信息判断该车辆的周围车辆是否有与该车辆位于同一车道且距离相近的邻近车辆(步骤sl02);判断该邻近车辆中是否有遮蔽该车辆视线的一前方车辆(步骤sl03);以及当该第一前方车辆与该车辆距离相近时，则将该前方车辆进行透明化处理(步骤sl04)。前述的该广播信息包括该周围车辆的影像与定位信息，且前述的透明化程度可为完全透明、半透明或介于完全透明与完全不透明之间。
[0016]前述透明化处理的方法还包括:由该前方车辆与该车辆所提取到的影像中的特征点，来计算一描述两影像间像素关系的基本矩阵，以取得各自的共轭点与描述两共轭点附近像素比例关系的比例因子；于该前方车辆影像的共轭点附近提取影像，并以该比例因子将提取后的影像缩小；将缩小后的影像以该车辆影像的共轭点为中心至一车辆算法所检测出该前方车辆的边界内像素作融合。该透明化处理方法还包括:应用一算法来求取该前方车辆与该车辆影像中的特征点以及二车辆影像中的特征点的对应关系，且该算法为一尺度不变特征转换算法或一加速强健特征算法。
[0017]前述的前方车辆与该车辆的影像更可由多个影像传感器所提取的影像所构成，且这些影像传感器中的一个为一红外线影像提取装置、一光电耦合元件或一互补式金属氧化物半导体光学感测元件或其任意组合。如果这些影像传感器安置于该前方车辆与该车辆上，则这些影像通过一无线通信彼此间进行互相传递。该广播信息或这些影像由该无线通信进行传输，该无线通信包括车间专用短程通信系统(WAVE/DSRC)、W1-F1、WiMax、LTE0
[0018]该影像动态融合方法可由多个影像上共同的特征取得这些影像间彼此的几何关系以及由该几何关系组合或迭加这些影像，以构成该车辆影像中的透明化该前方车辆。前述的比例关系由一线性或非线性方程式近似，且该比例关系的坐标系可由该车辆影像的共轭点或该后方影像中的任一像素作为坐标中心。
[0019]图2是显示根据本公开的一实施例的一影像动态融合装置，该影像动态融合装置包括:一提取单元22，提取该车辆的周围影像，且该提取单元可为影像感测装置，该影像感测装置包括摄影机、照相机或其他摄像装置；一接收单元21，接收一车辆的周围车辆的广播信息及提取单元22提取该车辆的周围影像；一处理单元23，耦接该接收单元与该提取单元，该处理单元根据该广播信息判断该车辆的周围车辆是否有与该车辆位于同一车道且距离相近的邻近车辆，且判断该邻近车辆中是否有遮蔽该车辆视线的一前方车辆以及当该第一前方车辆与该车辆距离相近时，则将该前方车辆进行透明化处理；以及一显示单元24，耦接该处理单元23，用以显示已执行透明化处理的该前方车辆，且该显示单元可为抬头显示器、屏幕或其他显像装置。前述的该广播信息包括该周围车辆的影像与定位信息，且前述的透明化程度可为完全透明、半透明或介于完全透明与完全不透明之间。前述的影像感测装置可为一红外线影像提取装置、一光电耦合元件或一互补式金属氧化物半导体光学感测元件或其任意组合。
[0020]前述透明化处理的方法还包括:由该前方车辆与该车辆所提取到的影像中的特征点，来取得各自的共轭点与描述两共轭点附近像素比例关系的比例因子；于该前方车辆影像的共轭点附近提取影像，并以该比例因子将提取后的影像缩小；将缩小后的影像以该车辆影像的共轭点为中心至一车辆算法所检测出该前方车辆的边界内像素作融合。该透明化处理方法还包括:应用一算法来求取该前方车辆与该车辆影像中的特征点以及二车辆影像中的特征点的对应关系，且该算法为一尺度不变特征转换算法或加速强健特征(SpeededUp Robost Features, SURF)算法。
[0021]本公开是利用影像分析算法来推断两摄影机的相对姿态、辨识前方车辆在后方车辆所提取的影像中的位置并将前方车辆所提取的影像经过适当的大小比例调整以抹除后方车辆所提取影像中，前方车辆所造成的盲点，使得后方车辆的驾驶者得以在屏幕看到透明或半透明的前方车辆。
[0022]图3与图4显示应用本公开的实际例子，在图3所示，本车、前方车辆I与前方车辆2皆设置有本公开的影像融合装置，本车提取单元22提取前方车辆I的影像，及前方车辆I提取前方车辆2的影像，经由无线通信传输至本车的接收单元21，如前方车辆2煞车或前方车辆I与前方车辆2发生碰撞，前方车辆I或前方车辆2亦会将警示作用经由无线通信传输至本车的接收单元21，且图3与图4的具体的流程为先使用尺度不变特征转换(Scale-1nvariant Feature Transform, SIFT)算法或加速强健特征(Speeded Up RobostFeatures, SURF)算法或任何可以求取两影像间对应点的算法，来找出后方车辆所提取画面中的多个特征点与前方车辆所提取画面中的多个像素特征点(以进行特征点匹配)，以及此两张画面中的对应点(Correspondence),接着,通过对应点,两画面间彼此的关系可由旋转(Rotat1n)矩阵与平移(Translat1n)矩阵彼此描述，假设同一个对应点在前方画面中的坐标为P，在后方画面上的坐标为P’，则此两点的关系为
[0023]p' tFp=0.....................................................................(I)
[0024]也就是描述每对对应点间的关系为基本矩阵(Fundamental Matrix, F),求解F的方法可为Calibrated Five Point Algorithm,其细节可参考下列论文D.Nister.An Efficient Solut1n to the Five-Point Relative Pose Problem.1EEE Trans.Pattern Analy.Machine Intell., pages756 - 770,2004.或是 Normalized Eight PointAlgorithm,其细节可参考下列论文 R.1.Hartley.1n Defense of the Eight-PointAlgorithm.1EEE Trans.Pattern Analy.Machine Intell., 19,1997.即可求出两画面上像素间彼此关系的F。
[0025]然而以上两算法其代表最低只需五组对应点或八组对应点即可求解F，
[0026]但在实际应用中，很有可能因为随机选择的五组点或八组点恰好为噪声所干扰却又被视为对应点，因此，欲加强F估算的正确性与强健性，我们使用随机抽样一致算法(Random Sample Consensus, RANSAC)来找出基于统计的观点，更为适当的F,其运作的方式为假定重复随机选取的五组或八组的对应点中，至少有一组其不为噪声所污染，因此重复的选取五组或八组点以求解F，每得到一次F，即将每组对应点代入P' tFp,并以平均值或中间值来代表该次所有点代入W tFp后的结果，而对应最小平均值或中间值的F，即为随机抽样一致算法所估计的最佳F。最后，使用奇异值分解(Singular ValueDecomposit1n),即可从F解出e,(后方影像的共轭点)与e(前方影像的共轭点)。
[0027]接着，如图3与4所示，相同的背景，对于前方车辆I的(前方)摄影机与本车(后方)摄影机来说，后方摄影机理论上所提取到的物件影像相较于该前方车辆I的摄影机来说应该会较小，此大小比例的估算也可由前后影像间的对应点来求得，例如，可使用线性回归来求取此比例因子。此外，由于前方车辆共轭点附近的像素，将与本车(后方)影像共轭点附近的像素混合以去除本车(后方)影像中前方车辆I所造成的盲点，因此，此比例因子将以共轭点为中心，并以极坐标来模型化回归的方程式，也就是在此需要分别估算距离与角度。然而，由于对应点有可能为噪声所干扰，因此，我们亦使用随机抽样一致算法，搭配最小平方法，即可找出描述两影像各自的像素相对于共轭点的比例关系，其实现方法为，假设共有m组对应点，其中后方影像内的对应点的坐标为Xi,，其相对于共轭点的向量
V-e'可以极坐标(P' ρθ' J予以表示，同样的，前方影像内的对应点的坐标Xi，其相对于共轭点的向量Xi_e，也可以(Pi, Θ ^予以表示，接着，重复k次最小平方法，每次皆随机选取η组对应点，其中2〈n〈m，第j次最小平方法的结果，所得到的a]与Iv如果能使得
【权利要求】
1.一种影像动态融合方法，包括: 接收一车辆的周围车辆的广播信息； 根据该广播信息判断该车辆的周围车辆是否有与该车辆位于同一车道且距离相近的邻近车辆； 判断该邻近车辆中是否有遮蔽该车辆视线的一前方车辆；以及 当该第一前方车辆与该车辆距离相近时，则将该前方车辆进行透明化处理。
2.如权利要求1所述的影像动态融合方法，其中该透明化处理包括: 由该前方车辆与该车辆所提取到的影像中的特征点，来求取各自的共轭点与描述两共轭点附近像素比例关系的比例因子； 在该前方车辆的影像的共轭点附近提取影像，并以该比例因子将提取后的影像缩小； 将缩小后的影像与后方影像中共轭点附近，至一边界内的像素作融合。
3.如权利要求2所述的影像动态融合方法，还包括: 应用一算法来求取该前方车辆与该车辆影像中的特征点以及二车辆影像中的特征点的对应关系，该两对应点的关系为；对应点于前方画面中的坐标为P，在后方画面上的坐标为 P’，F 为基本矩阵(Fundamental Matrix)。
4.如权利要求3所述的影像动态融合方法，其中该算法为一尺度不变特征转换算法或一加速强健特征算法。
5.如权利要求2所述的影像动态融合方法，还包括: 求解一基本矩阵以及该前方车辆与该车辆影像中各自的共轭点； 以及两共轭点附近的像素间的比例关系； 以该比例关系由该前方车辆影像提取像素并与该车辆影像中构成该前方车辆车身的像素，以该共轭点为中心相融合，该融合的边界来自一车辆检测算法。
6.如权利要求2所述的影像动态融合方法，其中该前方车辆与该车辆的影像还可由多个影像传感器所提取的影像所构成。
7.如权利要求6所述的影像动态融合方法，还包括: 由多个影像上共同的特征取得这些影像间彼此的几何关系； 由该几何关系组合或迭加这些影像，以构成该前方车辆与该车辆的影像。
8.如权利要求6所述的影像动态融合方法，其中这些影像传感器中的一个为一红外线影像提取装置、一光电耦合元件或一互补式金属氧化物半导体光学感测元件或其任意组口 ο
9.如权利要求6所述的影像动态融合方法，其中若这些影像传感器安置于该前方车辆与该车辆上，则这些影像通过一无线通信彼此间进行互相传递。
10.如权利要求9所述的影像动态融合方法，其中该广播信息或这些影像由该无线通信进行传输，该无线通信包括车间专用短程通信系统WAVE/DSRC、W1-F1、WiMax、LTE0
11.如权利要求5所述的影像动态融合方法，其中该比例关系由一线性或非线性方程式近似。
12.如权利要求5所述的影像动态融合方法，其中该比例关系的坐标系可由该车辆影像的共轭点作为坐标中心或该后方影像中的任一坐标点。
13.如权利要求1所述的影像动态融合方法，其中该广播信息包括该周围车辆的影像与定位信息。
14.如权利要求1所述的影像动态融合方法，其中该透明化程度可为完全透明、半透明或介于完全透明与完全不透明之间。
15.一种影像动态融合装置，包括: 一提取单元，提取该车辆的周围影像；一接收单元，接收一车辆的周围车辆的广播信息及提取单元提取该车辆的周围影像；一处理单元，耦接该接收单元与该提取单元，该处理单元根据该广播信息判断该车辆的周围车辆是否有与该车辆位于同一车道且距离相近的邻近车辆，且判断该邻近车辆中是否有遮蔽该车辆的视线以及当该前方车辆与该车辆距离相近时，则将该前方车辆进行透明化处理。
16.如权利要求15所述的影像动态融合装置，其中该处理单元进行该透明化处理还包括: 由该前方车辆与该车辆所提取到的影像中的特征点，来求取各自的共轭点与描述两共轭点附近像素比例关系的比例因子； 在该前方车辆的影像的共轭点附近提取影像，并以该比例因子将提取后的影像缩小； 将缩小后的影像与后方影像中共轭点附近，至一边界内的像素作融合。
17.如权利要求16所述的影像动态融合装置，该处理单元还应用一算法来求取该前方车辆与该车辆影像中的特征点以及二车辆影像中的特征点的对应关系。
18.如权利要求16所述的影像动态融合装置，该处理单元还包括: 求解一基本矩阵以及该前方车辆与该车辆影像中各自的共轭点； 以及两共轭点附近的像素间的比例关系； 以该比例关系由该前方车辆影像提取像素并与该车辆影像中构成该前方车辆车身的像素，以该共轭点为中心相融合，该融合的边界来自一车辆检测算法。
19.如权利要求18所述的影像动态融合装置，其中该前方车辆与该车辆的影像还可由该提取单元所提取的影像所构成。
20.如权利要求18所述的影像动态融合装置，其中该处理单元还包括: 由多个影像上共同的特征取得这些影像间彼此的几何关系； 由该几何关系组合或迭加这些影像，以构成该前方车辆与该车辆的影像。
21.如权利要求15所述的影像动态融合装置，还包括: 一显示装置，耦接该处理单元，用以显示已执行透明化处理的该前方车辆。
22.如权利要求21所述的影像动态融合装置，其中该显示装置包括抬头显示器、屏幕或其他显像装置。
23.如权利要求15所述的影像动态融合装置，其中该提取单元为一影像感测装置，该影像感测装置包括摄影机、照相机或其他摄像装置。
24.如权利要求23所述的影像动态融合装置，其中该影像感测装置为一红外线影像提取装置、一光电耦合元件或一互补式金属氧化物半导体光学感测元件或其任意组合。
25.如权利要求15所述的影像动态融合装置，其中本车接收单元接收提取单元提取前方车辆I的影像，及前方车辆I提取前方车辆2的影像，该影像经由无线通信传输至本车接收单元。
26.如权利要求15所述的影像动态融合装置，其中本车接收单元接收前方车辆2煞车或前方车辆I与前方车辆2发生碰撞的警示作用，该警示作用是经由无线通信传输至本车的接收单元。
27.一种影像动态融合透明化处理方法，包括: 由该前方车辆与该车辆所提取到的影像中的特征点，来求取各自的共轭点与描述两共轭点附近像素比例关系的比例因子； 在该前方车辆的影像的共轭点附近提取影像，并以该比例因子将提取后的影像缩小； 将缩小后的影像与后方影像中共轭点附近，至一边界内的像素作融合。
【文档编号】G06T7/00GK104166973SQ201310314054
【公开日】2014年11月26日 申请日期:2013年7月24日 优先权日:2013年5月17日
【发明者】林哲聪, 林昱成 申请人:财团法人工业技术研究院