利用群集技术的多个影像的合成系统及方法

利用群集技术的多个影像的合成系统及方法
【专利摘要】本发明涉及多个影像的合成系统及方法，利用群集技术而使多个影像的连接领域的亮度差距最小化。本发明的方法，包括：接收输入的两个以上的输入影像的阶段；把两个以上的输入影像合成为一个合成影像的阶段；算出合成影像中各输入影像的亮度分布度的阶段；从亮度分布度中算出一个以上的增减曲线(模态；modal)的亮度代表值的阶段；通过亮度代表值判断各输入影像的群集与否及群集类型，并群组化各增减曲线的阶段；通过各群组化的增减曲线的亮度代表值算出各群组的补正目标值的阶段；各群组的补正目标值中减掉相应群组的各增减曲线的亮度代表值，从而算出各增减曲线的补正值的阶段；根据各输入影像的像素值加上对应的补正值而补正亮度的阶段。
【专利说明】利用群集技术的多个影像的合成系统及方法

【技术领域】
[0001]本发明涉及多个影像的合成系统及方法，更具体地说，把多个摄像头获得的多个影像合成为一个影像时，利用群集技术而最小化连接领域的亮度差的利用群集技术的多个影像的合成系统及方法。

【背景技术】
[0002]为了防止事故危险、停车时的便利等，越来越多使用者在汽车上搭载黑匣子或后方摄像头功能。
[0003]据此,最近开发了一种AVM(Around View Monitor-环视显示器)系统,不仅在车辆的前后方，还在左右侧面设置了摄像头，像总共有4台摄像头从车辆上方俯视似的输出到显示器。
[0004]该AVM系统合成设置在车辆四周的摄像头所获得的影像，使使用者能够便利地通过安装在车辆前方的显示屏观察周围。
[0005]但是，传统的AVM系统因设置在车辆的各摄像头的拍摄影像的亮度互不相同，合成后的影像不顺滑，使用者会感到不自然。
[0006]并且，日本公开专利(第2010-187161号，申请日:2009、02、12)所提出的车载摄像头的影像合成显示方法用属于影像的全部像素的平均值算出影像亮度，因此根据其他物体或影子等，亮度平均值或gain (增益)上产生误差而难以正确地补正亮度。
[0007]先行技术文献
[0008]专利文献
[0009]日本公开专利第2010-187161号(申请日:2009、02、12)


【发明内容】

[0010](要解决的技术问题)
[0011]本发明的目的在于提供一种利用群集技术的多个影像的合成系统及方法，把多个摄像头获得的多个影像合成为一个影像时，利用群集技术而最小化连接领域的亮度差。
[0012]并且，提供一种能够营造使用者不感到异质感并更加集中于驾驶的环境的利用群集技术的多个影像的合成系统及方法。
[0013](解决问题的手段)
[0014]为了达成所述本发明的目的，利用群集技术的多个影像的合成方法包括:接收输入的两个以上的输入影像的阶段；把两个以上的输入影像合成为一个合成影像的阶段；算出合成影像中各输入影像的亮度分布度的阶段；从亮度分布度中算出一个以上的增减曲线(模态;modal)的亮度代表值的阶段；通过亮度代表值判断各输入影像的群集与否及群集类型，并群组化各增减曲线的阶段；通过各群组化的增减曲线的亮度代表值算出各群组的补正目标值的阶段；各群组的补正目标值中减掉相应群组的各增减曲线的亮度代表值，从而算出各增减曲线的补正值的阶段；根据各输入影像的像素值加上对应的补正值而补正亮度的阶段。
[0015]在算出各输入影像的亮度分布度的阶段，亮度分布度在合成影像中对应各输入影像的全部领域或合成影像中各输入影像相邻的领域中算出。
[0016]并且，亮度分布度使量子化级别降低到比一般的亮度级别即256级别(8比特)低，简化亮度分布度的形态。
[0017]算出一个以上的增减曲线的亮度代表值的阶段中，增减曲线是指具有至少包括一个以上的极大的极小与极小之间的抛物线形态的曲线，亮度代表值可算出为所述各增减曲线的像素的平均亮度值或极大值中的其中一个。
[0018]判断各输入影像的群集与否及群集类型，并群组化各增减曲线的阶段中，利用把亮度代表值类似的各增减曲线分类到同一群组的群集技术。
[0019]群集类型分为总括群集，把亮度代表值为两个以上的输入影像的增减曲线同时分类到同一群组；及个别群集，把输入影像的增减曲线逐个分类到亮度代表值类似的增减曲线所属的群组。
[0020]总括群集是指把亮度代表值为两个以上的输入影像的增减曲线同时分类到同一群组，其特征在于:算出亮度代表值为一个的输入影像的亮度代表值的平均，比较与亮度代表值为两个的输入影像的亮度代表值的差距，把具有绝对值最小的亮度代表值的增减曲线和亮度代表值为一个的输入影像的增减曲线分类到同一群组而全部一次性总括群集；个别群集的特征在于，参照输入影像的亮度代表值为两个或已完成群集的亮度代表值的平均而群集。
[0021]补正目标值算出阶段中，
[0022]补正目标值可算出为各群组化的增减曲线的亮度代表值的平均值，或面积最大的增减曲线的代表值，或极大值最大的增减曲线的代表值中的其中一个。
[0023]补正值算出阶段中，
[0024]对应各增减曲线的补正值，算出为各增减曲线所属的群组的补正目标值减掉各增减曲线的亮度代表值的值。
[0025]亮度补正阶段中，
[0026]各增减曲线的补正值乘以根据输入影像的像素值的加权值，算出根据输入影像的像素值分别对应的补正值，根据输入影像的像素值分别对应的补正值加上补正前的输入影像的像素值而补正亮度。
[0027](发明的效果)
[0028]根据本发明的利用群集技术的多个影像的合成系统及方法，合成多个影像时利用了群集技术，从而最小化多个影像的连接领域的亮度差距，使使用者感受不到异质感，更能集中于驾驶，防止事故发生危险，并且提供驻车时的便利。

【专利附图】

【附图说明】
[0029]图1是利用根据本发明的优选实施例的群集技术的多个影像的合成系统的概略图；
[0030]图2是呈现本发明的利用群集技术的多个影像的合成方法的流程图；
[0031]图3是呈现增减曲线的概略图；
[0032]图4是用于判断群集与否及类型的流程图；
[0033]图5是根据亮度代表值和输入影像的个数判断群集与否及类型的概略图；
[0034]图6是输入的亮度代表值为一个的输入影像为三个、亮度代表值为两个的输入影像为一个时，用于判断群集类型的流程图 '及
[0035]图7是输入的亮度代表值为一个的输入影像为两个、亮度代表值为两个的输入影像为两个时，用于判断群集类型的流程图。

【具体实施方式】
[0036]以下，参照附图详细说明根据本发明的优选实施例的利用群集技术的多个影像的合成系统及方法。
[0037]如图1所图示，利用根据本实施例的群集技术的多个影像的合成系统包括:影像输入部110、影像合成部120、亮度信息分析部130、亮度代表值群集部140、亮度补正值算出部150、亮度补正值控制部160。
[0038]影像输入部110接收通过设置在车辆前后左右的摄像头拍摄与车辆相邻的周边领域而获得的多个影像的输入，影像合成部120把多个的各输入影像合成为一个合成影像。
[0039]这里，并不限定摄像头必须设置在车辆，因有可能使用于合成多个的影像的系统，不管摄像头设置的位置或场所在哪里，都能适用本发明。
[0040]亮度信息分析部130从合成影像中对应各输入影像的全部领域或合成影像中各输入影像相邻的领域中算出亮度分布度。
[0041]全部领域或相邻领域中算出亮度分布度后，降低量子化级别到比一般亮度级别即256级别(8比特)低，简化亮度分布度的形态，算出亮度分布度中一个以上的增减曲线(模态；modal)的亮度代表值。
[0042]亮度代表值可算出为各增减曲线的像素的平均亮度值或极大值中的其中一个。
[0043]这里，增减曲线(模态；modal)如图3所图示，具有包括至少I个以上的极大的极小与极小之间的抛物线形态。
[0044]亮度代表值群集部140通过亮度代表值判断各输入影像的群集与否及群集类型，并群组化各增减曲线。
[0045]群集技术是指，基于构成叫群集分析的数据集合的客体间的统计类似性，把亮度代表值类似的增减曲线分类到同一群组的一种分类作业。
[0046]亮度代表值类似的增减曲线群集为同一群组，不做群集时，移动到亮度补正值算出部150。
[0047]亮度补正值算出部150根据各群组化的增减曲线的亮度代表值的平均值，或面积最大的增减曲线的代表值，或极大值最大的增减曲线的代表值中的其中一个，算出补正目标值，根据各增减曲线所属群组的补正目标值减掉各增减曲线的亮度代表值的值，算出对应各增减曲线的补正值。
[0048]亮度补正值控制部160在算出的各增减曲线的补正值乘以根据输入影像的像素值的加权值，根据输入影像的像素值算出分别对应的补正值后，根据输入影像的像素值分别对应的补正值分别加上补正前的像素值，从而获得补正后的像素值。
[0049]如图2所图示，根据本实施例的利用群集技术的多个影像的合成方法，包括:
[0050]接收输入的两个以上的输入影像的阶段SllO ;把两个以上的输入影像合成为一个合成影像的阶段S120 ;算出合成影像中各输入影像的亮度分布度的阶段S130 ;从亮度分布度中算出一个以上的增减曲线(模态；modal)的亮度代表值的阶段S140 ;通过亮度代表值判断各输入影像的群集与否，及群集类型并群组化各增减曲线的阶段S150 ;通过各群组化的增减曲线的亮度代表值算出各群组的补正目标值的阶段S160 ;各群组的补正目标值中减掉相应群组的各增减曲线的亮度代表值，从而算出各增减曲线的补正值的阶段S170;根据各输入影像的像素值加上对应的补正值而补正亮度的阶段S180。
[0051]首先，接收输入的两个以上的输入影像的阶段SllO中，输入通过设置在车辆前后左右的摄像头拍摄与车辆相邻的周边领域而获得的多个影像。
[0052]其次，把两个以上的输入影像合成为一个合成影像的阶段S120中，把各输入影像合成为一个合成影像。
[0053]为了把车辆的四周呈现在一个画面，用广角摄像头拍摄周边，因根据具有短焦点距离的摄像头镜头的歪曲而发生影像的边缘部分失真的歪曲现象，合成为一个合成影像后，基本能够实现对歪曲的补正和平面化等。
[0054]其次，合成影像中算出各输入影像的亮度分布度的阶段S130中，亮度分布度从合成影像中对应各输入影像的全部领域或合成影像中各输入影像相邻的领域中算出亮度分布度。
[0055]全部领域或相邻领域中算出亮度分布度后，降低量子化级别到比一般亮度级别即256级别(8比特)低，简化亮度分布度的形态。
[0056]量子化是指区分为连续的模拟的变化量在一定幅度范围内不连续性变化的有限个级别，并对各级别赋予分别唯一的值。
[0057]因此，若降低量子化级别，亮度分布度就具有单纯的形态。
[0058]其次，亮度分布度中算出一个以上的增减曲线(模态;modal)的亮度代表值的阶段S140中，亮度代表值算出为各增减曲线的像素的平均亮度值或极大值中的其中一个。
[0059]这里，增减曲线(模态；modal)是指，如图3所图示，具有至少包括一个以上的极大的极小与极小之间的抛物线形态的曲线。因此，可说明为图3的亮度分布度具有两个增减曲线。
[0060]各增减曲线的亮度代表值以亮度分布度算出阶段中降低量子化级别的亮度分布度的形态为参考，算出为属于增减曲线的像素的平均亮度值。
[0061]像素的平均亮度值通过增减曲线的X轴值分别乘上对应各X轴值的I轴值并全部合计，然后合计所述合计值对应X轴值的I值而算出。
[0062]并且各增减曲线的亮度代表值算出为各增减曲线的极大值。
[0063]其次，通过亮度代表值判断各输入影像的群集与否及群集类型，并群组化各增减曲线的阶段S150中使用群集(clustering)技术。
[0064]群集技术是指，基于构成叫群集分析的数据集合的客体间的统计类似性，把亮度代表值类似的增减曲线分类到同一群组的一种分类作业。
[0065]亮度代表值类似的增减曲线群集为同一群组，不做群集时，直接移动到亮度补正值算出阶段。
[0066]如图4至图5所图示，根据亮度代表值为一个的输入影像的数和亮度代表值为两个的输入影像数判断群集与否及类型。总括群集是指把亮度代表值为两个以上的输入影像的增减曲线同时分类到同一群组，其特征在于:算出亮度代表值为一个的输入影像的亮度代表值的平均，比较与亮度代表值为两个的输入影像的亮度代表值的差距，把具有绝对值最小的亮度代表值的增减曲线和亮度代表值为一个的输入影像的增减曲线分类到同一群组而全部一次性总括群集。
[0067]个别群集是指把输入影像的增减曲线逐个分类到亮度代表值类似的增减曲线所属的群组，与总括群集不同，是逐个分类，参照输入影像的亮度代表值为两个或已完成群集的亮度代表值的平均而群集。
[0068]例如，假定把输入影像1、2、3、4生成为合成影像，具有两个亮度代表值的输入影像I的两个增减曲线群集于群组I和群组2。这里若群集亮度代表值为一个的输入影像2的增减曲线，个别群集到输入影像2的亮度代表值与群组I的亮度代表值或群组2的亮度代表值的绝对值差距最小的群组。
[0069]其次，群集亮度代表值为一个的输入影像3的增减曲线时，个别群集到输入影像3的亮度代表值与群组I的亮度代表值或群组2的亮度代表值的平均的绝对值差距最小的群组。
[0070]其次，群集亮度代表值为一个的输入影像4的增减曲线时，个别群集到输入影像4的亮度代表值与群组I的亮度代表值的平均或群组2的亮度代表值的平均的绝对值差距最小的群组。
[0071]接收到四个输入影像的输入时，若四个输入影像的亮度代表值全部为一个或两个，就不进行群集。
[0072]接收到亮度代表值为一个的输入影像三个、亮度代表值为两个的输入影像一个的输入时，如图6所图示，亮度代表值为一个的输入影像的亮度代表值中(最大的亮度代表值-最小的亮度代表值)比临界值小，则进行总括群集，若比临界值大，则进行个别群集。
[0073]接收到亮度代表值为一个的输入影像两个、亮度代表值为两个的输入影像两个的输入时，如图7所图示，亮度代表值为一个的两个输入影像相邻(两者中亮度代表值大的影像的亮度代表值-亮度代表值小的影像的亮度代表值)比临界值小，则进行总括群集，若比临界值大，则进行个别群集。
[0074]并且，若亮度代表值为一个的两个输入影像互不相邻，进行个别群集。
[0075]接收到亮度代表值为一个的输入影像一个、亮度代表值为两个的输入影像三个的输入时，不另行判断群集类型而进行个别群集。
[0076]如所述，根据输入影像的亮度代表值和输入影像的个数而使用不同的群集技术。
[0077]其次，通过各群组化的增减曲线的亮度代表值算出各群组的补正目标值的阶段S160中，算出为各群组化的增减曲线的亮度代表值的平均值，或面积最大的增减曲线的代表值，或极大值最大的增减曲线的代表值中的其中一个。
[0078]求面积最大的增减曲线的代表值时的面积是通过全部累计对应增减曲线的X轴值的y的值而算出。
[0079]其次，各群组的补正目标值中减掉相应群组的各增减曲线的亮度代表值，从而算出各增减曲线的补正值的阶段S170中，对应各增减曲线的的补正值，通过各增减曲线所属群组的补正目标值减掉各增减曲线的亮度代表值而算出。
[0080]其次，根据各输入影像的像素值加上对应的补正值而补正亮度的阶段S180中，算出的各增减曲线的补正值乘以根据输入影像的像素值的加权值，算出根据输入影像的像素值分别对应的补正值。
[0081]像素值是指，把像素的亮度值用O (黑色)与255(白色)之间的数字表现的值。
[0082]最终，根据输入影像的像素值分别对应的补正值分别加上补正前的像素值而获得补正后的像素值。
[0083]通过所述方法，相比传统方法，利用具体的群集技术合成多个影像，从而最小化对输入影像的连接领域的亮度的异质感。
[0084]以上，参照本发明的优选实施例说明了本发明的利用群集技术的多个影像的合成方法，但本发明的权利范围并不限定于所述实施例，本领域从业者能够清楚地理解到在不脱离本发明的技术思想的范围内，可进行修正、变更及多种变形实施例。
【权利要求】
1.一种利用群集技术的多个影像的合成系统，包括: 影像输入部，接收输入的两个以上的输入影像； 影像合成部，把所述两个以上的输入影像合成为一个合成影像； 亮度信息分析部，算出所述合成影像中所述各输入影像的亮度分布度，从所述亮度分布度中算出一个以上的增减曲线(模态;modal)的亮度代表值； 亮度代表值群集部，通过所述亮度代表值判断所述各输入影像的群集与否及群集类型，并群组化所述各增减曲线； 亮度补正值算出部，通过所述各群组化的增减曲线的所述亮度代表值，算出各群组的补正目标值，所述各群组的补正目标值中减掉相应群组的所述各增减曲线的亮度代表值而算出各增减曲线的补正值； 亮度补正值控制部，根据所述各输入影像的像素值加上对应的补正值而补正亮度。
2.根据权利要求1所述的利用群集技术的多个影像的合成系统，其特征在于: 所述亮度信息分析部在合成影像中对应各输入影像的全部领域中或合成影像中各输入影像相邻的领域中算出亮度分布度，通过各增减曲线的像素的平均亮度值或极大值中的其中一个算出亮度代表值。
3.根据权利要求2所述的多个影像的合成系统，其特征在于: 所述增减曲线是指具有至少包括一个以上的极大的极小与极小之间的抛物线形态的曲线。
4.根据权利要求1所述的利用群集技术的多个影像的合成系统，其特征在于: 所述亮度代表值群集部利用把亮度代表值类似的各增减曲线分类到同一群组的群集技术。
5.根据权利要求1所述的利用群集技术的多个影像的合成系统，其特征在于: 所述亮度补正值算出部通过所述各群组化的增减曲线的亮度代表值的平均值或面积最大的增减曲线的代表值或极大值最大的增减曲线的代表值中的其中一个算出补正目标值。
6.根据权利要求1所述的利用群集技术的多个影像的合成系统，其特征在于: 所述亮度补正值控制部通过所述各增减曲线的补正值乘以根据所述输入影像的像素值的加权值，算出根据输入影像的像素值分别对应的补正值，根据输入影像的像素值分别对应的补正值加上补正前的输入影像的像素值而补正亮度。
7.一种利用群集技术的多个影像的合成方法，包括: 接收输入的两个以上的输入影像的阶段； 把所述两个以上的输入影像合成为一个合成影像的阶段； 算出所述合成影像中各输入影像的亮度分布度的阶段； 从所述亮度分布度中算出一个以上的增减曲线(模态;modal)的亮度代表值的阶段；通过所述亮度代表值判断各输入影像的群集与否及群集类型，并群组化各增减曲线的阶段； 通过所述各群组化的增减曲线的所述亮度代表值算出各群组的补正目标值的阶段； 所述各群组的补正目标值中减掉相应群组的所述各增减曲线的所述亮度代表值，从而算出所述各增减曲线的补正值的阶段； 根据所述各输入影像的像素值加上对应的所述补正值而补正亮度的阶段。
8.根据权利要求7所述的利用群集技术的多个影像的合成方法，其特征在于: 所述亮度分布度算出阶段中， 所述亮度分布度在所述合成影像中对应所述各输入影像的全部领域或所述合成影像中各输入影像相邻的领域中的其中一个算出。
9.根据权利要求7所述的利用群集技术的多个影像的合成方法，其特征在于: 所述亮度代表值算出为所述各增减曲线的像素的平均亮度值或极大值中的其中一个。
10.根据权利要求7所述的利用群集技术的多个影像的合成方法，其特征在于: 所述判断各输入影像的群集与否及群集类型，并群组化各增减曲线的阶段中， 利用把所述亮度代表值类似的所述各增减曲线分类到同一群组的群集技术。
11.根据权利要求10所述的利用群集技术的多个影像的合成方法，其特征在于: 群集类型分为总括群集，把亮度代表值为两个以上的输入影像的增减曲线同时分类到同一群组；及个别群集，把输入影像的增减曲线逐个分类到亮度代表值类似的增减曲线所属的群组。
12.根据权利要求11所述的利用群集技术的多个影像的合成方法，其特征在于: 所述总括群集是指把亮度代表值为两个以上的输入影像的增减曲线同时分类到同一群组，算出亮度代表值为一个的输入影像的亮度代表值的平均，比较与亮度代表值为两个的输入影像的亮度代表值的差距，把具有绝对值最小的亮度代表值的增减曲线和亮度代表值为一个的输入影像的增减曲线分类到同一群组而全部一次性总括群集。
13.根据权利要求11所述的利用群集技术的多个影像的合成方法，其特征在于: 所述个别群集的特征在于，参照输入影像的亮度代表值为两个或已完成群集的亮度代表值的平均而群集。
14.根据权利要求7所述的利用群集技术的多个影像的合成方法，其特征在于: 所述补正目标值算出阶段中， 所述补正目标值可算出为所述各群组化的增减曲线的亮度代表值的平均值，或面积最大的增减曲线的代表值，或极大值最大的增减曲线的代表值中的其中一个。
15.根据权利要求7所述的利用群集技术的多个影像的合成方法，其特征在于: 所述补正值算出阶段中， 所述对应各增减曲线的补正值，算出为所述各增减曲线所属的群组的补正目标值减掉所述各增减曲线的亮度代表值的值。
16.根据权利要求7所述的利用群集技术的多个影像的合成方法，其特征在于: 所述亮度补正阶段中， 所述各增减曲线的补正值乘以根据所述输入影像的像素值的加权值，算出根据所述输入影像的像素值分别对应的补正值，根据所述输入影像的像素值分别对应的所述补正值加上所述补正前的输入影像的像素值而补正亮度。
【文档编号】G06T5/00GK104427262SQ201410122951
【公开日】2015年3月18日 申请日期:2014年3月28日 优先权日:2013年8月19日
【发明者】张民洙, 徐智元 申请人:现代摩比斯株式会社