图像亮度处理方法、装置、电子设备、车辆和存储介质与流程

文档序号:32478430发布日期:2022-12-09 19:57阅读:79来源:国知局
图像亮度处理方法、装置、电子设备、车辆和存储介质与流程

1.本公开涉及图形处理技术领域,尤其涉及一种图像亮度处理方法、装置、电子设备、车辆和存储介质。


背景技术:

2.目前,全景拼接图像的应用越来越广泛,例如,在车辆行驶时,根据车辆上搭载的多个摄像头采集的图像,拼接成全景图像,例如全景环视图像,而目前的全景拼接图像因采集来源不同,导致不同区域的图像亮度存在差异,得到的全景拼接图像在视觉上有明显的拼接感,拼接效果较差,因此,如何提高全景拼接图像的亮度一致性是需要解决的技术问题。


技术实现要素:

3.本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
4.为此,本公开提出一种图像亮度处理方法、装置、电子设备、车辆和存储介质,以改善全景拼接图像中的亮度差异,提高拼接效果。
5.本公开一方面实施例提出了一种图像亮度处理方法,包括:
6.获取第一摄像头采集的目标图像;
7.获取与所述第一摄像头相邻的第二摄像头采集的参考图像,其中,所述目标图像和所述参考图像之间存在重叠区域;
8.根据所述参考图像中的重叠区域的亮度信息,确定所述目标图像的目标亮度均衡参数,以调整所述第一摄像头采集的图像亮度。
9.本公开另一方面实施例提出了一种图像亮度处理装置,包括:
10.第一获取模块,用于获取第一摄像头采集的目标图像;
11.第二获取模块,用于获取与所述第一摄像头相邻的第二摄像头采集的参考图像,其中,所述目标图像和所述参考图像之间存在重叠区域;
12.确定模块,用于根据所述参考图像中的重叠区域的亮度信息,确定所述目标图像的目标亮度均衡参数,以调整所述第一摄像头采集的图像亮度。
13.本公开另一方面实施例提出了一种电子设备,包括:
14.至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,
15.所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述一方面所述的方法。
16.本公开另一方面实施例提出了一种车辆,包括前述另一方面实施例所述的电子设备。
17.本公开另一方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行前述一方面所述的方法。
18.本公开另一方面实施例提出了一种计算机程序产品,包括计算机指令,所述计算
机指令在被处理器执行时实现前述一方面所述的方法。
19.本公开实施例的图像亮度处理方法、装置、电子设备、车辆和存储介质,每一个第一摄像头采集的目标图像的目标亮度均衡参数,均可根据对应的参考图像的重叠区域的亮度信息确定,可对第一摄像头后续采集图像的图像亮度进行调整,保证了多个摄像头采集图像中亮度信息的一致性,避免了拼接后的亮度差异,提高了视觉效果。
20.本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。
附图说明
21.本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
22.图1为本公开实施例所提供的一种图像亮度处理方法的流程示意图;
23.图2为本公共实施例提供的一种拼接图的示意图;
24.图3为本公开实施例提供的另一种图像亮度处理方法的流程示意图;
25.图4为本公开实施例提供的另一种图像亮度处理方法的流程示意图;
26.图5为本公开实施例提供的一种图像亮度处理装置的结构示意图;以及
27.图6为本公开实施例提供的一种电子设备的结构框图。
具体实施方式
28.下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本公开,而不能理解为对本公开的限制。
29.下面参考附图描述本公开实施例的图像亮度处理方法、装置、车辆、电子设备和存储介质。
30.图1为本公开实施例所提供的一种图像亮度处理方法的流程示意图。
31.如图1所示,该方法包括以下步骤:
32.步骤101,获取第一摄像头采集的目标图像。
33.其中,第一摄像头可以为广角摄像头,例如鱼眼摄像头,本实施例中第一摄像头可以为多个摄像头中的任一个摄像头,第一摄像头仅为便于区分设定的,后续还存在第二摄像头和第三摄像头,名称不指示优先级。
34.本公开实施例中,第一摄像头采集的目标图像为需要进行亮度均衡调整的图像,目标图像可以为一个时刻采集的一帧图像,或者是多个时刻采集的多帧图像,即一组图像。获取到的第一摄像头采集的目标图像和摄像头的采集频率相关,摄像头的采集频率可以为10秒一帧,或者是一秒中可采集多帧,例如10帧,在此不做限制,也就是说本公开实施例中第一摄像头采集的图像可以不是连续帧,提高了车辆处理的效率,也可以为连续帧,获得更好处理效果。
35.例如,多个摄像头为4个摄像头,以其中的一个摄像头1作为第一摄像头,一种场景下,获取到的第一摄像头采集的目标图像为一帧;在另一种场景下,获取到的第一摄像头采集的目标图像为5帧图像,第一摄像头在5个时刻分别采集到的图像分别为s11、s12、s13、
s14和s15,其中,图像s11、s12、s13、s14和s15为第一摄像头采集到的目标图像,该目标图像为第一摄像头采集的一组图像,即同一个摄像头采集的图像为一组图像。
36.步骤102,获取与第一摄像头相邻的第二摄像头采集的参考图像,其中,目标图像和参考图像之间存在重叠区域。
37.其中,参考图像为第一摄像头相邻的第二摄像头采集的图像。其中,第二摄像头可以为一个或多个,也就是说参考图像可以为一组或多组,其中,一组中包含的图像为一帧或多帧。参考图像和目标图像的采集时刻具有对应关系,即采集一帧目标图像的时刻和采集一帧参考图像的时刻具有对应关系,对应关系可以为同一时刻,也可以为预设的时间差。
38.本公开实施例中,第一摄像头和第二摄像头存在相邻关系,为了实现全景图像拼接,第一摄像头采集的目标图像和第二摄像头采集的参考图像之间存在采集的相同图像区域,根据采集的相同图像区域,可确定目标图像和参考图像之间存在的重叠区域。其中,对于确定目标图像和参考图像之间存在的重叠区域,作为一种示例,图2为本技术实施例提供的一种拼接图的示意图,通过4个摄像头分别采集了前摄采集图像、左摄采集图像、右摄采集图像和后摄采集图像,如图2中左图所示,以俯视场景下,左摄采集图像为目标图像,对应的参考图像为前摄采集图像为例,确定左摄采集图像和前摄采集图像的重叠区域即为图2左图中a指示的区域,展开则为图2右图中左摄采集图像a1和前摄采集图像a2分别指示的重叠区域。从而,确定一组左摄采集图像和对应的一组参考图像,即一组前摄采集图像中,各个时刻对应的采集图像的重叠区域均为图2中的a指示的区域,展开则为图2中右图中左摄采集图像中a1和前摄采集图像中a2分别指示的重叠区域。
39.步骤103,根据参考图像中的重叠区域的亮度信息,确定目标图像的目标亮度均衡参数,以调整第一摄像头采集的图像亮度。
40.本公开实施例中,参考图像中的重叠区域的亮度信息,是根据参考图像对应的目标亮度均衡参数确定的,而参考图像的目标亮度均衡参数是可以确定,参考图像的目标亮度均衡参数,可以为用于指示参考图像本身的亮度信息的目标亮度均衡参数,或者是设定的目标亮度均衡参数,又或者是根据其对应的参考图像的亮度信息确定的亮度均衡参数。从而,参考图像的重叠区域的亮度信息,在不同的场景下,亮度信息的确定方式不同,下面针对不同的场景进行说明:
41.在第一种场景中,参考图像的亮度信息可以为参考图像本身的亮度信息,也就是说在对多个摄像头采集的图像进行亮度均衡的初始阶段,会从多个摄像头中任选一个摄像头采集的图像作为参考图像,从而,参考图像的重叠区域的亮度信息,即为参考图像的重叠区域本身的亮度信息。
42.例如,如图2所示,对于4个摄像头采集的4帧图像,可从4帧图像中任选一帧图像作为参考图像,例如,选择前摄采集图像作为参考图像,从而,前摄采集图像的重叠区域亮度信息即为重叠区域本身的亮度信息,即未进行调整的亮度信息。在第二种场景中,参考图像的亮度信息可以是根据设定的目标亮度均衡参数调整后的亮度信息,也就是说在对多个摄像头采集的图像进行亮度均衡的初始阶段,会从多个摄像头中任选一个摄像头采集的图像作为参考图像,根据设定的目标亮度均衡参数,确定参考图像调整后的亮度信息。需要说明的是参考图像的设定的目标亮度均衡参数可以是本领域技术人员根据业务需求或场景需求,设定的,本实施例中不进行限定。
43.在第三种场景中,参考图像的目标亮度均衡参数是根据其对应的参考图像的亮度信息确定的,也就是会所该参考图像根据确定的目标亮度均衡参数调整其重叠区域对应的亮度信息,得到调整后的该参考图像中重叠区域的亮度信息。
44.进一步,在参考图像具有对应的目标亮度均衡参数的情况下,在本公开实施例的一种实现方式中,根据各组参考图像的重叠区域中各个像素点在yuv空间中的亮度信息y,通过对应的目标亮度均衡参数对重叠区域中各个像素点的亮度信息y进行调整,得到调整后的各个像素点的亮度信息y1,根据调整后的各个像素点的亮度信息y1,确定调整后参考图像中的重叠区域的亮度平均值,将调整后参考图像中的重叠区域的亮度平均值作为参考图像中的重叠区域的亮度信息。
45.本公开实施例中第一摄像头采集的目标图像和相邻的第二摄像头采集的参考图像间存在拍摄的重叠区域,而第一摄像头和第二摄像头镜头参数可能不同,或者是因摄像头设置位置不同而导致采集时的光线不同,使得重叠区域的图像在不同摄像头采集的图像中亮度不同,因此,需要均衡相邻摄像头采集的图像的亮度,即通过对两相邻摄像头采集的图像的亮度进行调整使得图像亮度一致。例如,对于左摄采集图像和前摄采集图像中重叠区域中的每一个像素点而言,亮度均衡处理后它们在yuv空间的y(亮度值)应该是相同或相近的。因此,作为一种实现方式,在摄像头采集频率较低时,例如,采集到的目标图像为单帧图像,根据对应的参考图像的重叠区域的亮度信息,可确定和该参考图像对应的目标图像的目标亮度均衡参数,通过目标亮度均衡参数,使得第一摄像头采集的目标图像亮度和对应的参考图像的亮度保持一致,提高了目标亮度均衡参数的准确性。
46.作为另一种实现方式,在摄像头采集频率较高时,例如,采集到的目标图像为一组图像,即为多帧图像,根据对应的多帧参考图像的重叠区域的亮度信息,通过线性拟合的方式,可确定和该多帧参考图像对应的多帧目标图像的目标亮度均衡参数,由于多帧参考图像包含的亮度信息更丰富,相比参考图像为单帧图像的方式,提高了目标图像的目标亮度信息确定的准确性。
47.对于存在多个摄像头的场景,例如通过多个摄像头采集的图像拼接全景环视图的场景中,重复执行上述过程,每个摄像头采集的图像的目标均衡参数均可以根据其参考图像的重叠区域的亮度信息拟合得到,最终实现了通过参考图像,确定使得多个摄像头采集图像中亮度信息的一致性,提高了视觉效果。
48.本公开实施例的图像亮度处理方法中,获取第一摄像头采集的目标图像,获取与第一摄像头相邻的第二摄像头采集的参考图像,其中,目标图像和所述参考图像之间存在重叠区域,根据参考图像中的重叠区域的亮度信息,确定目标图像的目标亮度均衡参数,每一个第一摄像头采集的目标图像的目标亮度均衡参数,可对后续第一摄像头采集图像的图像亮度进行调整,保证了多个摄像头采集图像中亮度信息的持续一致性,避免了拼接后的亮度差异,提高了视觉效果。
49.基于上述实施例,本公开实施例提供了另一种图像亮度处理方法,图3为本公开实施例提供的另一种图像亮度处理方法的流程示意图,如图3所示,该方法包含以下步骤:
50.步骤301,获取第一摄像头采集的目标图像。
51.步骤302,获取与第一摄像头相邻的第二摄像头采集的参考图像,其中,目标图像和参考图像之间存在重叠区域。
52.其中,步骤301和步骤302,可参照前述实施例中的解释说明,原理相同,本实施例中不再赘述。
53.本公开实施例提供了一种场景,例如为车载环视拼接图场景,环视拼接图通过车辆上设置的多个摄像头采集图像,作为一种示例,以车载环视拼接图由车辆上四周搭载的4个摄像头采集得到的图像拼接得到,例如,摄像头为鱼眼摄像头,鱼眼摄像头具有较大的广角。其中,拼接得到的环视图像以图2所示的俯视图视角为例进行说明。
54.步骤303,确定一组目标图像对应的参考图像是否为一组,若是,执行步骤304,若否,执行步骤305。
55.本公开实施例中,在环视拼接图像中,每一个摄像头采集的图像都具有相邻的两个摄像头,也就是说相邻的两个摄像头采集的图像中的一个或两个可作为其参考图像,具体说明如下:
56.在本公开实施例的一种实现方式中,参考图像为一个第二摄像头采集的一组图像,即第一摄像头采集的一组目标图像对应的参考图像为一组,则执行步骤304。
57.在本公开实施例的另一种实现方式中,参考图像为两个第二摄像头采集的两组图像,即第一摄像头采集的一组图像对应的参考图像为两组图像,则执行步骤305。
58.步骤304,根据一组参考图像中重叠区域的亮度信息,和一组目标图像中重叠区域的亮度信息,采用线性拟合方式,确定目标亮度均衡参数。
59.本公开实施例中,目标图像为第一摄像头采集的一组目标图像,参考图像为第二摄像头采集的一组参考图像。其中,一组目标图像中的任一图像与一组参考图像中对应的图像具有相同的采集时刻,而目标图像和参考图像在相同时刻采集,确保了在同一场景下采集,降低了外界环境不同的影响,以使得在根据参考图像确定目标图像对应的目标亮度均衡参数时,提高了准确性。
60.本公开实施例中,以图2中4个摄像头采集的图像在俯视视角下为例进行说明,对于其它视角下,原理相同,本实施例中不再赘述。
61.其中,以左摄像头为第一摄像头,相邻的摄像头为前摄像头和后摄像头,对于左摄像头采集的一组目标图像,若确定对应的参考图像为前摄像头采集的一组图像。例如,前摄像头在多个时刻采集的多帧图像为c11、c12和c13,左摄像头在多个时刻采集的多帧图像为c21、c22和c23,其中,前摄采集图像对应的俯视图和作为参考图像的左摄采集图像对应的俯视图间存在重叠区域,如图2所示的a区域,本公开实施例的一种实现方式中,线性拟合方程为y=y1*a+b。其中,y为参考图像中的重叠区域的亮度信息,y1为第一摄像头采集的目标图像中的重叠区域的亮度信息,a和b为目标亮度均衡参数,用于对第一摄像头采集的目标图像进行亮度调整。例如,第一摄像头采集的一组目标图像中,目标图像c11的重叠区域对应的亮度均值为y11,目标图像c12的重叠区域对应的亮度均值为y12,目标图像c13的重叠区域对应的亮度均值为y13;一组参考图像中,参考图像c21的重叠区域对应的亮度均值为y21,参考图像c22的重叠区域对应的亮度均值为y22,参考图像c23的重叠区域对应的亮度均值为y23。将上述需要确定目标亮度均衡参数的第一摄像头采集的一组目标图像中的各个目标图像,和对应的一组参考图像中的各个参考图像分别带入拟合公式表示如下:
62.y11=y21*a
1l
+b
1l

63.y12=y22*a
2l
+b
2l

64.y13=y23*a
3l
+b
3l

65.通过线性拟合,例如,采用最小二乘法拟合直线的方式或者是采用随机抽样一致算法(random sample consensus,ransac)的方式求解左摄像头对应的一组采集图像的亮度均衡参数al,bl。
66.需要说明的是,本公开实施例中是以一组图像为3帧图像进行拟合,实际应用中,为例提高拟合得到的亮度均衡参数的准确性,可采用一组图像中包含更多帧图像数据进行拟合,本实施例中不一一列举,也不进行限定。
67.步骤305,根据一组参考图像中的重叠区域的亮度信息,和一组目标图像中的重叠区域的亮度信息,采用线性拟合方式,确定第一候选亮度均衡参数。
68.本公开实施例的一种实现方式中,需要分别根据两组参考图像,分别确定第一摄像头采集的一组目标图像对应的候选亮度均衡参数。
69.其中,根据每一组参考图像确定对应的第一摄像头采集的目标图像的候选亮度均衡参数的方法,可参照上述步骤304中的说明,原理相同,本实施例中不再赘述。其中,需要说明的是,在利用已经确定目标亮度均衡参数的参考图像,拟合确定对应的第一摄像头采集的目标图像的候选亮度均衡参数时,参考图像的重叠区域对应的亮度信息为采用确定的目标亮度均衡参数调整后的亮度信息,实现了根据参考图像进行亮度信息的传递,通过对多个摄像头采集的图像进行亮度均衡,以实现多个摄像头采集图像中亮度调整保持一致。
70.步骤306,根据另一组参考图像中的重叠区域的亮度信息,和一组目标图像中的重叠区域的亮度信息,采用线性拟合方式,确定第二候选亮度均衡参数。
71.同理,可参照前述步骤305中的说明,本实施例中不再赘述。
72.步骤307,根据第一候选亮度均衡参数和第二候选亮度均衡参数,确定一组目标图像的目标亮度均衡参数,以调整第一摄像头采集的图像亮度。
73.本公开实施例的一种实现方式中,在确定第一摄像头采集的一组目标图像的两个候选亮度均衡参数,即确定第一候选亮度均衡参数和第二候选亮度均衡参数后,将第一候选亮度均衡参数和第二候选亮度均衡参数取平均值,得到该一个摄像头采集的一组图像的目标亮度均衡参数。
74.本公开实施例中,为了提高一个摄像头采集的一组图像的目标亮度均衡系数确定的准确性,需要根据第一摄像头采集的一组目标图像对应的两个候选亮度均衡参数的差别大小,来确定第一摄像头采集的一组目标图像的目标亮度均衡参数是否可用,具体说明如下:
75.本公开实施例的第一种实现方式中,候选亮度均衡参数为斜率,则确定第一候选亮度均衡参数中的斜率和第二候选亮度均衡参数中的斜率间的第一比值,在一种场景下,若第一比值属于设定区间,将第一候选亮度均衡参数中的斜率和第二候选亮度均衡参数中的斜率的平均值,作为第一摄像头采集的一组目标图像的目标亮度均衡参数;若第一比值不属于设定区间,认为第一候选亮度均衡参数和第二候选亮度均衡参数准确性较差,不符合设定要求,放弃确定目标图像的目标亮度均衡参数。
76.本公开实施例的第二种实现方式中,候选亮度均衡参数为截距,则确定第一候选亮度均衡参数中的截距和第二候选亮度均衡参数中的截距间的第二比值,在一种场景下,若第二比值属于设定区间,将第一候选亮度均衡参数中的截距和第二候选亮度均衡参数中
的截距的平均值,作为第一摄像头采集的一组目标图像的目标亮度均衡参数;若第二比值不属于设定区间,认为第一候选亮度均衡参数和第二候选亮度均衡参数准确性较差,不符合设定要求,放弃确定目标图像的目标亮度均衡参数。
77.本公开实施例的第三种实现方式中,候选亮度均衡参数为两个,即线性拟合得到的两个线性参数,分别为斜率a和截距b,则确定第一候选亮度均衡参数中的斜率和第二候选亮度均衡参数中的斜率间的第一比值,以及确定第一候选亮度均衡参数中的截距和第二候选亮度均衡参数中的截距的第二比值,在第一比值和第二比值均属于设定区间的情况下,将第一候选亮度均衡参数中的斜率和第二候选亮度均衡参数中的斜率的平均值,作为第一摄像头采集的一组目标图像的目标亮度均衡参数中的斜率,以及将第一候选亮度均衡参数中的截距和第二候选亮度均衡参数中的截距的平均值,作为第一摄像头采集的一组目标图像的目标亮度均衡参数中的截距。
78.本公开实施例中,确定的第一摄像头采集的目标图像的目标亮度均衡参数,用于调整后续第一摄像头采集的图像的亮度。在存在多个摄像头的场景下,多个摄像头根据对应的目标亮度均衡参数,对后续采集的图像的亮度进行调整,使得各个图像的亮度信息保持一致,提高了显示效果。
79.需要说明的是,本公开实施例中,可基于设定周期,按照上述的图像亮度处理方法,确定各个摄像头的目标亮度均衡参数,以提高各个摄像头对采集图像的亮度进行均衡调整的可靠性。
80.本公开实施例的图像亮度处理方法中,每一个第一摄像头采集的目标图像的目标亮度均衡参数均可根据参考图像的重叠区域的亮度信息拟合得到,当一个第一摄像头采集的目标图像对应的参考图像为两组时,根据两组参考图像确定的两个候选亮度均衡参数间的差距,确定本次调整的该一个第一摄像头的目标亮度均衡参数的可靠性,提高了多个摄像头亮度调整的准确性,避免了多个摄像头采集图像拼接得到的拼接图中亮度间的差异,提高了视觉效果。
81.基于上述实施例,本公开实施例提供了另一种图像亮度处理方法,图4为本公开实施例提供的另一种图像亮度处理方法的流程示意图,如图4所示,该方法包含以下步骤:
82.步骤401,获取第一摄像头采集的目标图像。
83.步骤402,获取与第一摄像头相邻的第二摄像头采集的参考图像,其中,目标图像和参考图像之间存在重叠区域。
84.具体可参照前述实施例中的说明,原理相同,本实施例中不再赘述。
85.步骤403,将目标图像和参考图像,根据图像坐标系和世界坐标系之间的映射关系,从图像坐标系映射至世界坐标系,得到目标图像和参考图像间的重叠区域。
86.本公开实施例中,多个摄像头采集的图像,用于进行图像拼接得到拼接图像,该拼接图像可以为闭环的全景环视拼接图像,也可以为非闭环的拼接图像。
87.本公开实施例中,将第一摄像头在至少一个时刻采集的目标图像,和相邻的第二摄像头在对应的至少一个时刻采集的参考图像,从图像坐标系中映射至世界坐标系中后,作为一种实现方式,根据各个摄像头在每一个时刻采集的一帧图像,按照摄像头间的相对位置信息或者是图像拼接的顺序,得到拼接图,进而,根据拼接图中采集图像间的拼接位置关系,确定采集图像间的重叠区域,进而针对任一个第一摄像头采集的目标图像,根据第一
摄像头采集的目标图像中重叠区域的亮度信息和对应的参考图像中的重叠区域的亮度信息,确定第一摄像头采集的目标图像的亮度均衡参数,可对各目标图像进行亮度调整,同时,用于对第一摄像头后续采集的图像进行亮度均衡调整。
88.步骤404,确定一组目标图像对应的参考图像是否为一组,若是,执行步骤405,若否,执行步骤406。
89.步骤405,根据一组参考图像中重叠区域的亮度信息,和一组目标图像中重叠区域的亮度信息,采用线性拟合方式,确定目标亮度均衡参数。
90.步骤406,根据一组参考图像中的重叠区域的亮度信息,和一组目标图像中的重叠区域的亮度信息,采用线性拟合方式,确定第一候选亮度均衡参数。
91.步骤407,根据另一组参考图像中的重叠区域的亮度信息,和一组目标图像中的重叠区域的亮度信息,采用线性拟合方式,确定第二候选亮度均衡参数。
92.步骤408,根据第一候选亮度均衡参数和第二候选亮度均衡参数,确定一组目标图像的目标亮度均衡参数,以调整第一摄像头采集的图像亮度。
93.其中,步骤404-步骤408可参照前述实施例中的解释说明,原理相同,本实施例中不再赘述。
94.本公开实施例中的图像亮度处理方法中,通过各个第一摄像头采集的至少一帧目标图像,并将各帧目标图像映射至世界坐标系中,以确定第一摄像头采集的至少一个目标图像间的重叠区域,实现了基于重叠区域,拟合确定各个目标图像的颜色信息,提供了颜色均衡的准确性。
95.基于上述实施例,为了进一步清楚说明上述实施例,本公开实施例结合图2的场景,对上述的图像亮度处理方法进行说明。
96.本公开实施例中,拟合公式为y=y1*a+b,其中,y是参考图像中一个采集图像的重叠区域的亮度信息,y1是待确定目标亮度均衡系数的一帧目标图像的重叠区域的亮度信息。
97.本公开实施例中,通过车身前、后、左、右四个方向设置的摄像机,在至少一个时刻采集得到前、后、左和右四个方向的采集图像,将各个时刻采集到的4个原始采集图像,分别读取标定好的鱼眼相机内外参数,再根据图像坐标系和世界坐标系间的映射关系,把四个方向的原始采集图像映射至世界坐标系中,得到世界坐标系下的4个采集图像,并得到俯视视角对应的四个采集图像的俯视图,即如图2所示的全景环视俯视图,包含前摄俯视图、左摄俯视图、右摄俯视图和后摄俯视图,其中,相邻俯视图间存在重叠区域,其中,相邻俯视图间的重叠区域可能是不规则的重叠区域,本实施例中可设定相邻的两个俯视图间的重叠区域的中心点设定范围内的区域作为两个俯视图间的重叠区域,即图2中的a,为了便于区分,在左摄俯视图中标记为a1,在前摄俯视图中标记为a2。
98.本公开实施例中,在确定采集图像对应的亮度均衡参数之前,每一个摄像头采集的图像的亮度均是原始采集的图像亮度,在进行拼接后图像间的亮度是不统一的,因此,可确定任一个摄像头,即第一摄像头采集的图像为需要确定亮度均衡参数的目标图像,并确定该第一摄像头采集的目标图像对应的参考图像,基于该参考图像确定目标图像的亮度均衡系数。具体来说,左摄俯视图和前摄俯视图为相邻的俯视图,在以左摄俯视图为目标图像,确定左摄俯视图对应的亮度均衡参数时,以前摄俯视图为其参考图像,并以前摄俯视图
的亮度信息为参考,根据多帧前摄俯视图和左摄俯视图间的重叠区域的亮度信息,拟合确定左摄俯视图的目标亮度均衡参数,同理,右摄俯视图,也可以以前摄俯视图为参考图像,通过多帧前摄俯视图和右摄俯视图间的重叠区域的亮度信息,拟合确定右摄俯视图对应的目标亮度均衡参数,其中,确定目标亮度均衡参数的具体方法,可参照前述实施例中的解释说明,本实施例中不再赘述。
99.进而,在确定了左摄俯视图的目标亮度均衡参数和右摄俯视图的目标亮度均衡参数后,还需要确定后摄俯视图的目标亮度均衡参数,而后摄俯视图的参考图像包含已确定了目标亮度均衡参数的左摄俯视图和右摄俯视图,从而,各帧左摄俯视图根据确定的目标亮度均衡参数更新亮度信息,并确定多帧左摄俯视图和后摄俯视图间的重叠区域,从而根据多帧左摄俯视图和后摄俯视图间的重叠区域的亮度信息,拟合确定后摄俯视图的第一候选亮度均衡参数,同理,根据多帧右摄俯视图和后摄俯视图间的重叠区域更新后的亮度信息,拟合确定后摄俯视图的第二候选亮度均衡参数。
100.本公开实施例中,亮度均衡参数包含斜率和/或截距,本公开实施例的一个示例中,亮度均衡参数包含斜率和截距,例如,第一候选亮度均衡参数包含斜率a1和截距b1,第二候选亮度均衡参数包含斜率a2和截距b2。进而,比较a1和a2的比值,是否属于设定范围,并比较b1和b2的比值,是否也属于设定范围,例如,设定范围为0.8-1.2,其中,两个均衡参数的设定范围也可以不同,本实施例中不进行限定。在一种场景下,在两个拟合参数的比值,即斜率的比值和截距的比值均属于设定范围时,确认各个摄像头对应的俯视图对应的目标亮度均衡参数的准确性满足设定要求,则用于调整各个摄像头后续采集的图像的亮度,以使得后续得到的全景环视图像亮度保持一致,提高了全景环视视图拼接的效果。在另一种场景下,若两个拟合参数的比值,即斜率的比值和截距的比值有任一个比值不属于设定范围的情况下,确认各个摄像头对应的俯视图的目标亮度均衡参数的准确性不满足设定要求,则不用于调整各个摄像头后续采集的图像的亮度。对于各个摄像头后续采集的图像亮度的调整,作为一种实现方式,若各个俯视图存在历史亮度均衡参数,可采用各个俯视图对应的历史亮度均衡参数,调整各个俯视图拼接得到的全景环视图对应的亮度;若各个俯视图不存在历史亮度均衡参数,则不对各个俯视图的亮度进行调整,即原图输出,并驱动多个摄像头重新获取采集至少一个时刻的图像,采样上述的脸高度均衡处理方法,进行亮度均衡调整,以提高亮度均衡调整的可靠性。
101.为了实现上述实施例,本公开还提出一种图像亮度处理装置。
102.图5为本公开实施例提供的一种图像亮度处理装置的结构示意图。
103.如图5所示,该装置包括:
104.第一获取模块51,用于获取第一摄像头采集的目标图像。
105.第二获取模块52,用于获取与所述第一摄像头相邻的第二摄像头采集的参考图像,其中,所述目标图像和所述参考图像之间存在重叠区域。
106.确定模块53,用于根据所述参考图像中的重叠区域的亮度信息,确定所述目标图像的目标亮度均衡参数,以调整第一摄像头采集的图像亮度。
107.进一步,在本技术实施例提供的一种实现方式中,目标图像为所述第一摄像头采集的一组目标图像,所述参考图像为所述第二摄像头采集的一组参考图像,确定模块53,具体用于:
108.根据所述一组参考图像中重叠区域的亮度信息,和所述一组目标图像中重叠区域的亮度信息,采用线性拟合方式,确定所述目标亮度均衡参数。
109.在本技术实施例提供的一种实现方式中,确定模块53,具体还用于:
110.在所述参考图像为两个第二摄像头分别采集的两组参考图像时,根据所述一组参考图像中的重叠区域的亮度信息,和所述一组目标图像中的重叠区域的亮度信息,采用线性拟合方式,确定第一候选亮度均衡参数;
111.根据所述另一组参考图像中的重叠区域的亮度信息,和所述一组目标图像中的重叠区域的亮度信息,采用线性拟合方式,确定第二候选亮度均衡参数;
112.根据所述第一候选亮度均衡参数和所述第二候选亮度均衡参数,确定所述一组目标图像的目标亮度均衡参数。
113.在本技术实施例提供的一种实现方式中,确定模块53,具体还用于:
114.确定所述第一候选亮度均衡参数和所述第二候选亮度均衡参数间的比值;
115.在所述比值属于设定区间的情况下,将所述第一候选亮度均衡参数和所述第二候选亮度均衡参数的平均值,作为所述一组目标图像的目标亮度均衡参数。
116.在本技术实施例提供的一种实现方式中,候选亮度均衡参数包括线性拟合得到的斜率和/或截距,确定模块53,具体还用于:
117.确定所述第一候选亮度均衡参数中的斜率和所述第二候选亮度均衡参数中的斜率间的第一比值,和/或确定所述第一候选亮度均衡参数中的截距和所述第二候选亮度均衡参数中的截距的第二比值;
118.在所述第一比值和/或所述第二比值均属于设定区间的情况下,将所述两斜率的平均值作为所述一组目标图像的目标亮度均衡参数中的斜率,和/或将所述两截距的平均值作为所述一组目标图像的目标亮度均衡参数中的截距。
119.在本技术实施例提供的一种实现方式中,一组目标图像中的任一图像与所述一组参考图像中对应的图像具有相同的采集时刻。
120.在本技术实施例提供的一种实现方式中,该装置,还包括:
121.映射模块,将所述目标图像和所述参考图像,根据图像坐标系和世界坐标系之间的映射关系,从所述图像坐标系映射至所述世界坐标系,得到所述目标图像和所述参考图像间的重叠区域。
122.需要说明的是,前述对方法实施例的解释说明也适用于该实施例的装置,此处不再赘述。
123.本公开实施例的图像亮度处理装置中,获取第一摄像头采集的目标图像,获取第一摄像头相邻的第二摄像头采集的参考图像,其中,目标图像和所述参考图像之间存在重叠区域,根据参考图像中的重叠区域的亮度信息,确定目标图像的目标亮度均衡参数,以调整第一摄像头采集的图像亮度,保证了多个摄像头采集图像中亮度信息的一致性,避免了拼接后的亮度差异,提高了视觉效果。
124.为了实现上述实施例,本公开实施例提出了一种电子设备,包括:
125.至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,
126.所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述方法实施例所述的方法。
127.为了实现上述实施例,本公开实施例提出了一种车辆,包括前述实施例中所述的电子设备。
128.为了实现上述实施例,本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行前述方法实施例所述的方法。
129.为了实现上述实施例,本公开实施例提出了一种计算机程序产品,包括计算机指令,所述计算机指令在被处理器执行时实现前述方法实施例所述的方法。
130.图6为本公开实施例提供的一种电子设备的结构框图。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
131.如图6所示,电子设备10包括处理器11,其可以根据存储在只读存储器(rom,read only memory)12中的程序或者从存储器16加载到随机访问存储器(ram,random access memory)13中的程序而执行各种适当的动作和处理。在ram 13中,还存储有电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o,input/output)接口15也连接至总线14。
132.以下部件连接至i/o接口15:包括硬盘等的存储器16;以及包括诸如lan(局域网,local area network)卡、调制解调器等的网络接口卡的通信部分17,通信部分17经由诸如因特网的网络执行通信处理;驱动器18也根据需要连接至i/o接口15。
133.特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分17从网络上被下载和安装。在该计算机程序被处理器11执行时,执行本公开的方法中限定的上述功能。
134.在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器16,上述指令可由电子设备10的处理器11执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
135.在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
136.此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
137.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺
序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施例所属技术领域的技术人员所理解。
138.在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
139.应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。
140.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
141.此外,在本公开各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
142.上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本公开的限制,本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1