本发明涉及图像处理技术领域,尤其涉及一种图像曝光方法、装置、摄像设备、存储介质。
背景技术:
在图像的拍摄或取景显示时,控制摄像按照适当的曝光补偿进行合理曝光是得到高质量的图像的至关重要的条件。目前的摄像设备(如移动终端)大都支持手动调节曝光,手动调节曝光可以通过以下方式完成:用户通过点击设定按钮触发摄像设备在屏幕上显示曝光条,用户通过滑动曝光条中的游标,即可对图像拍摄时的曝光补偿进行设置,达到调节曝光效果的目的。
目前,摄像设备(如移动终端)在对图像进行曝光处理时,均是对图像整体进行相同曝光补偿处理,也就是说,若用户想要调节图像中某个区域的曝光效果,则该图像中其它区域也会被调整为相同的曝光效果。可见,现有的手动调节曝光方案,因无法综合考虑图像中特定区域的曝光效果,导致无法得到合适的曝光补偿,进而无法获得出高质量的曝光图像,用户体验变差。
技术实现要素:
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本发明的第一个目的在于提出一种图像曝光方法。该方法可以实现基于多帧融合的人像自动曝光的目的,综合考虑了拍摄图像中各特定区域的曝光效果,使得整个拍摄得到了合适的曝光补偿,进而能够得到高质量的曝光图像,提升了用户体验。
本发明的第二个目的在于提出一种图像曝光装置。
本发明的第三个目的在于提出一种摄像设备。
本发明的第四个目的在于提出一种存储介质。
为达到上述目的,本发明第一方面实施例提出的图像曝光方法,包括:在检测到当前拍摄场景中包含人像时,基于所述当前拍摄场景的景深信息提取所述当前拍摄场景中的人像轮廓和背景部分;获取所述人像的人脸区域,并根据所述人脸区域和所述人像轮廓定位所述人像的身体区域;分别检测所述人脸区域、所述身体区域和所述背景部分的亮度,以得到对应的第一测光值、第二测光值和第三测光值;分别根据所述第一测光值、所述第二测光值和所述第三测光值对所述人脸区域、所述身体区域和所述背景部分进行曝光控制和拍摄,以得到对应的第一曝光图像、第二曝光图像和第三曝光图像;对所述第一曝光图像、第二曝光图像和第三曝光图像进行融合处理,以得到融合后的目标图像。
根据本发明实施例的图像曝光方法,在检测到当前拍摄场景中包含人像时,可基于当前拍摄场景的景深信息提取该当前拍摄场景中的人像轮廓和背景部分,并分别检测人脸区域、身体区域和背景部分的亮度以得到对应的第一测光值、第二测光值和第三测光值,并分别根据该第一测光值、第二测光值和第三测光值进行曝光控制和拍摄以得到相应的三幅图像,最后,对该三幅不同曝光的图像进行融合处理,得到最终生成的人脸、人像轮廓、背景部分均曝光合适的照片,实现了基于多帧融合的人像自动曝光的目的,综合考虑了拍摄图像中各特定区域的曝光效果,使得整个拍摄得到了合适的曝光补偿,进而能够得到高质量的曝光图像,提升了用户体验。
为达到上述目的,本发明第二方面实施例提出的图像曝光装置,包括:第一获取模块,用于获取当前拍摄场景的景深信息;提取模块,用于在检测到所述当前拍摄场景中包含人像时,基于所述景深信息提取所述当前拍摄场景中的人像轮廓和背景部分;第二获取模块,用于获取所述人像的人脸区域;定位模块,用于根据所述人脸区域和所述人像轮廓定位所述人像的身体区域;检测模块,用于分别检测所述人脸区域、所述身体区域和所述背景部分的亮度,以得到对应的第一测光值、第二测光值和第三测光值;控制模块,用于分别根据所述第一测光值、所述第二测光值和所述第三测光值对所述人脸区域、所述身体区域和所述背景部分进行曝光控制和拍摄,以得到对应的第一曝光图像、第二曝光图像和第三曝光图像;融合模块,用于对所述第一曝光图像、第二曝光图像和第三曝光图像进行融合处理,以得到融合后的目标图像。
根据本发明实施例的图像曝光装置,可通过提取模块在检测到当前拍摄场景中包含人像时,可基于当前拍摄场景的景深信息提取该当前拍摄场景中的人像轮廓和背景部分,检测模块分别检测人脸区域、身体区域和背景部分的亮度以得到对应的第一测光值、第二测光值和第三测光值,控制模块分别根据该第一测光值、第二测光值和第三测光值进行曝光控制和拍摄以得到相应的三幅图像,融合模块对该三幅不同曝光的图像进行融合处理,得到最终生成的人脸、人像轮廓、背景部分均曝光合适的照片,实现了基于多帧融合的人像自动曝光的目的,综合考虑了拍摄图像中各特定区域的曝光效果,使得整个拍摄得到了合适的曝光补偿,进而能够得到高质量的曝光图像,提升了用户体验。
为达到上述目的,本发明第三方面实施例提出的摄像设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现本发明第一方面实施例所述的图像曝光方法。
为达到上述目的,本发明第四方面实施例提出的非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明第一方面实施例所述的图像曝光方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明一个实施例的图像曝光方法的流程图;
图2是根据本发明一个实施例的图像曝光装置的结构示意图;
图3是根据本发明一个具体实施例的图像曝光装置的结构示意图;
图4是根据本发明一个实施例的摄像设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像曝光方法、装置、摄像设备、存储介质以及计算机程序产品。
图1是根据本发明一个实施例的图像曝光方法的流程图。需要说明的是,本发明实施例的图像曝光方法可应用于本发明实施例的图像曝光装置,该图像曝光装置可被配置于摄像设备。其中,该摄像设备可以是具有拍摄功能的设备,例如,移动终端(如手机、平板电脑等具有各种操作系统的硬件设备)、数码相机等。
如图1所示,该图像曝光方法可以包括:
s110,在检测到当前拍摄场景中包含人像时,基于当前拍摄场景的景深信息提取当前拍摄场景中的人像轮廓和背景部分。
在基于当前拍摄场景的景深信息提取当前拍摄场景中的人像轮廓和背景部分之前,可先获取当前拍摄场景的景深信息。其中,该景深是指在摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。在聚焦完成后,在焦点前后的范围内都能形成清晰的像,这一前一后的距离范围,便叫做景深。在镜头前方(调焦点的前、后)有一段一定长度的空间,当被摄物体位于这段空间内时,其在底片上的成像恰位于焦点前后这两个弥散圆之间。被摄体所在的这段空间的长度,就叫景深。换言之,在这段空间内的被摄体,其呈现在底片面的影像模糊度,都在容许弥散圆的限定范围内,这段空间的长度就是景深。
在本发明的实施例中,景深信息的获取步骤与检测当前拍摄场景中是否包含人像的步骤,这两个步骤的执行顺序可以不做具体限定:作为一种示例,可先获取当前拍摄场景的景深信息,之后,可利用人脸识别技术,检测当前拍摄场景中是否包含人像。作为又一种示例,可先利用人脸识别技术,检测当前拍摄场景中是否包含人像,在检测到当前拍摄场景中包含人像时,获取当前拍摄场景的景深信息。
优选地,在本发明的一个实施例中,可通过双摄像头或深度rgbd(rgb+depth,包含色彩信息和距离深度信息的颜色深度图像)摄像头,获取当前拍摄场景的景深信息。例如,以双摄像头为例,通过双摄像头获取当前拍摄场景的景深信息的具体实现过程可如下:可通过算法算出被拍摄物体与左摄像头的第一角度θ1,并计算出被拍摄物体与右摄像头的第二角度θ2,这样,通过左摄像头与右摄像头之间的中心距(其中该中心距为一个固定值)、第一角度θ1和第二角度θ2,利用三角形原理,即可计算出被拍摄物体与镜头之间距离,该距离即为当前拍摄场景的景深信息。
又如,以深度rgbd摄像头为例,通过深度rgbd摄像头获取当前拍摄场景的景深信息的具体实现过程可如下:利用该深度rgbd摄像头中的深度探测仪(例如,红外感应器等),探测被拍摄物体与摄像头之间的距离,该距离即为当前拍摄场景的景深信息。
在检测到当前拍摄场景中包含人像,并获得当前拍摄场景的景深信息时,可通过人脸检测技术,根据该当前拍摄场景的景深信息计算人脸与镜头之间的距离,并根据该距离寻找人像轮廓,并根据距离差异分离技术和该人像轮廓从当前拍摄场景中提取背景部分。更具体地,可通过人脸检测技术定位到人像中的人脸所在区域,并通过以下公式(1),根据当前拍摄场景的景深信息计算出人脸与镜头之间的距离,之后,可根据该距离寻找整个人像轮廓,并根据距离差异分离技术和该人像轮廓,从当前拍摄场景中提取出该背景部分。其中,上述公式(1)可表示如下:
其中,δl为当前拍摄场景的景深信息,f为镜头焦距,f为镜头拍摄时的光圈值,σ为弥散圆直径,l为人脸与镜头之间的距离。
s120,获取人像的人脸区域,并根据人脸区域和人像轮廓定位人像的身体区域。
具体地,在检测到当前拍摄场景中包含人像之后,可利用人脸识别技术获取该人像的人脸区域,如人脸区域的位置和大小信息等,之后,可根据该人脸区域和人像轮廓(即人像的整体轮廓),可以确定出该人像的身体区域。也就是说,该人像的身体区域即为人像轮廓中除去人脸区域之后剩下的部分。
s130,分别检测人脸区域、身体区域和背景部分的亮度,以得到对应的第一测光值、第二测光值和第三测光值。
也就是说,在本步骤中,可检测人脸区域的亮度值以得到对应的第一测光值,并检测身体区域的亮度值以得到对应的第二测光值,并检测背景部分的亮度值以得到对应的第三测光值。作为一种示例,以获得人脸区域的第一测光值为例,可检测人脸区域中各个像素的亮度值,并将该各个像素的亮度值求平均,该平均值即作为该整个人脸区域的亮度值,并将该整个人脸区域的亮度值作为该人脸区域的第一测光值。
s140,分别根据第一测光值、第二测光值和第三测光值对人脸区域、身体区域和背景部分进行曝光控制和拍摄,以得到对应的第一曝光图像、第二曝光图像和第三曝光图像。
也就是说,可根据该第一测光值对人脸区域进行曝光控制和拍摄,以得到针对该人脸区域的第一曝光图像,并根据该第二测光值对该人像的身体区域进行曝光控制和拍摄,以得到该身体区域的第二曝光图像,并根据第三测光值对背景部分进行曝光控制和拍摄,以得到该背景部分的第三曝光图像。
s150,对第一曝光图像、第二曝光图像和第三曝光图像进行融合处理,以得到融合后的目标图像。
具体而言,在本发明的实施例中,可将第一曝光图像中的人脸区域、第二曝光图像中的身体区域和第三曝光图像中的背景部分进行拼接处理,同时采用平滑滤波器,消除接缝处的界限以得到融合后的目标图像。由此,通过对第一曝光图像、第二曝光图像和第三曝光图像,这三幅不同曝光的图像进行融合处理,得到最终生成的人脸、人像轮廓、背景部分均曝光合适的照片,以实现基于多帧融合的人像自动曝光的目的。
根据本发明实施例的图像曝光方法,在检测到当前拍摄场景中包含人像时,可基于当前拍摄场景的景深信息提取该当前拍摄场景中的人像轮廓和背景部分,并分别检测人脸区域、身体区域和背景部分的亮度以得到对应的第一测光值、第二测光值和第三测光值,并分别根据该第一测光值、第二测光值和第三测光值进行曝光控制和拍摄以得到相应的三幅图像,最后,对该三幅不同曝光的图像进行融合处理,得到最终生成的人脸、人像轮廓、背景部分均曝光合适的照片,实现了基于多帧融合的人像自动曝光的目的,综合考虑了拍摄图像中各特定区域的曝光效果,使得整个拍摄得到了合适的曝光补偿,进而能够得到高质量的曝光图像,提升了用户体验。
与上述几种实施例提供的图像曝光方法相对应,本发明的一种实施例还提供一种图像曝光装置,由于本发明实施例提供的图像曝光装置与上述几种实施例提供的图像曝光方法相对应,因此在前述图像曝光方法的实施方式也适用于本实施例提供的图像曝光装置,在本实施例中不再详细描述。图2是根据本发明一个实施例的图像曝光装置的结构示意图。如图2所示,该图像曝光装置可以包括:第一获取模块210、提取模块220、第二获取模块230、定位模块240、检测模块250、控制模块260和融合模块270。
具体地,第一获取模块210用于获取当前拍摄场景的景深信息。具体而言,在本发明的一个实施例中,第一获取模块210可通过双摄像头或深度rgbd摄像头,获取当前拍摄场景的景深信息。
提取模块220用于在检测到所述当前拍摄场景中包含人像时,基于所述景深信息提取所述当前拍摄场景中的人像轮廓和背景部分。具体而言,在本发明的一个实施例中,如图3所示,该提取模块220可包括:计算单元221和提取单元222。其中,计算单元221用于通过人脸检测技术,根据当前拍摄场景的景深信息计算人脸与镜头之间的距离。提取单元222用于根据距离寻找人像轮廓,并根据距离差异分离技术和人像轮廓,从当前拍摄场景中提取背景部分。
第二获取模块230用于获取所述人像的人脸区域。
定位模块240用于根据所述人脸区域和所述人像轮廓定位所述人像的身体区域。
检测模块250用于分别检测所述人脸区域、所述身体区域和所述背景部分的亮度,以得到对应的第一测光值、第二测光值和第三测光值。
控制模块260用于分别根据所述第一测光值、所述第二测光值和所述第三测光值对所述人脸区域、所述身体区域和所述背景部分进行曝光控制和拍摄,以得到对应的第一曝光图像、第二曝光图像和第三曝光图像。
融合模块270用于对所述第一曝光图像、第二曝光图像和第三曝光图像进行融合处理,以得到融合后的目标图像。具体而言,在本发明的一个实施例中,融合模块270可将第一曝光图像中的人脸区域、第二曝光图像中的身体区域和第三曝光图像中的背景部分进行拼接处理,同时采用平滑滤波器,消除接缝处的界限以得到融合后的目标图像。
根据本发明实施例的图像曝光装置,可通过提取模块在检测到当前拍摄场景中包含人像时,可基于当前拍摄场景的景深信息提取该当前拍摄场景中的人像轮廓和背景部分,检测模块分别检测人脸区域、身体区域和背景部分的亮度以得到对应的第一测光值、第二测光值和第三测光值,控制模块分别根据该第一测光值、第二测光值和第三测光值进行曝光控制和拍摄以得到相应的三幅图像,融合模块对该三幅不同曝光的图像进行融合处理,得到最终生成的人脸、人像轮廓、背景部分均曝光合适的照片,实现了基于多帧融合的人像自动曝光的目的,综合考虑了拍摄图像中各特定区域的曝光效果,使得整个拍摄得到了合适的曝光补偿,进而能够得到高质量的曝光图像,提升了用户体验。
为了实现上述实施例,本发明还提出了一种摄像设备。
图4是根据本发明一个实施例的摄像设备的结构示意图。需要说明的是,该摄像设备可以是具有拍摄功能的设备,例如,移动终端(如手机、平板电脑等具有各种操作系统的硬件设备)、数码相机等。
如图4所示,该摄像设备40可以包括:存储器41、处理器42及存储在存储器41上并可在处理器42上运行的计算机程序43,处理器42执行该计算机程序43时,实现本发明上述任一个实施例所述的图像曝光方法。
为了实现上述实施例,本发明还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明上述任一个实施例所述的图像曝光方法。
为了实现上述实施例,本发明还提出了一种计算机程序产品,当该计算机程序产品中的指令由处理器执行时,执行一种图像曝光方法,所述方法包括以下步骤:
s110’,在检测到当前拍摄场景中包含人像时,基于当前拍摄场景的景深信息提取当前拍摄场景中的人像轮廓和背景部分。
s120’,获取人像的人脸区域,并根据人脸区域和人像轮廓定位人像的身体区域。
s130’,分别检测人脸区域、身体区域和背景部分的亮度,以得到对应的第一测光值、第二测光值和第三测光值。
s140’,分别根据第一测光值、第二测光值和第三测光值对人脸区域、身体区域和背景部分进行曝光控制和拍摄,以得到对应的第一曝光图像、第二曝光图像和第三曝光图像。
s150’,对第一曝光图像、第二曝光图像和第三曝光图像进行融合处理,以得到融合后的目标图像。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。