一种成像方法及装置与流程

文档序号:16977824发布日期:2019-02-26 19:11阅读:143来源:国知局
一种成像方法及装置与流程

本发明涉及图像处理技术领域,特别是涉及一种成像方法及装置。



背景技术:

成像模组通过发射激光并接收反射信号直接进行测距,具有空间分辨率更高,响应更快等特点,在人脸识别、三维重建等方面有着极大的应用前景。

成像模组,通过发射激光至目标物表面,并接收反射的信号进行距离探测,其距离的探测精度一方面与发射的信号强度有关,另一方面与接收到的信号强度有关。当成像模组接收到的信号过强时,光信号转换得到的电信号将超出成像模组的信号存储能力,造成深度数据溢出,对该区域以及临近区域的成像带来严重影响,这种现象称为高光溢出现象。

发明人在研究上述现有技术的过程中发现,上述现有技术方案存在如下缺点:高光溢出对成像模组成像带来较大影响,然而对于大多用户而言,并不了解什么是高光溢出,什么情况下会产生高光溢出,以及如何规避高光溢出等,导致,在高光溢出的情况下,成像模组成像质量差,用户体验不好。



技术实现要素:

本发明提供一种成像方法及装置,旨在解决在成像模组成像过程中,在高光溢出情况下导致的成像模组成像质量差,用户体验不好问题。

第一方面,本发明实施例提供了一种成像方法,应用于成像设备,所述成像设备包括成像模组,所述方法包括:

在第一深度图像指示存在第一高光溢出区域的情况下,设置所述成像模组的曝光参数为第二曝光参数,所述第一深度图像为以第一曝光参数对目标对象进行成像得到的深度图像;

获取第二深度图像,根据所述第二深度图像对所述第一深度图像进行修复,所述第二深度图像为以第二曝光参数对目标对象进行成像得到的深度图像;

根据修复后的所述第一深度图像对所述目标对象进行成像。

第二方面,本发明实施例还提供了一种成像装置,应用于成像设备,所述成像设备包括成像模组,包括:

曝光参数设置模块,用于在第一深度图像指示存在第一高光溢出区域的情况下,设置所述成像模组的曝光参数为第二曝光参数,所述第一深度图像为以第一曝光参数对目标对象进行成像得到的深度图像;

修复模块,用于获取第二深度图像,根据所述第二深度图像对所述第一深度图像进行修复,所述第二深度图像为以第二曝光参数对目标对象进行成像得到的深度图像;

成像模块,用于根据修复后的所述第一深度图像对所述目标对象进行成像。

第三方面,本发明实施例还提供了一种移动终端,该移动终端包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现本发明所述的成像方法的步骤。

第四方面,本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现本发明所述的成像方法的步骤。

本发明实施例,应用于成像设备,所述成像设备包括成像模组,在第一深度图像指示存在第一高光溢出区域的情况下,设置所述成像模组的曝光参数为第二曝光参数,所述第一深度图像为以第一曝光参数对目标对象进行成像得到的深度图像;获取第二深度图像,根据所述第二深度图像对所述第一深度图像进行修复,所述第二深度图像为以第二曝光参数对目标对象进行成像得到的深度图像;根据修复后的所述第一深度图像对所述目标对象进行成像。在第一深度图像中指示存在第一高光区域的情况下,设置成像模组为第二曝光参数,根据第二曝光参数对应的第二深度图像,对第一深度图像进行修复,根据修复后的第一深度图像成像,用户无需知道如何规避高光溢出,在高光溢出发生的情况下,同样可以得到质量较好的图像,提升了用户体验。

附图说明

图1示出了本发明实施例一中提供的成像方法的流程图;

图2示出了本发明实施例一中提供的第一深度图像示意图;

图3示出了本发明实施例一中提供的消除孤立的突变深度数据后的第一深度图像示意图;

图4示出了本发明实施例一中提供的第二深度图像示意图;

图5示出了本发明实施例一中提供的对第一高光溢出区域修复后的第一深度图像示意图;

图6示出了本发明实施例二中提供的成像方法的流程图;

图7示出了本发明实施例二中提供的确定运动补偿参数值的流程图;

图8示出了本发明实施例二中提供的第一深度图像中修复参照区域示意图;

图9示出了本发明实施例二中提供的第二深度图像中第二目标区域示意图;

图10示出了本发明实施例二中提供的第一深度图像中第一目标区域示意图;

图11示出了本发明实施例二中提供的运动补偿后的第一目标区域示意图;

图12示出了本发明实施例三提供的一种成像装置结构框图;

图13示出了根据实施例三提供的另一种成像装置结构框图;

图14是本发明实施例中的一种移动终端的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例一

参照图1,示出了本发明实施例一中提供的成像方法的流程图,应用于成像设备,该成像设备可以是具有拍照功能的终端,例如可以是照相机、手机、平板电脑、人脸打卡器等,在本发明实施例中,对此不作具体限定。该设备可以包括成像模组,该成像模组可以为主动式深度成像模组,例如该成像模组可以为飞行时间(timeofflight,tof)成像模组,在本发明实施例中,对此不作具体限定。

该成像方法具体可以包括如下步骤:

步骤101,在第一深度图像指示存在第一高光溢出区域的情况下,设置所述成像模组的曝光参数为第二曝光参数,所述第一深度图像为以第一曝光参数对目标对象进行成像得到的深度图像。

在本发明实施例中,该成像模组的曝光参数可以设置和调整。该第一曝光参数可以为该成像模组在正常状态下,拍照的曝光参数。该第一曝光参数可以是该成像模组,在拍照过程中发出的激光脉冲数量等,在本发明实施例中,对此不作具体限定。

在本发明实施例中,该目标对象可以为采用该成像模组进行成像的主体等,可以为人物、动物或者物体等。可以基于上述成像模组的第一曝光参数,对目标对象进行成像,获取第一深度图像。该第一深度图像可以为该成像模组,在上述第一曝光参数下,获取的体现成像距离信息的成像数据对应的图像等,参照图2,示出了本发明实施例一中提供的第一深度图像示意图。在本发明实施例中,对此不作具体限定。

在本发明实施例中,针对获取的第一深度图像,进行高光溢出区域检测,确定该第一深度图像是否指示存在第一高光溢出区域。具体的,判断该第一深度图像是否存在超过预设阈值的突变深度数据,如果该第一深度图像中存在超过预设阈值的突变深度数据,将该第一深度图像中孤立的突变深度数据转化为低于上述预设阈值的正常深度数据,判断转化后的第一深度图像中是否还指示存在超过上述预设阈值的突变深度数据,如果转化后的第一深度图像中还存在超过上述预设阈值的突变深度数据,则该第一深度图像中指示存在第一高光溢出区域。

在本发明实施例中,上述预设阈值可以为该成像模组出现高光溢出区域的情况下,高光溢出区域的深度数据值。例如,该预设阈值可以为0,在本发明实施例中对此不作具体限定。

在本发明实施例中,判断该第一深度图像是否指示存在超过预设阈值的突变深度数据,如果该第一深度图像中存在超过预设阈值的突变深度数据,例如,上述图2中阴影部分即为超过预设阈值的突变深度数据。基于该高光溢出的溢出特性,若第一深度图像指示存在第一高光溢出区域,该第一深度图像中必然存在连续的第一深度图像都为突变深度数据,而不可能只是存在孤立的突变深度数据,则可以通过腐蚀算法、膨胀算法等,将该第一深度图像中孤立的超过预设阈值的突变深度数据转化为低于上述预设阈值的正常深度数据,消除了孤立的突变深度数据对该第一深度图像的影响,以避免对该第一深度图像的误检测。参照图3,示出了本发明实施例一中提供的消除孤立的突变深度数据后的第一深度图像示意图。

在本发明实施例中,判断转化后的第一深度图像中是否还指示存在超过上述预设阈值的突变深度数据,如果转化后的第一深度图像中还指示存在超过上述预设阈值的突变深度数据,则该第一深度图像中指示存在第一高光溢出区域。例如,参照图3所示,消除孤立的突变深度数据后的第一深度图像中还存在超过上述预设阈值的突变深度数据,如图3中的阴影部分11,则图2所示的第一深度图像中存在第一高光溢出区域。

在本发明实施例中,通过将该第一深度图像中孤立的突变深度数据转化为低于上述预设阈值的正常深度数据,消除了孤立的突变深度数据对该第一深度图像的影响,通过上述方法进行的第一高光溢出区域检测准确。

在本发明实施例中,可以将上述转化后的第一深度图像中指示存在的超过上述预设阈值的突变深度数据,确定为该第一深度图像中的第一高光溢出区域。例如,参照图3所示,将图3中阴影部分11作为上述图2所示第一深度图像的第一高光溢出区域。即,将剔除了孤立的突变深度数据后的第一深度图像中的突变深度数据,确定为该第一深度图像中的第一高光溢出区域,也就是说将第一深度图像中,连续的突变深度数据,确定为该第一深度图像中的第一高光溢出区域。通过将该第一深度图像中孤立的突变深度数据转化为低于上述预设阈值的正常深度数据,消除了孤立的突变深度数据对该第一深度图像的影响,确定的该第一深度图像中的第一高光溢出区域准确性高。

在本发明实施例中,若上述第一深度图像指示存在第一高光溢出区域,调整上述成像模组的曝光参数为第二曝光参数,该第二曝光参数可以低于上述第一曝光参数。

具体的,可以根据该第一深度图像中第一高光溢出区域的情况,以及经验数据等,确定第二曝光参数,在本发明实施例中,对此不作具体限定。

在本发明实施例中,若上述第一曝光参数为该成像模组在成像过程中发出的激光脉冲数量等,则该第二曝光参数同样可以为,该成像模组在成像过程中发出的激光脉冲数量等。例如,若上述第一曝光参数为:成像过程中发出的激光脉冲数量为300束,则若上述第一深度图像指示存在第一高光溢出区域,调整后的第二曝光参数可以为:成像过程中发出的激光脉冲数量为200束,该第二曝光参数成像过程中发出的激光脉冲数量为200束,从发出的激光脉冲数量上,低于该第一曝光参数成像过程中发出的激光脉冲数量为300束。同时,由于第二曝光参数中,成像过程中发出的激光脉冲数量少,其产生的结果是在后续获取第二深度图像过程中,曝光时间也相应的变短,即,在第二曝光参数情况下,对目标对象进行成像,存在高光溢出区域的概率小于,在第一曝光参数情况下,对目标对象成像存在高光溢出区域的概率。在本发明实施例中对此不作具体限定。

在本发明实施例中,可以通过调整该成像模组的曝光参数设置,进而将该成像模组的曝光参数调整为上述第二曝光参数。在本发明实施例中对此不作具体限定。

步骤102,获取第二深度图像,根据所述第二深度图像对所述第一深度图像进行修复,所述第二深度图像为以第二曝光参数对目标对象进行成像得到的深度图像。

在本发明实施例中,可以基于上述第二曝光参数,对上述目标对象进行成像,获取第二深度图像。

具体应用中,可以对上述目标对象基于上述第二曝光参数,获取该目标对象对应的第二深度图像。参照图4,示出了本发明实施例一中提供的第二深度图像示意图。在本发明实施例中,对此不作具体限定。

在本发明实施例中,若曝光参数为该成像模组成像过程中发出的激光脉冲数量。则相比于第一曝光参数,第二曝光参数中,成像过程中发出的激光脉冲数量减少,由于成像过程中激光模组发出的激光脉冲数量减少,同时使得曝光时间也相应的变短,因此,该第二深度图像可以为激光膜组发出的激光脉冲数量减少和曝光时间变短共同作用的结果。即,在第二曝光参数情况下,对目标对象进行成像得到的第二深度图像,存在高光溢出区域的概率小于,在第一曝光参数情况下,对目标对象的成像得到第一深度图像存在高光溢出区域的概率。在本发明实施例中,对此不作具体限定。

在本发明实施例中,根据上述第一深度图像和第二深度图像的对应关系等,对上述第一深度图像进行修复,具体的,可以对第一深度图像中的第一高光溢出区域进行修复。

具体应用中,可以根据第一高光溢出区域在第二深度图像中对应的区域、以及上述第一深度图像和第二深度图像的对应关系等,对上述第一深度图像的第一高光溢出区域进行修复。参照图5,示出了本发明实施例一中提供的对第一高光溢出区域修复后的第一深度图像示意图。

在本发明实施例中,可以对上述第一深度图像中的第一高光溢出区域修复一次,还可以在修复一次后,对修复后的第一深度图像进行判断,如果修复后的第一深度图像中还指示存在高光溢出区域,或者修复后的第一深度图像中,目标对象对应的主体区域还存在高光溢出区域,或者目标对象对应的主体区域存在的高光溢出区域,占该目标对象对应的主体区域的比例,不符合预设要求,则可以进一步基于该第二曝光参数等,调整新的第二曝光参数,基于新的第二曝光参数,再获取新的第二深度图像,在上述修复基础上,对上述第一深度图像中的第一高光溢出区域再修复,直至修复后的第一深度图像不存在高光溢出区域为止,或者修复后的第一深度图像中,目标对象对应的主体区域不存在高光溢出区域为止,或者修复后的第一深度图像中,目标对象对应的主体区域存在的高光溢出区域,占该目标对象对应的主体区域的比例,符合预设要求为止等;或者设定修复次数,根据设定的修复次数进行修复,例如可以设定修复次数为2,即对上述第一深度图像中的第一高光溢出区域修复两次。在本发明实施例中,对此不作具体限定。

在本发明实施例中,通过设定修复次数,利于避免由于外界环境的影响,可能已将该成像模组的曝光参数调整为最低,修复后的第一深度图像中,依然无法满足上述预设条件的情形下,可能出现的无法成像的问题。

步骤103,根据修复后的所述第一深度图像对所述目标对象进行成像。

在本发明实施例中,根据上述修复后的第一深度图像对上述目标对象进行成像。具体的,在本发明实施例中,若上述修复只进行了一次,则基于上述一次修复后的第一深度图像对目标对象成像,若上述修复进行了多次,则基于上述多次修复后的第一深度图像对目标对象成像,在本发明实施例中,对此不作具体限定。

在本发明实施例中,只修复一次,即基于上述一次修复后的第一深度图像对目标对象成像,成像速度快;若基于多次修复第一深度图像对目标对象成像,则对该第一深度图像中第一高光溢出区域的修复,可能更为彻底,进而可能成像质量更好。具体的修复次数,可以根据实际需要,进行设定,在本发明实施例中,对此不作具体限定。在本发明实施例中,由于修复后的第一深度图像不存在高光溢出,或者高光溢出相对于第一深度图像中的第一高光区域变弱,因此,根据上述修复后的第一深度图像对目标对象成像,完全避免或者至少能够减弱高光溢出对目标对象成像的影响,因此,能够提升用户体验。

本发明实施例,应用于成像设备,所述成像设备包括成像模组,在第一深度图像指示存在第一高光溢出区域的情况下,设置所述成像模组的曝光参数为第二曝光参数,所述第一深度图像为以第一曝光参数对目标对象进行成像得到的深度图像;获取第二深度图像,根据所述第二深度图像对所述第一深度图像进行修复,所述第二深度图像为以第二曝光参数对目标对象进行成像得到的深度图像;根据修复后的所述第一深度图像对所述目标对象进行成像。在第一深度图像中指示存在第一高光区域的情况下,设置成像模组为第二曝光参数,根据第二曝光参数对应的第二深度图像,对第一深度图像进行修复,根据修复后的第一深度图像成像,用户无需知道如何规避高光溢出,在高光溢出发生的情况下,同样可以得到质量较好的图像,提升了用户体验。

实施例二

参照图6,示出了本发明实施例二中提供的成像方法的流程图,应用于成像设备,有关该成像设备的描述,参照实施例一中相关记载,此处不再赘述。该方法具体可以包括如下步骤:

步骤201,在第一深度图像指示存在第一高光溢出区域的情况下,根据所述第一曝光参数和所述第一高光溢出区域,确定第二曝光参数;所述第一深度图像为以第一曝光参数对目标对象进行成像得到的深度图像。

在本发明实施例中,步骤201可以参照本发明实施例中步骤101的具体记载,需要说明的是,可以根据第一高光溢出区域占第一深度图像的比例、高光溢出程度、第一曝光参数等,确定第二曝光参数。可以通过多次试验等,提前获取,第一高光溢出区域占第一深度图像的比例、高光溢出程度、第一曝光参数等,与第二曝光参数的对应关系。然后从上述对应关系中,获取第二曝光参数。在本发明实施例中,对此不作具体限定。

在本发明实施例中,上述第二曝光参数可以低于上述第一曝光参数,例如,若上述第一曝光参数为:成像过程中发出的激光脉冲数量为300束,则若上述第一深度图像存在第一高光溢出区域,调整后的第二曝光参数可以为:成像过程中发出的激光脉冲数量为200束,即该第二曝光参数成像过程中发出的激光脉冲数量为200束,从发出的激光脉冲数量上,低于该第一曝光参数成像过程中发出的激光脉冲数量为300束。同时,由于第二曝光参数中,成像过程中发出的激光脉冲数量少,其产生的结果是在后续获取第二深度图像过程中,曝光时间也相应的变短。在本发明实施例中对此不作具体限定。

步骤202,设置所述成像模组的曝光参数为所述第二曝光参数。

在本发明实施例中,设置上述成像模组的曝光参数为上述第二曝光参数。具体的,可以通过调用该成像设备或成像模组的曝光参数调整函数等,将上述成像模组的曝光参数设置为上述第二曝光参数。在本发明实施例中,对此不作具体限定。

例如,针对上述例子,若调整后的第二曝光参数可以为:成像过程中发出的激光脉冲数量为200束,即该第二曝光参数成像过程中发出的激光脉冲数量为200束,则可以通过调用该成像设备或成像模组的曝光参数调整函数等,将上述成像模组的曝光参数调整为:成像过程中发出的激光脉冲数量为200束。

步骤203,获取第二深度图像,根据所述第一深度图像和所述第二深度图像,确定所述第一高光溢出区域对应的运动补偿参数值;所述第二深度图像为以第二曝光参数对目标对象进行成像得到的深度图像。

在本发明实施例中,获取第二深度图像的步骤可以参照本发明实施例中步骤102的具体记载,在本发明实施例中对此不作具体限定。在第二曝光参数情况下,对目标对象进行成像得到的第二深度图像,存在高光溢出区域的概率小于,在第一曝光参数情况下,对目标对象的成像得到第一深度图像存在高光溢出区域的概率。

在本发明实施例中,根据上述第一深度图像和上述第二深度图像,确定上述第一高光溢出区域对应的运动补偿参数值。

具体应用中,由于是获取了两次深度数据,在获取过程中,由于相对距离变化等,使得上述第一深度图像和第二深度图像之间,可能存在一定的运动偏移等,因此需要确定上述第一高光溢出区域对应的运动补偿参数值。

在本发明实施例中,上述运动补偿参数值可以包括:角度偏移参数值、距离变化参数值等,在本发明实施例中,对此不作具体限定。

可选的,参照图7,图7示出了本发明实施例二中提供的确定运动补偿参数值的流程图。具体的,所述根据所述第一深度图像和所述第二深度图像,确定所述第一高光溢出区域对应的运动补偿参数值的步骤可以包括:

子步骤s31,在所述第一深度图像中,确定所述第一高光溢出区域对应的修复参照区域;所述修复参照区域位于所述第一高光溢出区域的周围,且所述修复参照区域与所述第一高光溢出区域不重叠;

子步骤s32,在所述第二深度图像中确定与所述修复参照区域对应的第二目标区域;所述第二目标区域对应的彩色图像与所述修复参照区域对应的彩色图像显示内容相同;

子步骤s33,据根所述修复参照区域和所述第二目标区域,确定所述第一高光溢出区域对应的运动补偿参数值。

具体的,参照图8所示,图8示出了本发明实施例二中提供的第一深度图像中修复参照区域示意图。图8中第一高光溢出区域11周围的环形区域12,即可以为第一高光溢出区域11对应的修复参照区域。该修复参照区域12位于该第一高光溢出区域11的周围,且该修复参照区域12与上述第一高光溢出区域11没有交集,即该修复参照区域12与上述第一高光溢出区域11不重叠。

在上述第二深度图像中确定与上述修复参照区域12对应的第二目标区域,上述第二目标区域对应的彩色图像与上述修复参照区域对应的彩色图像显示内容相同。可选的,该第一深度图像还可以为黑白图像,则第二目标区域对应的黑白图像与上述修复参照区域对应的黑白图像显示内容相同。

具体的第二目标区域可以为在第二深度图像中,与上述修复参照区域12中像素相似或相同,或者相似度超过一定阈值的区域。具体可以通过轮廓提取、像素等识别,进行确定。图9示出了本发明实施例二中提供的第二深度图像中第二目标区域示意图。图9中环形区域22,即可以为在第二深度图像中确定的上述修复参照区域12对应的第二目标区域。

根据上述修复参照区域12和第二目标区域22确定上述第一高光溢出区域11对应的运动补偿参数值。具体的,可以通过修复参照区域12和第二目标区域22的灰度最大相关化等,确定上述第一高光溢出区域11对应的运动补偿参数值。具体可以通过,修复参照区域和第二目标区域,相对旋转角度值、相对偏移位移量、相对缩放比例等,确定上述第一高光溢出区域对应的运动补偿参数值。在本发明实施例中,对此不作具体限定。

在本发明实施例中,通过确定的上述运动补偿参数值,可以将上述第二目标区域还原为上述第一目标区域。

例如,参照图8和图9所示,若图9中第二目标区域22相对上述图8中的修复参照区域12而言,有顺时针旋转30°的偏移角度,水平向右偏移1㎝,垂直向下偏移1㎝,同时图9中第二目标区域22相对上述图8中的修复参照区域12而言,大小为缩小了20%等。则根据上述修复参照区域12和第二目标区域22,确定的第一高光溢出区域对应的运动补偿参数值,可以为:逆时针旋转30°、水平向左偏移1㎝,垂直向上偏移1㎝,放大20%对应的比例等。通过将上述第二目标区域22,逆时针旋转30°、水平向左偏移1㎝,垂直向上偏移1㎝,放大20%对应的比例等,可以得到上述第一目标区域。

步骤204,在所述第二深度图像中确定与所述第一高光溢出区域对应的第一目标区域。

在本发明实施例中,在上述第二深度图像中确定上述第一高光溢出区域对应的第一目标区域。该第一高光溢出区域对应的第一目标区域,可以为在第二深度图像中,位置与上述第一高光溢出对应的区域。

例如,参照图10所示,图10示出了本发明实施例二中提供的第一深度图像中第一目标区域示意图。图10中21所示的区域即为上述第一高光溢出区域11,在上述第二深度图像中确定对应的第一目标区域。

步骤205,根据所述运动补偿参数值,对所述第一目标区域进行运动补偿。

在本发明实施中,根据上述运动补偿参数值,对上述第一目标区域进行运动补偿。

例如,针对上述例子,若根据上述第一深度图像和上述第二深度图像,确定上述第一高光溢出区域11对应的运动补偿参数值为:逆时针旋转30°、水平向左偏移1㎝,垂直向上偏移1㎝,放大20%对应的比例等。通过将上述第二目标区域22,逆时针旋转30°、水平向左偏移1㎝,垂直向上偏移1㎝,放大20%对应的比例等。则可以根据上述运动补偿参数值,对上述第一目标区域21进行运动补偿。对上述第一目标区域21,根据上述运动补偿参数值进行运动补偿后,能够消除第一高光溢出区域11与第一目标区域21之间,因为运动偏移等导致的差异,使得运动补偿后的第一目标区域21在大小、形状等方面与上述第一高光溢出区域11对应相同。

例如,参照图11所示,图11示出了本发明实施例二中提供的运动补偿后的第一目标区域示意图。运动补偿后的第一目标区域,消除了与第一高光溢出区域11之间的运动偏移差异等,在大小、形状等方面与上述第一高光溢出区域11对应相同。

在本发明实施例中,在所述第一深度图像中,确定所述第一高光溢出区域对应的修复参照区域;所述修复参照区域位于所述第一高光溢出区域的周围,且所述修复参照区域与所述第一高光溢出区域不重叠;在所述第二深度图像中确定与所述修复参照区域对应的第二目标区域;所述第二目标区域对应的彩色图像与所述修复参照区域对应的彩色图像显示内容相同;据根所述修复参照区域和所述第二目标区域,确定所述第一高光溢出区域对应的运动补偿参数值,用该运动补偿参数值进行运动补偿后的第一目标区域,消除了与第一高光溢出区域11之间的运动偏移差异等,保证了在大小、形状等方面与上述第一高光溢出区域11对应相同。

步骤206,用运动补偿后的第一目标区域的深度数据,替换所述第一高光溢出区域的深度数据。

在本发明实施例中,用运动补偿后的第一目标区域的深度数据,替换上述原始数据中的第一高光溢出区域的深度数据。例如,参照图5,图5所示即为用运动补偿后的第一目标区域的深度数据,替换上述原始数据中的第一高光溢出区域11的深度数据后的第一深度图像的示意图。

在本发明实施例中,用运动补偿后的第一目标区域的深度数据,替换上述原始数据中的第一高光溢出区域的深度数据,即完成了对上述第一深度图像的第一高光溢出区域的修复。

在本发明可选实施例中,在获取第一深度图像和第二深度图像过程中,若目标对象的运动漂移等较小,或没有运动漂移的情况下,即,第一深度图像和第二深度图像在大小、成像比例等方面差异较小,还可以不确定运动补偿参数值,直接在第二深度图像中确定与上述第一高光溢出区域对应的第一目标区域,用第一目标区域的深度数据,替换第一高光溢出区域的深度数据,进而对第一深度图像的第一高光溢出区域进行修复,进而可以提升修复速度和效率。在本发明实施例中,对此不作具体限定。

在本发明实施例中,同样的,可以对上述第一深度图像中的第一高光溢出区域修复一次,还可以在修复一次后,对修复后的第一深度图像进行判断,如果修复后的第一深度图像中还存在高光溢出区域,或者修复后的第一深度图像中,目标对象对应的主体区域还存在高光溢出区域,或者目标对象对应的主体区域存在的高光溢出区域,占该目标对象对应的主体区域的比例,不符合预设要求,则可以进一步基于该第二曝光参数等,调整新的第二曝光参数,基于新的第二曝光参数,再获取新的第二深度图像,在上述修复基础上,对上述第一深度图像中的第一高光溢出区域再修复,直至修复后的第一深度图像不存在高光溢出区域为止,或者修复后的第一深度图像中,目标对象对应的主体区域不存在高光溢出区域为止,或者修复后的第一深度图像中,目标对象对应的主体区域存在的高光溢出区域,占该目标对象对应的主体区域的比例,符合预设要求为止等;或者设定修复次数,根据设定的修复次数进行修复,在本发明实施例中,对此不作具体限定。

用运动补偿后的第一目标区域的深度数据,替换上述原始数据中的第一高光溢出区域的深度数据,可以完全避免或者至少能够减弱高光溢出对成像的影响,因此,能够提升用户体验。

步骤207,根据修复后的所述第一深度图像对所述目标对象进行成像。

在本发明实施例中,上述步骤207可以参照本发明实施例中的步骤103,此处不再赘述。

步骤208,判断所述修复后的第一深度图像是否指示存在第二高光溢出区域。

在本发明实施例中,判断上述修复后的第一深度图像是否指示存在第二高光溢出区域。具体的判断方法,可以参照上述步骤201中的相关记载,此处不再赘述。

步骤209,若是,确定所述第一高光溢出区域和所述第二高光溢出区域的重叠率。

在本发明实施例中,如果修复后的第一深度图像中,不存在第二高光溢出区域,说明修复后的第一深度图像,已经完全避免了高光溢出的影响;如果修复后的第一深度图像中,存在第二高光溢出区域,可以确定第一高光溢出区域和第二高光溢出区域的重叠率,相当于确定对第一深度图像中第一高光溢出区域的修复程度,具体的,可以将第二高光溢出区域与第二高光溢出区域像素坐标等的重叠率,确定为第一高光溢出区域与第二高光溢出区域的重叠率等。在本申请实施例中,对此不作具体限定。

在本发明实施例中,如果修复后的第一深度图像中,不存在第二高光溢出区域,说明修复后的第一深度图像,已经完全避免了高光溢出的影响;如果修复后的第一深度图像中,存在第二高光溢出区域,可选的,可以在修复后的第一深度图像中,确定目标对象。

具体的,可以通过图像分割以及轮廓提取等方式,确定修复后的第一深度图像中的各个对象,可以将各个对象中,轮廓占比最大的确定为目标对象,或者通过人脸识别的方式,将修复后的第一深度图像中的人物确定为目标对象等,在本发明实施例中,对此不作具体限定。

在本发明实施例中,可选的,可以在上述修复后的第一深度图像中,确定上述目标对象对应的主体区域与上述第二高光溢出区域的重叠率。

具体应用过程中,可以在上述修复后的第一深度图像中,确定上述目标对象对应的主体区域,在在上述修复后的第一深度图像中,确定第二高光溢出区域,根据上述目标对象对应的主体区域中各个像素的位置坐标,以及第二高光溢出区域的像素坐标,确定目标对象对应的主体区域与上述第二高光溢出区域的重叠率,该重叠率可以为第二高光溢出区域中,像素坐标与上述主体区域的像素坐标,相同的个数,占该主体区域总像素的比例。在本发明实施例中,对此不作具体限定。

步骤210,若所述重叠率大于预设重叠率,根据所述修复后的第一深度图像和所述重叠率生成成像建议。

在本发明实施例中,可以提前预设重叠率,上述预设重叠率可以为用户可以接受的重叠率,可以根据经验等设定,在本发明实施例中,对此不作具体限定。

在本发明实施例中,将上述重叠率与上述预设重叠率进行比对,如果上述重叠率大于预设重叠率,可以根据修复后的第一深度图像和上述重叠率生成成像建议。该成像建议可以是:调整成像方向或位置、调整环境光强等,以指导用户调整成像方向或位置,环境光强等,进而方便快速的获取符合要求的成像等。

在本发明实施例中,可选的,可以根据上述修复后的第一深度图像和重叠区域的位置、以及重叠率的大小等,生成成像建议等。在本发明实施例中,可以将上述成像建议进行显示,或通过语音等方式为用户进行播放等,以达到提醒用户的目的,用户可以通过上述提醒,作出对应调整,进而方便快速的获取符合要求的成像。在用户无需知道如何规避高光溢出,在高光溢出发生的情况下,方便、快捷的得到质量较好的图像,提升用户体验。

本发明实施例,应用于成像设备,所述成像设备包括成像模组,在第一深度图像指示存在第一高光溢出区域的情况下,设置所述成像模组的曝光参数为第二曝光参数,所述第一深度图像为以第一曝光参数对目标对象进行成像得到的深度图像;获取第二深度图像,根据所述第二深度图像对所述第一深度图像进行修复,所述第二深度图像为以第二曝光参数对目标对象进行成像得到的深度图像;根据修复后的所述第一深度图像对所述目标对象进行成像。在第一深度图像中指示存在第一高光区域的情况下,设置成像模组为第二曝光参数,根据第二曝光参数对应的第二深度图像,对第一深度图像进行修复,根据修复后的第一深度图像成像,用户无需知道如何规避高光溢出,在高光溢出发生的情况下,同样可以得到质量较好的图像,提升了用户体验。

需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定都是本申请实施例所必须的。

实施例三

参照图12所示,为本发明实施例三提供的一种成像装置300的结构框图,应用于成像设备,所述成像设备包括成像模组,上述成像装置300具体可以包括:

曝光参数设置模块301,用于在第一深度图像指示存在第一高光溢出区域的情况下,设置所述成像模组的曝光参数为第二曝光参数,所述第一深度图像为以第一曝光参数对目标对象进行成像得到的深度图像;

修复模块302,用于获取第二深度图像,根据所述第二深度图像对所述第一深度图像进行修复,所述第二深度图像为以第二曝光参数对目标对象进行成像得到的深度图像;

成像模块303,用于根据修复后的所述第一深度图像对所述目标对象进行成像。

可选地,参照图13所示,在上述图12的基础上,所述曝光参数设置模块301可以包括:

第二曝光参数确定单元3011,用于在第一深度图像指示存在第一高光溢出区域的情况下,根据所述第一曝光参数和所述第一高光溢出区域,确定第二曝光参数;

曝光参数设置单元3012,用于设置所述成像模组的曝光参数为所述第二曝光参数。

可选地,所述修复模块302可以包括:

运动补偿参数值确定单元3021,用于根据所述第一深度图像和所述第二深度图像,确定所述第一高光溢出区域对应的运动补偿参数值;

第一目标区域确定单元3022,用于在所述第二深度图像中确定与所述第一高光溢出区域对应的第一目标区域;

运动补偿单元3023,用于根据所述运动补偿参数值,对所述第一目标区域进行运动补偿;

修复单元3024,用于用运动补偿后的第一目标区域的深度数据,替换所述第一高光溢出区域的深度数据。

可选地,所述运动补偿参数值确定单元3021可以包括:

修复参照区域确定子单元,用于在所述第一深度图像中,确定所述第一高光溢出区域对应的修复参照区域;所述修复参照区域位于所述第一高光溢出区域的周围,且所述修复参照区域与所述第一高光溢出区域不重叠;

第二目标区域确定子单元,用于在所述第二深度图像中确定与所述修复参照区域对应的第二目标区域;所述第二目标区域对应的彩色图像与所述修复参照区域对应的彩色图像显示内容相同;

运动补偿参数值确定子单元,用于据根所述修复参照区域和所述第二目标区域,确定所述第一高光溢出区域对应的运动补偿参数值。

所述装置,还可以包括:

第二高光溢出区域判断模块304,用于判断所述修复后的第一深度图像是否指示存在第二高光溢出区域;

重叠率确定模块305,用于若是,确定所述第一高光溢出区域和所述第二高光溢出区域的重叠率;

成像建议生成模块306,用于若所述重叠率大于预设重叠率,根据所述修复后的第一深度图像和所述重叠率生成成像建议。

本发明实施例提供的成像装置能够实现图1至图11的方法实施例中成像装置实现的各个过程,为避免重复,这里不再赘述。

这样,本发明实施例,应用于成像设备,所述成像设备包括成像模组,在第一深度图像指示存在第一高光溢出区域的情况下,设置所述成像模组的曝光参数为第二曝光参数,所述第一深度图像为以第一曝光参数对目标对象进行成像得到的深度图像;获取第二深度图像,根据所述第二深度图像对所述第一深度图像进行修复,所述第二深度图像为以第二曝光参数对目标对象进行成像得到的深度图像;根据修复后的所述第一深度图像对所述目标对象进行成像。在第一深度图像中指示存在第一高光区域的情况下,设置成像模组为第二曝光参数,根据第二曝光参数对应的第二深度图像,对第一深度图像进行修复,根据修复后的第一深度图像成像,用户无需知道如何规避高光溢出,在高光溢出发生的情况下,同样可以得到质量较好的图像,提升了用户体验。。

图14为实现本发明各个实施例中的一种移动终端的硬件结构示意图,

该移动终端700包括但不限于:射频单元701、网络模块702、声音输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、处理器710、以及电源711等部件。本领域技术人员可以理解,图14中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中,处理器710,用于在第一深度图像指示存在第一高光溢出区域的情况下,设置所述成像模组的曝光参数为第二曝光参数,所述第一深度图像为以第一曝光参数对目标对象进行成像得到的深度图像;

获取第二深度图像,根据所述第二深度图像对所述第一深度图像进行修复,所述第二深度图像为以第二曝光参数对目标对象进行成像得到的深度图像;

根据修复后的所述第一深度图像对所述目标对象进行成像。

本发明实施例,应用于成像设备,所述成像设备包括成像模组,在第一深度图像指示存在第一高光溢出区域的情况下,设置所述成像模组的曝光参数为第二曝光参数,所述第一深度图像为以第一曝光参数对目标对象进行成像得到的深度图像;获取第二深度图像,根据所述第二深度图像对所述第一深度图像进行修复,所述第二深度图像为以第二曝光参数对目标对象进行成像得到的深度图像;根据修复后的所述第一深度图像对所述目标对象进行成像。在第一深度图像中指示存在第一高光区域的情况下,设置成像模组为第二曝光参数,根据第二曝光参数对应的第二深度图像,对第一深度图像进行修复,根据修复后的第一深度图像成像,用户无需知道如何规避高光溢出,在高光溢出发生的情况下,同样可以得到质量较好的图像,提升了用户体验。应理解的是,本发明实施例中,射频单元701可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器710处理;另外,将上行的数据发送给基站。通常,射频单元701包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元701还可以通过无线通信系统与网络和其他设备通信。

移动终端通过网络模块702为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

声音输出单元703可以将射频单元701或网络模块702接收的或者在存储器709中存储的声音数据转换成声音信号并且输出为声音。而且,声音输出单元703还可以提供与移动终端700执行的特定功能相关的声音输出(例如,呼叫信号接收声音、消息接收声音等等)。声音输出单元703包括扬声器、蜂鸣器以及受话器等。

输入单元704用于接收声音或视频信号。输入单元704可以包括图形处理器(graphicsprocessingunit,gpu)7041和麦克风7042,图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元706上。经图形处理器7041处理后的图像帧可以存储在存储器709(或其它存储介质)中或者经由射频单元701或网络模块702进行发送。麦克风7042可以接收声音,并且能够将这样的声音处理为声音数据。处理后的声音数据可以在电话通话模式的情况下转换为可经由射频单元701发送到移动通信基站的格式输出。

移动终端700还包括至少一种传感器705,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板7061的亮度,接近传感器可在移动终端700移动到耳边时,关闭显示面板7061或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器705还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。

显示单元706用于显示由用户输入的信息或提供给用户的信息。显示单元706可包括显示面板7061,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板7061。

用户输入单元707可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板7071上或在触控面板7071附近的操作)。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器710,接收处理器710发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板7071。除了触控面板7071,用户输入单元707还可以包括其他输入设备7072。具体地,其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。

进一步的,触控面板7071可覆盖在显示面板7061上,当触控面板7071检测到在其上或附近的触摸操作后,传送给处理器710以确定触摸事件的类型,随后处理器710根据触摸事件的类型在显示面板7061上提供相应的视觉输出。虽然在图14中,触控面板7071与显示面板7061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板7071与显示面板7061集成而实现移动终端的输入和输出功能,具体此处不做限定。

接口单元708为外部装置与移动终端700连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、声音输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元708可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端700内的一个或多个元件或者可以用于在移动终端700和外部装置之间传输数据。

存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如声音数据、电话本等)等。此外,存储器709可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器710是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器709内的软件程序或模块,以及调用存储在存储器709内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器710可包括一个或多个处理单元;优选的,处理器710可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。

移动终端700还可以包括给各个部件供电的电源711(比如电池),优选的,电源711可以通过电源管理系统与处理器710逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外,移动终端700包括一些未示出的功能模块,在此不再赘述。

优选的,本发明实施例还提供一种移动终端,包括处理器710,存储器709,存储在存储器709上并可在上述处理器710上运行的计算机程序,该计算机程序被处理器710执行时实现上述成像方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

基于上述移动终端的硬件结构,以下对本发明各实施例进行详细详述。

本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述成像方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,上述的计算机可读存储介质,如只读存储器(read-onlymemory,简称rom)、随机存取存储器(randomaccessmemory,简称ram)、磁碟或者光盘等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1