拍摄图像的处理方法、装置、存储介质及移动终端与流程

文档序号:16545817发布日期:2019-01-08 20:50阅读:145来源:国知局
拍摄图像的处理方法、装置、存储介质及移动终端与流程

本申请实施例涉及移动终端技术领域,尤其涉及一种拍摄图像的处理方法、装置、存储介质及移动终端。



背景技术:

目前,拍照功能已成为多数移动终端的标准配置,终端用户可通过随身携带的移动终端轻松快捷的实现拍照操作。

在终端用户使用移动终端进行拍照时,若存在干扰物突然闯进镜头,则拍摄图像中就会出现干扰物对应的伪影,造成拍摄图像的不清晰,因此,移动终端的图像预处理功能仍需要改进。



技术实现要素:

本申请实施例提供一种拍摄图像的处理方法、装置、存储介质及移动终端,可以提高拍摄质量。

第一方面,本申请实施例提供了一种拍摄图像的处理方法,包括:

如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧;

根据图像帧的时域关联性,对所述至少两个图像帧中的移动干扰物进行去噪处理;

根据处理后的至少两个图像帧生成目标拍摄图像。

第二方面,本申请实施例提供了一种拍摄图像的处理装置,包括:

图像拍摄模块,用于如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧;

干扰物处理模块,用于根据图像帧的时域关联性,对所述图像拍摄模块拍摄的至少两个图像帧中的干扰物进行去噪处理;

图像生成模块,用于根据所述干扰物处理模块处理后的至少两个图像帧生成目标拍摄图像。

第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例所述的拍摄图像的处理方法。

第四方面,本申请实施例提供了一种移动终端,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例所述的拍摄图像的处理方法。

本申请实施例中提供的拍摄图像的处理方案,首先如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧;其次,根据图像帧的时域关联性,对所述至少两个图像帧中的移动干扰物进行去噪处理;最后,根据处理后的至少两个图像帧生成目标拍摄图像。能够避免移动干扰物对拍摄图像清晰度的影响,提高拍摄质量。

附图说明

图1为本申请实施例提供的一种拍摄图像的处理方法的流程示意图;

图2为本申请实施例提供的另一种拍摄图像的处理方法的流程示意图;

图3为本申请实施例提供的另一种拍摄图像的处理方法的流程示意图;

图4为本申请实施例提供的另一种拍摄图像的处理方法的流程示意图;

图5为本申请实施例提供的另一种拍摄图像的处理方法的流程示意图;

图6为本申请实施例提供的一种拍摄图像的处理装置的结构框图;

图7为本申请实施例提供的一种移动终端的结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

目前,拍照功能已成为多数移动终端的标准配置,终端用户可通过随身携带的移动终端轻松快捷的实现拍照操作。但是,在终端用户使用移动终端进行拍照时,若存在干扰物突然闯进镜头,则拍摄图像中就会出现干扰物对应的伪影,造成拍摄图像的不清晰,因此,移动终端的图像预处理功能仍需要改进。

本申请实施例提供了一种拍摄图像的处理方法,能够在预览画面存在移动干扰物时,连续拍摄多个图像帧对移动干扰物进行去噪处理,从而生成目标拍摄图像,进而避免了移动干扰物对拍摄图像清晰度的影响,提高拍摄质量。具体方案如下所示:

图1为本申请实施例提供的一种拍摄图像的处理方法的流程示意图,该方法适用于在拍照过程中,拍摄视野内存在移动干扰物的情况。特别应用于人像拍摄模式且存在移动干扰物时进行拍照的情况,该方法可以由具有拍照功能的移动终端来执行,该移动终端可以为智能手机、平板电脑、可穿戴设备(智能手表或智能眼镜)等,该方法具体包括如下步骤:

步骤101、如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧。

其中,预览画面可以是在启动拍摄功能后,移动终端的显示屏上显示的画面。该画面可以是启动拍摄功能后,摄像头实时采集显示的图像。移动干扰物可以是预览画面中的非拍摄目标且处于移动状态下的物体,例如,终端用户采用人像模式进行拍摄,人像模式可以定位的多个人脸,但是有些人脸并不是用户所需要的拍摄目标,如突然闯进拍摄范围内的人脸,此时闯进拍摄范围内的人脸为移动干扰物。

可选的,检测预览画面中是否存在移动干扰物,可以是在启动移动终端的拍摄功能后就开始实时或者每隔预设时间间隔(如1秒)检测一次预览画面中是否存在移动干扰物,并实时更新检测结果;也可以是在终端用户点击触发拍照(如点击拍摄按钮触发、语音触发、手势或表情触发等等)时,系统开始检测预览画面中是否存在移动干扰物。

可选的,检测到预览画面中存在移动干扰物,可以是若预览画面中连续的至少两个图像帧或周期性抽取的图像帧(如每隔1秒抽取的图像帧)间存在拍摄内容的变化,则检测到预览画面中存在移动干扰物。具体的,可以是获取相邻的至少两个图像帧或周期性抽取的图像帧进行比较,当图像帧之间出现拍摄内容的增加、减少、位移移动或模糊等中的至少一种时,则说明预览画面中存在移动干扰物;也可以是将相邻图像帧或周期性抽取的图像帧之间进行差分运算,若运算结果大于预设阈值,则说明存在移动干扰物。因为若不存在移动干扰物,相邻图像帧或周期性抽取的图像帧之间内容基本上是保持不变的,因此差分运算的结果较小;当出现移动干扰物时,摄像头获取的内容就会因移动干扰物的出现发生变化,此时差分运算的结果就会较大。

示例性的,若检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧可以是,若检测到预览画面中存在移动干扰物,则启动多帧连拍模式,连续拍摄至少两个图像帧。可选的,连续拍摄至少两个图像帧时的拍摄频率可以是移动终端配置的摄像头的采样频率,也可以是根据需求预先设置的,对此本申请不进行限定。

步骤102、根据图像帧的时域关联性,对至少两个图像帧中的移动干扰物进行去噪处理。

其中,图像帧的时域关联性可以是连续拍摄的相邻图像帧之间的时间关联性以及图像帧间各特征像素点之间的位置关联性等。例如,连续拍摄至少两个图像帧时的拍摄频率是一秒拍摄10个图像帧,则相邻两个图像帧对应时刻相差十分之一秒,在这十分之一秒内移动干扰物发生了移动。因此,每两个相邻图像帧中的移动干扰物的位置也存在着一定的关联关系。示例性的,要对至少两个图像帧中的移动干扰物进行去噪处理,首先要确定各图像帧中的移动干扰物所在区域,可以根据图像帧的时域关联性,通过任意两个图像帧中拍摄内容的位置关系,来判断图像帧中的移动干扰物所在区域。例如,除移动干扰物以外,连续拍摄的至少两个图像帧中的其他拍摄内容的位置是基本上不变的,只有移动干扰物在随着时间的变化而变化,因此,可以通过比较两个图像帧之间的各拍摄内容的位置是否发生变化,将发生变化的拍摄内容作为移动干扰物,其所在区域确定为移动干扰物所在区域。确定出获取的各图像帧中的移动干扰物所在区域,然后对该区域进行去噪处理,使得处理后的各图像帧中不存在移动干扰物。

可选的,本申请实施例中,对至少两个图像帧中的移动干扰物进行去噪处理,可以是将各图像帧中干扰物所在区域作为噪声区域,去除图像帧中干扰物所在区域。具体的,可以是将图像帧中干扰物所在区域的像素点的像素值设置为固定灰度值(如0);也可以是根据图像帧之间的时域关联性,确定每一个图像帧中移动干扰物所在区域对应的原始拍摄内容,并将原始拍摄内容替换该图像帧中的移动干扰物所在区域。例如,第一个图像帧中移动干扰物所在区域位置为s1,则可以选择除第一个图像帧外的其余任何一帧拍摄图像中对应的s1区域中的内容即为第一个图像帧中移动干扰物对应的原始拍摄内容,此时,就将除第一个图像帧外的其余任何一帧拍摄图像中对应的s1区域中的内容替换第一个图像帧中移动干扰物所在区域。

可选的,对各图像帧中的移动干扰物进行去噪处理时,为了提高处理效率以及最后生成的目标拍摄图像的准确性,可以是从拍摄的至少两个图像帧中选择出一部分进行去噪处理,例如,可以是选择出清晰度高的图像帧、干扰物区域小的图像帧或未遮挡拍摄目标的图像进行去噪处理。

步骤103、根据处理后的至少两个图像帧生成目标拍摄图像。

可选的,根据处理后的至少两个图像帧生成目标拍摄图像时,可以是对步骤102处理后至少两个图像帧进行融合,生成目标拍摄图像。在对至少两个图像帧进行融合时,可以是基于像素级融合算法和/或特征级融合算法对处理后的至少两个图像帧进行融合处理,生成目标拍摄图像。

其中,像素级融合也称数据级融合,可以是直接对去噪处理后的不包含移动干扰物的图像数据进行处理而获得融合图像的过程。具体的,像素级融合算法可以包括空间域算法和变换域算法等,空间域算法中又可以包括多种融合规则方法,如逻辑滤波法、灰度加权平均法和对比调制法等;变换域算法中又可以包括金字塔分解融合法和小波变换法等。采用像素级融合算法的好处在于可以尽可能多的还原图像中的细节信息,如边缘、纹理的提取等。能够很好的判断图像的像素点信息,尽可能多的保留图像非移动干扰物的图像信息,使得融合后的图片清晰度较高。

特征级图像融合算法可以是从去噪处理后的不包含移动干扰物的图像中将拍摄目标的特征信息提取出来,这些特征信息是终端用户想要拍摄的目标所在区域的特征信息,然后对这些特征信息进行分析、处理与整合从而得到融合后的图像特征。采用特征级融合算法的好处在于融合后的图像能够提高拍摄目标的显示效果,且特征级融合对图像信息进行了压缩,再用计算机分析与处理,所消耗的内存与时间相对较小,拍摄图像处理的实时性就会有所提高。

可选的,若步骤102对至少两个图像帧中的移动干扰物进行去噪处理时,是将图像帧中干扰物所在区域的像素点的像素值设置为固定灰度值,则在对处理后至少两个图像帧进行融合,生成目标拍摄图像时,可以是不考虑固定灰度值的区域,避免固定灰度值影响最终的融合效果。

本申请实施例提供的拍摄图像的处理方法,首先,如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧;其次,根据图像帧的时域关联性,对所述至少两个图像帧中的移动干扰物进行去噪处理;最后,根据处理后的至少两个图像帧生成目标拍摄图像。相对于相关技术中在拍照过程中,若拍摄视野内存在移动干扰物,则拍摄图像模糊、质量较差的问题。本申请实施例能够在预览画面存在移动干扰物时,连续拍摄多个图像帧对移动干扰物进行去噪处理,从而生成目标拍摄图像,进而避免了移动干扰物对拍摄图像清晰度的影响,提高拍摄质量。

图2为本申请实施例提供的另一种拍摄图像的处理方法的流程示意图,作为对上述实施例的进一步说明,该方法包括如下步骤:

步骤201、如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧。

步骤202、对连续拍摄的至少两个图像帧进行拍摄内容检测。

示例性的,对连续拍摄的至少两个图像帧进行拍摄内容检测可以是检测各图像帧中所包含的拍摄物,其中包括了目标拍摄物和干扰拍摄物等等。具体的检测方法本申请实施例对此不进行限定。例如,可以是采用边缘检测算法(如,canny算法、sobel算法或robert算法等等),通过检测各图像帧中拍摄物的轮廓来完成对拍摄内容的检测;也可以是采用特征点检测算法(如blob特征检测),提取拍摄内容中的各特征点,不同的特征点可以对应不同的拍摄物体,从而可以将图像帧中的各拍摄物体圈选出来,完成对拍摄内容中拍摄物体的检测。

可选的,由于连续拍摄的至少两个图像帧之间具有一定的关联性,可以在第一图像帧拍摄内容检测完成后,以第一图像帧的检测结果为参考来进行第二图像帧的内容检测,从而提高检测效率。例如,第一图像帧的检测结果中检测出三个拍摄物,在第二图像帧内容检测时,就可以先在第二图像帧中找到第一图像帧中的三个拍摄物,然后再查看是否有新增的拍摄物,提高了相同拍摄物的检测效率。

步骤203、根据图像帧的时域关联性和至少两个图像帧的拍摄内容检测结果,确定各图像帧中的移动干扰物所在区域信息。

其中,移动干扰物所在区域信息可以是移动干扰物在各图像帧中的一些具体信息,可以包括移动干扰物在各图像帧中所占区域位置信息、面积信息、占整个图像帧的比例信息、所在区域的特征点信息以及是否遮挡了拍摄目标等等。

可选的,要确定各图像帧中移动干扰物所在的区域信息,要先确定出各图像帧中的移动干扰物。其中,确定图像帧中的移动干扰物的方法有很多,本申请实施例对此不进行限定。例如,可以是先确定各图像帧的拍摄内容检测结果中的各拍摄物在对应的图像帧中所在的区域,并提取各拍摄物的特征点,然后根据图像帧的时域关联性,将相邻两个图像帧对应的各拍摄物所在区域及特征点进行比对,检测是否存在特征点相同,但拍摄物所在区域发生变化的拍摄物,若存在,则将该拍摄物作为移动干扰物,将该拍摄物所在区域作为该图像帧中的移动干扰物所在区域。为了防止因计算误差导致的区域变化误判,可以是当拍摄物所在区域位置变化大于预设变化阈值(如,移动像素超过10个像素)时,确定该拍摄物所在区域发生了变化。

可选的,确定图像帧中的移动干扰物也可以是在步骤201检测到预览画面中存在移动干扰物时,提取该移动干扰物的特征点,由于图像帧间具有时域关联性,因此,可以在检测各图像帧中移动干扰物所在区域时寻找各图像帧拍摄内容检测结果中具有该特征点的拍摄物作为移动干扰物,提取该移动干扰物的轮廓,将其轮廓在图像帧中所在的区域作为该图像帧中的移动干扰物所在的区域。

示例性的,确定了各图像帧中的移动干扰物后,即可以确定该移动干扰物在对应的图像帧中的所在区域信息,例如,可以通过计算移动干扰所在区域中的像素点的位置,确定移动干扰物在各图像帧中所占区域的位置信息;通过计算移动干扰所在区域中的像素点的个数,确定移动干扰物在各图像帧中所占区域的面积信息;通过计算其所占区域面积占图像帧总面积的百分比,从而确定移动干扰物占整个图像帧的比例信息;提取移动干扰物所在区域的特征点,得到移动干扰物所在区域的特征点信息;判断移动干扰物与拍摄目标所在区域的位置关系,确定移动干扰物是否遮挡了拍摄目标等等。

步骤204、根据各图像帧中的移动干扰物所在区域信息,对各图像帧中的移动干扰物进行去噪处理。

其中,移动干扰物所在区域信息的具体不容不同,对所述各图像帧中的移动干扰物进行去噪处理的方法也就不同。例如,当移动干扰物所在区域信息为移动干扰物是否遮挡拍摄目标时,可以是将遮挡了拍摄目标的移动干扰物进行去噪处理,对没有遮挡拍摄目标的移动干扰物可以不进行处理;也可以是将遮挡了拍摄目标的移动干扰物对应的图像帧丢弃,将没有遮挡拍摄目标的移动干扰物对应的图像帧去除移动干扰物等等。当移动干扰物所在区域信息为移动干扰物占整个拍摄图像帧的比例信息时,可以是对比例大于预设阈值的图像进行去噪处理,否则不进行去噪处理;也可以是将比例大于预设阈值的图像帧丢弃,只对比例小于预设阈值的图像帧中的移动干扰物进行去噪处理等等。

可选的,当移动干扰物所在区域信息为移动干扰物在各图像帧中所占区域的面积信息时,根据所述各图像帧中的移动干扰物所在区域信息,对所述各图像帧中的移动干扰物进行去噪处理,包括:从至少两个图像帧中去除移动干扰物所在区域面积大于预设面积阈值的图像帧,得到剩余图像帧;根据图像帧的时域关联性,消除剩余图像帧中的移动干扰物。

具体的,当图像帧中移动干扰物所在区域面积较大时,相当于图像帧中噪声区域较大,此时,该图像帧中的大量细节信息已经丢失,该图像帧在后续进行目标拍摄图像的融合时可能还会造成干扰,影响最终的融合效果。因此,可以是先判断各图像帧中移动干扰物所在区间的面积是否大于预设面积阈值,将大于预设面积阈值的图像帧丢弃,只对剩余的图像帧,根据图像帧的时域关联性进行去噪处理。这样设置的好处在于,不但提高了图像帧移动干扰物的去噪处理效率,还可以提高最后生成的目标拍摄图像的质量。

步骤205、根据处理后的至少两个图像帧生成目标拍摄图像。

本申请实施例提供的拍摄图像的处理方法,能够在对连续拍摄多个图像帧中的移动干扰物进行去噪处理时,检测各图像帧的拍摄内容,确定移动干扰物所在区域信息,根据该区域信息对各图像帧中的移动干扰物进行去噪处理,从而生成目标拍摄图像,提高了各图像帧中移动干扰物的去噪处理精度,进而提升了生成的目标拍摄图像的质量。

图3为本申请实施例提供的另一种拍摄图像的处理方法的流程示意图,作为对上述实施例的进一步说明,该方法包括如下步骤:

步骤301、如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧。

步骤302、根据图像帧的时域关联性,判断至少两个图像帧中是否存在移动干扰物遮挡拍摄目标的图像帧。

示例性的,本申请实施例在连续拍摄至少两个图像帧后,判断在至少两个图像帧中是否存在移动干扰物遮挡拍摄目标的情况,对于遮挡了拍摄目标的图像帧中的移动干扰物进行去噪处理,生成目标拍摄图像,在保证拍摄质量的同时,提高拍摄效率。

可选的,在本申请实施例中,判断至少两个图像帧中是否存在移动干扰物遮挡拍摄目标的图像帧时,可以是先确定各图像帧中的拍摄目标所在区域的位置信息和各图像帧中的移动干扰物所在区域的位置信息,将两位置信息进行比较,看是否有重叠区域,若有重叠区域,则说明该图像帧中移动干扰物遮挡了拍摄目标。还可以是根据图像帧间的时域关联性,判断该图像帧中拍摄目标所在区域与其他图像帧中拍摄目标所在区域相比是否完整,若完整,则说明该图像帧中拍摄目标所在区域没有被移动干扰物遮挡。可选的,判断该图像帧中拍摄目标所在区域与其他图像帧中拍摄目标所在区域相比是否完整时,可以是将该图像帧与除其自身以外的其余所有连续拍摄图像帧进行比较,选择大多数图像帧对应的比较结果作为判断该图像帧中拍摄目标是否被遮挡的最终确定结果。

步骤303、若存在移动干扰物遮挡拍摄目标的图像帧,则对至少两个图像帧中的移动干扰物进行去噪处理。

示例性的,若存在移动干扰物遮挡拍摄目标的图像帧,说明移动干扰物在连续拍摄至少两个图像帧的时候已经遮挡了拍摄目标,严重影响了拍摄效果。对此,需要对获取的至少两个图像帧进行去噪处理。具体的,在本申请实施例中,若存在移动干扰物遮挡拍摄目标的图像帧时,对至少两个图像帧中移动干扰物进行去噪处理的方法有很多,本实施例对此不进行限定。例如,可以是将连续拍摄的至少两帧图像中移动干扰物遮挡拍摄目标的图像帧丢弃,只对拍摄目标没有被遮挡的图像帧进行去噪处理。也可以是判断图像帧中移动干扰物是否遮挡拍摄目标的重要位置,若是,则将该图像帧丢弃,只对拍摄目标没有被遮挡以及没有被遮挡重要位置的图像帧进行去噪处理。例如,人像拍摄模式,若移动干扰物遮挡了人脸区域,而人脸区域是人像模式拍摄的重要区域,所以需要将该帧图像进行丢弃,仅对连续获取的其余图像帧进行去噪处理。

可选的,若不存移动干扰物遮挡拍摄目标的图像帧,则即使存在移动干扰物,但对于拍摄目标的影响不大,因此,针对此种情况,可以是从获取的至少两个图像帧中选择评分质量最高的图像进行简单的预处理操作(如美颜、去噪、调亮等)后,作为目标拍摄图像,也可以是判断移动干扰物所占区域的面积是否大于预设面积阈值,若大于预设面积阈值,则对至少两个图像帧中的移动干扰物进行去噪处理,若则从获取的至少两个图像帧中选择评分质量最高的图像进行简单的预处理操作后,作为目标拍摄图像;还可以是根据图像帧的时域关联性,判断移动干扰物的移动距离是否大于预设距离,若大于,则对至少两个图像帧中的移动干扰物进行去噪处理,若则从获取的至少两个图像帧中选择评分质量最高的图像进行简单的预处理操作后,作为目标拍摄图像。对此本申请实施例不做限定。

步骤304、根据处理后的至少两个图像帧生成目标拍摄图像。

本申请实施例提供的拍摄图像的处理方法,能够在对连续拍摄多个图像帧中的移动干扰物进行去噪处理时,在移动干扰物遮挡了拍摄目标时才对至少两帧图像中的移动干扰物进行去噪处理,在保证生成的目标拍摄图像质量的同时,大大缩短了去噪处理的功耗,提高了拍摄效率。

图4为本申请实施例提供的另一种拍摄图像的处理方法的流程示意图,作为对上述实施例的进一步说明,该方法包括如下步骤:

步骤401、如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧。

步骤402、根据图像帧的时域关联性,对至少两个图像帧中的移动干扰物进行去噪处理。

步骤403、根据至少一个评分参数对处理后的至少两个图像帧进行评分,从处理后的至少两个图像帧中确定目标图像帧和候选图像帧。

其中,评分参数包括清晰度参数、色彩参数、曝光参数、移动干扰物大小参数或拍摄目标的完整性参数中的一个或多个的组合。可选的,可以预先为各评分参数都设置一个与其对应的评分体系,例如,评分参数中清晰度参数的评分体系可以是预先将清晰度按照显示效果划分为至少两个等级,例如,可以分为清晰和不清晰两个等级,也可以是分为上、中、下三个等级等等。

可选的,本申请实施例中,根据至少一个评分参数对处理后的至少两个图像帧进行评分时,若评分参数为一个,则将该评分结果作为该图像帧的评分结果。若评分参数为多个,则可以是对该图像帧的各评分参数对应的评分结果求均值,得到该图像帧的评分结果;也可以是为该图像帧的各评分参数设置权重值,计算各评分参数的加权评分得到该图像帧的评分结果。可选的,各评分参数的权重值可以是移动终端根据当前拍摄模式或拍摄场景设置的;也可以是用户根据自身的需求手动设置的。

可选的,从处理后的至少两个图像帧中确定目标图像帧和候选图像帧时,可以是将连续拍摄的至少两个图像帧中评分最高的图像帧确定为目标图像帧,以该目标图像帧为基础进行图像帧内容的融合;将连续拍摄的至少两个图像帧中评分低于目标图像帧,但是高于最低评分阈值的各图像帧作为候选图像帧,候选图像帧可以是用于对目标图像帧进行融合处理的其他图像帧,其可以是一个,也可以是多个。

步骤404、根据候选图像帧对目标图像帧的去噪区域进行融合,生成目标拍摄图像。

由于目标图像帧的评分是获取的至少两个图像帧中评分最高的,所以该图像帧的质量应该也是最好的,为了提高融合的效率,在根据候选图像帧对目标图像帧进行融合时,可以不对整个目标图像帧进行融合,只对目标图像帧的去噪区域进行融合。因为本申请实施例中,对图像帧进行去噪的过程实质上是去除图像帧中干扰物所在区域的过程,目标图像帧的去噪区域可能是固定像素灰度值的区域,也可能是通过其他图像帧添加的相关区域,该区域与真实拍摄图像的误差最大。

可选的,在根据候选图像帧对目标图像帧去噪区域进行融合时,可以是先确定目标图像帧中去噪区域的位置,然后获取各候选图像帧中该位置对应的图像内容,通过预设的融合算法进行图像融合,将融合后的图像再融合到目标图像帧中的去噪区域对应位置,从而生成目标拍摄图像。

本申请实施例提供的拍摄图像的处理方法,能够对去噪处理后的至少两个图像进行评分,选出目标图像帧和候选图像帧,对目标图像帧的去噪区域进行融合,生成目标拍摄图像,在保证生成的目标拍摄图像质量的同时,大大缩短了图像融合处理的功耗,提高了拍摄效率。

图5为本申请实施例提供的另一种拍摄图像的处理方法的流程示意图,作为对上述各实施例的一个优选实例,该方法包括如下步骤:

步骤501、开始。

步骤502、判断终端是否处于静止状态,若是,执行步骤503,若继续执行步骤502。

可选的,本申请实施例中,判断终端是否处于静止状态可以是根据终端中配置的陀螺仪和定位信息判断终端是否处于静止状态。其中,陀螺仪又叫做角速度传感器,可以测量终端的转动、偏转等状态信息,从而判断处终端是否处于静止状态。定位信息可以是通过终端的定位模块(如全球定位系统(globalpositioningsystem,gps))获取的终端所在位置信息。

具体的,在根据陀螺仪和定位信息判断终端是否处于静止状态时,可以是先通过陀螺仪获取的终端转动、偏转量来判断终端是否处于静止,例如,若终端没有产生转动信息且偏转量也保持不变,则说明终端处于静止,此时再通过终端内的定位模块获取终端所在位置信息,判断终端所在位置是否发生变化,若没有发生变化,则确定终端处于静止状态。

示例性的,通过判断终端是否处于静止状态,若终端不处于静止状态,此时无法准确判断预览画面中的移动物体是因终端移动导致的,还是突然闯进镜头的干扰者,从而可能造成误判将拍摄目标误认为是移动干扰物。所以,可以在检测到终端处于静止状态下,再执行步骤503,判断预览画面中是否存在干扰物,若则,继续执行步骤502,等待下一检测时刻,判断终端是否处于静止状态。

步骤503、如果终端处于静止状态,则判断连续的至少两个预览画面帧中的拍摄内容变化满足预设干扰规则,若是,执行步骤504,若否,执行步骤508。

其中,预设干扰规则可以是判断预览画面帧中是否存在移动干扰物的判断标准。该预设干扰规则可以是通过两步判断来确定连续的至少两个预览画面帧中是否存在移动干扰物。第一步是判断是否存在移动的拍摄物,第二步再进一步的判断该移动的拍摄物是否是移动干扰物。避免拍摄目标轻微移动时,将其误判为移动干扰物。

可选的,预设移动规则中的第一步判断是否存在移动的拍摄物时,可以是判断连续拍摄的至少两帧图像的拍摄内容中是否存在拍摄物的变化,如拍摄物的增加、位置的变化或图像的模糊等。预设移动规则中的第二步判断该移动的拍摄物是否是移动干扰物时,可以是判断变化的拍摄物的面积大小是否大于预设面积阈值、移动距离是否大于预设距离阈值、移动速度是否大于预设速度阈值或者是移动速度是否随着距离拍摄目标的接近而减小等等。

示例性的,如果移动终端静止,且连续的至少两个预览画面帧中的拍摄内容的变化也满足上述预设干扰规则,则可以确定连续拍摄的至少两个预览画面帧中存在移动干扰物,此时,执行步骤504,说明该预览画面中存在移动干扰者;若不满足预设干扰规则中的任意一步判断,则说明该预览画面中不存在移动干扰者,执行步骤508,采用常规拍摄模式获取目标拍摄图像。例如,若不满足预设干扰规则的第一步,则说明预览画面中不存在移动的拍摄物,所以也就不存在移动的干扰物;若满足了预设干扰规则的第一步,但是不满足第二步,则说明预览画面中虽然存在移动拍摄物,但是通过分析发现该移动拍摄物并不是移动干扰物。例如,当拍摄图像为合影图像时,众多合影者中有些人可能会有轻微的晃动,但是晃动的幅度不大,因此,该晃动者虽然移动了,但是其并不是移动干扰物。又或镜头外的用户b想和镜头内的用户a一起合影,用户b快速的跑到用户a周围并停了下来,其移动速度随着靠近用户a而减小,所以此时用户b虽然也移动了,但是其也不是移动干扰物。

步骤504、若连续的至少两个预览画面帧中的拍摄内容变化满足预设干扰规则,则预览画面中存在移动干扰物。

步骤505、连续拍摄至少两个图像帧。

步骤506、根据图像帧的时域关联性,对至少两个图像帧中的移动干扰物进行去噪处理。

步骤507、根据处理后的至少两个图像帧生成目标拍摄图像。

步骤508、获取目标拍摄图像。

需要说明的是,由于本申请实施例中,检测预览画面中是否存在移动干扰物时,可能是启动移动终端的拍摄功能后就开始实时或者每隔预设时间间隔检测一次;也可能是在终端用户点击触发拍照指令时系统开始检测,所以,若检测预览画面中是否存在移动干扰物是在终端用户启动拍摄功能之后,触发拍照指令之前进行的,则需要实时更新检测结果,在移动终端接收到用户触发的拍摄指令后检测结果仍为不存在移动干扰物时,再获取目标拍摄图像。若检测预览画面中是否存在移动干扰物是在终端用户触发拍照指令后检测的,则可以在检测到预览画面中不存在移动干扰物后直接执行步骤508获取目标拍摄图像。

本申请实施例提供的拍摄图像的处理方法,在终端处于静止状态下,通过两步预设干扰规则判断预览画面是否存在移动干扰物,若存在移动干扰物,则连续拍摄多个图像帧对移动干扰物进行去噪处理,从而生成目标拍摄图像。能够避免将拍摄目标误判为移动干扰物的情况,保证对真正的移动干扰物进行处理,提高了拍摄质量。

图6为本申请实施例提供的一种拍摄图像的处理装置的结构框图,该装置可由软件和/或硬件实现,一般集成在具有拍照功能的移动终端中,可以执行上述各实施例所述的拍摄图像的处理方法。如图6所示,该装置包括:图像拍摄模块601、干扰物处理模块602和图像生成模块603。

图像拍摄模块601,用于如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧;

干扰物处理模块602,用于根据图像帧的时域关联性,对所述图像拍摄模块601拍摄的至少两个图像帧中的干扰物进行去噪处理;

图像生成模块603,用于根据所述干扰物处理模块602处理后的至少两个图像帧生成目标拍摄图像。

进一步的,图像拍摄模块601用于检测到预览画面中存在移动干扰物,包括:

若连续的至少两个预览画面帧中的拍摄内容变化满足预设干扰规则,则所述预览画面中存在移动干扰物。

进一步的,干扰物处理模块602用于:

对连续拍摄的至少两个图像帧进行拍摄内容检测;

根据图像帧的时域关联性和所述至少两个图像帧的拍摄内容检测结果,确定各图像帧中的移动干扰物所在区域信息;

根据所述各图像帧中的移动干扰物所在区域信息,对所述各图像帧中的移动干扰物进行去噪处理。

进一步的,干扰物处理模块602,用于所述根据所述各图像帧中的移动干扰物所在区域信息,对所述各图像帧中的移动干扰物进行去噪处理,包括:

从所述至少两个图像帧中去除所述移动干扰物所在区域面积大于预设面积阈值的图像帧,得到剩余图像帧;根据图像帧的时域关联性,消除所述剩余图像帧中的移动干扰物。

进一步的,干扰物处理模块602用于:

根据图像帧的时域关联性,判断所述至少两个图像帧中是否存在移动干扰物遮挡拍摄目标的图像帧;

若存在移动干扰物遮挡拍摄目标的图像帧,则对所述至少两个图像帧中的移动干扰物进行去噪处理。

进一步的,图像生成模块603用于:

根据至少一个评分参数对所述处理后的至少两个图像帧进行评分,从所述处理后的至少两个图像帧中确定目标图像帧和候选图像帧;

根据所述候选图像帧对所述目标图像帧的去噪区域进行融合,生成目标拍摄图像。

进一步的,上述装置还包括:

静止判断模块,用于判断终端是否处于静止状态;如果所述终端处于静止状态,则图像拍摄模块601检测所述预览画面中是否存在移动干扰物。

本申请实施例提供的拍摄图像的处理装置,首先,图像拍摄模块601如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧;其次,干扰物处理模块602根据图像帧的时域关联性,对所述至少两个图像帧中的移动干扰物进行去噪处理;最后,图像生成模块603根据处理后的至少两个图像帧生成目标拍摄图像。相对于相关技术中在拍照过程中,若拍摄视野内存在移动干扰物,则拍摄图像模糊、质量较差的问题。本申请实施例能够在预览画面存在移动干扰物时,连续拍摄多个图像帧对移动干扰物进行去噪处理,从而生成目标拍摄图像,进而避免了移动干扰物对拍摄图像清晰度的影响,提高拍摄质量。

上述装置可执行本申请前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请前述所有实施例所提供的方法。

图7是本申请实施例提供的一种终端设备的结构示意图。如图7所示,该终端可以包括:壳体(图中未示出)、存储器701、中央处理器(centralprocessingunit,cpu)702(又称处理器,以下简称cpu)、存储在存储器701上并可在处理器702上运行的计算机程序、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部;所述cpu702和所述存储器701设置在所述电路板上;所述电源电路,用于为所述终端的各个电路或器件供电;所述存储器701,用于存储可执行程序代码;所述cpu702通过读取所述存储器701中存储的可执行程序代码来运行与所述可执行程序代码对应的程序。

所述终端还包括:外设接口703、rf(radiofrequency,射频)电路705、音频电路706、扬声器711、电源管理芯片708、输入/输出(i/o)子系统709、触摸屏712、其他输入/控制设备710以及外部端口704,这些部件通过一个或多个通信总线或信号线707来通信。

应该理解的是,图示终端设备700仅仅是终端的一个范例,并且终端设备700可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

下面就本实施例提供的用于一种终端设备进行详细的描述,该终端设备以智能手机为例。

存储器701,所述存储器701可以被cpu702、外设接口703等访问,所述存储器701可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

外设接口703,所述外设接口703可以将设备的输入和输出外设连接到cpu702和存储器701。

i/o子系统709,所述i/o子系统709可以将设备上的输入输出外设,例如触摸屏712和其他输入/控制设备710,连接到外设接口703。i/o子系统709可以包括显示控制器7091和用于控制其他输入/控制设备710的一个或多个输入控制器7092。其中,一个或多个输入控制器7092从其他输入/控制设备710接收电信号或者向其他输入/控制设备710发送电信号,其他输入/控制设备710可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是,输入控制器7092可以与以下任一个连接:键盘、红外端口、usb接口以及诸如鼠标的指示设备。

其中,按照触摸屏的工作原理和传输信息的介质分类,触摸屏712可以为电阻式、电容感应式、红外线式或表面声波式。按照安装方式分类,触摸屏712可以为:外挂式、内置式或整体式。按照技术原理分类,触摸屏712可以为:矢量压力传感技术触摸屏、电阻技术触摸屏、电容技术触摸屏、红外线技术触摸屏或表面声波技术触摸屏。

触摸屏712,所述触摸屏712是用户终端与用户之间的输入接口和输出接口,将可视输出显示给用户,可视输出可以包括图形、文本、图标、视频等。可选的,触摸屏712将用户在触屏幕上触发的电信号(如接触面的电信号),发送给处理器702。

i/o子系统709中的显示控制器7091从触摸屏712接收电信号或者向触摸屏712发送电信号。触摸屏712检测触摸屏上的接触,显示控制器7091将检测到的接触转换为与显示在触摸屏712上的用户界面对象的交互,即实现人机交互,显示在触摸屏712上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是,设备还可以包括光鼠,光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸。

rf电路705,主要用于建立智能音箱与无线网络(即网络侧)的通信,实现智能音箱与无线网络的数据接收和发送。例如收发短信息、电子邮件等。

音频电路706,主要用于从外设接口703接收音频数据,将该音频数据转换为电信号,并且将该电信号发送给扬声器711。

扬声器711,用于将智能音箱通过rf电路705从无线网络接收的语音信号,还原为声音并向用户播放该声音。

电源管理芯片708,用于为cpu702、i/o子系统及外设接口所连接的硬件进行供电及电源管理。

在本实施例中,中央处理器702用于:

如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧;

根据图像帧的时域关联性,对所述至少两个图像帧中的移动干扰物进行去噪处理;

根据处理后的至少两个图像帧生成目标拍摄图像。

进一步的,所述检测到预览画面中存在移动干扰物,包括:

若连续的至少两个预览画面帧中的拍摄内容变化满足预设干扰规则,则所述预览画面中存在移动干扰物。

进一步的,所述根据图像帧的时域关联性,对所述至少两个图像帧中的移动干扰物进行去噪处理包括:

对连续拍摄的至少两个图像帧进行拍摄内容检测;

根据图像帧的时域关联性和所述至少两个图像帧的拍摄内容检测结果,确定各图像帧中的移动干扰物所在区域信息;

根据所述各图像帧中的移动干扰物所在区域信息,对所述各图像帧中的移动干扰物进行去噪处理。

进一步的,所述根据所述各图像帧中的移动干扰物所在区域信息,对所述各图像帧中的移动干扰物进行去噪处理,包括:

从所述至少两个图像帧中去除所述移动干扰物所在区域面积大于预设面积阈值的图像帧,得到剩余图像帧;根据图像帧的时域关联性,消除所述剩余图像帧中的移动干扰物。

进一步的,所述根据图像帧的时域关联性,对所述至少两个图像帧中的移动干扰物进行去噪处理,包括:

根据图像帧的时域关联性,判断所述至少两个图像帧中是否存在移动干扰物遮挡拍摄目标的图像帧;

若存在移动干扰物遮挡拍摄目标的图像帧,则对所述至少两个图像帧中的移动干扰物进行去噪处理。

进一步的,所述根据处理后的至少两个图像帧生成目标拍摄图像,包括:

根据至少一个评分参数对所述处理后的至少两个图像帧进行评分,从所述处理后的至少两个图像帧中确定目标图像帧和候选图像帧;

根据所述候选图像帧对所述目标图像帧的去噪区域进行融合,生成目标拍摄图像。

进一步的,在所述如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧之前,还包括:

判断终端是否处于静止状态;

如果所述终端处于静止状态,则检测所述预览画面中是否存在移动干扰物。

本申请实施例还提供一种包含终端设备可执行指令的存储介质,所述终端设备可执行指令在由终端设备处理器执行时用于执行一种拍摄图像的处理方法,该方法包括:

如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧;

根据图像帧的时域关联性,对所述至少两个图像帧中的移动干扰物进行去噪处理;

根据处理后的至少两个图像帧生成目标拍摄图像。

进一步的,所述检测到预览画面中存在移动干扰物,包括:

若连续的至少两个预览画面帧中的拍摄内容变化满足预设干扰规则,则所述预览画面中存在移动干扰物。

进一步的,所述根据图像帧的时域关联性,对所述至少两个图像帧中的移动干扰物进行去噪处理包括:

对连续拍摄的至少两个图像帧进行拍摄内容检测;

根据图像帧的时域关联性和所述至少两个图像帧的拍摄内容检测结果,确定各图像帧中的移动干扰物所在区域信息;

根据所述各图像帧中的移动干扰物所在区域信息,对所述各图像帧中的移动干扰物进行去噪处理。

进一步的,所述根据所述各图像帧中的移动干扰物所在区域信息,对所述各图像帧中的移动干扰物进行去噪处理,包括:

从所述至少两个图像帧中去除所述移动干扰物所在区域面积大于预设面积阈值的图像帧,得到剩余图像帧;根据图像帧的时域关联性,消除所述剩余图像帧中的移动干扰物。

进一步的,所述根据图像帧的时域关联性,对所述至少两个图像帧中的移动干扰物进行去噪处理,包括:

根据图像帧的时域关联性,判断所述至少两个图像帧中是否存在移动干扰物遮挡拍摄目标的图像帧;

若存在移动干扰物遮挡拍摄目标的图像帧,则对所述至少两个图像帧中的移动干扰物进行去噪处理。

进一步的,所述根据处理后的至少两个图像帧生成目标拍摄图像,包括:

根据至少一个评分参数对所述处理后的至少两个图像帧进行评分,从所述处理后的至少两个图像帧中确定目标图像帧和候选图像帧;

根据所述候选图像帧对所述目标图像帧的去噪区域进行融合,生成目标拍摄图像。

进一步的,在所述如果检测到预览画面中存在移动干扰物,则连续拍摄至少两个图像帧之前,还包括:

判断终端是否处于静止状态;

如果所述终端处于静止状态,则检测所述预览画面中是否存在移动干扰物。

本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、rf等等,或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的应用推荐操作,还可以执行本申请任意实施例所提供的拍摄图像的处理方法中的相关操作。

注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1