一种图像数据的采集处理方法及相关装置的制造方法

一种图像数据的采集处理方法及相关装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理领域，尤其涉及一种图像数据的采集处理方法及相关装置。
【背景技术】
[0002] 随着信息技术的不断发展，电子终端（如手机、相机等）开始支持图像处理，利用 电子终端进行拍照可谓是无所不在，但在拍照过程中，对有不同景深的场景，只能选择对某 一景深对焦采集，这样就会使得其它区域相对模糊。现有技术中可以利用摄像头采集不同 景深图像，然后根据图像处理的相关方法进行图像融合，从而可在显示端得到全清晰图像。
[0003] 例如，现有技术中从一组多焦距照片中选出一幅复制为目标照片，然后比较该组 多焦距照片中的其他照片与目标照片相同位置像素点的清晰度，用清晰度最高的像素点替 换目标照片中相同位置的像素点。该技术方案仅描述了采集后用最清晰的像素点来进行替 换的融合策略，且只适用于对静止图像的处理。
[0004] 又如，现有技术中公开的申请号为201010507977. 4的一种基于差分图修正的像 素级多聚焦图像融合方法，首先对待融合图像进行下采样，并计算待融合下采样图像的空 间频率，然后通过比较空间频率的大小得到初始融合图像；接着对初始融合图像与待融合 下采样图像的差分图像进行两次修正，第一次修正使用中值滤波，用于消除选择错误的孤 立像素，第二次修正则通过计算各区域的面积进行区域的合并，最后对两次修正后得到的 修正图进行插值放大，得到最终的标记图，依据该标记图即可得到融合图像。该技术方案需 要对图像进行下采样，融合后还需要进行插值处理，而且也只适用于对静止图像的处理。
[0005] 现有技术中电子终端的图像处理方法要么过于简单造成图像处理效果差，要么过 于复杂使得图像处理效率低下，且往往只适用于对静止图像的处理；如何在电子终端高效 高质量地进行图像处理得到用户所需的清晰图像，是人们一直关注的热点问题。

【发明内容】

[0006] 本发明实施例所要解决的技术问题在于，提供一种图像数据的采集处理方法、一 种图像数据的处理方法、一种图像数据的采集处理装置以及一种图像数据的处理装置，解 决了运动物体场景融合问题，实现了对图像进行高效高质量的处理。
[0007] 第一方面，本发明实施例提供了一种图像数据的处理方法，包括：
[0008] 获取至少两张采集图像，其中获取的每张采集图像的采集对焦点各不相同；
[0009] 获取对焦采集参数，根据所述对焦采集参数对采集图像进行融合，得到融合后的 图像；对所述融合后的图像进行联合编码并输出；
[0010] 其中，当根据所述对焦采集参数对所述采集图像进行配准映射裁剪以及融合时， 通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行 图像融合；
[0011] 所述运动信息包括在所述采集图像之间发生物体运动的运动轨迹构成的连通的 运动物体区域；所述修正后的掩膜图像包括对所述采集图像进行序号标记后在所述连通的 运动物体区域中各个像素点选择的采集图像的序号。
[0012] 结合第一方面，在第一种可能的实现方式中，所述获取至少两张采集图像包括：
[0013] 设置图像场景的对焦点个数为M个，M为大于1的自然数；
[0014] 检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
[0015] 若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；
[0016] 若M大于L，则选择所述L个人脸区域以及M减L个感兴趣区域作为对焦点对所述 图像场景进行对焦采集；
[0017] 若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先 选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被 选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进 行对焦采集。
[0018] 结合第一方面，在第二种可能的实现方式中，所述获取至少两张采集图像包括：
[0019] 设置图像场景的对焦点个数为M个，M为大于1的自然数，且M小于等于摄像头采 集图像过程中获得的视频帧数；
[0020] 将所述图像场景划分为A个区域，A为正整数；
[0021] 检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
[0022] 若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；
[0023] 若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先 选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被 选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进 行对焦采集；
[0024] 若M大于L，则选择所述L个人脸区域作为对焦点，并根据所述A个区域在每帧视 频中的最清晰区域面积的大小，从大到小选取所述A个区域中的M减L个作为对焦点，对所 述图像场景进行对焦采集；其中所述最清晰区域面积包括信噪比最大、或梯度最大、或直流 量最大的区域面积。
[0025] 结合第一方面，在第三种可能的实现方式中，所述融合后的图像包括以下至少一 项：所述采集图像、对所述采集图像进行配准映射裁剪后的处理图像、或对所述采集图像进 行配准映射裁剪以及融合后的融合图像；
[0026] 所述根据所述对焦采集参数对采集图像进行融合包括：
[0027] 根据所述对焦采集参数判断是否对采集图像进行融合；
[0028] 当判断结果为否时，则根据所述采集图像的采集成功数量，从所述采集图像中选 取一张图像；当判断结果为是时，对所述采集图像进行配准映射裁剪处理得到处理图像，或 者对所述采集图像进行配准映射裁剪以及融合得到融合图像。
[0029] 结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述根据 所述采集图像的采集成功数量，从所述采集图像中选取一张图像包括：
[0030] 若所述采集图像的采集成功数量为1，则从所述采集图像中选取对焦采集成功的 图像；
[0031] 若所述采集图像的采集成功数量不为1，则从所述采集图像中选取信噪比最大、或 梯度最大、或直流量最大的图像。
[0032] 结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中，所述对焦 采集参数包括每张采集图像从对焦起始至对焦结束的时间值，所述根据所述对焦采集参数 判断是否对所述采集图像进行融合包括：
[0033] 将所述时间值按照大小进行排序，当依次从小到大的相邻两个时间值之差的绝对 值大于预设阈值，则判断出需要将所述两个时间值对应的采集图像进行融合；当依次从小 到大的相邻两个时间值之差的绝对值不大于预设阈值，则判断出不需要将所述两个时间值 对应的采集图像进行融合，并舍弃所述两个时间值中较大的时间值，重复执行本步骤直至 判断出所有需要进行融合的采集图像。
[0034] 结合第一方面的第三种可能的实现方式，在第六种可能的实现方式中，所述对焦 采集参数包括每张采集图像从对焦起始至对焦结束的镜头拉伸长度值，所述根据所述对焦 采集参数判断是否对所述采集图像进行融合包括：
[0035] 将所述长度值按照大小进行排序，当依次从小到大的相邻两个长度值之差的绝对 值大于预设阈值，则判断出需要将所述两个长度值对应的采集图像进行融合；当依次从小 到大的相邻两个长度值之差的绝对值不大于预设阈值，则判断出不需要将所述两个长度值 对应的采集图像进行融合，并舍弃所述两个长度值中较大的时间值，重复执行本步骤直至 判断出所有需要进行融合的采集图像。
[0036] 结合第一方面的第三种可能的实现方式，在第七种可能的实现方式中，所述对所 述采集图像进行配准映射裁剪处理包括：
[0037] 将获取的所有采集图像按照第一图像进行配准处理；所述第一图像为获取的所有 采集图像中的一张图像；
[0038] 对配准处理后的所有采集图像进行映射处理，得到映射图像；
[0039] 将得到的所有映射图像及所述第一图像进行裁剪处理。
[0040] 结合第一方面的第三种可能的实现方式，在第八种可能的实现方式中，所述对所 述融合后的图像进行联合编码并输出包括：
[0041] 对所述融合后的图像进行联合编码；
[0042] 接收显示区域选择指令，并根据所述显示区域选择指令选择的区域，获取需要解 码显示的图像；
[0043] 对所述获取需要解码显示的图像进行解码显示。
[0044] 结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，所述根据 所述显示区域选择指令选择的区域，获取需要解码显示的图像包括：
[0045] 从采集图像的对焦点中查找出最接近所述显示区域选择指令选择的区域的对焦 占 .
[0046] 获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪处理后联 合编码的图像，或者获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪 以及融合后联合编码的图像，作为需要解码显示的图像。
[0047] 结合第一方面，或者第一方面的第一种可能的实现方式，或者第一方面的第二种 可能的实现方式，或者第一方面的第三种可能的实现方式，或者第一方面的第四种可能的 实现方式，或者第一方面的第五种可能的实现方式，或者第一方面的第六种可能的实现方 式，或者第一方面的第七种可能的实现方式，或者第一方面的第八种可能的实现方式，或者 第一方面的第九种可能的实现方式，在第十种可能的实现方式中，所述对所述采集图像进 行配准映射裁剪以及融合包括：
[0048] 将获取的所有采集图像按照第一图像进行配准处理；所述第一图像为获取的所有 采集图像中的一张图像；
[0049] 对配准处理后的所有采集图像进行映射处理，得到映射图像；
[0050] 将得到的所有映射图像及所述第一图像进行裁剪处理；
[0051] 将裁剪处理后的图像进行转换，得到灰度图像，并进行平滑去噪；
[0052] 对所述灰度图像进行联合分割物体，并标记各个区域，通过统计各区域梯度信息 生成掩膜图像；
[0053] 根据所述掩膜图像对各个区域梯度最大的处理图像进行平滑去噪，计算得到各个 处理图像之间的差分图像，并根据所述差分图像标记出运动物体区域；
[0054] 根据在连通的运动物体区域中对应的掩膜图像选择比例来修正所述掩膜图像；所 述掩膜图像选择比例具体为在所述连通的运动物体区域中掩膜图像选择的不同图像的面 积各自占所述连通的运动物体区域总面积的比例；
[0055] 根据修正后的所述掩膜图像来选择图像进行图像融合。
[0056] 结合第一方面的第十种可能的实现方式，在第十一种可能的实现方式中，所述根 据在连通的运动物体区域中对应的掩膜图像选择比例来修正所述掩膜图像包括：
[0057] 当检测出连通的运动物体区域中对应的掩膜图像选择比例都小于预设阈值，则选 取所述掩膜图像选择比例中的最大比例所对应的图像来修正所述掩膜图像。
[0058] 第二方面，本发明实施例提供了一种图像数据的处理装置，包括：
[0059] 图像获取模块，用于获取至少两张采集图像，其中获取的每张采集图像的采集对 焦点各不相同；
[0060] 图像融合模块，用于获取对焦采集参数，根据所述对焦采集参数对采集图像进行 融合，得到融合后的图像；
[0061] 编码输出模块，用于对所述融合后的图像进行联合编码并输出；
[0062] 其中，当所述图像融合模块根据所述对焦采集参数对所述采集图像进行配准映射 裁剪以及融合时，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图 像来选择图像进行图像融合；
[0063] 所述运动信息包括在所述采集图像之间发生物体运动的运动轨迹构成的连通的 运动物体区域；所述修正后的掩膜图像包括对所述采集图像进行序号标记后在所述连通的 运动物体区域中各个像素点选择的采集图像的序号。
[0064] 结合第二方面，在第一种可能的实现方式中，所述图像获取模块包括：
[0065] 对焦点个数第一设置单元，用于设置图像场景的对焦点个数为M个，M为大于1的 自然数；
[0066] 人脸区域第一检测单元，用于检测图像场景的人脸区域，得到L个人脸区域，L为 零或正整数；
[0067] 第一对焦采集单元，用于若M等于L，则选择所述L个人脸区域作为对焦点对所述 图像场景进行对焦采集；若M大于L，则选择所述L个人脸区域以及M减L个感兴趣区域作 为对焦点对所述图像场景进行对焦采集；若M小于L，则分析所述L个人脸区域的面积大 小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择 人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，