一种像素修复方法、装置、设备以及计算机存储介质与流程

1.本技术涉及像素修复领域，尤其涉及一种像素修复方法、装置、设备以及计算机存储介质。


背景技术：

2.目前，时间飞行相机（time of flight，tof）多采用双频融合的方法，提升tof相机的测量精度和范围，同时解决单频情况下的距离模糊现象。该方法通过获取多种频率下的深度测量距离，对上述所有测量距离分别进行周期扩展以求得测量误差最小值，此时主频率对应的周期扩展后距离即为最终距离值。
3.在相关技术中，tof相机采用双频工作，通过双拼融合的方法实现不降低测距精度的同时，扩展测量范围。但是不同频率下的深度图像不是在一个积分时间内完成的，两个单频下的成像很难做到一一对应，较易受到随机噪声、目标运动等因素的影响，造成最终的融合结果异常。


技术实现要素：

4.本技术提出一种像素修复方法、装置、设备以及计算机存储介质，能够实现运动模糊图像中异常像素点的修复，使得修复后的图像变得清晰。
5.本技术的技术方案是这样实现的：第一方面，本技术实施例提供了一种像素修复方法，所述方法包括：获取运动模糊图像，所述运动模糊图像包括异常像素点和正常像素点；基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块；根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数；根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数；根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像。
6.在一些实施例中，所述获取运动模糊图像，包括：获取异常图像；其中，所述异常图像包括若干个像素点；根据所述异常图像在第一频率下的测量距离值和在第二频率下的测量距离值，计算最小融合误差值；基于所述最小融合误差值对所述异常图像进行模糊区域标记，得到所述运动模糊图像；其中，在所述运动模糊图像中，所述若干个像素点被划分为异常像素点和正常像素点。
7.在一些实施例中，所述方法还包括：
在第一像素点的最小融合误差值大于预设阈值的情况下，将所述第一像素点确定为异常像素点；在第一像素点的最小融合误差值小于或者等于预设阈值的情况下，将所述像素点确定为正常像素点；其中，所述第一像素点为所述若干个像素点中的任意一个像素点。
8.在一些实施例中，所述基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图，包括：确定所述运动模糊图像对应的至少一类测量特征值；其中，每一个所述正常像素点对应各自的测量特征值；对于每一类测量特征值，将所述测量特征值的最大测量值和最小测量值之间的区间划分为预设数量的子区间；基于所述正常像素点的测量特征值所属的子区间及扩展周期数，构建所述直方图。
9.在一些实施例中，所述测量特征值包括下述至少之一：测量深度值、测量幅度值、测量灰度值。
10.在一些实施例中，所述测量特征值包括第一测量特征值和第二测量特征值，所述方法还包括：在将所述第一测量特征值划分为预设数量等份后，得到所述直方图中包括的至少一个分块；根据所述若干个像素点各自对应的特征编号值，确定所述若干个像素点各自所属的分块；在一些实施例中，所述方法还包括：在将所述第一测量特征值划分为第一预设数量等份，将所述第二测量特征值划分为第二预设数量等份后，得到所述直方图中包括的至少一个分块；根据所述若干个像素点各自对应的第一特征编号值和第二特征编号值，确定所述若干个像素点各自所属的分块。
11.在一些实施例中，所述根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数，包括：确定第一分块中正常像素点对应的扩展周期数；根据所述第一分块中正常像素点对应的扩展周期数，组成所述第一分块对应的扩展周期集；根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数；其中，所述第一分块为所述直方图中至少一个分块的任意一个分块。
12.在一些实施例中，所述根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数，包括：将所述扩展周期集的众数作为所述第一分块对应的目标扩展周期数；或者，将所述扩展周期集的中位数作为所述第一分块对应的目标扩展周期数；或者，将所述扩展周期集的平均数作为所述第一分块对应的目标扩展周期数。
13.在一些实施例中，所述根据所述异常像素点的扩展周期数对所述运动模糊图像进
行像素修复，确定修复后图像，包括：根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值；根据所述异常像素点对应的目标距离值对所述运动模糊图像中的异常像素点进行像素修复，得到所述修复后图像。
14.在一些实施例中，所述根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值，包括：计算所述异常像素点的扩展周期数与当前频率下最大测量距离的乘积；对所述乘积和当前频率下测量距离进行求和计算，将计算得到的和值确定为所述目标距离值。
15.第二方面，本技术实施例提供了一种像素修复装置，包括：获取单元，配置为获取运动模糊图像，所述运动模糊图像包括异常像素点和正常像素点；构建单元，配置为基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块；计算单元，配置为根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数；确定单元，配置为根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数；修复单元，配置为根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像。
16.第三方面，本技术实施例提供了一种电子设备，包括：存储器，用于存储能够在处理器上运行的计算机程序；处理器，用于在运行所述计算机程序时，执行如第一方面中任一项所述的像素修复方法。
17.第四方面，本技术实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如第一方面中任一项所述的像素修复方法。
18.本技术实施例所提供的一种像素修复方法、装置、设备以及计算机存储介质，获取运动模糊图像，运动模糊图像包括异常像素点和正常像素点；基于运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，直方图包括至少一个分块；根据每一个分块的扩展周期数分布，计算直方图中每一个分块对应的目标扩展周期数；根据异常像素点对应的测量特征值确定异常像素点所属的第一分块，并将第一分块对应的目标扩展周期数确定为异常像素点对应的扩展周期数；根据异常像素点的扩展周期数对运动模糊图像进行像素修复，确定修复后图像。这样，通过构建测量特征值和扩展周期数的直方图，并确定直方图中每一分块的目标扩展周期数，利用每一分块的目标扩展周期数来确定同一分块异常像素点的扩展周期数，从而能够实现对运动模糊图像中异常像素点的修复，使得运动模糊图像变得清晰。
附图说明
19.图1为相关技术提供的一种双频融合的工作原理示意图；图2为相关技术提供的一种双频融合的运动模糊原理示意图；图3a为相关技术提供的一种频率下的深度图像示意图；图3b为相关技术提供的另一种频率下的深度图像示意图；图4为相关技术提供的一种双频融合后的运动模糊图像示意图；图5为本技术实施例提供的一种像素修复方法的流程示意图；图6为本技术实施例提供的一种双频融合运动模糊图像示意图；图7为本技术实施例提供的一种最小融合误差示意图；图8为本技术实施例提供的一种标记后的双频融合运动模糊图像示意图；图9为本技术实施例提供的一种拓展周期数图像示意图；图10为本技术实施例提供的一种测量值-幅度值-扩展周期数的三维直方图示意图；图11为本技术实施例提供的一种像素修复后的双频融合运动模糊图像示意图；图12为本技术实施例提供的一种像素修复装置的组成结构示意图；图13为本技术实施例提供的一种电子设备的具体硬件结构示意图；图14为本技术实施例提供的一种电子设备的组成结构示意图。
具体实施方式
20.为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术实施例。
21.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
22.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。还需要指出，本技术实施例所涉及的术语“第一\第二\第三”仅是用于区域别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
23.可以理解，参见图1，其示出了一种双频融合原理示意图，如图1所示，tof相机多采用双频融合的方法，提升tof相机的测量精度和范围，同时解决单频情况下的距离模糊现象。该方法通过获取多种频率下的深度测量距离，对上述所有测量距离分别进行周期扩展以求得测量误差最小值，此时主频率对应的周期扩展后距离即为最终距离值。
24.参见图2，若tof相机的成像对象在两个单频下为一一对应关系，上述方法确实能够实现不降低测距精度的同时，扩展测量范围。但实际上tof相机的双频深度图像是顺序积分得到的（例如频率1先积分获取一幅测量深度值、频率2再积分获取另外一幅测量深度值），所有频率均获取对应测量深度值后，才能按照周期扩展的方法获取融合后的深度值。很明显，当测量目标在两个单频下是很难做到一一对应的，部分像素在成像过程中或多或
少会受到其它因素的影响，例如随机噪声、目标运动等，此时无论怎样进行周期扩展，其融合误差均会明显偏大，造成最终深度融合图像存在明显异常。
25.在此基础上，通过上述分析可见双频融合造成的运动模糊，与可见光下的运动拖影现象类似，通过图像配准、运动估计等方法可以很好的解决可见光的运动拖影现象。但上述方法并不能很好地解决tof相机的双频融合运动模糊，因为双频深度图像的像素值存在较大差异，而且由于单频固有的深度混叠现象，进一步加深了两幅深度图像直接进行运动估计或者图像配准的难度。示例性的，参见图3a和图3b，其示出了两种不同频率下的深度图像，将图3a和图3b进行融合后得到如图4所示的双频融合后的运动模糊图像，融合后的图像存在明显的模糊区域。
26.在相关技术中，tof相机采用双频工作，以实现不降低测距精度的同时，扩展测量范围。但是不同频率下的深度图像不是在一个积分时间内完成的，两个单频下的成像很难做到一一对应，较易受到随机噪声、目标运动等因素的影响，造成最终的融合结果异常。双频深度图像之间的明显差异，造成传统可见光下的图像配准、运动估计等方法不能很好解决上述问题。而通过提升帧率或同一积分时间获取多幅相位图像方法（2-tap、4-tap）等电路改进方法，可以减轻运动模糊现象，但成本高、实施难度大且无法从根本上彻底消除运动模糊像素的问题。
27.基于此，本技术实施例提供了一种像素修复方法，该方法的基本思想是：获取运动模糊图像，运动模糊图像包括异常像素点和正常像素点；基于运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，直方图包括至少一个分块；计算直方图中每一个分块对应的目标扩展周期数；根据异常像素点对应的测量特征值确定异常像素点所属的第一分块，并将第一分块对应的目标扩展周期数确定为异常像素点对应的扩展周期数；根据异常像素点的扩展周期数对运动模糊图像进行像素修复，确定修复后图像。这样，通过构建测量特征值和扩展周期数的直方图，并确定直方图中每一分块的目标扩展周期数，利用每一分块的目标扩展周期数来确定同一分块异常像素点的扩展周期数，从而能够实现对运动模糊图像中异常像素点的修复，使得运动模糊图像变得清晰。
28.在本技术的一实施例中，参见图5，其示出了本技术实施例提供的一种像素修复方法的流程示意图。如图5所示，该方法可以包括：s501：获取运动模糊图像，运动模糊图像包括异常像素点和正常像素点。
29.需要说明的是，本技术实施例提供的像素修复方法可以应用于具有像素修复需求的电子设备中。这里，电子设备具有双频tof相机，可以是诸如计算机、智能手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理（personal digital assistant，pda）、导航装置、可穿戴设备等等的电子设备，本技术实施例对此不作具体限定。
30.还需要说明的是，运动模糊图像是在双频深度图像进行融合的过程中因为随机噪声、目标运动等原因，造成最终深度融合图像存在异常，运动模糊图像中包括清晰区域和模糊区域，其中清晰区域的像素点为正常像素点，模糊区域的像素点为异常像素点。
31.在一些实施例中，所述获取运动模糊图像，可以包括：获取异常图像；其中，所述异常图像包括若干个像素点；根据所述异常图像在第一频率下的测量距离值和在第二频率下的测量距离值，计算最小融合误差值；
基于所述最小融合误差值对所述异常图像进行模糊区域标记，得到所述运动模糊图像；其中，在所述运动模糊图像中，所述若干个像素点被划分为异常像素点和正常像素点。
32.需要说明的是，异常图像为存在模糊区域的待处理图像，其中，异常图像中的若干个像素点包括正常像素点和异常像素点，在通过最小融合误差值对异常图像进行模糊区域标记的时候，只对异常像素点进行标记，以便后续对异常像素点进行像素修复，标记后的异常图像即为运动模糊图像。
33.还需要说明的是，第一频率和第二频率为双频时间飞行相机的两个频率，在进行标记的过程中，可以通过将最小融合误差值与预设阈值进行比较，在最小融合误差值大于预设阈值的情况下，将对应的像素点标记为异常像素点。
34.在一些实施例中，所述方法还可以包括：在第一像素点的最小融合误差值大于预设阈值的情况下，将所述第一像素点确定为异常像素点；在第一像素点的最小融合误差值小于或者等于预设阈值的情况下，将所述像素点确定为正常像素点；其中，所述第一像素点为所述若干个像素点中的任意一个像素点。
35.需要说明的是，在对异常图像进行标记的过程中，将异常图像中的若干个像素点进行遍历，计算每一个像素点的最小融合误差值，在最小融合误差值大于预设阈值的情况下，则该像素点为异常像素点，在最小融合误差值小于或者等于预设阈值的情况下，则该像素点为正常像素点。
36.s502：基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块。
37.需要说明的是，在本技术实施例中，测量特征值可以包括测量灰度值、测量幅度值、测量深度值或者其他可以反映当前最小融合误差变化的特征值，测量特征值可以包括若干种，在此不作任何限定。
38.在一些实施例中，所述基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图，可以包括：确定所述运动模糊图像对应的至少一类测量特征值；其中，每一个所述正常像素点对应各自的测量特征值；对于每一类测量特征值，将所述测量特征值的最大测量值和最小测量值之间的区间划分为预设数量的子区间；基于所述正常像素点的测量特征值所属的子区间及扩展周期数，构建所述直方图。
39.在一些实施例中，所述测量特征值包括第一测量特征值和第二测量特征值。
40.需要说明的是，在本技术实施例中，获取至少一类若干个测量特征值可以包括测量灰度值或者测量幅度值或者测量深度值或者其他可以反映当前最小融合误差变化的特征值，测量特征值可以包括若干种，在此不作任何限定。
41.还需要说明的是，在本技术实施例中，在对测量特征值进行划分时，可以将测量特征值的最大测量值和最小测量值形成的区间，划分成预设数量等份，具体地，预设数量等份
可以根据图像的模糊程度进行设定，划分的份数越多则像素修复的细节修复结果越好，划分的份数越少则像素修复的整体保留的越好。
42.示例性地，在一些实施例中，在所述至少一个特征图像包括两个特征图像的情况下，所述基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图，可以包括：确定所述运动模糊图像对应的第一特征图像和第二特征图像；其中，所述第一特征图像包括若干个像素点对应的第一测量特征值，所述第二特征图像包括若干个像素点对应的第二测量特征值；将所述第一测量特征值对应的最大测量值和最小测量值之间的区间划分为第一预设数量等份，将所述第二测量特征值对应的最大测量值和最小测量值之间的区间划分为第二预设数量等份；计算所述第一测量特征值每一等份对应的第一特征编号值，以及计算所述第二测量特征值每一等份对应的第二特征编号值；确定所述若干个像素点各自对应的第一特征编号值和第二特征编号值，以及根据所述正常像素点对应的所述第一测量特征值、所述第二测量特征值与所述扩展周期数，构建三维的所述直方图。
43.需要说明的是，在测量特征值有两个时，可以包括第一测量特征值和第二测量特征值，利用第一测量特征值、第二特征值和扩展周期值构建三维直方图，在对第一测量特征值和第二特征值分别进行划分的过程中，对应的第一预设数量等分和第二预设数量等分的设置不互相关，可以相同也可以不同。
44.还需要说明的是，在对每一等分进行编号的时候，可以分别对第一测量特征值划分的每一等分进行编码得到第一特征编号值，以及第二测量特征值划分的每一等分进行编码得到第二特征编号值，也可以将第一测量特征值和第二特征值结合起来进行编号，以确定在构建三维直方图后每一个分块都有对应的编号值。
45.示例性地，在一些实施例中，在所述至少一个特征图像包括一个特征图像的情况下，所述基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图，可以包括：确定所述运动模糊图像对应的第一特征图像；所述第一特征图像包括若干个像素点对应的第一测量特征值；将所述第一测量特征值对应的最大测量值和最小测量值之间的区间划分为预设数量等份，以及计算所述第一测量特征值中每一等份对应的特征编号值；确定所述若干个像素点各自对应的特征编号值，以及根据所述正常像素点对应的测量特征值与扩展周期数，构建二维的所述直方图。
46.需要说明的是，在一些实施例中，在测量特征值有一个时，可以包括第一测量特征值，将第一测量特征值对应的最大测量值和最小测量值形成的区间进行等分，划分后的每一份都要进行编号，以使在构成二维直方图之后每一分块队友对应的编号值，最后，利用第一测量特征值和扩展周期值构建二维直方图。
47.在一些实施例中，所述方法还可以包括：在将所述测量特征值划分为预设数量等份后，得到所述直方图中包括的至少一个
分块；根据所述若干个像素点各自对应的特征编号值，确定所述若干个像素点各自所属的分块。
48.需要说明的是，本技术实施例中，在测量特征值只有一个时，至少一个分块的划分由该测量特征值决定，在该测量特征值划分为预设数量等份后，每一等份为一个分块。
49.在一些实施例中，所述方法还可以包括：在将所述第一测量特征值划分为第一预设数量等份，将所述第二测量特征值划分为第二预设数量等份后，得到所述直方图中包括的至少一个分块；根据所述若干个像素点各自对应的第一特征编号值和第二特征编号值，确定所述若干个像素点各自所属的分块。
50.需要说明的是，在测量特征值有两个时，至少一个分块的划分由两个测量值共同决定，在两个测量特征值均划分为预设数量等份后，在由两个测量特征值构成的平面中，两个测量特征值对应的预设数量等份的乘积为分块对应的数量。
51.这样，基于所述运动模糊图像中正常像素点对应的不同测量特征值与扩展周期数，构建二维直方图或者三维直方图。
52.s503：根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数。
53.需要说明的是，在对直方图进行分块后，每一个分块中不同像素对应的扩展周期数可能相同也可能不同，而目标扩展周期数则是每一个分块进行统一之后得到的扩展周期数。
54.在一些实施例中，所述根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数，可以包括：确定第一分块中正常像素点对应的扩展周期数；根据所述第一分块中正常像素点对应的扩展周期数，组成所述第一分块对应的扩展周期集；根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数；其中，所述第一分块为所述直方图中至少一个分块的任意一个分块。
55.需要说明的是，在本技术实施例中，在进行每一个分块对应的目标扩展周期的计算时，确定每一个分块中正常像素点对应的拓展周期数，并确定每一分块中正常像素点中最具有普适性的扩展周期数来作为该分块的目标扩展周期数。
56.在一些实施例中，所述根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数，可以包括：将所述扩展周期集的众数作为所述第一分块对应的目标扩展周期数；或者，将所述扩展周期集的中位数作为所述第一分块对应的目标扩展周期数；或者，将所述扩展周期集的平均数作为所述第一分块对应的目标扩展周期数。
57.需要说明的是，在进行每一分块中最具有普适性的扩展周期的选取时，可以确定扩展周期集的平均数、中位数或者众数作为该分块的目标扩展周期数，也可以是其他能反映该分块扩展周期数的参数，在此不作任何限定，另外，每一分块之间的目标扩展周期数可以相同也可以不同。
58.这样，确定了每一分块对应的目标扩展周期数。
59.s504：根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数。
60.需要说明的是，异常像素点为前述运动模糊图像中的异常像素点，在确定异常像素点的所属分块时，可以通过测量特征值计算该像素所述的分块，具体可以根据测量特征值、该测量特征值对应的最小测量值以及该测量特征值在进行预设数量等分过程中每一份的间隔值，确定该异常像素的所述分块。
61.s505：根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像。
62.需要说明的是，根据异常像素点对应的扩展周期数计算该异常像素点对应的实际测量值，并将该实际测量值替换至运动模糊图像，以实现运动模糊图像的修复。
63.在一些实施例中，所述根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像，可以包括：根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值；根据所述异常像素点对应的目标距离值对所述运动模糊图像中的异常像素点进行像素修复，得到所述修复后图像。
64.需要说明的是，在进行异常像素点对应的目标距离值的计算时，需要对运动模糊图像中的每一个异常像素点进行计算，并用计算得到的目标距离值替代原本的异常像素，以实现运动模糊图像的修复。
65.还需要说明的是，在一些实施例中，目标距离即为目标测量值，在进行目标距离的计算过程中，可以采用当前频率的最大测量距离、该频率对应的扩展周期数进行以及对应的测量距离进行计算。
66.在一些实施例中，所述根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值，可以包括：计算所述异常像素点的扩展周期数与当前频率下最大测量距离的乘积；对所述乘积和当前频率下测量距离进行求和计算，将计算得到的和值确定为所述目标距离值。
67.需要说明的是，在一种具体的实施例中，可以采用进行计算，其中，表示当前频率的最大测量距离；c表示光速，表示运动模糊修复后的场景真实距离表示频率对应的测量距离表示频率对应的扩展周期数。
68.还需要说明的是，利用扩展周期数可以计算出直方图中任意与扩展周期数相关联的测量特征值，在此不作任何限定。
69.本技术实施例提供了一种像素修复方法，获取运动模糊图像，运动模糊图像包括异常像素点和正常像素点；基于运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，直方图包括至少一个分块；根据每一个分块的扩展周期数分布，计算直方图中每一个分块对应的目标扩展周期数；根据异常像素点对应的测量特征值确定异常像素点所属的第一分块，并将第一分块对应的目标扩展周期数确定为异常像素点对应的扩
展周期数；根据异常像素点的扩展周期数对运动模糊图像进行像素修复，确定修复后图像。这样，通过构建测量特征值和扩展周期数的直方图，并确定直方图中每一分块的目标扩展周期数，利用每一分块的目标扩展周期数来确定同一分块异常像素点的扩展周期数，从而能够实现对运动模糊图像中异常像素点的修复，使得运动模糊图像变得清晰。
70.在本技术的另一实施例中，基于前述实施例所述的像素修复方法，提供另一种像素修复方法，对tof相机双频融合造成的异常像素识别，本发明以双频融合时的运动噪声为例，通过构建幅值（灰度值或其它可描述距离变化的值）-最小融合误差曲线，结合分段线性拟合、曲线拟合或其它可描述所构建曲线特征的拟合，得到融合误差阈值，对双频融合异常像素进行识别，便于后续算法对该区域进行修复。对tof相机双频融合造成的异常像素，通过同扩展周期值构建直方图的方法（可以是构建测量值-幅度值-扩展周期值三维直方图、或幅度值-扩展周期值二维直方图、或测量值-扩展周期值二维直方图、或其它可以与扩展周期图组合以描述该类变化的因素），获取实际主频正确的扩展周期数，从而修复双频融合造成异常像素。
71.具体地，在一些实施例中，参见图6，其示出了本技术实施例提供的一种双频融合运动模糊图像，对于该运动模糊图像，以测量值-幅度值-扩展周期值三维直方图的双频运动模糊区域修复为例，该像素修复方法可以包括：步骤1、tof相机双频工作下的频率分别为/ ，测量距离为/ ，在实际场景的距离满足：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中，表示当前频率的最大测量距离；表示当前频率的最大测量距离；c表示光速；表示场景的真实距离；表示频率对应的测量距离；表示频率对应的测量距离；表示频率对应的测量模糊次数；表示频率对应的测量模糊次数；分别对上式中的和进行周期扩展，并按下式求得最小融合误差：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）得到如图7所示的最小融合误差图。
72.步骤2、基于最小融合误差方法获取双频运动模糊区域标记图，以及对应的扩展周期图，其中，模糊区域标记图如图8所示，扩展周期图如图9所示。
73.步骤3、同扩展周期值构建直方图（可以是构建测量值-幅度值-扩展周期值三维直方图、或幅度值-扩展周期值二维直方图、或测量值-扩展周期值二维直方图、或其它可以与扩展周期图组合以描述该类变化的因素），本发明中以构建测量深度值-测量幅度值-扩展周期数三维直方图（x-测量深度值，y-幅度值，z-扩展周期数）为例说明具体步骤，以得到所构建直方图中每一个分块（bin）下的扩展周期众数（或其它可描述当前分块多数特征的值）。
74.在一些实施例中，构建直方图的方法可以包括：1）将当前测量深度值、测量幅度值分别等分为ndistbins和namplbins份，每一份的间隔分别为interval_dist和interval_ampl；2）对深度图和幅度图分别求取
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）
ꢀꢀꢀꢀꢀꢀ
（5）其中：表示测量深度值最小值；表示测量幅度值最小值；表示深度图等分后对应编号图；表示幅度图等分后对应编号图；表示对输入数据取整；表示当前像素的测量深度值。
75.3）遍历扩展周期数图，记录当前像素坐标下的深度图编号、幅度图编号以及扩展周期数extensioncyclenum，跳过有异常标记的像素点，构建测量深度值-测量幅度值-扩展周期数三维直方图。
76.遍历测量深度值-测量幅度值-扩展周期数三维直方图，统计直方图每一个分块（bin）下的扩展周期众数（或其它可描述当前分块多数特征的值），得到最终的直方图，如图10所示；步骤4、取得步骤1获取的被标记为运动模糊像素点（即前述实施例中的异常像素点），根据所构建直方图所对应值，获取其所处直方图分块下的扩展周期众数（也可以是平均数等可以反映分块大多数扩展周期数的），将获取的众数作为该像素的扩展周期数；步骤5、将主频率下的实际测量深度值，按照步骤3获取的扩展周期数，按下述公式进行周期扩展，获取运动模糊区域实际的测量值，以测量距离为例，最终得到像素修复后的双频融合运动模糊图像，参见图11。
77.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）
其中，表示当前频率的最大测量距离；表示运动模糊修复后的场景真实距离；表示频率对应的测量距离；表示频率对应的扩展周期数；c表示光速。
78.本技术实施例分析了双频融合异常像素产生的原因，并建立了一种对双频融合异常像素修复的方法；跳过有异常标记的像素点，将其它特征同扩展周期值构建直方图（可以是构建测量值-幅度值-扩展周期值三维直方图、或幅度值-扩展周期值二维直方图、或测量值-扩展周期值二维直方图、或其它可以与扩展周期图组合以描述该类变化的因素）；通过构建的直方图，统计了三维直方图每一个分块（bin）下的扩展周期众数（或其它可描述当前分块多数特征的值）；仅对标记为异常的像素点，将其扩展周期数赋值为上述的众数，双频融合异常像素修复完成。
79.本技术实施例提供了一种像素修复方法，基于上述实施例对前述实施例的具体实现进行详细阐述，从中可以看出，根据前述实施例的技术方案，本技术方案提出了通过同扩展周期值构建直方图的方法（可以是构建测量值-幅度值-扩展周期值三维直方图、或幅度值-扩展周期值二维直方图、或测量值-扩展周期值二维直方图、或其它可以与扩展周期图组合以描述该类变化的因素），获取实际主频正确的扩展周期数，从而修复双频融合造成异常像素，使得运动模糊图像变得更加清晰。
80.在本技术的又一实施例中，参见图12，其示出了本技术实施例提供的一种像素修复装置的组成结构示意图。如图12所示，该像素修复装置120可以包括：获取单元1201，配置为获取运动模糊图像，所述运动模糊图像包括异常像素点和正常像素点；构建单元1202，配置为基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块；计算单元1203，配置为根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数；确定单元1204，配置为根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数；修复单元1205，配置为根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像。
81.在一些实施例中，获取单元1201具体配置为获取异常图像；其中，所述异常图像包括若干个像素点；以及根据所述异常图像在第一频率下的测量距离值和在第二频率下的测量距离值，计算最小融合误差值；以及基于所述最小融合误差值对所述异常图像进行模糊区域标记，得到所述运动模糊图像；其中，在所述运动模糊图像中，所述若干个像素点被划分为异常像素点和正常像素点。
82.在一些实施例中，该像素修复装置还包括标记单元1206，配置为在第一像素点的
最小融合误差值大于预设阈值的情况下，将所述第一像素点确定为异常像素点；以及在第一像素点的最小融合误差值小于或者等于预设阈值的情况下，将所述像素点确定为正常像素点；其中，所述第一像素点为所述若干个像素点中的任意一个像素点。
83.在一些实施例中，构建单元1202，具体配置为确定所述运动模糊图像对应的至少一类测量特征值；其中，每一个所述正常像素点对应各自的测量特征值；以及对于每一类测量特征值，将所述测量特征值的最大测量值和最小测量值之间的区间划分为预设数量的子区间；以及基于所述正常像素点的测量特征值所属的子区间及扩展周期数，构建所述直方图。
84.在一些实施例中，构建单元1202，具体配置为确定所述运动模糊图像对应的第一特征图像和第二特征图像；其中，所述第一特征图像包括若干个像素点对应的第一测量特征值，所述第二特征图像包括若干个像素点对应的第二测量特征值；以及将所述第一测量特征值对应的最大测量值和最小测量值之间的区间划分为第一预设数量等份，将所述第二测量特征值对应的最大测量值和最小测量值之间的区间划分为第二预设数量等份；以及计算所述第一测量特征值每一等份对应的第一特征编号值，以及计算所述第二测量特征值每一等份对应的第二特征编号值；以及确定所述若干个像素点各自对应的第一特征编号值和第二特征编号值，以及根据所述正常像素点对应的所述第一测量特征值、所述第二测量特征值与所述扩展周期数，构建三维的所述直方图。
85.在一些实施例中，构建单元1202，具体配置为确定所述运动模糊图像对应的第一特征图像；所述第一特征图像包括若干个像素点对应的第一测量特征值；以及将所述第一测量特征值对应的最大测量值和最小测量值之间的区间划分为预设数量等份，以及计算所述第一测量特征值每一等份对应的特征编号值；以及确定所述若干个像素点各自对应的特征编号值，以及根据所述正常像素点对应的测量特征值与扩展周期数，构建二维的所述直方图。
86.在一些实施例中，所述测量特征值包括下述至少之一：测量深度值、测量幅度值、测量灰度值。
87.在一些实施例中，构建单元1202，还配置为在将所述第一测量特征值划分为第一预设数量等份，将所述第二测量特征值划分为第二预设数量等份后，得到所述直方图中包括的至少一个分块；以及根据所述若干个像素点各自对应的第一特征编号值和第二特征编号值，确定所述若干个像素点各自所属的分块。
88.在一些实施例中，构建单元1202，还配置为在将所述第一测量特征值划分为预设数量等份后，得到所述直方图中包括的至少一个分块；以及根据所述若干个像素点各自对应的特征编号值，确定所述若干个像素点各自所属的分块。
89.在一些实施例中，计算单元1203，具体配置为确定第一分块中正常像素点对应的扩展周期数；以及根据所述第一分块中正常像素点对应的扩展周期数，组成所述第一分块对应的扩展周期集；以及根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数；其中，所述第一分块为所述直方图中至少一个分块的任意一个分块。
90.在一些实施例中，计算单元1203，具体配置为将所述扩展周期集的众数作为所述第一分块对应的目标扩展周期数；或者，将所述扩展周期集的中位数作为所述第一分块对应的目标扩展周期数；或者，将所述扩展周期集的平均数作为所述第一分块对应的目标扩
展周期数。
91.在一些实施例中，修复单元1205，具体配置为根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值；以及根据所述异常像素点对应的目标距离值对所述运动模糊图像中的异常像素点进行像素修复，得到所述修复后图像。
92.在一些实施例中，修复单元1205，具体配置为计算所述异常像素点的扩展周期数与当前频率下最大测量距离的乘积；以及对所述乘积和当前频率下测量距离进行求和计算，将计算得到的和值确定为所述目标距离值。
93.可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
94.所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或processor（处理器）执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
95.因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有像素修复程序，所述像素修复程序被至少一个处理器执行时实现前述实施例中任一项所述的方法的步骤。
96.基于上述像素修复装置120的组成以及计算机存储介质，参见图13，其示出了本技术实施例提供的一种电子设备的具体硬件结构示意图。如图13所示，电子设备130可以包括：通信接口1301、存储器1302和处理器1303；各个组件通过总线系统1304耦合在一起。可理解，总线系统1304用于实现这些组件之间的连接通信。总线系统1304除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图13中将各种总线都标为总线系统1304。其中，通信接口1301，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；存储器1302，用于存储能够在处理器1303上运行的计算机程序；处理器1303，用于在运行所述计算机程序时，执行：获取运动模糊图像，所述运动模糊图像包括异常像素点和正常像素点；基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块；根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数；根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数；
根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像。
97.可以理解，本技术实施例中的存储器1302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，rom）、可编程只读存储器（programmable rom，prom）、可擦除可编程只读存储器（erasable prom，eprom）、电可擦除可编程只读存储器（electrically eprom，eeprom）或闪存。易失性存储器可以是随机存取存储器（random access memory，ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器（static ram，sram）、动态随机存取存储器（dynamic ram，dram）、同步动态随机存取存储器（synchronous dram，sdram）、双倍数据速率同步动态随机存取存储器（double data rate sdram，ddrsdram）、增强型同步动态随机存取存储器（enhanced sdram，esdram）、同步链动态随机存取存储器（synchronous link dram，sldram）和直接内存总线随机存取存储器（direct rambus ram，drram）。本文描述的系统和方法的存储器1302旨在包括但不限于这些和任意其它适合类型的存储器。
98.而处理器1303可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1303中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1303可以是通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1302，处理器1303读取存储器1302中的信息，结合其硬件完成上述方法的步骤。
99.可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路（application specific integrated circuits，asic）、数字信号处理器（digital signal processing，dsp）、数字信号处理设备（dsp device，dspd）、可编程逻辑设备（programmable logic device，pld）、现场可编程门阵列（field
‑ꢀ
programmable gate array，fpga）、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
100.对于软件实现，可通过执行本文所述功能的模块（例如过程、函数等）来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
101.可选地，作为另一个实施例，处理器1303还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法的步骤。
102.在一些实施例中，参见图14，其示出了本技术实施例提供的一种电子设备130的组成结构示意图。如图14所示，该电子设备130至少包括前述实施例中任一项所述的像素修复
装置120。
103.在本技术实施例中，对于电子设备130而言，获取运动模糊图像，运动模糊图像包括异常像素点和正常像素点；基于运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，直方图包括至少一个分块；根据每一个分块的扩展周期数分布，计算直方图中每一个分块对应的目标扩展周期数；根据异常像素点对应的测量特征值确定异常像素点所属的第一分块，并将第一分块对应的目标扩展周期数确定为异常像素点对应的扩展周期数；根据异常像素点的扩展周期数对运动模糊图像进行像素修复，确定修复后图像。这样，通过对运动模糊图像中正常像素点对应的扩展周期数确定同一分块异常像素点的扩展周期数，以实现运动模糊图像异常像素点的修复。
104.需要说明的是，在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
105.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
106.本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
107.本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
108.本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
109.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。