一种异常像素识别方法、装置、设备以及计算机存储介质与流程

1.本技术涉及像素识别技术领域，尤其涉及一种异常像素识别方法、装置、设备以及计算机存储介质。


背景技术：

2.目前，时间飞行相机（time of flight，tof）多采用双频融合的方法，提升tof相机的测量精度和范围，同时解决单频情况下的距离模糊现象。该方法通过获取多种频率下的深度测量距离，对上述所有测量距离分别进行周期扩展以求得测量误差最小值，此时主频率对应的周期扩展后距离即为最终距离值。
3.在相关技术中，tof相机采用双频工作，通过双频融合的方法实现不降低测距精度的同时，扩展测量范围。但是不同频率下的深度图像不是在一个积分时间内完成的，两个单频下的成像很难做到一一对应，较易受到随机噪声、目标运动等因素的影响，造成最终的融合结果异常。


技术实现要素：

4.本技术提出一种异常像素识别方法、装置、设备以及计算机存储介质，能够实现待识别图像中异常像素点的识别。
5.本技术的技术方案是这样实现的：第一方面，本技术实施例提供了一种异常像素识别方法，所述方法包括：获取待识别图像；确定所述待识别图像中最小融合误差阈值与测量特征值之间的映射关系；其中，所述映射关系根据至少一个距离下的最小误差图以及对应的测量特征图分析得到；根据所述映射关系确定所述待识别图像中若干个像素点各自对应的最小融合误差阈值；根据所述最小融合误差阈值对所述待识别图像中若干个像素点进行异常像素识别，确定所述待识别图像中的异常像素点。
6.在一些实施例中，所述方法还包括：采集至少一个距离下的双频深度图像；根据所述至少一个距离下的双频深度图像，确定所述至少一个距离下的最小误差图；采集至少一个距离下的测量特征图，其中，所述测量特征图至少包括测量幅度图、测量灰度图或者测量深度图；根据所述至少一个距离下的最小误差图以及对应的至少一个距离下的测量特征图进行拟合分析，确定最小融合误差阈值与测量特征值之间的映射关系。
7.在一些实施例中，所述采集至少一个距离下的双频深度图像以及至少一个距离下的测量特征图，包括：
在静止场景下进行不同距离的图像采集，确定所述至少一个距离下的双频深度图像以及至少一个距离下的测量特征图。
8.在一些实施例中，所述根据所述至少一个距离下的双频深度图像，确定所述至少一个距离下的最小误差图，包括：根据所述至少一个距离下的双频深度图像分别进行最小融合误差计算，确定所述至少一个距离各自对应的最小误差图。
9.在一些实施例中，所述根据所述至少一个距离下的双频深度图像分别进行最小融合误差计算，确定所述至少一个距离各自对应的最小误差图，包括：根据第一距离下的双频深度图像，确定第一频率下的第一测量距离值和至少一个第一测量模糊次数以及在第二频率下的第二测量距离值和至少一个第二测量模糊次数；根据第一频率下的所述第一测量距离值和所述至少一个第一测量模糊次数，计算第一频率对应的至少一个第一候选距离；根据第二频率下的所述第二测量距离值和所述至少一个第二测量模糊次数，计算第二频率对应的至少一个第二候选距离；基于所述第一频率对应的至少一个第一候选距离和所述第二频率对应的至少一个第二候选距离，计算第一距离对应的所述最小误差图；其中，所述第一距离为所述至少一个距离中的任意一个。
10.在一些实施例中，所述基于所述第一频率对应的至少一个第一候选距离和所述第二频率对应的至少一个第二候选距离，计算第一距离对应的所述最小误差图，包括：对所述第一频率对应的至少一个第一候选距离和所述第二频率对应的至少一个第二候选距离进行作差计算得到若干个差值；根据所述若干个差值中的最小差值，得到所述第一距离对应的最小误差图。
11.在一些实施例中，所述根据所述至少一个距离下的最小误差图以及对应的测量特征图进行拟合分析，确定最小融合误差阈值与测量特征值之间的映射关系，包括：根据所述至少一个距离下的最小误差图以及对应的测量特征图，构建第一分布图；其中，所述第一分布图用于反映最小融合误差阈值与测量特征值之间的映射关系；基于所述第一分布图，确定至少一个测量特征值对应的最小融合误差阈值；根据所述至少一个测量特征值与对应的最小融合误差阈值进行拟合处理，确定所述最小融合误差阈值与测量特征值之间的映射关系。
12.在一些实施例中，所述基于所述第一分布图，确定至少一个测量特征值对应的最小融合误差阈值，包括：基于所述第一分布图，确定第一测量特征值对应的最小误差值；计算所述第一测量特征值对应的最小误差值的预设分位数；将所述预设分位数确定为所述第一测量特征值对应的最小融合误差阈值；其中，所述第一测量特征值为所述至少一个测量特征值中的任意一个。
13.在一些实施例中，所述根据所述映射关系确定所述待识别图像中若干个像素点各自对应的最小融合误差阈值，包括：确定所述待识别图像中的若干个像素点各自对应的测量特征值；基于所述像素点各自对应的测量特征值以及所述映射关系，确定所述待识别图像
对应的最小融合误差阈值；其中，所待识别图像中的像素点与最小融合误差阈值之间具有对应关系。
14.在一些实施例中，所述根据所述最小融合误差阈值对所述待识别图像中若干个像素点进行异常像素识别，确定所述待识别图像中的异常像素点，包括：确定所述待识别图像中的像素点各自对应的最小融合误差；若所述像素点对应的最小融合误差值小于或者等于所述像素点对应的最小融合误差阈值，则确定所述像素点为正常像素点；若所述像素点对应的最小融合误差值大于所述像素点对应的最小融合误差阈值，则确定所述像素点为异常像素点。
15.第二方面，本技术实施例提供了一种异常像素识别装置，包括：获取单元，配置为获取待识别图像；映射单元，配置为确定所述待识别图像中最小融合误差阈值与测量特征值之间的映射关系；其中，所述映射关系根据至少一个距离下的最小误差图以及对应的测量特征图分析得到；确定单元，配置为根据所述映射关系确定所述待识别图像中若干个像素点各自对应的最小融合误差阈值；识别单元，配置为根据所述最小融合误差阈值对所述待识别图像中若干个像素点进行异常像素识别，确定所述待识别图像中的异常像素点。
16.第三方面，本技术实施例提供了一种电子设备，包括：存储器，用于存储能够在处理器上运行的计算机程序；处理器，用于在运行所述计算机程序时，执行如第一方面中任一项所述的异常像素识别方法。
17.第四方面，本技术实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如第一方面中任一项所述的异常像素识别方法。
18.本技术实施例所提供的一种异常像素识别方法、装置、设备以及计算机存储介质，获取待识别图像；确定待识别图像中最小融合误差阈值与测量特征值之间的映射关系；其中，映射关系根据至少一个距离下的最小误差图以及对应的测量特征图分析得到；根据映射关系确定待识别图像中若干个像素点各自对应的最小融合误差阈值；根据最小融合误差阈值对待识别图像中若干个像素点进行异常像素识别，确定待识别图像中的异常像素点。这样，通过待识别图像中最小融合误差阈值和测量特征值之间的映射关系确定对应的最小融合误差阈值，并根据最小融合误差阈值识别待识别图像中的像素点是否为异常像素点，实现待识别图像中的异常像素点的识别，并对异常像素点进行标记，以便后续对异常的像素点进行修复处理时能精准获取需要修复的像素点。
附图说明
19.图1为相关技术提供的一种双频融合的工作原理示意图；图2为相关技术提供的一种双频融合的运动模糊原理示意图；图3a为相关技术提供的一种频率下的深度图像示意图；
图3b为相关技术提供的另一种频率下的深度图像示意图；图4为相关技术提供的一种双频融合后的运动模糊图像示意图；图5为本技术实施例提供的一种异常像素识别方法的流程示意图；图6为本技术实施例提供的另一种异常像素识别方法的流程示意图；图7为本技术实施例提供的一种双频融合中运动噪声造成的融合异常的待处理图像示意图；图8为本技术实施例提供的一种最小融合误差图示意图；图9为本技术实施例提供的一种幅度值-最小融合误差值对应的分段线性拟合曲线示意图；图10为本技术实施例提供的一种异常像素点标记后的双频运动模糊图像示意图；图11为本技术实施例提供的一种异常像素识别装置的组成结构示意图；图12为本技术实施例提供的一种电子设备的具体硬件结构示意图；图13为本技术实施例提供的一种电子设备的组成结构示意图。
具体实施方式
20.为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术实施例。
21.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
22.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。还需要指出，本技术实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
23.可以理解，参见图1，其示出了一种双频融合原理示意图，如图1所示，tof相机多采用双频融合的方法，提升tof相机的测量精度和范围，同时解决单频情况下的距离模糊现象。该方法通过获取多种频率下的深度测量距离，对上述所有测量距离分别进行周期扩展以求得测量误差最小值，此时主频率对应的周期扩展后距离即为最终距离值。
24.参见图2，若tof相机的成像对象在两个单频下为一一对应关系，上述方法确实能够实现不降低测距精度的同时，扩展测量范围。但实际上tof相机的双频深度图像是顺序积分得到的（例如频率1先积分获取一幅深度测量值、频率2再积分获取另外一幅深度测量值），所有频率均获取对应深度测量值后，才能按照周期扩展的方法获取融合后的深度值。很明显，当测量目标在两个单频下是很难做到一一对应的，部分像素在成像过程中或多或少会受到其它因素的影响，例如随机噪声、目标运动等，此时无论怎样进行周期扩展，其融合误差均会明显偏大，造成最终深度融合图像存在明显异常。
25.在此基础上，通过上述分析可见双频融合造成的运动模糊，与可见光下的运动拖影现象类似，通过图像配准、运动估计等方法可以很好的解决可见光的运动拖影现象。但上
述方法并不能很好地解决tof相机的双频融合运动模糊，因为双频深度图像的像素值存在较大差异，而且由于单频固有的深度混叠现象，进一步加深了两幅深度图像直接进行运动估计或者图像配准的难度。示例性的，参见图3a和图3b，其示出了两种不同频率下的深度图像，将图3a和图3b进行融合后得到如图4所示的双频融合后的运动模糊图像，融合后的图像存在明显的模糊区域。
26.在相关技术中，tof相机采用双频工作，以实现不降低测距精度的同时，扩展测量范围。但是不同频率下的深度图像不是在一个积分时间内完成的，两个单频下的成像很难做到一一对应，较易收到随机噪声、目标运动等因素的影响，造成最终的融合结果异常。双频深度图像之间的明显差异，造成传统可见光下的图像配准、运动估计等方法不能很好解决上述问题。而通过提升帧率或同一积分时间获取多幅相位图像方法（2-tap、4-tap）等电路改进方法，可以减轻运动模糊现象，但成本高、实施难度大且无法从根本上彻底消除运动模糊像素的问题。
27.基于此，本技术实施例提供了一种异常像素识别方法，该方法的基本思想是：获取待识别图像；确定待识别图像中最小融合误差阈值与测量特征值之间的映射关系；其中，映射关系根据至少一个距离下的最小误差图以及对应的测量特征图分析得到；根据映射关系确定待识别图像中若干个像素点各自对应的最小融合误差阈值；根据最小融合误差阈值对待识别图像中若干个像素点进行异常像素识别，确定待识别图像中的异常像素点。这样，通过待识别图像中最小融合误差阈值和测量特征值之间的映射关系确定对应的最小融合误差阈值，并根据最小融合误差阈值识别待识别图像中的像素点是否为异常像素点，实现待识别图像中的异常像素点的识别，并对异常像素点进行标记，以便后续对异常的像素点进行修复处理时能精准获取需要修复的像素点。
28.在本技术的一实施例中，参见图5，其示出了本技术实施例提供的一种异常像素识别方法的流程示意图。如图5所示，该方法可以包括：s501：获取待识别图像。
29.需要说明的是，本技术实施例提供的像素标记方法可以应用于具有像素修复需求的电子设备中。这里，电子设备具有双频tof相机，可以是诸如计算机、智能手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理（personal digital assistant，pda）、导航装置、可穿戴设备等等的电子设备，本技术实施例对此不作具体限定。
30.还需要说明的是，本技术实施例中，待识别图像是在双频深度图像进行融合的过程中因为随机噪声、目标运动等原因，造成最终深度融合图像存在异常，异常图像中包括清晰区域和模糊区域，其中清晰区域的像素点为正常像素点，模糊区域的像素点为异常像素点。
31.s502：确定所述待识别图像中最小融合误差阈值与测量特征值之间的映射关系；其中，所述映射关系根据至少一个距离下的最小误差图以及对应的测量特征图分析得到。
32.需要说明的是，在本技术实施例中，待识别图像中最小融合误差阈值与测量特征值之间存在关联关系，其中测量特征值可以包括深度测量值、幅度测量值或者其他与最小融合误差阈值存在关联关系的测量特征值。
33.在一些实施例中，参见图6，其示出了本技术实施例提供的另一种异常像素识别方法的流程示意图，如图6所示，该步骤可以包括：
s601：采集至少一个距离下的双频深度图像。
34.s602：根据所述至少一个距离下的双频深度图像，确定所述至少一个距离下的最小误差图。
35.s603：采集至少一个距离下的测量特征图，其中，所述测量特征图至少包括测量幅度图、测量灰度图或者测量深度图；s604：根据所述至少一个距离下的最小误差图以及对应的至少一个距离下的测量特征图进行拟合分析，确定最小融合误差阈值与测量特征值之间的映射关系。
36.需要说明的是，在本技术实施例中，需要采集多个距离下的双频深度图像，分别确定每一个距离下的最小误差图，还需要采集多个距离下的测量特征图，并进行拟合分析，得到每个距离之下的最小融合误差阈值与测量特征值之间的映射关系，在测量特征图为测量深度图的情况下，可以直接使用双频深度图像中任意一个频率的深度图作为测量特征图。
37.还需要说明的是，在本技术实施例中，最小融合误差阈值与测量特征值之间的映射关系可以是函数、曲线、直方图等形式，在此不作任何限定。在进行拟合分析的过程中，可采用分段线性拟合、曲线拟合或其它可描述所构建曲线特征的拟合，在此不作任何限定。
38.在一些实施例中，所述采集至少一个距离下的双频深度图像以及至少一个距离下的测量特征图，包括：在静止场景下进行不同距离的图像采集，确定所述至少一个距离下的双频深度图像以及至少一个距离下的测量特征图。
39.需要说明的是，在本技术实施例中，在双频tof相机的测量范围内分别进行不同距离下的图像采集，得到不同距离下的双频深度图像。
40.在一些实施例中，所述根据所述至少一个距离下的双频深度图像，确定所述至少一个距离下的最小误差图，包括：根据所述至少一个距离下的双频深度图像分别进行最小融合误差计算，确定所述至少一个距离各自对应的最小误差图。
41.需要说明的是，在本技术实施例中，对双频深度图像进行最小融合误差计算，具体是对双频深度图像中的每一个像素点的最小融合误差进行计算，最终得到最小误差图，对双频深度图像进行测量特征值计算，具体是对双频深度图像中的每一个像素点的测量特征值计算，最终得到测量特征图。
42.在一些实施例中，所述根据所述至少一个距离下的双频深度图像分别进行最小融合误差计算，确定所述至少一个距离各自对应的最小误差图，包括：根据第一距离下的双频深度图像，确定第一频率下的第一测量距离值和至少一个第一测量模糊次数以及在第二频率下的第二测量距离值和至少一个第二测量模糊次数；根据第一频率下的所述第一测量距离值和所述至少一个第一测量模糊次数，计算第一频率对应的至少一个第一候选距离；根据第二频率下的所述第二测量距离值和所述至少一个第二测量模糊次数，计算第二频率对应的至少一个第二候选距离；基于所述第一频率对应的至少一个第一候选距离和所述第二频率对应的至少一个第二候选距离，计算第一距离对应的所述最小误差图；其中，所述第一距离为所述至少一个距离中的任意一个。
43.需要说明的是，在本技术实施例中，第一频率和第二频率分别为双频tof相机的两个频率，在双频tof相机的测量范围内，采集至少一个距离下的双频深度图像。
44.还需要说明的是，在本技术实施例中，在第一距离下，分别确定第一频率对应的第一测量距离值和至少一个测量模糊次数，以及第二频率对应的第一测量距离值和至少一个测量模糊次数，并计算第一频率的至少一个第一候选距离，以及第二频率下的至少一个第二候选距离，在根据至少一个第一候选距离和至少一个第二候选距离确定最小误差图时，将第一频率的至少一个候选距离与第二个频率的至少一个候选距离进行作差，并选择差值最小作为最小融合误差值并形成最小误差图。
45.在一些具体地实施例中，所述根据第一频率下的所述第一测量距离值和所述至少一个第一测量模糊次数，计算第一频率对应的至少一个第一候选距离，包括：基于所述第一频率和光速，确定所述第一频率对应的第一最大测量距离；计算所述第一最大测量距离与所述至少一个第一测量模糊次数的乘积，得到第一值；对所述第一值和所述第一测量距离值进行求和计算，将所得到的第一和值确定为所述第一频率对应的至少一个第一候选距离；相应地，所述根据第二频率下的所述第二测量距离值和所述至少一个第二测量模糊次数，计算第二频率对应的至少一个第二候选距离，包括：基于所述第二频率和光速，确定所述第二频率对应的第二最大测量距离；计算所述第二最大测量距离与所述至少一个第二测量模糊次数的乘积，得到第二值；对所述第二值和所述第二测量距离值进行求和计算，将所得到的第二和值确定为所述第二频率对应的至少一个第二候选距离。
46.需要说明的是，在本技术实施例中，第一最大测量距离通过光速和第一频率进行计算，第二最大测量距离通过光速和第二频率进行计算，每个频率对应一个最大测量距离。
47.还需要说明的是，在本技术实施例中，同一距离下对应一个测量距离，对应多个测量模糊次数，所以根据至少一个第一测量模糊次数计算出来至少一个第一候选距离，同样的，根据至少一个第二测量模糊次数计算出来至少一个第二候选距离。
48.在一些具体地实施例中，所述基于所述第一频率对应的至少一个第一候选距离和所述第二频率对应的至少一个第二候选距离，计算第一距离对应的所述最小误差图，包括：对所述第一频率对应的至少一个第一候选距离和所述第二频率对应的至少一个第二候选距离进行作差计算得到若干个差值；根据所述若干个差值中的最小差值，得到所述第一距离对应的最小误差图。
49.需要说明的是，在本技术实施例中，对所述第一频率对应的至少一个第一候选距离和所述第二频率对应的至少一个第二候选距离进行作差计算得到若干个差值时，具体为，至少一个第一候选距离中的任意一个第一候选距离与至少一个第二候选距离中的任意一个第二候选距离进行作差，得到若干个差值，在若干个差值中选择最小的差值最为最小融合误差值，进而得到最小误差图。
50.在一些实施例中，所述根据所述至少一个距离下的最小误差图以及对应的测量特征图进行拟合分析，确定最小融合误差阈值与测量特征值之间的映射关系，包括：
根据所述至少一个距离下的最小误差图以及对应的测量特征图，构建第一分布图；其中，所述第一分布图用于反映最小融合误差阈值与测量特征值之间的映射关系；基于所述第一分布图，确定至少一个测量特征值对应的最小融合误差阈值；根据所述至少一个测量特征值与对应的最小融合误差阈值进行拟合处理，确定所述最小融合误差阈值与测量特征值之间的映射关系。
51.需要说明的是，在本技术实施例中，测量特征值可以包括测量灰度值、测量深度值、测量幅度值或其它可描述当前最小融合误差变化特征值，在此不作任何限定，在根据测量特征图和最小误差图建立第一分布图后，确定测量特征值和最小融合误差阈值的对应关系。
52.还需要说明的是，在本技术实施例中，对至少一个测量特征值与对应的最小融合误差阈值进行拟合处理过程中，拟合处理可以为分段线性拟合、曲线拟合或其它可描述所构建曲线特征的拟合，得到幅值与最小融合误差阈值分布曲线，确定最小融合误差阈值与测量特征值之间的映射关系。
53.在一些实施例中，所述基于所述第一分布图，确定至少一个测量特征值对应的最小融合误差阈值，包括：基于所述第一分布图，确定第一测量特征值对应的最小误差值；计算所述第一测量特征值对应的最小误差值的预设分位数；将所述预设分位数确定为所述第一测量特征值对应的最小融合误差阈值；其中，所述第一测量特征值为所述至少一个测量特征值中的任意一个。
54.需要说明的是，在本技术实施例中，最小误差值对应的形成还有其他环境因素的影响，根据环境因素的影响程度设定预设分位数，对最小误差值取预设分位数，可以近似模拟除去其他环境因素对结果的影响，示例性的，预设分位数可以设置为95%。
55.这样，通过对测量特征值和最小融合误差进行拟合处理，确定所述待识别图像中最小融合误差阈值与测量特征值之间的映射关系；其中，所述映射关系根据至少一个距离下的最小误差图以及对应的测量特征图分析得到。
56.s503：根据所述映射关系确定所述待识别图像中若干个像素点各自对应的最小融合误差阈值。
57.需要说明的是，在一些实施例中，待识别图像中每一个像素点都有各自对应的最小融合误差阈值，通过对比每一个像素点的最小融合误差值和最小融合误差阈值，进行像素点的识别。
58.在一些实施例中，对于步骤s503而言，所述根据所述映射关系确定所述待识别图像中若干个像素点各自对应的最小融合误差阈值，包括：确定所述待识别图像中的像素点各自对应的测量特征值；基于所述像素点各自对应的测量特征值以及所述映射关系，确定所述待识别图像对应的最小融合误差阈值；其中，所待识别图像中的像素点与最小融合误差阈值之间具有对应关系。
59.需要说明的是，在本技术实施例中，基于所述像素点各自对应的当前测量特征值以及所述映射关系，确定所述待识别图像对应的最小融合误差阈值的过程中，将不同的当前测量特征值带入到拟合处理的过程中的拟合函数中得到最小融合误差阈值。
60.还需要说明的是，在本技术实施例中，以分段线性拟合为例，对应多个拟合函数，因此在将当前测量特征值带入到拟合函数时，需要根据测量特征值的确定选择哪一个拟合函数进行带入，带入的拟合函数不符合测量特征值所述范围，会导致得到的最小融合误差阈值不准确。
61.s504：根据所述最小融合误差阈值对所述待识别图像中若干个像素点进行异常像素识别，确定所述待识别图像中的异常像素点。
62.需要说明的是，在本技术实施例中，在进行异常像素识别的过程中是通过将该像素的最小融合误差阈值与最小融合误差值进行比较，在最小融合误差值大于所述像素点对应的最小融合误差阈值的情况下，确定所述像素点为异常像素点。
63.在一些实施例中，对于s504而言，在一些实施例中，所述根据所述最小融合误差阈值对所述待识别图像中若干个像素点进行异常像素识别，确定所述待识别图像中的异常像素点，包括：确定所述待识别图像中的像素点各自对应的最小融合误差值；若所述像素点对应的最小融合误差值小于或者等于所述像素点对应的最小融合误差阈值，则确定所述像素点为正常像素点；若所述像素点对应的最小融合误差值大于所述像素点对应的最小融合误差阈值，则确定所述像素点为异常像素点。
64.需要说明的是，在本技术实施例中，在对一个像素点进行识别时，需要先对该像素点的最小融合误差值，并将最小融合误差值与该像素点对应的最小融合误差阈值进行比较，在最小融合误差值大于最小融合误差阈值的情况下，该像素点为异常像素点。
65.在一些实施例中，在确定像素点为异常像素点的情况下，对该像素点进行标记，得到标记后的双频运动模糊图像，以便后续对异常像素进行修复处理。
66.本技术实施例提供了一种异常像素识别方法，获取待识别图像；确定待识别图像中最小融合误差阈值与测量特征值之间的映射关系；其中，映射关系根据至少一个距离下的最小误差图以及对应的测量特征图分析得到；根据映射关系确定待识别图像中若干个像素点各自对应的最小融合误差阈值；根据最小融合误差阈值对待识别图像中若干个像素点进行异常像素识别，确定待识别图像中的异常像素点。这样，通过待识别图像中最小融合误差阈值和测量特征值之间的映射关系确定对应的最小融合误差阈值，并根据最小融合误差阈值识别待识别图像中的像素点是否为异常像素点，实现待识别图像中的异常像素点的识别，并对异常像素点进行标记，以便后续对异常的像素点进行修复处理时能精准获取需要修复的像素点。
67.在本技术的另一实施例中，基于前述实施例所述的异常像素识别方法，对tof相机双频融合造成的异常像素识别，本发明以双频融合时的运动噪声为例，通过拟合处理的方式得到幅度值（灰度值或其它可描述距离变化的值）-最小融合误差曲线，基于误差曲线得到幅度值对应的最小融合误差阈值，对双频融合异常像素进行识别，便于后续算法对该区域进行修复。
68.具体地，在一些实施例中，参见图7，其示出了一种双频融合中运动噪声造成的融合异常的待处理图像示意图，在基于最小融合误差对该待处理图像进行双频运动模糊区域标记时，该方法可以包括：
步骤1、tof相机双频工作下的频率分别为/ ，测量距离为/ ，而实际场景的距离满足：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中，表示当前频率的最大测量距离。
69.表示当前频率的最大测量距离。
70.表示场景的真实距离。
71.表示频率对应的测量距离。
72.表示频率
ꢀꢀ
对应的测量距离。
73.表示频率对应的测量模糊次数。
74.表示频率对应的测量模糊次数。
75.c表示光速。
76.分别对上式中的和进行周期扩展，并按下式求得最小融合误差：
ꢀꢀꢀꢀꢀꢀꢀ
（3）得到最小如何误差图，如图8所示；步骤2、由于实际场景下，最小融合误差与测量幅度值（测量灰度值、测量深度值或其它可描述当前最小融合误差变化特征值）相关，为了能够根据当前测量幅度值（测量灰度值、测量幅度值或其它可描述当前最小融合误差变化特征值）自适应确定当前的最小融合误差阈值，需要采集多组不同距离下的数据。在本技术实施例中，以最小误差和测量幅度值为例进行说明，采集静止场景下多个距离的双频深度图像及双频幅度值图，分别按步骤1中的步骤获取多个距离下的最小误差图；步骤3、根据步骤2获取的不同距离下多幅最小融合误差图及对应的幅度值图，构建幅度值-最小融合误差图（x：幅度值，y：最小融合误差）如图9所示。
77.步骤4、考虑到场景中还存在其它噪声因素，对每一个幅度值分别取95%分位数的最小融合误差作为该幅度值下的最小融合误差阈值，将上述幅度值及对应的最小融合误差阈值进行分段线性拟合、曲线拟合或其它可描述所构建曲线特征的拟合，得到幅度值-最小融合误差阈值分布曲线，此处以分段线性拟合为例说明，假设曲线为：；
ꢀꢀꢀ
（4）步骤5、输入当前幅度测量值，根据步骤4公式，求取最小融合误差阈值，确定大于阈值的像素点为异常像素点，并标记为运动模糊点，标记后的图像如图10所示。
78.本技术实施例分析了双频融合异常像素产生的原因，并建立了一种对双频融合异常像素识别的方法；以及，以运动噪声造成的异常像素识别为例，采集静止场景下多个距离
的双频深度图像，提出了一种构建多个距离下幅度值（测量灰度值、测量深度值或其它可描述当前最小融合误差变化特征值）-最小融合误差分布图方法；以及以幅度值为例，在幅度值-最小融合误差分布图中，对每一个幅度值对应的最小融合误差取95%分位数据，规避实际场景下噪声因素，然后再采用分段线性拟合、曲线拟合或其它可描述所构建曲线特征的拟合方法，获取不同幅度值下的最小融合误差阈值。以及实际场景应用时，可以由当前的幅度测量值，通过上述方法构建的曲线，自适应选取双频融合异常像素判断阈值，鲁棒性更好。
79.本技术实施例提供了一种异常像素识别方法，基于上述实施例对前述实施例的具体实现进行详细阐述，从中可以看出，根据前述实施例的技术方案，本技术方案提出了对tof相机双频融合造成的异常像素识别，本发明以双频融合时的运动噪声为例，通过构建幅度值（灰度值或其它可描述距离变化的值）-最小融合误差曲线，结合分段线性拟合、曲线拟合或其它可描述所构建曲线特征的拟合，得到融合误差阈值，对双频融合异常像素进行识别，并对异常像素点进行标注，便于后续对异常像素点进行修复。
80.在本技术的又一实施例中，参见图11，其示出了本技术实施例提供的一种异常像素识别装置的组成结构示意图。如图11所示，该异常像素识别装置110可以包括：获取单元1101，配置为获取待识别图像；映射单元1102，配置为确定所述待识别图像中最小融合误差阈值与测量特征值之间的映射关系；其中，所述映射关系根据至少一个距离下的最小误差图以及对应的测量特征图分析得到；确定单元1103，配置为根据所述映射关系确定所述待识别图像中若干个像素点各自对应的最小融合误差阈值；识别单元1104，配置为根据所述最小融合误差阈值对所述待识别图像中若干个像素点进行异常像素识别，确定所述待识别图像中的异常像素点。
81.在一些实施例中，映射单元1102，还配置为采集至少一个距离下的双频深度图像；以及根据所述至少一个距离下的双频深度图像，确定所述至少一个距离下的最小误差图；以及采集至少一个距离下的测量特征图，其中，所述测量特征图至少包括测量幅度图、测量灰度图或者测量深度图；以及根据所述至少一个距离下的最小误差图以及对应的至少一个距离下的测量特征图进行拟合分析，确定最小融合误差阈值与测量特征值之间的映射关系。
82.在一些实施例中，映射单元1102，具体配置为在静止场景下进行不同距离的图像采集，确定所述至少一个距离下的双频深度图像以及至少一个距离下的测量特征图；其中，所述测量特征值至少包括测量幅度值、测量灰度值或者测量深度值。
83.在一些实施例中，映射单元1102，具体配置为根据所述至少一个距离下的双频深度图像分别进行最小融合误差计算，确定所述至少一个距离各自对应的最小误差图。
84.在一些实施例中，映射单元1102，具体配置为根据第一距离下的双频深度图像，确定第一频率下的第一测量距离值和至少一个第一测量模糊次数以及在第二频率下的第二测量距离值和至少一个第二测量模糊次数；以及根据第一频率下的所述第一测量距离值和所述至少一个第一测量模糊次数，计算第一频率对应的至少一个第一候选距离；以及根据第二频率下的所述第二测量距离值和所述至少一个第二测量模糊次数，计算第二频率对应
的至少一个第二候选距离；以及基于所述第一频率对应的至少一个第一候选距离和所述第二频率对应的至少一个第二候选距离，计算第一距离对应的所述最小误差图；其中，所述第一距离为所述至少一个距离中的任意一个。
85.在一些实施例中，映射单元1102，具体配置为基于所述第一频率和光速，确定所述第一频率对应的第一最大测量距离；以及计算所述第一最大测量距离与所述至少一个第一测量模糊次数的乘积，得到第一值；以及对所述第一值和所述第一测量距离值进行求和计算，将所得到的第一和值确定为所述第一频率对应的至少一个第一候选距离；相应地，映射单元1102，还配置为基于所述第二频率和光速，确定所述第二频率对应的第二最大测量距离；以及计算所述第二最大测量距离与所述至少一个第二测量模糊次数的乘积，得到第二值；以及对所述第二值和所述第二测量距离值进行求和计算，将所得到的第二和值确定为所述第二频率对应的至少一个第二候选距离。
86.映射单元1102，具体配置为对所述第一频率对应的至少一个第一候选距离和所述第二频率对应的至少一个第二候选距离进行作差计算得到若干个差值；以及根据所述若干个差值中的最小差值，得到所述第一距离对应的最小误差图。
87.映射单元1102，具体配置为根据所述至少一个距离下的最小误差图以及对应的测量特征图，构建第一分布图；其中，所述第一分布图用于反映最小融合误差阈值与测量特征值之间的映射关系；以及基于所述第一分布图，确定至少一个测量特征值对应的最小融合误差阈值；以及根据所述至少一个测量特征值与对应的最小融合误差阈值进行拟合处理，确定所述最小融合误差阈值与测量特征值之间的映射关系。
88.映射单元1102，具体配置为基于所述第一分布图，确定第一测量特征值对应的最小误差值；以及计算所述第一测量特征值对应的最小误差值的预设分位数；以及将所述预设分位数确定为所述第一测量特征值对应的最小融合误差阈值；其中，所述第一测量特征值为所述至少一个测量特征值中的任意一个。
89.确定单元1103，具体配置为确定所述待识别图像中的像素点各自对应的测量特征值；以及基于所述像素点各自对应的测量特征值以及所述映射关系，确定所述待识别图像对应的最小融合误差阈值；其中，所待识别图像中的像素点与最小融合误差阈值之间具有对应关系。
90.识别单元1104，具体配置为确定所述待识别图像中的像素点各自对应的最小融合误差；以及若所述像素点对应的最小融合误差值小于或者等于所述像素点对应的最小融合误差阈值，则确定所述像素点为正常像素点；以及若所述像素点对应的最小融合误差值大于所述像素点对应的最小融合误差阈值，则确定所述像素点为异常像素点。
91.可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
92.所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产
品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或processor（处理器）执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
93.因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有异常像素识别程序，所述异常像素识别程序被至少一个处理器执行时实现前述实施例中任一项所述的方法的步骤。
94.基于上述异常像素识别装置110的组成以及计算机存储介质，参见图12，其示出了本技术实施例提供的一种电子设备的具体硬件结构示意图。如图12所示，电子设备120可以包括：通信接口1201、存储器1202和处理器1203；各个组件通过总线系统1204耦合在一起。可理解，总线系统1204用于实现这些组件之间的连接通信。总线系统1204除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图12中将各种总线都标为总线系统1204。其中，通信接口1201，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；存储器1202，用于存储能够在处理器1203上运行的计算机程序；处理器1203，用于在运行所述计算机程序时，执行：获取待识别图像；确定所述待识别图像中最小融合误差阈值与测量特征值之间的映射关系；其中，所述映射关系根据至少一个距离下的最小误差图以及对应的测量特征图分析得到；根据所述映射关系确定所述待识别图像对应的最小融合误差阈值；根据所述最小融合误差阈值对所述待识别图像进行异常像素识别，确定所述待识别图像中的异常像素点。
95.可以理解，本技术实施例中的存储器1202可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，rom）、可编程只读存储器（programmable rom，prom）、可擦除可编程只读存储器（erasable prom，eprom）、电可擦除可编程只读存储器（electrically eprom，eeprom）或闪存。易失性存储器可以是随机存取存储器（random access memory，ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器（static ram，sram）、动态随机存取存储器（dynamic ram，dram）、同步动态随机存取存储器（synchronous dram，sdram）、双倍数据速率同步动态随机存取存储器（double data rate sdram，ddrsdram）、增强型同步动态随机存取存储器（enhanced sdram，esdram）、同步链动态随机存取存储器（synchronous link dram，sldram）和直接内存总线随机存取存储器（direct rambus ram，drram）。本文描述的系统和方法的存储器1202旨在包括但不限于这些和任意其它适合类型的存储器。
96.而处理器1203可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1203中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1203可以是通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门
阵列（field programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1202，处理器1203读取存储器1202中的信息，结合其硬件完成上述方法的步骤。
97.可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路（application specific integrated circuits，asic）、数字信号处理器（digital signal processing，dsp）、数字信号处理设备（dsp device，dspd）、可编程逻辑设备（programmable logic device，pld）、现场可编程门阵列（field
‑ꢀ
programmable gate array，fpga）、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
98.对于软件实现，可通过执行本文所述功能的模块（例如过程、函数等）来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
99.可选地，作为另一个实施例，处理器1203还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法的步骤。
100.在一些实施例中，参见图13，其示出了本技术实施例提供的一种电子设备120的组成结构示意图。如图13所示，该电子设备120至少包括前述实施例中任一项所述的异常像素识别装置110。
101.在本技术实施例中，对于电子设备120而言，获取待识别图像；确定待识别图像中最小融合误差阈值与测量特征值之间的映射关系；其中，映射关系根据至少一个距离下的最小误差图以及对应的测量特征图分析得到；根据映射关系确定待识别图像中若干个像素点各自对应的最小融合误差阈值；根据最小融合误差阈值对待识别图像中若干个像素点进行异常像素识别，确定待识别图像中的异常像素点。这样，通过待识别图像中最小融合误差阈值和测量特征值之间的映射关系确定对应的最小融合误差阈值，并根据最小融合误差阈值识别待识别图像中的像素点是否为异常像素点，实现待识别图像中的异常像素点的识别，并对异常像素点进行标记，以便后续对异常的像素点进行修复处理时能精准获取需要修复的像素点。
102.需要说明的是，在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
103.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
104.本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
105.本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
106.本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
107.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。