深度信息处理方法、深度信息处理装置、介质与电子设备与流程

1.本公开涉及图像处理技术领域，尤其涉及一种深度信息处理方法、深度信息处理装置、计算机可读存储介质与电子设备。


背景技术：

2.深度信息作为描述三维图像和三维场景的重要信息，在智能安防、人机交互、机器人交互等3d(3
‑
dimension，三维)视觉领域具有广泛应用。现有方案通常是基于双目视觉、结构光或tof(time of flight，时间飞行)技术来确定图像的深度信息的。其中，tof技术是通过由tof传感器主动发射红外光到物体表面，并接收经物体反射回的光信号，进而基于飞行时间来确定深度信息。然而，采用这种方式往往对终端设备的硬件具有较高的要求，当物体离终端设备的距离较远，或者物体距离终端设备较近但反射率较低时，生成的深度信息往往精度较低、质量较差，另外，当环境噪声强度较大时，还会影响生成的深度信息的准确性。


技术实现要素：

3.本公开提供了一种深度信息处理方法、深度信息处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善现有技术中对于远距离物体或近距离低反射率物体，难以准确、有效的确定深度信息的问题。
4.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
5.根据本公开的第一方面，提供一种深度信息处理方法，包括：获取由飞行时间tof传感器采集的多个第一像素点的原始信号；将相邻的第一像素点的原始信号进行叠加，生成第二像素点的增强信号；基于所述增强信号输出深度信息。
6.根据本公开的第二方面，提供一种深度信息处理装置，包括：原始信号获取模块，用于获取由飞行时间tof传感器采集的多个第一像素点的原始信号；增强信号生成模块，用于将相邻的第一像素点的原始信号进行叠加，生成第二像素点的增强信号；深度信息输出模块，用于基于所述增强信号输出深度信息。
7.根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的深度信息处理方法及其可能的实现方式。
8.根据本公开的第四方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的深度信息处理方法及其可能的实现方式。
9.本公开的技术方案具有以下有益效果：
10.获取由飞行时间tof传感器采集的多个第一像素点的原始信号；将相邻的第一像素点的原始信号进行叠加，生成第二像素点的增强信号；基于增强信号输出深度信息。一方
面，本示例性实施例提出一种新的深度信息处理方法，通过将相邻的第一像素点的原始信号进行叠加，生成第二像素点的增强信号，进而根据增强信号确定深度信息，在不改变tof传感器硬件结构，也无需增加终端设备功耗的情况下，通过算法对原始信号进行信号增强，使得根据增强信号确定的深度信息，具有较高的准确性和可信度；另一方面，本示例性实施例针对远距离物体和近距离低反射率的物体，或者其他低功耗的应用场景下，均能够通过对原始信号叠加生成的增强信号确定准确的深度信息，适用范围较广。
11.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
12.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1示出本示例性实施方式中一种系统架构的示意图；
14.图2示出本示例性实施方式中一种电子设备的结构图；
15.图3示出本示例性实施方式中一种深度信息处理方法的流程图；
16.图4示出本示例性实施方式中一种原始图像数据的示意图；
17.图5示出本示例性实施方式中将相邻的第一像素点合并为第二像素点的示意图；
18.图6示出本示例性实施方式中一种深度信息处理方法的子流程图；
19.图7示出本示例性实施方式中另一种深度信息处理方法的子流程图；
20.图8示出本示例性实施方式中再一种深度信息处理方法的子流程图；
21.图9示出本示例性实施方式中确定目标深度信息的示意图；
22.图10示出本示例性实施方式中另一种深度信息处理方法的流程图；
23.图11示出本示例性实施方式中一种深度信息处理装置的结构图。
具体实施方式
24.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
25.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处
理器装置和/或微控制器装置中实现这些功能实体。
26.本公开的示例性实施方式提供一种深度信息处理方法。图1示出了本示例性实施方式运行环境的系统架构图。如图1所示，该系统架构100可以包括服务端110和终端120，两者之间通过网络形成通信交互，例如服务端110将深度信息发送至终端120，终端120基于该深度信息显示对应的深度图像。其中，服务端110是指提供互联网服务的后台服务器；终端120可以是指包括但不限于智能手机、平板电脑、游戏机、可穿戴设备等电子设备。
27.应当理解，图1中各装置的数量仅是示例性的。根据实现需要，可以设置任意数量的客户端，或者服务端可以是多台服务器形成的集群。
28.本公开实施方式所提供的深度信息处理方法可以由服务器110执行，例如由终端120采集原始信号后发送至服务器110，由服务器110对原始信号进行处理生成增强信号，并根据增强信号确定深度信息后返回至终端120；也可以由终端120执行，例如通过终端120上配置的tof传感器采集原始信号，直接由终端120进行处理，确定深度信息等，本公开对此不做具体限定。
29.本公开的示例性实施方式还提供一种电子设备，用于执行上述深度信息处理方法。该电子设备可以是上述服务端110或终端120。一般的，电子设备包括处理器和存储器。存储器用于存储处理器的可执行指令，也可以存储应用数据，如图像数据、游戏数据等；处理器配置为经由执行可执行指令来执行本示例性实施方式中的深度信息处理方法。
30.下面以图2中的终端200为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。
31.如图2所示，终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、usb(universal serial bus，通用串行总线)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏幕290、摄像模组291、指示器292、马达293、按键294以及sim(subscriber identification module，用户标识模块)卡接口295等。
32.处理器210可以包括一个或多个处理单元，例如：处理器210可以包括ap(application processor，应用处理器)、调制解调处理器、gpu(graphics processing unit，图形处理器)、isp(image signal processor，图像信号处理器)、控制器、编码器、解码器、dsp(digital signal processor，数字信号处理器)、基带处理器和/或npu(neural
‑
network processing unit，神经网络处理器)等。编码器可以对图像或视频数据进行编码(即压缩)；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据。终端200可以支持一种或多种编码器和解码器。
33.在一些实施方式中，处理器210可以包括一个或多个接口，通过不同的接口和终端200的其他部件形成连接。
34.内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括易失性存储器、非易失性存储器等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行终端200的各种功能应用以及数据处理。
35.外部存储器接口222可以用于连接外部存储器，例如micro sd卡，实现扩展终端200的存储能力。外部存储器通过外部存储器接口222与处理器210通信，实现数据存储功能，例如存储音乐，视频等文件。
36.usb接口230是符合usb标准规范的接口，可以用于连接充电器为终端200充电，也可以连接耳机或其他电子设备。
37.充电管理模块240用于从充电器接收充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为设备供电；电源管理模块241还可以监测电池的状态。
38.终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块250可以提供应用在终端200上的包括2g/3g/4g/5g等无线通信的解决方案。无线通信模块260可以提供应用在终端200上的包括wlan(wireless local area networks，无线局域网)(如wi
‑
fi(wireless fidelity，无线保真)网络)、bt(bluetooth，蓝牙)、gnss(global navigation satellite system，全球导航卫星系统)、fm(frequency modulation，调频)、nfc(near field communication，近距离无线通信技术)、ir(infrared，红外技术)等无线通信解决方案。
39.终端200可以通过gpu、显示屏幕290及ap等实现显示功能，显示用户界面。终端200可以通过isp、摄像模组291、编码器、解码器、gpu、显示屏幕290及ap等实现拍摄功能，还可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及ap等实现音频功能。
40.传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等，以实现不同的感应检测功能。
41.指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。马达293可以产生振动提示，也可以用于触摸振动反馈等。按键294包括开机键，音量键等。
42.终端200可以支持一个或多个sim卡接口295，用于连接sim卡，以实现通话以及数据通信等功能。
43.图3示出了深度信息处理方法的示例性流程，可以由上述服务端110或终端120执行，包括以下步骤s310至s330：
44.步骤s310，获取由飞行时间tof传感器采集的多个第一像素点的原始信号。
45.tof传感器可以通过微小的激光向周围环境发射红外脉冲信号，当红外脉冲信号到达环境中的物体后，一部分被吸收后以辐射的形式发散出来，另一部分将会被反射回来，根据底层算法求解飞行时间，可以确定物体与传感器之间的距离。在本示例性实施例中，tof传感器可以包括itof(indirect tof，间接测量飞行时间)传感器与dtof(direct tof，直接测量飞行时间)传感器等，其中，itof是采用测相位偏移的方法，通过发射正弦波/方波与接收正弦波/方波之间的相位差，测量飞行时间；而dtof则是通过测量发射红外脉冲与接收红外脉冲的时间间隔来测量飞行时间。
46.在实际应用中，可以先通过图像传感器获取原始图像数据，该原始图像数据可以是raw格式的图像，是图像传感器将采集到的光信号转化为数字信号后的图像数据。第一像
素点即为原始图像数据的像素阵列中的任意一个像素点，是原始图像数据在原始分辨率下的像素点。进一步的，本示例性实施例可以获取由tof传感器采集的原始图像数据的多个第一像素点的原始信号，该原始信号可以包括多种表征形式，例如其可以是采集的原始光信号或电信号，也可以是根据采集到的光电信号进行处理得到的其他信号，例如采用dtof传感器时，确定的时间
‑
光子数直方图等。
47.步骤s320，将相邻的第一像素点的原始信号进行叠加，生成第二像素点的增强信号。
48.通常，原始图像数据中包括多个第一像素点，例如如图4所示的原始图像数据的像素阵列中包括了8*6个像素点，其中每一个像素点都可以作为第一像素点，相邻的第一像素点可以是处于直接相邻关系或间接相邻关系的多个第一像素点，例如图4中，像素点1和像素点2，像素点1和像素点3，像素点1、像素点2、像素点3和像素点4均可以认为是处于相邻关系的第一像素点等。相邻的第一像素点可以将其看做一个较大的像素点，即合并为第二像素点，例如如图5所示，将图5左图中510区域的4个第一像素点进行合并，可以确定图5右图中的第二像素点520，对应的，第二像素点的增强信号，即为用于合并第二像素点的相邻的多个第一像素点的原始信号的叠加。例如当采用itof传感器时，可以将原始图像数据中的相邻的多个第一像素点的反应电容的电压值进行累加；当采用dtof传感器时，可以将原始图像数据中相邻的多个第一像素点所接收到的光子数的直方图进行累加等等。换而言之，本示例性实施例可以通过降低原始图像数据的分辨率的方法，将相邻的第一像素点的原始信号进行累加，生成第二像素点的增强信号，以提高信噪比，使得第二像素点相比于第一像素点可以接收到更多的光电信号，从而便于后续确定更为准确的深度信息。
49.需要说明的是，本示例性实施例可以根据实际需要，设置不同数量的相邻的第一像素点进行原始信号的叠加，生成第二像素点的增强信号，其可以是预先设置的特定数量，例如相邻的2个第一像素点进行原始信号的叠加，或者如图5所示的510区域中4个第一像素点进行原始信号的叠加，还可以设置6个或8个第一像素点进行原始信号的叠加等等。相邻的多个第一像素点可以是像素阵列上横向、竖向或横向与竖向组合方式进行像素点延伸确定，例如如图4所示，相邻的2个第一像素点可以是像素点1和像素点2、像素点1和像素点3，相邻的4个第一像素点可以是像素点1、像素点2、像素点3和像素点4等。在本示例性实施例中，相邻的第一像素点的数量可以根据实际的原始图像数据的像素点阵的尺寸进行确定，例如当像素点阵的尺寸较大时，可以设置较多的相邻的第一像素点的原始信号进行叠加，当像素点阵的尺寸较小时，可以设置较少的相邻的第一像素点的原始信号进行叠加等等，本公开对此不做具体限定。另外，针对同一原始图像数据进行相邻的第一像素点的原始信号的叠加时，第一像素点的数量可以相同，例如将相邻的4个第一像素点的原始信号进行叠加，也可以不同，例如像素点阵边缘使用2个第一像素点的原始信号进行叠加，非边缘使用相邻的4个第一像素点的原始信号进行叠加等等，本公开对此不做具体限定。
50.在一示例性实施例中，上述原始信号包括反射光信号，则对应的，上述步骤s310可以包括：
51.将相邻的第一像素点的反射光信号进行叠加，生成第二像素点的反射光信号信号。
52.本示例性实施例获取每个第一像素点的反射光信号，将相邻的第一像素点反射光
信号进行累加，得到第二像素点的反射光信号，进一步，可以根据该反射光确定出第二像素点的增强信号。其中，反射光信号可以根据接收的光电信号处理得到，例如采用dtof传感器时，第一像素点在一个曝光周期内接收到的光子数的直方图，可以作为该第一像素点在该曝光周期的时间范围内的反射光信号，进行原始信号的叠加；或者采用itof传感器时，第一像素点输出的反应电容的电压值，也可以作为该第一像素点的反射光信号，进行原始信号的叠加等等。
53.步骤s330，基于增强信号输出深度信息。
54.其中，深度信息是指能够确定物体距离tof传感器终端设备距离的数据，根据该深度信息可以确定包括物体的深度图像。本示例性实施例可以通过增强信号来确定深度信息，输出深度图像，具体的，可以根据增强信号确定出飞行时间，再根据飞行时间计算出每个像素点的深度信息。
55.考虑到将相邻的第一像素点合并为第二像素点后将会降低深度图像的分辨率，因此，为了确定原始分辨率下第一像素点的深度信息，在一示例性实施例中，如图6所示，上述深度信息处理方法还可以包括以下步骤：
56.步骤s610，基于原始信号确定原始深度信息；
57.上述步骤s330可以包括：
58.步骤s620，基于增强信号确定增强深度信息；
59.步骤s630，根据原始深度信息与增强深度信息输出目标深度信息。
60.在本示例性实施例中，可以先根据原始图像数据中的多个第一像素点的原始信号，确定出每个第一像素点的深度信息，具体的可以通过获取的相位差或时间间隔确定红外脉冲信号的飞行时间，例如采用dtof传感器时，可以通过最大光子数对应的时间确定出飞行时间等，进一步的，根据每个第一像素点确定的飞行时间可以计算出对应深度信息，该深度信息为原始分辨率下，第一像素点的原始深度信息。将相邻的第一像素点的原始信号进行叠加后，可以得到第二像素点的增强信号，根据该增强信号，可以计算出当前分辨率下每个第二像素点的深度信息。进一步的，可以将第二像素点的深度信息转化为原始分辨率下的深度信息，即增强深度信息。最后，通过融合原始深度信息与增强深度信息，可以输出目标深度信息。
61.在一示例性实施例中，如图7所示，上述原始深度信息包括第一像素点的原始深度信息，则上述步骤s620可以包括以下步骤：
62.步骤s710，基于第二像素点的增强信号，确定第二像素点的等效深度信息；
63.步骤s720，对第二像素点的等效深度信息进行上采样，得到第一像素点的增强深度信息。
64.在本示例性实施例中，根据叠加得到的增强信号，可以确定出第二像素点的等效深度信息，其中，等效深度信息是指基于多个第一像素点原始信号叠加计算得到的深度信息，是低分辨率深度图像下的深度信息，但由于第二像素点接收到光的质量相比于第一像素点有所提高，因此可以有效提高信噪比。
65.为了便于与原始深度信息进行融合，本示例性实施例可以对第二像素点的等效深度信息进行上采样处理，将第二像素点恢复到原始分辨率的状态下，并根据等效深度信息确定原始分辨率下每个第一像素点的增强深度信息。与原始分辨率下每个第一像素点的原
始深度信息不同，原始深度信息由原始信号直接得到，而增强深度信息是通过对第一像素点进行合并降低分辨率，累加原始信号计算得到的深度信息。
66.其中，对第二像素点的等效深度信息进行上采样可以包括多种处理方式，例如可以通过双线性插值、最邻近插值或转置卷积等多种算法，具体的插值方式可以根据后端应用所需要的深度信息质量、平台算力、能接受的功耗或者实际的需求情况等因素综合选择，本公开对此不做具体限定。
67.在一示例性实施例中，如图8所示，上述步骤s630可以包括以下步骤：
68.步骤s810，根据第一像素点的原始信号确定第一像素点的置信度；
69.步骤s820，当第一像素点的置信度大于置信度阈值时，将第一像素点的原始深度信息确定为第一像素点的目标深度信息；
70.步骤s830，当第一像素点的置信度小于置信度阈值时，将第一像素点的增强深度信息确定为第一像素点的目标深度信息。
71.其中，置信度是指用于描述像素点的深度信息是否可信的参数。置信度阈值是指用于判断像素点的深度信息是否符合预设标准的判断条件，其可以根据实际的需要进行自定义设置，本公开对此不做具体说明。在本示例性实施例中，tof传感器在获取原始图像数据时，可以计算得到其中每个第一像素点的置信度，原始信号强的第一像素点，其置信度较高，例如接收到的光强较强的像素点具有较高的置信度；原始信号弱的第一像素点，其置信度较低，例如接收到的光强较弱的像素点具有较低的置信度等。在本示例性实施例中，将相邻的第一像素点进行合并确定第二像素点时，第二像素点的置信度可以通过第二像素点的增强信号计算得到，也可以通过累加多个第一像素点置信度的方式得到等，本公开对此不做具体限定。对第二像素点的深度信息进行上采样恢复至原始分辨率时，也可以通过上采样的方式，确定上采样后的每个第一像素点的置信度，即像素点置信度与图像的分辨率对应变化。
72.根据原始深度信息和增强深度信息确定目标深度信息时，可以逐行扫描每个第一像素点的置信度，当第一像素点的置信度大于置信度阈值时，将第一像素点的原始深度信息确定为第一像素点的目标深度信息；当第一像素点的置信度小于置信度阈值时，将第一像素点的增强深度信息确定为第一像素点的目标深度信息。
73.如图9所示，可以设置置信度阈值为4，原始图像数据中每个第一像素点的置信度如图9(a)所示，对应的原始深度信息如图9(b)所示，其中，右上角3个第一像素点的置信度分别为2、3、3，均低于置信度阈值，则可以认为这3个第一像素点对应的深度信息d1、d2、d3不可靠。通过本示例性实施例对图9(a)中的第一像素点的原始信号进行叠加，以及对叠加后的第二像素点的等效深度信息进行上采样等过程，得到上采样后的图像数据，其中所包括的第一像素点的置信度示意图，如图9(c)所示，对应的增强深度信息如图9(d)所示，其中，右上角3个第一像素点的置信度分别为c1'、c2'、c3'，且c1'、c2'、c3'均大于设定置信度阈值，则可以将增强深度信息d1'、d2'、d3'，作为目标深度信息，生成最终目标深度信息，如图9(e)所示，本示例性实施例仅对右上角2个第一像素点的目标深度信息进行示意性说明，其他像素点的确定方式与其类似，在此不做具体说明。
74.在一示例性实施例中，上述步骤s320可以包括：
75.获取由第一像素点中的非边缘像素点的原始信号叠加而生成的增强信号。
76.考虑到在将相邻的第一像素点合并为第二像素点时，若第一像素点为边缘像素点时，可能会丢失原始的边缘信息，因此，本示例性实施例可以将非边缘像素点的原始信号进行叠加，生成第二像素点的增强信号。其中，边缘与非边缘是指相对的概念，可以根据实际需要进行自定义设置，例如边缘像素点可以是最接近边缘的一个像素点，也可以是两个像素点等，也可以通过特定的方式确定，本公开对此不做具体限定，在确定边缘像素点后，即可以对应确定非边缘像素点。
77.进一步的，在一示例性实施例中，上述深度信息处理方法还可以包括：
78.当第一像素点的原始深度信息与对应的第二像素点的等效深度信息之差小于深度差阈值时，将第一像素点确定为非边缘像素点。
79.本示例性实施例可以通过对比第一像素点的原始深度信息与对应的第二像素点的等效深度信息，确定非边缘像素点。若第一像素点的原始深度信息与对应的第二像素点的等效深度信息的差异值大于预设的深度差阈值，说明该第一像素点为边缘像素点，可以无需进行原始信号的叠加过程，以达到保证边缘信息的效果。
80.图10示出了本示例性实施例中另一种深度信息处理方法的流程图，具体可以包括以下步骤：
81.步骤s1010，获取原始图像数据；
82.步骤s1020，获取由飞行时间tof传感器采集的原始图像数据中多个第一像素点的原始信号；
83.步骤s1030，将相邻的第一像素点的原始信号进行叠加，生成第二像素点的增强信号；
84.步骤s1040，基于原始信号确定原始深度信息；
85.步骤s1050，基于第二像素点的增强信号，确定第二像素点的等效深度信息；
86.步骤s1060，对第二像素点的等效深度信息进行上采样，得到第一像素点的增强深度信息；
87.步骤s1070，根据原始深度信息与增强深度信息输出目标深度信息。
88.其中，步骤s1040与步骤s1050确定像素点深度信息的过程类似，均是通过tof传感器的深度估计算法，通过计算飞行时间来确定深度信息。本示例性实施例通过将原始深度信息与增强深度信息进行融合，使得确定的目标深度信息具有较高的精度，且能够改变原始深度信息信噪比较低的问题，提高其精度。
89.综上，本示例性实施方式中，获取由飞行时间tof传感器采集的多个第一像素点的原始信号；将相邻的第一像素点的原始信号进行叠加，生成第二像素点的增强信号；基于增强信号输出深度信息。一方面，本示例性实施例提出一种新的深度信息处理方法，通过将相邻的第一像素点的原始信号进行叠加，生成第二像素点的增强信号，进而根据增强信号确定深度信息，在不改变tof传感器硬件结构，也无需增加终端设备功耗的情况下，通过算法对原始信号进行信号增强，使得根据增强信号确定的深度信息，具有较高的准确性和可信度；另一方面，本示例性实施例针对远距离物体和近距离低反射率的物体，或者其他低功耗的应用场景下，均能够通过对原始信号叠加生成的增强信号确定准确的深度信息，适用范围较广。
90.本公开的示例性实施方式还提供一种深度信息处理装置。如图11所示，该深度信
息处理装置1100可以包括：原始信号获取模块1110，用于获取由飞行时间tof传感器采集的多个第一像素点的原始信号；增强信号生成模块1120，用于将相邻第一像素点的原始信号进行叠加，生成第二像素点的增强信号；深度信息输出模块1130，用于基于增强信号输出深度信息。
91.在一示例性实施例中，原始信号包括反射光信号；增强信号生成模块包括：信号叠加单元，用于将相邻的第一像素点的反射光信号进行叠加，生成第二像素点的反射光分布信号。
92.在一示例性实施例中，深度信息处理装置还可以包括：原始深度信息确定模块，用于基于原始信号确定原始深度信息；深度信息输出模块包括：增强深度信息确定单元，用于基于增强信号确定增强深度信息；目标深度信息输出单元，用于根据原始深度信息与增强深度信息输出目标深度信息。
93.在一示例性实施例中，原始深度信息包括第一像素点的原始深度信息；增强深度信息确定单元包括：等效深度信息确定子单元，用于基于第二像素点的增强信号，确定第二像素点的等效深度信息；上采样子单元，用于对第二像素点的等效深度信息进行上采样，得到第一像素点的增强深度信息。
94.在一示例性实施例中，目标深度信息输出单元包括：置信度确定子单元啊，用于根据第一像素点的原始信号确定第一像素点的置信度；目标深度信息确定子单元，用于当第一像素点的置信度大于置信度阈值时，将第一像素点的原始深度信息确定为第一像素点的目标深度信息；以及当第一像素点的置信度小于置信度阈值时，将第一像素点的增强深度信息确定为第一像素点的目标深度信息。
95.在一示例性实施例中，增强信号生成模块包括：增强信号生成单元，用于获取由第一像素点中的非边缘像素点的原始信号叠加而生成的增强信号。
96.在一示例性实施例中，上述深度信息处理装置还包括：非边缘像素点确定模块，用于当第一像素点的原始深度信息与对应的第二像素点的等效深度信息之差小于深度差阈值时，将第一像素点确定为非边缘像素点。
97.上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。
98.本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为程序产品的形式，包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3、图6、图7、图8或图10中任意一个或多个步骤。该程序产品可以采用便携式紧凑盘只读存储器(cd
‑
rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
99.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
100.计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
101.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
102.可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
103.所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
104.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。