稀疏深度图的深度补齐方法、装置及三维重建方法、装置与流程

本发明涉及计算机视觉技术领域，具体涉及稀疏深度图的深度补齐方法、装置及三维重建方法、装置。

背景技术：

三维重建是一种对三维物体建立适用于计算机处理的数学模型的技术，也是在计算机环境下对三维物体进行处理和分析的基础，更是在计算机中建立用于表达客观世界的虚拟现实的关键技术。三维重建是指利用物体的二维投影恢复该物体的三维信息(形状等)的数学过程和计算机技术，包括数据获取、预处理、点云拼接(融合)和特征分析等步骤。

目前，通过图像采集设备在不同位置采集目标场景的图像，得到目标场景的稀疏深度图像，再通过对稀疏深度图像进行深度补齐，得到稠密深度图像，进而根据稠密深度图像构建出目标场景的三维模型是一种常规的三维重建方法之一。其中，对稀疏深度图像进行深度补齐的方法，直接决定了对稠密深度图像与真实场景图像的匹配程度，进而直接影响最终三维模型的重建效果。

技术实现要素：

有鉴于此，本发明实施例提供了一种稀疏深度图的深度补齐方法、装置及三维重建方法、装置以实现对稀疏深度图的深度补齐，得到稠密深度图像。

根据第一方面，本发明实施例提供了一种稀疏深度图的深度补齐方法，包括：分别采用至少两种插值算法对所述稀疏深度图进行处理以得到对应的经处理的稀疏深度图；分别获取所述稀疏深度图中各特征点在每个所述经处理的稀疏深度图的深度值；保留所述深度值的差异小于预定阈值的特征点；根据所保留的特征点获取稠密深度图。

可选地，所述深度值的差异包括：深度值的差值和/或深度值的平方差。

可选地，述根据所保留的特征点获取稠密深度图包括：各所述保留的特征点构成完整深度图；获取所述稀疏深度图对应的原始图像，并根据所述原始图像对所述完整深度图进行深度补齐，得到稠密深度图。

可选地，所述获取所述稀疏深度图对应的原始图像，并根据所述原始图像对所述完整深度图进行深度补齐，得到稠密深度图，包括：根据所述稀疏深度图的分辨率对所述原始图像进行处理；根据处理后的原始图像对所述完整深度图像进行滤波；根据所述处理后的原始图像及滤波后的完整深度图采用预设滤波算法对所述滤波后的完整深度图进行迭代滤波，得到所述稠密深度图。

可选地，所述稀疏深度图的深度补齐方法还包括：判断所述稠密深度图的分辨率是否低于所述原始图像的分辨率；当所述稠密深度图的分辨率低于所述原始图像时，将所述稀疏深度图更新为所述稠密深度图，并返回所述采用至少两种预设插值算法分别对所述稀疏深度图进行上采样，得到各所述预设差值算法对应的中间稀疏深度图的步骤，直至所述稠密深度图的分辨率与所述原始图像的分辨率相同。

根据第二方面，本发明实施例还提供了一种获取至少一组包含场景目标的等效双目图像信息；根据各组等效双目图像信息建立对应的稀疏深度图；采用上述方法实施例所述的稀疏深度图的深度补齐方法，对各所述稀疏深度图进行深度补齐，得到各稠密深度图；根据所述等效双目图像信息将各所述稠密深度图进行深度融合，得到所述场景目标的三维模型。

可选地，每组所述等效双目图像信息包括在第一预设位置获取的第一图像和对应的第一位姿以及在第二预设位置获取的第二图像和对应的第二位姿；每组所述等效双目图像信息的获取方法包括：根据所述场景目标的所述第一预设位置及所述第二预设位置，得到当前组的等效基线；根据所述等效基线确定所述场景目标的所述第一位姿及所述第二位姿；根据所述第一位姿控制图像获取设备在所述第一预设位置获取所述第一图像；根据所述第二位姿控制图像获取设备在所述第二预设位置获取所述第二图像，所述第一图像与所述第二图像构成一组等效双目图像。

可选地，所述根据各组等效双目图像信息建立对应的稀疏深度图包括：对每一组所述等效双目图像信息中的所述第一图像及所述第二图像进行特征匹配，得到多组特征点信息；根据所述特征点信息分别计算特征点的视差信息；根据所述视差信息及所述等效基线得到各特征点的深度信息；根据各特征点的深度信息建立对应的所述稀疏深度图。

可选地，在所述根据所述视差信息及所述等效基线得到各特征点的深度信息之后，在所述根据各特征点的深度信息建立对应的所述稀疏深度图之前，所述三维重建方法还包括：根据预设坐标范围及当前组所述特征点的深度信息，得到多个特征点区域；分别计算所述特征点区域所包含的各特征点的平均深度信息；每个特征点区域对应一个特征点，将所述平均深度信息确定为所述特征点区域对应的特征点的深度信息。

根据第三方面，本发明实施例还提供了一种稀疏深度图的深度补齐装置，包括：第一处理模块，用于分别采用至少两种插值算法对所述稀疏深度图进行处理以得到对应的经处理的稀疏深度图；第二处理模块，用于分别获取所述稀疏深度图中各特征点在每个所述经处理的稀疏深度图的深度值；第三处理模块，用于保留所述深度值的差异小于预定阈值的特征点；第四处理模块，用于根据所保留的特征点获取稠密深度图。

根据第四方面，本发明实施例还提供了一种三维重建装置，包括：第五处理模块，用于获取至少一组包含场景目标的等效双目图像信息；第六处理模块，用于根据各组等效双目图像信息建立对应的稀疏深度图；第七处理模块，用于采用如权利要求10所述的稀疏深度图的深度补齐装置，对各所述稀疏深度图进行深度补齐，得到各稠密深度图；第八处理模块，用于根据所述等效双目图像信息将各所述稠密深度图进行深度融合，得到所述场景目标的三维模型。

根据第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面，或者其任意一种可选实施方式中所述的稀疏深度图的深度补齐方法，或者执行第二方面，或者其任意一种可选实施方式中所述的三维重建方法。

根据第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面，或者其任意一种可选实施方式中所述的稀疏深度图的深度补齐方法，或者执行第二方面，或者其任意一种可选实施方式中所述的三维重建方法。

本发明技术方案，具有如下有益效果：

本发明实施例提供的稀疏深度图的深度补齐方法，通过采用不同的插值算法对稀疏深度图进行处理，通过获取稀疏深度图中各个特征点在每个处理后的稀疏深度图的深度值，保留深度值差异小于预设阈值的特征点，根据保留的特征点得到稠密深度图。从而提供了一种对稀疏深度图进行深度补齐得到稠密深度图的简单方法，为利用稠密深度图进行三维重建提供了准确的数据基础。

本发明实施例提供的三维重建方法，通过获取至少一组包含场景目标的等效双目图像信息，并根据各组等效双目图像信息建立对应的稀疏深度图，然后通过采用不同的插值算法对稀疏深度图进行处理，通过获取稀疏深度图中各个特征点在每个处理后的稀疏深度图的深度值，保留深度值差异小于预设阈值的特征点，根据保留的特征点得到稠密深度图，最后对稠密深度图进行深度融合得到场景目标的三维模型。从而提供了一种简单的场景目标的三维重建方法，该方法无需依赖复杂的图像采集设备及计算机设备即可实现，该三维重建方法具有简单高效的特点。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种稀疏深度图的深度补齐方法的流程图；

图2是根据本发明实施例的一种三维重建方法的流程图；

图3是根据本发明实施例的等效基线与拍摄方向的示意图；

图4是根据本发明实施例的等效基线与拍摄方向的另一示意图；

图5是根据本发明实施例的等效基线与拍摄方向的另一示意图；

图6是根据本发明实施例的一种稀疏深度图的深度补齐装置的结构示意图；

图7是根据本发明实施例的一种三维重建装置的结构示意图；

图8是本发明实施例的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供了一种稀疏深度图的深度补齐方法，如图1所示，该稀疏深度图的深度补齐方法包括：

步骤s1：分别采用至少两种插值算法对稀疏深度图进行处理以得到对应的经处理的稀疏深度图。具体地，该稀疏深度图为场景目标图像所对应的稀疏深度图，所采用的差值算法包括：最近近邻插值算法、双线性插值算法、立方卷积插值算法等等。

步骤s2：分别获取稀疏深度图中各特征点在每个经处理的稀疏深度图的深度值。具体地，当稀疏深度图通过不同插值算法进行上采样后，不同特征点在处理后的不同稀疏深度图中的深度值可能发生变化，如果在不同稀疏深度图中的深度值差异较大，则说明该特征点的深度值与该特征点所表示的真实点的深度值差异较大，该特征点的深度值不准确，为了避免不准确的特征点深度值对最终结果的影响，将该特征点删除。

步骤s3：保留深度值的差异小于预定阈值的特征点。具体地，只保留深度值差异小于预定阈值的特征点，以这些特征点构成的稠密深度图与原始图像的深度信息保持高度的一致性。

步骤s4：根据所保留的特征点获取稠密深度图。在实际应用中，采用原始图像对所保留的特征点构成的深度图进行深度补齐，以得到稠密深度图。

通过上述步骤s1至步骤s4，本发明实施例提供的稀疏深度图的深度补齐方法，通过采用不同的插值算法对稀疏深度图进行处理，通过获取稀疏深度图中各个特征点在每个处理后的稀疏深度图的深度值，保留深度值差异小于预设阈值的特征点，根据保留的特征点得到稠密深度图。从而提供了一种对稀疏深度图进行深度补齐得到稠密深度图的简单方法，该方法具有简单快速的特性，能够得到准确反映原始图像的像素深度的稠密深度图，为利用稠密深度图进行三维重建提供了准确的数据基础。

具体地，在一实施例中，上述的步骤s1，分别采用至少两种插值算法对稀疏深度图进行处理以得到对应的经处理的稀疏深度图。在实际应用中，例如给定一个分辨率为h×w并且只有n个深度值的稀疏深度图d，可以分别采用最近邻插值、双线性插值及立方卷积插值的方式对该稀疏深度图d进行上采样，分别得到稀疏深度图d1、d2和d3。

具体地，在一实施例中，上述的步骤s2，分别获取稀疏深度图中各特征点在每个经处理的稀疏深度图的深度值。在实际应用中，通过获取上述n个特征点分别在d1、d2及d3中的深度值。

具体地，在一实施例中，上述的步骤s3，保留深度值的差异小于预定阈值的特征点。在实际应用中个，分别将同一特征点在上述d1、d2及d3中不同图像中的深度值进行数值对比，例如通过计算任意两种插值算法所得的深度值的差值和/或平方差值的方式来表示各特征点深度值的差异，如果该差值和/或平方差值小于预定阈值，则认为该特征点为稳定的特征点，其与原始图像的深度信息一致，进行保留。

在一可选实施方式中，上述的步骤s4，根据所保留的特征点获取稠密深度图，具体包括如下步骤：

步骤s41：各保留的特征点构成完整深度图。将上述步骤s3中保留的所有特征点根据各个特征点的深度信息，构成完整深度图d*。

步骤s42：获取稀疏深度图对应的原始图像，并根据原始图像对完整深度图进行深度补齐，得到稠密深度图。具体地，步骤s42包括如下步骤：

步骤s421：根据稀疏深度图的分辨率对原始图像进行处理。在实际应用中，上述稀疏深度图的分辨率可能远低于原始图像的分辨率，因此，需要先对原始图像进行下采样操作，得到与稀疏图像相同分辨率的原始图像。

步骤s422：根据处理后的原始图像对完整深度图像进行滤波。在实际应用中，将相同分别率的原始图像作为指导图像对上述的完整深度图d*进行指导滤波，例如：可以采用通过联合双边滤波或导向滤波进行指导滤波完成深度图的补齐，得到图像d’。

步骤s423：根据处理后的原始图像及滤波后的完整深度图采用预设滤波算法对滤波后的完整深度图进行迭代滤波，得到稠密深度图。在实际应用中，以上述的相同分别率的原始图像及d’作为指导图像，采用联合三边滤波对d’进行迭代滤波，得到更加平滑的稠密深度图。

步骤s424：判断稠密深度图的分辨率是否低于原始图像的分辨率。在实际应用中，为了得到尽可能还原原始图像的稠密深度图，需要得到与原始图像相同分辨率的稠密深度图，因此需要判断当前得到的稠密深度图是否满足原始图像的分辨率，如果不满足则执行步骤s425。

步骤s425：当稠密深度图的分辨率低于原始图像时，将稀疏深度图更新为稠密深度图，并返回采用至少两种预设插值算法分别对稀疏深度图进行上采样，得到各预设差值算法对应的中间稀疏深度图的步骤，直至稠密深度图的分辨率与原始图像的分辨率相同。在实际应用中，如果得到的当前稠密深度图的分辨率低于原始图像的分辨率，则将当前的稠密深度图作为新的稀疏深度图，返回重新执行上述的步骤s1，直至所得到的稠密深度图的分辨率与原始图像的分辨率相同。从而保障了稠密深度图的准确性，提高后续依据该稠密深度图进行三维重建的准确性。

通过上述步骤s1至步骤s4，本发明实施例提供的稀疏深度图的深度补齐方法，通过采用不同的插值算法对稀疏深度图进行处理，通过获取稀疏深度图中各个特征点在每个处理后的稀疏深度图的深度值，保留深度值差异小于预设阈值的特征点，根据保留的特征点得到稠密深度图。从而提供了一种对稀疏深度图进行深度补齐得到稠密深度图的简单方法，该方法具有简单快速的特性，能够得到准确反映原始图像的像素深度的稠密深度图，为利用稠密深度图进行三维重建提供了准确的数据基础。

本发明实施例还提供了一种三维重建方法，如图2所示，该三维重建方法包括：

步骤s101：获取至少一组包含场景目标的等效双目图像信息。在实际应用中，每一组包含场景目标的等效双目图像信息可以通过摄像头在两个已知位置所拍摄得到的图像。

步骤s102：根据各组等效双目图像信息建立对应的稀疏深度图。具体地，该稀疏深度图是由等效双目图像信息中经过双目匹配得到的包含深度信息的特征点，投影到各个临近的拍摄视角下得到的。

步骤s103：采用上述实施例中的稀疏深度图的深度补齐方法，对各稀疏深度图进行深度补齐，得到各稠密深度图。具体地，对稀疏深度图进行深度补齐的过程参见上述稀疏深度图的深度补齐方法实施例的相关描述，在此不再进行赘述。

步骤s104：根据等效双目图像信息将各稠密深度图进行深度融合，得到场景目标的三维模型。在实际应用中，可以通过将各个稠密深度图分别转换为一个三维模型，然后将各个三维模型放到同一坐标系下进行融合，即可得到关于场景目标的完整的三维场景。

通过上述步骤s101至步骤s104，本发明实施例提供的三维重建方法，通过获取至少一组包含场景目标的等效双目图像信息，并根据各组等效双目图像信息建立对应的稀疏深度图，然后通过采用不同的插值算法对稀疏深度图进行处理，通过获取稀疏深度图中各个特征点在每个处理后的稀疏深度图的深度值，保留深度值差异小于预设阈值的特征点，根据保留的特征点得到稠密深度图，最后对稠密深度图进行深度融合得到场景目标的三维模型。从而提供了一种简单的场景目标的三维重建方法，该方法无需依赖复杂的图像采集设备及计算机设备即可实现，该三维重建方法具有简单高效的特点。

具体地，在一实施例中，上述的步骤s101，获取至少一组包含场景目标的等效双目图像信息。在实际应用中，每组等效双目图像信息包括在第一预设位置获取的第一图像和对应的第一位姿以及在第二预设位置获取的第二图像和对应的第二位姿。每组等效双目图像信息的获取方法具体包括如下步骤：

步骤s201：根据场景目标的第一预设位置及第二预设位置，得到当前组的等效基线。在实际应用中，该第一预设位置及第二预设位置分别由a和b表示，则该等效基线如图3所示，具体过程为：给定的两个位置分别为a、b两点，具体地，a和b两点的位置信息可以根据摄像头机身尺寸以及舵机控制命令计算得到的。摄像头可以以任意的移动轨迹从a点移动到b点(或者从b点移动到a点)，等效基线为a和b两点的连线，其长度可由a和b的位置计算得出。规定摄像头在a和b两点的拍摄方向垂直于等效基线，并且a、b两处的拍摄方向相互平行，由此构造出一个等效的双目系统，摄像头在a、b两处获得的图片即构成一组等效双目图像。

步骤s202：根据等效基线确定场景目标的第一位姿及第二位姿。在实际应用中，摄像头在上述a和b两个位置进行拍摄的位姿，可以通过摄像机的机身尺寸和舵机控制命令得到，但是，由于在拍摄过程中不能保证摄像头的绝对静止，因此需要通过所获得的特征点信息来对摄像头的位姿进行估计，对上述步骤s201中所获得的图像进行特征点提取和特征匹配，即可计算出特征点处的视差和深度值。然后与机身尺寸和舵机控制命令进行信息融合，获得拍摄等效双目图像时的一个较准确的摄像头位姿，即得到在a点的第一位姿和b点的第二位姿。

步骤s203：根据第一位姿控制图像获取设备在第一预设位置获取第一图像。

步骤s204：根据第二位姿控制图像获取设备在第二预设位置获取第二图像，第一图像与第二图像构成一组等效双目图像。在实际应用中，上述的摄像头是一个可以拍摄图像的摄像头，其镜头焦距、感光单元、镜头种类均无限制，例如可以是标准的摄像头，也可以是鱼眼摄像头或者其他镜头。以鱼眼摄像头为例，可以用相机标定工具对其进行标定，然后对其拍摄到的图像进行校正之后再用于采集图像；也可以构建一个等效的鱼眼双目系统，通过鱼眼双目匹配算法进行特征点提取和匹配，计算视差和深度值。

在实际应用中，如图4所示，以三个位置为例，上述每组等效双目图像信息的获取方法具体过程为：给定a、b、c三个位置，并且对于a、c两个位置指定一个拍摄方向，对于b位置指定2个拍摄方向，在a、b和b、c处分别采用步骤a构造等效的双目系统来获取特征点的三维坐标以及摄像头的位姿。由此，可获得两组三维特征点以及摄像头在a、b、c处的位姿。需要注意的是摄像头的实际移动轨迹不需要是直线，可以是如实心箭头所示的任意轨迹。

作为一种可替换实施方式，如图5所示，以给定多个位置，且给定的多个位置可以构成环状轨迹的位置为例，上述的每组等效双目图像信息的获取方法具体过程为：摄像头在移动过程中依次经过位置a、b、c、…、h，然后回到位置a，在每一个位置上均朝着垂直于等效基线的方向拍摄等效双目图像，由此获得一组摄像头的位姿，以及在每一个位姿下由双目匹配获得的一些具备真实深度信息的特征点。需要注意的是摄像头的实际移动轨迹不需要是直线，可以是如实心箭头所示的任意轨迹。由于这些位置构成了一个环状轨迹，因此可以建立位姿图，然后采用图优化等方法对这些位姿进行优化，减小累积误差，以获得更精确的一组位姿。

具体地，在一实施例中，上述的步骤s102，根据各组等效双目图像信息建立对应的稀疏深度图，具体包括如下步骤：

步骤s301：对每一组等效双目图像信息中的第一图像及第二图像进行特征匹配，得到多组特征点信息。在实际应用中，将上述在a点及b点位置拍摄的两个图像进行双目特征匹配，得到每一组等效双目图像的特征点的信息。

步骤s302：根据特征点信息分别计算特征点的视差信息。具体地，该步骤，可以采用现有技术中计算视差的方法进行计算，在此不再进行赘述。

步骤s303：根据视差信息及等效基线得到各特征点的深度信息。具体地，根据上述各个特征点的视差信息及上述a和b两点构造的等效基线，即可根据现有技术中特征点深度值的计算方法计算该特征点的深度信息，具体深度值的计算过程参考现有技术的计算过程，在此不再进行赘述。

步骤s304：根据预设坐标范围及当前组特征点的深度信息，得到多个特征点区域。

步骤s305：分别计算特征点区域所包含的各特征点的平均深度信息。

步骤s306：每个特征点区域对应一个特征点，将平均深度信息确定为特征点区域对应的特征点的深度信息。

步骤s307：根据各特征点的深度信息建立对应的稀疏深度图。对各组特征点进行临近视角的特征点投影，得到多个不同视角的稀疏深度图。

在实际应用中，为了提高稀疏深度图的准确性，需要对上述得到的多组特征点进行时域稳定处理，以得到最能表征原始图像深度信息的特征点，具体过程为，将每一组图像的特征点投影至相邻拍摄位姿(视角)下，在相邻视角下的两组特征点往往会出现一定的交集。由于深度测量存在误差，因此在这些交集中的特征点，即便实际上是同一个点，也会出现在不同的位置。对此，我们提出对出现在三维空间中的近邻点进行时域稳定处理，具体步骤可以是划定一个预设的小区域，该小区域构成的特征点区域实际上是相邻稀疏深度图视角看到的同一点，这一点在不同稀疏深度图视角下位置可能有偏差，特征点区域就是这些点(实际上是物理空间中的唯一一个点)在空间上的一个投影区域。然后对特征点区域中的点进行处理，找最具有代表性的点作为代表，我们将位于这一小区域内的多个特征点将认为是同一个特征点，取这些特征点三维坐标的平均值作为该特征点的一个估计值；例如：参考embeddingtemporallyconsistentdepthrecoveryforreal－time(iros2018)中的特征点稳定方法，为近邻点划定一个小区域，将位于这一小区域内的多个特征点坐标排列为一个矩阵，每一列代表一个点的坐标，每一行不同特征点在同一个坐标轴上的值(例如第一行是x坐标值，第二行是y坐标值，第三行是z坐标值)。对该矩阵使用低秩稀疏分解方法(lrsd)筛选出误差较大的特征点，对误差较小的特征点的三维坐标进行平均，得到该特征点的一个估计值。通过对交集中所有特征点进行上述处理，可获得一组三维坐标稳定的特征点。

具体地，在一实施例中，上述的步骤s103，采用上述实施例中的稀疏深度图的深度补齐方法，对各稀疏深度图进行深度补齐，得到各稠密深度图。具体地，对稀疏深度图进行深度补齐的过程参见上述稀疏深度图的深度补齐方法实施例的相关描述，在此不再进行赘述。

具体地，在一实施例中，上述的步骤s104，根据等效双目图像信息将各稠密深度图进行深度融合，得到场景目标的三维模型。在实际应用中，可以根据所有等效双目图像信息所包含的多个视角的位姿，将多位姿下的稠密深度图放到全局坐标系下进行融合，得到一个完整的三维场景。深度融合的方式由三维场景的表示形式决定，可以是点云、网格化模型、体素或者体积表示，分别对应不同的融合方式，本发明并不此次为限。以下列出两种代表性的融合方式：

基于点云的融合：首先将稠密深度图根据摄像头内参转化为三维点云，然后根据位姿把点云放置在同一个坐标系下，为重合部分点云的每一个三维点划一个小范围，位于该范围内的若干个三维点均融合为一个点，融合后的点坐标为该范围内的点坐标的平均值；融合完所有点云之后，即可获得一个以点云表示的三维模型。

基于体积表示的融合：首先为整个场景目标定义一个体积区域，将体积区域划分为若干个体素，在整个体积区域内定义阶段符号函数(truncatedsigneddistancefunction，tsdf)。然后用kinectfusion的方法根据每个深度图的深度值对相应的体素值进行更新，根据所有深度图更新之后即可获得一个完整的体积表示的三维模型。

下面将结合具体应用示例，对本发明实施例提供的三维重建方法进行举例说明。

本发明针对一个台灯形状的、摄像头可以根据控制信号移动的桌面人机交互装置，摄像头的预设拍摄位置采用如图5所示的位置采集图像信息，然后通过计算机处理器进行三维重建，具体实现过程如下：

步骤1)，根据给定的摄像头位置和拍摄朝向序列，求解摄像头各个机械部件的控制参数；

步骤2)，根据控制参数控制机械部件运动，并计算出摄像头的姿态和等效基线长度；

步骤3)，摄像头在给定位置按照指定朝向拍摄图像，对通过等效基线构成等效等效双目图像的两张图像进行基于orb特征的双目匹配，获得稀疏的深度图；

步骤4)，根据匹配点、机身尺寸和控制参数，计算出在每一副图像拍摄时的摄像头位姿；

步骤5)，重复步骤上述步骤2)－4)，直至所有位置上的图像均已用于双目匹配与深度恢复；

步骤6)根据位置序列中的回环信息建立位姿图，并且使用g2o求解包对所估计出来的摄像机位姿进行优化；

步骤7)，根据优化后的位姿，将三维特征点放置在全局坐标系下，并进行时域稳定；

步骤8)，将特征点投影到临近的拍摄角度的图像坐标系，生成多视角的稀疏深度图；

步骤9)，以图像为指导对深度图进行多尺度恢复，得到多视角的稠密深度图；

步骤10)，将稠密深度图进行基于tsdf的深度融合，得到稠密的场景三维模型。

通过上述步骤s101至步骤s104，本发明实施例提供的三维重建方法，通过获取至少一组包含场景目标的等效双目图像信息，并根据各组等效双目图像信息建立对应的稀疏深度图，然后通过采用不同的插值算法对稀疏深度图进行处理，通过获取稀疏深度图中各个特征点在每个处理后的稀疏深度图的深度值，保留深度值差异小于预设阈值的特征点，根据保留的特征点得到稠密深度图，最后对稠密深度图进行深度融合得到场景目标的三维模型。从而提供了一种简单的场景目标的三维重建方法，该方法无需依赖复杂的图像采集设备及计算机设备即可实现，该三维重建方法具有简单高效的特点。本发明实施例提供的三维重建方法仅使用单个摄像头作为传感器，对设备要求和制造成本低，便于小型化，根据舵机角度和机身尺寸确定三维重建的尺度，通过一系列的等效双目测量获得场景的多视角下的稀疏深度图，在进行深度补齐和深度融合之后，得到所拍摄场景的稠密三维模型。该三维重建方法可以在计算机cpu上单线程实时运行，计算成本较低，从测量精度、设备成本、计算资源等角度均具有良好的效果。

本发明实施例还提供了一种稀疏深度图的深度补齐装置，如图6所示，该稀疏深度图的深度补齐装置包括：

第一处理模块1，用于分别采用至少两种插值算法对稀疏深度图进行处理以得到对应的经处理的稀疏深度图。详细内容参见上述实施例中步骤s1的相关描述。

第二处理模块2，用于分别获取稀疏深度图中各特征点在每个经处理的稀疏深度图的深度值。详细内容参见上述实施例中步骤s2的相关描述。

第三处理模块3，用于保留深度值的差异小于预定阈值的特征点。详细内容参见上述实施例中步骤s3的相关描述。

第四处理模块4，用于根据所保留的特征点获取稠密深度图。详细内容参见上述实施例中步骤s4的相关描述。

通过上述各个组成部分的协同合作，本发明实施例提供的稀疏深度图的深度补齐装置，通过采用不同的插值算法对稀疏深度图进行处理，通过获取稀疏深度图中各个特征点在每个处理后的稀疏深度图的深度值，保留深度值差异小于预设阈值的特征点，根据保留的特征点得到稠密深度图。从而提供了一种对稀疏深度图进行深度补齐得到稠密深度图的简单方法，该方法具有简单快速的特性，能够得到准确反映原始图像的像素深度的稠密深度图，为利用稠密深度图进行三维重建提供了准确的数据基础。

本发明实施例还提供了一种三维重建装置，如图7所示，该三维重建装置包括：

第五处理模块101，用于获取至少一组包含场景目标的等效双目图像信息。详细内容参见上述实施例中步骤s101的相关描述。

第六处理模块102，用于根据各组等效双目图像信息建立对应的稀疏深度图。详细内容参见上述实施例中步骤s102的相关描述。

第七处理模块103，用于采用如权利要求10的稀疏深度图的深度补齐装置，对各稀疏深度图进行深度补齐，得到各稠密深度图。详细内容参见上述实施例中步骤s103的相关描述。

第八处理模块104，用于根据等效双目图像信息将各稠密深度图进行深度融合，得到场景目标的三维模型。详细内容参见上述实施例中步骤s104的相关描述。

通过上述各个组成部分的协同合作，本发明实施例提供的三维重建装置，通过获取至少一组包含场景目标的等效双目图像信息，并根据各组等效双目图像信息建立对应的稀疏深度图，然后通过采用不同的插值算法对稀疏深度图进行处理，通过获取稀疏深度图中各个特征点在每个处理后的稀疏深度图的深度值，保留深度值差异小于预设阈值的特征点，根据保留的特征点得到稠密深度图，最后对稠密深度图进行深度融合得到场景目标的三维模型。从而提供了一种简单的场景目标的三维重建方法，该方法无需依赖复杂的图像采集设备及计算机设备即可实现，该三维重建方法具有简单高效的特点。

本发明实施例还提供了一种电子设备，如图8所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图8中以通过总线连接为例。

处理器901可以为中央处理器(centralprocessingunit，cpu)。处理器901还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field－programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的接入设备故障处理方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的疏深度图的深度补齐方法，或者，实现上述方法实施例中的三维重建方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的疏深度图的深度补齐方法，或者，执行上述方法实施例中的三维重建方法。

上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read－onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid－statedrive，ssd)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。