一种头戴设备及其三维重建方法、装置、系统及介质与流程

1.本发明涉及头戴设备技术领域，特别是涉及一种头戴设备及其三维重建方法、装置、系统及介质。


背景技术：

2.ar(augmented reality，增强现实)三维重建可用于自动驾驶、虚拟现实、运动目标监测、行为分析、安防监控和重点人群监护等领域。现有技术中，有直接利用rgb(red-green-blue，红-绿-蓝)相机进行三维重建的，该方法存在精度低、环境干扰大实时性差等缺点。还有采用tof(time-of-flight，飞行时间)深度相机获取整个场景深度信息的，但是采用tof深度相机获取的场景深度信息仍存在噪声多、分辨率和精度上较低等问题。
3.为了实现ar头戴设备更好的体验感，三维重建是最重要的一步，如何改善之前三维重建方案分辨率和精度低的现象，是本领域技术人员需要解决的问题。


技术实现要素：

4.本发明实施例的目的是提供一种头戴设备及其三维重建方法、装置、系统及介质，在使用过程中能够使最终得到的三维模型更加精确，分辨率更高，有利于提升用户使用体验。
5.为解决上述技术问题，本发明实施例提供了一种头戴设备的三维重建方法，包括：
6.根据预先建立的rgb图像数据库及当前采集的rgb图像建立预测三维模型；
7.根据当前采集的tof深度散点图建立点云模型；
8.根据所述点云模型对所述预测三维模型进行修正优化，得到优化后的预测三维模型。
9.可选的，所述根据预先建立的rgb图像数据库及当前采集的rgb图像建立预测三维模型的过程为：
10.采用深度学习算法及预先建立的rgb图像数据库对当前采集的rgb图像进行训练建模，得到预测三维模型。
11.可选的，所述根据所述点云模型对所述预测三维模型进行修正优化，得到优化后的预测三维模型的过程为：
12.根据所述预测三维模型生成多个不同视点的预测三维模型投影深度图；
13.根据所述点云模型生成与每个所述预测三维模型投影深度图一一对应的tof模型投影深度图；
14.根据每个所述预测三维模型投影深度图及各个所述tof模型投影深度图，得到偏差信息；
15.根据所述偏差信息对所述预测三维模型进行修正优化，得到优化后的预测三维模型。
16.可选的，所述根据每个所述预测三维模型投影深度图及各个所述tof模型投影深
度图，得到偏差信息的过程为：
17.针对每个所述预测三维模型投影深度图，将所述预测三维模型投影深度图与对应的tof模型投影深度图进行误差计算，得到对应的误差；
18.将所述误差作为与所述预测三模型投影深度图对应的偏差信息，以得到多个偏差信息。
19.可选的，所述根据所述偏差信息对所述预测三维模型进行修正优化，得到优化后的预测三维模型的过程为：
20.采用与每个所述预测三维模型投影深度图对应的偏差信息，对相应视点下的所述预测三维模组进行修正优化，得到所述视点下优化后的预测三维模型；
21.根据所有视点下优化后的预测三维模型生成最终优化后的预测三维模型。
22.可选的，所述根据所述预测三维模型生成多个不同视点的预测三维模型投影深度图的过程为：
23.根据所述预测三维模型随机生成多个不同视点的预测三维模型投影深度图。
24.本发明实施例还提供了一种头戴设备的三维重建装置，包括：
25.第一建立模块，用于根据预先建立的rgb图像数据库及当前采集的rgb图像建立预测三维模型；
26.第二建立模块，用于根据当前采集的tof深度散点图建立点云模型；
27.修正模块，用于根据所述点云模型对所述预测三维模型进行修正优化，得到优化后的预测三维模型。
28.本发明实施例还提供了一种头戴设备的三维重建系统，其特征在于，包括：
29.存储器，用于存储计算机程序；
30.处理器，用于执行所述计算机程序时实现如上述所述头戴设备的三维重建方法的步骤。
31.本发明实施例还提供了一种头戴设备，包括rgb图像采集装置、tof图像采集装置及如上述所述的头戴设备的三维重建系统。
32.可选的，所述头戴设备为ar眼镜，所述rgb图像采集装置和tof图像采集装置设置于所述ar眼镜的眼镜边框上。
33.本发明实施例提供了一种头戴设备及其三维重建方法、装置及系统，该方法包括：根据预先建立的rgb图像数据库及当前采集的rgb图像建立预测三维模型；根据当前采集的tof深度散点图建立点云模型；根据点云模型对预测三维模型进行修正优化，得到优化后的预测三维模型。可见，本发明实施例中在进行三维重建时，可以根据预先建立的rgb图像数据库及当前采集的rgb图像建立预测三维模型，然后再根据当前采集的tof深度散点图建立点云模型，并通过点云模型和对预测三维模型进行修正优化，从而得到优化后的预测三维模型，能够使最终得到的三维模型更加精确，分辨率更高，有利于提升用户使用体验。
附图说明
34.为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获
得其他的附图。
35.图1为本发明实施例提供的一种头戴设备的三维重建方法的流程示意图；
36.图2为本发明实施例提供的一种头戴设备的三维重建装置的结构示意图，
具体实施方式
37.本发明实施例提供了种头戴设备及其三维重建方法、装置、系统及介质，在使用过程中能够使最终得到的三维模型更加精确，分辨率更高，有利于提升用户使用体验。
38.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.请参照图1，图1为本发明实施例提供的一种头戴设备的三维重建方法的流程示意图。该方法包括：
40.s110：根据预先建立的rgb图像数据库及当前采集的rgb图像建立预测三维模型；
41.需要说明的是，本发明实施例中提供的方法应用于设有rgb图像采集器和tof图像采集器的头戴设备，例如ar头戴设备，其中，rgb图像采集器可以为rgb相机，tof图像采集器可以为tof相机。可以预先对ar设备上的rgb相机和tof相机进行标定，获得每个相机的焦距、光心内参和旋转、平移的外参，并且利用rgb相机从不同的角度(例如前、后、左、右、上五个方向)对环境中的现实实物(任何实物：如桌子，花盆)进行信息采集，得到对应的实物图像，然后对采集到的实物图像进行图像预处理，具体可以通过rgb相机的内参和外参对实物图像进行机电校正等预处理操作，并对预处理后的图像中不同的实物(桌子、花盆)按照类型进行分割提取，具体可以使用k-means聚类算法对分割后的图像进行分类保存并添加相应的标记，其中，该标记可以为图像对应的实物类型标记，从而构建出标准化实物信息数据库，也即rgb图像数据库。
42.具体的，本发明实施例中的头戴设备在使用过程中可以通过设置在头戴设备上的rgb相机和tof相机在同一视角下获取外界环境的图像，然后根据rgb相机采集到的rgb图像及上述预先建立的rgb图像数据库建立预测三维模型。
43.还需要说明的是，在实际应用中可以采用深度学习算法及预先建立的rgb图像数据库对当前采集的rgb图像进行训练建模，得到预测三维模型。
44.具体的，可以采用预先建立的rgb图像数据库中的不同视角的各类图像对当前采集的rgb图像进行训练建模，可以采用3d结构生成器预测像素的三维坐标，并结合rgb图像数据库中不同视角下各类图像的图像3d姿态进行坐标运算实现点云融合，生成预测三维模型。
45.s120：根据当前采集的tof深度散点图建立点云模型；
46.具体的，本发明实施例中具体可以根据tof相机采集到的与rgb图像在同一视角下的tof深度散点图建立对应的点云模型，其中，具体过程中为了提高精确度，可以采用滤波算法对tof深度散点图进行滤波去噪处理，从而得到精度更高的tof深度图，然后根据该tof深度图建立点云模型。
47.需要说明的是，在实际应用中可以采用双边滤波算法对tof深度散点图进行滤波
去噪处理，其中，双边滤波算法结合了图像空间临近性和像素相似性两部分，相比于其他算法能够在去噪的同时保留图像的边缘细节。深度图的前后景分界明显，所以具有边缘非常锐利的特性，双边滤波可以避免出现边缘被模糊的现象，双边滤波应用于深度图像时，用滤波核内的周围像素深度值的加权平均表示中心像素的深度值，所用的加权平均基于高斯分布，权重系数包含像素的欧式空间距离和像素深度值的距离，差值越大所占权重越小。
48.其中，
49.e(q)＝(i-k)2+(j-l)250.f(q)＝||f(i,j)-f(k,l)||251.其中，dk(u)表示上采样深度图，dm(q)表示原始低分辨率深度图，u表示高分辨率图像像素，q表示低分辨率图像像素，其中，t＝e(q)或t＝f(q)，σ＝σs或σ＝σd，和表示不同的高斯函数，σs和σd表示不同的高斯函数标准差，f(i,j)表示图像在点(i,j)处的像素值，f(k,l)表示图像在模板窗口ω的中心坐标点(k,l)的像素值，f(q)表示像素差，w
p
是归一化系数，从而得到高质量高分辨率的深度图。
52.s130：根据点云模型对预测三维模型进行修正优化，得到优化后的预测三维模型。
53.需要说明的是，本发明实施例中在得到预测三维模型及点云模型后，可以采用点云模型对预测三维模型进行修正，从而对预测三维模型进行优化，以提高最终的预测三维模型的精确度和分辨率。
54.进一步的，根据点云模型对预测三维模型进行修正优化，得到优化后的预测三维模型的过程为：
55.根据预测三维模型生成多个不同视点的预测三维模型投影深度图；
56.根据点云模型生成与每个预测三维模型投影深度图一一对应的tof模型投影深度图；
57.根据每个预测三维模型投影深度图及各个tof模型投影深度图，得到偏差信息；
58.根据偏差信息对预测三维模型进行修正优化，得到优化后的预测三维模型。
59.需要说明的是，可以采用伪渲染器对预测三维模型随机生成n个不同视点的预测三维模型投影深度图，也即一个视点对应一个预测三维模型投影深度图，然后利用点云模型生成上述n个视点的tof模型投影深度图，也即一个视点对应于一个tof模型投影深度图，在同一个视点下的tof模型投影深度图与对应的预测三维模型投影深度图相对应，也即从而得到n组预测三维模型投影深度图与tof模型投影深度图，将每组中的预测三维模型投影深度图与tof模型投影深度图进行对比，得到相应的偏差信息，具体可以将每组中的预测三维模型投影深度图与tof模型投影深度图进行误差计算，得到对应的误差(也即对应偏差信息)，从而得到n个偏差信息，然后根据这n个偏差信息对预测三维模型进行修正优化，具体过程如下：
60.采用与每个预测三维模型投影深度图对应的偏差信息，对相应视点下的预测三维模组进行修正优化，得到视点下优化后的预测三维模型；
61.根据所有视点下优化后的预测三维模型生成最终优化后的预测三维模型。
62.可以理解的是，针对n个视点中的每个视点，可以采用对应的偏差信息对该在视点
下的预测三维模型中对应的部分进行修正，然后得到修正后的预测三维模型，从而得到n个修正后的预测三维模型，然后再将这n个修正后的预测三维模型进行综合从而得到最终优化的预测三维模型，以使其更加接近真实的实物模型。
63.可见，本发明实施例中在进行三维重建时，可以根据预先建立的rgb图像数据库及当前采集的rgb图像建立预测三维模型，然后再根据当前采集的tof深度散点图建立点云模型，并通过点云模型和对预测三维模型进行修正优化，从而得到优化后的预测三维模型，能够使最终得到的三维模型更加精确，分辨率更高，有利于提升用户使用体验。
64.在上述实施例的基础上，本发明实施例还提供了一种头戴设备的三维重建装置，具体请参照图2，该装置包括：
65.第一建立模块21，用于根据预先建立的rgb图像数据库及当前采集的rgb图像建立预测三维模型；
66.第二建立模块22，用于根据当前采集的tof深度散点图建立点云模型；
67.修正模块23，用于根据点云模型对预测三维模型进行修正优化，得到优化后的预测三维模型。
68.需要说明的是，本发明实施例中的头戴设备的三维重建装置具有与上述实施例中所提供的头戴设备的三维重建方法相同的有益效果，并且对于本发明实施例中所涉及到的头戴设备的三维重建方法的具体介绍请参照上述实施例，本发明在此不再赘述。
69.在上述是实话了的基础上，本发明实施例还提供了一种头戴设备的三维重建系统，该系统包括：
70.存储器，用于存储计算机程序；
71.处理器，用于执行计算机程序时实现如上述头戴设备的三维重建方法的步骤。
72.例如，本发明实施例中的处理器具体可以用于实现根据预先建立的rgb图像数据库及当前采集的rgb图像建立预测三维模型；根据当前采集的tof深度散点图建立点云模型；根据点云模型对预测三维模型进行修正优化，得到优化后的预测三维模型。
73.在上述是实话了的基础上，本发明实施例还提供了一种头戴设备，包括rgb图像采集装置、tof图像采集装置及如上述的头戴设备的三维重建系统。
74.进一步的，头戴设备为ar眼镜，rgb图像采集装置和tof图像采集装置设置于ar眼镜的眼镜边框上。
75.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
76.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
77.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。