三维重建方法、装置、设备、存储介质和程序产品与流程

1.本技术涉及人工智能技术领域，特别是涉及一种三维重建方法、装置、设备、存储介质和程序产品。


背景技术：

2.随着三维计算机视觉的发展，出现了三维重建技术。三维重建技术是一种在计算机中建立表达客观世界的虚拟现实的关键技术，被广泛应用于影视、考古、科研、3d打印等领域。
3.目前常使用rgb-d相机采集场景的图像数据，并基于图像数据对rgb-d相机进行位姿估计，根据位姿估计结果对场景进行三维重建。
4.但是当目标场景存在墙面、地面等较大的平面时，相机的位姿估计结果误差较大，从而导致三维重建结果的准确率较低。


技术实现要素：

5.本技术提供一种三维重建方法、装置、设备、存储介质和程序产品，能够基于两个设备的测量数据对相机的位姿进行估计，提高相机位姿估计的准确率，从而提高目标场景三维重建的准确率。
6.第一方面，本技术提供了一种三维重建方法。该方法包括：
7.获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
8.对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
9.根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
10.在其中一个实施例中，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，包括：根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化；将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
11.在其中一个实施例中，将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵，包括：根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和第二位姿变换矩阵的第二权重；根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处
理，得到目标位姿变换矩阵。
12.在其中一个实施例中，根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，包括：对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数据；对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对；根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
13.在其中一个实施例中，根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，包括：根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据；根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
14.在其中一个实施例中，根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型，包括：根据多个目标位姿变换矩阵，对各采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标系转换处理得到的；对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据；获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据；对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
15.第二方面，本技术还提供了一种三维重建装置。该装置包括：
16.获取模块，用于获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
17.确定模块，用于对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
18.三维重建模块，用于根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
19.第三方面，本技术还提供了一种计算机设备。该计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
20.获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
21.对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
22.根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
23.第四方面，本技术还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
24.获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
25.对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
26.根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
27.第五方面，本技术还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
28.获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
29.对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
30.根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
31.本技术提供一种三维重建方法、装置、设备、存储介质和程序产品，涉及人工智能技术领域，也可应用于金融领域和其他相关领域。本技术提供的方法可以基于第一数据采集设备和第二数据采集设备这两个数据采集设备在多个采集时刻分别采集的目标场景的图像数据和惯性数据，并基于两个数据对第一数据采集设备的位姿进行估计，进而基于位姿估计结果对目标场景进行三维重建，得到三维模型。本技术提供的方法可以基于图像数据和惯性数据两类数据对第一数据采集设备的位姿进行估计，提高了第一数据采集设备位姿估计结果的准确率，从而提高了目标场景三维重建的准确率。
附图说明
32.图1为一个实施例中三维重建方法的应用环境图；
33.图2为一个实施例中三维重建方法的流程示意图；
34.图3为一个实施例中三维重建方法的另一流程示意图；
35.图4为一个实施例中三维重建方法的另一流程示意图；
36.图5为一个实施例中三维重建方法的另一流程示意图；
37.图6为一个实施例中三维重建方法的另一流程示意图；
38.图7为一个实施例中三维重建方法的另一流程示意图；
39.图8为一个实施例中三维重建方法的另一应用环境图；
40.图9为一个实施例中三维重建装置的结构框图；
41.图10为一个实施例中计算机设备的内部结构图。
具体实施方式
42.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
43.随着三维计算机视觉的发展，出现了三维重建技术。三维重建技术是一种在计算机中建立表达客观世界的虚拟现实的关键技术，被广泛应用于影视、考古、科研、3d打印等领域。
44.目前常使用rgb-d相机采集场景的图像数据，并基于图像数据对rgb-d相机进行位姿估计，根据位姿估计结果对场景进行三维重建。
45.但是当目标场景存在墙面、地面等较大的平面时，相机的位姿估计结果误差较大，从而导致三维重建结果的准确率较低。
46.基于此，本技术提供一种三维重建方法、装置、设备、存储介质和程序产品，能够基于两个设备的测量数据对相机的位姿进行估计，提高相机位姿估计的准确率，从而提高目标场景三维重建的准确率。
47.本技术实施例提供的三维重建方法，可以应用于如图1所示的应用环境中。其中，终端10与第一数据采集设备20、第二数据采集设备30通过网络进行通信。终端10可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。第一数据采集设备20可以为深度相机，也可以为rgd-b相机，只要可以采集场景的深度图像数据，本技术对此不作限制；第二数据采集设备30可以是惯性传感器，只要可以采集第二数据采集设备30的运动数据，本技术对此不作限制。第一数据采集设备20、第二数据采集设备30可以将采集到的数据发送至终端10，终端10可以对接收到的数据进行处理，并得到场景的三维模型。
48.在一个实施例中，如图2所示，提供了一种三维重建方法，以该方法应用于图1中的终端10为例进行说明，包括以下步骤：
49.步骤101、获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态。
50.其中，第一数据采集设备可以是深度摄像机，仅用于获取目标场景的深度图像，也可以是rgd-b摄像机，可以同时获取目标场景的深度图像和彩色图像；图像数据可以是目标场景的深度图像，也可以包括目标场景的深度图像和彩色图像，具体数据内容基于第一数据采集设备的具体类型所确定。第二数据采集设备可以是惯性传感器，例如惯性测量单元(inertial measurement unit，imu)，即imu传感器；惯性数据用于表征第二数据采集设备在采集时刻的运动状态，惯性数据可以包括第二数据采集设备的角速度和加速度数据。
51.在本实施例中，第一数据采集设备可以是机器人的形式，该机器人兼备移动和图像数据采集的功能，第二数据采集设备可以设置在机器人上，随机器人的轨迹移动，同时采集惯性数据。也可以将第一数据采集设备和第二数据采集设备设置在一个可移动的机器人上，机器人带动两个数据采集设备按照预设轨迹移动，同时采集惯性数据和目标场景的图像数据。其中，第一数据采集设备和第二数据采集设备的相对位置关系固定不变。
52.在本实施例中，可以预先设置第一数据采集设备和第二数据采集设备的数据采集频率，并设置第一数据采集设备和第二数据采集设备在同一时刻开始采集数据，以及设置
机器人在同一时刻开始移动，从而使得第一数据采集设备在多个采集时刻采集到目标场景的图像数据，使得第二数据采集设备在多个采集时刻采集到第二数据采集设备的惯性数据。数据采集完成之后，第一数据采集设备和第二数据采集设备可以将采集到的数据发送至终端，以使得终端获取到第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据。
53.步骤102、对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化。
54.在本实施例中，第一数据采集设备和第二数据采集设备的数据采集频率可以相同，对于在时序上每相邻的两个采集时刻，终端可以根据两个采集时刻所采集的图像数据对第一数据采集设备的位姿进行估计，确定第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所采集的惯性数据对第二数据采集设备的位姿进行估计，确定第二数据采集设备在两个采集时刻的位姿变化。然后基于第二数据采集设备在两个采集时刻的位姿变化对第一数据采集设备在两个采集时刻的位姿变化进行修正，得到目标位姿变换矩阵。例如，将两个数据采集设备在两个采集时刻的位姿变化的均值确定为目标位姿变换矩阵；或对两个数据采集设备在两个采集时刻的位姿变化进行加权求和，从而得到目标位姿变换矩阵。
55.其中，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化，位姿变化包括旋转角和位移。
56.需要说明的是，一般情况下，imu传感器的数据采集频率高于深度摄像机的采集频率。因此，一种可能的实现方式中，第二数据采集设备的数据采集频率可为第一数据采集设备的数据采集频率的整数倍，例如，可以是n倍，当第一数据采集设备开始采集第二个图像数据时，第二数据采集设备开始采集第n+1个惯性数据。
57.在上述两个数据采集设备的数据采集频率不同的情况下，以第一数据采集设备的采集时刻作为标准，则对于在时序上每相邻的两个采集时刻，两个采集时刻所采集的图像数据共包括两个图像数据，对应一个位姿变化数据；两个采集时刻所采集的惯性数据共包括n+1个惯性数据，对应n个位姿变化数据。因此，需要对n个位姿变化数据进行直接相加求和处理或向量相加求和处理，从而得到在时序上每相邻的两个采集时刻所对应的第二数据采集设备的位姿变化。进而基于上述所得的在时序上每相邻的两个采集时刻所对应的第二数据采集设备的位姿变化，对在时序上每相邻的两个采集时刻对应的第一数据采集设备的位姿变化进行修正，得到目标位姿变换矩阵。
58.步骤103、根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
59.在本实施例中，第一数据采集设备在每一采集时刻所采集到的图像数据仅为目标场景的部分场景的图像数据，而目标位姿变换矩阵为数据采集设备在移动过程中的位姿变化，即为数据采集设备在相邻两个采集时刻的位姿变化。因此，目标位姿变换矩阵可以反映在相邻两个采集时刻所采集到的图像数据之间的关系。
60.因此，基于多个目标位姿变换矩阵对每一采集时刻所采集到的图像数据(或每一采集时刻所采集到的图像数据的其他数据形式，例如点云数据)进行融合处理，可以得到目
标场景对应的完整图像数据(或完整点云数据)，进而基于目标场景对应的完整数据对目标场景进行三维重建处理，从而得到目标场景的三维模型。
61.本技术实施例提供的方法可以基于第一数据采集设备和第二数据采集设备这两个数据采集设备在多个采集时刻分别采集的目标场景的图像数据和惯性数据，并基于两个数据对第一数据采集设备的位姿进行估计，进而基于位姿估计结果对目标场景进行三维重建，得到三维模型。本技术提供的方法可以基于图像数据和惯性数据两类数据对第一数据采集设备的位姿进行估计，提高了第一数据采集设备位姿估计结果的准确率，从而提高了目标场景三维重建的准确率。
62.前文所述的实施例介绍了根据图像数据和惯性数据确定目标位姿变换矩阵的方案。在本技术的另一实施例中，可以根据图像数据对应的位姿变换矩阵以及惯性数据对应的位姿变换矩阵确定目标位姿变换矩阵，具体包括如图3所示的步骤：
63.步骤201、根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化。
64.深度图像数据包括多个像素点的深度值，而第一数据采集设备在采集目标场景的图像数据时频率较高，因此，两个采集时刻所分别采集到的深度图像数据必然存在相互对应的像素点。基于两个采集时刻所分别采集到的深度图像数据中，相互对应的像素点之间的关系，可以确定第一数据采集设备在两个采集时刻之间的位姿变化，即第一位姿变换矩阵。
65.其中，两个相互对应的像素点所对应的目标场景的位置相同，两个相互对应的像素点在不同深度图像数据中的深度值不同。第一位姿变换矩阵包括第一数据采集设备在两个采集时刻之间的旋转角和位移。
66.在一个实施例中，根据相互对应的像素点之间的关系确定第一位姿变换矩阵可以包括如图4所示的步骤：
67.步骤301、对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数据。
68.步骤302、对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对。
69.步骤303、根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
70.深度图像数据还包括各像素点在深度图像中的二维坐标信息，基于各像素点的二维坐标信息，深度值以及第一数据采集设备的焦距，根据相似三角形原理，可以得到各像素点在相机坐标系中的三维坐标。从而，对于每一数据采集时刻所采集的深度图像数据，对该帧深度图像数据中的所有像素点进行上述坐标系转换处理，即可得到该帧深度图像数据中的所有像素点在对应的相机坐标系中的三维坐标数据，也称为点云数据。
71.因此，对于在时序上相邻的两个采集时刻所采集到的第一深度图像数据和第二深度图像数据，分别进行上述坐标系转换处理，即可得到第一点云数据和第二点云数据。需要说明的是，相机坐标系为以相机的光心为原点，相机光轴为z轴所建立的坐标系，相机坐标系的z轴与深度图像平面垂直。因此，第一数据采集设备在不同采集时刻所对应的相机坐标系不同。
72.在本实施例中，在确定了两个采集时刻所对应的第一点云数据和第二点云数据后，可以采用最近点搜索(iterative closest point，icp)算法对上述两个点云数据进行点云配准处理，先确定两个点云数据中相对应的点，即相互匹配的目标点对，然后根据相对应的点在各自相机坐标系中的三维坐标，基于两个三维坐标之间的关系，确定两个相机坐标系之间的转换关系，即第一位姿变换矩阵。
73.步骤202、根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化。
74.在一个实施例中，惯性数据可以表征第二数据采集设备在各采集时刻的运动状态，包括第二数据采集设备在各采集时刻的角速度和加速度信息。对角速度和加速度进行积分运算，即可得到第二数据采集设备在两个采集时刻之间的旋转角和位移信息，从而得到第二位姿变换矩阵。具体可以包括如图5所示的步骤：
75.步骤401、根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据。
76.步骤402、根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
77.在一个实施例中，对于第二数据采集设备在两个采集时刻中，时序上在前的第一采集时刻所采集的第一惯性数据，对第一惯性数据中的角速度进行一次积分，得到第二数据采集设备在第一采集时刻的位置和初始位置之间的第一旋转角，对于第一惯性数据中的加速度进行二次积分，得到第二数据采集设备在第一采集时刻的位置和初始位置之间的第一位移；对于第二数据采集设备在两个采集时刻中，时序上在后的第二采集时刻所采集的第二惯性数据，对第二惯性数据中的角速度进行一次积分，得到第二数据采集设备在第二采集时刻的位置和初始位置之间的第二旋转角，对于第二惯性数据中的加速度进行二次积分，得到第二数据采集设备在第二采集时刻的位置和初始位置之间的第二位移；将第一旋转角和第二旋转角之差确定为初始位姿变换矩阵中的旋转角，将第一位移和第二位移之差确定为初始位姿变换矩阵中的位移，从而得到初始位姿变换矩阵。
78.由于第一数据采集设备和第二数据采集设备之间存在相对位置关系，因此，可以根据上述相对位置关系，对初始位姿变换矩阵进行坐标系转换处理，使得坐标系转换处理后的初始位姿变换矩阵和第一位姿变换矩阵位于同一坐标系下，从而得到第二位姿变换矩阵。
79.步骤203、将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
80.由于目标场景存在墙面、地面等较大的平面时，第一位姿变换矩阵的误差较大，因此，可以基于第二位姿变换矩阵对第一位姿变换矩阵进行修正处理，例如均值处理，或者加权求和处理，将第一位姿变换矩阵和第二位姿变换矩阵融合，从而减小第一位姿变换矩阵的误差，得到目标位姿变换矩阵。
81.本技术实施例提供的方法可以分别根据第一数据采集设备在两个采集时刻所采集到的图像数据确定第一位姿变换矩阵，根据第二数据采集设备在两个采集时刻所采集的惯性数据确定第二位姿变换矩阵，然后对两个位姿变换矩阵进行融合，得到目标位姿变换
矩阵。本技术实施例可以根据第一位姿变换矩阵和第二位姿变换矩阵两个位姿变换矩阵，确定第一数据采集设备对应的目标位姿变换矩阵，使得第一数据采集设备对应的目标位姿变换矩阵的准确度较高。即通过第二位姿变换矩阵对第一位姿变换矩阵进行修正，提高了第一位姿变换矩阵的准确度，进而提高了目标场景三维重建的准确度。
82.前文所述的实施例介绍了根据第一位姿变换矩阵和第二位姿变换矩阵确定目标位姿变换矩阵的方案。在本技术的另一实施例中，可以对第一位姿变换矩阵和第二位姿变换矩阵进行加权求和处理，从而得到目标位姿变换矩阵，具体包括如图6所示的步骤：
83.步骤501、根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和第二位姿变换矩阵的第二权重。
84.在一个实施例中，第一数据采集设备和第二数据采集设备的位姿变换矩阵受各采集设备所对应的白噪声的影响，因此，可以以目标位姿变换矩阵对应的噪声方差最小为目标建立目标函数，以第一权重和第二权重之和为1作为约束条件，确定噪声方差和权重之间的关系，基于上述关系确定第一权重和第二权重。
85.以数据采集设备的数量为n进行说明：
86.以目标位姿变换矩阵对应的噪声方差最小为目标建立如下式(1)所示的目标函数：
[0087][0088]
其中，wj表示第j个数据采集设备对应的位姿变换矩阵的权重；表示第j个数据采集设备对应的噪声方差；f(w1,w2,
…
,wn,λ)表示目标位姿变换矩阵对应的噪声方差；λ为参考参数。
[0089]
如下式(2)所示，n个数据采集设备对应的位姿变换矩阵的权重之和为1：
[0090]
w1+w2+
…
+wn＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0091]
将上式(1)的最小值问题转换为如下式(3)所示的极值问题：
[0092][0093]
则可得到如下式(4)所示的权重的表达式：
[0094][0095]
将上式(4)代入上式(2)即可得到如下式(5)所示的λ和σ
j2
之间的关系：
[0096][0097]
将上式(5)代入上式(4)即可得到如下式(6)所示的wj和σ
j2
之间的关系，即数据采
集设备的噪声方差和对应的位姿变换矩阵的权重之间的关系：
[0098][0099]
由上述分析可知，数据采集设备的位姿变换矩阵的权重由数据采集设备的噪声方差决定，因此，在确定数据采集设备的位姿变换矩阵的权重之前，需要先确定数据采集设备的噪声方差。
[0100]
假设第i个数据采集设备和第j个数据采集设备的位姿变换矩阵的测量值分别为yi和yj，位姿变换矩阵的真实值为y，由白噪声引起的测量误差分别为ni和nj，则可得下式(7)和下式(8)：
[0101]
yi＝y+niꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0102]
yj＝y+njꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0103]
由于数据采集设备的白噪声和位姿变换矩阵之间相互独立，不同数据采集设备的白噪声之间相互独立，因此第i个数据采集设备和第j个数据采集设备的位姿变换矩阵之间的互相关系数r
ij
如下式(9)所示：
[0104]rij
＝e[yiyj]＝e[y2]
ꢀꢀꢀꢀꢀꢀꢀ
(9)
[0105]
第j个数据采集设备的位姿变换矩阵的自相关系数r
jj
如下式(10)所示：
[0106][0107]
根据上式(9)和上式(10)可以得到如下式(11)所示的数据采集设备对应的噪声方差的表达式：
[0108][0109]
其中，第j个数据采集设备在第k-1个采集时刻和第k个采集时刻之间的位姿变换矩阵的自相关系数的计算公式如下式(12)所示：
[0110][0111]
第i个数据采集设备和第j个数据采集设备在第k-1个采集时刻和第k个采集时刻之间的位姿变换矩阵之间的互相关系数的计算公式如下式(13)所示：
[0112][0113]
其中，k为数据采集设备采集数据的总次数；yj(m)为第j个数据采集设备在第m-1个采集时刻和第m个采集时刻之间的位姿变换矩阵；yj(k)为第j个数据采集设备在第k-1个采集时刻和第k个采集时刻之间的位姿变换矩阵；yi(k)为第i个数据采集设备在第k-1个采集时刻和第k个采集时刻之间的位姿变换矩阵。
[0114]
若数据采集设备包括至少三个，则第j个数据采集设备和其他数据采集设备的位姿变换矩阵之间的互相关系数的计算公式如下式(14)所示：
[0115][0116]
此时，第j个数据采集设备对应的噪声方差的表达式如下式(15)所示：
[0117][0118]
因此，数据采集设备的数量为2(即包括第一数据采集设备和第二数据采集设备)时，目标函数如下式(16)所示：
[0119][0120]
第一数据采集设备的第一权重和噪声方差之间的关系如下式(17)所示：
[0121][0122]
第二数据采集设备的第二权重和噪声方差之间的关系如下式(18)所示：
[0123][0124]
其中，w1为第一位姿变换矩阵对应的权重；w2为第一位姿变换矩阵对应的权重；为第一数据采集设备的噪声方差；为第二数据采集设备的噪声方差。
[0125]
步骤502、根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处理，得到目标位姿变换矩阵。
[0126]
根据第一权重和第二权重，按照下式(19)对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行计算，得到目标位姿变换矩阵：
[0127][0128]
其中，为第一位姿变换矩阵的偏置矩阵；h2为第二位姿变换矩阵；h为目标位姿变换矩阵。
[0129]
本技术实施例提供的方法可以以目标位姿变换矩阵的噪声方差最小为目标，确定数据采集设备对应的位姿变换矩阵的权重和噪声方差之间的关系，进而根据上述关系确定第一权重和第二权重，最后基于第一权重和第二权重，根据预设关系式对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行计算，得到目标位姿变换矩阵。本技术实施例以目标位姿变换矩阵的噪声方差最小为目标所求得的各数据采集设备对应的位姿变换矩阵的权重更为准确，减小了数据采集设备的白噪声对目标位姿变换矩阵的影响，提高了目标位姿变换矩阵的准确度，进而提高了目标场景三维重建的准确率。
[0130]
前文所述的实施例中介绍了基于多个目标位姿变换矩阵对目标场景进行三维重建的方案。在本技术的另一实施例中，可以根据多个目标位姿变换矩阵，对多个点云数据进行点云融合、曲面重建等处理，从而得到目标场景的三维模型。具体包括如图7所示的步骤：
[0131]
步骤601、根据多个目标位姿变换矩阵，对各采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标
系转换处理得到的。
[0132]
步骤602、对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据。
[0133]
步骤603、获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据。
[0134]
步骤604、对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
[0135]
上述步骤301至步骤303中介绍了对各采集时刻所采集的深度图像数据进行坐标系转换处理，将深度图像数据中各像素点对应的二维坐标转换至对应相机坐标系下的三维坐标，从而得到每帧深度图像数据对应的点云数据。而由于第一数据采集设备的移动，每帧深度图像数据对应的点云数据所在的相机坐标系不同，为得到目标场景对应的完整的点云数据，可以对多个点云数据进行坐标系转换处理，将多个点云数据转换至同一坐标系下。
[0136]
在一个实施例中，可以将第一数据采集设备在第一个采集时刻对应的相机坐标系作为世界坐标系，根据在时序上相邻的两个采集时刻对应的目标位姿变换矩阵，依次将点云数据转换至世界坐标系下，从而得到目标场景对应的完整的点云数据。例如，数据采集设备对目标场景进行k次数据采集，得到k帧深度图像数据，则根据第k-1个采集时刻至第k个采集时刻之间的目标位姿变换矩阵，对第k帧深度图像数据对应的点云数据进行坐标系转换处理，即可将其转换至数据采集设备在第k-1个采集时刻对应的相机坐标系中。得到世界坐标系下完整的点云数据之后，对处于同一位置的点进行点云融合处理，去除冗余点，从而得到目标场景对应的全局点云数据。
[0137]
在一个实施例中，可以直接采用tsdf算法对多个目标位姿变换矩阵进行处理，从而得到在算法所建立的三维空间中，目标场景对应的全局点云数据。
[0138]
如图8所示，本技术实施例提供的三维重建方法的应用环境还可以包括第三数据采集设备40。终端10与第三数据采集设备40通过网络进行通信。第三数据采集设备40可以将采集到的数据发送至终端10，终端10可以对接收到的数据进行处理。其中，第三数据采集设备40可以为rgd-b相机，也可以为其他摄像机，只要可以采集场景的彩色图像数据，本技术对此不作限制；第三数据采集设备40可以集成在第一数据采集设备20上，以使得第一数据采集设备20可以同时采集场景的深度图像数据和彩色图像数据。
[0139]
在一个实施例中，第三数据采集设备在采集到多个采集时刻对应的彩色图像数据后，将多个彩色图像数据发送至终端，终端可以根据多个彩色图像数据，采用ray-casting算法对全局点云数据进行渲染处理，得到目标场景对应的彩色全局点云数据，最后采用marching cubes算法对彩色全局点云数据进行曲面重建处理，绘制全局点云数据的表面，从而得到目标场景的三维模型。
[0140]
本技术实施例提供的方法可以基于多个目标位姿变换矩阵对多个点云数据进行点云融合处理，从而得到目标场景的全局点云数据，进而基于全局点云数据进行表面渲染、曲面重建等处理，从而得到目标场景的三维模型。本技术实施例基于准确的目标位姿变换矩阵得到的目标场景的全局点云数据也更为准确，进而基于准确的全局点云数据得到的目标场景的三维模型，提高了目标场景三维重建的准确度。
[0141]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有
明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0142]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的三维重建方法的三维重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个三维重建装置实施例中的具体限定可以参见上文中对于三维重建方法的限定，在此不再赘述。
[0143]
在一个实施例中，如图9所示，提供了一种三维重建装置，包括：获取模块701、确定模块702和三维重建模块703，其中：
[0144]
获取模块701，用于获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
[0145]
确定模块702，用于对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
[0146]
三维重建模块703，用于根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
[0147]
在一个实施例中，确定模块702具体用于根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化；将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
[0148]
在一个实施例中，确定模块702还用于根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和第二位姿变换矩阵的第二权重；根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处理，得到目标位姿变换矩阵。
[0149]
在一个实施例中，确定模块702还用于对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数据；对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对；根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
[0150]
在一个实施例中，确定模块702还用于根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据；根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
[0151]
在一个实施例中，三维重建模块703具体用于根据多个目标位姿变换矩阵，对各采
集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标系转换处理得到的；对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据；获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据；对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
[0152]
上述三维重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0153]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种三维重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0154]
本领域技术人员可以理解，图10中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0155]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0156]
获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
[0157]
对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
[0158]
根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
[0159]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化；将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
[0160]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和
第二位姿变换矩阵的第二权重；根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处理，得到目标位姿变换矩阵。
[0161]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数据；对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对；根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
[0162]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据；根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
[0163]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据多个目标位姿变换矩阵，对各采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标系转换处理得到的；对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据；获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据；对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
[0164]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0165]
获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
[0166]
对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
[0167]
根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
[0168]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化；将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
[0169]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和第二位姿变换矩阵的第二权重；根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处理，得到目标位姿变换矩阵。
[0170]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对第一深度图像
数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数据；对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对；根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
[0171]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据；根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
[0172]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据多个目标位姿变换矩阵，对各采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标系转换处理得到的；对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据；获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据；对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
[0173]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0174]
获取第一数据采集设备在多个采集时刻所采集的图像数据和第二数据采集设备在多个采集时刻所采集的惯性数据；图像数据包括目标场景的深度图像数据，惯性数据表征第二数据采集设备在采集时刻的运动状态；
[0175]
对于在时序上每相邻的两个采集时刻，根据两个采集时刻所采集的图像数据和惯性数据，确定目标位姿变换矩阵，目标位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；
[0176]
根据多个目标位姿变换矩阵和多个图像数据进行三维重建处理，得到目标场景的三维模型。
[0177]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据两个采集时刻所分别采集到的深度图像数据，确定第一位姿变换矩阵，第一位姿变换矩阵用于表征第一数据采集设备在两个采集时刻的位姿变化；根据两个采集时刻所分别采集到的惯性数据，确定第二位姿变换矩阵，其中，第二位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化；将第一位姿变换矩阵和第二位姿变换矩阵进行融合处理，得到目标位姿变换矩阵。
[0178]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第一数据采集设备的噪声方差以及第二数据采集设备的噪声方差，确定第一位姿变换矩阵的第一权重和第二位姿变换矩阵的第二权重；根据第一权重和第二权重，对第一位姿变换矩阵的偏置矩阵和第二位姿变换矩阵进行加权求和处理，得到目标位姿变换矩阵。
[0179]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对第一深度图像数据和第二深度图像数据分别进行坐标系转换处理，得到第一点云数据和第二点云数据，其中，第一深度图像数据和第二深度图像数据为两个采集时刻所分别采集到的深度图像数
据；对第一点云数据和第二点云数据进行点云配准处理，得到相互匹配的目标点对；根据目标点对中的点的相对位置关系确定第一位姿变换矩阵。
[0180]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第一惯性数据和第二惯性数据确定初始位姿变换矩阵，初始位姿变换矩阵用于表征第二数据采集设备在两个采集时刻的位姿变化，第一惯性数据和第二惯性数据为两个采集时刻所分别采集到的惯性数据；根据第一数据采集设备和第二数据采集设备之间的相对位置关系，对初始位姿变换矩阵进行坐标系变换处理，得到第二位姿变换矩阵。
[0181]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据多个目标位姿变换矩阵，对各采集时刻对应的点云数据进行坐标系转换处理，得到完整点云数据，点云数据为对各采集时刻所采集的深度图像数据进行坐标系转换处理得到的；对完整点云数据进行点云融合处理，得到目标场景对应的全局点云数据；获取第三数据采集设备在多个采集时刻所采集的彩色图像数据，并根据多个彩色图像数据对全局点云数据进行渲染处理，得到彩色全局点云数据；对彩色全局点云数据进行曲面重建处理，得到目标场景的三维模型。
[0182]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0183]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0184]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。