一种点云生成方法、装置、电子设备及存储介质

1.本技术涉及点云生成领域，具体而言，涉及一种点云生成方法、装置、电子设备及存储介质。


背景技术：

2.点云生成旨在从特定分布中生成点云。由于点云的无序性，这是一项具有挑战性的任务。
3.常见的点云生成方法包括生成对抗网络、自回归模型、变分自动编码器和归一化流。但是这些方法均有其固有缺陷，例如生成对抗网络训练不稳定，自回归模型必须按序生成，变分自动编码器生成点云模糊，而归一化流训练所需时间较长。因此，有部分研究将变分自动编码器与归一化流相结合，来提高生成点云的质量。然而，这部分方法很少考虑网络设计。具体来说，对于变分自动编码器的点云编码器部分，广泛采用的结构很难捕捉到局部信息，这个缺点会造成隐码缺失高频表示，不利于点云的生成。而直接替换为复杂的点云编码器会破坏生成的鲁棒性并带来不可接受的计算成本。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种点云生成方法、装置、电子设备及存储介质，能够使得训练完成后的可逆点云解码器生成的点云具有更丰富的细节。
5.第一方面，本技术实施例提供了一种点云生成方法，所述方法包括：
6.s101、获取目标种类的m个对象各自的点云数据，其中，m为大于1的整数；
7.s102、对于最新获取的每一点云数据，使用点云编码器对该点云数据进行目标处理过程，得到该点云数据对应的均值向量和该点云数据对应的方差向量，其中，所述目标处理过程包括：对该点云数据进行第一卷积处理，得到该点云数据的初始特征矩阵；基于所述初始特征矩阵，得到用于表征该点云数据中每一点与其每一第一邻居点在特征空间中互相之间的位置信息的第一空间特征矩阵，以及，得到用于表征该点云数据中每一点与其每一第二邻居点在笛卡尔空间中互相之间的位置信息的第二空间特征矩阵，其中，对于该点云数据中的每一点，该点的第一邻居点为该点云数据中与该点在所述特征空间中的距离较近的k个点，该点的第二邻居节点为该点云数据中与该点在所述笛卡尔空间中的距离较近的k个点，k为大于1的整数；对综合空间特征矩阵进行第一池化处理，得到第一池化特征矩阵，以及，对所述综合空间特征矩阵进行第二池化处理，得到第二池化特征矩阵，其中，所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行相加后得到的，或，所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行合并后得到的；通过第一全连接层将所述第一池化特征矩阵转换为所述均值向量，以及，通过第二全连接层将所述第二池化特征矩阵转换为所述方差向量；
8.s103、基于所述均值向量、所述方差向量和由第一目标采样点构成的高斯分布向量，得到该点云数据对应的隐码向量，其中，所述第一目标采样点是对概率密度函数符合标
准高斯分布的噪声进行随机采样后得到的；
9.s104、将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中，得到与所述第一隐码矩阵维数相同的第一目标矩阵；
10.s105、将最新获取的每一点云数据和所述第一隐码矩阵输入到可逆点云解码器中，进行目标流程的正向过程，得到第二目标矩阵，其中，所述目标流程为第二点云归一化流或马尔可夫链的扩散；
11.s106、基于所述第一隐码矩阵和所述第一目标矩阵，计算得到第一损失值，以及，基于与所述第二目标矩阵维数相同的由第一目标三维采样点构成的第一高斯分布矩阵和所述第二目标矩阵，计算得到第二损失值，其中，所述第一目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的；
12.s107、若最新的第一损失值大于第一预设损失值和/或最新的第二损失值大于第二预设损失值，则基于梯度下降法对所述第一点云归一化流、所述可逆点云解码器和所述点云编码器中的至少一者进行优化，并重复步骤s101～步骤s106，直至最新的第一损失值小于或等于所述第一预设损失值且最新的第二损失值小于或等于第二预设损失值，以将当前的第一点云归一化流作为训练完成后的第一点云归一化流，以及，将当前的可逆点云解码器作为训练完成后的可逆点云解码器；
13.s108、将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中，得到与所述第一目标矩阵维数相同的第二隐码矩阵，其中，所述第二目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的；
14.s109、将与所述第一高斯分布矩阵维数相同的由第二目标三维采样点构成的第三高斯分布矩阵和所述第二隐码矩阵输入到所述训练完成后的可逆点云解码器中，进行所述目标流程的逆向过程，生成所述目标种类的新点云，其中，所述第二目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
15.在一种可能的实施方式中，对综合空间特征矩阵进行第一池化处理，得到第一池化特征矩阵，包括：
16.将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列，或，将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列，得到第一候选特征矩阵；
17.对所述第一候选特征矩阵进行第二卷积处理，得到第二候选特征矩阵；
18.对于所述第二候选特征矩阵中每个位置的数值，基于softmax函数，计算得到所述第二候选特征矩阵中该位置的数值的第一选取概率，并将所述第二候选特征矩阵中该位置的数值替换为所述第一选取概率，得到第一权重矩阵；
19.将所述第一权重矩阵的转置矩阵与所述第一候选特征矩阵相乘，得到所述第一池化特征矩阵；
20.对所述综合空间特征矩阵进行第二池化处理，得到第二池化特征矩阵，包括：
21.将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列，或，将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列，
得到第三候选特征矩阵；
22.对所述第三候选特征矩阵进行第三卷积处理，得到第四候选特征矩阵；
23.对于所述第四候选特征矩阵中每个位置的数值，基于softmax函数，计算得到所述第四候选特征矩阵中该位置的数值的第二选取概率，并将所述第四候选特征矩阵中该位置的数值替换为所述第二选取概率，得到第二权重矩阵；
24.将所述第二权重矩阵的转置矩阵与所述第三候选特征矩阵相乘，得到所述第二池化特征矩阵。
25.在一种可能的实施方式中，所述第一点云归一化流中包括n个可逆残差耦合块，其中，n为大于1的整数，对于每一所述可逆残差耦合块，该可逆残差耦合块中包括第一目标层、第二目标层和第三目标层，所述第一目标层为卷积层或全连接层，所述第二目标层为卷积层或全连接层，所述第三目标层为卷积层或全连接层；将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中，得到与所述第一隐码矩阵维数相同的第一目标矩阵，包括：
26.将所述第一隐码矩阵拆分为维数相同的第一子隐码矩阵和第二子隐码矩阵，并将所述第一子隐码矩阵作为第一个可逆残差耦合块的第一输入矩阵，以及，将所述第二子隐码矩阵作为第一个可逆残差耦合块的第二输入矩阵；
27.通过以下公式，计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵，并在i小于n时，将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵，以及，将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵，其中，i的初始值为1；
[0028][0029][0030]
其中，为第i个可逆残差耦合块的第一输出矩阵，为第i个可逆残差耦合块的第二输出矩阵，为经过第i个可逆残差耦合块中的第一目标层后得到的第一参考矩阵，为经过第i个可逆残差耦合块中的第二目标层后得到的第二参考矩阵，为经过第i个可逆残差耦合块中的第三目标层后得到的第三参考矩阵，为第i个可逆残差耦合块的第二输入矩阵，为第i个可逆残差耦合块的第一输入矩阵；
[0031]
将i+1，并返回步骤通过以下公式，计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵，并在i小于n时，将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵，以及，将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵，直至i等于n；
[0032]
将第n个可逆残差耦合块的第一输出矩阵以及第n个可逆残差耦合块的第二输出矩阵进行合并，得到所述第一目标矩阵。
[0033]
在一种可能的实施方式中，将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中，得到与所述第一目标矩阵维数相同的第二隐码矩阵，包括：
[0034]
将所述第二高斯分布矩阵拆分为维数相同的第一子高斯分布矩阵和第二子高斯分布矩阵，并将所述第一子高斯分布矩阵作为第n个可逆残差耦合块的第三输出矩阵，以及，将所述第二子高斯分布矩阵作为第n个可逆残差耦合块的第四输出矩阵；
[0035]
通过以下公式，计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵，并在j大于1时，将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵，以及，将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵，其中，j的初始值为n；
[0036][0037][0038]
其中，为第j个可逆残差耦合块的第三输出矩阵，为经过第j个可逆残差耦合块中的第三目标层后得到的第四参考矩阵，为第j个可逆残差耦合块的第四输出矩阵，为第j个可逆残差耦合块的第四输入矩阵，为经过第j个可逆残差耦合块中的第二目标层后得到的第五参考矩阵，为经过第j个可逆残差耦合块中的第一目标层后得到的第六参考矩阵，为第j个可逆残差耦合块的第三输入矩阵；
[0039]
将j-1，并返回步骤通过以下公式，计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵，并在j大于1时，将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵，以及，将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵，直至j等于1；
[0040]
将第一个可逆残差耦合块的第三输入矩阵以及第一个可逆残差耦合块的第四输入矩阵进行合并，得到所述第二隐码矩阵。
[0041]
第二方面，本技术实施例还提供了一种点云生成装置，所述装置包括：
[0042]
获取模块，用于获取目标种类的m个对象各自的点云数据，其中，m为大于1的整数；
[0043]
第一处理模块，用于对于最新获取的每一点云数据，使用点云编码器对该点云数据进行目标处理过程，得到该点云数据对应的均值向量和该点云数据对应的方差向量，其中，所述目标处理过程包括：对该点云数据进行第一卷积处理，得到该点云数据的初始特征矩阵；基于所述初始特征矩阵，得到用于表征该点云数据中每一点与其每一第一邻居点在特征空间中互相之间的位置信息的第一空间特征矩阵，以及，得到用于表征该点云数据中每一点与其每一第二邻居点在笛卡尔空间中互相之间的位置信息的第二空间特征矩阵，其中，对于该点云数据中的每一点，该点的第一邻居点为该点云数据中与该点在所述特征空间中的距离较近的k个点，该点的第二邻居节点为该点云数据中与该点在所述笛卡尔空间中的距离较近的k个点，k为大于1的整数；对综合空间特征矩阵进行第一池化处理，得到第一池化特征矩阵，以及，对所述综合空间特征矩阵进行第二池化处理，得到第二池化特征矩阵，其中，所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行相加后得到的，或，所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间
特征矩阵进行合并后得到的；通过第一全连接层将所述第一池化特征矩阵转换为所述均值向量，以及，通过第二全连接层将所述第二池化特征矩阵转换为所述方差向量；
[0044]
第二处理模块，用于基于所述均值向量、所述方差向量和由第一目标采样点构成的高斯分布向量，得到该点云数据对应的隐码向量，其中，所述第一目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的；
[0045]
第三处理模块，用于将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中，得到与所述第一隐码矩阵维数相同的第一目标矩阵；
[0046]
第四处理模块，用于将最新获取的每一点云数据和所述第一隐码矩阵输入到可逆点云解码器中，进行目标流程的正向过程，得到第二目标矩阵，其中，所述目标流程为第二点云归一化流或马尔可夫链的扩散；
[0047]
计算模块，用于基于所述第一隐码矩阵和所述第一目标矩阵，计算得到第一损失值，以及，基于与所述第二目标矩阵维数相同的由第一目标三维采样点构成的第一高斯分布矩阵和所述第二目标矩阵，计算得到第二损失值，其中，所述第一目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的；
[0048]
优化模块，用于若最新的第一损失值大于第一预设损失值和/或最新的第二损失值大于第二预设损失值，则基于梯度下降法对所述第一点云归一化流、所述可逆点云解码器和所述点云编码器中的至少一者进行优化，并重新交由所述获取模块进行处理，直至最新的第一损失值小于或等于所述第一预设损失值且最新的第二损失值小于或等于第二预设损失值，以将当前的第一点云归一化流作为训练完成后的第一点云归一化流，以及，将当前的可逆点云解码器作为训练完成后的可逆点云解码器；
[0049]
第五处理模块，用于将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中，得到与所述第一目标矩阵维数相同的第二隐码矩阵，其中，所述第二目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的；
[0050]
点云生成模块，用于将与所述第一高斯分布矩阵维数相同的由第二目标三维采样点构成的第三高斯分布矩阵和所述第二隐码矩阵输入到所述训练完成后的可逆点云解码器中，进行所述目标流程的逆向过程，生成所述目标种类的新点云，其中，所述第二目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
[0051]
在一种可能的实施方式中，对综合空间特征矩阵进行第一池化处理，得到第一池化特征矩阵，包括：
[0052]
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列，或，将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列，得到第一候选特征矩阵；
[0053]
对所述第一候选特征矩阵进行第二卷积处理，得到第二候选特征矩阵；
[0054]
对于所述第二候选特征矩阵中每个位置的数值，基于softmax函数，计算得到所述第二候选特征矩阵中该位置的数值的第一选取概率，并将所述第二候选特征矩阵中该位置的数值替换为所述第一选取概率，得到第一权重矩阵；
[0055]
将所述第一权重矩阵的转置矩阵与所述第一候选特征矩阵相乘，得到所述第一池
化特征矩阵；
[0056]
对所述综合空间特征矩阵进行第二池化处理，得到第二池化特征矩阵，包括：
[0057]
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列，或，将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列，得到第三候选特征矩阵；
[0058]
对所述第三候选特征矩阵进行第三卷积处理，得到第四候选特征矩阵；
[0059]
对于所述第四候选特征矩阵中每个位置的数值，基于softmax函数，计算得到所述第四候选特征矩阵中该位置的数值的第二选取概率，并将所述第四候选特征矩阵中该位置的数值替换为所述第二选取概率，得到第二权重矩阵；
[0060]
将所述第二权重矩阵的转置矩阵与所述第三候选特征矩阵相乘，得到所述第二池化特征矩阵。
[0061]
在一种可能的实施方式中，所述第一点云归一化流中包括n个可逆残差耦合块，其中，n为大于1的整数，对于每一所述可逆残差耦合块，该可逆残差耦合块中包括第一目标层、第二目标层和第三目标层，所述第一目标层为卷积层或全连接层，所述第二目标层为卷积层或全连接层，所述第三目标层为卷积层或全连接层；所述第三处理模块，具体用于：
[0062]
将所述第一隐码矩阵拆分为维数相同的第一子隐码矩阵和第二子隐码矩阵，并将所述第一子隐码矩阵作为第一个可逆残差耦合块的第一输入矩阵，以及，将所述第二子隐码矩阵作为第一个可逆残差耦合块的第二输入矩阵；
[0063]
通过以下公式，计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵，并在i小于n时，将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵，以及，将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵，其中，i的初始值为1；
[0064][0065][0066]
其中，为第i个可逆残差耦合块的第一输出矩阵，为第i个可逆残差耦合块的第二输出矩阵，为经过第i个可逆残差耦合块中的第一目标层后得到的第一参考矩阵，为经过第i个可逆残差耦合块中的第二目标层后得到的第二参考矩阵，为经过第i个可逆残差耦合块中的第三目标层后得到的第三参考矩阵，为第i个可逆残差耦合块的第二输入矩阵，为第i个可逆残差耦合块的第一输入矩阵；
[0067]
将i+1，并返回步骤通过以下公式，计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵，并在i小于n时，将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵，以及，将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵，直至i等于n；
[0068]
将第n个可逆残差耦合块的第一输出矩阵以及第n个可逆残差耦合块的第二输出矩阵进行合并，得到所述第一目标矩阵。
[0069]
在一种可能的实施方式中，所述第五处理模块，具体用于：
[0070]
将所述第二高斯分布矩阵拆分为维数相同的第一子高斯分布矩阵和第二子高斯分布矩阵，并将所述第一子高斯分布矩阵作为第n个可逆残差耦合块的第三输出矩阵，以及，将所述第二子高斯分布矩阵作为第n个可逆残差耦合块的第四输出矩阵；
[0071]
通过以下公式，计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵，并在j大于1时，将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵，以及，将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵，其中，j的初始值为n；
[0072][0073][0074]
其中，为第j个可逆残差耦合块的第三输出矩阵，为经过第j个可逆残差耦合块中的第三目标层后得到的第四参考矩阵，为第j个可逆残差耦合块的第四输出矩阵，为第j个可逆残差耦合块的第四输入矩阵，为经过第j个可逆残差耦合块中的第二目标层后得到的第五参考矩阵，为经过第j个可逆残差耦合块中的第一目标层后得到的第六参考矩阵，为第j个可逆残差耦合块的第三输入矩阵；
[0075]
将j-1，并返回步骤通过以下公式，计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵，并在j大于1时，将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵，以及，将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵，直至j等于1；
[0076]
将第一个可逆残差耦合块的第三输入矩阵以及第一个可逆残差耦合块的第四输入矩阵进行合并，得到所述第二隐码矩阵。
[0077]
第三方面，本技术实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的点云生成方法的步骤。
[0078]
第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的点云生成方法的步骤。
[0079]
本技术实施例提供的一种点云生成方法、装置、电子设备及存储介质，能够使得训练完成后的可逆点云解码器生成的点云具有更丰富的细节。
附图说明
[0080]
为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这
些附图获得其他相关的附图。
[0081]
图1示出了本技术实施例提供的一种点云生成方法的流程图；
[0082]
图2示出了本技术实施例提供的生成点云对比示意图；
[0083]
图3示出了本技术实施例提供的一种点云生成装置的结构示意图；
[0084]
图4示出了本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0085]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
[0086]
另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0087]
需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
[0088]
为便于对本实施例进行理解，对本技术实施例提供的一种点云生成方法、装置、电子设备及存储介质进行详细介绍。
[0089]
参照图1所示，为本技术实施例提供的一种点云生成方法的流程图，所述方法包括：
[0090]
s101、获取目标种类的m个对象各自的点云数据，其中，m为大于1的整数。
[0091]
示例性的，目标种类为飞机类、桌子类或椅子类等，那么，在目标种类为飞机类时，目标种类的m个对象便可以为m个相同或不同的飞机。
[0092]
示例性的，m可以为8，在m为8时即意味着后续训练过程是以8个点云数据为一组进行训练。
[0093]
s102、对于最新获取的每一点云数据，使用点云编码器对该点云数据进行目标处理过程，得到该点云数据对应的均值向量和该点云数据对应的方差向量，其中，所述目标处理过程包括：对该点云数据进行第一卷积处理，得到该点云数据的初始特征矩阵；基于所述初始特征矩阵，得到用于表征该点云数据中每一点与其每一第一邻居点在特征空间中互相之间的位置信息的第一空间特征矩阵，以及，得到用于表征该点云数据中每一点与其每一第二邻居点在笛卡尔空间中互相之间的位置信息的第二空间特征矩阵，其中，对于该点云数据中的每一点，该点的第一邻居点为该点云数据中与该点在所述特征空间中的距离较近的k个点，该点的第二邻居节点为该点云数据中与该点在所述笛卡尔空间中的距离较近的k个点，k为大于1的整数；对综合空间特征矩阵进行第一池化处理，得到第一池化特征矩阵，
以及，对所述综合空间特征矩阵进行第二池化处理，得到第二池化特征矩阵，其中，所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行相加后得到的，或，所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行合并后得到的；通过第一全连接层将所述第一池化特征矩阵转换为所述均值向量，以及，通过第二全连接层将所述第二池化特征矩阵转换为所述方差向量。
[0094]
此处为本技术相对于现有技术的第一个改动，在现有技术中，不包括根据初始特征矩阵生成第一空间特征矩阵和第二空间特征矩阵等步骤，而是直接对初始特征矩阵进行池化处理，通过本技术的方式，能够使得最终生成的点云具有更加丰富的细节。
[0095]
优选的，k可以为10，在k为10的时候能够使得最终生成的点云在生成质量和计算资源方面具有较佳的平衡。
[0096]
示例性的，池化处理可以为最大池化处理或平均池化处理等。
[0097]
s103、基于所述均值向量、所述方差向量和由第一目标采样点构成的高斯分布向量，得到该点云数据对应的隐码向量，其中，所述第一目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的。
[0098]
本步骤即为重参数化的过程。
[0099]
s104、将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中，得到与所述第一隐码矩阵维数相同的第一目标矩阵。
[0100]
例如，存在3个隐码向量，分别为[1 2 3]、[4 5 6]和[7 8 9]，那么，第一隐码矩阵即可以为
[0101]
s105、将最新获取的每一点云数据和所述第一隐码矩阵输入到可逆点云解码器中，进行目标流程的正向过程，得到第二目标矩阵，其中，所述目标流程为第二点云归一化流或马尔可夫链的扩散。
[0102]
s106、基于所述第一隐码矩阵和所述第一目标矩阵，计算得到第一损失值，以及，基于与所述第二目标矩阵维数相同的由第一目标三维采样点构成的第一高斯分布矩阵和所述第二目标矩阵，计算得到第二损失值，其中，所述第一目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
[0103]
示例性的，可以基于均方误差等方式计算第一损失值和第二损失值。
[0104]
s107、若最新的第一损失值大于第一预设损失值和/或最新的第二损失值大于第二预设损失值，则基于梯度下降法对所述第一点云归一化流、所述可逆点云解码器和所述点云编码器中的至少一者进行优化，并重复步骤s101～步骤s106，直至最新的第一损失值小于或等于所述第一预设损失值且最新的第二损失值小于或等于第二预设损失值，以将当前的第一点云归一化流作为训练完成后的第一点云归一化流，以及，将当前的可逆点云解码器作为训练完成后的可逆点云解码器。
[0105]
结合步骤s101～步骤s107，每m个点云数据一组进行训练，并基于梯度下降法对点云编码器、第一点云归一化流和可逆点云解码器中的至少一者进行优化，直至最新的一组点云数据对应的损失值(即最新的损失值)小于或等于预设损失值，便得到了训练完成后的
点云编码器，以及，训练完成后的可逆点云解码器。
[0106]
s108、将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中，得到与所述第一目标矩阵维数相同的第二隐码矩阵，其中，所述第二目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的。
[0107]
s109、将与所述第一高斯分布矩阵维数相同的由第二目标三维采样点构成的第三高斯分布矩阵和所述第二隐码矩阵输入到所述训练完成后的可逆点云解码器中，进行所述目标流程的逆向过程，生成所述目标种类的新点云，其中，所述第二目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
[0108]
步骤s108～步骤s109即为训练完成后的测试(使用)过程，在训练过程中(即步骤s101～步骤s107)，使用的是第一点云归一化流的正向过程以及目标流程的正向过程，而测试过程(即以上两个步骤)使用的是(训练完成后的)第一点云归一化流的逆向过程以及(训练完成后的可逆点云解码器所执行的)目标流程的逆向过程。
[0109]
参照图2所示，为本技术实施例提供的生成点云对比示意图，示出了通过本技术的方式所生成的点云与通过现有技术(diffusionpm)生成的点云，可以很明显的看出，通过本技术的方式所生成的点云不论是在整体还是细节方面均要远优于通过现有技术(diffusionpm)生成的点云。
[0110]
在一种可能的实施方式中，对综合空间特征矩阵进行第一池化处理，得到第一池化特征矩阵，包括：
[0111]
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列，或，将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列，得到第一候选特征矩阵；
[0112]
示例性的，若第一空间特征矩阵为那么，第一候选特征矩阵即为或，
[0113]
对所述第一候选特征矩阵进行第二卷积处理，得到第二候选特征矩阵；
[0114]
对于所述第二候选特征矩阵中每个位置的数值，基于softmax函数，计算得到所述第二候选特征矩阵中该位置的数值的第一选取概率，并将所述第二候选特征矩阵中该位置的数值替换为所述第一选取概率，得到第一权重矩阵；
[0115]
假设第二候选特征矩阵为[2 8]，那么，相应的，第一权重矩阵即为
[0116]
将所述第一权重矩阵的转置矩阵与所述第一候选特征矩阵相乘，得到所述第一池化特征矩阵；
[0117]
此处为本技术相对于现有技术的第二个改动，相比于现有技术的最大池化以及平均池化等方式，本技术提出了一种全新的自适应加权池化的方式。
[0118]
对所述综合空间特征矩阵进行第二池化处理，得到第二池化特征矩阵，包括：
[0119]
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列，或，将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列，得到第三候选特征矩阵；
[0120]
第二池化处理的方式与第一池化处理的原理相同，在此不再赘述。
[0121]
对所述第三候选特征矩阵进行第三卷积处理，得到第四候选特征矩阵；
[0122]
对于所述第四候选特征矩阵中每个位置的数值，基于softmax函数，计算得到所述第四候选特征矩阵中该位置的数值的第二选取概率，并将所述第四候选特征矩阵中该位置的数值替换为所述第二选取概率，得到第二权重矩阵；
[0123]
将所述第二权重矩阵的转置矩阵与所述第三候选特征矩阵相乘，得到所述第二池化特征矩阵。
[0124]
在一种可能的实施方式中，所述第一点云归一化流中包括n个可逆残差耦合块，其中，n为大于1的整数，对于每一所述可逆残差耦合块，该可逆残差耦合块中包括第一目标层、第二目标层和第三目标层，所述第一目标层为卷积层或全连接层，所述第二目标层为卷积层或全连接层，所述第三目标层为卷积层或全连接层；将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中，得到与所述第一隐码矩阵维数相同的第一目标矩阵，包括：
[0125]
将所述第一隐码矩阵拆分为维数相同的第一子隐码矩阵和第二子隐码矩阵，并将所述第一子隐码矩阵作为第一个可逆残差耦合块的第一输入矩阵，以及，将所述第二子隐码矩阵作为第一个可逆残差耦合块的第二输入矩阵；
[0126]
通过以下公式，计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵，并在i小于n时，将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵，以及，将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵，其中，i的初始值为1；
[0127][0128][0129]
其中，为第i个可逆残差耦合块的第一输出矩阵，为第i个可逆残差耦合块的第二输出矩阵，为经过第i个可逆残差耦合块中的第一目标层后得到的第一参考矩阵，为经过第i个可逆残差耦合块中的第二目标层后得到的第二参考矩阵，为经过第i个可逆残差耦合块中的第三目标层后得到的第三参考矩阵，为第i个可逆残差耦合块的第二输入矩阵，为第i个可逆残差耦合块的第一输入矩阵；
[0130]
将i+1，并返回步骤通过以下公式，计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵，并在i小于n时，将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵，以及，将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵，直至i等于n；
[0131]
将第n个可逆残差耦合块的第一输出矩阵以及第n个可逆残差耦合块的第二输出
矩阵进行合并，得到所述第一目标矩阵。
[0132]
此处为本技术相对于现有技术的第三个改动，具体的，本技术改变了第一点云归一化流中耦合层(即可逆残差耦合块)的耦合方式(修改了具体的公式)。
[0133]
示例性的，经过实验，当n为14时耦合层(即可逆残差耦合块)耦合的效果较为出色。
[0134]
在一种可能的实施方式中，将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中，得到与所述第一目标矩阵维数相同的第二隐码矩阵，包括：
[0135]
将所述第二高斯分布矩阵拆分为维数相同的第一子高斯分布矩阵和第二子高斯分布矩阵，并将所述第一子高斯分布矩阵作为第n个可逆残差耦合块的第三输出矩阵，以及，将所述第二子高斯分布矩阵作为第n个可逆残差耦合块的第四输出矩阵；
[0136]
通过以下公式，计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵，并在j大于1时，将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵，以及，将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵，其中，j的初始值为n；
[0137][0138][0139]
其中，为第j个可逆残差耦合块的第三输出矩阵，为经过第j个可逆残差耦合块中的第三目标层后得到的第四参考矩阵，为第j个可逆残差耦合块的第四输出矩阵，为第j个可逆残差耦合块的第四输入矩阵，为经过第j个可逆残差耦合块中的第二目标层后得到的第五参考矩阵，为经过第j个可逆残差耦合块中的第一目标层后得到的第六参考矩阵，为第j个可逆残差耦合块的第三输入矩阵；
[0140]
将j-1，并返回步骤通过以下公式，计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵，并在j大于1时，将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵，以及，将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵，直至j等于1；
[0141]
将第一个可逆残差耦合块的第三输入矩阵以及第一个可逆残差耦合块的第四输入矩阵进行合并，得到所述第二隐码矩阵。
[0142]
此处即为与前述步骤所涉及的与第一点云归一化流的正向过程相对应的第一点云归一化流的逆向过程，在测试过程中，使用的是训练完成后的第一点云归一化流的逆向过程。
[0143]
本技术实施例提供的一种点云生成方法，能够使得训练完成后的可逆点云解码器生成的点云具有更丰富的细节。
[0144]
基于同一发明构思，本技术实施例中还提供了与实施例中点云生成方法对应的点
云生成装置，由于本技术实施例中的装置解决问题的原理与本技术实施例上述点云生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0145]
参照图3所示，为本技术实施例提供的一种点云生成装置的结构示意图，所述装置包括：
[0146]
获取模块301，用于获取目标种类的m个对象各自的点云数据，其中，m为大于1的整数；
[0147]
第一处理模块302，用于对于最新获取的每一点云数据，使用点云编码器对该点云数据进行目标处理过程，得到该点云数据对应的均值向量和该点云数据对应的方差向量，其中，所述目标处理过程包括：对该点云数据进行第一卷积处理，得到该点云数据的初始特征矩阵；基于所述初始特征矩阵，得到用于表征该点云数据中每一点与其每一第一邻居点在特征空间中互相之间的位置信息的第一空间特征矩阵，以及，得到用于表征该点云数据中每一点与其每一第二邻居点在笛卡尔空间中互相之间的位置信息的第二空间特征矩阵，其中，对于该点云数据中的每一点，该点的第一邻居点为该点云数据中与该点在所述特征空间中的距离较近的k个点，该点的第二邻居节点为该点云数据中与该点在所述笛卡尔空间中的距离较近的k个点，k为大于1的整数；对综合空间特征矩阵进行第一池化处理，得到第一池化特征矩阵，以及，对所述综合空间特征矩阵进行第二池化处理，得到第二池化特征矩阵，其中，所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行相加后得到的，或，所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行合并后得到的；通过第一全连接层将所述第一池化特征矩阵转换为所述均值向量，以及，通过第二全连接层将所述第二池化特征矩阵转换为所述方差向量；
[0148]
第二处理模块303，用于基于所述均值向量、所述方差向量和由第一目标采样点构成的高斯分布向量，得到该点云数据对应的隐码向量，其中，所述第一目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的；
[0149]
第三处理模块304，用于将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中，得到与所述第一隐码矩阵维数相同的第一目标矩阵；
[0150]
第四处理模块305，用于将最新获取的每一点云数据和所述第一隐码矩阵输入到可逆点云解码器中，进行目标流程的正向过程，得到第二目标矩阵，其中，所述目标流程为第二点云归一化流或马尔可夫链的扩散；
[0151]
计算模块306，用于基于所述第一隐码矩阵和所述第一目标矩阵，计算得到第一损失值，以及，基于与所述第二目标矩阵维数相同的由第一目标三维采样点构成的第一高斯分布矩阵和所述第二目标矩阵，计算得到第二损失值，其中，所述第一目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的；
[0152]
优化模块307，用于若最新的第一损失值大于第一预设损失值和/或最新的第二损失值大于第二预设损失值，则基于梯度下降法对所述第一点云归一化流、所述可逆点云解码器和所述点云编码器中的至少一者进行优化，并重新交由所述获取模块301进行处理，直至最新的第一损失值小于或等于所述第一预设损失值且最新的第二损失值小于或等于第二预设损失值，以将当前的第一点云归一化流作为训练完成后的第一点云归一化流，以及，将当前的可逆点云解码器作为训练完成后的可逆点云解码器；
[0153]
第五处理模块308，用于将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中，得到与所述第一目标矩阵维数相同的第二隐码矩阵，其中，所述第二目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的；
[0154]
点云生成模块309，用于将与所述第一高斯分布矩阵维数相同的由第二目标三维采样点构成的第三高斯分布矩阵和所述第二隐码矩阵输入到所述训练完成后的可逆点云解码器中，进行所述目标流程的逆向过程，生成所述目标种类的新点云，其中，所述第二目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
[0155]
在一种可能的实施方式中，对综合空间特征矩阵进行第一池化处理，得到第一池化特征矩阵，包括：
[0156]
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列，或，将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列，得到第一候选特征矩阵；
[0157]
对所述第一候选特征矩阵进行第二卷积处理，得到第二候选特征矩阵；
[0158]
对于所述第二候选特征矩阵中每个位置的数值，基于softmax函数，计算得到所述第二候选特征矩阵中该位置的数值的第一选取概率，并将所述第二候选特征矩阵中该位置的数值替换为所述第一选取概率，得到第一权重矩阵；
[0159]
将所述第一权重矩阵的转置矩阵与所述第一候选特征矩阵相乘，得到所述第一池化特征矩阵；
[0160]
对所述综合空间特征矩阵进行第二池化处理，得到第二池化特征矩阵，包括：
[0161]
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列，或，将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列，得到第三候选特征矩阵；
[0162]
对所述第三候选特征矩阵进行第三卷积处理，得到第四候选特征矩阵；
[0163]
对于所述第四候选特征矩阵中每个位置的数值，基于softmax函数，计算得到所述第四候选特征矩阵中该位置的数值的第二选取概率，并将所述第四候选特征矩阵中该位置的数值替换为所述第二选取概率，得到第二权重矩阵；
[0164]
将所述第二权重矩阵的转置矩阵与所述第三候选特征矩阵相乘，得到所述第二池化特征矩阵。
[0165]
在一种可能的实施方式中，所述第一点云归一化流中包括n个可逆残差耦合块，其中，n为大于1的整数，对于每一所述可逆残差耦合块，该可逆残差耦合块中包括第一目标层、第二目标层和第三目标层，所述第一目标层为卷积层或全连接层，所述第二目标层为卷积层或全连接层，所述第三目标层为卷积层或全连接层；所述第三处理模块304，具体用于：
[0166]
将所述第一隐码矩阵拆分为维数相同的第一子隐码矩阵和第二子隐码矩阵，并将所述第一子隐码矩阵作为第一个可逆残差耦合块的第一输入矩阵，以及，将所述第二子隐码矩阵作为第一个可逆残差耦合块的第二输入矩阵；
[0167]
通过以下公式，计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵，并在i小于n时，将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵，以及，将第i个可逆残差耦合块的第二输出矩阵作
为第i+1个可逆残差耦合块的第二输入矩阵，其中，i的初始值为1；
[0168][0169][0170]
其中，为第i个可逆残差耦合块的第一输出矩阵，为第i个可逆残差耦合块的第二输出矩阵，为经过第i个可逆残差耦合块中的第一目标层后得到的第一参考矩阵，为经过第i个可逆残差耦合块中的第二目标层后得到的第二参考矩阵，为经过第i个可逆残差耦合块中的第三目标层后得到的第三参考矩阵，为第i个可逆残差耦合块的第二输入矩阵，为第i个可逆残差耦合块的第一输入矩阵；
[0171]
将i+1，并返回步骤通过以下公式，计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵，并在i小于n时，将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵，以及，将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵，直至i等于n；
[0172]
将第n个可逆残差耦合块的第一输出矩阵以及第n个可逆残差耦合块的第二输出矩阵进行合并，得到所述第一目标矩阵。
[0173]
在一种可能的实施方式中，所述第五处理模块308，具体用于：
[0174]
将所述第二高斯分布矩阵拆分为维数相同的第一子高斯分布矩阵和第二子高斯分布矩阵，并将所述第一子高斯分布矩阵作为第n个可逆残差耦合块的第三输出矩阵，以及，将所述第二子高斯分布矩阵作为第n个可逆残差耦合块的第四输出矩阵；
[0175]
通过以下公式，计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵，并在j大于1时，将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵，以及，将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵，其中，j的初始值为n；
[0176][0177][0178]
其中，为第j个可逆残差耦合块的第三输出矩阵，为经过第j个可逆残差耦合块中的第三目标层后得到的第四参考矩阵，为第j个可逆残差耦合块的第四输出矩阵，为第j个可逆残差耦合块的第四输入矩阵，为经过第j个可逆残差耦合块中的第二目标层后得到的第五参考矩阵，为经过第j个可逆残差耦合块中的第一目标层后得到的第六参考矩阵，为第j个可逆残差耦合块的第三输入矩阵；
[0179]
将j-1，并返回步骤通过以下公式，计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵，并在j大于1时，将第j个可逆残差耦合块的
第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵，以及，将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵，直至j等于1；
[0180]
将第一个可逆残差耦合块的第三输入矩阵以及第一个可逆残差耦合块的第四输入矩阵进行合并，得到所述第二隐码矩阵。
[0181]
本技术实施例提供的一种点云生成装置，能够使得训练完成后的可逆点云解码器生成的点云具有更丰富的细节。
[0182]
参照图4所示，本技术实施例提供的一种电子设备400，包括：处理器401、存储器402和总线，所述存储器402存储有所述处理器401可执行的机器可读指令，当电子设备运行时，所述处理器401与所述存储器402之间通过总线通信，所述处理器401执行所述机器可读指令，以执行如上述点云生成的方法的步骤。
[0183]
具体地，上述存储器402和处理器401能够为通用的存储器和处理器，这里不做具体限定，当处理器401运行存储器402存储的计算机程序时，能够执行上述点云生成的方法。
[0184]
对应于上述点云生成的方法，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述点云生成的方法的步骤。
[0185]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本技术中不再赘述。在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0186]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0187]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0188]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0189]
以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。