一种点云全景融合要素提取方法和系统与流程

1.本发明实施例涉及高精度地图技术领域，尤其涉及一种点云全景融合要素提取方法和系统。


背景技术：

2.随着科学技术的不断发展，智慧城市的发展离不开信息的多元化和智能化，高精度地图作为智慧城市建设不可或缺的重要一份子，三维高精度地图的建设也越来越重要，传统的地形测绘多用全站仪和gnss rtk来进行测量，传统的测量方法前期投入少、操作容易，但是后期需要大量的人员和较长的作业周期，在人员费用较高的今天，无疑加大了生产的成本。与传统测绘不同，三维激光测量技术是一种全新理念的测绘技术，车载三维激光扫描系统测量的数据是高精度的点云模型，测量效率高，成果直观化，可清晰分辨地物，方便要素提取和城市部件提取，为智慧城市的建设节约了在时间成本和人力成本上的投入，对社会生产具有重要的经济作用。
3.现有技术中有基于空间网格的地物要素点提取方法，其对原始点云数据进行拼接处理，统一坐标系，然后进行空间网格数据组织，根据地物要素空间网格特征设置算子参数，对提取结果进行目视判断并分析，如果得到待提取地物完整点云则通过，如果提取结果不明显，则适当调整相关的算子参数再进行提取分析；该方法的缺点是空间复杂度较高，速度慢，算子设计需要一定的经验积累，对地物形态特征相似区域提取的准确率较低，并且其自动化程度低，需要人工辅助；现有技术中还有基于图像点云融合的高精度交通要素目标提取方法，其利用图像和点云数据的特征进行配准，根据配准结果利用图像对对应的点云数据进行属性赋值，得到融合数据，利用图像中各个独立的交通要素，对图像进行基于深度学习的训练，得到各个分类的目标检测模型，利用各个检测模型对图像进行各个交通要素的检测，对标识信号对应的点云数据进行保存，利用卡尔曼滤波器预测图像中交通要素的当前位置，然后通过匈牙利算法关联检测框的目标，将多个前后轨迹点的同一个目标进行去重，保留最大视野的目标图像，最后在对上述识别检测到的目标图像进行深度学习语义分割，将所述图像的分割结果映射到所述点云数据，提取得到交通要素目标；该方法的缺点是：1、工作量大，针对各类目标训练各类的目标检测模型，该方法工作量大且精度低；2、步骤繁琐，基于深度学习的语义分割实际为目标检测的延伸，该方法首先使用基于深度学习的目标检测网络获取目标影像的矩形框位置，然后再对该影像进行基于深度学习的语义分割，步骤繁琐；3、目标要素去重精度低，方法利用二维图像对多个前后轨迹点的同一目标进行去重，利用卡尔曼滤波器预测图像中交通要素的当前位置，然后通过匈牙利算法关联检测框的目标，保留最大视野的目标图像，预测的当前位置和关联检测框存在误差；4、目标要素提取精度低。该方法将语义分割后的影像直接映射回点云，作为目标要素，因为语义分割后的目标可能存在不完整、冗余等情况，如果不进行二次处理，精度较低。


技术实现要素：

4.本发明实施例提供一种点云全景融合要素提取方法和系统，以解决现有技术中点云要素提取方式步骤繁琐、效率低、劳动强度大的问题。
5.第一方面，本发明实施例提供一种点云全景融合要素提取方法，包括：
6.s1、根据数据采集设备的姿态信息和位置信息，获取三维点云数据和二维全景影像之间的映射关系；其中，所述数据采集设备至少包括用于采集三维点云数据的激光雷达，以及用于采集二维全景影像的全景相机；
7.s2、将二维全景影像转换为三维影像中的全景球中，以所述全景球的球心作为视点，基于中心投影原理获取指定区域内的分幅影像；
8.s3、提取所述分幅影像中的预设的分类分割目标掩膜；
9.s4、基于三维点云数据和二维全景影像之间的映射关系，确定所述分类分割目标掩膜对应的目标点云数据。
10.作为优选的，还包括：
11.s5、基于统计滤波方法对所述目标点云数据进行去噪处理，并对去噪后的所述目标点云数据进行去重处理。
12.作为优选的，所述s1具体包括：
13.s11、根据激光雷达获取目标区域的三维点云数据，基于全景相机获取目标区域的二维全景影像；基于定位定姿系统获取所述激光雷达和所述全景相机的姿态信息和位置信息；
14.s12、根据配准方法获取二维全景影像与三维点云数据的配准关系：
15.根据全景影像与对应三维点云数据的同名特征点，构建多个同名特征对；
16.根据所述全景相机曝光时刻的姿态信息和位置信息，将同名特征对的绝对坐标转换为以全景相机为原点的载体坐标；
17.根据全景相机的初始外方位元素，将同名特征对的载体坐标转换为相机坐标；
18.根据全景相机的内方位元素，获取同名特征对在二维全景影像上的图像坐标，并计算对应的残差值；
19.根据物方点、像点和全景球球心三点共线的原理，通过最小二乘法求解全景相机的外方位元素；
20.s13，重复上述步骤s12直至求解的全景相机的外方位元素满足预设要求。
21.作为优选的，所述s2具体包括：
22.s21、将所述二维全景影像的图像坐标转为水平角度θ、垂直角度水平角度分布范围为0
°
～360
°
，垂直角度分布范围为-90
°
～+90；其中：
[0023][0024][0025]
上式中，u为列坐标，v为行坐标；
[0026]
s22、在全景坐标系中，设定二维全景影像的图像坐标转换为全景坐标系后，距离坐标原点的距离r，根据像素点的水平角度θ、垂直角度以及r，将二维全景影像的图像坐标
转换为全景坐标系下三维坐标；
[0027]
s23、根据目标分幅影像的位置和需要的分幅影像尺寸，设置投影平面在全景坐标系中的方位和距离球心的距离；
[0028]
s24、以球心为投影中心，按照中心投影的方式将需求角度范围球面投影至投影平面，得到分幅影像。
[0029]
作为优选的，所述s4具体包括：
[0030]
s41、将分幅影像中的图像坐标转换为二维全景影像中的图像坐标；
[0031]
s411、将二维全景影像转换为全景坐标系下的全景球，半径为二维全景影像转换为分幅影像时的设定距离r；
[0032]
s412、根据分幅图像的位置，设定投影平面的位置，将分类分割目标掩膜的图像坐标转换为全景坐标系下的三维坐标；
[0033]
s413、将球心和分类分割目标掩膜所在三位坐标组成的空间射线与全景球的交点，作为分幅影像在二维全景影像中的图像坐标；
[0034]
s42、将三维点云数据的三维坐标转换为载体坐标，根据三维点云数据和二维全景影像之间的映射关系，将载体坐标转换为全景坐标系下的坐标；
[0035]
以二维全景影像的尺寸大小确定相同尺寸大小的矩阵，将全景坐标系下的三维坐标转换为二维全景影像的图像坐标，并作为索引将对应点云距全景球中心的距离值存储值矩阵，以生成深度图矩阵；
[0036]
s43、将二维全景影像中分类分割目标掩膜的图像坐标转换为三维点云数据。
[0037]
作为优选的，所述s5中，基于统计滤波方法对所述目标点云数据进行去噪处理，具体包括：
[0038]
遍历三维点云数据中每个点云，计算每个点云与其最近额k个邻居点云之间的平均距离；
[0039]
计算所有平均距离的均值μ与标准差σ，距离阈值dmax为dmax＝μ+α*σ,α为预先得到的比例系数；
[0040]
再次遍历点云，剔除与k个邻居点云的平均距离大于dmax的点。
[0041]
作为优选的，所述s5中，并对去噪后的所述目标点云数据进行去重处理，具体包括：
[0042]
以二维全景影像曝光时刻载体所在的位置作为站点；获取前一站点、当前站点和后一站点对应二维全景影像中同一目标的点云目标；
[0043]
根据目标的点云目标确定点云立方体，构建存放待处理候选点云立方体的集合h，初始化包含全部n个点云立方体；构建一个存放最佳点云立方体的集合m，初始化为空集；
[0044]
将集合h中所有的点云立方体按体积进行排序，选出体积最大的点云立方体m，从集合h移到集合m；
[0045]
遍历集合h中的点云立方体，分别与m计算3diou值，如果高于0.2，则认为该点云立方体与m重叠，将此点云立方体从集合h中去除；
[0046]
重复上述步骤直到集合h为空，集合m中的点云数据即为去重后的目标点云数据。
[0047]
第二方面，本发明实施例提供一种点云全景融合要素提取系统，包括：
[0048]
数据采集模块，根据数据采集设备的姿态信息和位置信息，获取三维点云数据和
二维全景影像之间的映射关系；其中，所述数据采集设备至少包括用于采集三维点云数据的激光雷达，以及用于采集二维全景影像的全景相机；
[0049]
要素提取模块，将二维全景影像转换为三维影像中的全景球中，以所述全景球的球心作为视点，基于中心投影原理获取指定区域内的分幅影像；
[0050]
提取所述分幅影像中的预设的分类分割目标掩膜；
[0051]
基于三维点云数据和二维全景影像之间的映射关系，确定所述分类分割目标掩膜对应的目标点云数据。
[0052]
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述点云全景融合要素提取方法的步骤。
[0053]
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述点云全景融合要素提取方法的步骤。
[0054]
本发明实施例提供的一种点云全景融合要素提取方法和系统，利用硬件设备获取的影像、点云、位姿等数据信息，结合点云处理算法和点云影像配准算法，可实现全自动自动提取点云要素，实现一体化的提取方式；全景影像中的目标存在不同程度的形变，为了便于后续的分割处理，将全景影像分幅；根据分幅影像和全景影像的映射关系，再利用全景影像和点云数据的配准关系，可以获取分幅影像和点云数据的映射关系，将点云数据生成深度图矩阵，利用分幅影像掩膜的图像坐标，即可获取所对应的点云数据，减少人工采集点云要素的难度并提高效率。
附图说明
[0055]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0056]
图1为根据本发明实施例的点云全景融合要素提取方法流程框图；
[0057]
图2为根据本发明实施例的二维全景影像与三维点云数据配准原理图；
[0058]
图3为根据本发明实施例的中心投影原理图；
[0059]
图4为根据本发明实施例的二维全景影像与三维点云数据配准方法流程图；
[0060]
图5为根据本发明实施例的获取分幅处理后的影像与点云数据的映射关系流程图；
[0061]
图6为根据本发明实施例的分幅前的二维全景影像；
[0062]
图7为根据本发明实施例的二维全景影像图像坐标转换为全景坐标系下三维坐标示意图；
[0063]
图8为根据本发明实施例的分幅后的全景影像；
[0064]
图9为根据本发明实施例的deeplabv3+网络结构进行语义分割流程图；
[0065]
图10为根据本发明实施例的以轨迹点保存掩膜映射回的点云数据流程图；
[0066]
图11为根据本发明实施例的3diou的计算方式原理图；
[0067]
图12为根据本发明实施例的点云全景融合要素提取系统结构框图；
[0068]
图13为根据本发明实施例的点云全景融合要素提取系统处理流程图；
[0069]
图14为根据本发明实施例的电子设备的结构示意图。
具体实施方式
[0070]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0071]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0072]
图1为本发明实施例提供一种点云全景融合要素提取方法，可应用于交通要素目标的点云提取，包括：
[0073]
s1、根据数据采集设备的姿态信息和位置信息，获取三维点云数据和二维全景影像之间的映射关系；其中，所述数据采集设备至少包括用于采集三维点云数据的激光雷达，以及用于采集二维全景影像的全景相机；
[0074]
具体的，集多种传感器为一体的三维激光扫描仪(激光雷达、全景相机、 gnss、ins)，不仅获取了空间物体的点云数据、影像数据，而且通过传感器的姿态、位置等信息，还可以获取点云与影像的映射关系。目前深度学习技术在图像领域的识别效果较为优秀，首先使用深度学习技术获取影像中的感兴趣目标，然后根据影像与点云的映射关系，进而获取感兴趣的点云数据。
[0075]
如图2中所示，s1具体包括：
[0076]
s11、根据激光雷达获取目标区域的三维点云数据，基于全景相机获取目标区域的二维全景影像；基于定位定姿系统获取所述激光雷达和所述全景相机的姿态信息和位置信息；
[0077]
利用三维激光扫描的硬件设置，获取本发明实施例所需的相关数据，如三维点云数据、二维全景影像、pos等数据信息。
[0078]
s12、根据配准方法获取二维全景影像与三维点云数据的配准关系：
[0079]
根据全景影像与对应三维点云数据的同名特征点，构建多个同名特征对；
[0080]
根据所述全景相机曝光时刻的姿态信息和位置信息，将同名特征对的绝对坐标转换为以全景相机为原点的载体坐标；
[0081]
根据全景相机的初始外方位元素，将同名特征对的载体坐标转换为相机坐标；
[0082]
根据全景相机的内方位元素，获取同名特征对在二维全景影像上的图像坐标，并计算对应的残差值；
[0083]
根据物方点、像点和全景球球心三点共线的原理，通过最小二乘法求解全景相机的外方位元素；
[0084]
具体的，如图3中所示，图中，二维全景影像的图像坐标为(u，v)，全景球球心的三
维坐标为(x0，y0，z0)，物方点的三维坐标为(x，y，z)，光线与全景球交点坐标(x，y，z)，全景相机的位置(xc，yc，zc)，物方点、像点、全景球球心三点共线，由单张球面全景影像上的像点，可得出如下共线方程：
[0085][0086]
上式中：
[0087][0088][0089]
对上式展开得到：
[0090][0091]
上式中，a1，a2，a3，b1，b2，b3，c1，c2，c3分别为旋转平移矩阵r中的相关系数；设：
[0092][0093]
则有：
[0094][0095]
设：
[0096][0097]
则误差方程为：
[0098][0099]
线性化处理并按泰勒级数展开得到：
[0100]
[0101]
则误差方程为：
[0102]
v＝ah-l
[0103]
式中：
[0104]
v＝[v
αvβ
]
t
[0105][0106][0107]
l＝[α-(α) β-(β)]
t
[0108]
一个控制点可以列2个方程，解6个未知数至少需要3个已知点。解算这6个参数之后，三维点云数据与二维全景影像坐标之间就建立了映射关系。
[0109]
s13，重复上述步骤s12直至求解的全景相机的外方位元素满足预设要求。
[0110]
s2、将二维全景影像转换为三维影像中的全景球中，以所述全景球的球心作为视点，基于中心投影原理获取指定区域内的分幅影像；
[0111]
将全景影像转换为三维图像中的全景球，根据将球心作为视点，利用中心投影原理可以获取指定范围内的分幅影像，原理示意图4所示。
[0112]
由于二维全景影像中的目标存在非常规的变形，不利于后续相关影像的处理，因此使用全景影像分幅处理算法，将以站点为中心，获取站点左、前、右三个0-45o范围内的分幅影像，同时根据二维全景影像与三维点云数据的配准关系，获取分幅处理后的影像与点云数据的映射关系。
[0113]
如图5中所示，所述s2具体包括：
[0114]
s21、将所述二维全景影像的图像坐标转为水平角度θ、垂直角度水平角度分布范围为0
°
～360
°
，垂直角度分布范围为-90
°
～+90；其中：
[0115][0116][0117]
上式中，u为列坐标，v为行坐标，h为全景影像的尺寸高度；分幅前的二维全景影像如图6中所示；
[0118]
s22、在全景坐标系中，设定二维全景影像的图像坐标转换为全景坐标系后，距离坐标原点的距离r，根据像素点的水平角度θ、垂直角度以及r，将二维全景影像的图像坐标转换为全景坐标系下三维坐标；转换公式为：
[0119][0120][0121][0122]
二维全景影像图像坐标转换为全景坐标系下三维坐标如图7中所示。
[0123]
s23、根据目标分幅影像的位置和需要的分幅影像尺寸，设置投影平面在全景坐标系中的方位和距离球心的距离；
[0124]
s24、以球心为投影中心，按照中心投影的方式将需求角度范围球面投影至投影平面，得到分幅影像。分幅后的全景影像如图8中所示。
[0125]
s3、提取所述分幅影像中的预设的分类分割目标掩膜；
[0126]
具体的，针对处理后的分幅影像，使用已训练完善的深度学习语义分割模型进行语义分割处理，获取待提取各类目标的掩膜图像坐标。本发明使用的是deeplabv3+网络结构，整体流程示意图如图9中所示。
[0127]
s4、基于三维点云数据和二维全景影像之间的映射关系，确定所述分类分割目标掩膜对应的目标点云数据。
[0128]
在步骤s3中，模型输入端为待处理影像，模型输出端为处理后的掩膜图像。掩膜图像坐标映射回点云；
[0129]
由于全景影像与点云经过配准，而分幅影像与全景影像的关系也是已知的，因此可以将掩膜图像坐标映射回点云，获取相应的待提取各类目标对应的点云数据。
[0130]
所述s4具体包括：
[0131]
s41、将分幅影像中的图像坐标转换为二维全景影像中的图像坐标；
[0132]
s411、将二维全景影像转换为全景坐标系下的全景球，半径为二维全景影像转换为分幅影像时的设定距离r；
[0133]
s412、根据分幅图像的位置，设定投影平面的位置(0号分幅影像对应0
°ꢀ‑
45
°
，1号分幅影像对应45
°‑
135
°
，2号分幅影像对应135
°‑
225
°
)，将分类分割目标掩膜的图像坐标转换为全景坐标系下的三维坐标，使其在投影平面的位置与二维图像上保持一致；
[0134]
s413、将球心和分类分割目标掩膜所在三位坐标组成的空间射线与全景球的交点，作为分幅影像在二维全景影像中的图像坐标；球心和掩膜所在三维坐标可组成空间射线，依次求得空间射线与全景球的交点，该交点的三维坐标转换为全景影像的图像坐标，即为分幅影像在全景影像的图像坐标。
[0135]
s42、将三维点云数据的三维坐标转换为载体坐标，根据三维点云数据和二维全景影像之间的映射关系，将载体坐标转换为全景坐标系下的坐标；
[0136]
以二维全景影像的尺寸大小确定相同尺寸大小的矩阵，将全景坐标系下的三维坐标转换为二维全景影像的图像坐标，并作为索引将对应点云距全景球中心的距离值存储值矩阵，以生成深度图矩阵；
[0137]
s43、将二维全景影像中分类分割目标掩膜的图像坐标转换为三维点云数据。
[0138]
因为全景影像与点云已经经过配准，此时全景影像与深度图矩阵的位置关系是一致的，根据遍历掩膜的图像坐标，取出深度图矩阵对应的距离值d，首先将图像坐标转水平角(θ)、垂直角然后水平角、垂直角转为三维坐标，即可求出掩膜所对应的点云数据。所用公式如下式所示：
[0139]
[0140][0141][0142][0143][0144]
s5、基于统计滤波方法对所述目标点云数据进行去噪处理，并对去噪后的所述目标点云数据进行去重处理。
[0145]
具体的，所述s5中，基于统计滤波方法对所述目标点云数据进行去噪处理，具体包括：
[0146]
遍历三维点云数据中每个点云，计算每个点云与其最近的k个邻居点云之间的平均距离；
[0147]
计算所有平均距离的均值μ与标准差σ，距离阈值dmax为dmax＝μ+α*σ,α为预先得到的比例系数；
[0148]
再次遍历点云，剔除与k个邻居点云的平均距离大于dmax的点。
[0149]
具体的，所述s5中，并对去噪后的所述目标点云数据进行去重处理，具体包括：
[0150]
以二维全景影像曝光时刻载体所在的位置作为站点；获取前一站点、当前站点和后一站点对应二维全景影像中同一目标的点云目标；
[0151]
根据目标的点云目标确定点云立方体，构建存放待处理候选点云立方体的集合h，初始化包含全部n个点云立方体；计算相交两个点云目标的3diou 值，如图11中所示，其中3diou值计算公式如下：
[0152]
3diou＝v
abcdefgh
/(vm+v
n-v
abcdefgh
)
[0153]
式中，v表示对应立方体的体积；
[0154]
a.构建一个存放最佳点云立方体的集合m，初始化为空集；
[0155]
b.将集合h中所有的点云立方体按体积进行排序，选出体积最大的点云立方体m，从集合h移到集合m；
[0156]
c.遍历集合h中的点云立方体，分别与m计算3diou值，如果高于0.2，则认为该点云立方体与m重叠，将此点云立方体从集合h中去除；
[0157]
d.重复上述步骤b、c直到集合h为空，集合m中的点云数据即为去重后的目标点云数据。
[0158]
本发明实施例还提供一种点云全景融合要素提取系统，基于上述各实施例中的点云全景融合要素提取方法，如图12、图13中所示，包括：
[0159]
数据采集模块，根据数据采集设备的姿态信息和位置信息，获取三维点云数据和二维全景影像之间的映射关系；其中，所述数据采集设备至少包括用于采集三维点云数据的激光雷达，以及用于采集二维全景影像的全景相机；
[0160]
要素提取模块，将二维全景影像转换为三维影像中的全景球中，以所述全景球的球心作为视点，基于中心投影原理获取指定区域内的分幅影像；
[0161]
提取所述分幅影像中的预设的分类分割目标掩膜；
[0162]
基于三维点云数据和二维全景影像之间的映射关系，确定所述分类分割目标掩膜
对应的目标点云数据。
[0163]
基于相同的构思，本发明实施例还提供了一种电子设备的结构示意图，如图14所示，该服务器可以包括：处理器(processor)810、通信接口 (communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述点云全景融合要素提取方法的步骤。例如包括：
[0164]
s1、根据数据采集设备的姿态信息和位置信息，获取三维点云数据和二维全景影像之间的映射关系；其中，所述数据采集设备至少包括用于采集三维点云数据的激光雷达，以及用于采集二维全景影像的全景相机；
[0165]
s2、将二维全景影像转换为三维影像中的全景球中，以所述全景球的球心作为视点，基于中心投影原理获取指定区域内的分幅影像；
[0166]
s3、提取所述分幅影像中的预设的分类分割目标掩膜；
[0167]
s4、基于三维点云数据和二维全景影像之间的映射关系，确定所述分类分割目标掩膜对应的目标点云数据；
[0168]
s5、基于统计滤波方法对所述目标点云数据进行去噪处理，并对去噪后的所述目标点云数据进行去重处理。
[0169]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0170]
基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述点云全景融合要素提取方法的步骤。例如包括：
[0171]
s1、根据数据采集设备的姿态信息和位置信息，获取三维点云数据和二维全景影像之间的映射关系；其中，所述数据采集设备至少包括用于采集三维点云数据的激光雷达，以及用于采集二维全景影像的全景相机；
[0172]
s2、将二维全景影像转换为三维影像中的全景球中，以所述全景球的球心作为视点，基于中心投影原理获取指定区域内的分幅影像；
[0173]
s3、提取所述分幅影像中的预设的分类分割目标掩膜；
[0174]
s4、基于三维点云数据和二维全景影像之间的映射关系，确定所述分类分割目标掩膜对应的目标点云数据；
[0175]
s5、基于统计滤波方法对所述目标点云数据进行去噪处理，并对去噪后的所述目标点云数据进行去重处理。
[0176]
基于相同的技术构思，本技术实施例还提供一种计算机程序，当该计算机程序被
主控设备执行时，用以实现上述方法实施例。
[0177]
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
[0178]
基于相同的技术构思，本技术实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
[0179]
综上所述，本发明实施例提供的一种点云全景融合要素提取方法和系统，利用硬件设备获取的影像、点云、位姿等数据信息，结合点云处理算法和点云影像配准算法，可实现全自动自动提取点云要素，实现一体化的提取方式；全景影像中的目标存在不同程度的形变，为了便于后续的分割处理，将全景影像分幅；根据分幅影像和全景影像的映射关系，再利用全景影像和点云数据的配准关系，可以获取分幅影像和点云数据的映射关系，将点云数据生成深度图矩阵，利用分幅影像掩膜的图像坐标，即可获取所对应的点云数据，减少人工采集点云要素的难度并提高效率。
[0180]
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
[0181]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘 solid statedisk)等。
[0182]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：rom或随机存储记忆体ram、磁碟或者光盘等各种可存储程序代码的介质。
[0183]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。