一种室外场景三维彩色点云分类方法与流程

本发明涉及一种室外场景三维彩色点云分类方法，属于三维点云数据处理与三维场景重建技术领域。

背景技术：

在数字化现实世界的过程中，三维点云数据记录了物体表面的几何属性和位置信息，二维图像记录了物体表面的颜色信息和纹理信息，二者的深度融合，将形成一种新兴的数字媒体，即三维彩色点云数据，三维彩色点云数据是三维点云数据的进一步发展，可以更加精确地表述现实世界。室外场景三维彩色点云分类是解决三维场景重建的关键性技术，具有较强的理论意义和应用价值，目前已在目标识别、自主导航、路径规划、环境探测、文物保护等领域有了越来越多的应用。

对于同一个三维场景，通过不同方法采集的场景信息就构成了此场景的不同模态表示，例如，场景的二维图像和场景的三维点云就构成了场景的两个模态。根据场景信息模态的不同，三维场景分类方法也不尽相同。二维图像采集便捷，基于二维图像的场景分类方法目前较为成熟，例如图像分类、图像识别等，但其无法提供环境的几何位置信息，致使应用领域有所局限；三维点云获取可靠，基于三维点云的场景分类方法也已取得了较大的发展，例如点云分类、点云识别等，但其无法提供环境的颜色纹理信息，致使认知效果有待提升。随着数据采集技术的快速发展，三维彩色点云数据作为一种新兴的数字媒体形式逐渐走进人们的生产生活，它是由图像和点云两种模态融合而成，兼具图像颜色信息和点云几何信息。目前，基于三维彩色点云的场景分类受到了广泛的关注，可以较好地解决传统认知方法所无法解决的问题。

室外场景三维彩色点云分类是指利用激光测距传感器和图像传感器来获取室外场景的三维点云数据和二维图像数据，并将二者融合，形成室外场景三维彩色点云数据，在此基础上，通过对室外场景三维彩色点云数据的学习和挖掘，将其分类为各种自然物体(地面、建筑、树木、车辆等)，以实现对室外场景的深入理解和对目标的准确识别。目前，室外场景三维彩色点云分类已经成为人工智能领域的前沿课题和研究热点。

现有三维彩色点云分类方法均将图像和点云多模态特征相组合，用一个分类器进行学习训练和分类推断，其本质上还是单模态学习方法，并没有充分发挥多模态的优势；此外，现有三维彩色点云分类方法均为有监督学习方法，在学习过程中只利用训练集中的有类标签数据，并没有充分利用实时获取的大量无类标签数据所蕴含的分布信息。

技术实现要素：

为了克服现有技术中存在的不足，本发明目的是提供一种室外场景三维彩色点云分类方法，以提高室外场景分类的准确性和可靠性。该方法借鉴人类学习过程，将单模态有监督学习扩展为多模态半监督学习，研究基于点云和图像多模态协同学习的室外场景三维彩色点云分类机制，充分发挥各模态优势，利用无类标签数据进行协同学习，准确分类室外场景，丰富类人感知认知技术与理论，将成为一项非常有益的尝试，具有重要的理论意义和应用价值。

为了实现上述发明目的，解决己有技术中存在的问题，本发明采取的技术方案是：一种室外场景三维彩色点云分类方法，包括以下步骤：

步骤1、获取室外场景三维彩色点云数据，利用三维激光彩色扫描测距系统，获取室外场景三维彩色点云数据p＝{pi＝(xi,yi,zi,ri,gi,bi)|1≤i≤n}，其中：pi为彩色点，(xi,yi,zi)为彩色点pi的坐标，(ri,gi,bi)为彩色点pi的颜色，i为彩色点的序号，n为彩色点的个数，室外场景三维彩色点云数据由点云数据s＝{(xi,yi,zi)|1≤i≤n}和图像数据c＝{(ri,gi,bi)|1≤i≤n}两种模态融合而成，兼具点云几何信息和图像颜色信息；

步骤2、构建室外场景三维彩色点云数据训练集，利用点云交互标记软件，为已获取的室外场景三维彩色点云数据中每一个彩色点pi标注一个类别标签li，构建室外场景三维彩色点云数据训练集l＝{pi,li|1≤i≤n}、点云数据训练集ls＝{(xi,yi,zi),li|1≤i≤n}、图像数据训练集lc＝{(ri,gi,bi),li|1≤i≤n}；

步骤3、在点云和图像模态中分别构建条件随机场分类器，针对三维彩色点云个体点分类，综合考虑其个体特性、邻域特性和局部特性，利用独立点、连接边和分割片段，设计条件随机场的点模型、边模型和高阶团模型，在点云和图像模态中分别构建条件随机场分类器，具体包括以下子步骤：

(a)、在点云模态中，构建点云条件随机场分类器其中：表示每一个点的能量势函数之和，n为点的个数，k为类的个数，为第i个点的点云特征向量，为当某点属于第k类的权重，为第i个点属于第k类的值；表示每一条边的能量势函数之和，为边的集合，为第ij条边的点云特征向量，为当某边属于第k类的权重，为第ij条边属于第k类的值；表示每一个团即点云中的某一部分的能量势函数之和，为团的集合，为第c个团的点云特征向量，为当某团属于第k类的权重，为第c个团属于第k类的值，为归一化因子系数；为条件概率，通过对该分类器的训练和推断，即可在点云模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型；

(b)、在图像模态中，构建图像条件随机场分类器其中：表示每一个点的能量势函数之和，n为点的个数，k为类的个数，为第i个点的图像特征向量，为当某点属于第k类的权重，为第i个点属于第k类的值；表示每一条边的能量势函数之和，为边的集合，为第ij条边的图像特征向量，为当某边属于第k类的权重，为第ij条边属于第k类的值；表示每一个团即图像中的某一部分的能量势函数之和，为团的集合，为第c个团的图像特征向量，为当某团属于第k类的权重，为第c个团属于第k类的值，为归一化因子系数；为条件概率，通过对该分类器的训练和推断，即可在图像模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型；

步骤4、在点云模态中进行学习训练和分类推断，在点云模态中，计算点云特征向量，利用点云数据训练集ls去训练点云条件随机场分类器fs，并利用训练后获得的点云条件随机场分类器fs，对新获取的室外场景三维彩色点云数据进行分类推断，将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集lc，用于扩充图像数据训练集lc，具体包括以下子步骤：

(a)、针对室外场景三维彩色点云数据，利用kd-tree算法在空间上构建给定点p＝(x,y,z,r,g,b)的邻域n＝{pi＝(xi,yi,zi,ri,gi,bi)|1≤i≤k}，其中：pi为邻点，i为邻点的序号，k为邻点的个数；

(b)、通过公式(1)

构建给定点p的邻域n的协方差矩阵m，t为向量转置符号，其将列向量转置为行向量，并求取协方差矩阵m的特征值λ1、λ2、λ3，且λ1<λ2<λ3，以及相应的特征向量v1、v2、v3，最小特征值λ1对应的特征向量v1为给定点p的法向量n＝(xn,yn,zn)，中间特征值λ2对应的特征向量v2为给定点p的基向量b＝(xb,yb,zb)，最大特征值λ3对应的特征向量v3为给定点p的切向量t＝(xt,yt,zt)；

(c)、构造第i个点的点云特征向量其中，为高度特征，为点性特征,为线性特征,为面性特征，为切向量特征，为法向量特征；

(d)、利用步骤4中子步骤(c)分别计算第ij条边的两个端点的点云特征向量和将第ij条边的两个端点的点云特征向量相减，即可得第ij条边的点云特征向量其中，i为第ij条边的一个端点的序号，j为第ij条边的另一个端点的序号；

(e)、在点云模态中，利用k-means聚类算法，将室外场景点云数据分割为一些空间位置独立的点云片段，每一个点云片段都构成了点云条件随机场模型中的一个团，构造第c个团的点云特征向量为其中，为该团的平均高度，为该团内点的个数，为该团的中心点按照步骤4中子步骤(c)所计算出的点云特征向量；

(f)、按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算点云数据训练集ls的点云特征向量，并利用max-margin方法对点云条件随机场分类器fs进行学习训练，并获得该分类器的所有参数和

(g)、在获得点云条件随机场分类器fs后，按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算新获取的室外场景三维彩色点云数据的点云特征向量，然后利用graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在点云模态中的分类结果，同时，将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集lc，用于扩充图像数据训练集lc；

步骤5、在图像模态中进行学习训练和分类推断，在图像模态中，计算图像特征向量，利用图像数据训练集lc去训练图像条件随机场分类器fc，并利用训练后获得的图像条件随机场分类器fc，对新获取的室外场景三维彩色点云数据进行推断分类，将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集ls，用于扩充点云数据训练集ls，具体包括以下子步骤：

(a)、构造第i个点的图像特征向量图像特征向量为30维向量，包括2维位置特征即uv特征、3维颜色特征即hsv特征、9维方向梯度直方图特征即hog特征和16维纹理特征即textons特征，上述特征均利用标准图像处理方法计算得到；

(b)、利用步骤5中子步骤(a)分别计算第ij条边的两个端点的图像特征向量和将第ij条边的两个端点的图像特征向量相减，即可得第ij条边的图像特征向量

(c)、在图像模态中，利用k-means聚类算法，将室外场景图像数据分割为一些空间位置独立的图像片段，每一个图像片段都构成了图像条件随机场模型中的一个团，构造第c个团的图像特征向量为为该团的中心点按照步骤5中子步骤(a)所计算出的图像特征向量；

(d)、按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算图像数据训练集lc的图像特征向量，并利用max-margin方法对图像条件随机场分类器fc进行学习训练，并获得该分类器的所有参数和

(e)、在获得图像条件随机场分类器fc后，按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算新获取的室外场景三维彩色点云数据的图像特征向量，然后利用graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在图像模态中的分类结果，同时，将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集ls，用于扩充点云数据训练集ls；

步骤6、给出最终分类结果，综合评价点云和图像模态下的分类结果，选择条件概率大的分类结果作为新获取的室外场景三维彩色点云数据的最终分类结果；

步骤7、不断更新协同学习，对于新获取的每一帧室外场景三维彩色点云数据，重复步骤4至步骤6，在给出分类结果的同时，不断交叉扩充点云数据训练集ls和图像数据训练集lc，不断更新点云条件随机场分类器fs和图像条件随机场分类器fc。

本发明有益效果是：一种室外场景三维彩色点云分类方法，包括以下步骤：(1)获取室外场景三维彩色点云数据，(2)构建室外场景三维彩色点云数据训练集，(3)在点云和图像模态中分别构建条件随机场分类器，(4)在点云模态中进行学习训练和分类推断，(5)在图像模态中进行学习训练和分类推断，(6)给出最终分类结果，(7)不断更新协同学习。与已有技术相比，本发明具有以下优点：一是、本发明将单模态学习扩展为多模态学习，利用模态之间的交互学习，构建多模态协同学习机制，充分发挥各模态优势；二是、本发明将有监督学习扩展为半监督学习，充分利用实时获取的大量无类标签数据进行协同学习，准确分类室外场景。

附图说明

图1是本发明方法步骤流程图。

图2是室外场景三维彩色点云数据显示图。

图3是室外场景三维点云数据显示图。

图4是室外场景二维图像数据显示图。

图5是本发明原理示意图。

图6是室外场景三维彩色点云分类结果图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种室外场景三维彩色点云分类方法，包括以下步骤：

步骤1、获取室外场景三维彩色点云数据，利用三维激光彩色扫描测距系统，获取室外场景三维彩色点云数据p＝{pi＝(xi,yi,zi,ri,gi,bi)|1≤i≤n}，其中：pi为彩色点，(xi,yi,zi)为彩色点pi的坐标，(ri,gi,bi)为彩色点pi的颜色，i为彩色点的序号，n为彩色点的个数，室外场景三维彩色点云数据由点云数据s＝{(xi,yi,zi)|1≤i≤n}和图像数据c＝{(ri,gi,bi)|1≤i≤n}两种模态融合而成，兼具点云几何信息和图像颜色信息，如图2、图3和图4所示。

步骤2、构建室外场景三维彩色点云数据训练集，利用点云交互标记软件，为已获取的室外场景三维彩色点云数据中每一个彩色点pi标注一个类别标签li，构建室外场景三维彩色点云数据训练集l＝{pi,li|1≤i≤n}、点云数据训练集ls＝{(xi,yi,zi),li|1≤i≤n}、图像数据训练集lc＝{(ri,gi,bi),li|1≤i≤n}。

步骤3、在点云和图像模态中分别构建条件随机场分类器，针对三维彩色点云个体点分类，综合考虑其个体特性、邻域特性和局部特性，利用独立点、连接边和分割片段，设计条件随机场的点模型、边模型和高阶团模型，在点云和图像模态中分别构建条件随机场分类器，具体包括以下子步骤：

(a)、在点云模态中，构建点云条件随机场分类器其中：表示每一个点的能量势函数之和，n为点的个数，k为类的个数，为第i个点的点云特征向量，为当某点属于第k类的权重，为第i个点属于第k类的值；表示每一条边的能量势函数之和，为边的集合，为第ij条边的点云特征向量，为当某边属于第k类的权重，为第ij条边属于第k类的值；表示每一个团即点云中的某一部分的能量势函数之和，为团的集合，为第c个团的点云特征向量，为当某团属于第k类的权重，为第c个团属于第k类的值，为归一化因子系数；为条件概率，通过对该分类器的训练和推断，即可在点云模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型；

(b)、在图像模态中，构建图像条件随机场分类器其中：表示每一个点的能量势函数之和，n为点的个数，k为类的个数，为第i个点的图像特征向量，为当某点属于第k类的权重，为第i个点属于第k类的值；表示每一条边的能量势函数之和，为边的集合，为第ij条边的图像特征向量，为当某边属于第k类的权重，为第ij条边属于第k类的值；表示每一个团即图像中的某一部分的能量势函数之和，为团的集合，为第c个团的图像特征向量，为当某团属于第k类的权重，为第c个团属于第k类的值，为归一化因子系数；为条件概率，通过对该分类器的训练和推断，即可在图像模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型，如图5所示。

步骤4、在点云模态中进行学习训练和分类推断，在点云模态中，计算点云特征向量，利用点云数据训练集ls去训练点云条件随机场分类器fs，并利用训练后获得的点云条件随机场分类器fs，对新获取的室外场景三维彩色点云数据进行分类推断，将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集lc，用于扩充图像数据训练集lc，具体包括以下子步骤：

(a)、针对室外场景三维彩色点云数据，利用kd-tree算法在空间上构建给定点p＝(x,y,z,r,g,b)的邻域n＝{pi＝(xi,yi,zi,ri,gi,bi)|1≤i≤k}，其中：pi为邻点，i为邻点的序号，k为邻点的个数；

(b)、通过公式(1)

构建给定点p的邻域n的协方差矩阵m，t为向量转置符号，其将列向量转置为行向量，并求取协方差矩阵m的特征值λ1、λ2、λ3，且λ1<λ2<λ3，以及相应的特征向量v1、v2、v3，最小特征值λ1对应的特征向量v1为给定点p的法向量n＝(xn,yn,zn)，中间特征值λ2对应的特征向量v2为给定点p的基向量b＝(xb,yb,zb)，最大特征值λ3对应的特征向量v3为给定点p的切向量t＝(xt,yt,zt)；

(c)、构造第i个点的点云特征向量其中，为高度特征，为点性特征,为线性特征,为面性特征，为切向量特征，为法向量特征；

(d)、利用步骤4中子步骤(c)分别计算第ij条边的两个端点的点云特征向量和将第ij条边的两个端点的点云特征向量相减，即可得第ij条边的点云特征向量其中，i为第ij条边的一个端点的序号，j为第ij条边的另一个端点的序号；

(e)、在点云模态中，利用k-means聚类算法，将室外场景点云数据分割为一些空间位置独立的点云片段，每一个点云片段都构成了点云条件随机场模型中的一个团，构造第c个团的点云特征向量为其中，为该团的平均高度，为该团内点的个数，为该团的中心点按照步骤4中子步骤(c)所计算出的点云特征向量；

(f)、按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算点云数据训练集ls的点云特征向量，并利用max-margin方法对点云条件随机场分类器fs进行学习训练，并获得该分类器的所有参数和

(g)、在获得点云条件随机场分类器fs后，按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算新获取的室外场景三维彩色点云数据的点云特征向量，然后利用graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在点云模态中的分类结果，同时，将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集lc，用于扩充图像数据训练集lc，如图5所示。

步骤5、在图像模态中进行学习训练和分类推断，在图像模态中，计算图像特征向量，利用图像数据训练集lc去训练图像条件随机场分类器fc，并利用训练后获得的图像条件随机场分类器fc，对新获取的室外场景三维彩色点云数据进行推断分类，将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集ls，用于扩充点云数据训练集ls，具体包括以下子步骤：

(a)、构造第i个点的图像特征向量图像特征向量为30维向量，包括2维位置特征即uv特征、3维颜色特征即hsv特征、9维方向梯度直方图特征即hog特征和16维纹理特征即textons特征，上述特征均利用标准图像处理方法计算得到；

(b)、利用步骤5中子步骤(a)分别计算第ij条边的两个端点的图像特征向量和将第ij条边的两个端点的图像特征向量相减，即可得第ij条边的图像特征向量

(c)、在图像模态中，利用k-means聚类算法，将室外场景图像数据分割为一些空间位置独立的图像片段，每一个图像片段都构成了图像条件随机场模型中的一个团，构造第c个团的图像特征向量为为该团的中心点按照步骤5中子步骤(a)所计算出的图像特征向量；

(d)、按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算图像数据训练集lc的图像特征向量，并利用max-margin方法对图像条件随机场分类器fc进行学习训练，并获得该分类器的所有参数和

(e)、在获得图像条件随机场分类器fc后，按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算新获取的室外场景三维彩色点云数据的图像特征向量，然后利用graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在图像模态中的分类结果，同时，将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集ls，用于扩充点云数据训练集ls，如图5所示。

步骤6、给出最终分类结果，综合评价点云和图像模态下的分类结果，选择条件概率大的分类结果作为新获取的室外场景三维彩色点云数据的最终分类结果，如图6所示。

步骤7、不断更新协同学习，对于新获取的每一帧室外场景三维彩色点云数据，重复步骤4至步骤6，在给出分类结果的同时，不断交叉扩充点云数据训练集ls和图像数据训练集lc，不断更新点云条件随机场分类器fs和图像条件随机场分类器fc。

本发明优点在于：1、本发明将单模态学习扩展为多模态学习，利用模态之间的交互学习，构建多模态协同学习机制，充分发挥各模态优势；2、本发明将有监督学习扩展为半监督学习，充分利用实时获取的大量无类标签数据进行协同学习，准确分类室外场景。