一种基于结构光的全景点云配准方法与流程

本发明涉及一种基于结构光的全景点云配准方法，属于机器人视觉领域。

背景技术：

视觉测量时，为了得到完整的场景点云地图，需要从不同位置或视角进行多次测量，而每次测量结果都是在不同坐标系中的，因此应将每次测量的点云进行坐标系转换，并保证不同位置测量的点云中相同点变换到同一位置，这一过程即为点云配准。对于静态场景的点云地图重建，可以认为点云之间的坐标变换是刚体变换。点云配准，一般可分为粗配准和精配准两个过程。粗配准用于给定精配准优化的初始值。对于使用了imu(inertialmeasurementunit，惯性测量单元)或旋转工作台等运动估计功能的点云重建设备，相当于已知了点云之间运动，所以容易进行点云的粗配准；否则，需要找到点云之间的匹配关系才能计算两个点云之间的转换矩阵。

粗配准可以利用二维图像特征点，如lin等人用图像surf(speededuprobustfeatures，加速稳健特征算法)特征进行配准，也可以从点云中提取三维特征点用于配准，如fpfh(fastpointfeaturehistograms，快速的点特征直方图)特征、局部三维特征点等；yang等人于2016年提出一种基于语义特征的配准方法，该方法首先对点云按水平间隔分层并对层内点云分割成块，然后提取各块各点云中的柱状物、交点等并连接成竖直线，最后求这些竖直线和地面的交点并构造成三角形并利用这些三角形进行匹配，从而达到配准的目的；这种方法主要利用了传感器的位姿受限(只能在水平面上移动和沿重力方向旋转)的特性，适用于利用tls(terrestriallaserscanning，地面激光扫描)这种大尺度室外场景，并且在点云分割时需要建立点云网格这会增大计算量，比较耗时。

最经典和最常用的点云精配准方法是1992年besl等人提出的icp(iterativeclosestpoint，迭代最邻近点)算法，其基本思想是迭代地计算待配准点集(折线、曲线、曲面等的采样点)中每个点距离固定参考点集中的最近点，并将其作为匹配点从而计算，icp算法可用于折线点、曲线点、曲面点、稠密点云和三角面片等之间的配准，具有无须点集之间的匹配关系、各点集中点数量可以不同和计算速度较快等优点，因此被广泛应用于点云配准中。但正如文中作者所提出的，icp算法也有如下缺点；要求待配准的点云之间应有较大的重叠区域；容易得到局部最优值，对初始值要求高等。为此，很多基于测量场景和传感器类型的变体icp算法被提出：如使用点云法向量的icp方法(点到平面的配准)、通用icp方法(平面到平面的配准)等。

点云配准方法是构建完整三维点云地图的基础，也是许多后续工作(如点云网格化、点云识别等)的基础，其计算精度也决定了最终形成的点云地图的精度。基于icp等方法的配准过程已基本成熟，而为icp提供初值的粗配准方法仍是三维测量领域的一个研究热点。但现有的基于二维图像特征或者三维点云特征的粗配准方法，难于适用于平面多、特征点少的环境进行地图重建。因此有必要提出一种针对性的三维全景点云配准方法。

结构光测量是一种非接触式测量方式，因其设备组成简单、测量分辨率高、精度高等优势而广泛应用于工业测量、生物医学以及零部件逆向工程等领域。结构光三维测量系统是由图像投影单元、图像采集单元以及计算机组成的。计算机生成的包含特定编码信息的投影图案称为结构光。利用结构光测量的原理是，首先图像投影单元将结构光团投射到待测目标表面，图像采集单元拍摄在待测目标表面变形的结构光图像后传递给计算机进行解码，获得待测目标表面各点在投影仪图像坐标系上相应的相位信息，结合该点在图像坐标系坐标，利用三角测量法计算出待测目标表面各点三维坐标，完成测量。

技术实现要素：

本发明的目的在于克服已有技术的不足之处，提出一种基于结构光的全景点云配准方法。该方法利用基于深度的变权重粗配准方法，快速完成目标点云与待测点云的粗配准，随后使用icp算法完成高精度的点云精配准。

本发明提出一种基于结构光的全景点云配准方法，其特征在于，包括以下步骤：

(1)选定一个待测目标，选取相机和投影仪，采用结构光的方法获取待测目标对应的n个目标点云和n个待配准点云；

(2)使用体素网络法对n个目标点云和n个待配准点云进行降采样，把每个点云空间中分割成m个体素，并将每个点云空间中位于同一个体素中的点取均值输出；

(3)获取每个待配准点云对应的二维坐标变换矩阵；具体方法如下：

把降采样后的第i个待配准点云与降采样后的第i个目标点云都投影到相机坐标系ocxcyc，计算中各点到相机光心ocxcyczc原点距离并进行归一化得到中每个点对应的距离权值；

对于中第j个点，该点到相机光心ocxcyczc原点距离的计算表达式如下：

其中，代表第i个待配准点云空间中第j个点的x坐标，代表第i个待配准点云空间中第j个点的y坐标；

归一化后，得到第i个待配准点云空间中第j个点对应的距离权值，表达式如下：

其中，ni为中点的个数；

利用每个点对应的距离权值计算对应的二维坐标变换矩阵，表达式如下：

其中,代表第i个目标点云空间中第j个点的x坐标，代表第i个目标点云空间中第j个点的y坐标；

(4)将步骤(3)得到的每个待配准点云对应的二维坐标变换矩阵扩展为对应的三维坐标变换矩阵，粗配准完毕；

对于第i个待配准点云其对应的三维坐标变换矩阵表达式如下：

其中，hi,j表示中第i行，第j列元素；

(5)设定icp算法的收敛条件，将每个待配准点云对应的三维坐标变换矩阵作为初值，利用icp算法进行点云精配准，并对精配准后的全景点云进行点云融合，得到完整的全景点云，配准完毕。

本发明的的特点及有益效果在于：

本发明能快速完成三维点云的粗配准，且适用于平面多、特征点少的环境，并通过精配准完成高精度三维全景点云的配准。本发明基于二维图像特征完成三维点云粗配准，使用基于深度的变权重粗配准方法，解决了由于测量表面深度增加导致点云测量质量变差和误差增大的问题，另一方面利用结构光主动测量的特点，解决了环境中平面多、特征点少的问题。该方法可以应用于所有点云的配准方法中，对平面多、特征点少的环境也有效，粗配准速度快，精配准精度高的特点，具有很好的应用前景。

具体实施方式

本发明提出一种基于结构光的全景点云配准方法，下面结合具体实施例对本发明进一步详细说明如下。

本发明提出一种基于结构光的全景点云配准方法，包括以下步骤：

(1)选定一个待测目标，选取双目相机或相机(型号不限，本实施例中选取大恒hv1351um)和投影仪(型号不限，本实施例中选取lghs300g)，采用结构光的方法获取待测目标对应的n个目标点云和n个待配准点云；

本发明中，待测目标可为任意物体(本实施例的待测目标为一个6m*5m的房间模型)，n个点云要求能够覆盖整个待测目标，且待配准点云与目标点云之间至少有一半点的交集，本实施例中选取n＝19。实际上在全景点云配准的过程中是以使用结构光方法首先任意测得第一个点云a作为第一个目标点云，然后任意测得第二个点云b(此时点云b称为第一个待配准点云)去与a配准，然后再测第三个点云c作为第二个的待配准点云去与之前的融合点云ab配准(此时的融合点云ab为第二个目标点云)，接下来再测第四个点云d作为第三个待配准点云去与第三个目标点云abc配准；如此类推，直至得到n个目标点云和n个待配准点云。

(2)使用体素网络法对n个目标点云和n个待配准点云进行降采样，把每个点云空间中分割成m个(m根据体素尺寸决定)正方体块(体素)，并将每个点云空间中位于同一个体素中的点取均值输出。

(3)获取每个待配准点云对应的二维坐标变换矩阵；具体方法如下：

把降采样后的第i个待配准点云与降采样后的第i个目标点云都投影到相机坐标系ocxcyc，即只留下每个点的x,y坐标，去掉z坐标值，计算中各点到全景相机光心ocxcyczc原点距离并并进行归一化得到每个点对应的距离权值；

对于中第j个点，该点到全景相机光心ocxcyczc原点距离的计算表达式如下：

其中，代表第i个待配准点云空间中第j个点的x坐标，代表第i个待配准点云空间中第j个点的y坐标；

归一化后，得到第i个待配准点云空间中第j个点对应的距离权值，表达式如下：

其中，ni为中点的个数；

利用每个点对应的距离权值计算对应的二维坐标变换矩阵，表达式如下：

其中,代表第i个目标点云空间中第j个点的x坐标，代表第i个目标点云空间中第j个点的y坐标；

(4)将步骤(3)得到的每个待配准点云对应的二维坐标变换矩阵扩展为对应的三维坐标变换矩阵，粗配准完毕；

对于第i个待配准点云其对应的三维坐标变换矩阵表达式如下：

其中，hi,j表示中第i行，第j列元素。

(5)设定icp算法的收敛条件，该阈值选择不应超过点云内点间距的数量级，一般选为1e-5，利用已有的icp算法将每个待配准点云对应的三维坐标变换矩阵作为初值，进行点云精配准，并对精配准后的全景点云进行点云融合，得到完整的全景点云；配准完毕。

本发明将得到的三维坐标变换矩阵作用到待配准点云上(即，三维坐标变换矩阵×点坐标)即能够得到待配准点云在目标点云上的坐标值，从而将目标点云与待配准点云变换到同一坐标系下。