基于HoloLens眼镜的矿井内部模型采集建立方法与流程

本发明属于矿井内部结构研究技术领域，具体涉及一种基于hololens眼镜的矿井内部模型采集建立方法。

背景技术：

矿井内部结构较为复杂，矿图在学习等范围内起到了重要的作用，它是了解矿层赋存条件、地址构造及水文地质等的必要材料。和传统的矿图相比较，使用模型来显示整个矿井视觉效果更加直观，目前有诸如在电脑上基于cad、3dsmax或者基于sketchup等进行建立的三维的矿井模型。但是在使用的时候存在以下一些共同的问题：

1、建立矿井模型需要先有相关矿井知识，并且还要求能够使用cad、3dsmax这些软件进行建模；

2、矿井内结构复杂，制作矿井模型工作量较大，效率低；

3、建立矿井模型周期长；

4、建立的矿井模型真实性不够好。

技术实现要素：

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于hololens眼镜的矿井内部模型采集建立方法，其方法步骤简单，设计新颖合理，操作简单明了，泛用性好，建模周期短，建模的真实性好，实用性强，使用效果好，便于推广使用。

为解决上述技术问题，本发明采用的技术方案是：一种基于hololens眼镜的矿井内部模型采集建立方法，其特征在于，该方法包括以下步骤：

步骤一、采用hololens眼镜的空间映射功能采集矿井内部结构信息，具体过程为：

步骤101、用户操作hololens眼镜，设定单次扫描范围阈值；

步骤102、用户带着hololens眼镜在矿井内部行走，采用hololens眼镜扫描矿井内部环境，得到一组矿井内部结构信息网格和坐标并存储；当hololens眼镜的扫描范围达到设定的单次扫描范围阈值时，扫描暂停；

步骤103、用户带着hololens眼镜，在步骤102中走过的区域，正对矿井内壁，周期性地对hololens眼镜发出拍照手势，hololens眼镜接收到拍照手势后，拍摄矿井内壁照片并存储；

步骤104、用户手动裁剪步骤103中存储的矿井内壁照片，并根据矿井内壁照片对应于矿井内部结构信息网格的位置，存储矿井内壁照片的坐标信息；

步骤105、用户前往下一个区域，隐藏上一次得到的矿井内部结构信息网格，并重复步骤102至步骤104；

由于hololens眼镜本身的内存和运算能力有限，因此，使用hololens眼镜按照以上方法采集离散的小空间，采集完一个隐藏一个，采集的多组矿井内部结构信息网格用于后续拼接处理构成完整的矿井内部3d模型。

步骤二、hololens眼镜将其存储的多组矿井内部结构信息网格和矿井内壁照片信息传输给数据处理计算机；

步骤三、数据处理计算机对多组矿井内部结构信息网格和矿井内壁照片信息进行分析处理，得到矿井内部3d模型；具体过程为：

步骤301、数据处理计算机先对多组矿井内部结构信息网格分别进行建立矿井内部3d模型和矿井内壁照片归位；

步骤302、数据处理计算机对多张矿井内壁照片进行物品匹配处理，在矿井内部3d模型上对应位置处标注物品类别；

步骤303、数据处理计算机将多个矿井内部3d模型按照坐标系进行排列，实现多个矿井内部3d模型的拼接，构成完整的矿井内部3d模型。

上述的基于hololens眼镜的矿井内部模型采集建立方法，步骤102中所述扫描暂停后，hololens眼镜发出声音或显示的提示信息，提示用户进行拍照。

上述的基于hololens眼镜的矿井内部模型采集建立方法，步骤二中hololens眼镜将其存储的多个矿井内部3d模型传输给数据处理计算机才采用的传输方式为数据线传输或局域网传输。

上述的基于hololens眼镜的矿井内部模型采集建立方法，步骤301中所述数据处理计算机对多组矿井内部结构信息网格分别进行建立矿井内部3d模型处理，采用unity3d软件进行，对每组矿井内部结构信息网格进行建立矿井内部3d模型处理的具体的处理过程为：

步骤a、将每组矿井内部结构信息网格内点的坐标按照位置进行分类，分出矿井内两面墙壁、地面和顶，具体过程为：

步骤a1、利用unity3d软件的射线系统，在不同的位置依次向前、后、左、右、上、下发射射线，射线碰撞到矿井内部结构信息网格后，通过raycasthit类型的变量通过读取normal信息获取到碰撞点的法线信息；

步骤a2、以碰撞点为中心点，利用unity3d软件的射线系统，在距中心点0.2m对角线四点处，依次向前、后、左、右、上、下发射射线，射线碰撞到矿井内部结构信息网格后，通过raycasthit类型的变量通过读取normal信息，获取到碰撞点的法线信息；

步骤a3、计算四条法线与步骤a1中的法线的角度差，当四个角度差均小于10度时，判定为五个点均在一个平面内，执行步骤a7；否则，当有角度差大于等于10度时，判定为角度差大于等于10度的法线对应的点与中心点不在一个平面内，执行步骤a4；

步骤a4、将对角线四点与距中心点的距离缩小一半，依次向前、后、左、右、上、下发射射线，射线碰撞到矿井内部结构信息网格后，通过raycasthit类型的变量通过读取normal信息获取到碰撞点的法线信息；

步骤a5、计算四条法线与步骤a1法线的角度差，当四个角度差均小于10度时，判定为五个点均在一个平面内，执行步骤a7；否则，当有角度差大于等于10度时，判定为角度差大于等于10度的法线对应的点与中心点不在一个平面内，执行步骤a6；

步骤a6、重复执行步骤a4和步骤a5，直至四个角度差均小于10度；即五个点均在一个平面内，并将各点的坐标值存储在各自的数组中；

步骤a7、以中心点为正方形中心，以四个点确定正方形边界，该正方形区域内的所有点均在一个平面上，并将各点的坐标值存储在各自的数组中；

步骤a8、以正方形边界的四个点分别为中心点，重复上述步骤，直至对角线四点与中心点的距离小于0.05m；

步骤a9、根据创建的平面，分出矿井内两面墙壁、地面和顶；

步骤b、构建矿井内两面墙壁、地面和顶上物体突出的效果，具体过程为：

步骤b1、在分好类的各个数组中，选择三个坐标来建立一个平面；

步骤b2、设定区分近点和远点的距离阈值；

步骤b3、将各个数组中距离大于距离阈值的点确定为远点，将各个数组中距离小于距离阈值的点确定为近点；

步骤b4、在平面相对的两侧分别在近点中取样10个点，分别计算平面两侧的点距离平面的平均值，并根据平面两侧的点距离平面的平均值移动平面，直至平面两侧的点距离平面的平均值相等；

步骤b5、在某一远点周围进行取样，并计算与平面的距离，若没有一点属于远点，则考虑该远点为奇异点。如果周围的点有一部分或者全部属于远点，则再次取样，最后将该区域的mesh中的顶点进行移动，移动至各个远点的位置，达到模型中对应物体突出的效果。

上述的基于hololens眼镜的矿井内部模型采集建立方法，步骤301中所述数据处理计算机对多组矿井内部结构信息网格分别进行矿井内壁照片归位，采用unity3d软件进行，对每组矿井内部结构信息网格进行矿井内壁照片归位时，根据矿井内壁照片的坐标，将矿井内壁照片放置在矿井内部3d模型上。

上述的基于hololens眼镜的矿井内部模型采集建立方法，步骤302中所述数据处理计算机对多张矿井内壁照片进行物品匹配处理时，是将多张矿井内壁照片分别输入预先构建的maskrcnn神经网络中，得到各张矿井内壁照片上物品的匹配结果。

上述的基于hololens眼镜的矿井内部模型采集建立方法，步骤302中所述预先构建maskrcnn神经网络的具体过程为：

步骤c1、构建mask-rcnn网络，所述mask-rcnn由resnet网络(深度残差网络)、fpn网络(featurepyramidnetworks)、rpn网络(regionproposalnetworks)、roialign层、全连接层和三个全卷积网络输出层构成；三个全卷积网络输出层包括分类分支、边框回归分支和像素分割mask分支；

步骤c2、将resnet网络和fpn网络作为主干网络，将包含有图标的多张煤矿井下图像作为训练图像，将训练图像中的图标作为mask-rcnn网络模型的识别目标，将训练图像输入主干网络来训练主干网络，调整resnet网络和fpn网络的参数，使损失函数最小，通过主干网络获取到进行了特征提取后的特征图；

步骤c3、对rpn卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤c4、对步骤c2中得到的特征图赋予多个尺度和多个比例的基准框，通过向初始化后的rpn卷积神经网络中输入特征图的基准框来训练rpn卷积神经网络，使用反向传播bp算法，调整rpn卷积神经网络参数，使损失函数值最小；得到训练样本集的图标预选框，对目标进行初步定位；

步骤c4、在特征图上运用训练好的rpn卷积神经网络模型，得到训练样本集的图标预选框；

步骤c5、根据预选框的位置坐标，roialign层将特征图重新调整为固定尺寸大小；以便后续全连接操作；

步骤c6、经过尺寸的统一，对统一大小的特征图进行全连接操作，随后使用分类分支、边框回归分支和像素分割mask分支这三个全卷积网络输出；分类分支预测每个目标属于哪个类别，同时利用边框回归分支获得更高精度的目标检测框，同时像素分割mask分支使网络输出每一类的mask,最终达到实例分割的目的，使损失函数最小，得到训练好的mask-rcnn网络模型。

本发明与现有技术相比具有以下优点：

1、本发明的方法步骤简单，设计新颖合理，操作简单明了。

2、本发明的泛用性好，建模时对用户的额外知识要求较低，无需会使用cad、3dsmax等软件。

3、本发明的建模周期短。

4、本发明建模的真实性好。

5、本发明的实用性强，使用效果好，便于推广使用。

综上所述，本发明的方法步骤简单，设计新颖合理，操作简单明了，泛用性好，建模周期短，建模的真实性好，实用性强，使用效果好，便于推广使用。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的方法流程框图。

具体实施方式

如图1所示，本发明的基于hololens眼镜的矿井内部模型采集建立方法，该方法包括以下步骤：

步骤一、采用hololens眼镜的空间映射功能采集矿井内部结构信息，具体过程为：

步骤101、用户操作hololens眼镜，设定单次扫描范围阈值；

步骤102、用户带着hololens眼镜在矿井内部行走，采用hololens眼镜扫描矿井内部环境，得到一组矿井内部结构信息网格和坐标并存储；当hololens眼镜的扫描范围达到设定的单次扫描范围阈值时，扫描暂停；

本实施例中，步骤102中所述扫描暂停后，hololens眼镜发出声音或显示的提示信息，提示用户进行拍照。

步骤103、用户带着hololens眼镜，在步骤102中走过的区域，正对矿井内壁，周期性地对hololens眼镜发出拍照手势，hololens眼镜接收到拍照手势后，拍摄矿井内壁照片并存储；

步骤104、用户手动裁剪步骤103中存储的矿井内壁照片，并根据矿井内壁照片对应于矿井内部结构信息网格的位置，存储矿井内壁照片的坐标信息；

步骤105、用户前往下一个区域，隐藏上一次得到的矿井内部结构信息网格，并重复步骤102至步骤104；

由于hololens眼镜本身的内存和运算能力有限，因此，使用hololens眼镜按照以上方法采集离散的小空间，采集完一个隐藏一个，采集的多组矿井内部结构信息网格用于后续拼接处理构成完整的矿井内部3d模型。

步骤二、hololens眼镜将其存储的多组矿井内部结构信息网格和矿井内壁照片信息传输给数据处理计算机；

本实施例中，步骤二中hololens眼镜将其存储的多个矿井内部3d模型传输给数据处理计算机才采用的传输方式为数据线传输或局域网传输。

步骤三、数据处理计算机对多组矿井内部结构信息网格和矿井内壁照片信息进行分析处理，得到矿井内部3d模型；具体过程为：

步骤301、数据处理计算机先对多组矿井内部结构信息网格分别进行建立矿井内部3d模型和矿井内壁照片归位；

本实施例中，步骤301中所述数据处理计算机对多组矿井内部结构信息网格分别进行建立矿井内部3d模型处理，采用unity3d软件进行，对每组矿井内部结构信息网格进行建立矿井内部3d模型处理的具体的处理过程为：

步骤a、将每组矿井内部结构信息网格内点的坐标按照位置进行分类，分出矿井内两面墙壁、地面和顶，具体过程为：

步骤a1、利用unity3d软件的射线系统，在不同的位置依次向前、后、左、右、上、下发射射线，射线碰撞到矿井内部结构信息网格后，通过raycasthit类型的变量通过读取normal信息获取到碰撞点的法线信息；

步骤a2、以碰撞点为中心点，利用unity3d软件的射线系统，在距中心点0.2m对角线四点处，依次向前、后、左、右、上、下发射射线，射线碰撞到矿井内部结构信息网格后，通过raycasthit类型的变量通过读取normal信息，获取到碰撞点的法线信息；

步骤a3、计算四条法线与步骤a1中的法线的角度差，当四个角度差均小于10度时，判定为五个点均在一个平面内，执行步骤a7；否则，当有角度差大于等于10度时，判定为角度差大于等于10度的法线对应的点与中心点不在一个平面内，执行步骤a4；

步骤a4、将对角线四点与距中心点的距离缩小一半，依次向前、后、左、右、上、下发射射线，射线碰撞到矿井内部结构信息网格后，通过raycasthit类型的变量通过读取normal信息获取到碰撞点的法线信息；

步骤a5、计算四条法线与步骤a1法线的角度差，当四个角度差均小于10度时，判定为五个点均在一个平面内，执行步骤a7；否则，当有角度差大于等于10度时，判定为角度差大于等于10度的法线对应的点与中心点不在一个平面内，执行步骤a6；

步骤a6、重复执行步骤a4和步骤a5，直至四个角度差均小于10度；即五个点均在一个平面内，并将各点的坐标值存储在各自的数组中；

步骤a7、以中心点为正方形中心，以四个点确定正方形边界，该正方形区域内的所有点均在一个平面上，并将各点的坐标值存储在各自的数组中；

步骤a8、以正方形边界的四个点分别为中心点，重复上述步骤，直至对角线四点与中心点的距离小于0.05m；

步骤a9、根据创建的平面，分出矿井内两面墙壁、地面和顶；

步骤b、构建矿井内两面墙壁、地面和顶上物体突出的效果，具体过程为：

步骤b1、在分好类的各个数组中，选择三个坐标来建立一个平面；

步骤b2、设定区分近点和远点的距离阈值；

步骤b3、将各个数组中距离大于距离阈值的点确定为远点，将各个数组中距离小于距离阈值的点确定为近点；

步骤b4、在平面相对的两侧分别在近点中取样10个点，分别计算平面两侧的点距离平面的平均值，并根据平面两侧的点距离平面的平均值移动平面，直至平面两侧的点距离平面的平均值相等；

步骤b5、在某一远点周围进行取样，并计算与平面的距离，若没有一点属于远点，则考虑该远点为奇异点。如果周围的点有一部分或者全部属于远点，则再次取样，最后将该区域的mesh中的顶点进行移动，移动至各个远点的位置，达到模型中对应物体突出的效果。

本实施例中，步骤301中所述数据处理计算机对多组矿井内部结构信息网格分别进行矿井内壁照片归位，采用unity3d软件进行，对每组矿井内部结构信息网格进行矿井内壁照片归位时，根据矿井内壁照片的坐标，将矿井内壁照片放置在矿井内部3d模型上。

步骤302、数据处理计算机对多张矿井内壁照片进行物品匹配处理，在矿井内部3d模型上对应位置处标注物品类别；

本实施例中，步骤302中所述数据处理计算机对多张矿井内壁照片进行物品匹配处理时，是将多张矿井内壁照片分别输入预先构建的maskrcnn神经网络中，得到各张矿井内壁照片上物品的匹配结果。

本实施例中，步骤302中所述预先构建maskrcnn神经网络的具体过程为：

步骤c1、构建mask-rcnn网络，所述mask-rcnn由resnet网络(深度残差网络)、fpn网络(featurepyramidnetworks)、rpn网络(regionproposalnetworks)、roialign层、全连接层和三个全卷积网络输出层构成；三个全卷积网络输出层包括分类分支、边框回归分支和像素分割mask分支；

步骤c2、将resnet网络和fpn网络作为主干网络，将包含有图标的多张煤矿井下图像作为训练图像，将训练图像中的图标作为mask-rcnn网络模型的识别目标，将训练图像输入主干网络来训练主干网络，调整resnet网络和fpn网络的参数，使损失函数最小，通过主干网络获取到进行了特征提取后的特征图；

步骤c3、对rpn卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤c4、对步骤c2中得到的特征图赋予多个尺度和多个比例的基准框，通过向初始化后的rpn卷积神经网络中输入特征图的基准框来训练rpn卷积神经网络，使用反向传播bp算法，调整rpn卷积神经网络参数，使损失函数值最小；得到训练样本集的图标预选框，对目标进行初步定位；

步骤c4、在特征图上运用训练好的rpn卷积神经网络模型，得到训练样本集的图标预选框；

步骤c5、根据预选框的位置坐标，roialign层将特征图重新调整为固定尺寸大小；以便后续全连接操作；

步骤c6、经过尺寸的统一，对统一大小的特征图进行全连接操作，随后使用分类分支、边框回归分支和像素分割mask分支这三个全卷积网络输出；分类分支预测每个目标属于哪个类别，同时利用边框回归分支获得更高精度的目标检测框，同时像素分割mask分支使网络输出每一类的mask,最终达到实例分割的目的，使损失函数最小，得到训练好的mask-rcnn网络模型。

步骤303、数据处理计算机将多个矿井内部3d模型按照坐标系进行排列，实现多个矿井内部3d模型的拼接，构成完整的矿井内部3d模型。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。