一种料场的三维建模方法、装置、存储介质及电子终端与流程
本发明属于三维建模技术领域，涉及一种料场的三维建模方法、装置、存储介质及电子终端。
背景技术：
废钢料场运作过程中，存在堆料取料两个吊装工序。堆料过程中，料堆需按照废钢种类(重型废钢、中型废钢、小型废钢、统料型废钢、倾料型废钢)进行按规定区域分类堆放；堆放时需要注意堆放料堆的高度均匀，对方位置平稳，以免发生磁盘吊倾翻。目前人工操作天车时均以人眼识别料场模型，人工判别堆放位置，因带有一定随意性和盲目性，磁盘吊的运行效率不高，且常常因为人为经验出现事故。取料过程中，磁盘吊操作员需要根据取料种类人为判定取料地点，经常出现取料位置不准确，导致取料种类混杂的现象。
技术实现要素：
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种料场的三维建模方法、装置、存储介质及电子终端，用于解决现有技术的缺陷。
为实现上述目的及其他相关目的，本发明提供一种料场的三维建模方法，所述方法包括：
获得连续的单帧点云数据；
基于所述连续的单帧点云数据，构建第一点云图；
根据所述第一点云图进行建模，得到料场三维模型。
可选地，对所述料场中的物料的类别进行识别，将物料类别信息添加到料场三维模型中。
可选地，若存在多幅所述第一点云图，则将多幅所述第一点云图进行拼接，得到第二点云图，根据所述第二点云图进行建模。
可选地，所述单帧点云数据是通过面阵激光雷达在对应的扫描角度下测量得到。
可选地，所述第一点云图通过以下方法得到：
将所述单帧点云数据进行解析得到二维点云数据；
将单帧的二维点云数据进行合成，得到第一点云图。
可选地，基于特征值的匹配算法得到所述第二点云图像。
可选地，获取所述第二云点图像的方法包括：
对所述第一点云图进行特征提取，得到图像特征点；
匹配所提取的所述图像特征点；
对匹配获得的所有特征点进行拟合融合，获得融合结果。
可选地，所述匹配所提取的所述图像特征点，包括：
在匹配的另一幅图像中找出与提取的特征点的欧式距离最近的两个特征点，若最近的欧式距离除以次近的欧式距离得到的比率小于该阈值t，则这两个特征点被认为匹配成功。
可选地，基于尺度不变特征变换的方法提取所述特征点。
可选地，提取所述特征点的方法包括：
构建dog尺度空间；
检测dog尺度空间极值点；
精确关键点的位置和尺度；
给特征点赋值一个多维方向参数。
为实现上述目的及其他相关目的，本发明提供一种料场的三维建模装置，所述装置包括：
数据获取模块，用于获得连续的单帧点云数据；
点云图构建模块，用于基于所述连续的单帧点云数据，构建第一点云图；
建模模块，用于根据所述第一点云图进行建模，得到料场三维模型。
可选地，该装置还包括：
图像拼接模块，用于在存在多幅所述第一点云图的情况下，将多幅所述第一点云图进行拼接，得到第二点云图。
可选地，该装置还包括：
种类识别模块，用于对所述料场中的物料的类别进行识别；被识别出来的物料类别信息将添加至料场三维模型中。
为实现上述目的及其他相关目的，本发明提供一种存储介质，存储计算机程序，所述计算机程序被处理器运行时执行所述的方法。
为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述的方法。
如上所述，本发明的一种料场的三维建模方法、装置、存储介质及电子终端，具有以下有益效果：
本发明获取了整个料场的三维模型，为天车运行起到了指导性工作，减少了因人员经验产生的安全事故，并提高了生产效率。
附图说明
图1为本发明一实施例一种料场的三维建模方法的流程图；
图2为本发明一实施例废钢料场三维建模的系统结构示意图；
图3为本发明一实施例一种料场的三维建模装置的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
激光雷达：一种以发射激光束探测目标的位置、速度等特征量的雷达系统。通过向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的回波信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对目标进行探测、跟踪和识别。
激光点云：通过测量仪器得到的产品外观表面的点数据集合称之为点云。当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云。
为了方便理解，下面对本发明实施例中涉及的名词进行解释。
如图1所示，本发明提供一种料场的三维建模方法，所述方法包括：
s1获得连续的单帧点云数据；
s2基于所述连续的单帧点云数据，构建第一点云图；
s3根据所述第一点云图进行建模，得到料场三维模型。
在一实施例中，若存在多幅所述第一点云图，则将多幅所述第一点云图进行拼接，得到第二点云图，根据所述第二点云图进行建模。
在一实施例中，所述单帧点云数据是通过面阵激光雷达在对应的扫描角度下测量得到。
在一实施例中，所述第一点云图通过以下方法得到：
将所述单帧点云数据进行解析得到二维点云数据；
将单帧的二维点云数据进行合成，得到第一点云图。
在一实施例中，基于特征值的匹配算法得到所述第二点云图像。
在一实施例中，获取所述第二云点图像的方法包括：对所述第一点云图进行特征提取，得到图像特征点；匹配所提取的所述图像特征点；对匹配获得的所有特征点进行拟合融合，获得融合结果。
在一实施例中，所述匹配所提取的所述图像特征点，包括：
在匹配的另一幅图像中找出与提取的特征点的欧式距离最近的两个特征点，若最近的欧式距离除以次近的欧式距离得到的比率小于该阈值t，则这两个特征点被认为匹配成功。
在一实施例中，基于尺度不变特征变换的方法提取所述特征点。
在一实施例中，提取所述特征点的方法包括：构建dog尺度空间；检测dog尺度空间极值点；精确关键点的位置和尺度；给特征点赋值一个多维方向参数。
在一实施例中，该方法还包括：对所述料场中的物料进行分类,将物料类别信息添加到料场三维模型中。
具体地，本实施例以废钢料场对本发明作详细描述。
包含多个带磁盘吊的的天车。多个磁盘吊及其天车分布于料场内的各个跨间；将料场中所有废钢分类并堆放于固定料坑中；
图2为废钢料场三维建模的系统结构示意图，利用面阵激光雷达点云数据测算，图像特征点识别匹配及融合技术，废钢分类技术等实现废钢料场的三维模型重建及实时更新功能。所述的三维建椹系统包含多个带磁盘吊的天车，多相磁盘吊及分布于料场内的各个跨间，同时料场中的有废钢分类并堆放于因定料坑中。在各个天车上安装的面阵激光雷达及相机，嵌入式解析设备，天车和地面设备间的无线数据交换设备，配属在中心服务计算集群上的三维建模模块、废钢种类识别模块及图像特征提取融合模块。
激光雷达及相机的数量可以根据实际情况进行选择，在本实施例中，设置有两台激光面阵雷达，其中，激光面阵雷达水平安装在天车上，使其可以覆盖整个料场。激光面阵雷达的拍摄方向为垂直向下，保证建立的模型水平面和物理水平面保持一致。拍摄图像用于废钢种类识别的相机同样配置两台，与激光面阵雷达配套安装，其拍摄范围同配套激光面阵雷达相同。
三维建模的整个过程为：
首先将所有带面阵激光雷达的天车列置于初始位置，且初始位置已知。三维模型建模模块首先初始化一个空白三维模型，然后随着天车运行，不断在模型上添加或覆盖当时天车位置附近的三维模型。当运行时间足够长，天车已经运行覆盖过整个料场的纵向长度，即已经完成整个料场的模型建模，并之后的工作为不断更新模型。
同时利用天车上安装的相机拍摄自然光图像，并利用深度学习模型，判定当前位置的废钢料堆类型，将废钢料堆信息添加到已建立的三维模型中。其中，废钢种类分类方法是基于深度学习的目标检测网络进行样本训练学习后所得到的。废钢种类分为重型废钢、中型废钢、小型废钢、统料型废钢、倾料型废钢共六个种类。
注意的是，因为料场堆取料全部是由带磁盘吊的天车进行运行的。所以上述方法是可以完全实时更新模型的，不会出现延迟。
具本地，包括以下步骤：
步骤s11，利用面阵激光雷达通过发射激光信号确定连续的n帧点云数据，其中,n为正整数。
面阵激光雷达以扫描的形式发射激光信号，每次发射激光信号的时间间隔根据实际情况进行设定，比如每隔0.1秒或0.2秒等等。面阵激光雷达获取单幅测距数据信息之后，利用安装在天车驾驶室的嵌入式解析设备将测距信息解析为点云数据，既拍摄范围内的料堆三维坐标点。
步骤s12获得点云数据后，基于所述连续的单帧点云数据，构建第一点云图。
获取第一点云图及相机拍摄的图片数据后，通过无线数据通信技术与中心服务计算集群进行数据交换。
步骤s13根据所述第一点云图进行建模，得到料场三维模型。
将第一点云图及相机拍摄的图片数据发送给图像特征提取融合模块和废钢种类识别模块，上述两模块分别对所得到的图像数据进行分析，获取废钢料场整体的建模模型，及其相对应位置的废钢种类。再由三维建模模块将上述两信息进行融合，形成带种类信息的整体三维模型，并由该模块处理模型的实时更新，及外部交互功能。在三维建模模块预留接口，可以将三维模型数据给到外部的控制策略决策模块进行堆取料策略决策方案设定，也可以从控制策略模块获取控制策略命令，并将策略命令通过无线数据通信技术发回至天车上。
由于在本实施例中，包括了两个面阵激光雷达，获取的是两幅点云图，因此，还需要将两幅点云图进行拼接，再根据拼接后的点云图建立料场的三维模型。
图像拼接方法是基于特征值的匹配算法的，包括：
s21对所述第一点云图进行特征提取，得到图像特征点；具体地，通过对图像的结构、灰度、纹理等信息提取图像特征点；
s22匹配所提取的所述图像特征点；具体地，利用梯度下降算法匹配所提取的特征值；
s23对匹配获得的所有特征点进行拟合融合，获得融合结果；具体地，利用图像融合算法将相邻的点云图像拼接成一张图像。
更加具体地，所述的特征点提取是基于尺度不变特征变换的方法，包括：
s211构建dog(高斯差分尺度空间,dogscale-space))尺度空间；具体地，利用不同尺度的高斯差分核与图像卷积来进行生成，d(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ))*i(x,y)，其中,i(x,y)是原图像，*表示卷积运算，g是尺度可变高斯算法函数
s212检测dog尺度空间极值点；
s213精确关键点的位置和尺度；具体地，利用harriscorner检测器来去除dog局部曲率非常不对称的像素，利用公式：
s214给特征点赋值一个多维方向参数；具体地，利用关键点邻域像素的梯度方向分布特性使算子具备旋转不变性：
θ(x,y)＝αtan2((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x-1,y)))。
m(x,y),θ(x,y)分别表示(x,y)处梯度的模值和方向公式；l(x,y)表示对应尺度的尺度图像。
在步骤s22中，对于特征点的匹配方法是：
设定一个阈值，取图像1中的某个关键点，并找出其与图2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的欧式距离除以次近的欧式距离小于某个该阈值t，则这两个特征点被认为匹配成功。对于一幅图像的所有特征点均寻找其在另一幅图像对应的特征点后，利用获得的所有特征点对进行拟合融合公式，然后获得融合结果。
如图3所示，一种料场的三维建模装置，所述装置包括：
数据获取模块11，用于获得连续的单帧点云数据；
点云图构建模块12，用于基于所述连续的单帧点云数据，构建第一点云图；
建模模块13，用于根据所述第一点云图进行建模，得到料场三维模型。
在一实施例中，该装置还包括：
图像拼接模块，用于在存在多幅所述第一点云图的情况下，将多幅所述第一点云图进行拼接，得到第二点云图。
在一实施例中，该装置还包括：
种类识别模块，用于对所述料场中的物料的类别进行识别；被识别出来的物料类别信息将添加至料场三维模型中。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器((ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
- 还没有人留言评论。精彩留言会获得点赞！