一种智能化矿石定位及破碎控制方法与装置与流程

1.本发明涉及矿山矿石破碎技术领域，具体而言，涉及一种智能化矿石定位及破碎控制方法与装置。


背景技术：

2.矿产资源作为重要的非可再生资源，在国民经济发展中有着重要的地位。但是现在很多矿企面临招工难、成本高、效益提升慢，人员安全得不到保障等多个难题。
3.矿石破碎是矿企对矿山开采的一个重要作业过程，分为多个阶段进行。第一阶段破碎采用爆破的方式，其产量很大程度上取决于矿石的粒度分布；第二阶段破碎通常采用破碎机对被格筛阻挡的大矿石进行破碎的方式，金属格筛可以阻挡住大矿石，通过破碎机对被格筛阻挡的大矿石破碎变成小矿石流入后续矿石传输流程，避免造成后续矿石传输堵塞。
4.现有技术中，井下溜井处的二次破碎作业方式，大部分还是通过在井下溜井处安排工人现场操作破碎机对被格筛阻挡的大矿石进行破碎作业，极小部分已经采用远程遥控井下溜井处的破碎机对大矿石进行破碎作业。井下工人现场操作破碎机对大矿石进行破碎作业，工作环境比较恶劣，噪音和粉尘对工人的身体健康影响较大，特别是在深井下作业，操作工人的生命安全得不到保障。采用远程遥控的方式，属于半自动化领域，工人虽然不用下井，在地上通过观看溜井处的相机传送的视频画面就可以手动控制井下溜井处的破碎机运作，但这种方式存在信号延迟大和易中断等问题，由于操作时视频图像反馈不及时，偶尔操作不当甚至会导致破碎锤对溜井格筛造成损坏，严重影响操作工人对破碎机操作的流畅性和舒适性，影响生产效率的提升。
5.由于每个矿石的大小形状都不一样，包括还有多个矿石堆叠的情况，因此传统的机器视觉方式无法对矿石进行精确检测定位。另外，由于整个溜井区域较大，有的长宽范围可达10米以上，在这么大的区域范围下对矿石进行精确的识别定位是一个很大的挑战，普通的深度相机在定位精度或者在探测距离上难以满足需求。采用普通的深度相机和三维深度学习的方式对矿石进行识别，存在精度不足、图像分辨率低、识别角度及距离有限、运算量大等问题，导致系统响应时间较长，无法满足实时控制破碎机的要求。
6.因此，针对以上不足，需要提供一种智能化矿石定位及破碎控制方法与装置，实现环节快速稳定，视觉检测范围广，图像分辨率高，保证矿山井下溜井处矿石精准定位、二次破碎的高效快速，打造矿山综采工作面无人化管理的数字矿山工作场景。


技术实现要素：

7.本发明提供了一种智能化矿石定位及破碎控制方法与装置，实现环节快速稳定，视觉检测范围广，图像分辨率高，保证矿山井下溜井处矿石精准定位、二次破碎的高效快速，打造矿山综采工作面无人化管理的数字矿山工作场景。
8.本发明第一方面的实施例提供了一种智能化矿石定位及破碎控制方法，包括如下
步骤：采用两个双目相机对溜井区域进行同步拍摄；通过深度学习实例分割算法对拍摄得到的图像进行识别，识别出大矿石和破碎锤；对识别得到的大矿石和破碎锤的目标图像区域提取匹配特征点，并对匹配特征点进行三维点云重建；根据大矿石的三维点云重建数据计算出大矿石的破碎点位置；根据破碎锤的三维点云重建数据计算出破碎机将破碎锤移动至大矿石的破碎点的动作信息；根据动作信息向破碎机的电控装置发送移动控制信号，控制破碎机将破碎锤移动至大矿石的破碎点；当破碎锤到达大矿石的破碎点后发送破碎控制信号，对大矿石进行破碎作业。
9.优选地，采用的两个双目相机的图像传感器的分辨率不小于500万像素，两个双目相机均安装在溜井区域附近，两个双目相机的安装间距不小于1米。
10.优选地，深度学习实例分割算法中，采用改进的solov2检测模型对大矿石和破碎锤进行识别；改进的solov2检测模型的改进包括以下至少一项：i.对相机输入的图片进行划分，得到多个子区域，确定感兴趣子区域以及不感兴趣子区域，将感兴趣子区域输入神经网络进行深度处理，将不感兴趣子区域中的图像信息丢弃；ii.采用mobilenetv3作为主干网络；iii.在训练模型的过程中，训练过程根据学习率的不同分为三个阶段；第一阶段，学习率根据迭代的训练次数不断上升；第二阶段，学习率不跟随训练次数产生变化，保持稳定；第三阶段，学习率与训练次数呈反比例函数关系，随着训练次数增加，学习率降低，并且降低速度先快后慢，当训练次数数量无限增加接近于正无穷时，学习率接近于0；iv.特征金字塔层数设置为三层；v.对于掩码部分的分支的损失函数采用bce loss函数搭配sigmoid激活函数；其中，bce loss函数具体计算公式为：
[0011][0012]
其中，o代表output，指的是网络经过前向传播之后，计算得出的判断某项为真值的概率，取值范围为[0,1]；t代表target，指的是样本当中已经被标记指定的是否为真的标记，其取值为0或1；i代表了n个需要判断的输出项当中的第i项，o[i]与t[i]代表了第i项所对应的计算真值和标记真值；bce loss函数具体计算公式也可以为：
[0013][0014]
其中，weight是一个规模与o或t一致的矩阵；vi.在非极大值抑制阶段，引入softnms函数，具体函数表达如下：
[0015][0016]
其中，iou为交并比，是两个互相靠近的物体的预测范围的交集与并集面积的比值，m为一个待比较的预测范围，bi为m的附近的第i个待比较的预测范围，d为已经判断为需要保留的预测范围的集合，si为原预测范围的置信度得分，经过调整之后的置信度得分为si，σ为可以人工设置的调整幅度参数。
[0017]
优选地，通过深度学习实例分割算法对拍摄得到的图像进行识别，识别出大矿石和破碎锤，具体包括如下步骤：拍摄目标图像，并对图像中大矿石和破碎锤进行标注；根据标注情况选择是否设置关键区域，根据关键区域的选择情况进行预处理和数据增强，预处理包括滤波降噪，数据增强包括旋转、平移、缩放操作；根据数据集规模选择k折交叉验证或
者指定比例划分训练数据集和验证数据集；设置学习率和训练次数等超参数，调用训练方法函数对网络模型进行训练，监控训练情况；若训练结果符合期望则使用训练完毕的模型；将模型导出，在工控机环境下完成部署；通过数据流将图片输入并执行预处理，之后输入模型进行推理，模型输出的后处理结果数据返回给调用实例分割的分支进程。
[0018]
优选地，对识别得到的大矿石和破碎锤的目标图像区域提取匹配特征点，并对匹配特征点进行三维点云重建，具体包括如下步骤：对图像做不同尺度的高斯模糊，然后进行降采样构建高斯尺度空间，在此基础上对金字塔每相邻两层做差，生成高斯差分金字塔；对每个像素点进行极值点检测；对关键点的方向进行分配，每个关键点对应一个基准方向，采用图像梯度的方法求取局部结构的稳定方向；使用直方图统计邻域内像素的梯度和方向，将数目最多的作为关键点主方向，最后每个关键点包含位置、尺度及方向三个信息，描述图像特征；对感兴趣子区域内的目标进行完尺度不变特征提取后，通过快速最近邻匹配算法筛选出最优匹配点对；利用双目立体视觉原理，结合三维空间中成像目标的投影关系，分别计算两个双目相机每帧中特征匹配点的三维相机坐标值；求出破碎锤在两个双目相机坐标系下的三维坐标；通过在破碎机的工作空间增加q个不同位置的标识点进行手眼标定，根据q个标识点分别对应的破碎机与相机坐标，用最小二乘法得到两个双目相机基于破碎机坐标系的空间转换矩阵，将两个双目相机对应的三维点云通过空间转换矩阵转为两组对应的破碎机坐标系下三维点云，取它们的并集作为最终破碎机坐标系下的三维点云，其中，q≥1。
[0019]
优选地，根据大矿石的三维点云重建数据计算出大矿石的破碎点位置，具体包括如下步骤：根据破碎机坐标系下的大矿石三维点云坐标信息，得到大矿石轮廓信息，并根据轮廓信息计算出大矿石质心，质心点p
aim
计算如下：设大矿石三维点云在破碎机坐标系下的三维坐标为p＝{p1,p2,p3,
…
pn}，则，
[0020][0021]
选择x轴，y轴坐标与p
aim
点的x轴，y轴坐标分别小于设定阈值的范围内的z轴值最大的点为破碎点。
[0022]
优选地，根据破碎锤的三维点云重建数据计算出破碎机将破碎锤移动至大矿石的破碎点的动作信息步骤中，根据各个大矿石的破碎点坐标对大矿石进行排序，优先选择离破碎锤较近的点作为首选破碎的大矿石，根据首选大矿石破碎点的三维坐标数据，采用破碎机工作耗能最小化的原则对剩余大矿石的破碎先后顺序进行排序；排序后，根据首选大矿石和破碎锤的三维坐标数据，计算破碎锤的移动运行路径，根据运行路径产生破碎锤各臂运行的运动控制数据。
[0023]
优选地，根据动作信息向破碎机的电控装置发送移动控制信号，控制破碎机将破碎锤移动至大矿石的破碎点步骤中，通过can总线接口或rj45网络接口向破碎机的电控装置发送移动控制信号。
[0024]
优选地，当破碎锤到达大矿石的破碎点后发送破碎控制信号，对大矿石进行破碎作业步骤中，根据破碎锤和所选大矿石破碎点坐标数据计算得到两者距离小于设定的阈值时，判定破碎锤已经到达破碎点，向破碎机的电控装置发送破碎控制信号，使破碎锤对大矿
石进行破碎作业，直到大矿石被破碎成小块矿石自动从溜井的格筛上掉落下去。
[0025]
本发明第二方面的实施例还提供了一种智能化矿石定位及破碎控制装置，包括：两个双目相机，两个双目相机被配置为对溜井区域进行同步拍摄；识别模块，识别模块被配置为通过深度学习实例分割算法对拍摄得到的图像进行识别，识别出大矿石和破碎锤；三维点云重建模块，三维点云重建模块被配置为对识别得到的大矿石和破碎锤的目标图像区域提取匹配特征点，并对匹配特征点进行三维点云重建；位置确定模块，位置确定模块被配置为根据大矿石的三维点云重建数据计算出大矿石的破碎点位置；动作确定模块，动作确定模块被配置为根据破碎锤的三维点云重建数据计算出破碎机将破碎锤移动至大矿石的破碎点的动作信息；移动控制模块，移动控制模块被配置为根据动作信息向破碎机的电控装置发送移动控制信号，控制破碎机将破碎锤移动至大矿石的破碎点；破碎控制模块，破碎控制模块被配置为当破碎锤到达大矿石的破碎点后发送破碎控制信号，对大矿石进行破碎作业。
[0026]
本发明第三方面的实施例还提供了一种智能化矿石定位及破碎控制设备，其包括存储器和处理器：其中，存储器用于存储可执行程序代码；处理器用于读取存储器中存储的可执行程序代码以执行智能化矿石定位及破碎控制方法。
[0027]
本发明第四方面的实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现智能化矿石定位及破碎控制方法。
[0028]
本发明提供的智能化矿石定位及破碎控制方法、装置、设备、计算机可读存储介质，实现环节快速稳定，视觉检测范围广，图像分辨率高，保证矿山井下溜井处矿石精准定位、二次破碎的高效快速，打造矿山综采工作面无人化管理的数字矿山工作场景。
[0029]
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
[0030]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0031]
图1示出根据本发明第一实施例的智能化矿石定位及破碎控制方法的流程图；
[0032]
图2示出根据本发明第二实施例的智能化矿石定位及破碎控制装置的信息流示意图；
[0033]
图3示出根据本发明第二实施例的智能化矿石定位及破碎控制装置的组成图；
[0034]
图4示出根据本发明第二实施例的智能化矿石定位及破碎控制装置的结构图；
[0035]
图5示出根据本发明第三实施例的智能化矿石定位及破碎控制设备的结构图；
[0036]
图6示出根据本发明第四实施例的智能化矿石定位及破碎控制方法的计算机可读存储介质的结构图。
具体实施方式
[0037]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施
例及实施例中的特征可以相互组合。
[0038]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0039]
下述讨论提供了本发明的多个实施例。虽然每个实施例代表了发明的单一组合，但是本发明不同实施例可以替换，或者合并组合，因此本发明也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含a、b、c，另一个实施例包含b和d的组合，那么本发明也应视为包括含有a、b、c、d的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
[0040]
图1示出根据本发明第一实施例的智能化矿石定位及破碎控制方法的流程图。如图1所示，所述方法包括如下步骤：
[0041]
步骤s01：采用两个双目相机对溜井区域进行同步拍摄；
[0042]
步骤s02：通过深度学习实例分割算法对拍摄得到的图像进行识别，识别出大矿石和破碎锤；
[0043]
步骤s03：对识别得到的大矿石和破碎锤的目标图像区域提取匹配特征点，并对匹配特征点进行三维点云重建；
[0044]
步骤s04：根据大矿石的三维点云重建数据计算出大矿石的破碎点位置；
[0045]
步骤s05：根据破碎锤的三维点云重建数据计算出破碎机将破碎锤移动至大矿石的破碎点的动作信息；
[0046]
步骤s06：根据动作信息向破碎机的电控装置发送移动控制信号，控制破碎机将破碎锤移动至大矿石的破碎点；
[0047]
步骤s07：当破碎锤到达大矿石的破碎点后发送破碎控制信号，对大矿石进行破碎作业。
[0048]
本发明的上述实施例在溜井格筛的附近安装两个大分辨率双目相机，由两个双目相机拍摄溜井区域的图像，通过深度学习网络模型对相机拍摄到的图像进行实例分割识别，提取出被溜井格筛阻拦无法通过的大矿石和破碎机的破碎锤目标，对检测到的大矿石和破碎锤的目标图像区域提取匹配特征点，并对匹配的特征点进行三维点云重建，再将基于两个双目相机各自坐标系的三维点云坐标转换到统一的破碎机坐标系下，根据破碎机坐标系下的矿石点云坐标，提取出矿石破碎点位置，通过向破碎机电控装置发送合适的控制信号，控制破碎机将破碎锤移动到大矿石破碎点，对大矿石进行破碎作业，采用两个双目相机的方式不仅有效解决了普通双目深度相机在大区域范围对矿石定位精度不足的问题，同时也有效解决了破碎锤和矿石相互遮挡的问题，采用先识别再定位的方式，有效解决了对全图三维点云提取做目标识别和定位运算量大的问题。
[0049]
本发明的第一实施例中，深度学习实例分割算法中，采用改进的solov2检测模型对大矿石和破碎锤进行识别。采用改进的solov2实例分割模型，降低了目标识别时的时间消耗，同时提高了目标识别准确性，特别是对堆叠矿石堆中各个矿石的识别准确性。采用两个大分辨率双目相机和先识别再定位的方法，使整个系统能保证高精度定位的情况下以不低于每秒10帧的速度实时的进行稳定流畅的智能破碎作业。本发明的第一实施例具有结构简单、识别准确性高、定位精度高、抗遮挡、实时性强、破碎效率高的优点，可以有效解决井
下溜井对大矿石二次破碎智能无人化作业的问题。
[0050]
本发明的第一实施例中，采用图像传感器像素不小于500万像素的两个大分辨率双目相机，两个双目相机分别安装在溜井格筛的附近，两个双目相机的安装间距不小于1米。将两个大分辨率双目相机安装在溜井格筛附近，不仅有效解决了大范围定位精度不足的问题，也有效解决了矿石与破碎锤相互遮挡影响图像数据分析的问题。两个大分辨率双目相机在井下安装之前通过双目立体标定法完成各自双目相机的立体标定，得到双目相机各自的内外参和畸变系数。两个大分辨率双目相机在井下溜井处安装完后，采用通用的九点标定法对两个双目相机进行基于破碎机坐标系的标定，得到两个双目相机基于破碎机的转换矩阵。
[0051]
本发明的第一实施例中，采用改进的solov2深度学习实例分割模型对矿石与破碎锤进行实时识别。基于溜井的场景，以降低单帧耗时和保证准确度为目标，对solov2进行了预处理、主干网络、学习率、fpn(特征金字塔)、loss(损失函数)、nms(非极大抑制)等多个方面的改进。基于改进的solov2检测模型，不仅提高了溜井处矿石与破碎锤识别的准确性，特别是对堆叠矿石堆中各个矿石的识别准确性，同时也降低了识别时的时间消耗，保证了高速大数据流的数据处理实时性。基于solov2模型生成矿石与破碎锤识别模型，需要对双目相机采集的样本集进行训练。考虑光照、时间、矿石分布、局部遮挡、周围情况等因素，采集相关数据不低于一万种样本进行模型训练，首先分别对图像进行图像增强处理，图像降噪及相似性变换等数据增强，再对图像中的矿石和破碎锤分别进行精准标注，然后对已标注的数据集进行训练和验证精度，最后将模型部署到系统上进行实例分割。
[0052]
具体而言，在预处理方面：在速度方面，由于矿山摄像头大部分位置固定，拍摄到的物体类型单一、动静分明，为了有针对性的节约设备算力资源，我们采用了关键区域的概念，将摄像头输入的图片划分为4*4共16个区域，只对于选定的感兴趣部分，输入神经网络进行最为耗时的深度处理，不感兴趣的区域中的图像信息则可以直接丢弃，最终实现了检测效率的提升。对于推理精确度部分，我们在破碎锤上增设标记点，一张图片、多点检验、互相纠错，提升每一次检测到的破碎锤关键点目标信息。
[0053]
主干网络方面：为了提升在实际现场环境下的网络的推理速度，我们对于深度学习网络的主干网络做了替换，采用mobilenetv3作为主干网络。mobilenetv3是一种经常使用在手机、闭路监控摄像头等相对较为小型的设备中的轻量级主干网络，一般这些设备不能做到安装像是台式电脑一样的高性能计算设备，mobilenetv3的出现主要是为了能在不是特别损失推理精度的同时，尽可能的适应算力更为有限的设备。相比较于传统的resnet家族的主干网络，mobilenetv3在整体参数规模上要小很多，这意味着这样的主干网络训练起来更节约时间，在部署的应用场景中推理速度更快，更节约设备有限的计算资源，对于追求实际工程环境下实时性检测的应用场景更为友好。
[0054]
学习率方面：在训练模型的过程中，由于我们所识别的场景较为单一固定，很少出现较大的场景变化，这也就意味着训练数据集和验证数据集看起来非常相似，在大量的训练次数之后模型较为容易出现过拟合现象，降低对于不同场景的泛用性。为了改善这一现象，我们对学习率的设置进行改良，采用可变化的动态学习率设置。整个训练过程根据学习率的不同分为三个阶段，第一个阶段中，学习率根据迭代的训练次数不断上升，主要是为了从一个初始状态快速接近损失函数的收敛区域；第二个阶段中，学习率不跟随训练次数产
生变化，保持稳定，这样做的是为了稳定的抵达收敛区域附近；第三个阶段，学习率跟epoch(一代训练)呈反比例函数关系，既随着epoch增加，学习率降低，并且降低速度先快后慢，在epoch数量无限增加接近于正无穷时，学习率接近于0，这样做的目的是抑制过拟合模型随着训练次数调整较大而有更大概率出现的趋势，因为在矿山使用场景中，大量的训练容易造成模型的过拟合，而且这种过拟合模型在多项度量数据上有时也会表现优异，导致难以将过拟合模型和真正优秀的模型做区分。
[0055]
特征金字塔(fpn)方面：主要的原理是将图片放缩到不同的大小规模之后，在同一图片中用小尺度特征图检验大尺度物体，反之用大尺度特征图检验小尺度物体。fpn网络引入的主要价值在于可以分层次的提取一张图片中不同尺度的特征，再通过多尺度融合实现同一种类的物体，实践证明是多尺度物体检验网络模型的非常重要的组成部分。在原本的solov2中就使用了五层fpn，但是这五层的比例之间有重叠部分，原本主要是为了实现交叉“双保险”，尽可能降低单张图片中小物体漏检的比例。考虑到矿山使用场景的特殊性，我们改进为三个特征尺度，重点聚焦在识别大物体的准确和速度方面；减少fpn层数有利于降低网络模型处理和传递的数据总量，对于提升预测速度更有帮助。
[0056]
损失(loss)函数方面：为了较好的适应多标签分类的场景，对于`mask`部分的分支的损失函数采用bce loss函数搭配sigmoid激活函数，其中损失函数具体的计算公式如下：
[0057][0058]
其中：o代表output，指的是网络经过前向传播之后，计算得出的判断某项为真值的概率，取值范围为[0,1]；t代表target，指的是样本当中已经被标记指定的是否为真的标记，其取值必然为0或者1。i代表了n个需要判断的输出项当中的第i项，o[i]与t[i]代表了第i项所对应的计算真值和标记真值。
[0059]
也可以指定权重weight并且更一般的表示为
[0060][0061]
其中：weight是一个规模与o或t一致的矩阵；引入weight便可以对每一个loss函数的输出根据重要程度人工主动调整loss数值大小；较为重要的部分所对应的weight更大，较为次要的部分所对应的weight更小；weight如果被设置为全为1，则与上式等效。
[0062]
bce loss是一种久经考验的非常适合于分类任务的损失函数，通常用于二分类任务，在简单叠加后就可以用于多分类任务，并且在分类的类别数量相对较少的时候有很好的效果。
[0063]
非极大值抑制(nms)方面：nms主要用于图像推理之后的后处理阶段，从多个可能正确的推理结果中找到最优秀的结果。但是很多时候我们需要自己手动设置nms的iou阈值，很容易导致数值设置过大产生漏检或者数值设置太小导致抑制了正确标定。为了改善置信度设置问题，在nms阶段引入了softnms，其数学表达式如下
[0064]
[0065]
其中：iou为交并比，是两个互相靠近的物体的预测范围的交集与并集面积的比值；m为一个待比较的预测范围；bi为m的附近的第i个待比较的预测范围；d为已经判断为需要保留的预测范围的集合；si为原预测范围的置信度得分；si为经过调整之后的置信度得分；σ为可以人工设置的调整幅度参数。
[0066]
softnms通过增加一项高斯函数，使得iou与si之间建立反向相关的关系，也即iou增大会导致si减小。这种反向抑制的方式有助于从候选框中挑选出置信度不是很极端的结果。
[0067]
基于solov2模型生成矿石与破碎锤识别模型，需要对双目相机采集的样本集进行训练。考虑光照、时间、矿石分布、局部遮挡、周围情况等因素，采集相关数据不低于一万张已标记样本图片进行模型训练。
[0068]
本发明的第一实施例中，步骤s02还包括如下具体步骤：
[0069]
步骤s021：拍摄目标图像，并对图像中大矿石和破碎锤进行标注；拍摄清晰的目标图像，并对图像中矿石和破碎锤等类别进行精确标注。
[0070]
步骤s022：根据标注情况选择是否设置关键区域，根据关键区域的选择情况进行预处理和数据增强，所述预处理包括滤波降噪，所述数据增强包括旋转、平移、缩放操作；根据数据集规模选择k折交叉验证或者指定比例划分训练数据集和验证数据集。
[0071]
步骤s023：设置学习率和训练次数等超参数，调用训练方法函数对网络模型进行训练，监控训练情况。
[0072]
步骤s024：若训练结果符合期望则使用训练完毕的模型。
[0073]
步骤s025：将模型导出，在工控机环境下完成部署。
[0074]
步骤s026：通过数据流将图片输入并执行预处理，之后输入模型进行推理，模型输出的后处理结果数据返回给调用实例分割的分支进程。
[0075]
本发明的第一实施例中，步骤s03还包括如下具体步骤：
[0076]
步骤s031：对图像做不同尺度的高斯模糊，然后进行降采样构建高斯尺度空间，在此基础上对金字塔每相邻两层做差，生成高斯差分金字塔。
[0077]
步骤s032：对每个像素点进行极值点检测；对关键点的方向进行分配，每个关键点对应一个基准方向，采用图像梯度的方法求取局部结构的稳定方向。然后对每个像素点进行极值点检测，假设高斯金字塔每组有(s+3)层，则高斯差分金字塔每组有(s+2)层，只在同一组中从第2层开始至倒数第2层位置的相邻层进行26个点的梯度值的比较从而寻找极大值或极小值。
[0078]
步骤s033：使用直方图统计邻域内像素的梯度和方向，将数目最多的作为关键点主方向，最后每个关键点包含位置、尺度及方向三个信息，描述图像特征。再对关键点的方向进行分配，每个关键点对应一个基准方向，采用图像梯度的方法求取局部结构的稳定方向，假设金字塔中的子图在图像坐标系中(x,y)处的灰度值为l(x,y)，则梯度的模值m(x,y)和方向θ(x,y)计算公式如下：
[0079][0080]
θ(x,y)＝tan-1
((l(x,y+1)-l(x,y-1))/l(x+1,y)-l(x-1,y)))。
[0081]
步骤s034：对感兴趣子区域内的目标进行完尺度不变特征提取后，通过快速最近
邻匹配算法筛选出最优匹配点对。使用直方图统计邻域内像素的梯度和方向，将数目最多的作为关键点主方向，最后每个关键点包含位置、尺度及方向三个信息，综合效果最优的描述图像特征。对感兴趣区域内的目标进行完sift特征提取后，再通过快速最近邻匹配算法flann筛选出最优匹配点对，然后再从中通过最近邻分类knn进一步优化匹配点对配准的准确度。
[0082]
步骤s035：利用双目立体视觉原理，结合三维空间中成像目标的投影关系，分别计算两个双目相机每帧中特征匹配点的三维相机坐标值。
[0083]
步骤s036：求出破碎锤在两个双目相机坐标系下的三维坐标,。
[0084]
步骤s037：通过在破碎机的工作空间增加q个不同位置的标识点进行手眼标定，根据q个标识点分别对应的破碎机与相机坐标，用最小二乘法得到两个双目相机基于破碎机坐标系的空间转换矩阵，将两个双目相机对应的三维点云通过空间转换矩阵转为两组对应的破碎机坐标系下三维点云，取它们的并集作为最终破碎机坐标系下的三维点云，其中，q≥1。在一个优选实施例中，通过在破碎机的工作空间增加9个不同位置的标识点进行手眼标定，根据9个点分别对应的破碎机与相机坐标，用最小二乘法得到两个双目相机基于破碎机坐标系的空间转换矩阵。将两个双目相机对应的三维点云通过转换矩阵转为两组对应的破碎机坐标系下三维点云，再取它们的并集作为最终破碎机坐标系下的三维点云。假设目标在两个双目相机坐标系下的三维坐标点集为c1,c2，对应破碎机坐标系下的三维坐标点集为p1,p2，两者空间转换矩阵为rt1,rt2，则相机三维坐标到破碎机三维坐标的转换过程如下：
[0085]
pi＝rti·ci
,i＝1,2；
[0086]
最终获得破碎机坐标系下的矿石点云数据p为：
[0087]
p＝p1∪p2。
[0088]
本发明的第一实施例中，基于改进的solov2实例分割算法检测每一帧图像中的矿石与破碎锤目标，再对检测到的双目相机左右图像中所有的石头及破碎锤对应的roi(感兴趣区域)进行sift特征点检测，再通过快速最近邻匹配flann初步筛选左右图像中的匹配点对，然后再通过最近邻分类knn进一步筛选最为相似的特征点。由于溜井处破碎矿石的作业范围很大，所以根据双目相机内的两个图像传感器采集的两幅图匹配的二维特征点计算出基于双目相机各自的三维点云坐标，再根据两个双目相机相对于破碎机的坐标转换矩阵将两个双目相机坐标系下的三维点云坐标转换到基于破碎机坐标系下的三维点云坐标，通过取转换后的三维点云并集得到统一的基于破碎机坐标系的目标三维点云坐标。
[0089]
本发明的第一实施例中，单个双目相机获取三维点云的方法如下：
[0090]
通过前期标定信息，结合双目图像的对应特征点的图像坐标，假设像素对应点分别为(u
l
,v
l
)、(ur,vr)，假设双目相机的内参矩阵分别为m
l
，mr，外参矩阵分别rt
l
，rtr为其采集左右图像中像素坐标分别为：(u
l
,v
l
)，(ur,vr)，目标在相机坐标系下三维坐标为(x,y,z)，则空间成像过程的投影关系可通过下式表示：
[0091][0092][0093]
由双目标定可以得出相机的内参矩阵和外参矩阵，展开如下式，其中f
x
,fy表示在x、y方向的缩放因子，u0,v0则为成像平面与光轴交点对应的图像坐标，而外参矩阵中的r表示3*3旋转矩阵，t表示1*3的平移矩阵。
[0094][0095][0096]
将内外参矩阵相乘可得到目标在双目相机成像过程的投影矩阵(4x3)，其矩阵元素可由pil、pir,i＝00,01,...,23表示，此处12个元素皆为常量，代表空间映射关系对成像结果的各个影响因子，共同影响从世界三维坐标到图像二维坐标的投影结果，其取值可由内参矩阵(3*3)与外参矩阵(4*4)相乘得出，具体求解在实施方式中给出。由立体成像原理可推理出特征点对的三维坐标(x,y,z)，相机成像计算公式如下：
[0097][0098]
[0099]
将上述两式展开，可得
[0100][0101]
最终可以通过最小二乘法求解出空间物点的坐标(x,y,z)。
[0102]
本发明的第一实施例中，根据破碎机坐标系下的矿石三维点云坐标信息，得到矿石轮廓信息，并根据轮廓信息计算出矿石质心，选取质心附近较高的点作为矿石破碎点。假设矿石点云在破碎机坐标系下的三维坐标为p＝{p1,p2,p3,.....pn}，则质心点p
aim
计算公式如下：
[0103][0104]
选择x，y坐标跟p
aim
点的x，y坐标分别小于人为设定阈值的范围内z坐标值最大的点为破碎点。由于破碎点的选择在破碎作业过程中非常关键，我们采用两个大分辨率双目相机采集图像，再基于改进的solov2实例分割模型对矿石和破碎锤先识别再定位，很好的保障了破碎点识别和定位的准确性。
[0105]
本发明的第一实施例中，当溜井中存在多个矿石时，系统根据各个矿石的破碎点坐标进行排序，优先选择离破碎锤较近的点作为首选破碎的矿石，再根据首选矿石破碎点三维坐标数据，结合让破碎机工作耗能最小化的原则对剩余矿石的破碎先后顺序进行排序。排序完毕后，再根据首选矿石和破碎锤的三维坐标数据，计算出破碎锤的移动运行路径，根据运行路径生产破碎锤各臂运行的运动控制数据。
[0106]
在一个优选实施例中，步骤s05包括如下步骤：
[0107]
步骤s051：根据各个大矿石的破碎点坐标对大矿石进行排序，优先选择离破碎锤较近的点作为首选破碎的大矿石，根据首选大矿石破碎点的三维坐标数据，采用破碎机工作耗能最小化的原则对剩余大矿石的破碎先后顺序进行排序；
[0108]
步骤s052：排序后，根据首选大矿石和破碎锤的三维坐标数据，计算破碎锤的移动运行路径，根据运行路径生产破碎锤各臂运行的运动控制数据。
[0109]
具体地，对三维矿石点云中的多块矿石进行排序，在一个优选实施例中，采用的排序算法为优先破碎处理离破碎锤距离近的矿石，然后在对距离较远的矿石进行破碎。确定了破碎机的起点和终点，本优选实施例在此基础上会生成一个破碎锤执行破碎动作的最优路径，以达到避障和简化路径的效果，提升破碎机工作效率。本优选实施例采用一种基于a*的三维最优路径规划算法，使得破碎头在移动到目标点的过程中避免碰撞或走无效路径，并采用基于二次b样条算法对路径进行平滑优化处理，以克服机械臂运动过程中的抖动情况。通过a*算法选择最优路径对目标矿石进行破碎，设当前节点x的估计函数f(n)定义为：
[0110]
f(n)＝g(n)+h(n)
[0111]
其中，g(n)是破碎头从起点运动到节点x的实际距离，h(n)是从当前节点x到破碎点最小距离估计，本发明将h(n)的形式设为欧几里得距离：
[0112][0113]
其中，(xn,yn,zn)表示破碎头运动位置的当前节点，(xd,yd,zd)表示破碎点。从起始点开始计算其每个子节点的f(n)值，从f(n)值中选择最小的子节点作为搜索的下一点，往复迭代，直至下一节点作为目标点。由a*算法的均匀步长搜索出的避障路径由一条条线段组成，机械臂运动过程中难免出现抖动，本发明采用二次b样条曲线对最优路径进行平滑处理，使得破碎机在可以稳定的执行破碎作业。设由控制顶点d1,d2,...,dn，n
i,k
(t)是(k-1)次b样条曲线的基函数，则k阶(k-1)次b样条曲线的数学表达式为：
[0114][0115]
本发明采用的二次b样条曲线设为每段由3个控制点组成，其基矩阵表示为：
[0116][0117]
本优选实施例使得破碎机机械臂在执行破碎作业时，可以达到避障和在最优路径下作业的效果。
[0118]
本发明的第一实施例中，系统通过can总线接口或者rj45网络接口向破碎机的电控装置发送破碎机控制破碎锤动作执行的控制信号。破碎机电控装置的输入接口有采用can接口也有采用rj45接口的，为了兼容不同的破碎机，系统的控制信号输出接口同时具有这两种接口，根据破碎机电控装置的输入接口选择相应的控制接口。
[0119]
本发明的第一实施例中，根据破碎锤和所选矿石破碎点坐标数据计算得到两者距离小于设定的阈值后判定破碎锤已经到达破碎点，这时系统向破碎机电控装置发送破碎锤启动破碎的控制信号，使破碎锤对矿石进行破碎作业，直到大矿石被破碎成小块矿石自动从溜井的格筛上掉落下去。
[0120]
图2示出根据本发明第二实施例的智能化矿石定位及破碎控制装置的信息流示意图；如图所示，两个大分辨率双目相机分别通过网线连接到网络交换机，网络交换机通过网线连接到工控机，工控机通过can总线或者rj45网线连接到破碎机的电控装置。电控装置为破碎机液压控制的一个单元组件，通过电信号即可控制破碎机中液压的流通进而控制破碎机底座的旋转、各个臂的伸缩和破碎锤的锤击。
[0121]
图3示出根据本发明第二实施例的智能化矿石定位及破碎控制装置的组成图。
[0122]
该实施例中，智能化矿石定位及破碎控制装置包括：两个双目相机，两个双目相机被配置为对溜井区域进行同步拍摄；识别模块，识别模块被配置为通过深度学习实例分割算法对拍摄得到的图像进行识别，识别出大矿石和破碎锤；三维点云重建模块，三维点云重建模块被配置为对识别得到的大矿石和破碎锤的目标图像区域提取匹配特征点，并对匹配特征点进行三维点云重建；位置确定模块，位置确定模块被配置为根据大矿石的三维点云重建数据计算出大矿石的破碎点位置；动作确定模块，动作确定模块被配置为根据破碎锤的三维点云重建数据计算出破碎机将破碎锤移动至大矿石的破碎点的动作信息；移动控制模块，移动控制模块被配置为根据动作信息向破碎机的电控装置发送移动控制信号，控制
破碎机将破碎锤移动至大矿石的破碎点；破碎控制模块，破碎控制模块被配置为当破碎锤到达大矿石的破碎点后发送破碎控制信号，对大矿石进行破碎作业。
[0123]
其中，两个双目相机为两个大分辨率双目相机及其数据传输接口，两个双目相机同步实时的采集每一帧图像数据。识别模块包括基于改进的solov2实例分割模型的深度学习实例分割算法，可以对矿石和破碎锤同时进行识别检测。三维点云重建模块包含分别对两个双目相机采集数据中矿石及破碎锤roi区域的sift特征点提取与匹配，对提取到的匹配二维点对进行点云三维坐标重建，再将两个双目相机下的三维点云坐标转换到统一的破碎机坐标系下的三维坐标。位置确定模块根据在破碎机坐标系下的矿石点云坐标数据计算获取矿石的破碎点。动作确定模块则包含对多块矿石破碎顺序的排序及破碎锤到目标破碎点的最优运动路径规划。移动控制模块和破碎控制模块包含向破碎机电控装置发送破碎控制信号的总线接口及装置。各个模块衔接有序，高效运行，实现了以每秒钟不低于10帧的速度实时处理图像数据并向破碎机输出控制信息。
[0124]
上述实施例的一种智能化矿石定位及破碎控制装置，可实现以下效果：区别现有的作业方式，无论是井下工人现场控制破碎机还是地面远程遥控井下溜井破碎机，都可以节省人力成本，采用本发明的系统，工作时无须工人参与具体的作业过程，设备自动完成破碎作业。不仅能把井下现场操作工人从多粉尘强噪音的工作环境中、特别是有可能有生命危险的工作环境中解放出来，也能把通过远程遥控操作时带来的操作不顺畅、作业效率低的问题都规避掉了。对于实时的大空间矿石精确识别定位的难题，特别是对堆叠矿石堆中各个矿石识别定位的难题，我们通过采用两个大分辨率双目相机结合改进的solov2实例分割模型巧妙的解决了，实现了系统能以不低于每秒10帧的速度实时的进行稳定流畅的智能破碎作业。
[0125]
在一个实施例中，在溜井格筛的附近安装两个大分辨率双目相机，双目相机内部具有高性能处理器，可以是gpu处理器，也可以是fpga或者dsp处理器，优选的采用xilinx公司的高性能集成arm核的fpga处理器。在双目相机中，图像传感器输出的图像直接进入fpga处理器中，在fpga中完成图像预处理，然后再结合arm处理器及fpga硬件加速的方式，在相机中完成深度学习网络模型对采集的图像进行实例分割识别，提取出被溜井格筛阻拦无法通过的大矿石和破碎机的破碎锤目标。然后在处理器中再根据目标的roi区域采用sift算法进行二维特征点提取，对提取的二维特征点匹配完后重建出矿石和破碎锤的三维点云坐标。两个双目相机通过网线和交换机将各自计算得到的三维点云坐标传输到工控机，在工控机运行的软件中将两个双目相机产生的基于各自双目相机坐标系的三维点云坐标转换到统一的破碎机坐标系下的三维点云坐标，再根据破碎机坐标系下的矿石点云坐标，计算出矿石破碎点位置，并根据矿石破碎点和破碎锤三维坐标数据计算出破碎机执行破碎作业的路径运行控制信息。工控机通过can总线接口或者rj45网络接口向破碎机电控装置发送合适的控制信号，控制破碎机将破碎锤移动到大矿石破碎点，对大矿石进行破碎作业。
[0126]
图4示出根据本发明第二实施例的智能化矿石定位及破碎控制装置的结构图。
[0127]
该实施例中，智能化矿石定位及破碎控制装置包括：两个双目相机1、2，两个双目相机1、2被配置为对溜井区域进行同步拍摄，两个双目相机1、2分别通过网线连接到交换机3，交换机3通过网线连接到工控机4，工控机通过can总线或者rj45网线连接到破碎机的电控装置；识别模块，识别模块被配置为通过深度学习实例分割算法对拍摄得到的图像进行
识别，识别出位于格筛8上的大矿石7和破碎锤；三维点云重建模块，三维点云重建模块被配置为对识别得到的大矿石7和破碎锤的目标图像区域提取匹配特征点，并对匹配特征点进行三维点云重建；位置确定模块，位置确定模块被配置为根据大矿石7的三维点云重建数据计算出大矿石7的破碎点位置；动作确定模块，动作确定模块被配置为根据破碎锤的三维点云重建数据计算出破碎机6将破碎锤移动至大矿石7的破碎点的动作信息；移动控制模块，移动控制模块被配置为根据动作信息向破碎机6的电控装置5发送移动控制信号，控制破碎机6将破碎锤移动至大矿石7的破碎点；破碎控制模块，破碎控制模块被配置为当破碎锤到达大矿石7的破碎点后发送破碎控制信号，对大矿石7进行破碎作业。
[0128]
图5示出根据本发明第三实施例的智能化矿石定位及破碎控制设备的结构图。下面参考图5，其示出了适于用来实现本公开实施例的智能化矿石定位及破碎控制设备300的结构示意图。
[0129]
本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0130]
如图5所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(rom)302中的程序或者从存储装置308加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、rom 302以及ram303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。
[0131]
通常，以下装置可以连接至i/o接口305：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
[0132]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从rom 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
[0133]
图6示出根据本发明第四实施例的智能化矿石定位及破碎控制方法的计算机可读存储介质的结构图。如图6所示，根据本公开实施例的计算机可读存储介质40，其上存储有非暂时性计算机可读指令41。当该非暂时性计算机可读指令41由处理器运行时，执行前述的本公开各实施例的智能化矿石定位及破碎控制方法的全部或部分步骤。
[0134]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计
算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0135]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
[0136]
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：构建基础页面，所述基础页面的页面代码用于搭建所述业务页面运行所需的环境和/或实现同类业务场景中抽象出的相同的工作流程；构建一个或多个页面模板，所述页面模板用于提供业务场景中实现业务功能的代码模板；基于相应的所述页面模板，通过业务场景的每一个页面的具体功能的代码转换，生成业务场景的每一个页面的最终页面代码；将生成的所述每一个页面的最终页面代码合并入所述基础页面的页面代码，生成所述业务页面的代码。
[0137]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0138]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0139]
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬
件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
[0140]
本发明提供的智能化矿石定位及破碎控制方法、装置、设备、计算机可读存储介质，实现环节快速稳定，视觉检测范围广，图像分辨率高，保证矿山井下溜井处矿石精准定位、二次破碎的高效快速，打造矿山综采工作面无人化管理的数字矿山工作场景。本发明采用的是两个大分辨率的双目相机，而不是只有一个双目相机，主要是结合破碎机在溜井区域的工作范围比较大，单个双目相机，包括tof相机、激光雷达等传感器都达不到定位要求的精度，特别是对破碎点定位的精度要求。采用的是两个大分辨率的双目相机基本能满足对破碎点5厘米范围内的定位精度要求。另外，两个双目相机也可以很好的解决多个矿石和破碎头互相遮挡的问题，这种相互遮挡采用单个相机是解决不了的。识别的时候，采用的是改进的solov2实例分割模型，能精确的获得矿石和破碎头的边缘轮廓。它跟其它的目标识别检测不一样，目标检测一般都是通过一个矩形框把目标框选出来，而不能得到目标边缘轮廓信息，这种目标识别检测模型在遇到多个矿石堆叠的时候，这个矩形框很容易就把别的矿石部分区域也框进来了，甚至把多个矿石框在一起当作一个矿石识别出来。采用solov2实例分割模型的最大好处，就是对矿石堆的各个矿石进行精准识别，有利于对矿石破碎点的定位。对三维点云重建的方式，我们采用的是先识别矿石和破碎头，再根据矿石和破碎头的图像区域进行特征点提取，然后根据匹配的特征点进行三维点云重建。这样可以有效降低运算量并且很好的保证了对矿石和破碎头定位的准确性。通过这种方式，使整个软件算法运行时间在60ms内，能保证整个系统达到10帧/秒的图像处理及输出破碎机控制信息的速度。因为破碎机工作的时候是实时的，所以整个系统的实时性也需要得到保障。
[0141]
在本发明中，术语“第一”、“第二”、“第三”仅用于描述的目的，而不能理解为指示或暗示相对重要性；术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0142]
本发明的描述中，需要理解的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作，因此，不能理解为对本发明的限制。
[0143]
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0144]
以上仅为本发明的某些实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。