一种基于视觉技术的可测重石材矿山叉装车及其测重方法
【专利摘要】本发明提供一种基于视觉技术的可测重石材矿山叉装车及其测重方法，所述石材矿山叉装车包括叉装车本体和测重系统，所述测重系统包括ARM主控器、摄像头、以及两个激光雷达，所述ARM主控器分别与摄像头、以及两个激光雷达相连，所述摄像头安装在叉装车本体的前方中线位置，所述两个激光雷达也安装于叉装车本体的前方，并对称设置在摄像头的两侧，所述摄像头和两个激光雷达位于同一水平线上，所述摄像头的成像面与激光雷达的信号发射点处于同一平面上。本发明利用摄像头和激光雷达作为信息获取手段，可较为准确地测量出待装卸石材荒料的重量，避免由于操作员估计不准而使叉装车超重运作的现象发生，降低事故发生率，提高设备使用寿命。
【专利说明】
一种基于视觉技术的可测重石材矿山叉装车及其测重方法
【技术领域】
[0001]本发明涉及一种基于视觉技术的可测重石材矿山叉装车及其测重方法。
【【背景技术】】
[0002]石材矿山叉装车是利用装载机底盘基础研发的石材装运机械，是装载机细分市场的工程机械产品，叉装车集机、电、仪、液及数字信息为一体、具有高效、节能，智能、越野性好，使用灵活、安全可靠，性价比高等优点。可取代叉车、汽车吊、挖掘机用于石材矿山荒料场装卸荒料的铲运设备，换上铲斗可为石材矿区开山修路，铲运矿山面层土方，实现其“一机两用”功能。也用于发生自然灾害地区或战争时期清除道路路障和短途铲运物资等重要用途。然而，现有的石材矿山叉装车智能化程度还不高，无法自动识判别出待装卸石材荒料是否超重，同时也没有很好的方法对待装卸石材荒料进行称重，一般只能凭借工作人员的经验进行判断，在叉装车实际装卸石材矿山荒料的过程中，由于石材荒料的质量都很大，操作人员都是通过观察石材荒料的体积及其种类再结合自身经验粗略估计出石材荒料的大致质量，以此来判断待装卸荒料是否超载。然而，经验再丰富的操作员也会出现判断失误的时候，特别是对于经验不足的新手，这经常会使叉装车超负荷运转，而这将会使其工作装置和液压系统容易发生故障，导致使用寿命缩短，降低产品的可靠性；长期超载或严重超载时，将大大增加事故发生率。
【
【发明内容】
】
[0003]本发明要解决的技术问题之一，在于提供一种基于视觉技术的可测重石材矿山叉装车，其利用摄像头和激光雷达作为信息获取手段，可较为准确地测量出待装卸石材荒料的重量，避免由于操作员估计不准而使叉装车超重运作的现象发生，降低事故发生率，提高设备使用寿命。
[0004]本发明是这样实现上述技术问题之一的:
[0005]所述石材矿山叉装车包括叉装车本体和测重系统，所述测重系统安装在叉装车本体上，所述测重系统包括ARM主控器、一摄像头、以及两个激光雷达，所述ARM主控器分别与摄像头、以及两个激光雷达相连，所述摄像头安装在叉装车本体的前方中线位置，所述两个激光雷达也安装于叉装车本体的前方，并对称设置在摄像头的两侧，所述摄像头和两个激光雷达位于同一水平线上，且所述摄像头和两个激光雷达的主轴相互平行，所述摄像头的成像面与激光雷达的信号发射点处于同一平面上。
[0006]进一步地，所述测重系统还包括报警显示模块，所述报警显示模块与ARM主控器相连。
[0007]本发明要解决的技术问题之二，在于提供一种基于视觉技术的石材矿山叉装车荒料测重方法，其利用摄像头和激光雷达作为信息获取手段，可较为准确地测量出待装卸石材荒料的重量，避免由于操作员估计不准而使叉装车超重运作的现象发生，降低事故发生率，提高设备使用寿命。
[0008]本发明是这样实现上述技术问题之二的:
[0009]—种基于视觉技术的石材矿山叉装车荒料测重方法，所述测重方法步骤如下:摄像头拍摄石材荒料的正视图和侧视图，记录其长、宽、高，此时的长宽高为按比例缩小了的值，其实际值可以通过ARM主控制器通过对图像的处理计算出来，同时，摄像头也记录了石材荒料的颜色信息，ARM主控制器可以根据其颜色信息，对照ARM主控制器内石材荒料数据库判断出该石材荒料的种类和密度；
[0010]激光雷达测试出摄像头成像平面到石材荒料正面和侧面的距离，依据激光雷达测到的距离加上摄像头拍摄得到的按比例缩小石材荒料的长宽高的值及摄像头的焦距信息，依据相似三角形法则，计算出石材荒料的实际长宽高，进而计算出其体积，最后结合其密度信息得出石材荒料的质量。
[0011]进一步地所述图像处理算法具体包括:当ARM主控制器采集到有效图像时，首先对图像进行一次滤波处理，除去噪声信息，然后图像由两个不同功能的程序分别处理:
[0012]密度获取流程，首先对滤波后的图像的颜色进行提取，将提取出的颜色值与石材荒料数据库中事先存储好的石材种类信息相比对，找到匹配石材种类后获取该材料的密度值;边长计算流程，将滤波后的图像做边界提取处理，提取出边界后继续增强，取出一些伪边界，最后提取石材荒料面的四个角点，之后根据提取到的角点的位置，分别计算出各个点之间的相对距离，由于角点间的距离会出现对角线的长度，所以ARM主控制器会进一步筛选得到的长度值，将最长的长度值去掉，剩下较短的两个值即为石材面的两条边长;最后将获得的边长和密度值存储到ARM主控制器的动态内存中，以备下一步计算使用。
[0013]进一步地，所述测量石材荒料体积方法具体如下:利用左右两个激光雷达测量出的摄像头成像平面距离石材荒料表面的距离，然后通过用“像素个数”乘以“每个像素的宽度”算出石材荒料边长在摄像头成像平面上的长度，这是实际石材荒料边长缩小一定倍数后得到的长度，其中“像素个数”由ARM主控制器处理拍摄得到的图像后获得，“每个像素的宽度”由摄像机自身参数决定，为一个常量；
[0014]最后利用相似三角形原理，得到石材荒料实际边长的计算公式为:Z=[(dl+d2)/2+f]*L/f，其中dl、d2为左右两个雷达测得的摄像头成像面到石材面的距离，f为摄像头的焦距，L为石材荒料在摄像头拍摄得到的图像上的边长长度，Z为石材荒料实际边长，按照此方法依次计算出石材荒料的实际长宽高，再使用立方体体积公式计算出该石材荒料的体积。
[0015]进一步地，所述测重系统还包括报警显示模块，所述报警显示模块与ARM主控器相连；
[0016]当计算得到石材荒料的重量后，ARM主控制器将该石材荒料的重量和叉装车本体额定载重进行对比，当待装卸石材荒料的重量超出叉装车本体额定载重时，ARM主控制器将通过报警显示模块进行警报，提醒工作人员石材超重，并将待装卸石材荒料的重量及超重百分比显示在报警显示模块上。
[0017]本发明具有如下优点:
[0018]本发明利用摄像头和激光雷达作为信息获取手段，工作人员只需按照规定操作叉装车，便可以较为准确地测量出待装卸石材荒料的重量，当石材荒料的重量超出叉装车本体额定载重时发出警报，提醒操作人员，避免由于操作员估计不准而使叉装车超重运作的现象发生，降低事故发生率，提高设备使用寿命。
[0019]总之，本发明可以解决现有技术无法准确测量石材荒料重量的问题，无需人工测量，数据可靠，操作方便、安全。
【【附图说明】】
[0020]下面参照附图结合实施例对本发明作进一步的说明。
[0021]图1为本发明一种基于视觉技术的可测重石材矿山叉装车及其测重方法的测重系统的框架图。
[0022]图2是本发明一种基于视觉技术的可测重石材矿山叉装车及其测重方法的方法流程图。
[0023]图3是本发明一种基于视觉技术的可测重石材矿山叉装车及其测重方法的石材荒料体积计算原理图。
[0024]图4是本发明一种基于视觉技术的可测重石材矿山叉装车及其测重方法的图像处理流程图。
【【具体实施方式】】
[0025]请参阅图1?4所示，对本发明的实施例进行详细的说明。
[0026]如图1所示，本发明所涉及的一种基于视觉技术的可测重石材矿山叉装车及其测重方法，所述石材矿山叉装车包括叉装车本体和测重系统，所述测重系统安装在叉装车本体上，所述测重系统包括ARM主控器1、一摄像头2、以及两个激光雷达3，所述ARM主控器I分别与摄像头2、以及两个激光雷达3相连，所述摄像头2安装在叉装车本体的前方中线位置，所述两个激光雷达3也安装于叉装车本体的前方，并对称设置在摄像头2的两侧，所述摄像头2和两个激光雷达3位于同一水平线上，且所述摄像头2和两个激光雷达3的主轴相互平行，所述摄像头2的成像面与激光雷达3的信号发射点处于同一平面上。
[0027]所述测重系统还包括报警显示模块4和键盘5，所述报警显示模块4、键盘均5与ARM主控器I相连。
[0028]以下为本发明的具体实施例:
[0029]重点参阅图2，ARM主控制器I接通电源之后，开始程序的初始化，初始化内容包括检测摄像头2、激光雷达3、报警显示模块4、键盘5以及存储器等是否正常工作，之后设置摄像头2的焦距值和单个像素值。初始化完成之后，程序进入等待阶段，当操作员将叉装车调整到正对待装卸石材荒料的正面时，按下键盘5上的确认按键，此时表明第一次数据采集准备就绪，程序开始调用摄像头2和激光雷达3采集数据，ARM主控制器I接收到采集的数据后，会对此次采集到的数据是否有效做一个判断，具体方法是判断两个激光雷达3测量得到距离数据是否一致，当两个激光雷达3测量值相差超过5cm时，表明此时的叉装车没有正对放置，摄像头2拍摄得到图像将会出现变形，不利于处理，此时程序会提醒操作员此次数据无效，需重新调整叉装车的位置再次拍摄。当收集到的数据(一)有效时，ARM主控制器I会将数据存储到ARM主控制器I内部存储器中，等待第二次数据采集。第二次数据采集的过程同第一次数据采集一样。当采集到两次有效数据后，ARM主控制器I将联合两次采集到的数据，进行计算，之后得出待装卸石材荒料的质量，并将之与叉装车本体额定载重比较，判断是否超重，若超重则在报警显示模块4上做出报警并将超重信息显示出来。最后判断是否继续检测其他石材荒料重量。
[0030]重点参阅图3，dl、d2为左右两个激光雷达3测量出的摄像头2成像平面距离石材荒料100表面的距离;f为摄像头2的焦距;L为石材荒料100边长在摄像头拍摄得到的图像上的长度，计算公式为:
[0031]L =像素个数*每个像素的宽度
[0032]其中“像素个数”由ARM主控制器I处理拍摄得到的图像后获得，“每个像素的宽度”由摄像头2自身参数决定，为一个常量;Z为石材荒料实际边长，即为所求的量。由相似三角形原理便可以得到Z的计算公式为:
[0033]Z=(dl+f)*L/f
[0034]由于操作员操作问题，往往叉装车不能严格正对着石材荒料面，此时将会导致dl的值会与d2的值有微小的差异，为减小误差，可将dl、d2的平均值作为摄像头成像面到石材荒料面的距离，于是上式改为:
[0035]Z=[(dl+d2)/2+f]*L/f
[0036]按照此方法可以依次计算出石材荒料的实际长宽高，再使用立方体体积公式便能够计算出该石材荒料的体积。
[0037]重点参阅图4，所述图像处理算法具体包括:
[0038]当ARM主控制器I采集到有效图像时，首先对图像进行一次滤波处理，除去噪声信息，然后图像由两个不同功能的程序分别处理:
[0039]密度获取流程，首先对滤波后的图像的颜色进行提取，将提取出的颜色值与石材荒料数据库中事先存储好的石材种类信息相比对，找到匹配石材种类后获取该材料的密度值;边长计算流程，将滤波后的图像做边界提取处理，提取出边界后继续增强，取出一些伪边界，如裂缝等;最后提取石材荒料面的四个角点，之后根据提取到的角点的位置，分别计算出各个点之间的相对距离，由于角点间的距离会出现对角线的长度，所以ARM主控制器会进一步筛选得到的长度值，将最长的长度值去掉，剩下较短的两个值即为石材面的两条边长;最后将获得的边长和密度值存储到ARM主控制器的动态内存中，以备下一步计算使用。
[0040]本发明利用摄像头和激光雷达作为信息获取手段，工作人员只需按照规定操作叉装车，便可以较为准确地测量出待装卸石材荒料的重量，当石材荒料的重量超出叉装车本体额定载重时发出警报，提醒操作人员，避免由于操作员估计不准而使叉装车超重运作的现象发生，降低事故发生率，提高设备使用寿命。
[0041]总之，本发明可以解决现有技术无法准确测量石材荒料重量的问题，无需人工测量，数据可靠，操作方便、安全。
[0042]虽然以上描述了本发明的【具体实施方式】，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
【主权项】
1.一种基于视觉技术的可测重石材矿山叉装车，其特征在于:所述石材矿山叉装车包括叉装车本体和测重系统，所述测重系统安装在叉装车本体上，所述测重系统包括ARM主控器、一摄像头、以及两个激光雷达，所述ARM主控器分别与摄像头、以及两个激光雷达相连，所述摄像头安装在叉装车本体的前方中线位置，所述两个激光雷达也安装于叉装车本体的前方，并对称设置在摄像头的两侧，所述摄像头和两个激光雷达位于同一水平线上，且所述摄像头和两个激光雷达的主轴相互平行，所述摄像头的成像面与激光雷达的信号发射点处于同一平面上。2.根据权利要求1所述的一种基于视觉技术的可测重石材矿山叉装车，其特征在于:所述测重系统还包括报警显示模块，所述报警显示模块与ARM主控器相连。3.一种基于视觉技术的石材矿山叉装车荒料测重方法，其特征在于:所述石材矿山叉装车如权利要求1所述，所述测重方法步骤如下: 摄像头拍摄石材荒料的正视图和侧视图，记录其长、宽、高，此时的长宽高为按比例缩小了的值，其实际值可以通过ARM主控制器通过对图像的处理计算出来，同时，摄像头也记录了石材荒料的颜色信息，ARM主控制器可以根据其颜色信息，对照ARM主控制器内石材荒料数据库判断出该石材荒料的种类和密度； 激光雷达测试出摄像头成像平面到石材荒料正面和侧面的距离，依据激光雷达测到的距离加上摄像头拍摄得到的按比例缩小石材荒料的长宽高的值及摄像头的焦距信息，依据相似三角形法则，计算出石材荒料的实际长宽高，进而计算出其体积，最后结合其密度信息得出石材荒料的质量。4.根据权利要求3所述的一种基于视觉技术的石材矿山叉装车荒料测重方法，其特征在于:所述图像处理算法具体包括: 当ARM主控制器采集到有效图像时，首先对图像进行一次滤波处理，除去噪声信息，然后图像由两个不同功能的程序分别处理: 密度获取流程，首先对滤波后的图像的颜色进行提取，将提取出的颜色值与石材荒料数据库中事先存储好的石材种类信息相比对，找到匹配石材种类后获取该材料的密度值；边长计算流程，将滤波后的图像做边界提取处理，提取出边界后继续增强，取出一些伪边界，最后提取石材荒料面的四个角点，之后根据提取到的角点的位置，分别计算出各个点之间的相对距离，由于角点间的距离会出现对角线的长度，所以ARM主控制器会进一步筛选得到的长度值，将最长的长度值去掉，剩下较短的两个值即为石材面的两条边长;最后将获得的边长和密度值存储到ARM主控制器的动态内存中，以备下一步计算使用。5.根据权利要求3所述的一种基于视觉技术的石材矿山叉装车荒料测重方法，其特征在于:所述测量石材荒料体积方法具体如下:利用左右两个激光雷达测量出的摄像头成像平面距离石材荒料表面的距离，然后通过用“像素个数”乘以“每个像素的宽度”算出石材荒料边长在摄像头成像平面上的长度，这是实际石材荒料边长缩小一定倍数后得到的长度，其中“像素个数”由ARM主控制器处理拍摄得到的图像后获得，“每个像素的宽度”由摄像机自身参数决定，为一个常量； 最后利用相似三角形原理，得到石材荒料实际边长的计算公式为:Z=[(dl+d2)/2+f]*L/f，其中dl、d2为左右两个雷达测得的摄像头成像面到石材面的距离，f为摄像头的焦距，L为石材荒料在摄像头拍摄得到的图像上的边长长度，Z为石材荒料实际边长，按照此方法依次计算出石材荒料的实际长宽高，再使用立方体体积公式计算出该石材荒料的体积。6.根据权利要求3所述的一种基于视觉技术的石材矿山叉装车荒料测重方法，其特征在于:所述测重系统还包括报警显示模块，所述报警显示模块与ARM主控器相连； 当计算得到石材荒料的重量后，ARM主控制器将该石材荒料的重量和叉装车本体额定载重进行对比，当待装卸石材荒料的重量超出叉装车本体额定载重时，ARM主控制器将通过报警显示模块进行警报，提醒工作人员石材超重，并将待装卸石材荒料的重量及超重百分比显示在报警显示模块上。
【文档编号】G01B11/00GK106044663SQ201610463234
【公开日】2016年10月26日
【申请日】2016年6月23日
【发明人】聂明星, 冯彬彬, 蒋新华, 彭晋民, 聂作先, 邵明, 谢文明, 黄诗浩, 林抒毅, 周爱君
【申请人】福建工程学院