一种基于带式运输机的质量测量方法及装置与流程
本申请涉及计算机技术领域，特别是涉及一种基于带式运输机的质量测量方法及装置。
背景技术：
在煤矿开采作业中，通常采用带式运输机运载已开采出的煤，但是由于煤产量存在不均衡性，带式运输机有时会以较高的速度空载运行，导致能源的浪费。因此有必要对带式运输机运载的煤料质量进行实时检测，并根据煤料质量的不同调节带式运输机的运行速度，以避免能源的浪费。
现有质量检测系统由两个摄像机和电子设备组成，在实际中，在带式运输机的两侧对称设置有两个摄像机，电子设备分别与两摄像机相连接。其中，两个摄像机用于同时对处于工作状态中的带式运输机进行拍摄，得到煤料图像，并将拍摄到的煤料图像发送给电子设备。电子设备接收到煤料图像后，通过聚类分析算法从当前煤料图像中识别出包含有煤料的区域(可称为煤料区域)，得到煤料图像对应的识别图像(可称为煤料区域图像)，该煤料区域图像中仅存在煤料区域的图像，其余部分为背景图像；然后，电子设备通过双目视觉算法从煤料区域图像中获取煤料区域的三维点云信息，并结合delaunay(德洛内)算法和t-s(takagi-sugeno，高木-关野)模糊逻辑推理，计算煤料区域的体积；之后，电子设备基于煤料质量计算公式和煤料区域的体积，计算带式运输机当前运载的煤料质量。其中，三维点云信息包含在预设的三维坐标系中，用于构成煤料区域外表面的多个数据点的三维坐标信息。
然而，电子设备基于聚类分析算法识别煤料区域的速度很慢，并且基于煤料区域的三维点云信息，通过delaunay算法和t-s模糊逻辑推理，计算煤料区域体积的速度也很慢，无法满足实时检测煤料质量以调节带式运输机运行速度的要求。
申请内容
本申请实施例的目的在于提供一种基于带式运输机的质量测量方法及装置，以满足物料的质量的实时测量要求。具体技术方案如下：
第一方面，提供了一种基于带式运输机的质量测量方法，所述方法应用于电子设备，所述电子设备与至少两个摄像机连接，所述摄像机用于拍摄处于工作状态中的带式运输机，所述方法包括：
获取各摄像机拍摄的第一物料图像；
识别所述第一物料图像包含的物料区域，得到物料区域图像；
从所述物料区域图像中提取所述物料区域的三维点云信息；
根据所述三维点云信息构建立体模型，并根据所述立体模型确定所述物料区域的体积；
根据预先存储的质量计算公式和所述物料区域的体积，计算带式运输机当前运载的物料的质量。
可选的，所述识别所述第一物料图像包含的物料区域，得到物料区域图像包括：
针对每个摄像机，在预先存储的该摄像机的物料图像文件中，获取拍摄时间与当前时间最接近的两帧物料图像；
对所述第一物料图像、以及所述前两帧物料图像进行灰度处理，得到对应的灰度图像；
通过预设的帧差法、所述第一物料图像的灰度图像、以及所述前两帧物料图像的灰度图像，确定帧差图；
通过预设的水平梯度算法，计算所述帧差图中预设的多个图像区域的梯度，得到所述帧差图对应的水平梯度图；
在所述帧差图中，确定由所述水平梯度图中梯度超过预设梯度阈值的图像区域组成物料区域，得到包含所述物料区域的物料区域图像。
可选的，所述从所述物料区域图像中提取所述物料区域的三维点云信息包括：
通过预设的双目视觉匹配算法、以及根据所述各摄像机拍摄的第一物料图像确定出的物料区域图像，计算视差图；
基于所述视差图和预先存储的深度计算公式，计算所述物料区域的深度信息；
根据预先存储的所述物料区域的坐标信息和所述深度信息，确定所述物料区域的三维点云信息。
可选的，所述根据所述三维点云信息构建立体模型，并根据所述立体模型确定所述物料区域的体积包括：
从组成物料区域的多个数据点的三维点云信息中，获取各所述数据点对应的物料高度值；
将每个所述数据点的三维点云信息输入至预先存储的立体模型的表面方程中，得到所述数据点对应的包含模型参数的表达式；
确定各所述数据点的表达式中的高度值与所述数据点对应的物料高度值满足预设接近度条件时，所述立体模型的包含的各模型参数的参数值，并根据确定出的各模型参数的参数值，构建所述立体模型；
通过预先存储的立体模型的体积计算公式，计算所述立体模型的体积，将所述立体模型的体积作为所述物料区域的体积。
第二方面，提供了一种基于带式运输机的质量测量装置，所述装置应用于电子设备，所述电子设备与至少两个摄像机连接，所述摄像机用于拍摄处于工作状态中的带式运输机，所述装置包括：
获取模块，用于获取各摄像机拍摄的第一物料图像；
识别模块，用于识别所述第一物料图像包含的物料区域，得到物料区域图像；
提取模块，用于从所述物料区域图像中提取所述物料区域的三维点云信息；
确定模块，用于根据所述三维点云信息构建立体模型，并根据所述立体模型确定所述物料区域的体积；
计算模块，用于根据预先存储的质量计算公式和所述物料区域的体积，计算带式运输机当前运载的物料的质量。
可选的，所述识别模块包括：
第一获取子模块，用于针对每个摄像机，在预先存储的该摄像机的物料图像文件中，获取拍摄时间与当前时间最接近的两帧物料图像；
灰度处理子模块，用于对所述第一物料图像、以及所述前两帧物料图像进行灰度处理，得到对应的灰度图像；
第一确定子模块，用于通过预设的帧差法、所述第一物料图像的灰度图像、以及所述前两帧物料图像的灰度图像，确定帧差图；
第一计算子模块，用于通过预设的水平梯度算法，计算所述帧差图中预设的多个图像区域的梯度，得到所述帧差图对应的水平梯度图；
第二确定子模块，用于在所述帧差图中，确定由所述水平梯度图中梯度超过预设梯度阈值的图像区域组成物料区域，得到包含所述物料区域的物料区域图像。
可选的，所述提取模块包括：
第二获取子模块，用于通过预设的双目视觉匹配算法、以及根据所述各摄像机拍摄的第一物料图像确定出的物料区域图像，计算视差图；
第二计算子模块，用于基于所述视差图和预先存储的深度计算公式，计算所述物料区域的深度信息；
第三确定子模块，用于根据预先存储的所述物料区域的坐标信息和所述深度信息，确定所述物料区域的三维点云信息。
可选的，所述确定模块包括：
第三获取子模块，用于从组成物料区域的多个数据点的三维点云信息中，获取各所述数据点对应的物料高度值；
输入子模块，用于将每个所述数据点的三维点云信息输入至预先存储的立体模型的表面方程中，得到所述数据点对应的包含模型参数的表达式；
构建子模块，用于确定各所述数据点的表达式中的高度值与所述数据点对应的物料高度值满足预设接近度条件时，所述立体模型的包含的各模型参数的参数值，并根据确定出的各模型参数的参数值，构建所述立体模型；
第三计算子模块，用于通过预先存储的立体模型的体积计算公式，计算所述立体模型的体积，将所述立体模型的体积作为所述物料区域的体积。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法步骤。
本申请实施例提供的一种基于带式运输机的质量测量方法及装置，可以获取各摄像机拍摄的第一物料图像，并识别第一物料图像包含的物料区域，得到物料区域图像；然后，基于物料区域图像，获取物料区域的三维点云信息；根据三维点云信息构建立体模型，并根据立体模型确定物料区域的体积；之后，根据预先存储的质量计算公式和物料区域的体积，计算带式运输机当前运载的物料的质量。本申请中，通过构建立体模型，并根据该立体模型计算物料区域的体积，无需通过delaunay算法和t-s模糊逻辑推理计算物料区域体积，可以提高计算速度，从而提高物料的质量的检测效率。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的一种基于带式运输机的质量测量系统的系统示意图；
图1b为本申请实施例提供的一种物料图像的示意图；
图2为本申请实施例提供的一种基于带式运输机的质量测量方法的方法流程图；
图3为本申请实施例提供的一种基于带式运输机的质量测量方法的方法流程图；
图4a为本申请实施例提供的一种帧差图的示意图；
图4b为本申请实施例提供的一种水平梯度图的示意图；
图4c为本申请实施例提供的一种物料区域图像的示意图；
图4d为本申请实施例提供的一种物料区域的三维点云信息的示意图；
图5为本申请实施例提供的一种基于带式运输机的质量测量方法的方法流程图；
图6为本申请实施例提供的一种基于带式运输机的质量侧量装置的装置结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种基于带式运输机的质量测量方法，该方法应用于电子设备，电子设备与至少两个摄像机连接，其中，电子设备可以是具有高速计算功能的电子设备，比如个人电脑、手机、以及嵌入式主机。电子设备与摄像机连接的方式可以是多种多样的，例如，电子设备可以通过数据线与两摄像机连接，电子设备也可以通过蓝牙或者其他无线连接方式与两摄像机连接。此外，摄像机可以替换为其他具有摄录功能的设备。
电子设备可以通过本申请实施例提供的基于带式运输机的质量测量方法，自动测量当前带式运输机运输的物料的质量，以根据物料的质量调节带式运输机的运行速度，以避免能源的浪费。本申请实施例以带式运输机运输的物料为煤料为例，对质量测量方法的处理流程进行说明，物料还可以是沙料、铁料、粮食等，本实施例不做限定。
以电子设备与两个摄像机连接为例，本申请实施例提供了一种基于带式运输机的质量测量系统的系统示意图，如图1a所示，该系统包括带式运输机101，对称的设置在带式运输机两侧的摄像机102和摄像机103，为了便于区分，将摄像机102称为左摄像机，将摄像机103称为右摄像机，带式运输机运输的物料构成了物料区域104，带式运输机的运输面上未堆放物料的区域称为带式运输机区域105。在实际中，带式运输机一直以固定速度匀速运行，左摄像机和右摄像机同步拍摄处于运行状态中的带式运输机，得到物料图像。本申请实施例提供了一种物料图像的示意图，如图1b所示。
如图2所示，上述基于带式运输机的质量测量方法具体可以包括以下步骤：
步骤201，获取各摄像机拍摄的第一物料图像。
在实施中，两摄像机可以按照预设的拍摄周期，拍摄处于工作状态的带式运输机，并将拍摄到的物料图像(即第一物料图像)发送给电子设备，电子设备则可以接收到两个摄像机发送的第一物料图像。
步骤202，识别第一物料图像包含的物料区域，得到物料区域图像。
在实施中，针对获取的每个第一物料图像，电子设备可以识别该第一物料图像中包含有物料的区域(可称为物料区域)，得到该第一物料图像对应的识别图像(可称为物料区域图像)，该物料区域图像中仅存在物料区域的图像，其余部分均为背景图像，如图4c所示。其中，物料区域图像与第一物料图像的尺寸相同。
电子设备可以通过聚类分析算法识别第一物料图像中包含的物料区域，也可以通过其他方式从第一物料图像中识别出物料区域，得到物料区域图像，本申请实施例不做限定。
步骤203，从物料区域图像中提取物料区域的三维点云信息。
在实施中，电子设备可以基于带式运输机建立三维坐标系，将带式运输机的运输面作为三维坐标系中的xy平面，将与带式运输机的运输面垂直的方向作为三维坐标系中的z轴。由于在物料图像中组成物料区域的多个像素点，与三维点云信息中构成物料区域外表面的多个数据点一一对应，因此，针对在物料图像中组成物料区域的每个像素点，将该像素点的平面坐标信息和对应的空间信息(即z轴坐标)作为三维坐标系中的该像素点对应的数据点的坐标信息。由此，电子设备获得组成物料区域外表面的多个数据点的坐标信息。电子设备可以将多个数据点的坐标信息作为物料区域的三维点云信息。
电子设备可以从各第一物料图像对应的物料区域图像中，确定物料区域包含的各像素点的图像，进而获取各像素点的图像在三维坐标系中的平面坐标信息、以及各像素点的图像对应的空间信息，从而确定各像素点对应的数据点的坐标信息，并基于多个数据点的坐标信息构成物料区域的三维点云信息。
步骤204，根据三维点云信息构建立体模型，并根据立体模型确定物料区域的体积。
在实施中，电子设备中预先设置有多种初始立体模型，初始立体模型包括圆锥体、圆柱体、以及抛物柱面。电子设备可以根据技术人员的设置指令，将某一初始立体模型作为默认的初始立体模型。
电子设备在提取到三维点云信息后，获取默认的初始立体模型，然后，电子设备基于三维点云信息和默认的初始立体模型，确定初始立体模型的模型参数的参数值，之后，电子设备根据模型参数的参数值，设置默认的初始立体模型的相应参数，得到立体模型。
电子设备可以计算立体模型的体积，将计算结果作为物料区域的体积。
步骤205，根据预先存储的质量计算公式和物料区域的体积，计算带式运输机当前运载的物料的质量。
在实施中，电子设备将物料区域的体积代入至预先存储的质量计算公式中，将计算结果作为带式运载机当前运载的物料的质量。
电子设备可以显示计算出的当前运载物料的质量，以便技术人员根据当前运载的物料的质量调整带式运输机的运行速度。
可选的，如图3所示，确定物料区域图像的具体处理过程可以如下：
步骤301，针对每个摄像机，在预先存储的该摄像机的物料图像文件中，获取拍摄时间与当前时间最接近的两帧物料图像。
在实施中，针对每个摄像机，电子设备预先存储了该摄像机对应的物料图像文件，该摄像机可以在每次拍摄处于工作状态的带式运输机后，将拍摄得到的物料图像发送至电子设备。电子设备可以在接收到该物料图像后，获取该物料图像携带的拍摄时间，并将该物料图像和拍摄时间对应的存储在该摄像机对应的物料图像文件中。
针对每个摄像机，电子设备在获取该摄像机拍摄的第一物料图像后，可以将第一物料图像的拍摄时间作为当前时间，在该摄像机的物料图像文件中，查找拍摄时间与当前时间最为接近的两帧物料图像。
例如，针对左摄像机，用f1表示拍摄时间为30秒(即当前时间)的第一物料图像，用f2表示拍摄时间为29秒的物料图像，用f3表示拍摄时间为28秒的物料图像，用f4表示拍摄时间为27秒的物料图像，那么f2和f3为拍摄时间与当前时间最为接近的两帧物料图像。
步骤302，对第一物料图像和前两帧物料图像进行灰度处理，得到对应的灰度图像。
在实施中，电子设备获取的第一物料图像和前两帧物料图像可以为彩色图像，即由rgb(redgreenblue，红绿蓝)色彩表示的图像。
电子设备对第一物料图像和前两帧物料图像进行灰度处理，得到对应的灰度图像。
电子设备获取灰度图像的方式是多种多样的，本申请实施例提供了一种可行的处理方式，具体的，该处理方式的处理过程为：电子设备针对第一物料图像和前两帧物料图像，将由rgb色彩表示的物料图像，转换为由yuv(luminance、chrominance、chroma，明度、色度、浓度)色彩表示的物料图像。
本申请实施例中，电子设备可以通过公式(1)将由rgb色彩表示的彩色图像转换为由yuv色彩表示的灰度图像，公式(1)的表达方式具体如下：
其中，r、g、b为彩色图像中某一像素点的像素值，y、u、v表示灰度图像中该像素点的像素值。
然后，电子设备针对各由yuv色彩表示的物料图像，提取yuv色彩中的y分量，并基于该y分量生成灰度图像，将该灰度图像作为该物料图像对应的灰度图像。
由此，电子设备得到第一物料图像和前两帧物料图像对应的灰度图像。
步骤303，通过预设的帧差法、第一物料图像的灰度图像、以及前两帧物料图像的灰度图像，确定帧差图。
在实施中，电子设备中预先设置有帧差法，电子设备通过帧差法，对第一物料图像的灰度图像、以及前两帧物料图像的灰度图像进行计算，将得到的灰度图像作为帧差图。如图4a所示，本申请实施例提供了一种帧差图的示意图。
为了便于描述，用fh1表示第一物料图像f1的灰度图像、用fh2和fh3对应表示前两帧物料图像f2和f3的灰度图像，电子设备通过fh1、fh2、以及fh3，获取帧差图的处理过程如下：
针对灰度图像中的各像素点，电子设备可以计算该像素点在相邻两帧灰度图像中的灰度值的差值，并将各像素点的差值作为对应的灰度值，生成差值图像。可以用|fh1-fh2|表示fh1和fh2的差值图像，类似的，用|fh2-fh3|表示fh2和fh3的差值图像。这样，针对每个像素点，可以计算出该像素点对应的两个差值。相应的，可以得到两个差值图像。
针对灰度图像中的每个像素点，电子设备可以计算该像素点在两个差值图像中灰度值的和值，并将各像素点的和值作为对应的灰度值，生成和值图像，可以用|fh1-fh2|+|fh2-fh3|表示和值图像。
然后，电子设备可以用和值图像中各像素点的灰度值除以2，得到平均值图像，该平均值图像可以用(|fh1-fh2|+|fh2-fh3|)/2表示，电子设备可以将该平均值图像作为帧差图。
此外，电子设备还可以对得到的平均值图像进行膨胀处理和腐蚀处理，将得到的图像作为帧差图。以下对膨胀处理和腐蚀处理的处理过程进行简要说明：
在平均值图像中，各像素点的像素值分为0和大于0两种，电子设备可以将像素值为0的像素点组成的图像区域作为背景区域，用黑色进行显示，将像素值大于0的像素点组成的图像区域作为物料区域，用白色进行显示。其中，背景区域是平均值图像中不包含物料的区域，背景区域包括带式运输机区域。
电子设备也可以针对各像素点，比较该像素点的像素值和预设的像素值阈值，如果该像素点的像素值大于像素值阈值，则该像素点属于物料区域，如果该像素点的像素值小于像素值阈值，则该像素点属于背景区域。
进一步的，电子设备可以针对组成平均值图像的各像素点，比较该像素点预设范围内属于物料区域的像素点的个数和预设的数目阈值：如果该像素点预设范围内属于物料区域的像素点的个数大于预设的数目阈值，则判定该像素点属于物料区域；如果该像素点预设范围内属于物料区域的像素点的个数小于预设的数目阈值，则判定该像素点不属于物料区域。
如果某一像素点是物料区域的像素点，电子设备则保留该像素点，如果该某一像素点不是物料区域的像素点，电子设备则删除该像素点，然后，电子设备根据保留下来的像素点生成帧差图。
例如，当预设范围为某一像素点周围的8个像素点，预设的数目阈值为4时，对于某一像素点，如果该像素点周围的8个像素点中存在5个属于物料区域的像素点，5大于4，则电子设备判定该像素点属于物料区域。
本申请实施例中，电子设备通过对图像中的物料区域做膨胀处理和腐蚀处理，能够填充帧差法得到的平均值图像中物料区域的空洞，完善物料区域。
步骤304，通过预设的水平梯度算法，计算帧差图中预设的多个图像区域的梯度，得到帧差图对应的水平梯度图。
在实施中，电子设备中可以预先设置有水平梯度算法，电子设备通过水平梯度算法，选取帧差图的部分图像区域作为检测区域，将检测区域分为多个图像区域，并计算各图像区域的灰度梯度，得到帧差图对应的水平梯度图。其中，电子设备可以根据技术人员的设置指令，修改部分图像区域的尺寸、以及部分图像区域在帧差图中的位置。例如，电子设备可以根据技术人员的设置指令，将部分图像区域的尺寸修改为帧差图水平方向1/4～3/4部分的图像区域。
例如，如图4b所示，电子设备通过水平梯度算法，选取帧差图水平方向1/3～2/3部分的图像区域作为检测区域，将该检测区域分为15个图像区域，计算各图像区域的灰度梯度，得到水平梯度图。
水平梯度算法包括任一能够实现梯度检测的算子，例如：sobel(索贝尔)算子、roberts(罗伯特)算子、lapacian(拉普拉斯)算子。
本申请实施例中，由于带式运输机表面光滑，而物料区域由多个物料颗粒组成，表面不规则，因此，水平梯度图中，用于表示物料区域的图像区域的梯度值大于用于表示带式运输机区域的图像区域的梯度值。同时，电子设备选取部分图像区域作为检测区域，能够减少运算量，有利于提高质量的计算速度。
步骤305，在帧差图中，确定由水平梯度图中梯度超过预设梯度阈值的图像区域组成物料区域，得到包含物料区域的物料区域图像。
在实施中，在水平梯度图中，电子设备比较各图像区域的梯度和预设梯度阈值，得到梯度大于预设梯度阈值的图像区域，并将该图像区域作为第一图像区域。
由于水平梯度图与帧差图尺寸相同，电子设备在帧差图中，确定与水平梯度图中第一图像区域对应的图像区域为第二图像区域。然后，电子设备将多个第二图像区域组成的图像区域作为物料区域，将帧差图中除物料区域外的其他图像区域置为黑色，得到包含物料区域的物料区域图像。本申请实施例提供的一个物料区域图像如图4c所示。
由此，电子设备得到各摄像机的物料区域图像。
本申请实施例中，电子设备可以基于物料区域图像，实时计算物料区域的宽度信息。具体的处理过程为：电子设备可以选取物料区域图像的部分图像区域，作为宽度检测区域，宽度检测区域中包含带式运输机区域和物料区域。宽度检测区域可以是物料区域图像水平方向1/3～2/3部分的图像区域。电子设备可根据技术人员的指令，修改宽度检测区域的尺寸、以及宽度检测区域在物料区域图像中的位置。
电子设备按照预设的图像区域尺寸，将宽度检测区域划分为多个大小相同、且互不重叠的图像区域，也即，电子设备将带式运输机区域和物料区域划分为多个图像区域。然后，电子设备计算物料区域的图像区域的个数占图像区域总个数的百分比，之后，用该百分比乘以预先存储的带式运输机的总宽度，得到物料区域的宽度信息。
本申请实施例中，电子设备通过对物料图像进行灰度处理，提取物料区域和带式运输机区域的亮度信息；通过帧差法计算第一物料图像的帧差图，即采用视频运动目标跟踪方式，提取处于移动状态中的物料区域的运动信息，作为带式运输机物料的运动特征；通过水平梯度算法计算帧差图的水平梯度图，从而提取每个图像区域的梯度，作为物料区域和带式运输机区域的梯度特征。
与聚类分析算法并未提取物料的运动特征相比，电子设备通过帧差法计算帧差图，能够充分利用带式运输机物料的运动特征，实现物料区域的粗提取；与聚类分析算法需要耗费大量人力物力对多个物料图像标定以生成训练样本，再基于训练样本训练聚类分析算法相比，电子设备基于水平梯度算法捕捉物料的颗粒状纹理特征，从而实现了对物料区域和带式运输机的细划分，能够节省成本。同时，本申请实施例采用了基于物料的运动信息和颗粒状纹理特征相结合的特征提取方式，提取物料区域的精度更高。更进一步的，电子设备在实际计算中，只涉及到图像之间的加减运算、针对部分图像区域的计算，因此运算速度更快，运算时长更短，可以实现质量计算的实时性要求。
可选的，在得到物料区域图像后，电子设备可以通过以下步骤获取物料区域的三维点云信息：
步骤一、通过预设的双目视觉匹配算法、以及根据所述各摄像机拍摄的第一物料图像确定出的物料区域图像，计算视差图。
在实施中，电子设备通过相机标定法对两摄像机进行标定，并获取两摄像机的相机参数。其中，相机参数包括焦距。然后，电子设备通过极线矫正算法对两摄像机的物料区域图像进行矫正，对应得到矫正后的图像，为了便于区分，将左摄像机的物料区域图像对应的矫正图像称为左图像，相应的，将右摄像机的物料区域图像对应的矫正图像称为右图像。本申请实施例中，电子设备可以通过张友正标定法对两摄像机进行标定。在本申请的一些其他实施例中，电子设备可以通过其他相机标定法对两摄像机进行标定。
在预设的三维坐标系中，左图像和右图像中对应像素点的纵坐标相等，电子设备通过预设的双目视觉匹配算法，对左图像和右图像进行计算，并将得到的图像作为第一物料图像的视差图。
本申请实施例中，电子设备通过双目视觉匹配算法匹配左图像和右图像的具体处理过程可以分为以下三个步骤：
步骤1、电子设备通过surf(speeduprobustfeature，加速鲁棒特征)特征算子提取左图像和右图像中的特征点。
电子设备分别针对左图像和右图像，通过surf(speeduprobustfeature，加速鲁棒特征)特征算子构建hessian(黑塞矩阵)，hessian矩阵中的多个矩阵元素为一个特征点，得到多个特征点。特征点即为像素点。
步骤2、构建特征描述符。
针对左图像和右图像中的多个特征点，电子设备通过surf(speeduprobustfeature，加速鲁棒特征)特征算子构建该特征点的特征描述符，得到该特征点的特征向量。其中，构建特征描述符为现有技术，本申请实施例不再赘述。
步骤3、快速特征匹配。
电子设备通过双目视觉匹配算法，采用最邻近匹配方式，首先针对左图像中的每个特征点，计算该特征点的特征向量到右图像中所有特征点的特征向量间的欧式距离，得到该特征点的距离集合。然后，电子设备在该距离集合中确定最小欧式距离d1和最大欧式距离d2，并计算最小欧式距离和最大欧式距离的距离之比，与预设阈值进行比较。如果距离之比小于预设阈值，电子设备则认为左图像中的该特征点与具有最小欧式距离的特征点是匹配的。
例如，针对左图像中的特征点a，电子设备确定出右图像中，特征点b的特征向量与特征点a的特征向量间的欧式距离为最大欧式距离d2，特征点c的特征向量与特征点a的特征向量间的欧式距离为最小欧式距离d1，最小欧式距离和最大欧式距离的距离之比用d1/d2表示，用t表示预设阈值，t一般取值为0.6，只有当d1/d2满足下式时，电子设备确定特征点c与特征点a相匹配。
由此，电子设备将左图像与右图像中的特征点对应起来，并基于对应的特征点叠加左图像和右图像，得到包含了左图像和右图像全部信息的一幅图像，并将该图像作为第一物料图像的视差图。
需要说明的是，电子设备可以在每次通过一种基于带式运输机的质量测量方法对带式运输机运载的物料的质量进行检测前，对两摄像机进行标定；电子设备也可以按照预设的标定周期，定期对两摄像机进行标定。极线矫正算法包括bouguet(布盖)极线校正、fusiello(富谢洛)极线校正。电子设备也可以选用其他特征算子提取左视图和右视图中的特征，例如sift(scale-invariantfeaturetransfrom，尺度不变特征变换算法)特征算子。
本申请实施例中，选用surf特征算子的双目视觉匹配算法进行图像匹配，具有速度快，稳定性好，计算得到的视差图特征点更加稠密等优点。
步骤二、基于视差图和预先存储的深度计算公式，计算物料区域的深度信息。
在实施中，电子设备可以针对视差图中的多个特征点，通过预先存储的深度计算公式，计算各特征点的深度信息，也即，该特征点对应的像素点在预设的三维坐标系中的z轴分量。由此，电子设备得到视差图中各特征点的深度信息，并将各特征点的深度信息作为物料区域的深度信息。
可选的，本申请实施例提供了一种深度计算公式的表达方式，具体如公式(3)所示：
其中，z为某一特征点的z轴分量，f为摄像机焦距，b为两个摄像头中心之间的距离，xl为该特征点在左图像中的x轴分量，xr为该特征点在右图像中的x轴分量。
步骤三、根据预先存储的所述物料区域的坐标信息和所述深度信息，确定物料区域的三维点云信息。
在实施中，电子设备可以在获取第一物料图像后，获取第一物料图像中各像素点的平面坐标信息(即xy平面的坐标)，并在预先存储的坐标信息文件中存储各像素点的标识和对应的平面坐标信息。
在获得物料区域的深度信息后，电子设备可以基于确定出的物料区域，获取组成物料区域的多个像素点。然后，电子设备在预先存储的坐标信息文件中，获取组成物料区域的各像素点在三维坐标系中的平面坐标信息，作为所述物料区域的坐标信息。之后，电子设备针对组成物料区域的各像素点，叠加该像素点的z轴分量和该像素点的平面坐标信息，得到该像素点的三维坐标，也即该像素点对应的数据点的坐标信息，由此，电子设备得到了各数据点的坐标信息，也即物料区域的三维点云信息。
图4d提供了本申请实施例通过matlab(matrixlaboratory，矩阵实验室)显示的物料区域的三维点云信息的示意图。
可选的，在得到物料区域的三维点云信息后，电子设备可以根据三维点云信息构建立体模型，并根据立体模型确定物料区域的体积，如图5所示，具体处理过程包括以下步骤：
步骤501，从组成物料区域的多个数据点的三维点云信息中，获取各数据点对应的物料高度值。
在实施中，电子设备可以从组成物料区域的多个数据点的三维点云信息中，获取各数据点的z轴分量，作为各数据点对应的物料高度值。
本申请实施例中，电子设备可以累加各数据点的z轴分量，得到z轴分量和，再用z轴分量和除以数据点的个数，得到物料区域的平均高度值，然后，用程序输出平均高度值，以便技术人员参考。
步骤502，将每个数据点的三维点云信息输入至预先存储的立体模型的表面方程中，得到数据点对应的包含模型参数的表达式。
在实施中，电子设备中预先存储有各初始立体模型的表面方程，电子设备获取默认的初始立体模型的表面方程后，针对组成物料区域的多个数据点，将各数据点的三维点云信息输入至该表面方程中，得到各数据点对应的包含模型参数的表达式。
例如，当默认的初始立体模型为抛物柱面时，抛物柱面的表面方程的表达式如公式(4)所示：
其中，某一数据点的三维点云信息为(x,y,z)，
步骤503，确定各数据点的表达式中的高度值与数据点对应的物料高度值满足预设接近度条件时，立体模型的包含的各模型参数的参数值，并根据确定出的各模型参数的参数值，构建立体模型。
在实施中，电子设备基于各数据点的包含模型参数的表达式，确定使各数据点的表达式中的高度值与物料高度值满足预设接近度条件时，立体模型包含的各模型参数的参数值。然后，电子设备将确定出的各模型参数的参数值代入至初始立体模型的表面方程中，完成立体模型的构建。
其中，预设接近度条件可以是使
例如，电子设备不断的改变模型参数a,b,c的值，将使各数据点的
步骤504，通过预先存储的立体模型的体积计算公式，计算立体模型的体积，将立体模型的体积作为物料区域的体积。
在实施中，电子设备中预先存储有各初始立体模型的体积计算公式，电子设备可以根据构建的立体模型以及确定的立体模型的模型参数，计算物料区域的体积。
例如，当初始立体模型为抛物柱面时，立体模型的体积v的计算公式如公式(6)所示：
其中，(0，k)为y的实际取值范围，也即物料区域在三维坐标系中y轴方向的取值范围，(m，n)为x的实际取值范围，也即物料区域在三维坐标系中x轴方向的取值范围。
在得到物料区域的体积后，电子设备将物料区域的体积代入至预先存储的质量计算公式中，将计算结果作为带式运输机当前运载的物料的质量。
现有的质量检测系统在识别物料区域时，提取的特征少，导致物料区域体积的测量值和实际值之间存在较大误差，计算物料区域的体积时采用四面体抛分算法，导致计算量大。而本申请实施例中，采用立体模型和三维点云信息相结合的方式，可以得到密集的三维模型，能够提高测量精度，同时采用求和平均值的方式估算立体模型的高度，可以大大减少计算时间。
本申请实施例提供的一种基于带式运输机的质量测量方法及装置，可以获取各摄像机拍摄的第一物料图像，并识别第一物料图像包含的物料区域，得到物料区域图像；然后，基于物料区域图像，获取物料区域的三维点云信息；根据三维点云信息构建立体模型，并根据立体模型确定物料区域的体积；之后，根据预先存储的质量计算公式和物料区域的体积，计算带式运输机当前运载的物料的质量。本申请中，通过构建立体模型，并根据该立体模型计算物料区域的体积，无需通过delaunay算法和t-s模糊逻辑推理计算物料区域体积，可以提高计算速度，从而提高物料的质量的检测效率。
本申请实施例还提供了一种基于带式运输机的质量测量装置，所述装置应用于电子设备，所述电子设备与至少两个摄像机连接，所述摄像机用于拍摄处于工作状态中的带式运输机，如图6所示，所述装置包括：
获取模块610，用于获取各摄像机拍摄的第一物料图像；
识别模块620，用于识别所述第一物料图像包含的物料区域，得到物料区域图像；
提取模块630，用于从所述物料区域图像中提取所述物料区域的三维点云信息；
确定模块640，用于根据所述三维点云信息构建立体模型，并根据所述立体模型确定所述物料区域的体积；
计算模块650，用于根据预先存储的质量计算公式和所述物料区域的体积，计算带式运输机当前运载的物料的质量。
可选的，所述识别模块包括：
第一获取子模块，用于针对每个摄像机，在预先存储的该摄像机的物料图像文件中，获取拍摄时间与当前时间最接近的两帧物料图像；
灰度处理子模块，用于对所述第一物料图像、以及所述前两帧物料图像进行灰度处理，得到对应的灰度图像；
第一确定子模块，用于通过预设的帧差法、所述第一物料图像的灰度图像、以及所述前两帧物料图像的灰度图像，确定帧差图；
第一计算子模块，用于通过预设的水平梯度算法，计算所述帧差图中预设的多个图像区域的梯度，得到所述帧差图对应的水平梯度图；
第二确定子模块，用于在所述帧差图中，确定由所述水平梯度图中梯度超过预设梯度阈值的图像区域组成物料区域，得到包含所述物料区域的物料区域图像。
可选的，所述提取模块包括：
第二获取子模块，用于通过预设的双目视觉匹配算法、以及根据所述各摄像机拍摄的第一物料图像确定出的物料区域图像，计算视差图；
第二计算子模块，用于基于所述视差图和预先存储的深度计算公式，计算所述物料区域的深度信息；
第三确定子模块，用于根据预先存储的所述物料区域的坐标信息和所述深度信息，确定所述物料区域的三维点云信息。
可选的，所述确定模块包括：
第三获取子模块，用于从组成物料区域的多个数据点的三维点云信息中，获取各所述数据点对应的物料高度值；
输入子模块，用于将每个所述数据点的三维点云信息输入至预先存储的立体模型的表面方程中，得到所述数据点对应的包含模型参数的表达式；
构建子模块，用于确定各所述数据点的表达式中的高度值与所述数据点对应的物料高度值满足预设接近度条件时，所述立体模型的包含的各模型参数的参数值，并根据确定出的各模型参数的参数值，构建所述立体模型；
第三计算子模块，用于通过预先存储的立体模型的体积计算公式，计算所述立体模型的体积，将所述立体模型的体积作为所述物料区域的体积。
本申请实施例提供的一种基于带式运输机的质量测量方法及装置，可以获取各摄像机拍摄的第一物料图像，并识别第一物料图像包含的物料区域，得到物料区域图像；然后，基于物料区域图像，获取物料区域的三维点云信息；根据三维点云信息构建立体模型，并根据立体模型确定物料区域的体积；之后，根据预先存储的质量计算公式和物料区域的体积，计算带式运输机当前运载的物料的质量。本申请中，通过构建立体模型，并根据该立体模型计算物料区域的体积，无需通过delaunay算法和t-s模糊逻辑推理计算物料区域体积，可以提高计算速度，从而提高物料的质量的检测效率。
本申请实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：
获取各摄像机拍摄的第一物料图像；
识别所述第一物料图像包含的物料区域，得到物料区域图像；
从所述物料区域图像中提取所述物料区域的三维点云信息；
根据所述三维点云信息构建立体模型，并根据所述立体模型确定所述物料区域的体积；
根据预先存储的质量计算公式和所述物料区域的体积，计算带式运输机当前运载的物料的质量。
可选的，所述识别所述第一物料图像包含的物料区域，得到物料区域图像包括：
针对每个摄像机，在预先存储的该摄像机的物料图像文件中，获取拍摄时间与当前时间最接近的两帧物料图像；
对所述第一物料图像、以及所述前两帧物料图像进行灰度处理，得到对应的灰度图像；
通过预设的帧差法、所述第一物料图像的灰度图像、以及所述前两帧物料图像的灰度图像，确定帧差图；
通过预设的水平梯度算法，计算所述帧差图中预设的多个图像区域的梯度，得到所述帧差图对应的水平梯度图；
在所述帧差图中，确定由所述水平梯度图中梯度超过预设梯度阈值的图像区域组成物料区域，得到包含所述物料区域的物料区域图像。
可选的，所述从所述物料区域图像中提取所述物料区域的三维点云信息包括：
通过预设的双目视觉匹配算法、以及根据所述各摄像机拍摄的第一物料图像确定出的物料区域图像，计算视差图；
基于所述视差图和预先存储的深度计算公式，计算所述物料区域的深度信息；
根据预先存储的所述物料区域的坐标信息和所述深度信息，确定所述物料区域的三维点云信息。
可选的，所述根据所述三维点云信息构建立体模型，并根据所述立体模型确定所述物料区域的体积包括：
从组成物料区域的多个数据点的三维点云信息中，获取各所述数据点对应的物料高度值；
将每个所述数据点的三维点云信息输入至预先存储的立体模型的表面方程中，得到所述数据点对应的包含模型参数的表达式；
确定各所述数据点的表达式中的高度值与所述数据点对应的物料高度值满足预设接近度条件时，所述立体模型的包含的各模型参数的参数值，并根据确定出的各模型参数的参数值，构建所述立体模型；
通过预先存储的立体模型的体积计算公式，计算所述立体模型的体积，将所述立体模型的体积作为所述物料区域的体积。
上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(randomaccessmemory，ram)，也可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一质量测量方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一质量测量方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。
本申请实施例提供的一种基于带式运输机的质量测量方法及装置，可以获取各摄像机拍摄的第一物料图像，并识别第一物料图像包含的物料区域，得到物料区域图像；然后，基于物料区域图像，获取物料区域的三维点云信息；根据三维点云信息构建立体模型，并根据立体模型确定物料区域的体积；之后，根据预先存储的质量计算公式和物料区域的体积，计算带式运输机当前运载的物料的质量。本申请中，通过构建立体模型，并根据该立体模型计算物料区域的体积，无需通过delaunay算法和t-s模糊逻辑推理计算物料区域体积，可以提高计算速度，从而提高物料的质量的检测效率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！