质量估计方法、装置、电子设备及存储介质与流程

本申请涉及计算机视觉技术和工业检测技术领域，尤其涉及质量估计方法、装置、设备及计算机可读存储介质。

背景技术：

机器视觉检测技术作为当今工业中的一项重要技术，被广泛应用于基于内容的图像检索、汽车安全、视频监控和机器人技术等各大领域，并且随着技术的发展，机器视觉检测技术被应用于越来越多的领域，以满足不断提升的市场需求。

现有技术尚未实现通过将其视觉检测进行质量估计，并且现有的质量估计方法存在易于失真、估计偏差大、准确度低、介入检测导致对象物受损等诸多缺陷。

申请内容

本申请的目的在于提供质量估计方法、装置、电子设备及计算机可读存储介质，其采用机器视觉识别，结合多传感器融合技术并进行密度融合计算，以实现高准确性和高稳定性的质量估计。

本申请的目的采用以下技术方案实现：

第一方面，本申请提供了一种质量估计方法，所述方法包括：对对象物进行检测，以识别所述对象物的特征信息和轮廓数据；利用预存的材质库匹配所述特征信息，以确定所述对象物的材质以及与所述材质对应的密度；基于所述轮廓数据估计所述对象物的体积；以及利用所述体积和所述密度计算所述对象物的质量。

该技术方案的有益效果在于，能够通过机器视觉识别以高准确性和高稳定性实现对象物的质量估计。

在一些可选的实施例中，利用二维深度学习模型对所述对象物进行检测，以获得所述对象物的表面纹理信息作为所述特征信息；并且通过三维视觉识别获得所述轮廓数据。所述表面纹理信息包括以下至少一种：颜色信息、粗糙度信息和反射信息。

该技术方案的有益效果在于，由于采用了非接触式的数据采集方式，因此保证了对象物的完整性，并且能够以较高的准确性和稳定性估计材质一致的对象物的质量。

在一些可选的实施例中，通过多传感器融合检测所述对象物，以获得所述轮廓数据和作为所述特征信息的内部结构信息。基于深度学习模型确定所述对象物的内部结构的材质；并且当确定所述对象物包括多种材质时，对所述多种材质进行密度融合计算。所述密度融合计算包括根据每种材质的体积占所述对象物的体积的比重，对所述多种材质对应的多个密度进行权重计算，以获得所述对象物的所述密度。

该技术方案的有益效果在于，具有较高的适用性，能够实现对包括多材质、中空等情况的对象物的质量估计，并且能够保证高准确性和高稳定性。

在一些可选的实施例中，所述材质库存储有所述特征信息、所述材质和所述密度的对应关系，从而能够根据所述特征信息确定相应的材质和密度。当所述材质库中不存在与所述特征信息匹配的材质时，进行近似材质区间估计，以预测密度范围。

该技术方案的有益效果在于，能够在材质库中无法匹配特征信息情况下，确定对象物的密度范围。

第二方面，本申请提供了一种质量估计装置，所述装置包括：检测模块，用于对对象物进行检测，以识别所述对象物的特征信息和轮廓数据；匹配模块，用于利用预存的材质库匹配所述特征信息，以确定所述对象物的材质以及与所述材质对应的密度；体积估计模块，用于基于所述轮廓数据估计所述对象物的体积；以及质量估计模块，用于利用所述体积和所述密度计算所述对象物的质量。

该技术方案的有益效果在于，能够通过机器视觉识别以高准确性和高稳定性实现对象物的质量估计。

在一些可选的实施例中，所述检测模块包括：表面纹理信息提取单元，该表面纹理信息提取单元用于利用二维深度学习模型对所述对象物进行检测，以获得所述对象物的表面纹理信息作为所述特征信息；和轮廓数据获取单元，该轮廓数据获取单元用于通过三维视觉识别获得所述轮廓数据。所述表面纹理信息包括以下至少一种：颜色信息、粗糙度信息和反射信息。

该技术方案的有益效果在于，由于采用了非接触式的数据采集方式，因此保证了对象物的完整性，并且能够以较高的准确性和稳定性估计材质一致的对象物的质量。

在一些可选的实施例中，所述检测模块包括：多传感器融合单元，该多传感器融合单元用于通过多传感器融合检测所述对象物，以获得所述轮廓数据和作为所述特征信息的内部结构信息。所述匹配模块包括：深度学习单元，该深度学习单元用于基于深度学习模型确定所述对象物的内部结构的材质；和密度融合单元，该密度融合单元用于在确定所述对象物包括多种材质时，对所述多种材质进行密度融合计算。所述密度融合计算包括根据每种材质的体积占所述对象物的体积的比重，对所述多种材质对应的多个密度进行权重计算，以获得所述对象物的所述密度。

该技术方案的有益效果在于，具有较高的适用性，能够实现对包括多材质、中空等情况的对象物的质量估计，并且能够保证高准确性和高稳定性。

在一些可选的实施例中，所述材质库存储有所述特征信息、所述材质和所述密度的对应关系，从而能够根据所述特征信息确定相应的材质和密度。所述匹配模块包括：近似材质区间估计单元，该近似材质区间估计单元用于在所述材质库中不存在与所述特征信息匹配的材质时，进行近似材质区间估计，以预测密度范围。

该技术方案的有益效果在于，能够在材质库中无法匹配特征信息情况下，确定对象物的密度范围。

第三方面，本申请提供了一种电子设备，所述电子设备包括存储器、处理器以及用于执行任务的硬件模组，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤。

附图说明

下面结合附图和实施例对本申请进一步说明。

图1是本申请实施例提供的一种质量估计方法的流程示意图；

图2是本申请实施例提供的一种质量估计方法的流程示意图；

图3是本申请实施例提供的一种质量估计方法的流程示意图；

图4是本申请实施例提供的一种质量估计方法的流程示意图；

图5是本申请实施例提供的一种质量估计装置的结构示意图

图6是本申请实施例提供的一种质量估计装置的结构示意图；

图7是本申请实施例提供的一种质量估计装置的结构示意图；

图8是本申请实施例提供的一种质量估计装置的结构示意图

图9是本申请实施例提供的一种电子设备的结构示意图；以及

图10是本申请实施例提供的一种用于实现质量估计方法的程序产品的结构示意图。

具体实施方式

现有技术提出了一种基于视觉技术的可测重石材矿山叉装车，包括arm主控制器、摄像头、以及两个激光雷达，其中，arm主控制器分别与摄像头、以及两个激光雷达相连。利用摄像头和激光雷达作为信息获取的手段，可以测量出待装卸石材荒料的重量。

现有技术还提出了一种用于采矿挖掘设备的实际负载重量的方法，包括：扫描表面并确定表面形状；识别挖掘路径；至少基于表面形状和挖掘路径来实际地计算挖掘的材料的体积；以及基于至少一个密度因数来实际地计算挖掘的材料的重量。

上述现有技术仍存在诸多缺陷，例如，无法通过机器视觉识别进行材质确定且质量估计的准确度低等，因此而提出了本申请。

下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

参见图1，本申请实施例提供了一种质量估计方法，所述方法包括步骤s101～s104。

其中，步骤s101：检测步骤，对对象物进行检测，以识别所述对象物的特征信息和轮廓数据；步骤s102：匹配步骤，利用预存的材质库匹配所述特征信息，以确定所述对象物的材质以及与所述材质对应的密度；步骤s103：体积估计步骤，基于所述轮廓数据估计所述对象物的体积；步骤s104：质量估计步骤，利用所述体积和所述密度计算所述对象物的质量。

下文将参考具体实施方式，描述上述各个步骤。

[实施例1]

参见图2，其示出了本申请的质量估计方法的一个实施例。其中，所述步骤s101可以包括步骤s201和s202。

步骤s201：表面纹理信息提取步骤

利用二维深度学习模型对所述对象物进行检测，以获得对象物的表面纹理信息作为特征信息。

表面纹理信息可以包括颜色信息、粗糙度信息和反射信息(漫反射、散射、透射、色散等来反映厚度)等。

针对表面反光严重、透视严重的对象物，例如超镜面物体、高透性玻璃等，传感器在进行表面轮廓获取时可能存在失真的现象。对此，可以采用基于光谱共焦技术的传感器对对象物的表面数据进行获取；从而能够实现对表面纹理信息的获取。

步骤s202：轮廓数据获取步骤

通过三维视觉识别获得轮廓数据。

需要指出的是，当对象物是材质一致的实体时，适用上述步骤s201和步骤202进行特征提取和轮廓数据提取。当对象物是多材质、中空等的情况下，上述步骤s201和s202可能产生偏差，此时需要采用下文描述的步骤s203，进行对象物的内部结构的检测，从而确定对象物内部的材质(参见后文描述)。

由此，通过上述步骤s201和s202，能够通过二维深度学习和三维视觉识别对对象物进行表面纹理信息的提取和轮廓数据的采集，由于采用了非接触式的数据采集方式，保证了对象物的完整性，并且能够以较高的准确性和稳定性估计材质一致的对象物的质量。

步骤s102：匹配步骤

采用大数据分析的方式利用预存的材质库匹配步骤s101中获得的表面纹理信息，以获得所述对象物的材质以及与该材质对应的密度。

具体地，采用视觉大数据根据表面纹理信息对材质和材质的组合进行归类，并且确定各种材质所对应的密度，以建立表明表面纹理信息、材质和密度的对应关系的材质库，从而能够根据步骤s101中获得的表面纹理信息，在该材质库中检索到相应的材质及其密度。

步骤s103：体积估计步骤

根据步骤s202中获得的轮廓数据，估算对象物的体积。

步骤s104：质量估计步骤

根据步骤s102中获得的对象物的密度和步骤s103中估算的对象物的体积，计算对象物的质量。

以上描述了本申请的质量估计方法的一个实施例，下文将参考图3描述本申请的质量估计方法的另一个实施例。

[实施例2]

如图3所示，所述步骤s101可以包括步骤s203。

步骤s203：多传感器融合步骤

通过多传感器融合检测所述对象物，以获得所述轮廓数据和作为所述特征信息的内部结构信息。

其中，多种传感器包括例如红外、激光等传感器，并且这些传感器使用光谱共焦，以对对象物的内部结构进行检测。

步骤s102(匹配步骤)可以包括步骤s301和s302。

步骤s301：深度学习步骤

基于深度学习模型确定所述对象物的内部结构的材质。

具体地，结合深度学习模型利用步骤s203中获得的内部结构信息确定内部结构的材质。

通过上述步骤s203和步骤s301获得的材质可以是多种材质，也可以是中空等情况，此时通过下面的步骤s302进行多材质的密度融合。

步骤s302：密度融合步骤

在确定所述对象物包括多种材质时，对所述多种材质进行密度融合计算。该密度融合计算包括根据每种材质的体积占对象物的体积的比重，对多种材质对应的多个密度进行例如权重计算(或者取平均值等)，以获得对象物的统一密度数值作为对象物的密度。

步骤s103：体积估计步骤

根据步骤s203中获得的轮廓数据，估算对象物的体积。

步骤s104：质量估计步骤。

根据步骤s302中获得的对象物的密度和步骤s103中估算的对象物的体积，计算对象物的质量。

以上描述的实施例能够实现对包括多材质、中空等情况的对象物的质量估计，并且能够保证高准确性和高稳定性。

[实施例3]

当前实施例与前文描述的实施例的相同步骤将不再进行赘述，其区别于前文描述的实施例之处仅在于步骤s102：匹配步骤。

如图4所示，步骤s102包括近似材质区间估计步骤s303。

具体地，在近似材质区间估计步骤s303中，当基于特征信息(内部结构信息或者表面纹理信息等)无法在材质库中匹配对应的材质时，可以进行近似材质区间估计，以根据近似材质的密度基于预设的模型预测对象物的内部结构的密度范围。

根据该具体实施例，能够在材质库中无法匹配特征信息情况下，确定对象物的密度范围。

以上描述了本申请的质量估计方法的多个具体实施方式。由此，根据本申请的质量估计方法，能够以高准确定和高稳定性实现对象物的质量估计，并且具有较高的适用性，能够实现材质单一的对象物的质量估计，也能够实现多材质、中空等对象物的质量估计。

参见图5，本申请实施例还提供了一种质量估计装置100，其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

所述装置100包括：检测模块101，用于对对象物进行检测，以识别所述对象物的特征信息和轮廓数据；匹配模块102，用于利用预存的材质库匹配所述特征信息，以确定所述对象物的材质以及所述材质对应的密度；体积估计模块103，用于基于所述轮廓数据估计所述对象物的体积；和质量估计模块104，用于利用所述体积和所述密度计算所述对象物的质量。

下文将参考具体实施方式，描述上述各个模块。

[实施例4]

参见图6，其示出了本申请的质量估计装置的一个实施例。其中，所述检测模块101可以包括单元201和202。

单元201：表面纹理信息提取单元

表面纹理信息提取单元用于利用二维深度学习模型对所述对象物进行检测，以获得对象物的表面纹理信息作为特征信息。

表面纹理信息可以包括颜色信息、粗糙度信息和反射信息(漫反射、散射、透射、色散等来反映厚度)等。

针对表面反光严重、透视严重的对象物，例如超镜面物体、高透性玻璃等，传感器在进行表面轮廓获取时可能存在失真的现象。对此，表面纹理信息提取单元201可以采用基于光谱共焦技术的传感器对对象物的表面数据进行获取；从而能够实现对表面纹理信息的获取。

单元202：轮廓数据获取单元

轮廓数据获取单元用于通过三维视觉识别获得轮廓数据。

需要指出的是，当对象物是材质一致的实体时，利用上述表面纹理信息提取单元201和轮廓数据获取单元202进行特征提取和轮廓数据提取。当对象物是多材质、中空等的情况下，上述表面纹理信息提取单元201和轮廓数据获取单元202可能产生偏差，此时需要利用下文描述的单元203，进行对象物的内部结构的检测，从而确定对象物内部的材质(参见后文描述)。

由此，通过上述表面纹理信息提取单元201和轮廓数据获取单元202，能够通过二维深度学习和三维视觉识别对对象物进行表面纹理信息的提取和轮廓数据的采集，由于采用了非接触式的数据采集方式，保证了对象物的完整性，并且能够以较高的准确性和稳定性估计材质一致的对象物的质量。

模块102：匹配模块

匹配模块用于采用大数据分析的方式利用预存的材质库匹配表面纹理信息提取单元201获得的表面纹理信息，以获得所述对象物的材质以及与该材质对应的密度。

具体地，采用视觉大数据根据表面纹理信息对材质和材质的组合进行归类，并且确定各种材质所对应的密度，以建立表明表面纹理信息、材质和密度的对应关系的材质库，从而匹配模块能够根据表面纹理信息提取单元201中获得的表面纹理信息，在该材质库中检索到相应的材质及其密度。

模块103：体积估计模块

体积估计模块用于根据轮廓数据获取单元202获得的轮廓数据，估算对象物的体积。

模块104：质量估计模块

根据匹配模块102获得的对象物的密度和体积估计模块103估算的对象物的体积，计算对象物的质量。

以上描述了本申请的质量估计装置的一个实施例，下文将参考图7描述本申请的质量估计装置的另一个实施例。

[实施例5]

如图7所示，检测模块101可以包括单元203。

单元203：多传感器融合单元

多传感器融合单元用于通过多传感器融合检测所述对象物，以获得所述轮廓数据和作为所述特征信息的内部结构信息。

其中，多种传感器包括例如红外、激光等传感器，并且这些传感器使用光谱共焦，以对对象物的内部结构进行检测。

匹配模块102可以包括单元301和单元302。

单元301：深度学习单元

深度学习单元用于基于深度学习模型确定所述对象物的内部结构的材质。

具体地，深度学习单元结合深度学习模型利用多传感器融合单元203获得的内部结构信息确定内部结构的材质。

通过上述多传感器融合单元203和深度学习单元301获得的材质可以是多种材质，也可以是中空等情况，此时通过下面的单元302进行多材质的密度融合。

单元302：密度融合单元

密度融合单元用于在确定所述对象物包括多种材质时，对所述多种材质进行密度融合计算。该密度融合计算包括根据每种材质的体积占对象物的体积的比重，对多种材质对应的多个密度进行例如权重计算(或者取平均值等)，以获得对象物的统一密度数值作为对象物的密度。

模块103：体积估计模块

根据多传感器融合单元203获得的轮廓数据，估算对象物的体积。

模块104：质量估计模块。

根据密度融合单元302获得的对象物的密度和体积估计模块103估算的对象物的体积，计算对象物的质量。

以上描述的实施例能够实现对包括多材质、中空等情况的对象物的质量估计，并且能够保证高准确性和高稳定性。

[实施例6]

当前实施例与前文描述的实施例的相同模块和/或单元将不再进行赘述，其区别于前文描述的实施例之处仅在于匹配模块102。

如图8所示，匹配模块102包括近似材质区间估计单元303。

具体地，似材质区间估计单元303用于当基于特征信息(内部结构信息或者表面纹理信息等)无法在材质库中匹配对应的材质时，可以进行近似材质区间估计，以根据近似材质的密度基于预设的模型预测对象物的内部结构的密度范围。

以上描述了本申请的质量估计装置的多个具体实施方式。由此，根据本申请的质量估计装置，能够以高准确定和高稳定性实现对象物的质量估计，并且具有较高的适用性，能够实现材质单一的对象物的质量估计，也能够实现多材质、中空等对象物的质量估计。

参见图9，本申请实施例还提供了一种电子设备200，电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。

存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)211和/或高速缓存存储器212，还可以进一步包括只读存储器(rom)213。

其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中上述任一项方法的步骤，其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

存储器210还可以包括具有一组(至少一个)程序模块215的程序/实用工具214，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

相应的，处理器220可以执行上述计算机程序，以及可以执行程序/实用工具214。

总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现本申请实施例中上述任一项方法的步骤，其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

图10示出了本实施例提供的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品300不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如java、c++等，还包括常规的过程式程序设计语言诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，其设置有的实用进步性，已符合专利法所强调的功能增进及使用要件，本申请以上的说明及附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。