一种基于图像的物料检测方法和装置与流程

【技术领域】

本发明涉及图像检测技术领域，具体涉及一种基于图像的物料检测方法和装置。

背景技术：

近些年来，有不少研究人员使用图像分析的方法对物料质量进行检测。一般步骤为：首先使用标定板对固定位置和角度(一般相对物料放置平面为垂直角度，以获得正投影)的手机(也可以是其他拍摄设备)进行标定，以获得手机模型，根据手机模型对拍摄的图像进行分析，得到待检测物料粒的几何信息，进而根据待检测物料粒的几何信息计算物料的各项指标。

上述方法虽然能够计算物料粒形信息，但普遍存在以下问题：手机在标定过程及拍摄过程中需要保持角度和位置固定，因此一般需要一套固定手机的台架，这就造成了设备体积庞大、不便携带的问题，尤其在户外检测时，使用极其不方便；同时，这类方案一般需要多台工业手机、计算处理系统(如计算机)、辅助设备(如光源、手机台架等等)，成本相对较高。

鉴于此，克服上述现有技术所存在的缺陷是本技术领域亟待解决的问题。

技术实现要素：

本发明需要解决的技术问题是：

传统方案在对物料质量进行检测时，通常利用手机进行拍摄，而手机在标定过程及拍摄过程中需保持角度和位置固定，需要一套固定台架，造成设备体积庞大、不便携带的问题，尤其在户外检测时很不方便，而且成本相对较高。

本发明通过如下技术方案达到上述目的：

第一方面，本发明提供了一种基于图像的物料检测方法，包括图像拍摄和图像处理，所述图像拍摄具体是将待检测物料粒置于托板上进行拍摄；所述图像处理具体包括：

对拍摄的物料图像进行透视变换，以便将物料图像投影到新的平面；

根据物料图像的像素尺寸和托板的物理尺寸，计算出像素与现实尺寸之间的转换关系；

利用图像分割来提取物料边缘，并获得物料边缘的一系列坐标数据；

根据物料边缘数据和计算的像素转换关系，计算得到待检测物料的二维几何信息。

优选的，在得到待检测物料的二维几何信息之后，利用物料通过性判断的方法计算物料所属粒级，具体为：

基于各待检测物料粒的二维几何信息，按照筛孔孔径从大到小的顺序，逐个判断物料粒能否通过当前筛孔；若物料粒满足通过性，则将该物料粒放入对应的集合中。

优选的，对于任一物料粒和任一孔径，所述物料通过性判断的方法具体包括：

对物料粒进行粗滤，并将满足粗滤公式的物料粒放入当前粒级对应的集合qi中；

对不满足粗滤公式的物料粒进行细滤，并将满足细滤公式的物料粒放入集合qi中；

对粗滤或细滤后新加入集合qi中的物料粒进行反向过滤，并将满足反滤公式的物料粒移入上一粒级对应的集合qi-1中；

其中，集合qi表示其中物料粒的粒级为第i级，i值越小，则物料粒的粒级越大，粒级大小与当前的孔径大小有关。

优选的，在判断完预设数量物料粒的粒级之后，继续判断下一个物料粒的粒级之前，所述方法还包括：

将目前为止每个粒级对应的集合中的物料粒数量进行比较，并确定物料粒数量最多的对应粒级n；则在判断下一个物料粒的粒级时，优先选用所述粒级n对应的孔径进行过滤。

优选的，对于每个物料粒，所述二维几何信息包括物料粒的最小外接矩形的长l1和宽l2，l1≥l2；则所述粗滤公式、细滤公式和反滤公式分别为：

l1×c×ai＞s×fp；

l2＞s×fi；

l2＞s×fr；

其中，c为要计算物料的圆度系数，ai为轴向系数，s为方孔筛筛径，fp为通过系数，fi为调整系数，fr为反向调整系数。

优选的，所述筛孔的孔径从大到小分别为37.5mm、31.5mm、26.5mm、19mm、16mm、9.5mm、4.75mm和2.36mm。

优选的，所述对拍摄的物料图像进行透视变换具体为：

在拍摄的物料图像中提取物料放置区域的四个角点，并确定四个角点分别对应的源坐标和目标坐标；

根据四个角点的坐标数据创建透视矩阵，并基于所述透视矩阵完成物料图像的透视变换，将拍摄的物料图像转换为俯视图。

优选的，拍摄时待检测物料在托板上呈正方形区域放置，透视变换后的图像也呈正方形；则像素与现实尺寸之间的转换关系公式具体为：

其中，len为托板上物料放置区域的边长，len'为透视变换后的图像边上像素长的个数，γ为像素长与现实长度之间的转换比例。

优选的，拍摄时待检测物料在托板上呈正方形区域放置，透视变换后的图像也呈正方形；则像素与现实尺寸之间的转换关系公式具体为：

其中，len为托板上物料放置区域的边长，len'为透视变换后的图像边上像素长的个数，len'×len'为透视变换后的图像的像素大小，β为像素大小与现实面积之间的转换比例。

第二方面，本发明提供了一种基于图像的物料检测装置，包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成第一方面所述的基于图像的物料检测方法。

与现有技术相比，本发明的有益效果是：

本发明提供的物料检测方法中，通过对图像进行透视变换、像素转换、图像分割和形状指标计算，可以系统、详细地完成物料质量的分析检测，且透视变换可将拍摄图像转换为所需的平面图像，则拍摄时拍摄设备无需保持固定，也无需庞大设备支撑，成本较低，而且便于携带，可以非常方便地用于户外检测。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于托板进行物料图像拍摄的示意图；

图2为本发明实施例提供的一种基于图像的物料检测方法流程图；

图3为本发明实施例提供的一种基于二维几何信息进行物料通过性判断的方法流程图；

图4为本发明实施例提供的一种基于图像的物料检测系统的组成图；

图5为本发明实施例提供的一种基于图像的物料检测装置的架构图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。

在本发明各实施例中，符号“/”表示同时具有两种功能的含义，而对于符号“a和/或b”则表明由该符号连接的前后对象之间的组合包括“a”、“b”、“a和b”三种情况。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。

实施例1：

本发明实施例提供了一种基于图像的物料检测方法，可用于对物料质量进行检测，主要包括图像拍摄和图像处理。

如图1所示，所述图像拍摄具体是将待检测物料粒置于平板状的托板1上进行拍摄，托板1也可采用普通纸张、纸板等平板状物体替代，黑色区域表示物料放置区域2(本发明实施例中为一正方形)，虚线框表示拍摄设备的拍摄范围3。其中，所述拍摄设备可采用手机、平板等智能设备，可同时具备拍照和图像处理能力，而且便于携带，注意拍摄时要防止图像过曝。

如图2所示，所述图像处理又包括透视变换、像素转换、图像分割和形状指标计算四步，具体步骤如下：

步骤201，对拍摄的物料图像进行透视变换，以便将物料图像投影到新的平面。

所述透视变换的本质和作用是将原图像投影到一个新的平面，本发明实施例中利用透视变换，将手机等智能设备拍摄的物料图像转换为俯视图，也就将原来三维空间上的图像转换为二维图像，更便于进行图像处理。透视变换的过程具体为：在拍摄的物料图像中提取物料放置区域(即图1中黑色区域)的四个角点，并确定四个角点分别对应的源坐标和目标坐标；然后根据四个角点的坐标数据创建透视矩阵，并基于所述透视矩阵完成物料图像的透视变换，将拍摄的物料图像转换为俯视图。其中，通用的透视变换公式如下：

式(1)中，[x',y',w']为变换后的坐标，[u,v,w]为变换前的坐标，也就是源坐标，a矩阵为变换矩阵；其中，源坐标的w恒为1，a33恒为1。以[x,y]表示变换后二维图像中的目标坐标，则有：

因此，基于四个角点的源坐标和目标坐标(即4对对应坐标：4个[u,v,w]和4个[x,y])，可根据公式(2)(3)构造8个方程，通过解方程可解出a矩阵中其余8个未知数，进而得到透视矩阵a；得到透视矩阵a后，便可根据透视变换公式(1)对拍摄的物料图像进行透视变换。

步骤202，根据物料图像的像素尺寸和托板的物理尺寸，计算出像素与现实尺寸之间的转换关系。

其中，所述现实尺寸可以是毫米(mm)、厘米(cm)、分米(dm)或米(m)等，不做具体限定；本发明以mm为例进行说明。假定托板1上的黑色区域(即物料放置区域2)为边长为len(单位为mm)的正方形，透视变换后的图像也相应地呈正方形，且高及宽均为len'个像素长，则像素长与mm之间的转换关系如下：

γ表示像素长与现实长度mm之间的转换比例。

进一步地，像素大小与mm²之间的转换关系公式具体为：

其中，len×len表示托板上物料放置区域的区域面积，len'×len'表示透视变换后的图像的像素大小，β表示像素大小与现实面积mm²之间的转换比例。

步骤203，利用图像分割来提取物料边缘，并获得物料边缘的一系列坐标数据。其中，针对透视变换后的物料图像，通过阈值切割方法可以获取每个物料粒的坐标数据，结合坐标数据可得知每个物料粒的像素大小。

步骤204，根据物料边缘数据和计算的像素转换关系，计算得到待检测物料的二维几何信息。

通过上面的步骤203可确定每个物料粒的边缘数据，进而确定每个物料粒的像素大小len'×len'，而像素与mm间的转换比例γ和β均已知，则结合公式(4)和公式(5)，可根据物料粒的像素大小来计算物料粒的实际尺寸，例如实际面积大小、实际长度、实际宽度等，也就是物料粒的二维几何信息。

本发明提供的物料检测方法中，通过对图像进行透视变换、像素转换、图像分割和形状指标计算，可系统、详细地完成物料质量的分析检测，且透视变换可将拍摄图像转换为所需的二维平面图像，拍摄时拍摄设备无需保持固定，也无需庞大设备支撑，成本较低，而且便于携带，可以非常方便地用于户外检测。

进一步地，在图像处理后，还可基于二维图像信息对物料级配进行计算。即，在得到待检测物料的二维几何信息之后，利用物料通过性判断的方法计算物料所属粒级，具体为：基于各待检测物料粒的二维几何信息，按照筛孔孔径从大到小的顺序，逐个判断物料粒能否通过当前筛孔；若物料粒满足通过性，则将该物料粒放入对应的集合中，为后续级配计算提供数据。

其中，在进行物料所属粒级计算时，假定托板上放置的每个待检测的物料粒在高度方向上尺寸最小，即呈扁平状态放置，所述二维几何信息包括待检测物料粒尺寸的最大值l1和第二大值l2，即物料粒的最小外接矩形的长l1和宽l2，l1≥l2。常用的粗物料方孔筛筛孔的孔径从大到小分别为37.5mm、31.5mm、26.5mm、19mm、16mm、9.5mm、4.75mm和2.36mm，物料粒的粒级大小与相应的筛孔孔径大小有关。

进一步地，对于每个物料粒，均需要按照筛孔孔径从大到小的顺序依次过滤筛选，直至判断出该物料粒的所属粒级并放入相应的集合内。则对于任一物料粒b和任一孔径，所述物料通过性判断又可分为3个步骤，分别为粗虑、细虑和反向过滤，具体可参考图3，包括：

步骤301，对物料粒进行粗滤，并将满足粗滤公式的物料粒放入当前粒级对应的集合qi中。

其中，集合qi表示其中物料粒的粒级为第i级，i值越小，则物料粒的粒级越大；粒级大小与当前的孔径大小有关，粗滤公式也与当前的孔径大小有关。对于任一物料粒b，如果物料粒b满足粗滤公式(6)，则认为物料b属于当前粒级(第i级)，则将物料b放入集合qi中，执行步骤303；如果物料粒b不满足粗滤公式(6)，则继续进行细滤，即执行步骤302。

步骤302，对不满足粗滤公式的物料粒进行细滤，并将满足细滤公式的物料粒放入集合qi中。

物料细虑需要判断物料粒b是否满足细滤公式(7)，细滤公式也与当前的孔径大小有关；如果物料粒b满足细滤公式(7)，则认为物料b属于当前粒级(第i级)，则将物料b放入集合qi中，执行步骤303；如果物料粒b不满足细滤公式(7)，即物料粒b同时不满足粗滤和细滤的规则，则认为物料粒b不属于当前粒级(第i级)，应当继续降低粒级进行过滤，即选择孔径更小的筛孔。

步骤303，对粗滤或细滤后新加入集合qi中的物料粒进行反向过滤，并将满足反滤公式的物料粒移入上一粒级对应的集合qi-1中。

对于新加入集合qi中的物料粒b，按照反滤公式(8)进行反向过滤；如果物料粒b不满足反滤公式(8)，则可认为物料粒b确实属于当前粒级(第i级)，对物料粒b的粒级计算完毕；如果物料粒b满足反滤公式(8)，则认为物料粒b不属于当前粒级(第i级)，而是属于上一粒级(第i-1级)，应将该物料粒的粒级增大一档，因此将物料粒b移出集合qi，放入上一粒级对应的集合qi-1中，对物料粒b的粒级计算完毕。通过反向过滤，可以对粗滤或细滤后的物料粒进一步筛选检查，提高筛选精度和准确度。

其中，所述粗滤公式(6)、细滤公式(7)和反滤公式(8)分别为：

l1×c×ai＞s×fp(6)；

l2＞s×fi(7)；

l2＞s×fr(8)；

上述公式中，l1和l2分别为物料粒b的最小外接矩形的长和宽(l1≥l2)；c为要计算物料的圆度系数，ai为轴向系数，s为方孔筛筛径，fp为通过系数，fi为调整系数，fr为反向调整系数。由此可知，各过滤公式均与筛孔孔径大小有关，每当调换孔径之后，即粒级改变之后，对应所使用的过滤公式也会随之变化。

本发明实施例通过上述步骤301-303，可以基于二维图像信息对物料级配进行计算，计算数据完全来源于图像，不需要额外检测其他数据。

进一步地，考虑到对于每个物料粒，均需要按照筛孔孔径从大到小的顺序依次过滤筛选，直至判断出该物料粒的所属粒级，使得筛选过程缺少一定的规律性和针对性，无疑会造成时间和资源的浪费。在实际物料检测时，同一批物料粒的尺寸大小通常应有一定的标准可遵循，即在某个或某几个粒级的物料粒应该占大部分。因此，为解决上述问题，在判断完预设数量物料粒的粒级之后，继续判断下一个物料粒的粒级之前，所述方法还可包括：将目前为止每个粒级对应的集合中的物料粒数量进行比较，并确定物料粒数量最多的对应粒级n；则在判断下一个物料粒的粒级时，优先选用所述粒级n对应的孔径进行过滤。其中，所述预设数量具体可以是整体物料粒数量的10％-30％，既不会占太大比例，又可以足够构成一定的样本数量。

举例说明，假设物料粒的总数量为100，则预设数量可以选择15；同时假设孔径共有8个，则物料粒的粒级总共有8个，分别为第1级、第2级、...、第8级(i分别取1-8)，对应的集合分别为q1-q8。在该具体的实施例中，计算完15个物料粒的所属粒级之后，该15个物料粒已经分别放入对应所属粒级的集合中；此时统计各个集合中的物料粒数量并进行比较，假设集合q3中的物料粒数量最多(即n＝3)，可以推测该批所有100个物料粒中，应该绝大部分粒级都是第3级。因此，在继续对下一个物料粒进行计算时，可优先选用第3级粒级对应的孔径进行过滤，而非按照筛孔孔径从大到小的顺序依次过滤筛选；如果物料粒属于第3级，则无需再继续选用其他孔径进行过滤；如果物料粒不属于第3级，再继续选用其他孔径进行过滤。如此一来，可大大节省物料粒的粒级计算时间，并可有效减少资源的浪费。

综上所述，本发明实施例提供的物料检测方法具有以下有益效果：

通过对图像进行透视变换、像素转换、图像分割和形状指标，可系统、详细地完成物料质量的分析检测，且透视变换可将拍摄图像转换为所需的二维平面图像，拍摄时拍摄设备无需保持固定，也无需庞大设备支撑，成本较低，而且便于携带，可以非常方便地用于户外检测；

在得到物料的几何信息后，可以基于二维图像信息对物料级配进行计算，计算数据完全来源于图像，不需要额外检测其他数据；

在计算物料所属粒级时，判断完预设数量物料粒的粒级之后，可先确定物料粒数量最多的对应粒级n，后续优先在粒级n进行计算，使得过滤筛分过程更具有规律性和针对性，可大大节省物料粒的粒级计算时间，并可有效减少资源的浪费。

实施例2：

在上述实施例1提供的基于图像的物料检测方法的基础上，本发明还提供了一种可用于实现上述方法的基于图像的物料检测系统。如图4所示，所述物料检测系统包括图像拍摄模块、图像处理模块和物料级配计算模块。

所述图像拍摄模块用于对置于平板状的托板1上的待检测物料粒进行拍摄，如图1所示，黑色区域表示物料放置区域2，虚线框表示拍摄范围3。所述拍摄设备可采用手机、平板等智能设备，则所述图像拍摄模块具体为智能设备上安装的摄像头。

所述图像处理用于对所述图像拍摄模块拍摄的物料图像进行一系列分析处理，进而获取所需的指标信息，具体包括透视变换单元、像素转换单元、图像分割单元和形状指标计算单元。

其中，所述透视变换单元用于对拍摄的物料图像进行透视变换，以便将手机等智能设备拍摄的物料图像投影到新的平面，转换为俯视图，也就将原来三维空间上的图像转换为二维图像。透视变换的过程具体为：在拍摄的物料图像中提取物料放置区域2的四个角点，并确定四个角点分别对应的源坐标和目标坐标；然后根据四个角点的坐标数据创建透视矩阵，并基于所述透视矩阵完成物料图像的透视变换。

所述像素转换单元用于根据物料图像的像素尺寸和托板的物理尺寸，计算出像素与现实尺寸之间的转换关系。具体可以是计算出像素长与mm之间的转换关系，即实施例1中的公式(4)，以及像素大小与mm²之间的转换关系，即实施例1中的公式(5)。

所述图像分割单元用于利用图像分割来提取物料边缘，并获得物料边缘的一系列坐标数据。其中，通过阈值切割方法可以获取每个物料粒的坐标数据，结合坐标数据可得知每个物料粒的像素大小。

所述形状指标计算单元用于根据物料边缘数据和计算的像素转换关系，计算得到待检测物料的二维几何信息，例如实际面积大小、实际长度、实际宽度等信息。

进一步参考图4，所述物料级配计算模块用于基于二维图像信息对物料级配进行计算，即利用物料通过性判断的方法计算物料所属粒级，具体为：基于各待检测物料粒的二维几何信息，按照筛孔孔径从大到小的顺序，逐个判断物料粒能否通过当前筛孔；若物料粒满足通过性，则将该物料粒放入对应的集合中，为后续级配计算提供数据。所述物料级配计算模块具体又包括粗滤单元、细滤单元和反滤单元。

其中，所述粗滤单元用于对物料粒进行粗滤，并将满足粗滤公式的物料粒放入当前粒级对应的集合qi中。对于任一物料粒b，如果物料粒b满足粗滤公式(6)，则将物料b放入集合qi中；如果物料粒b不满足粗滤公式(6)，则继续进行细滤。

所述细滤单元用于对不满足粗滤公式的物料粒进行细滤，并将满足细滤公式的物料粒放入集合qi中。对于任一物料粒b，如果物料粒b满足细滤公式(7)，则将物料b放入集合qi中；如果物料粒b不满足细滤公式(7)，则认为物料粒b不属于当前粒级，应当继续降低粒级进行过滤。

所述反滤单元用于对粗滤或细滤后新加入集合qi中的物料粒进行反向过滤，并将满足反滤公式的物料粒移入上一粒级对应的集合qi-1中。如果物料粒b不满足反滤公式(8)，则认为物料粒b属于当前粒级(第i级)；如果物料粒b满足反滤公式(8)，则认为物料粒b不属于当前粒级，而是属于上一粒级(第i-1级)，将物料粒b移出集合qi，放入上一粒级对应的集合qi-1中。

实施例3：

在上述实施例1的基于图像的物料检测方法的基础上，本发明还提供了一种可用于实现上述方法的基于图像的物料检测装置，如图5所示，是本发明实施例的装置架构示意图。本实施例的基于图像的物料检测装置包括一个或多个处理器21以及存储器22。其中，图5中以一个处理器21为例。

所述处理器21和所述存储器22可以通过总线或者其他方式连接，图5中以通过总线连接为例。

所述存储器22作为一种基于图像的物料检测方法非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如实施例1中的基于图像的物料检测方法。所述处理器21通过运行存储在所述存储器22中的非易失性软件程序、指令以及模块，从而执行基于图像的物料检测装置的各种功能应用以及数据处理，即实现实施例1的基于图像的物料检测方法。

所述存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，所述存储器22可选包括相对于所述处理器21远程设置的存储器，这些远程存储器可以通过网络连接至所述处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器22中，当被所述一个或者多个处理器21执行时，执行上述实施例1中的基于图像的物料检测方法，例如，执行以上描述的图2和图3所示的各个步骤。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。