一种钢卷对中判断方法、系统、介质及电子终端与流程

本发明涉及冶金领域和图像识别领域，尤其涉及一种钢卷对中判断方法、系统、介质及电子终端。

背景技术：

在钢卷处理线上，钢卷车首先从鞍座位上取钢卷，然后钢卷运行到对中位置进行对中，即使钢卷的高度中心位与开卷机芯轴的中心位一致，以确保钢卷插入开卷机。这是连续自动化生产线的关键一步，如果发生故障，则可能使整个生产线发生停机故障，因此钢卷对中显得尤其重要。

目前，在现有技术中，有些生产线出入口钢卷运输通常采用步进梁和钢卷车设备，而步进梁目前采用吊车人工吊到静鞍座上，很难做到对中放置，通过这种方式放置，其静鞍座设计没有自动对中功能并存在视觉环境问题，造成判断结果不准确；有些生产线用超声波进行钢卷对中，但超声波信号易受干扰，精确程度难以保障；有些生产线用光栅进行钢卷对中，但这种方式控制复杂，需要繁琐精密的计算，因此，需要一种新的方式对钢卷对中进行有效判断，以解决上述问题。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明提供一种钢卷对中判断方法、系统、介质及电子终端，以解决上述技术问题。

本发明提供的钢卷对中判断方法，包括：

获取钢卷图像样本数据，并对样本数据中的钢卷位置信息进行标注处理；

根据所述样本数据建立基于深度神经网络的钢卷位置检测模型，并进行训练；

采集实时钢卷图像信息，并输入至训练后的钢卷位置检测模型，获取检测结果；

根据实时钢卷图像信息中固定点的位置信息设定钢卷居中的判断条件，完成钢卷对中判断。

可选的，对检测结果中的钢卷进行钢卷追踪，并对追踪的同一钢卷进行对中判断，当判定钢卷停止运动时，计算钢卷中线与预设中线的差值，若差值在预设的容许范围内，则判定钢卷对中。

可选的，所述标注处理包括通过检测框对钢卷图像样本数据进行框选，并记录钢卷的位置信息和目标类别。

可选的，获取钢卷图像中目标钢卷的中心坐标、面积、长宽比，当检测框与目标钢卷关联时，通过检测框的位置对目标钢卷的位置进行更新，完成钢卷追踪。

可选的，获取用于进行目标检测的特征图，将所述特征图的每个位置映射到原始图像中相应的位置，并在对应位置生成预测框，计算检测物体为钢卷的概率，根据所述概率获取检测结果以及钢卷位置检测模型。

可选的，所述预测框包括如下信息：预测框在图像中的坐标值、预测目标类别、预测结果的置信度，根据所述预测框获取最佳的物体检测位置。

可选的，通过如下公式将特征图的每个位置映射到原始图像中相应的位置：

其中，iw、ih为产生默认框的区域映射特征图的宽度和高度，cx、cy为默认框在区域映射特征图上的中心坐标，dxmax、dymax为预测框右下角的坐标，dxmin、dymin为预测框左上角的坐标，lx、ly为默认框在原图像上对应位置的中心中标。

可选的，记录追踪的同一钢卷的图像中的位置众数，当获取的第n次与第n-1次的位置众数不变或达到预先设置的阈值时，则判定钢卷停止运动。

可选的，通过钢卷位置检测模型通过深度可分离卷积构建，所述深度可分离卷积表达式为：

其中，dk为卷积核的宽，m为输入通道数，n为所用卷积核的数量，df为输入对象的宽。

可选的，所述深度神经网络的损失函数，通过如下公式获取：

其中，n为匹配的defaultboxes的个数，x为匹配了的框是否属于类别p，取值{0，1}；g为真实值；c为所框选目标属于类别p的置信度。

本发明还提供一种钢卷对中判断系统，包括：

图像采集模块，获取钢卷图像样本数据，并对样本数据中的钢卷位置信息进行标注处理；

钢卷位置检测模型，所述钢卷位置检测模型为根据标注后的样本数据建立的基于深度神经网络的模型，将采集实时钢卷图像信息，输入至训练后的钢卷位置检测模型，获取检测结果；

分析判断模块，用于根据实时钢卷图像信息中固定点的位置信息设定钢卷居中的判断条件，完成钢卷对中判断。

可选的，还包括追踪模块，用于对检测结果中的钢卷进行钢卷追踪，并对追踪的同一钢卷进行对中判断，当判定钢卷停止运动时，通过分析判断模块计算钢卷中线与预设中线的差值，若差值在预设的容许范围内，则判定钢卷对中。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述中任一项所述方法。

本发明还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法。

本发明的有益效果：本发明中的钢卷对中判断方法、系统、介质及电子终端，通过基于深度学习的钢卷对中判断网络，能够较好地实时检测钢卷，保证了判断结果的准确性，使用方式简单，适应性强，并且可以对同一钢卷进行目标跟踪，对同一钢卷进行中线判断，具有较高的准确率。

附图说明

图1是本发明实施例中钢卷对中判断方法的深度神经网络中深度卷积的结构示意图。

图2是本发明实施例中钢卷对中判断方法的非线性激活单元函数的表达关系示意图。

图3是本发明实施例中钢卷对中判断方法的流程示意图。

图4是本发明实施例中钢卷对中判断方法的深度神经网络的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

如图1所示，本实施例中的钢卷对中判断方法，包括：

s1.获取钢卷图像样本数据，并对样本数据中的钢卷位置信息进行标注处理；

s2.根据所述样本数据建立基于深度神经网络的钢卷位置检测模型，并进行训练；

s3.采集实时钢卷图像信息，并输入至训练后的钢卷位置检测模型，获取检测结果；

s4.根据实时钢卷图像信息中固定点的位置信息设定钢卷居中的判断条件，完成钢卷对中判断。

在本实施例中，钢卷位置检测模型通过运用深度神经网络建立，深度神经网络包括ssd-mobilenet网络。将数据集中的图像信息输入深度神经网络进行训练，获取实时检测钢卷位置信息的训练模型，通过模型实时检测钢卷在视频流中的位置，事先根据视频流中固定点的位置信息设定钢卷居中的判断条件，可选的，使用sort跟踪算法对钢卷进行分析并判断是否居中。

在本实施例中，首先需要对样本数据中的钢卷位置信息进行标注处理，获取样本数据的方式可以从工业场景摄像头截取，再使用工具框出图中钢卷并记录下目标框位置信息，记录保存位置信息，位置信息格式及内容为：

[xmin,ymin,xmax,ymax,class]式(1)

其中，xmin、ymin分别为钢卷矩形目标框在图像中的左上角x、y坐标值，xmax、ymax分别为钢卷矩形目标框在图像中的右下角x、y坐标值，class为目标类别。

在本实施例中，深度神经网络用深度可分离卷积来构建轻量级深度神经网络，与标准卷积相比减少了相当多的计算量。本实施例中的深度卷积的数学表达式为：

其中，dk为卷积核的宽，m为输入通道数，n为所用卷积核的数量，df为输入对象的宽，比较上下两式可知，使用深度卷积计算量大幅降低，仅为标准卷积的

在本实施例中的深度神经网络中，计算损失函数时，使用两种损失函数的和，包括定位损失函数以及回归损失函数，其相关计算公式为：

其中，n是匹配的defaultboxes的个数，x表示匹配了的框是否属于类别p，取值{0，1}；g是真实值；c是指所框选目标属于类别p的置信度。

激活函数使用非线性激活单元函数，其公式为：

relu(z)＝max(0,z)式(4)

根据映射关系，将用于进行目标检测的特征图的每个位置映射到原图中相应的位置，并在对应位置生成预测框，计算检测物体为钢卷的概率，通过概率大小得出检测结果以及训练模型，预测框的表达式为：

[xmin,ymin,xmax,ymax,class,score]式(5)

其中，xmin、ymin分别为预测框在图像中的左上角x、y坐标值，xmax、ymax分别为预测框在图像中的右下角x、y坐标值，class为预测目标类别，score为预测结果的置信度。

本实施例中的映射关系数学公式为：

其中，iw、ih表示产生默认框的区域映射特征图的宽度和高度，cx、cy表示默认框在区域映射特征图上的中心坐标，dxmax、dymax为预测框右下角的坐标，dxmin、dymin为预测框左上角的坐标，lx、ly表示默认框在原图像上对应位置的中心中标。

对于得到的预测框，使用非极大值抑制算法，消除多余的候选框，找到最佳的物体检测位置，其表达式为：

其中，m为当前得分最高框，b为待处理框，s为最终得分，待处理框和m的iou越大，得分就越小，消除多余的目标框。

在本实施例中，据视频流中固定点的位置信息设定钢卷居中的判断条件，对于实时检测到的钢卷，使用sort跟踪算法进行钢卷追踪，通过钢卷追踪，可以有效提高检测效率并运用此结果对追踪的同一钢卷进行对中判断。每一个目标的状态可以表示为：

u,v表示目标的中心坐标，s表示目标的大小面积，r表示目标的长宽比，当进行检测框和目标的关联时，用检测框位置对目标位置进行更新，用卡尔曼滤波来估计目标的运动信息。

卡尔曼滤波时间更新表达式为：

卡尔曼滤波状态更新表达式为：

其中，为k时刻的先验状态估计值；为k-1时刻和k时刻的后验状态估计值；pk-1、pk分别表示k-1和k时刻的后验估计协方差；为k时刻的先验估计协方差；h是状态变量到测量的转换矩阵，表示将状态和观测连接起来的关系；zk为测量值；kk为滤波增益矩阵；a为状态转移矩阵；q为过程激励噪声协方差；r为测量噪声协方差；b为将输入转换为状态的矩阵；为实际观测和预测观测的残差。

对于已使用目标跟踪算法的同一钢卷，记录其于图像中的位置众数，判断是否停下，数学表达式为：

其中，l为众数所在组的精确下限，u表示众数所在组的精确上限，fb为众数所在组次数与其下限的邻组次数之差，fa为众数所在组次数与其上限的邻组次数之差，i为众数所在组组距。

当计算出的钢卷位置坐标众数不变次数达到阈值时，钢卷判断为已停下，数学表达式为：

c(mo(n)＝mo(n-1))＝threshold式(17)

其中，mo(n)、mo(n-1)为第n次与第n-1次的位置众数，c(mo(n)＝mo(n-1))为前后所得位置众数相等的次数，threshold为所设阈值。

对于已停下的钢卷，计算其中线与预设中线的差值，若差值在容许范围内，则钢卷对中，数学表达式为：

其中，xmax、xmin为检测出来的钢卷目标框的右下角、左上角的x轴位置信息，mpre为预设中线的位置信息，t为预设容许范围。

在本实施例中，图像在检测过程中，采用监督式训练，每幅钢卷图像都有对应的标签及位置信息，不仅根据标签及位置信息训练模型参数，而且还根据标签及位置信息判断最终识别率。当训练网络通过多次迭代，预测值不断向误差方向进行收敛，然后反向传播根据链式法则将参数更新到每一层中。每次迭代都会根据梯度下降的优化方向，尽可能减少传播误差，最终得到数据集所有钢卷图像最终的识别结果，再通过目标追踪算法处理每一个钢卷，计算位置信息众数判断静止时是否对中。本实施例取在测试集上识别准确率最高的模型作为最优模型，在工业场景的实际操作中，首先通过摄像头实时获取图片，将单幅钢卷图像作为输入，通过检测模型自动对图像进行处理，识别钢卷，进行追踪分析及判断处理，最终输出钢卷对中结果。

相应的，本实施例还提供一种钢卷对中判断系统，包括：

图像采集模块，获取钢卷图像样本数据，并对样本数据中的钢卷位置信息进行标注处理；

钢卷位置检测模型，所述钢卷位置检测模型为根据标注后的样本数据建立的基于深度神经网络的模型，将采集实时钢卷图像信息，输入至训练后的钢卷位置检测模型，获取检测结果；

分析判断模块，用于根据实时钢卷图像信息中固定点的位置信息设定钢卷居中的判断条件，完成钢卷对中判断。

在本实施例中，图像采集模块采集钢卷图像进行标注处理的步骤包括：对采集图像中的钢卷进行框选，记录保存位置信息，位置信息格式及内容为：

[xmin，ymin，xmax，ymax，class]

其中，xmin、ymin分别为钢卷矩形目标框在图像中的左上角x、y坐标值，xmax、ymax分别为钢卷矩形目标框在图像中的右下角x、y坐标值，class为目标类别。

本实施例中的深度神经网络，采用ssd-mobilenet网络使用深度可分离卷积来构建轻量级深度神经网络，与标准卷积相比减少了相当多的计算量。ssd-mobilenet网络包括卷积层、平均池化层、全连接层。在所述深度神经网络中，神经元个数与钢卷图像的分类数量相匹配，在输出结果部分加入了非线性激活单元relu。

本实施例中的神经元的非线性激活单元函数的表达为：

relu(z)＝max(0,z)

在实施例的深度神经网络中，计算损失函数时，用到了两种损失函数的和，包括定位损失函数以及回归损失函数。

总的损失函数数学表达式为：

其中，n是匹配的defaultboxes的个数，x表示匹配了的框是否属于类别p，取值{0，1}；g是真实值；c是指所框选目标属于类别p的置信度。

在本实施例中，将标注处理后的数据集中的图像信息输入深度卷积神经网络进行训练，步骤包括根据相应的映射关系，将用于进行目标检测的特征图的每个位置映射到原图中相应的位置，并在对应位置生成预测框，计算检测物体为钢卷的概率，通过概率大小得出检测结果以及训练模型，预测框的表达式为：

[xmin，ymin，xmax，ymax，class，score]

其中，xmin、ymin分别为预测框在图像中的左上角x、y坐标值，xmax、ymax分别为预测框在图像中的右下角x、y坐标值，class为预测目标类别，score为预测结果的置信度。

映射关系的数学表达式为：

其中，iw、ih表示产生默认框的区域映射特征图的宽度和高度，cx、cy表示默认框在区域映射特征图上的中心坐标，dxmax、dxmin、dymax、dymin表示预测框左上角和右下角的坐标，lx、ly表示默认框在原图像上对应位置的中心中标。

对于得到的预测框，使用非极大值抑制算法，消除多余的预测框，找到最佳的物体检测位置，其表达式为：

其中，m为当前得分最高框，b为待处理框，s为最终得分，待处理框和m的iou越大，得分就越小，消除多余的目标框。

对于实时检测到的钢卷，使用sort跟踪算法进行钢卷追踪，有效提高检测效率并运用此结果对追踪的同一钢卷进行对中判断。

根据视频流中固定点的位置信息设定钢卷居中的判断条件，在所述目标追踪算法中，每一个目标的状态可以表示为：

其中，u，v表示目标的中心坐标，s表示目标的大小面积，r表示目标的长宽比，当进行检测框和目标的关联时，用检测框位置对目标位置进行更新，用卡尔曼滤波来估计目标的运动信息。

卡尔曼滤波时间更新表达式为：

卡尔曼滤波状态更新表达式为：

其中，为k时刻的先验状态估计值；为k-1时刻和k时刻的后验状态估计值；pk-1、pk分别表示k-1和k时刻的后验估计协方差；为k时刻的先验估计协方差；h是状态变量到测量的转换矩阵，表示将状态和观测连接起来的关系；zk为测量值；kk为滤波增益矩阵；a为状态转移矩阵；q为过程激励噪声协方差；r为测量噪声协方差；b为将输入转换为状态的矩阵；为实际观测和预测观测的残差。

对于已使用目标跟踪算法的同一钢卷，记录其于图像中的位置众数，判断是否停下，表达式为：

其中，l为众数所在组的精确下限，u表示众数所在组的精确上限，fb为众数所在组次数与其下限的邻组次数之差，fa为众数所在组次数与其上限的邻组次数之差，i为众数所在组组距。

当计算出的钢卷位置坐标众数不变次数达到阈值时，钢卷判断为已停下，数学表达式为：

c(mo(n)＝mo(n-1))＝threshold

其中，mo(n)、mo(n-1)为第n次与第n-1次的位置众数，c(mo(n)＝mo(n-1))为前后所得位置众数相等的次数，threshold为所设阈值。

对于已停下的钢卷，计算其中线与预设中线的差值，若差值在容许范围内，则钢卷对中，表达式为：

其中，xmax、xmin为检测出来的钢卷目标框的右下角、左上角的x轴位置信息，mpre为预设中线的位置信息，t为预设容许范围。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。

本实施例还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。

本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。

在本实施例中，存储器可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在上述实施例中，说明书对“本实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”的多次出现不一定全部都指代相同的实施例。说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。

在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态ram(dram))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。