一种新型CBOCP在线红外转炉出钢钢流自动检测与跟踪方法及系统与流程

本发明涉及检测技术中最小外接矩形检测技术和目标跟踪技术，尤其涉及目标跟踪技术中cbocp(camshiftbasedoncontourfeatures)跟踪算法，并且更具体地涉及基于的钢流自动检测与跟踪系统。

背景技术：

近年来，钢铁企业对提升产品档次、改善钢水质量、降低冶炼成本的要求越来越高，转炉出钢过程中钢渣含量的检测具有重要的意义。减少转炉出钢时的下渣量是提高转炉炼钢产品的质量，提高钢水收得率，降低炼钢生产成本最有效的途径之一。目前，国内外使用较多的转炉出钢检测方法有：人工视觉观察法、电磁检测法和红外图像法。人工视觉观察法，依赖于工人的现场主观判断是否停止出钢，具有很大的主观性。电磁检测法，根据钢水和钢渣的磁导率不同、次级线圈电压的变化反映钢渣含量情况，具有准确和实时的检测优势，但电磁线圈安装过程繁琐，且长期暴露在高温环境下，使用寿命短，维护费用高。红外图像法，利用钢水和钢渣的红外辐射温度差异，转换成图像，经图像处理后，检测其中钢渣的含量并分析渣占比，渣占比超过阈值后报警并启动挡渣操作，提高钢水质量。转炉下渣中利用红外图像实时检测下渣，具有不受光源、高温热源的影响，远距离监控等优点，在钢铁行业得到广泛的应用。

红外转炉钢渣检测传统方法存在将钢口钢渣、钢包溅渣识别为钢流钢渣的误差，导致渣占比偏大，提前进行挡渣操作，钢水收得率低。系统实时性较差。且在出钢时加合金过程中，因化学反应产生浓烟，遮挡钢流而无法获知实际出钢情况。对此，一种新型cbocp在线红外转炉出钢钢流自动检测与跟踪方法，采用二值法分割钢流图像，检测目标轮廓特征并标定最小外接矩形，实现全自动跟踪。增加相邻两帧图像跟踪框质心欧氏距离判断和矩形轮廓的相似性，解决了提前挡渣和无法观测倾角变化的问题。

技术实现要素：

本发明要解决的技术问题是，针对传统远红外在线出钢钢渣含量检测方法实时性差，停止出钢时间判断不准确，钢包因加合金产生烟尘遮挡，不利于监测转炉倾角状态等问题，采用在远红外图像检测系统加入一种新型cbocp在线红外转炉出钢钢流自动检测与跟踪方法。采用本发明方法，降低了钢水含渣量，准确判断出钢时间，可实时监测转炉倾角变化。

本发明提供的一种新型cbocp在线红外转炉出钢钢流自动检测与跟踪方法，其特征在于包括以下步骤：

红外钢流图像采集过程。

红外钢流图像的处理。

红外钢流目标的检测。

前后帧跟踪框是否漂移和遮挡的判定。

远红外摄像头采集到钢流红外图像后，就进行钢流目标的检测与跟踪并进行跟踪框移动距离的判定。其中红外钢流图像的处理包括图像预处理和图像后处理，其中预处理分为双边滤波、直方图均衡化、闭运算和二值化等四个步骤。在预处理的过程中采用闭运算进行形态学处理，通过填充图像的凹角来滤波图像的，排除小型黑洞，而总的位置和形状不变，调整检测到的第一帧跟踪框的大小。

cbocp在线红外转炉出钢钢流自动检测与跟踪方法方案如下：

1.设定合适的二值化阈值q。

为使得二值化以后的前景区域主要由钢流目标组成，背景区域为除钢流以外的的区域，设置二值化阈值为317-338之间。

2.检测钢流矩形轮廓。

3.cbocp算法进行跟踪。

4.确定跟踪图像。

具体过程如下：

1)检测钢流矩形轮廓：

(1)将二值化后的图像按照从左至右，从上至下扫描每一个像素点。

(2)当像素点(i，j)的像素满足值为1且(i，j)左侧的所有像素点如(i，j-1)的像素值为0，且按有序数字递增的最外层边界数nbd＝0时，(i，j)定义为外边界的开始点位置。

(3)沿着开始点标记边界上的像素，标记方法为：如果当前轮廓是在0像素区域(包含(p，q+1)位置的像素点)和1像素区域(包含(p，q)位置的像素点)，则将(p，q)处的像素值改为-2；其他情况将(p，q)点的像素改为2，因为图片最左列、最右列、最上列和最下列为图片框架，被设置为1。

(4)扫描过程中，非边界非零点的像素值赋值为nbd，每重新扫描一行时nbd置0。

(5)由边缘轮廓标记得到的外部边界曲线坐h＝{(x1，y1)，(x2，y2)，(x3，y3)…(xn，yn)}。

xg-xh＝a，yg-yh＝b(1)

式中：h为外部边界曲线、xg、xh分别为外部曲线边界最大横坐标和最小横坐标，yg、yh为外部曲线边界最大纵坐标和最小纵坐标，a，b分别为最小外接矩形的长和宽。

(6)将获得的以a和b为长宽的矩形轮廓作为下面cbocp跟踪的初始化搜索框。

2)cbocp算法进行跟踪：

(1)使用上述所得矩形轮廓作为cbocp算法的初始化搜索框，对初始化区域进行统计得到颜色直方图，根据颜色直方图反向投影得到当前帧的概率分布图。

(2)根据颜色概率分布图计算搜索框w1的零阶矩m00，一阶矩m10和m01，得到新的搜索框w2，由零阶矩和一阶矩得到w2质心位置(xc，yc)，调整搜索框w2的大小s，最后移动搜索窗口w1的中心(xc1，yc1)到w2的质心(xc2，yc2)，当质心的移动距离收敛于设定的阈值时停止迭代，否则返回步骤(1)执行，收敛后读取下一帧图像并以当前框的位置信息作为下一帧的初始搜索框，重复执行步骤(1)和(2)。

其中，i(x，y)为图形中坐标点(x，y)处的像素值；m00为零阶矩，m10为一阶矩即x的期望值，m01对y的期望值；xc、yc分别为质心横坐标和纵坐标。

m20＝∑∑x²i(x，y)，m02＝∑∑y²i(x，y)(5)

其中m20和m02分别求矩形框中x和对y的平方求期望，θ为搜索框的旋转角度。

其中l和w分别为搜索框的长和宽。

3)判断前后两帧跟踪框质心移动距离d

设置阈值d判断是否出现跟踪漂移和丢失，d为相邻前后两帧cbocp跟踪框中心距离，d的取值范围为0-0.4m。

其中，(x1，y1)和(x2，y2)分别为相邻前后两帧搜索框质心坐标点，当d小于或等于0.4m时，继续使用cbocp跟踪；当d大于0.4m时，重新使用上述方法检测钢流矩形轮廓，更新钢流的位置信息，更新cbocp搜索框和其颜色特征。

通过结合以下附图，阅读本发明实施方式的详细描述后，本发明的其他特征、特点和优点将会变得更加清楚。

4)确定跟踪图像

本发明还提供了一种基于cbocp钢流自动检测跟踪装置系统，其特征在于，它包括：

转炉出钢系统，高温红外热像仪转炉出钢监控对象。

红外滤波衰减片，将红外光干扰信号过滤掉，去掉干扰信号。

红外长焦镜头，用于获取所需红外光信号。

保护罩，用于保护红外热像仪。

红外热像仪，用于获取转炉出钢温度信号和图像信号。

dsp处理器，用于对红外热像仪的输出信号进行信息处理。

计算机监控dcs系统，对采集的出钢钢流的图像和温度信息，并进行监控和分析处理，实时计算显示出钢流中渣占比和转炉出钢状况。

控制网络cnet，用于进行计算机监控dcs系统和plc系统的网络通讯联系，彼此交换信息。

plc系统，根据计算机监控dcs系统的分析结果对转炉出钢系统进行相应调节和控制。

i/o接口模块，对plc系统的信息进行输入输出处理。

系统通过红外热像仪，获取转炉出钢温度信号和图像信号，利用dsp处理器，对红外热像仪的输出信号进行信息处理，将dsp处理后的信息送到计算机监控dcs系统，对采集的出钢钢流的图像和温度信息，并进行监控和分析处理，实时计算显示出钢流中渣占比和转炉出钢状况，并通过控制网络cnet，进行计算机监控dcs系统和plc系统的网络通讯联系，彼此交换信息；plc系统，根据计算机监控dcs系统的分析结果对转炉出钢系统进行相应调节和控制，而i/o接口模块，则对plc系统的信息进行输入输出处理。

附图说明

图1是根据本发明的一种新型cbocp的在线红外转炉出钢钢流自动检测与跟踪方法的检测与跟踪过程流程图；

图2示出获得图1一种新型cbocp的在线红外转炉出钢钢流自动检测与跟踪方法图像预处理的流程图；

图3示出获得图1一种新型cbocp的在线红外转炉出钢钢流自动检测与跟踪方法中检测钢流矩形轮廓流程图；

图4示出获得图1一种新型cbocp的在线红外转炉出钢钢流自动检测与跟踪方法中进行跟踪流程图；

图5示意性示出一种新型cbocp在线红外转炉出钢钢流自动检测与跟踪系统装置图，图1到图4中所示的钢流自动检测与跟踪过程可在该系统中实现；

图6示出本发明的最终实验效果图。

具体实施方式

下面将结合附图对本发明的具体实施方式进行详细说明。

图1是根据本发明一种新型cbocp的在线红外转炉出钢钢流自动检测与跟踪方法的过程流程图。

在步骤101，对钢流检测与跟踪的硬件系统进行初始化。

在步骤102，红外摄像头采集第一帧红外图像数据，获取相关信息。

在步骤103，对红外钢流图像进行预处理。

在步骤104，检测钢流最小外接矩形轮廓。

在步骤105，进行cbocp跟踪。

在步骤106，计算判断是否出现跟踪漂移和跟踪丢失。

在步骤107，将步骤106中的结果输送到钢流检测与跟踪系统的硬件平台。

图2示出获得图1一种新型cbocp的在线红外转炉出钢钢流自动检测与跟踪方法中钢流图像预处理的流程图。

在步骤201，红外钢流图像预处理工作开始。

在步骤202，对红外钢流图像进行双边滤波，对输入的噪声较多的灰度图像进行滤波处理，去除图像中的叉连、断点及模糊不清的部分，得到一幅较清晰的灰度图像。

在步骤203，对红外钢流图像进行增强。

在步骤204，对红外钢流图像进行闭运算，通过填充图像的凹角来滤波图像，排除小型黑洞，而总的位置和形状不变，为检测到的第一帧跟踪框的大小做好准备工作。

在步骤205，对红外钢流图像进行二值化处理，把灰度图像变成一幅二值图像，设置二值化阈值区间为317-337，保留图像前景目标大部分为钢流图像，去除大部分的背景图像，提高最小外接矩形框的准确率。

在步骤206，红外钢流图像预处理结束；红外钢流图像预处理结束后，检测钢流最小外接矩形轮廓，即图1中的步骤103。

图3示出获得图1一种新型cbocp的在线红外转炉出钢钢流自动检测与跟踪方法中钢流图像最小外接矩形框获取算法的总体示意图。

在步骤301，开始逐行扫描像素点，按照从左至右，从上至下扫描每一个像素点。

在步骤302，定义为外边界的开始点位置，当像素点(i，j)的像素值为1且(i，j)左侧的所有像素点如(i，j-1)的像素值为0，且按有序数字递增的最外层边界数nbd＝0时，(i，j)定义为外边界的开始点位置。

在步骤303，定义外边界轮廓标记方法，沿着开始点标记边界上的像素，标记方法为：如果当前轮廓是在0像素区域(包含(p，q+1)位置的像素点)和1像素区域(包含(p，q)位置的像素点)，则将(p，q)处的像素值改为-2；其他情况将(p，q)点的像素改为2，因为图片最左列、最右列、最上列和最下列为图片框架，被设置为1。

在步骤304，选取面积符合要求的最小外接矩形框轮廓，由边缘轮廓标记得到的外部边界曲线坐标l。

在步骤305，结束矩形框钢流图像最小外接矩形框获取算法。

图4示出获得图1一种新型cbocp的在线红外转炉出钢钢流自动检测与跟踪方法中在cbocp跟踪算法流程图。

在步骤401，获取一帧图片且有rgb转为hsv空间，提取h通道。

在步骤402，以检测到的最小外接矩形轮廓初始化搜索框。

在步骤403，窗口中心不变，适当放大窗口面积，为了便于确定搜索框中心、长和宽，初始搜索框的面积最好是大于或等于3的奇数。

在步骤404，计算窗口区域颜色直方图。

在步骤405，由步骤404的区域颜色直方图得到反向投影图，即颜色概率分布图。

在步骤406，调整窗口的中心到质心，重置计算区域。根据颜色概率分布图计算第一帧搜索框w1的零阶矩m00，一阶矩m10和m01，得到新的搜索框w2，由零阶矩和一阶矩得到w2质心位置(xc，yc)，调整搜索框w2的大小s。

在步骤407，移动搜索窗口w1的中心iw1(xc，yc)到w2的质心iw2(xc，yc)，当质心的移动距离收敛于设定的阈值时停止迭代。否则循环执行步骤505、506和507。

在步骤408，得到搜索框的质心和大小。

在步骤409，显示最终搜索框于当前帧。

在步骤410，计算县令前后两帧跟踪框中心点的欧氏距离。

在步骤411；判断质心移动距离，满足条件执行步骤412，否则执行步骤413即重新检测本帧图片的最小外接矩形轮廓。

在步骤412，判断当前帧数m是否小于总帧数n，小于总帧数时执行步骤414，否则执行416，结束跟踪过程。

在步骤414，获取下一帧图像，且由rgb转为hsv空间，提取h通道。

在步骤415，更新搜索框矿的中心和大小。后面顺序循环执行403、404等。

在步骤416，结束跟踪。

图5示意性示出一种新型cbocp在线红外转炉出钢钢流自动检测与跟踪系统装置，图1到图4中所示的钢流自动检测与跟踪过程可在该系统中实现。

整个系统包括：转炉出钢系统(501)、红外滤波衰减片(502)、红外长焦镜头(503)、保护罩(504)、红外热像仪(505)、dsp处理器(506)、计算机监控dcs系统(507)、控制网络cnet(508)、plc系统(509)、i/o接口模块(510)。

转炉出钢系统(501)，高温红外热像仪转炉出钢监控对象。

红外滤波衰减片(502)，将红外光干扰信号过滤掉，去掉干扰信号。

红外长焦镜头(503)，用于获取所需红外光信号。

保护罩(504)，用于保护红外热像仪。

红外热像仪(505)，用于获取转炉出钢温度信号和图像信号。

dsp处理器(506)，用于对红外热像仪的输出信号进行信息处理。

计算机监控dcs系统(507)，对采集的出钢钢流的图像和温度信息，并进行监控和分析处理，实时计算显示出钢流中渣占比和转炉出钢状况。

控制网络cnet(508)，用于进行计算机监控dcs系统和plc系统的网络通讯联系，彼此交换信息。

plc系统(509)，根据计算机监控dcs系统的分析结果对转炉出钢系统进行相应调节和控制。

i/o接口模块(510)，对plc系统的信息进行输入输出处理。

技术方案是：系统通过红外热像仪(505)，获取转炉出钢温度信号和图像信号，利用dsp处理器(506)，对红外热像仪的输出信号进行信息处理，将dsp处理器(506)处理后的信息送到计算机监控dcs系统(507)，对采集的出钢钢流的图像和温度信息，并进行监控和分析处理，实时计算显示出钢流中渣占比和转炉出钢状况，并通过控制网络cnet(508)，进行计算机监控dcs系统(507)和plc系统(509)的网络通讯联系，彼此交换信息；plc系统(509)，根据计算机监控dcs系统(507)的分析结果对转炉出钢系统进行相应调节和控制，而i/o接口模块(510)，则对plc系统(509)的信息进行输入输出处理。

图6出示一种新型cbocp在线红外转炉出钢钢流自动检测与跟踪方法在目标遮挡和搜索框漂移情况下的跟踪效果图。

在有遮挡的情况下也能够实现准确跟踪，且不丢失目标，提高算法运行的速度和判断停止出钢的精确度。

本发明主要提供了一种新型cbocp的在线红外转炉出钢钢流自动检测与跟踪方法及系统，即一种新型基于轮廓特征的cbocp(camshiftbasedoncontourfeatures)在线红外转炉出钢钢流自动检测与跟踪方法及系统。上述方案中，一种有圆弧边界的变电站指针式仪表自动识别方法，是基于windows7操作系统下，visualstudio2017，以及版本为3.1.4的开源opencv库。

本发明提供了一种新型cbocp的在线红外转炉出钢钢流自动检测与跟踪方法，当存在和钢流相似颜色的粉尘状颗粒物遮挡时，能够克服传统算法丢失目标和目标漂移的现象，实现自适应准确跟踪。实验结果表明，该方法避免了转炉倾角变化无法准确计算含渣量的情况，为后期钢渣的渣占比计算提高了精确度，增加了钢水的收得率。

一种新型cbocp在线红外转炉出钢钢流自动检测与跟踪方法及系统的有益效果和优点：根据本发明方法及系统，进行钢流检测与跟踪，能够自适应跟踪框的大小、精确跟踪到目标且算法复杂度底、计算量小、实时性好，有效地解决了钢流遮挡时目标丢失和漂移问题。该检测与跟踪方法及系统可用于钢铁企业。

近年钢铁企业对提高钢水收得率、提高钢厂效益、降低成本的要求较高，用该方法及系统将会有较好的市场前景。