一种烧结机的台车箅条图像摄取方法及系统与流程

本申请涉及烧结机技术领域，特别涉及一种烧结机的台车箅条图像摄取方法。此外，本申请还涉及一种烧结机的台车箅条图像摄取系统。

背景技术：

烧结是将各种粉状含铁原料配入适量的燃料、溶剂和水经过混合和造球后再烧结设备上使物料发生一系列物理化学变化，将矿粉颗粒粘结成块的过程。烧结作业是烧结生产的中心环节，它包括布料、点火和烧结等主要工序，烧结作业中的关键设备就是烧结机。请参考图1，图1为现有技术中一种烧结机的结构示意图。

如图1所示，烧结机包括台车101、炉缸层物料仓102、烧结混料仓103、点火炉104、头部星轮105、尾部星轮106、烧结矿破碎机107、风箱108及抽风机109等。带式烧结机是由头尾星轮带动的装有混合料的台车并配有点火、抽风装置的烧结机械装备。台车是首尾相连在封闭的轨道上连续运行的，如图1中上下两层的轨道上铺满了台车，一个烧结机包含上百个台车。含铁混合料通过给料装置下料到台车上后，点火装置将表面物料点燃，台车底部下方有一系列风箱，风箱一端为大型抽风机，通过抽风使台车装满的物料从表面向台车底部逐渐燃烧。

在台车上铺设有箅条。烧结机箅条作为台车的重要组成部件，箅条出现故障后可能导致漏料、透气性不佳等情况，因此其状态的好坏直接影响烧结的生产的正常运行和烧结质量的好坏。箅条就是固定在台车横梁上，用来承载物料并保证烧结反应的透气性。由于烧结台车是24h不间断运行，在矿物重量、抽风负压以及反复高温作用下，箅条容易损坏，箅条损坏后导致的不利影响有：

第一、箅条缺失。箅条断裂脱落后，会增加单排箅条的间隙宽度，当间隙过大时烧结混合料会从间隙孔中落入烟道，使料面形成“老鼠洞”。

2)箅条倾斜。箅条倾斜程度受箅条磨损和缺失的影响，当箅条倾斜过度时，箅条将无法卡在台车本体上，形成大面积脱落。

3)箅条间隙糊堵。烧结矿料堵塞在箅条间隙，大面积堵塞使得烧结反应的透气性变差，影响烧结矿质量。

此外，由于具有两个相机，因而需要对图像进行拼接，在拼接时，选取有效的包括大部分箅条的图像，也是一个急需解决的问题。

技术实现要素：

本申请要解决的技术问题为提供一种烧结机的台车箅条图像摄取方法，该方法的设计能够提取出有效的箅条图像，从而非常方便的完成了对箅条全局图像的拼接。此外，本申请还提供一种一种烧结机的台车箅条图像摄取系统。

为解决上述技术问题，本申请提供一种烧结机的台车箅条图像摄取方法，所述图像摄取方法包括如下步骤：

对采集的箅条图像进行roi提取，得到roi提取后的图像；

将所述roi提取后图像分割为与箅条排数相等的若干部分；

将分割后的每一排的图像进行外轮廓提取；

对提取的轮廓大小进行判断，构成轮廓的像素点数大于或等于设定阈值时，则判定为箅条外轮廓，若构成轮廓的像素点的数量小于设定阈值，则判定认为是图像中其他纹理变化形成的轮廓，为无效轮廓；统计每个子区域内符合条件的轮廓数量。

可选的，所述图像摄取方法还包括如下步骤：

通过如下公式求得各排轮廓值的平均值：

可选的，所述图像摄取方法还包括如下步骤：

通过如下公式求得各排轮廓值的均方差：

可选的，所述图像摄取方法还包括：

采用深度学习算法提取箅条的四个角点，进行全景图粗定位，基于角点再进行透视变换，从而展平图像。

可选的，所述图像摄取方法还包括：

训练深度学习网络，得到深度网络模型：

通过手动标定训练样本，标定样本保证角点位于预测框的中心，并根据预测框的大小得到角点的坐标值。

可选的，所述图像摄取方法还包括：

测试时，将全景图粗定位的四个角点图像输入训练好的深度网络模型，得到角点在预测框中的坐标(x,y)，根据如下转换公式，得到角点在原图中的坐标值：

左上角c_lt：(x+mg,y)

左下角c_lb：(x+mg,h-sq+y)

右上角c_rt：(w-mg-sq+x,y)

右下角c_rb：(w-mg-sq+x,h-sq+y)

其中，h表示原图的长，w表示原图的宽，mg表示距离左右边缘的距离，sq表示预测框的长宽。

可选的，所述图像摄取方法还包括：

基于四个角点在原图中的坐标值，采用如下四点透视变换对图像进行展平，透视变换公式为：

其中，为透视变换矩阵，

为已知的需要移动的点，

为转换后的目标点。

可选的，取方法还包括：

已知四个角点的坐标值，对如下透视变换矩阵进行计算，得到其值：

。

此外，为解决上述技术问题，本申请还提供一种烧结机的台车箅条图像摄取系统，所述图像摄取系统包括：

roi提取单元，用于对采集的箅条图像进行roi提取，得到roi提取后的图像；

分割单元，用于将所述roi提取后图像分割为与箅条排数相等的若干部分；

外轮廓提取单元，用于将分割后的每一排的图像进行外轮廓提取；

判断单元，对提取的轮廓大小进行判断，构成轮廓的像素点数大于或等于设定阈值时，则判定为箅条外轮廓，若构成轮廓的像素点的数量小于设定阈值，则判定认为是图像中其他纹理变化形成的轮廓，为无效轮廓；统计每个子区域内符合条件的轮廓数量。

可选的，所述图像摄取系统还包括：

深度学习变换单元，用于采用深度学习算法提取箅条的四个角点，进行全景图粗定位，基于角点再进行透视变换，从而展平图像；

所述深度学习变换单元包括：

深度网络模型子单元，用于训练深度学习网络，得到深度网络模型：通过手动标定训练样本，标定样本保证角点位于预测框的中心，并根据预测框的大小得到角点的坐标值。

在本申请一种实施例中，本申请提供的一种烧结机的台车箅条图像摄取方法，所述图像摄取方法包括如下步骤：对采集的箅条图像进行roi提取，得到roi提取后的图像；将所述roi提取后图像分割为与箅条排数相等的若干部分；将分割后的每一排的图像进行外轮廓提取；对提取的轮廓大小进行判断，构成轮廓的像素点数大于或等于设定阈值时，则判定为箅条外轮廓，若构成轮廓的像素点的数量小于设定阈值，则判定认为是图像中其他纹理变化形成的轮廓，为无效轮廓；统计每个子区域内符合条件的轮廓数量。

该方法的设计能够提取出有效的箅条图像，从而非常方便的完成了对箅条全局图像的拼接。

附图说明

图1为现有技术中一种烧结机的结构示意图；

图2为本申请一种实施例中一种烧结机的台车箅条图像摄取方法的功能框图；

图3为本申请中烧结机的部分结构示意图；

图3-1为本申请一种实施例中一种烧结机的台车箅条图像摄取方法的逻辑流程图；

图4为箅条图像摄取装置获取的无效roi图和有效roi图的对比图；

图5为本申请一种实施例拼接好的全局图片示意图；

图6为本申请一种实施例中角点定位流程图；

图7为在图5的基础上角点的图像位置示意图；

图8为裁剪后的图像示意图；

图9为手动标定方式的图像示意图；

图10为角点检测结果的示意图；

图11台车角点校正前后对比图像示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型.

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的系统功能结构请参考图2，图2为本申请一种实施例中一种烧结机的台车箅条图像摄取方法的功能框图。

如图2所述，功能模块包括图像采集装置、数据与模型存储、图像获取、参数输出、特征参数计算、智能诊断模型、状态输出等。其中，其中图像采集装置将采集的图像进行预处理，并存储到数据与模型存储模块中。数据与模型存储输出箅条图像到图像获取模块中，输出特征参数到参数获取模块中。特征参数计算模型中的参数也会存储到数据与模型存储模块中。

图像采集装置具体可以参照图3，图3为本申请中烧结机的部分结构示意图。

(1)图像采集装置

本发明在机头上层检修平台位置安装一套图像采集装置，结构如图3所示，包括相机201、光源202和安装支架,用来采集台车203上的箅条的图像。根据视野大小、镜头参数、相机参数等，选择合适的一台或多台相机采集。图3中为采用两台相机同步获取箅条图像的示例。

安装在此位置，采集的图像如下所示，分为有效图和无效图。具体请参考图4，图4为图3中箅条图像摄取装置获取的无效roi图和有效roi图的对比图。

识别台车箅条故障中有用的图，有效图为三排箅条全部出现在相机视场中的图，为此需要对相机采集的视频图像进行在线分析。

首先感兴趣区域roi提取，即台车底部三排箅条完整出现的视频中的大致区域。通过roi提取，可以减少箅条区域外一些物体对算法的干扰，能降低处理难度。无效图和有效图经过处理后得到的结果如图4所示，其中图4中左侧图为无效roi图，右侧图为有效roi图。

有效图像的roi中为三排箅条，无效图像中部分区域包括箅条，部分区域为台车本体等。台车本体的特征及轮廓数量少于箅条，根据轮廓数量可以筛选箅条图像。然后再将roi划分为三个子区域，对每个子区域采用算法提取外轮廓，计算每排外轮廓的数量，如果数量都超过阈值，则判定为有效图形，如存在小于阈值则为无效图像。

判断为有效图像后，将该时刻点的左右两侧相机图像传至图像拼接模块，采用sift、surf、fast等图像拼接算法，将左右两侧图像进行拼接，得到全局图像，全局图像请参考图5，图5为本申请一种实施例拼接好的全局图片示意图。

本装置获取图像时，其获取图像的位置点是发生变化的，因此不能保证台车底面与相机镜头面平行，即台车一侧箅条离相机距离比另一侧的近，此时成像会有一定畸变。为纠正该畸变，本系统采用了深度学习算法提取箅条的四个角点，基于角点再进行透视变换，从而展平图像。角点定位的流程请参考图6，图6为本申请一种实施例中角点定位流程图。

如图6所示，该角点定位流程包括：训练全景图、图像裁剪、角点坐标标定、训练深度网络、深度网络模型、裁剪图中角点坐标、全景图中角点坐标。在上述流程的基础上，获取实时全景图，进行图像裁剪，然后通过深度网络模型，裁剪图中的角点坐标，然后得到全景图中的角点坐标。

由于环境的复杂性、角度的不确定性，直接采用轮廓和特征点查找的传统方法难以实现精准定位，因此角点定位采用的是深度学习算法。

首先对图像进行预处理，角点定位主要是台车底部四个边角区域，为了减少冗余数据，提高训练速度，先对图像进行裁剪，获得角点图像，如图7所示的四个区域：c_lt、c_lb、c_rt、c_rb，图7为在图5的基础上角点的图像位置示意图。

提取含角点的目标图像其大小一致，且距离原图边缘的距离也一致，mg表示目标区域一侧距离左右边缘的距离，如图7所示，sq表示目标区域框的长宽。得到裁剪后的图片如图8所示，图8为裁剪后的图像示意图。

然后对裁剪好的图像进行标定，其标定方式为在裁剪后的图中利用边长固定的正方形预测框bbox，将角点标出，要求尽量让角点位于bbox的中心，如图9所示，图9为手动标定方式的图像示意图。

利用bbox中心点在裁剪目标图中的坐标值作为角点在裁剪图中的坐标值，例如：

已知预测框在目标框内的坐标为(x,y)，将目标框内的坐标换算到原图中的真实坐标，其计算方式为：

左上角c_lt：(x+mg,y)

左下角c_lb：(x+mg,h-sq+y)

右上角c_rt：(w-mg-sq+x,y)

右下角c_rb：(w-mg-sq+x,h-sq+y)

其中，h表示原图的长，w表示原图的宽，

得到大量标定好的图像后，选择合适的用于目标检测的深度网络模型，将标定好的图像作为模型的输入，训练得到用于角点检测的网络模型。

得到的实时全景图像，与训练图像进行相同的预处理，得到四个目标区域，将四个区域图像输入训练好的深度模型，深度网络检测得到角点的定位框图，如图10所示，图10为角点检测结果的示意图。得到角点定位框的坐标后，根据框的大小可以得到定位框的中心坐标(即用来表示角点的坐标)(x,y)，根据目标框到原图坐标变换公式，可以得到需要定位的四个角点的坐标值。

得到箅条的四个角点后，采用四点透视变换对图像进行展平。透视变换公式为：

其中，为透视变换矩阵

已知需要移动的点

为转换后的目标点

已知四个角点，求解三元一次方程，可以计算出透视变换矩阵，利用变换矩阵实现图像转换。

需要说的是，对上述“已知需要移动的点”做出解释说明如下：

是所有的点都需要进行变换，首先透视变换矩阵a是未知的，根据角点在原图中的四个坐标和需要映射空间内的四个坐标，可以计算出变换矩阵a(三元一次方程求解)然后将原图所有的点经过透视变换矩阵a计算得到目标图像(及透视矫正之后的图像)。这里用的是通用的透视变换公式介绍的，本方法实现的时候采用的opencv的变换函数，检测出四个点输入函数就可以计算出变换矩阵，然后根据变换矩阵再求映射后的图像。

此外，涉及上述“目标点”，为通过变换矩阵得到的校正后的图像的所有点为目标点。

通过角点校正，得到的前后图像的可以按照图11所示，图11台车角点校正前后对比图像示意图。

以上便是本申请在场景中的技术方案介绍。针对该具体的技术方案，本申请还做如下介绍。

请参考图3-1，图3-1为本申请一种实施例中一种烧结机的台车箅条图像摄取方法的逻辑流程图。

在一种实施例中，如图3-1所示，一种烧结机的台车箅条图像摄取方法，图像摄取方法包括如下步骤：

步骤s01：对采集的箅条图像进行roi提取，得到roi提取后的图像；

步骤s02：将roi提取后图像分割为与箅条排数相等的若干部分；

步骤s03：将分割后的每一排的图像进行外轮廓提取；

步骤s04：对提取的轮廓大小进行判断，构成轮廓的像素点数大于或等于设定阈值时，则判定为箅条外轮廓，若构成轮廓的像素点的数量小于设定阈值，则判定认为是图像中其他纹理变化形成的轮廓，为无效轮廓；统计每个子区域内符合条件的轮廓数量。

该方法的设计能够提取出有效的箅条图像，从而非常方便的完成了对箅条全局图像的拼接。

在上述实施例中，可以做出进一步改进设计。比如，图像摄取方法还包括如下步骤：

通过如下公式求得各排轮廓值的平均值：

图像摄取方法还包括如下步骤：

通过如下公式求得各排轮廓值的均方差：

需要说明的，将roi区域再分为上、中、下三部分，有效时，上、中、下三部分分别为台车的三排箅条，无效时，其中一部分可能为台车本体。台车本体与箅条的纹理结构不同，因此可对三个部分进行外轮廓提取，得到三个区域的轮廓，upcontours，midcontours，downcontours，每个变量中存储了该区域内检测到的所有轮廓。设定箅条外轮廓大小的阈值contourssize。

ifupcontours[i]>＝contourssize:upnum＝upnum+1

ifmidcontours[i]>＝contourssize:midnum＝midnum+1

ifdowncontours[i]>＝contourssize:downnum＝downnum+1

upnum、midnum、downnum的初始值为0，用来统计三排箅条中满足条件的轮廓数量。通过设定判定条件，利用箅条大小的先验条件，筛除一些小的边缘点。

需要说明的是，无效图为台车底部未完全进入到相机视场中的图，因此图像中包含台车本体或其他区域，此时其他区域的纹理是较少的，而有效图为台车底部全部进入相机视场中的图，此时台车底部三排箅条都出现在相机中，纹理数量都很多。本专利也是利用该原理来获取有效图像。

此外，为剔除小的噪点轮廓对统计箅条数量造成干扰，需要对所有轮廓进行筛选，如果构成一个轮廓的边缘点数小于阈值contourssize，则剔除该轮廓。最后统计每个区域中剩下的轮廓的总数量upnum、midnum、downnum。

有效时，检测到的三排箅条数量会接近，计算三组数量方差：

表示三排轮廓数量的平均值，s²表示三排轮廓数量的标准差。根据三排轮廓的数量和数量的离散程度判断当前图像是否为有效图像。

两个相机采集频率一致，分析一侧相机满足有效图像标准后，将两侧相机的图像同时上传至系统，进行图像拼接处理，从而得到整个台车底部完整的箅条图像。

在上述实施例中，还可以做出进一步设计。

比如，图像摄取方法还包括：

采用深度学习算法提取箅条的四个角点，进行全景图粗定位，基于角点再进行透视变换，从而展平图像。图像摄取方法还包括：

训练深度学习网络，得到深度网络模型：

通过手动标定训练样本，标定样本保证角点位于预测框的中心，并根据预测框的大小得到角点的坐标值。

进一步的，图像摄取方法还包括：

测试时，将全景图粗定位的四个角点图像输入训练好的深度网络模型，得到角点在预测框中的坐标(x,y)，根据如下转换公式，得到角点在原图中的坐标值：

左上角c_lt：(x+mg,y)

左下角c_lb：(x+mg,h-sq+y)

右上角c_rt：(w-mg-sq+x,y)

右下角c_rb：(w-mg-sq+x,h-sq+y)

其中，h表示原图的长，w表示原图的宽，mg表示距离左右边缘的距离，sq表示预测框的长宽。

进一步的，图像摄取方法还包括：

基于四个角点在原图中的坐标值，采用如下四点透视变换对图像进行展平，透视变换公式为：

其中，为透视变换矩阵，

为已知的需要移动的点，

为转换后的目标点。

图像摄取方法还包括：

已知四个角点的坐标值，对如下透视变换矩阵进行计算，得到其值：

。

与上述方法实施例相对应，本申请还提供一种装置实施例。

在一种实施例中，一种烧结机的台车箅条图像摄取系统，图像摄取系统包括：

roi提取单元，用于对采集的箅条图像进行roi提取，得到roi提取后的图像；

分割单元，用于将roi提取后图像分割为与箅条排数相等的若干部分；

外轮廓提取单元，用于将分割后的每一排的图像进行外轮廓提取；

判断单元，对提取的轮廓大小进行判断，构成轮廓的像素点数大于或等于设定阈值时，则判定为箅条外轮廓，若构成轮廓的像素点的数量小于设定阈值，则判定认为是图像中其他纹理变化形成的轮廓，为无效轮廓；统计每个子区域内符合条件的轮廓数量。

进一步的，图像摄取系统还包括：

深度学习变换单元，用于采用深度学习算法提取箅条的四个角点，进行全景图粗定位，基于角点再进行透视变换，从而展平图像；

深度学习变换单元包括：

深度网络模型子单元，用于训练深度学习网络，得到深度网络模型：通过手动标定训练样本，标定样本保证角点位于预测框的中心，并根据预测框的大小得到角点的坐标值。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等，意味着结合该实施例描述的具体特征、部件或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、部件或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、部件或特性可全部或部分地与一个或多个其他实施例的特征、部件或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“终端”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。