一种粗轧过程板带显式板形在线视觉检测系统及方法与流程

1.本发明涉及轧钢领域热轧厂粗轧阶段板带显式板形在线实时检测技术领域，具体而言，尤其涉及一种粗轧过程板带显式板形在线视觉检测系统及方法。


背景技术：

2.国家越来越重视工业的发展，而钢铁行业作为工业发展的基础，在工业发展中一直起着至关重要的作用，在军舰、桥梁、建筑等都发挥了很大作用。然而，在热连轧实际生产中，常受到外界多种因素的影响，使轧件出现翘曲、下扣和镰刀弯的问题，这不仅干扰板带的生产质量与效率，还会相应的损坏设备，对整个板带生产企业发展带来不利影响。然而由于板带在生产的过程中温度过高，所以目前中国大部分钢厂测量板带粗轧过戳中下扣或翘曲的方式是停机等板带冷却下来后，人工用2m的直杠放在钢板上，用尺子进行人工测量直杠与钢板间的间隙(这种方式很少使用)或者在生产线上人工肉眼观察，这样严重制约了生产效率，并需要耗费人力。因此需要研发一种新型的非接触式测量系统对板带实现在线实时检测。
3.视觉测量技术是一门新型测量技术。视觉测量技术重点研究方向的是物体的几何尺寸及物体的位置测量，它可以广泛应用于在线测量、逆向工程等主动、实时测量过程。机器视觉系统的特点就是提高生产的柔性和自动化程度，适用于些不适合人工作业的场合。
4.机器视觉技术具有检测速度快，精度高、不接触等突出优点。视觉检测的非接触性能够排除人工操作带来的影响，而且不受时间限制，在保证设备良好的情况下可以不停机使用。机器视觉检测技术能够快速将获取的现场信息提供给控制中心，控制中心将实时展示产品的轮廓情况，这为自动化集成制造奠定了良好的基础。这种检测技术能够降低企业的检测成本，而且能够完成工业现场的多种检测任务。人们不适宜在嘈杂、高温等一些恶劣环境中工作，机器视觉检测技术就为这些工作提供了可靠保障。当产品向别的方向变化时，机器视觉检测技术就能够快速发现这种变化，然后告诉工程师及时做出调整，这就大大降低了质量不达标产品的出现。
5.综上所述，由于板带在粗轧的过程中处于高温状态，人工测量就必须等到板带冷却后方能测量，这就导致了生产过程自动化程度不高，人工检测越来越不能满足当今工业领域的要求。采用机器视觉进行检测，从而来提高检测精度、检测效率和检测自动化程度，已然成为现代检测生产先的迫切需求。因此机器视觉测量对于板带的在线实时测量就显得尤为重要，而视觉测量技术由于其具有再现性好、测量精度高、非接触测量效率高、成本低等优点，应用在板带轮廓测量上是一个不错的选择。
6.机器视觉在国内外发展比较迅速，并被广泛应用于各种领域。基于机器视觉的表面检测有：pcb印刷电路检测、stm表面贴装检测，农产品的品质检测、路况检测、产品尺寸检测、生物医药检测等，这些检测系统提高了产品的检测精度和生产效率。
7.但现有机器视觉对在线实时检测和大型物体检测是一个瓶颈，以往研究大多是针对小型零部件或物体局部的检测，这样就有很大的局限性。针对冶金行业热轧产线中显式
板形的在线实时检测，现在国内钢厂采用的显式板形检测手段多是人工测量。


技术实现要素：

8.根据上述提出现有技术难以实现粗轧板带显式板形在线实时检测的技术问题，提供一种粗轧过程板带显式板形在线视觉检测系统及方法。本发明能够在板带进行粗轧过程时，对板带的位置及三维信息进行实时检测与分析。
9.本发明采用的技术手段如下：
10.一种粗轧过程板带显式板形在线视觉检测系统，包括：板带检测系统、光栅光格结构光投射系统、图像采集系统、距离调整系统以及图像处理系统；其中：
11.所述板带检测系统，连接所述光栅光格结构光投射系统，当板带进入热检仪检测范围时，传输信号触发光栅光格结构光投射系统和图像采集系统开始工作；
12.所述图像采集系统，连接图像处理系统，用于将采集的图像信息实时传输至图像处理系统；
13.所述距离调整系统，连接光栅光格结构光投射系统和图像采集系统，用于调整所述光栅光格结构光投射系统和图像采集系统之间的距离。
14.所述图像处理系统，用于对所述图像采集系统传输的图像进行实时处理，得到板带的三维轮廓，得出板带在xoy坐标系下的二维曲线和在yoz坐标系下的二维曲线，进而判别板带翘扣头和镰刀弯的程度和类型。
15.进一步地，所述板带检测系统包括板带、传送辊道和热检仪，板带设置在传送辊道上，通过传送辊道传送板带进入热检仪检测范围。
16.进一步地，所述光栅光格结构光投射系统包括dlp投影仪，用于投射光栅光格结构光图案到所述传送辊道的表面等待板带进入结构光的范围。
17.进一步地，所述图像采集系统包括第一工业相机、第二工业相机，第一工业相机和第二工业相机相较传送辊道的中心线对称设置，并分别与dlp投影仪保持等距离的间距，且第一工业相机和第二工业相机与竖直线的夹角为60
°
，使得相机与板带侧边有一定的夹角，用于检测板带的厚度，dlp投影仪投射结构光图案为竖直方向，用于覆盖板带的上表面。
18.进一步地，所述距离调整系统包括滑轨装置、设备固定外壳；所述滑轨装置、工业相机、dlp投影仪均设置在设备固定外壳内部；设备固定外壳通过u型装置和u型吊环与人行横梯相连接；滑轨装置包括滑轨和装置支撑杆，滑轨固定在设备固定外壳的两个内测壁上，第一工业相机、第二工业相机、dlp投影仪均通过相机固定板设置在滑轨装置的横梁上方，且dlp投影仪位于横梁的中心处。
19.进一步地，所述设备固定外壳还设置有冷却装置，冷却装置包括开设在所述设备固定外壳上的入水孔、密封走线孔和出水孔，且通过水管转换接头与水管进行连接，设备固定外壳还设置有温度传感器，实时监控装置的温度，进而发送指令控制水管的水流量。
20.进一步地，所述粗轧过程板带显式板形在线视觉检测系统安装在粗轧机入口与出口处，入口处安装在距离粗轧机一定距离的位置，并带有人行横梯，出口处安装在现场已有的框架下，且都位于板带传送辊的正上方。
21.本发明还提供了一种基于上述粗轧过程板带显式板形在线视觉检测系统的粗轧过程板带显式板形在线视觉检测方法，包括：
22.通过滑轨装置调整第一工业相机、第二工业相机和dlp投影仪与板带之间的距离；
23.调整dlp投影仪投射的光栅光格结构光图案，使光栅光格结构光图案的边缘与理想板带边缘重合；
24.利用改进型张正友标定算法对粗轧过程板带显式板形在线视觉检测系统进行标定，包括第一工业相机、第二工业相机的内参数和外参数；第一工业相机、第二工业相机与dlp投影仪的相对位置矩阵，即旋转矩阵和平移矩阵；
25.当热检仪检测到板带时，发送开始工作指令，第一工业相机、第二工业相机及dlp投影仪开始工作；
26.将钢厂控制系统提供的板带的移动速度、轧机的工艺参数传输至所述粗轧过程板带显式板形在线视觉检测系统中，第一工业相机与第二工业相机同步实时拍摄图像，并根据钢厂控制系统提供的板带移动速度实时调整拍摄频次，以便于后续图像拼接；
27.将第一工业相机和第二工业相机拍摄的图像传输至图像处理系统进行相应的图像预处理，包括滤波处理、二值化处理和阈值分割；
28.利用canny算子对预处理好的图像进行三维特征点云提取；
29.对由canny算子得到的双相机同一时刻板带三维点云进行匹配，由y轴为分界线，第一工业相机采用x值为负值到0值的点，第二工业相机采用0值到正值的点，两个结果进行匹配得到此一时刻板带完整的三维数据；
30.根据得到的每一时刻完整的板带三维数据，由于拍摄频次是根据板带速度所得，识别两幅图像重合部分，用一幅图像的最后一行数据赋值给下一幅图像第一行数据，进而完成图像的拼接；
31.利用曲面拟合算法对拼接后的图像数据进行曲面拟合，得到完整的板带三维轮廓云图；
32.根据板带三维轮廓云图实时判别板带翘扣头和镰刀弯的类型和产生过程。
33.较现有技术相比，本发明具有以下优点：
34.1、本发明提供的粗轧过程板带显式板形在线视觉检测系统，能够在板带进行粗轧过程时，对板带的位置及三维信息进行实时检测与分析。
35.2、本发明提供的粗轧过程板带显式板形在线视觉检测系统，其采用左右各一个相机的双相机实现在线同步测量。
36.3、本发明提供的粗轧过程板带显式板形在线视觉检测系统，其滑轨装置可以精确控制双工业相机和dlp投影仪与板带之间的距离。
37.4、本发明提供的粗轧过程板带显式板形在线视觉检测系统，其温度传感器实时监控设备固定外壳内外部温度，进而实时控制冷却水的流量，保证检测系统的安全工作环境。
38.5、本发明提供的粗轧过程板带显式板形在线视觉检测系统，为一种热轧产线板带显式板形的非接触式双目检测系统。在保证精度和效率的同时，增加了产线的智能化程度。
39.6、本发明提供的粗轧过程板带显式板形在线视觉检测系统，具有实时性、高速性和三维轮廓可视化等优点，实现热轧产线显式板形在线实时检测。
40.基于上述理由本发明可在轧钢领域热轧厂粗轧阶段板带显式板形在线实时检测等领域广泛推广。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
42.图1为本发明系统结构示意图。
43.图2为本发明实施例提供的双目检测系统原理示意图。
44.图3为本发明实施例提供的棋盘格标定板。
45.图4为本发明检测系统标定过程的角点检测。
46.图5为本发明检测系统工作流程图。
47.图6为本发明实施例提供的图像拼接原理图。
48.图7为本发明实施例提供的图像拼接流程图。
49.图中：1、图像处理系统；2、图像采集系统；3、人行横梯；4、设备固定外壳；5、u型装置；6、第二工业相机；7、第一工业相机；8、dlp投影仪；9、滑轨装置；10、高投射性玻璃；11、板带；12、传送辊道；13、u型吊环。
具体实施方式
50.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
51.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
53.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
54.在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关
系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制：方位词“内、外”是指相对于各部件本身的轮廓的内外。
55.为了便于描述，在这里可以使用空间相对术语，如“在
……
之上”、“在
……
上方”、“在
……
上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其位器件或构造之下”。因而，示例性术语“在
……
上方”可以包括“在
……
上方”和“在
……
下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
56.此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。
57.如图1所示，本发明提供了一种粗轧过程板带显式板形在线视觉检测系统，该系统设置在粗轧机的入口处和出口处，检测系统位于传送辊道12的正上方，且检测装置的中心线与传送辊道的中心线重合，包括：板带检测系统、光栅光格结构光投射系统、图像采集系统、距离调整系统以及图像处理系统；其中：
58.所述板带检测系统，连接所述光栅光格结构光投射系统，当板带进入热检仪检测范围时，传输信号触发光栅光格结构光投射系统开始工作；
59.所述光栅光格结构光投射系统，连接所述图像采集系统，当板带进入结构光范围后，传输信号触发所述图像采集系统开始工作；
60.所述图像采集系统，连接图像处理系统，用于将采集的图像信息实时传输至图像处理系统；
61.所述距离调整系统，连接光栅光格结构光投射系统和图像采集系统，用于调整所述光栅光格结构光投射系统和图像采集系统之间的距离。
62.所述图像处理系统，用于对所述图像采集系统传输的图像进行实时处理，得到板带的三维轮廓，得出板带在xoy坐标系下的二维曲线和在yoz坐标系下的二维曲线，进而判别板带翘扣头和镰刀弯的程度和类型。
63.具体实施时，作为本发明优选的实施方式，所述板带检测系统包括板带11、传送辊道12和热检仪，板带11设置在传送辊道12上，通过传送辊道12传送板带11进入热检仪检测范围。
64.具体实施时，作为本发明优选的实施方式，所述光栅光格结构光投射系统包括dlp投影仪8，用于投射光栅光格结构光图案到所述传送辊道12的表面等待板带11进入结构光的范围。
65.具体实施时，作为本发明优选的实施方式，所述图像采集系统包括第一工业相机7、第二工业相机6，第一工业相机7和第二工业相机6相较传送辊道12的中心线对称设置，并分别与dlp投影仪8保持等距离的间距，且第一工业相机7和第二工业相机6与竖直线的夹角为60
°
，使得相机与板带11侧边有一定的夹角，用于检测板带11的厚度，dlp投影仪8投射结
构光图案为竖直方向，用于覆盖板带11的上表面。
66.具体实施时，作为本发明优选的实施方式，所述距离调整系统包括滑轨装置9、设备固定外壳4；所述滑轨装置9、工业相机、dlp投影仪8均设置在设备固定外壳4内部；设备固定外壳4通过u型装置5和u型吊环13与人行横梯3相连接；滑轨装置9包括滑轨和装置支撑杆，滑轨固定在设备固定外壳的两个内测壁上，第一工业相机7、第二工业相机6、dlp投影仪8均通过相机固定板设置在滑轨装置9的横梁上方，且dlp投影仪8位于横梁的中心处。滑轨装置9用于调整所述第一工业相机7、第二工业相机6以及dlp投影仪8与传送辊12之间的距离，实现检测系统与板带11可以保证在一个有效检测范围内，减少其他外部环境干扰；在本实施例中，第一工业相机7和第二工业相机6相较检测系统中心线对称，并分别与dlp投影仪8距离0.9m，并第一工业相机7和第二工业相机6与竖直线的夹角为60
°
，使得相机与板带侧边有一定的夹角，可以检测到板带的厚度，dlp投影仪投射结构光图案为竖直方向，正好覆盖板带的上表面；
67.具体实施时，作为本发明优选的实施方式，所述设备固定外壳4还设置有冷却装置，冷却装置包括开设在所述设备固定外壳4上的入水孔、密封走线孔和出水孔，且通过水管转换接头与水管进行连接，设备固定外壳4还设置有温度传感器，实时监控装置的温度，进而发送指令控制水管的水流量。
68.如图2所示，为本发明粗轧过程板带显式板形在线视觉检测系统的工作流程图，在开始检测之前，系统是打开的，然后进行系统标定，确定双工业相机的自身内参数和外参数，并确定双相机的投影矩阵m。然后是正式工作，板带进入检测系统之下，检测系统开始进行图像采集，图像处理系统1接收到图像采集系统2实时传输进来的图像，然后进行图像预处理和边缘轮廓提取，下一步进行三维特征点提取，对提取的双相机所拍摄图像的三维特征点进行数据融合，一幅图像融合所得数据的最后一行数据赋值给下一幅图像第一行，进而得到完整的图像拼接结果，自动识别显式板形的翘扣头和镰刀弯情况。
69.本发明还提供了一种基于上述粗轧过程板带显式板形在线视觉检测系统的粗轧过程板带显式板形在线视觉检测方法，包括：
70.调整第一工业相机7、第二工业相机6以及dlp投影仪8与传送辊道12的之间的距离，将传送辊道12的横切面作为基准面；
71.系统标定采用基于张正友标定算法的改进型对第一工业相机7、第二工业相机6进行标定，确定相机的内外参数：工业相机焦距f，ccd倾斜因子γ，相机中心位置(u0,v0)，成像点像素坐标(u,v)，世界坐标系(x
w y
w zw)，尺度因子s，相机内部参数a，旋转矩阵r，平移矩阵t，投影矩阵h。
72.h＝a[r t]
[0073][0074]
由于保护玻璃的存在，在改进中引入了物点偏移量δ，m1为无防护玻璃时工业相机内部参数矩阵，m2为无防护玻璃时工业相机外部参数矩阵，m3为玻璃折射影响矩阵。
[0075][0076]
由上所述标定模型得到板第一工业相机7和第二工业相机6的内外参数和两者之间的位置几何关系。
[0077]
对matlab软件中的相机标定工具箱进行二次开发，保持相机不动，通过改变标定板的位置让第一工业相机7与第二工业相机6来拍摄图像，每个相机拍摄十组图片，进而求解出双工业相机的内外参数、畸变系数、投影矩阵h和双工业相机之间的位置参数。
[0078]
将第一工业相机7和第二工业相机6拍摄的图像传输至图像处理系统进行相应的图像预处理，包括滤波处理、二值化处理和阈值分割；所述预处理包括：滤波处理、二值化处理、阈值分割，得到只包含板带信息的图像，通过对双工业相机拍摄的图像进行处理，通过三角测量法和对结构光图案变形的求解提取双相机拍摄的图像三维点云，第一工业相机提取的点云数据集合为p1(t1)......p1(tn)，第二工业相机提取的点云数据集合为p2(t1)......p2(tn)，数据融合主要是取出第一工业相机t1时刻的点云数据p1(t1)的x值为负值到0值的点、取出第二工业相机t2时刻的点云数据p2(t1)的x值为0到正值的点，两个新的数据集进行融合得到板带完整t1时刻的三维特征点云p(t1),依次类推得到p(t1)......p(tn)；
[0079]
对于图像数据的拼接，针对数据融合得到的板带完整t1时刻的三维特征点云p1(t)，首先输入数据集合p(t1)：
[0080][0081]
p(t1)中的最后一行数据则作为t2时刻数据集合p(t2)的第一行数据，则有：
[0082][0083]
依次递推，最终实现对整个板带的三维数据拼接，得到最终板带三维数据p(t)。
[0084]
通过得出板带在xoy坐标系下的二维曲线和在yoz坐标系下的二维曲线，根据在xoy坐标系下的二维曲线与原定传送辊道的区别来进行判断镰刀弯的程度和类型，在yoz坐标系下的二维曲线是进行判断翘扣头的翘曲和下扣程度，进而判别板带翘扣头和镰刀弯的程度和类型。
[0085]
所述的双目检测系统原理如图3所示：
[0086]
ω
c1
：第一工业相机坐标系o
c1-x
c1yc1zc1
，原点o
c1
位于镜头光心处，z
c1
轴与相机光轴重合；x
c1
轴、y
c1
轴分别平行于成像面的横轴、纵轴；
[0087]
ω
c2
：第一工业相机坐标系o
c2-x
c2yc2zc2
，原点o
c2
位于镜头光心处，z
c2
轴与相机光轴重合；x
c2
轴、y
c2
轴分别平行于成像面的横轴、纵轴
[0088]
o-xy:图像坐标系；u-v:像素坐标系，像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数；
[0089]
ωw：世界坐标系o
w-x
wywzw
，它用来表征物体的空间位置，是空间中的基准参考系，空间中的任意一点的世界坐标系(x
wywzw
)，z轴平行于dlp投影仪7中心轴，xoy面即测量模型中的参考面；
[0090]
p:物点，在参考面上的投影为p
′
，p为相机拍摄所成像点；
[0091]
通过此模型可得出像素点和世界坐标系数学关系表达式：
[0092]fx
:摄像机x方向的有效焦距；
[0093]fy
:摄像机y方向的有效焦距；
[0094]
α:结构光平面与相机光轴的夹角。
[0095]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。