1.本发明涉及基于主动视觉成像的钢卷捆带松动异常识别及量化方法,是对钢卷吊装过程中捆带异常状态进行判断，主要针对复杂背景干扰、光照不均及噪声影响下，激光条纹准确分割及中心线提取，以及捆带异常特征的量化。本发明专利涉及工业产品无损检测、钢板表面的自动探伤、传送带皮带异常检测、产品外形检测(高度、直径、不规则程度等)、机械零件的自动识别及几何尺寸测量、表面粗糙度和表面缺陷以及基于结构光视觉的实时控制等领域。
背景技术：
2.随着结构光主动视觉成像技术的发展，通过视觉感知外部信息是当下重要的研究领域之一。传统的捆带识别主要是通过人工去完成，效率低下，过程漫长。融合结构光视觉的方式提高了系统的测量精度。目前，在工业测量领域呈现出智能化与高效率的发展趋势。由于在非结构环境下，直接通过ccd/cmos图像传感器难以识别弱光照环境下的捆带特征，将激光光束投射到钢卷上进行辅助特征测量，以此来完成对捆带异常状态的判别。
3.计算机视觉中，显著性检测主要任务是检测出场景中最为显著的物体特征，并将得到的显著性特征用于物体分割。由于工业环境中存在光照不均以及噪声等影响，激光条纹图像不可避免的存在模糊、灰度不均以及噪声，甚至在背景反光条件下，激光条纹图像会出现激光散斑等情况。处理激光条纹图像分割时容易出现分割区域不完整、欠分割甚至过分割等问题，易受噪声干扰，稳定性较差，针对激光条纹图像分割问题，本发明引入显著性特征检测模型。
4.实践证明，在无人化物流运输的过程中，捆带一旦出现撕裂或者松动的情况，容易在吊装的过程中出现安全事故。因此，必须及时检测出捆带的情况，否则会造成严重的经济损失。以结构光为代表的主动测量技术具有测量精度高、自动化程度高等诸多优点，为了快速、准确的检测出钢卷捆带的异常情况，本发明设计了一种基于结构光视觉的辅助测量捆带异常检测系统。能够有效避免光照和背景噪声的影响，具有较强的鲁棒性。
5.因此，开发出一套成本低廉、结构简便、实时在线测量，能够满足热轧钢卷捆带异常特征检测和处理系统，对智能化无人仓储重载过程提供技术支持，实现全流程控制，具有较大的市场潜力。多尺度的显著性特征融合与最大熵分割结合、捆带异常区域提取及量化是整个发明的核心技术。
技术实现要素：
6.本发明的目的是提供基于ccd结构光主动视觉成像的钢卷捆带松动异常识别及量化方法，用于解决现有问题如下：钢卷吊装过程中捆带异常状态进行判断，主要针对复杂背景干扰、光照不均及噪声影响下，激光条纹准确分割及中心线提取，以及捆带异常特征的量化。
7.为了实现上述目的，本发明采用了如下技术方案：
8.基于主动视觉成像的钢卷捆带松动异常检测及量化方法，包括以下步骤：
9.采用高精度ccd/cmos图像传感器，并且在镜头前安装特定波长的滤波片，其作用是保证图像采集的高质量和防止外界强光的干扰。为了便于采集设备的安装，在测量范围允许的空间内，考虑钢卷的尺寸，设计了高度可调的的安装支架以及能够调节相机与激光发射器的安装角度；
10.通过构建显著性检测模型获取激光条纹的亮度显著图，以降低复杂背景、光照不均和噪声对激光条纹的干扰；
11.利用序列化阈值对激光条纹图像进行分割得到布尔图，旨在暴露不同阈值水平下的激光条纹图像特征，通过计算不同二值图像的加权和得到区域稳定性图像，从而突出激光条纹与背景的区别；
12.通过小波变换将亮度显著图和区域稳定显著图进行融合，对亮度显著图采用均值融合，区域稳定显著图采用极大值融合方式；
13.对融合显著图进行自适应最大熵分割，再基于稳定性度量得到最终分割结果；
14.通过计算条纹梯度向量获取条纹法向场，以条纹分布法向为依据融合灰度重心法对条纹中心线进行提取。通过计算条纹中心的领域差值及曲率半径实现对松动捆带的量化。
15.进一步优选的，其中，通过显著性检测模型获取激光条纹的亮度显著图，主要包括：
16.引入显著性检测模块来区分目标和背景，其具体方法如下：
17.分别计算rgb通道图像的均值，将rgb通道图像与rgb通道均值相减并归一化，得到初始亮度显著图：
[0018][0019]
其中ic(x,y)是输入图像，是输入图像的平均值，c表示输入图像的颜色通道，c∈{r,g,b}。
[0020]
进一步优选的，其中，通过计算序列化阈值对激光条纹图像进行分割得到布尔图，主要包括：
[0021]
通过计算布尔图，对激光条纹图像的稳定显著区域进行提取，定义不同分割阈值下的布尔图为bm＝{bm1,
…
,bmn}，其函数表达式为：
[0022]
bm＝thr(i,θ)
[0023]
其中thr(
·
)表示阈值函数，i表示输入图像的特征图，θ＝δ/255是分割阈值，δ以16作为步长递增且δ∈[δ/2:δ:255-δ/2]；
[0024]
在得到一系列布尔图后，通过计算各个布尔图的权值之和，得到激光条纹区域稳定的显著图，其函数表达式为：
[0025][0026]
其中θi是归一化到[0，1]的不同分割阈值，以及bmi是不同分割阈值下的布尔图。
[0027]
进一步优选的，其中，通过小波变换将亮度显著图和区域稳定显著图进行融合，对亮度显著图采用均值融合，区域稳定显著图采用极大值融合方式，表达式如下：
[0028][0029]
式中，hr、gr和hc、gc分别表示一维镜像滤波算子h和g分别作用在行和列上，对于二维图像，算子hrgc相当于二维低通滤波器。表示cj的竖直方向的高频分量，表示cj水平方向的高频分量，表示cj对角方向上高频分量。对于一副图像x进行小波变换，其第j+1层的小波系数和尺度系数分别表示为和cj(x)。
[0030]
与之对应的小波变换重构表达式为：
[0031][0032]
式中，h
*
、g
*
分表表示为h、g的共轭转置矩阵。
[0033]
小波变换的高频部分对应图像中变化剧烈的边缘及轮廓特征，低频部分反应图像的整体灰度值分布。采用小波变换融合应尽可能多的保留图像的细节特征同时保留图像的整体轮廓，针对激光条纹图像中的高频特征，反映的是图像中的对比度变化较大的边缘等特征，因此，对于高频特征，本文融合方式采用极大值的融合规则，对于激光条纹图像a和b，其高频融合函数表达式为：
[0034][0035]
式中，h(x,y)表示图像融合系数，(x,y)为系数坐标，ha(x,y)、hb(x,y)分别表示图像a和b的高频子带系数。
[0036]
针对图像低频部分融合，需要尽可能保留图像整体特征，因此融合方式采用均值加权处理，其表达式为：
[0037]
l(x,y)＝(la(x,y)+lb(x,y))/2
[0038]
式中，l(x,y)为图像融合系数；la(x,y)、lb(x,y)分别表示图像a和b的低频子带系数。
[0039]
进一步优选的，其中，对融合显著图进行自适应最大熵分割，再基于稳定性度量得到最终分割结果，表达式如下：
[0040]
根据香农理论，熵的表示如下：
[0041][0042]
其中p(x)是事件x发生的概率；
[0043]
用图像来描述上述公式，x是图像的某一灰度级，p(x)是灰度值为x的概率，如果图像是n个灰度级，则上式可表达为：
[0044][0045]
假设t作为阈值，灰度级小于t作为目标区域，灰度级大于t作为背景区域。目标区域和背景区域的灰度级的概率表示如下：；
[0046][0047][0048]
目标区域和背景区域的熵定义为：
[0049][0050][0051]
图像的熵函数定义为:
[0052]
h(t)＝h0(t)+hb(t)
[0053]
阈值可以表示为：
[0054]
t＝arg max h(t)。
[0055]
进一步优选的，其中，通过计算条纹梯度向量获取条纹法向场，以条纹分布法向为依据融合灰度重心法对条纹中心线进行提取。通过计算条纹中心的领域差值及曲率半径实现对松动捆带的量化，捆带松动异常表达式如下:
[0056]
d＝y
i+2-yi[0057]
式中，d表示相邻像素的差值，yi表示某一位置的条纹中心纵坐标，如果 |d|≥t1，则可认为该区域可能存在捆带松动情况。
[0058]
如图所示为曲率计算示意图，假设曲线c是光滑的，曲线c上点m到m'的弧长为δs，切线转角为δα，弧段mm'的平均曲率表示为曲线c在点m 处的曲率表示为若满足则
[0059][0060]
式中，k为曲率半径，y
′
为一阶导数，y
″
为二阶导数，如果k≥t2，则可认为该区域可能存在捆带松动情况。
[0061]
本发明至少具备以下有益效果：
[0062]
本发明采用显著性检测模型获取初始亮度显著图。以降低复杂背景、光照不均和噪声对激光条纹的干扰；能够有效提升后续图像分割的质量。
[0063]
本发明采用序列化阈值对激光条纹灰度图像进行分割，获得激光条纹布尔图，进一步突显激光条纹的对比度，并且将各个布尔图进行权重和计算获得区域稳定性图像，进一步突出激光条纹与背景的区别，强化分割效果。
[0064]
本发明采用小波特征融合的方式，将亮度显著图采用均值融合，区域稳定显著图采用极大值融合方式，能够有效定位图像中感兴趣的区域，提高图像检索速度，优势互补的完成相应的图像处理领域的分割任务，具有较强的鲁棒性。
[0065]
本发明采用量化条纹中心的邻域差值和曲率半径，通过与阈值进行比较，来反映钢卷捆带的松紧程度，具有较强的抗干扰能力。
[0066]
另外，本发明除了应用于生产线上工业产品无损检测外，涉及工业产品无损检测、钢板表面的自动探伤、传送带皮带异常检测、产品外形检测(高度、直径、不规则程度等)、机械零件的自动识别及几何尺寸测量、表面粗糙度和表面缺陷以及基于结构光视觉的实时控制等领域。且根据本发明的算法仿真结果，针对钢卷捆带异常松动情况进行检测和量化，对智能化无人仓储重载过程提供技术支持，实现全流程控制，具有较大的市场潜力。
附图说明
[0067]
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0068]
图1为钢卷捆带松动异常测试示意图；
[0069]
图2为多尺度显著性特征的融合示意图；
[0070]
图3不同场景下条纹分割示意图；
[0071]
图4不同状态下捆带中心线提取示意图；
[0072]
图5不同状态下捆带量化特征示意图；
[0073]
图6曲率计算示意图；
具体实施方式
[0074]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0075]
再对钢卷捆带松动异常判断过程中，将亮度显著图和区域稳定性显著图进行融合，并在优势互补的基础上，对融合显著图进行自适应最大熵分割，通过对激光条纹异常区域进行量化来检测钢卷捆带的松动情况。
[0076]
为实现上述目的，本发明采取以下设计方案：
[0077]
首先，通过构建显著性检测模型获取激光条纹的亮度显著图，以降低复杂背景、光照不均和噪声对激光条纹的干扰，其次，利用序列化阈值对激光条纹图像进行分割得到布尔图，通过计算不同二值图像的加权和得到区域稳定性图像，将小波变换将亮度显著图和区域稳定显著图进行融合，对亮度显著图采用均值融合，区域稳定显著图采用极大值融合方式。并对融合后的显著图进行自适应最大熵分割，最后通过计算条纹梯度向量获取条纹法向场，以条纹分布法向为依据融合灰度重心法对条纹中心线进行提取。通过计算条纹中心的领域差值及曲率半径实现对松动捆带的量化。
[0078]
基于主动视觉成像的钢卷捆带松动异常检测及量化方法具体说明如下：
[0079]
①
安装高精度ccd/cmos图像传感器与高精度非衍射的线激光发射器，激光发射器垂直照射在钢卷捆带上，ccd/cmos图像传感器与激光发射器呈一定的倾斜角度安装，如图1所示为钢卷捆带松动异常测试示意图
[0080]
②
分别计算rgb通道图像的均值，将rgb通道图像与rgb通道均值相减并归一化，得
到初始亮度显著图。函数表达式为：
[0081][0082]
其中ic(x,y)是输入图像，是输入图像的平均值，c表示输入图像的颜色通道，c∈{r,g,b}。
[0083]
③
通过计算条纹布尔图，提取激光条纹的稳定显著区域。
[0084]
bm＝{bm1,
…
,bmn}的函数表达式为：
[0085]
bm＝thr(i,θ)
ꢀꢀꢀ
(2)
[0086]
其中thr(
·
)表示阈值函数，i表示输入图像的特征图，θ＝δ/255是分割阈值，δ以 16作为步长递增且δ∈[δ/2:δ:255-δ/2]。
[0087]
在得到一系列布尔图后，通过计算各个布尔图的权值之和，得到激光条纹区域稳定的显著图。计算公式如下：
[0088][0089]
其中θi是归一化到[0，1]的不同分割阈值，以及bmi是不同分割阈值下的布尔图。
[0090]
④
通过小波变换将亮度显著图和区域稳定显著图进行融合，对亮度显著图采用均值融合，区域稳定显著图采用极大值融合方式，表达式如下：
[0091][0092]
式中，hr、gr和hc、gc分别表示一维镜像滤波算子h和g分别作用在行和列上，对于二维图像，算子hrgc相当于二维低通滤波器。表示cj的竖直方向的高频分量，表示cj水平方向的高频分量，表示cj对角方向上高频分量。对于一副图像x进行小波变换，其第j+1层的小波系数和尺度系数分别表示为和cj(x)。
[0093]
与之对应的小波变换重构表达式为：
[0094][0095]
式中，h
*
、g
*
分表表示为h、g的共轭转置矩阵。
[0096]
小波变换的高频部分对应图像中变化剧烈的边缘及轮廓特征，低频部分反应图像的整体灰度值分布。采用小波变换融合应尽可能多的保留图像的细节特征同时保留图像的整体轮廓，针对激光条纹图像中的高频特征，反映的是图像中的对比度变化较大的边缘等特征，因此，对于高频特征，本文融合方式采用极大值的融合规则，对于激光条纹图像a和b，其高频融合函数表达式为：
[0097][0098]
式中，h(x,y)表示图像融合系数，(x,y)为系数坐标，ha(x,y)、hb(x,y)分别表示图像a和b的高频子带系数。
[0099]
针对图像低频部分融合，需要尽可能保留图像整体特征，因此融合方式采用均值加权处理，其表达式为：
[0100]
l(x,y)＝(la(x,y)+lb(x,y))/2
ꢀꢀꢀ
(7)
[0101]
式中，l(x,y)为图像融合系数；la(x,y)、lb(x,y)分别表示图像a和b的低频子带系数。
[0102]
在融合图像的基础上，根据香农理论，利用最大熵进行分割，熵的表示如下：
[0103][0104]
其中p(x)是事件x发生的概率。
[0105]
用图像来描述公式(8)，x是图像的某一灰度级，p(x)是灰度值为x的概率，如果图像是n个灰度级，则公式(8)可以表示为：
[0106][0107]
假设t作为阈值，灰度级小于t作为目标区域，灰度级大于t作为背景区域。目标区域和背景区域的灰度级的概率表示如下：
[0108][0109][0110]
目标区域和背景区域的熵定义为：
[0111][0112][0113]
图像的熵函数定义为:
[0114]
h(t)＝h0(t)+hb(t)
ꢀꢀꢀ
(14)
[0115]
阈值可以表示为：
[0116]
t＝arg max h(t)
ꢀꢀꢀ
(15)
[0117]
⑤
钢卷捆带异常区域提取及捆带松动量化。通过计算条纹梯度向量获取条纹法向场，以条纹分布法向为依据融合灰度重心法对条纹中心线进行提取。通过计算条纹中心的领域差值及曲率半径实现对松动捆带的量化，捆带松动异常表达式如下:
[0118]
d＝y
i+2-yiꢀꢀꢀ
(16)
[0119]
式中，d表示相邻像素的差值，yi表示某一位置的条纹中心纵坐标，如果 |d|≥t1，则可认为该区域可能存在捆带松动情况。
[0120]
如图所示为曲率计算示意图，假设曲线c是光滑的，曲线c上点m到m'的弧长为δs，切线转角为δα，弧段mm'的平均曲率表示为曲线c在点m 处的曲率表示为
若满足则
[0121][0122]
式中，k为曲率半径，y
′
为一阶导数，y
″
为二阶导数，如果k≥t2，则可认为该区域可能存在捆带松动情况。
[0123]
如图2所示为本发明多尺度显著性特征的融合示意图，如图3所示为针对不同场景下条纹分割示意图。如图4所示为不同状态捆带中心提取结果，如图5 的量化结果，如图6所示为曲率计算示意图可知，根据本发明专利的算法仿真结果，本发明算法不仅能够抑制背景噪声的干扰，同时能够突出激光条纹的对比度，针对不同状态下的钢卷捆带的松动特征有较强的检测和量化能力。
[0124]
综合上述可知：
[0125]
本发明最大的优点在于针对光照不均和背景噪声对激光条纹的干扰，采用基于小波特征显著性融合和最大熵分割模型对激光条纹进行精确分割。同时针对钢卷捆带异常区域进行特征提取并量化捆带的异常，具有较好的应用背景。实验结果表明该方法能有效抑制条纹图像噪声，同时针对低分辨率的激光条纹图像，均能够有效的实现激光条纹的分割，在捆带异常特征检测方面具有较高的抗干扰能力和准确性。基于主动视觉成像的钢卷捆带松动异常检测及量化方法具有良好的工程应用前景。具体体现在以下几点：
[0126]
1.分别计算rgb通道图像的均值，将rgb通道图像与rgb通道均值相减并归一化，得到初始亮度显著图。
[0127]
2.采用序列化阈值对激光条纹灰度图像进行分割获得激光条纹布尔图，并且将各个布尔图进行权重和计算从而获得区域稳定性图像，进一步突出激光条纹与背景的区别，强化分割效果。
[0128]
3.对钢卷捆带异常区域进行识别与量化，通过显著性模型有效定位激光条纹位置，具有较强的抗干扰能力和分割精度，能够优势互补的完成相应的图像处理领域的分割任务和钢卷异常捆带的量化任务，为无人化以及相应的应用场景提供理论与实践基础。
[0129]
4.本发明方法，可以用于低照度环境下的目标特征提取及分割，通过显著性检测模型，能够有效定位图像中感兴趣的区域，提高图像检索速度，同时针对捆带异常区域的提取及量化，可以用于平整度检测以及缺陷检测等。
[0130]
5.本发明除了应用于生产线上工业产品无损检测外，还可以用平整度检测、皮带破损检测、三维目标重建与军工领域，以及其它基于结构光主动成像的视觉辅助测量技术的实时生产加工领域。
[0131]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。