应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法与流程

本发明涉及目标跟踪技术领域，尤其涉及一种应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法。

背景技术：

煤矿产业在我国占据着重要的战略地位，是国民经济的重要产业，也是绝大多数能源需求的来源。为了保障煤炭行业的健康发展，矿井下正常工作保障和人员安全问题成为社会关注热点中的重中之重。近年来，矿山物联网和智能矿山理念的出现使智能化煤矿开采技术上了一个新台阶，可以对煤炭开采过程进行数字化视频监控，从而保障矿井工作安全。矿井巷道移动巡检是提高煤矿安全管理水平的重要手段，通过对保存的视频、图像资料进行智能化分析处理，可以高效、准确地获取煤矿井下信息，避免事故的发生。目标跟踪技术为煤矿安全生产带来了极大的改变，在保障工作人员安全、提高生产效率等方面发挥着越来越大的作用，虽然近些年来研究人员已经提出了很多有效的目标跟踪算法，但是在煤矿井下图像中，由于矿井下光线较暗，缺乏颜色信息，巷道较长，当井下目标靠近或远离摄像头，目标尺度发生变化，相应地造成目标外观产生较大的改变，不利于对目标的有效跟踪。因此对目标跟踪算法进行研究，提升算法性能使之更适应对矿井巷道移动巡检图像的跟踪是目前的一个重要课题。

由于矿井巷道移动巡检图像受到以下特殊环境因素的影响，现有矿井目标跟踪算法在目标剧烈变化、遮挡、背景干扰等场景下仍无法获取较好的跟踪效果。

(1)矿井下照度低，视频中黑灰色居多，缺乏颜色信息，使用颜色特征效果不好，很难将目标和背景区分开来；

(2)矿井下工作人员安全帽上的矿灯会造成干扰，导致目标外观的剧烈形变，从而造成跟踪算法失效；

(3)矿井下巷道较长，跟踪目标在巷道内移动时，会产生较大范围的尺度变化，而且光线不足，当目标较远时难以跟踪。

因此，有必要对矿井巷道移动巡检图像的尺度自适应目标跟踪方法进行进一步研究。

技术实现要素：

鉴于上述的分析，本发明旨在提供一种应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法，用以解决现有矿井目标跟踪算法在目标剧烈变化、遮挡、背景干扰等场景下仍无法获取较好的跟踪效果的问题。

本发明的目的主要是通过以下技术方案实现的：

一种应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法，包括如下步骤：

接收矿井巷道移动巡检视频帧序列的当前视频帧，根据上一帧的目标跟踪位置及尺度信息，得到当前视频帧中的待检测图像块；

提取所述当前视频帧中待检测图像块的hog特征及lqc特征，分别利用hog特征相关滤波器和lqc特征相关滤波器计算得到hog特征响应图及lqc特征响应图；

对所述hog特征响应图及lqc特征响应图进行加权融合响应，将加权融合响应结果中的最大值位置确定为当前视频帧的目标位置；

利用尺度滤波器对所述目标位置进行尺度估计，得到当前视频帧的尺度信息。

在上述方案的基础上，本发明还做出了如下改进：

进一步，根据以下公式所述对所述hog特征响应图及lqc特征响应图进行加权融合响应：：

其中，分别表示第t+1帧视频帧的hog特征响应图、lqc特征响应图，分别表示第t+1帧视频帧的hog特征响应图、lqc特征响应图对应的权重。

进一步，根据以下公式确定

其中，μ1表示第一正则化系数，分别表示第t帧视频帧的hog特征、lqc特征的显著性，根据以下公式得到：

其中，μ2表示第二正则化系数，

ft^hog、ft^lqc分别表示第t帧视频帧中hog特征、lqc特征的响应图，f^hog、f^lqc分别表示根据初始视频帧中hog特征、lqc特征计算得到的的理想响应。

进一步，所述利用尺度滤波器对所述目标位置进行尺度估计，得到当前视频帧的尺度信息，包括：

以所述目标位置为中心，提取不同尺度的图像块；

将提取得到的不同尺度的图像块作为所述尺度滤波器的输入，将具有最大输出值的图像块的尺度信息，作为当前视频帧的尺度信息。

进一步，通过人工标记方式确定初始视频帧的目标跟踪位置及尺度信息。

进一步，由所述初始视频帧通过循环采样方式获取多个训练样本，利用所述多个训练样本训练所述hog特征相关滤波器、lqc特征相关滤波器及尺度滤波器。

进一步，得到所述hog特征响应图及lqc特征响应图后，还通过以下方式更新所述hog特征相关滤波器、lqc特征相关滤波器：

将所述hog特征响应图作为所述hog特征相关滤波器的训练样本，重新训练所述hog特征相关滤波器；

将所述lqc特征响应图作为所述lqc特征相关滤波器的训练样本，重新训练所述lqc特征相关滤波器。

进一步，得到所述当前视频帧的尺度信息后，还通过以下方式更新所述尺度滤波器：

将所述当前视频帧的尺度信息作为所述尺度滤波器的训练样本，重新训练所述尺度滤波器。

进一步，所述提取hog特征，包括：

将输入图像进行灰度化处理；

采用gamma校正法对上述图像进行颜色空间的归一化；

对归一化后图像进行平滑处理；

计算上述平滑处理后的图像中每个像素的梯度；

将输入图像分割为小的单元；

构建上述每个单元的梯度方向直方图；

把上述单元组合成大的块，块内归一化梯度直方图向量，即为hog特征描述子；

将上述输入图像序列内的所有块的hog特征描述子串联起来得到图像的方向梯度直方图特征。

进一步，所述提取lqc特征，包括：

将检测窗口划分为小区域，对于每个区域中的一个像素，采用局部量化编码的方法进行量化；

根据上述量化的结果，构建每个区域的直方图；

对上述得到的直方图进行归一化处理；

将上述归一化处理后得到的每个区域的直方图进行连接，得到图像的局部量化编码特征。

本发明有益效果如下：

1、针对煤矿井下光线不足，监控视频缺乏颜色信息的问题，本发明采用hog特征和具有良好纹理特性的lqc特征，使算法对矿井下的目标具有更好的表征能力；

2、将提取的hog特征和lqc特征在响应图层面进行自适应加权融合，同时使用两种特征使得算法具有更强的鲁棒性，能有效处理矿井巷道移动巡检图像中目标本身的形变和矿灯光照造成的目标外观剧烈变化的问题；

3、本发明构建了尺度金字塔，使算法具有较好的尺度特性，有助于解决矿井下巷道较长导致目标尺度变化较大难以跟踪的问题，实现尺度自适应的矿井目标跟踪。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例中应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法流程图；

图2为本发明实施例中细胞单元的梯度方向；

图3为本发明实施例中lqc阈值处理流程(p＝8,r＝1)示意图；

图4为本发明实施例中lqc在(p＝8,r＝1)时的编码处理流程图；

图5为本发明实施例中构建的尺度金字塔。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法，其特征在于，包括如下步骤：

步骤s1：接收矿井巷道移动巡检视频帧序列的当前视频帧，根据上一帧的目标跟踪位置及尺度信息，得到当前视频帧中的待检测图像块；

步骤s2：提取所述当前视频帧中待检测图像块的hog(histogramoforientedgradient，方向梯度直方图特征)特征及lqc(localquantizationcode，局部量化编码特征)特征，分别利用hog特征相关滤波器和lqc特征相关滤波器计算得到hog特征响应图及lqc特征响应图；

步骤s3：对所述hog特征响应图及lqc特征响应图进行加权融合响应，将加权融合响应结果中的最大值位置确定为当前视频帧的目标位置；

步骤s4：利用尺度滤波器对所述目标位置进行尺度估计，得到当前视频帧的尺度信息。

与现有技术相比，本发明针对煤矿井下光线不足，监控视频缺乏颜色信息的问题，本发明采用hog特征和具有良好纹理特性的lqc特征，使算法对矿井下的目标具有更好的表征能力；将提取的hog特征和lqc特征在响应图层面进行自适应加权融合，同时使用两种特征使得算法具有更强的鲁棒性，能有效处理矿井巷道移动巡检图像中目标本身的形变和矿灯光照造成的目标外观剧烈变化的问题；本发明构建了尺度金字塔，使算法具有较好的尺度特性，有助于解决矿井下巷道较长导致目标尺度变化较大难以跟踪的问题，实现尺度自适应的矿井目标跟踪。

在所述步骤s2中，通过以下方式提取所述当前视频帧中待检测图像块的hog特征及lqc特征：

1、hog特征提取

由于不同图像具有不同的形状特征，hog特征能对局部梯度结构和边缘的方向密度分布进行较好的描述，因此在计算机视觉领域中获得了广泛的应用。在实际的hog特征应用中，首先将目标图像等分为几个小的连通区域，接着计算各个像素的梯度方向直方图，然后将所有的细胞单元直方图按顺序串联起来，形成整幅图像的方向梯度直方图特征。步骤如下：

1)灰度化。如果输入的是彩色图片，先要进行灰度化处理。

2)颜色空间归一化。通常采用gamma校正法提高图像的亮度，消除光照变化和局部阴影等外界因素的影响。gamma校正公式为：

i(x,y)＝i(x,y)^gamma(1)

3)图像平滑处理。利用离散高斯平滑去除图像中的噪声点，抑制噪声干扰。

4)图像梯度计算。边缘是由图像局部特征突变导致的，包括灰度、颜色和纹理等。如果一幅图像中相邻像素点之间变化较小，区域变化平坦，则梯度幅值就会比较小；反之，则梯度幅值就会比较大。由于梯度在图像中对应的就是其一阶导数，因此图像i(x,y)中任意像素点(x,y)的梯度是一个矢量，表达式如下：

其中，gx是水平方向上的梯度，gy是竖直方向上的梯度，梯度大小和方向的表达式如下：

因为式(3)的计算量较大，一般采用以下公式求近似解：

▽i≈|gx|+|gy|(4)

分别采用梯度算子[-1,0,1]和[1,0,-1]^t与图像做卷积运算，得到像素点在水平方向和竖直方向上的梯度分量，通过此方法求出每个像素点在水平方向和竖直方向上的梯度大小和方向，计算如下：

其中，gx(x,y)是像素点(x,y)处水平方向上的梯度分量，gy(x,y)是像素点(x,y)处竖直方向上的梯度分量。然后根据以上分量，求出像素点(x,y)处的梯度幅值为：

计算得出像素点(x,y)处的梯度方向为：

5)梯度方向直方图统计。将一幅图像等分为多个小的细胞单元，然后统计每个细胞单元内每个像素的梯度方向。如图2所示，若采用9个区间去等分[0,π]的梯度范围，那么每个细胞单元就有9个梯度方向。统计方式为：若某像素的梯度方向在0-20度区间内，幅值大小为2，则z1区间的数量增加2。将细胞单元内属于同一梯度方向的幅值进行累加，最终可得细胞单元的一个9维特征向量。

6)形成hog特征。对于大小为64×128的目标图像，将每8×8个像素组成一个细胞单元，再将每2×2个细胞单元组成一个块。先将互不重叠的所有细胞单元直方图组合到一起，然后将块内所有的细胞单元直方图按顺序拼接，做归一化处理，最后将全部块内的直方图级联起来就形成整幅图像的hog特征。

2、lqc特征提取

lqc特征是局部二值模式编码(localbinarypattern，lbp)的改进，能够区分边缘、线条等微观结构，具有灰度不变性，能有效克服煤矿井下光照不足的缺点。

lqc算法主要包含三个步骤，即阈值处理、编码和直方图表示。在第一步阈值处理步骤中，通过将每个模式中邻域内像素的灰度值与中心像素进行比较，将其转化为二进制值(0或1)，获取关于局部二进制差异的信息；然后在第二步编码步骤中，对经过阈值处理获得的二进制数进行编码，用以表征局部结构模式，并将编码转换成十进制数；最后是直方图表示，对每个像素进行lbp编码定义之后，构建纹理直方图来表示纹理图像。

1)阈值处理。

以图3为例，以3×3的一个正方形像素区域为基本单元，阈值则为中心点像素的灰度值56，然后将相邻像素与中心像素的灰度值进行比较，若相邻8个像素中灰度值大于56则记为1，相邻像素的灰度值小于56则记为0。所有像素都经过比较之后，得到一个8位的二进制数01111100。

2)编码。

传统方法在描述图像的纹理特征时，对很多像素点灰度值的细节利用不完全，因此lqc编码采用增加局部量化级别的方法，提高了特征的区分能力，同时降低了特征的维度。

使用量化阈值(σ1,σ2,σ3,...,σi)来增加局部量化级别。第i个量化级内的邻域像素数量qi的计算公式如下：

其中，p表示中心像素邻域内的像素数量(p＝1,…,p)，gp表示邻域内所有像素的灰度值，gc表示中心像素的灰度值。l(x)为符号函数，定义如下：

其中，σi为第i个量化阈值。

通过计算qi的大小，就可以得到量化为第i个级别的邻域像素的数量。在此之后，对局部量化编码lqc进行定义如下：

其中，qi表示第i个量化级别内的邻域像素数量，q表示邻域量化级别的数量。

除了邻域像素，表示局部灰度级的中心像素也具有细节特征，所以同时考虑二者贡献，将lqc与中心像素的全局量化级别结合，得到最终的lqc表示：

其中，qc表示中心像素的量化级别。lqc算法通过均匀分割灰度级直方图对中心像素进行量化，以上lqc编码方案采取十进制的编码方式，因此可以将中心像素的量化级别qc表示为一个集合，范围为(0,1,…,9)。中心像素的量化处理选用全局量化方法，而未采取邻域像素使用的局部量化处理方式，这是因为qc需要用于在整个图像范围内对局部灰度值的量化级别进行描述。

lqc在(p＝8，r＝1)时的编码过程如图4所示。每个像素用一个立方体表示，像素的灰度值用其高度表示。首先将相邻像素的灰度值量化为4个级别，然后对位于每个级别的相邻像素的数量qi(i＝1,…,4)进行计数。在图4的示例中，位于第1、2、3、4级别的像素分别有3、2、2、1个，将位于4个级别的像素个数进行组合，得到编码1223。为了降低特征的尺寸，省略位于第1级的像素个数3，最后形成lqc编码为122。很明显，lqc具有更多的量化级别，能更准确地表征图像的局部结构。且lqc编码方式仅计算位于不同级别内的像素数，可以精确地描述邻域像素的分布状态，因此表现出了更好的区分度，更适合旋转不变的纹理分类场景。

3)直方图表示。

计算得到每个像素的局部量化编码之后，构建直方图来表示纹理图像。应当注意的是，当量化级别数为l时，尽管lqc直方图的大小数量级达到10^l，但实际上直方图的许多区间总是为零的。那是因为在编码时，只需要对有限的相邻像素进行编码，因此可以简单地从最终的直方图中删除这些无意义的全零区。在传统lbp算法中，局部中心像素的灰度值直接用作局部阈值。很明显，固定的人工阈值对于不连续和不均匀的光照变化敏感，而局部差异相对来说对光照变化鲁棒性更好。这一特性对于煤矿井下光线不足、光照变化强烈等特殊环境来说，有利于更好地提取图像特征，提高跟踪精度。因此采取平均局部差异的方法设置一系列量化阈值，取代固定的人工阈值。基本阈值δ表示邻域像素局部灰度值的平均差异，采用动态量化选取方法，定义基本阈值为：

其中，p表示中心像素邻域内的像素数量(p＝1,…,p)，nc为图像中所有中心像素的数量，gp表示邻域内所有像素的灰度值，gc表示中心像素的灰度值，量化阈值(σ1,σ2,σ3,σ4,...)可简化表示为(0,δ,2δ,3δ,……)。

本发明利用hog特征与具有旋转不变性的lqc特征进行融合，以增强对目标的表征能力，提高在煤矿井下光照不足环境中的跟踪效果，增强在矿井环境下的跟踪鲁棒性。

第二部分：特征融合

下一步将得到的hog特征和lqc特征进行自适应融合：

基于相关滤波框架的跟踪算法中，目标的外观模型好坏严重影响着跟踪算法的性能。每种特征描述目标外观模型的能力各有差异，在具有不同影响因素的场景中有不同的效果。单一特征往往无法很好地表达目标，因此，本发明将hog、lqc两种特征进行自适应融合，使跟踪算法具有更好地表达矿井目标外观模型的能力，从而在矿井巷道移动巡检图像中具有更好的效果。

首先提取目标图像块的hog和lqc特征，分别利用这两种特征建立目标表观模型，训练两个分类器，也就是解决下面的最小化问题：

其中f(x)＝w^tx，λ表示正则化参数，yi表示样本xi对应的标签函数。在非线性条件下，有：

其中表示样本xi的非线性变换函数。利用式(17)得到两种特征的响应图f^hog和f^lqc：

接着，根据以下公式所述对所述hog特征响应图及lqc特征响应图进行加权融合响应(该实施例中，第t+1帧视频帧表示当前视频帧，第t帧视频帧表示当前视频帧的上一帧)：

其中，分别表示第t+1帧视频帧的hog特征响应图、lqc特征响应图，分别表示第t+1帧视频帧的hog特征响应图、lqc特征响应图对应的权重。

根据以下公式确定

其中，μ1表示第一正则化系数，分别表示第t帧视频帧的hog特征、lqc特征的显著性，根据以下公式得到：

其中，μ2表示第二正则化系数，一般取10^-5。

ft^hog、ft^lqc分别表示第t帧视频帧中hog特征、lqc特征的响应图(又称预测响应)，f^hog、f^lqc分别表示根据初始视频帧中hog特征、lqc特征计算得到的的理想响应。最后将融合后的响应图中响应值最大的位置确定为目标定位阶段的位置。

第三部分：尺度自适应

本发明通过学习相关滤波器来完成跟踪目标的任务。首先利用循环矩阵的性质，由初始帧中的目标生成一系列训练样本，用于训练位置滤波器，估计下一帧中目标定位阶段的位置。利用快速傅里叶变换来获得显著提升的运算速度，得到目标所在位置后，使用尺度滤波器来估计目标尺度，得到目标的最终位置。

首先，选取初始帧中基于hog特征描述的正样本f，f由d维特征向量f(n)∈r^d组成，d为选取特征的维数，f^l为第l通道的特征，其中l∈{1,2,…,d}，h^l为每个通道对应的滤波器，h为总的位置滤波器。输入训练样本f和期望输出样本g，建立最小化损失函数ε来构造最优的位置滤波器h：

其中*表示循环卷积操作，g表示以正样本中心为高斯函数中心的二维高斯函数，h^l表示第l个通道对应的滤波器权重，f^l表示第l个通道的特征，l∈{1,2,…,d}，λ表示正则化系数，作用是消除频谱中零频分量的影响，避免滤波器产生过拟合。为了加速运算，将式(23)转换到复频域进行求解，利用帕斯瓦尔定理可得：

其中⊙表示点乘操作，g为g经过离散傅里叶变换后的对应值，g^*是g的复共轭，h^l为h^l经过离散傅里叶变换后的对应值，表示滤波器的权重，(f^l)^*是f^l的复共轭。

然后更新位置滤波器的参数来应对目标模型的变化。为了保证滤波器h^l的鲁棒性，应同时考虑当前帧和前一帧的目标变化信息，因此将不同时间的样本加入到对位置滤波器的训练中，损失函数的计算就变成统计一段时间内f的平均值，记为f1,f2,…,ft，其中t表示当前时间的帧序号。通过分子分母分别更新位置滤波器的参数，更新方式如下所示：

其中表示位置滤波器分子的更新方式，bt表示位置滤波器分母的更新方式，η表示学习率。

利用上一帧得到的目标信息，使用位置滤波器模型确定目标定位阶段的位置。设zt为输入的检测样本，为其经离散傅里叶变换得到的变量，即选定的正样本区域，则根据响应函数y＝h^*⊙z，响应输出yt的复频域表示形式yt为：

通过对上式进行离散傅里叶反变换运算，求得位置滤波器响应值输出yt为：

通过位置滤波器定位到目标定位阶段的位置之后，以当前响应值最大的位置为中心点，设当前帧的目标宽度为u，高度为v，抽取图像尺寸为：

其中θ为尺度系数，表示采样尺度大小，s为尺度滤波器大小，表示采样的样本个数。

提取得到的不同尺度的图像块fs^l作为尺度滤波器的输入，选取具有最大输出值的输入特征，其对应的θ^k就是当前帧尺度滤波器估计得到的结果。为了使图像的尺寸一致，要对尺度滤波后的图像块进行双线性插值操作，然后利用这些样本提取特征，得到尺度滤波器为：

其中⊙表示点乘操作，为尺度滤波器的权重，λs表示正则化系数。对采样得到的图像模型进行更新和求解滤波响应的过程与位置滤波器一致。尺度滤波器估计目标位置示意图见图5。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。