基于改进的模糊颜色聚合向量的视频目标检测方法与流程

本发明属于图像处理技术领域，特别涉及一种视频目标检测方法，可用于智能化交通系统、智能监控系统、突发事件检测、及医学导航手术中手术器械定位。

背景技术：

随着计算机科学与人工智能的发展和应用，各种数字多媒体技术发展迅速，其中包括视频监督、目标跟踪、运动理解、异常检测等。而视频目标检测技术是上述众多应用领域中图像分析的基础。视频目标检测的结果直接影响后续算法的准确性，为目标的跟踪、分类、行为描述及理解等更高层次视频处理提供支持和保障。因此，如何提高目标检测的准确性和鲁棒性，成为视频图像处理研究中的重点问题。

目前，针对视频目标的检测方法主要有：减背景法、光流法和帧间差分法等。其中减背景法通过为背景建立多个稳健的背景模型并且不断更新，从而可以适应动态纹理背景下的检测，因此该方法发展迅速，产生了众多改进方法。其中比较有代表性的是基于区域的方法。

基于区域的方法是将图像分为众多区域块，提取每一个区域块的相关特征，从而利用特征建立背景模型，进而完成前景目标检测。由于此类方法是基于区域块的特征提取，相对于基于像素的方法可以更好地抑制噪声以及奇异值，因此可以建立更加鲁棒的背景模型。基于颜色直方图的背景建模方法是其中比较有代表性的方法，该方法通过建立区域的颜色直方图特征，从而得到鲁棒的背景模型。但该方法仅利用了区域的颜色统计信息因此对于颜色相似的场景区分准确率不高。基于模糊颜色聚合向量的方法改进了上述方法，通过生成区域的颜色聚合向量，并对其进行模糊聚类从而构建鲁棒的背景模型。但是在某些复杂场景中，即使不同的图像区域仍然会产生相同的颜色聚合向量，导致检测准确率不高。

技术实现要素：

本发明的目的在于提出一种基于改进的模糊颜色聚合向量的视频目标检测方法，以解决颜色聚合向量在复杂条件下检测准确率低的问题，提高视频目标检测的精度以及稳定性。

实现本发明的技术关键是：在模糊颜色聚合向量方法的基础上，用改进的颜色聚合向量特征取代原有的颜色聚合向量特征，引入像素聚合区域的空间位置信息，从而区分实际不同但颜色聚合向量相同的区域，同时改变图像量化策略，使得不同颜色分量的比重更加合理，从而提升检测精度。其具体实现步骤包括如下：

(1)预处理：

(1a)读入第k帧彩色图像I_k,并将其转换到HSV颜色空间得到HSV图像Y_k，其中，k表示时刻，初始时刻为k＝1；

(1b)将HSV图像Y_k进行等间隔量化，得到色度饱和度量化图像Y_hs^k和亮度量化图像Y_v^k；

(1c)分别将色度饱和度量化图像Y_hs^k和亮度量化图像Y_v^k做累加处理，得到色度饱和度累加图像Y_HS和亮度累加图像Y_V；

(1d)设p为需要累加的帧数，p＝20，判断是否满足k>p，若是，则执行步骤(2)开始进行检测处理，否则，返回步骤(1a)继续读入图像；

(2)分别将色度饱和度累加图像Y_HS和亮度累加图像Y_V做平均处理，得到色度饱和度输入图像I_hs和亮度输入图像I_v；

(3)分别计算色度饱和度输入图像I_hs和亮度输入图像I_v的改进颜色聚合向量：

(3a)分别计算色度饱和度输入图像I_hs和亮度输入图像I_v的阈值和其中i表示第i个量化等级，i＝1…M，M表示总量化等级，表示I_hs的第i个颜色等级阈值，表示I_v的第i个颜色等级阈值；

(3b)计算色度饱和度输入图像I_hs的聚合区域像素个数非聚合区域像素个数最大聚合区域中心位置索引以及亮度输入图像I_v的聚合区域像素个数非聚合区域像素个数最大聚合区域中心位置索引

其中和分别为色度饱和度输入图像I_hs和亮度输入图像I_v的第i个颜色量化等级的聚合区域像素个数，和分别为色度饱和度输入图像I_hs和亮度输入图像I_v的第i个颜色量化等级的非聚合区域像素个数，和分别为色度饱和度输入图像I_hs和亮度输入图像I_v的第i个颜色量化等级的最大聚合区域中心位置索引；

(4)计算聚合区颜色相关子向量非聚合区颜色相关子向量最大聚合区域中心位置相关子向量其中x_m表示第m个聚合区颜色相关子向量，y_m表示第m个非聚合区颜色相关子向量，z_m表示第m个最大聚合区域中心位置相关子向量，m表示向量中第m个元素m＝1到M；

(5)分别对聚合区相关子向量非聚合区相关子向量最大聚合区域中心位置相关子向量进行模糊c-means聚类，得到聚合区隶属度矩阵U_α、非聚合区非聚合区U_β、最大聚合区域中心位置隶属度矩阵U_γ；

(6)根据第g个像素点的聚合区隶属度矩阵U_α、非聚合区非聚合区隶属度矩阵U_β、最大聚合区域中心位置隶属度矩阵U_γ，计算改进的模糊颜色聚合向量其中为第g个像素点相对于聚合区域的模糊颜色聚合向量，为第g个像素点相对于非聚合区域的模糊颜色聚合向量，为第g个像素点相对于最大聚合区域索引位置的模糊颜色聚合向量；

(7)根据改进的模糊颜色聚合向量F_g，计算当前帧与背景模型在g点处的相似度D(F_g,B_g):

其中,B_g表示第g个像素点的背景模型；代表当前帧在g点处相对于第h类的聚合区域模糊颜色聚合向量，代表背景模型在g点处相对于第h类的聚合区域模糊颜色聚合向量，代表当前帧在g点处相对于第h类的非聚合区域模糊颜色聚合向量，代表背景模型在g点处相对于第h类的聚合区域模糊颜色聚合向量，代表当前帧在g点处相对于第h类的最大聚合区域索引向量，代表当前帧在g点处相对于第h类的最大聚合区域索引向量，e1和e2分别代表0到1之间的不同值；

(8)根据相似度D(F_g,B_g)，计算前景图像I_fore并更新背景模型B_g；

(9)判断下一时刻视频信息是否到达，若是，令k＝k+1，返回步骤(6)进行迭代，否则，目标检测过程结束，输出前景图像I_fore。

本发明具有以下优点：

本发明由于在原有的基于模糊颜色聚合向量方法中引入改进的模糊颜色聚合向量特征，加入了聚合区域的位置信息，使得在利用背景建模方法进行目标检测的过程中对复杂场景的检测精确度进一步提高；同时由于改变了图像量化策略，使得对不同颜色分布的场景更加鲁棒。

附图说明

图1是本发明的整体流程图；

图2是用本发明与现有基于模糊颜色聚合向量方法对waterfall测试集进行目标检测的结果图；

图3是用本发明与现有基于模糊颜色聚合向量方法对campus测试集进行目标检测的结果图；

图4是用本发明与现有基于模糊颜色聚合向量方法对curtain测试集进行目标检测的结果图；

图5是用本发明与现有基于模糊颜色聚合向量方法对watersurface测试集进行目标检测的结果图。

具体实施方式

以下参照附图，对本发明的技术方案和效果进行进一步说明：

参照图1，本发明的具体实施过程包括以下步骤：

步骤1.预处理输入图像。

1.1)读入第k帧彩色图像I_k,并将其转换到HSV颜色空间，得到HSV图像Y_k:

Y_k＝[H，S，V]， <1>

其中k表示时刻，初始时刻为k＝1，H代表色度分量，S代表饱和度分量，V代表亮度分量；

1.2)将HSV图像Y_k进行等间隔量化，得到色度饱和度量化图像Y_hs^k和亮度量化图像Y_v^k：

1.2.1)将HSV图像Y_k的H和S分量进行等间隔量化，得到色度饱和度量化图像Y_hs^k:

其中，v₃^j＝v₁^j×8+v₂^j表示色度饱和度量化图像Y_hs^k的第j个像素点的量化等级，j＝1...O，O代表像素总数，v₁^j表示第j个像素点H分量的量化等级，v₂^j表示第j个像素点S分量的量化等级；

1.2.2)将HSV图像Y_k的V分量进行等间隔量化，得到亮度量化图像Y_v^k：

其中v₄^j表示亮度图像Y_k第j个像素点的量化等级；

1.3)分别将色度饱和度量化图像Y_hs^k和亮度量化图像Y_v^k做累加处理，得到色度饱和度累加图像Y_HS和亮度累加图像Y_V：

其中p为需要累加的帧数，p＝20；

1.4)判断是否满足k>p，若是，则执行步骤(2)开始进行检测处理，否则，返回步骤(1a)继续读入图像；

1.5)分别将色度饱和度累加图像Y_HS和亮度累加图像Y_V做平均处理，得到色度饱和度输入图像I_hs和亮度输入图像I_v:

I_hs＝Y_HS/p, <6>

I_v＝Y_V/p。 <7>

步骤2.分别计算色度饱和度输入图像I_hs和亮度输入图像I_v的颜色聚合向量。

2.1)分别计算色度饱和度输入图像I_hs和亮度输入图像I_v的阈值和

2.1.1)计算色度饱和度输入图像I_hs的阈值

其中，M表示总量化等级数，表示色度饱和度输入图像I_hs中第i个颜色量化等级的阈值：

其中为色度饱和度输入图像I_hs中属于第i个量化等级的每个像素点周围3×3邻域范围内量化等级等于i的像素点个数，x＝1…n_i，n_i为色度饱和度输入图像I_hs中属于第i个量化等级的像素点总数；

2.1.2)计算亮度输入图像I_v的阈值

其中表示输入图像I_v中每个颜色量化等级的阈值，通过如下公式确定：

其中为亮度输入图像I_v中属于第i个量化等级的每个像素点周围3×3邻域范围内量化等级等于i的像素点个数，y＝1…m_i，m_i为亮度图像I_v中属于第i个量化等级的像素点总数；

2.2)计算色度饱和度输入图像I_hs的颜色聚合向量

其中为输入图像I_hs的第i个颜色量化等级的聚合区域像素个数，输入图像I_hs的第i个颜色量化等级的非聚合区域像素个数，为输入图像I_hs的第i个颜色量化等级的最大聚合区域中心位置索引，max(·)函数表示取输入图像中所有属于第i个颜色量化等级的最大连通区域，locate(·)函数表示取输入区域的中心位置坐标，in(·)函数表示将位置坐标转为索引。

2.3)计算亮度输入图像I_v的颜色聚合向量

其中为输入图像I_v的第i个颜色量化等级的聚合区域像素个数，为输入图像I_v的第i个颜色量化等级的非聚合区域像素个数，为输入图像I_v的第i个颜色量化等级的最大聚合区域中心位置索引。

步骤3.根据色度饱和度输入图像I_hs和亮度输入图像I_v的颜色聚合向量计算相关子向量。

3.1)计算第m个聚合区颜色相关子向量由此得到聚合区颜色相关子向量为其中m＝1...M，M表示总量化等级数；

3.2)计算第m个非聚合区颜色相关子向量由此得到非聚合区颜色相关子向量

3.3)计算第m个最大聚合区域中心位置相关子向量由此得到最大聚合区域中心位置相关子向量

步骤4.对颜色相关子向量进行模糊c-means聚类。

4.1)对聚合区颜色相关子向量进行模糊c-means聚类，得到聚合区隶属度矩阵U_α：

其中表示聚合区颜色相关子向量的第M²个元素相对于第H'个聚类中心的相关度值，H'表示聚类中心总数；

4.2)对非聚合区颜色相关子向量进行模糊c-means聚类，得到聚合区隶属度矩阵U_β：

其中表示非聚合区颜色相关子向量的第M²个元素相对于第H'个聚类中心的相关度值；

4.3)对最大聚合区域中心位置颜色相关子向量进行模糊c-means聚类，得到最大聚合区域中心位置隶属度矩阵U_γ：

其中表示最大聚合区域中心位置相关子向量的第M²个元素相对于第H'个聚类中心的相关度值。

步骤5.根据隶属度矩阵U_α、U_β、U_γ计算改进的模糊颜色聚合向量F_g。

5.1)读入第k帧图像，按照步骤(1b)的方式进行量化得到量化图像Y_hs^k、Y_v^k；

5.2)对于量化图像Y_hs^k、Y_v^k中的每个像素点g，分别在隶属度矩阵U_α、U_β、U_γ中查找相对于第h个类别的相关度值

5.3)计算改进的模糊颜色聚合向量F_g：

其中为第g个像素点相对于聚合区域的模糊颜色聚合向量，为第g个像素点相对于非聚合区域的模糊颜色聚合向量，为第g个像素点相对于最大聚合区域索引位置的模糊颜色聚合向量；为第g个像素点相对于第h个聚类中心的聚合区域模糊颜色聚合向量，为第g个像素点相对于第h个聚类中心的非聚合区域模糊颜色聚合向量，为第g个像素点相对于第h个聚类中心的最大聚合区域索引位置模糊颜色聚合向量。

步骤6.根据改进颜色聚合向量建立计算前景图像I_fore。

6.1)计算当前帧与背景模型在g点处的相似度D(F_g,B_g)：

其中B_g表示第g个像素点的背景模型，代表背景模型在g点处相对于第h类的聚合区域模糊颜色聚合向量，代表背景模型在g点处相对于第h类的聚合区域模糊颜色聚合向量，代表当前帧在g点处相对于第h类的最大聚合区域索引向量，e1和e2分别代表0到1之间的不同值；

6.2)根据相似度D(F_g,B_g)，计算前景图像I_fore:

其中：表示前景图像的第g个像素点的值，N表示总像素数，τ为分割阈值，τ＝0...1；

6.3)更新背景模型B_g：

B_g(k)＝(1-λ)B_g(k-1)+F_g(k)， <19>其中B_g(k)为第k帧的背景模型，B_g(k-1)为第k-1帧的背景模型，F_g(k)为第k帧的改进模糊颜色聚合向量，λ为学习率，取值为0到1。

步骤7.输出图像：

判断下一时刻视频信息是否到达，若是，令k＝k+1，转到步骤(6)进行迭代，否则，目标检测过程结束，输出前景图像I_fore。

本发明的效果可通过以下实验进一步说明：

1.实验条件

实验环境：Intel Core I3CPU 3.3Ghz，4GB内存，Matlab2015b实验平台。

2.实验内容与结果

实验1：用本发明方法与基于模糊颜色聚合向量方法，对waterfall测试集进行目标检测，结果如图2所示，其中：

图2(a)为waterfall测试集第1440帧的原始图像；

图2(b)为waterfall测试集第1440帧的手动分割的前景结果；

图2(c)为用本发明对waterfall测试集的第1440帧检测结果；

图2(d)为用基于模糊颜色聚合向量方法对waterfall测试集第1440帧的检测结果；

从图2中可以看出，相对于图2(a)的原始图像和图2(b)的手动分割的前景结果，基于模糊颜色聚合向量方法得到的检测图像不完整，腿部残缺不全；而本发明的检测结果虽然有少量噪声，但对人物各个部分的检测效果都比较完整。

实验2：用本发明方法与基于模糊颜色聚合向量方法，对campus测试集进行目标检测，结果如图3所示，其中：

图3(a)为campus测试集第1698帧的原始图像；

图3(b)为campus测试集第1698帧的手动分割的前景结果；

图3(c)为用本发明对campus测试集的第1698帧检测结果；

图3(d)为用基于模糊颜色聚合向量方法对campus测试集第1698帧的检测结果；

从图3中可以看出，相对于图3(a)的原始图像和图3(b)的手动分割的前景结果，基于模糊颜色聚合向量方法的检测结果缺失部分细节，对轮廓的检测也不完整，而本发明可以检测到更丰富的轮廓细节。

实验3：用本发明方法与基于模糊颜色聚合向量方法，对curtain测试集进行目标检测，结果如图4所示，其中：

图4(a)为curtain测试集第22890帧的原始图像；

图4(b)为curtain测试集第22890帧的手动分割的前景结果；

图4(c)为用本发明对curtain测试集的第22890帧的检测结果；

图4(d)为用基于模糊颜色聚合向量方法对curtain测试集的第22890帧检测结果；

从图4中可以看出，相对于图4(a)的原始图像和图4(b)的手动分割的前景结果，本发明误检部分较少，并且可以检测到更完整的人物轮廓。

实验4：用本发明方法与基于模糊颜色聚合向量方法，对watersurface测试集进行目标检测，结果如图5所示，其中：

图5(a)为watersurface测试集第1440帧的原始图像；

图5(b)为watersurface测试集第1440帧的手动分割前景结果；

图5(c)为用本发明对watersurface测试集的第1440帧检测结果；

图5(d)为用基于模糊颜色聚合向量方法对watersurface测试集第1440帧的检测结果；

从图5中可以看出，相对于图5(a)的原始图像和图5(b)的手动分割的前景结果，本发明与基于模糊颜色聚合向量方法相比检测出的人物轮廓更加清晰，细节更加丰富。

运用本发明方法与基于模糊颜色聚合向量方法对waterfall测试集、campus测试集和curtain测试集、watersurface测试集分别进行目标检测，统计检测精确度，结果如表1所示。

表1 检测精确度对比表

由表1中的统计数据可以看出：在目标检测效果方面，本发明在所有的复杂场景中F-measure值都达到了80％以上的，在watersurface测试集中F-measure值达到了90％以上的，并且在四组实验视频集中，本发明的F-measure值均要高于基于模糊颜色聚合向量方法。

综上所述，本发明在目标检测效果及不同场景的适用性均优于基于模糊颜色聚合向量方法。

以上描述仅是本发明的一个具体实例，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍然在本发明的权利要求保护范围之内。