一种基于HSV颜色直方图和DCT感知哈希的镜头边界检测方法与流程

本发明涉及视频内容分析领域，具体设计一种基于HSV颜色直方图和DCT感知哈希算法的镜头边界检测方法。

背景技术：

随着计算机、通信和多媒体技术的发展，多媒体视频数据的数据量正在呈井喷式地增长，同时传统的视频分析方法无法适应数据量的不断增长和视频数据结构的愈加复杂。为了更加有效地存储、管理和分析视频数据，提出了基于内容的视频分析检索技术，其中，视频镜头边界检测是进行视频分析检索的基础。视频数据是由一系列相同尺寸并且时间上连续的图像帧组成的，视频的结构由大到小可以分成视频序列、情景、镜头和图像帧。镜头是视频结构的基本单元，镜头边界检测是视频数据分析检索的第一步，镜头边界检测的准确性直接影响到后续处理的效果。

到目前为止，国内外的专家学者在这一领域做了大量的工作并且产生了很多研究成果。主流的视频镜头检测方法包括：像素法、直方图法、互信息量法、边缘特征法等等。但是，由于视频数据种类繁多，各具特征，传统的方法都具有一定的局限性，导致检测准确率不高。目前为止，镜头检测技术存在的共同问题是对物体运动和亮度变化比较敏感，这将是往后所有检测技术都要解决的技术难题。

技术实现要素：

本发明要解决的技术问题是：克服现有技术的不足，提供一种结合改进的HSV颜色直方图、归一化阈值和DCT感知哈希算法的具有双重检测机制的视频镜头边界检测方法。

本发明目的在于针对目前镜头边界检测存在的普遍问题的问题，提出了一种基于HSV颜色直方图和DCT感知哈希的镜头边界检测方法，该方法解决了现有的视频镜头边界检测算法对光照变化敏感、准确率和查全率较低的问题，提高了针对不同结构视频数据的检测准确率和查全率，适用性有了一定的提高。

本发明解决其技术问题所采取的技术方案是：本发明首先通过统计视频帧序列的HSV颜色直方图信息，过滤掉绝大多数的镜头内帧数据并且给出一个初始的镜头边界集合，大大地降低了复检的时间复杂度。接着，采用DCT感知哈希算法，提取视频帧的DCT感知哈希特征值，通过比较特征值差异，删除初检结果里的伪镜头边界，克服光照变化对检测的影响，进一步地提高算法准确率。

一种基于HSV颜色直方图和DCT感知哈希的镜头边界检测方法，所述方法包括如下步骤：

步骤1：使用基于HSV颜色空间的直方图统计方法计算出相邻两帧图像之间的直方图差异度；

步骤2：采用自适应阀值对相邻两帧间的差异度进行判别，若大于阀值，则初步判定为镜头边界；

步骤3：采用基于DCT的感知哈希算法对初检结果进行复检并得出最终的视频镜头边界集合。

所述的一种基于基于HSV颜色直方图和DCT感知哈希的镜头边界检测方法，步骤1的具体方法如下：

A)读取视频序列M，根据公式(1)-(3)计算每一帧图像的归一化色调、饱和度和亮度值，即归一化HSV信息；

其中，R,G,B分别代表图像像素点的红、绿、蓝三个颜色分量，H,S,V代表HSV颜色空间的色调、饱和度和亮度分量值，取值范围[0,1]；

B)对HSV三分量进行差异化量化，分别量化成16阶、8阶和2阶；并且将图像的三维颜色空间压缩到一维空间内，计算公式如下：

L(i，j)＝16H(i，j)+2S(i，j)+V(i，j) (4)

其中，i,j是图像的像素位置横纵坐标，H(i,j),S(i,j),V(i,j)是当前位置像素的HSV三个分量值；

C)结合每个像素位置的变量值L(i,j)，计算每帧图像的直方图统计值，并计算相邻两帧之间的卡方距离，计算公式如下：

其中，j代表第j帧图像，d(j,j+1)代表了相邻两帧之间的直方图距离，H_j(i)表示第j帧图像直方图信息中的i分量的统计值，i的取值范围[0,255]。

所述的一种基于基于HSV颜色直方图和DCT感知哈希的镜头边界检测方法，步骤2的具体方法如下：

A)提出一种归一化的镜头初检门限T1，公式如下：

T1＝m+λσ (6)

其中，m,σ是直方图距离序列的均值和标准差，λ是常数，取值范围可以是{1,2}；

B)利用计算出的门限值，进行镜头边界初检：

若直方图距离大于门限，则判定此帧图像处存在镜头边界，并将边界值j存储到初见边界集合P中，取j＝j+1，再次进行判定；否则，判定此处图像是镜头内部帧，j＝j+1，按次序依次判定直至j＝N，N为视频帧序列总帧数。

所述的一种基于基于HSV颜色直方图和DCT感知哈希的镜头边界检测方法，步骤3的具体方法如下：

A)将初检边界集合P中的每帧图像从彩色图像转换成灰度图像；

B)调用resize()函数对图像重新设定尺寸，减小算法计算量；

C)利用离散余弦变换DCT计算灰度图像帧序列的DCT系数矩阵，结合图像DCT变换的特性，取系数矩阵左上方一小部分非零元素子矩阵C；

D)计算系数矩阵C的均值，若对应位置的元素值大于均值则置1，否则置0，所有元素按顺序组合在一起就构成了图像的DCT感知哈希序列G；

E)计算P中的每帧图像与其相邻图像帧之间的DCT感知哈希差异度，差异度定义式如下，

其中，j表示初检集合中的镜头边界位置，D代表相邻两帧之间的DCT感知哈希差异度，Num为图像感知哈希序列长度，G为图像感知哈希序列；

F)通过差异度大小进行复检，若差异度大于30％则判定此处是真的视频镜头边界，并将j存储到边界集合R中，否则判定该处为误检；遍历集合P中的所有元素，分别进行判定，最后返回视频边界集合R。

本发明应用于多媒体视频数据分析与检索。

本发明的有益效果：

1、本发明的镜头边界检测方法采用了主流的直方图算法，根据人眼对HSV三分量的敏感程度，分别进行了不同比例的量化操作，一定程度上抑制了亮度对算法的影响，提高了算法的准确率。

2、针对现有的大部分算法只能适用于某些特定结构的视频，本发明采用了一种归一化的门限判决方法，算法灵活性更高，可以适用于多种视频结构。

3、本发明利用了直方图算法的低算法复杂度和较低的时间复杂度的优点以及感知哈希算法数据压缩率高的优点。虽然本发明使用了初检复检双重检测的机制，但是检测所耗费的时间并没有明显的增加，同时有效地提高了检测方法的准确性。

附图说明

图1为本发明方法流程图。

图2为本发明中视频图像帧HSV颜色直方图统计信息示意图。

图3为本发明的DCT感知哈希复检算法流程图。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

如图1所示，本发明的视频镜头边界检测方法，包括以下步骤：

1)读取视频序列M，获取每帧图像的RGB信息矩阵。由于HSV颜色模型更加直观，更符合人眼的视觉感受，所以通过如下转换公式得到图像帧的HSV颜色信息矩阵：

其中，R,G,B分别代表图像像素点的红、绿、蓝三个颜色分量，H,S,V代表HSV颜色空间的色调、饱和度和亮度分量值，取值范围[0,1]。

2)数据量化压缩。多媒体视频数据以数据量巨大著称，在分析视频数据的过程中，在不影响分析精度的条件下减少数据量是一个很重要的环节。

A)结合人眼的视觉特征，分别将H、S、V三种分量均匀量化成16、8和2阶，大大减少计算复杂度。

B)将量化后的视频图像帧的数据矩阵从三维颜色空间映射到一维颜色空间：

L(i，j)＝16H(i，j)+2S(i，j)+V(i，j) (4)

其中，i,j是图像的像素位置横纵坐标，H(i,j),S(i,j),V(i,j)是当前位置像素的HSV三个分量值。

3)依次获取相邻图像帧之间的直方图差异度。

A)统计每幅图像的直方图信息。

其中，H_j(i)表示第j帧图像直方图信息中的i分量的出现的频次，i的取值范围[0,255]，m和n分别表示图像的横纵维度。图2给出了一个图像帧的HSV颜色直方图统计信息示意图。

B)结合直方图统计量，计算出相邻两帧之间的卡方距离，公式如下：

其中，j代表第j帧图像，d(j,j+1)代表了相邻两帧之间的直方图距离。自此，通过以上步骤即可求出视频帧序列的HSV颜色直方图距离。

4)定义一种归一化的镜头初检门限T1，公式如下：

T1＝m+λσ (7)

其中，m,σ是直方图距离序列的均值和标准差，λ是常数，取值范围可以是[1,2]。

通过公式(7)，得出初检方法的门限值，并给出判定方法：

d(j，j+1)≥T1 (8)

若图像帧间距离大于门限值T1，则初步判定该处为镜头边界值，并将该帧位置存储进集合P中。否则，认为该处为镜头内部的图像帧。依次判定每个相邻位置图像的帧间距离，并得出初检边界集合P。

5)虽然发明中对传统的直方图方法进行改进，但是改进的方法仍然存在对光照敏感的问题，会将光照变化产生的帧间差异误判成镜头的边界。因此，本发明利用DCT感知哈希算法对初检结果进行复检，并进一步提高方法准确率，具体算法流程图如图3所示。具体步骤如下：

A)调用rgb2gray()函数，将初检边界集合P中的每帧原始图像从彩色图像转换成灰度图像，并保存结果；

B)调用resize()函数，将图像尺寸调整为32*32；

C)利用离散余弦变换DCT计算灰度图像帧序列的DCT系数矩阵C，结合图像DCT变换的特性，取系数矩阵左上方一小部分非零元素子矩阵C'；

D)计算系数矩阵C'的均值，

其中，i,j是图像的像素位置横纵坐标。若对应位置的元素值大于均值则对应位置置1，否则置0，所有元素按顺序组合在一起就构成了图像的DCT感知哈希序列G，即帧DPHA系数；

E)计算初检边界集合P中的每帧图像与其相邻图像帧之间的DCT感知哈希差异度，差异度定义式如下，

其中，j表示初检集合中的镜头边界位置，D代表相邻两帧之间的DCT感知哈希差异度，Num为图像感知哈希序列长度，G为图像感知哈希序列。

F)通过比较差异度大小进行复检，若差异度大于序列长度30％(门限T2)，则判定此处视频镜头边界存在，并将j存储到边界集合R中，否则判定该处为误检。遍历集合P中的所有元素，依次进行检测判定，最后返回视频边界集合R。

本发明提出了一种基于HSV颜色直方图和DCT感知哈希的镜头边界检测方法，利用直方图法的统计特性、旋转不变性以及利用感知哈希算法克服镜头边界检测算法对光照变化的影响。通过对几种不同类别的视频片段进行镜头边界检测，并且与两种现有算法进行对比，在算法检测准确率、查全率上都得到了有效的提高(表1)。

表1

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。