基于帧间差分和颜色直方图差值的关键帧提取方法与流程

[0001]
本发明属于视频检测技术领域，具体涉及基于帧间差分和颜色直方图差值的关键帧提取方法。


背景技术：

[0002]
随着智能终端、物联网等技术的快速发展，视频数据呈爆发式增长，依赖人工筛查的视频分析方法已无法满足实际的需要。一方面，速度慢，人工筛查的方法很难实时地处理大量的视频数据；另一方面，成本高昂，海量视频分析带来巨大的人力成本开销。如何借助计算机资源，从海量视频数据中提取我们感兴趣的内容，为目标识别、人流量统计等技术提供更为有效的数据，成为了当前需要解决的问题。
[0003]
目前，典型的关键帧提取方法主要包括：基于抽样的方法，该方法较为简单且计算量小，但设置合适的抽样距离较为困难。基于镜头分割的方法，该方法将镜头的第一帧、最后一帧或中间帧提取为关键帧。基于目标运动的方法，采用流光法对所有视频帧进行运动值的度量，该方法计算量较大。基于聚类的方法，初始聚类中心，对所有视频帧进行聚类，将距离每一类类中心最近的视频帧作为关键帧。该方法中初始化聚类中心较为困难，且聚类算法计算量较大。基于图像特征，如颜色特征、纹理特征、局部特征等。该类方法通过特征计算图像帧间的相似度，之后利用设置阈值等方式对提取的相似帧去重，生成最终的关键帧集合。该类方法简单，但容易选取较多的冗余帧。
[0004]
当前的研究多数基于镜头切换的视频，对固定摄像头的视频研究较少。其次，没有考虑到有目标识别等后续任务的关键帧提取需求。并且上述研究如聚类、流光法等方法计算量复杂，而抽样、图像特征等方法提取到的关键帧又存在冗余帧。因此，在关键帧提取的领域中，有两个基本的问题亟待解决：1)如何在保证关键帧集合具有较高代表性的同时，显著降低提取的时间，满足实时性的要求；2)如何在保证关键帧集合具有较高代表性的同时，关键帧的冗余信息要少，即关键帧帧数尽可能少，进而降低后续任务算法的时间复杂度。


技术实现要素：

[0005]
本发明的目的在于提供基于帧间差分和颜色直方图差值的关键帧提取方法，以解决上述问题。
[0006]
为实现上述目的，本发明采用以下技术方案：
[0007]
基于帧间差分和颜色直方图差值的关键帧提取方法，包括以下步骤：
[0008]
步骤1：通过目标检测算法对监控视频中的运动目标进行检测，将监控视频划分为只包含运动目标的视频序列，得到候选关键帧；
[0009]
步骤2：设置阈值，对候选关键帧进行筛选，去除相似的图像帧，得到最终的关键帧集合。
[0010]
进一步的，步骤1中，采用基于帧间差分的目标检测算法对监控视频中含有运动目标的视频序列进行提取。
[0011]
进一步的，步骤1具体为：
[0012]
先将视频第一帧保存为候选关键帧。
[0013]
提取相邻两个视频帧f
k
(x,y,c)、f
k+1
(x,y,c)，其中c表示图像通道；计算f
k
(x,y,c)、f
k+1
(x,y,c)中每个像素点差值的绝对值：
[0014]
d
k
(x,y,c)＝|f
k+1
(x,y,c)-f
k
(x,y,c)|
[0015]
将图像d
k
(x,y,c)的颜色空间转换为灰度空间d
g
(x,y)；对灰度空间的图像进行阈值化处理，得到二值化图像；具体地，固定一个二值化阈值t，当d
g
(x,y)中像素值大于t时，则将该像素值对应点的像素变为255，表示白色前景；否则变为0，表示黑色背景。阈值处理的目的是由于光照的突然变化和其他噪声引起像素变化，会造成差分后的图像中包含噪声；计算公式如下：
[0016][0017]
统计二值化图像b
k
(x,y)中像素值为255的像素点个数，若大于阈值t1，则认为当前帧包含运动目标，将当前帧保存为候选关键帧；其中，阈值t1为可调节参数，根据不同的监控视频内容进行调节。
[0018]
进一步的，步骤2中，采用颜色直方图差值法对候选关键帧进行筛选，以得到最终的关键帧。
[0019]
进一步的，步骤2具体为：
[0020]
先将候选帧的第一帧保存为关键帧；
[0021]
其次将图像变为灰度图，计算相邻两帧f
k
(x,y)、f
k+1
(x,y)直方图的差值，并将差值保存在数组diff中：
[0022][0023]
计算数组diff中的最大值max
diff
，目的是找出候选关键帧中相邻两帧的最大差异；设置筛选阈值t2为α
·
max
diff
，其中α∈(0，1)，为去重参数；通过调节去重参数α，我们能够得到一个合适的筛选阈值t2来判断两帧是否相似；
[0024]
当diff[i]大于t2时，将当前帧保存为关键帧，否则作为相似帧舍弃。
[0025]
与现有技术相比，本发明有以下技术效果：
[0026]
本发明公开的基于帧间差分和颜色直方图差值的关键帧提取技术，利用帧间差分从监控视频中提取含有运动目标的视频序列组成候选关键帧，之后计算候选关键帧中相邻两帧的颜色直方图差值，并设置阈值去除相似帧，得到最终的关键帧集合。实验结果表明，与传统的基于抽样的关键帧提取技术相比，该技术能够获得具有代表性且冗余信息较少的关键帧集合；与传统的基于聚类的关键帧提取技术相比，该技术能够降低计算的复杂度；与基于帧间差分和其他降低图像冗余信息的技术相比，该技术在保证提取的关键帧集合具有代表性的同时，还能显著降低关键帧提取所需的时间，以满足实时性要求，并且关键帧帧数较少，进而降低了后续任务算法的时间复杂度。
[0027]
进一步地，采用基于帧间差分的目标检测算法对监控视频中的运动目标进行检测，从而得到含有运动目标的视频序列。当视频中存在运动物体时，相邻帧的像素值会发生改变。因此提取视频中的相邻两帧，计算它们之间的灰度值差异，当差值大于某一阈值时则
将该点作为前景像素点，组成运动目标；否则将该点作为背景像素点，组成背景。计算前景像素点的个数，当其大于预先调节好的阈值，则认为当前帧存在运动目标，并将当前帧保存为候选关键帧。帧间差分算法复杂度低，鲁棒性强，计算资源消耗少，能较快的从视频流中提取出含有运动目标的视频序列。
[0028]
进一步地，采用颜色直方图差值法对候选关键帧进行筛选，得到最终的关键帧集合。颜色直方图通过统计某一像素范围内像素点的个数来获得图像的特征。因此背景不变和目标不变(尽管有移动)的两帧在直方图上几乎没有差别。计算候选关键帧中相邻两帧的直方图差值，并设置筛选阈值，当差值大于筛选阈值时，说明相邻的两帧图像相似度较低，将当前帧保存为关键帧；否则，说明相邻的两帧图像十分相似，将当前帧舍弃，以降低关键帧集合中的冗余信息。颜色直方图的计算量小，且在度量图像帧相似度方面具有较好的性能。
附图说明
[0029]
图1为本发明的方法的流程图；
[0030]
图2为本发明和其他关键帧提取技术的效果对比柱状图；
[0031]
图3为本发明和其他关键帧提取技术的效果对比柱状图。
具体实施方式
[0032]
以下结合附图对本发明进一步说明：
[0033]
请参阅图1至图3，如图1所示为本发明的流程图，本发明的基于帧间差分和颜色直方图差值的关键帧提取技术，包括以下步骤：
[0034]
步骤1：对监控视频中的运动目标进行检测，将监控视频划分为只包含运动目标的视频序列，得到候选关键帧。其具体操作为：
[0035]
先将视频第一帧保存为候选关键帧。
[0036]
提取相邻两个视频帧f
k
(x,y,c)、f
k+1
(x,y,c)，其中c表示图像通道。计算f
k
(x,y,c)、f
k+1
(x,y,c)中每个像素点差值的绝对值：
[0037]
d
k
(x,y,c)＝|f
k+1
(x,y,c)-f
k
(x,y,c)|
[0038]
将图像d
k
(x,y,c)的颜色空间转换为灰度空间d
g
(x,y)。对灰度空间的图像进行阈值化处理，得到二值化图像。具体地，固定一个二值化阈值t，当d
g
(x,y)中像素值大于t时，则将该像素值对应点的像素变为255，表示白色前景；否则变为0，表示黑色背景。阈值处理的目的是由于光照的突然变化和其他噪声引起像素变化，会造成差分后的图像中包含噪声。计算公式如下：
[0039][0040]
统计二值化图像b
k
(x,y)中像素值为255的像素点个数，若大于阈值t1，则认为当前帧包含运动目标，将当前帧保存为候选关键帧。其中，阈值t1为可调节参数，根据不同的监控视频内容进行调节。
[0041]
步骤2：设置阈值，对候选关键帧进行筛选，去除相似的图像帧，得到最终的关键帧集合。其具体操作为：
[0042]
先将候选帧的第一帧保存为关键帧。
[0043]
其次将图像变为灰度图，计算相邻两帧f
k
(x,y)、f
k+1
(x,y)直方图的差值，并将差值保存在数组diff中：
[0044][0045]
计算数组diff中的最大值max
diff
，目的是找出候选关键帧中相邻两帧的最大差异。设置筛选阈值t2为α
·
max
diff
，其中α∈(0，1)，为去重参数。通过调节去重参数α，我们能够得到一个合适的筛选阈值t2来判断两帧是否相似。
[0046]
当diff[i]大于t2时，将当前帧保存为关键帧，否则作为相似帧舍弃。
[0047]
如图1，基于帧间差分和颜色直方图差值的关键帧提取技术，相关细节如下：
[0048]
1)帧间差分阶段的阈值调节：采用基于帧间差分的目标检测算法对监控视频中的运动目标进行检测，从而得到含有运动目标的视频序列。在该阶段，设置了一个阈值，用来检测当前图像帧是否含有运动目标。具体地，对帧间差分后的图像进行二值化处理，统计二值化图像中像素值为255的像素点个数，若像素值为255的像素点个数大于事先调节的阈值，则认为当前帧存在运动目标，并将当前帧保存为候选关键帧；否则认为当前帧不含运动目标，舍弃当前帧。阈值的调节可通过对候选关键帧进行实时观察后得到。具体地，随机初始阈值，若候选关键帧集合中已包含运动目标的信息，但依然存在大量冗余信息，则可将初始的阈值变大；若候选关键帧集合不能够反应运动目标的信息，则将初始阈值变小。
[0049]
2)颜色直方图差值阶段的阈值调节：采用颜色直方图差值法对候选关键帧进行筛选。在该阶段，设置了一个筛选阈值，来判断候选关键帧中相邻两帧是否相似。具体地，计算候选关键帧中相邻两帧的直方图差值diff，并将差值保存在数组中，计算相邻两帧中最大的直方图差值max
diff
，将筛选阈值设置为α
·
max
diff
，其中α∈(0，1)，为去重参数。初始化α，对筛选的关键帧集合进行实时观察，若关键帧集合能够反应运动目标的信息，但相似帧较多，则将α的值变大；若关键帧集合不能够反应运动目标的信息，即筛选过程中筛去了关键动作，则将α的值变小。
[0050]
如图2，是本发明和其他关键帧提取技术的效果对比柱状图。具体地，图2的实验采用的是路口监控视频，关键帧提取的主要目的是为识别过往车辆类型的任务提供更为有效的数据，以节约识别过程的时间。其中，本发明是指基于帧间差分和颜色直方图差值的关键帧提取技术，对比试验1是指基于帧间差分、峰值信噪比和surf特征的关键帧提取技术，对比实验3是指基于帧间差分和基于卡方检验的颜色直方图比较的关键帧提取技术。通过对三个算法提取的关键帧集合进行分析以及图2直观展示的内容，我们可以发现，三个算法提取的关键帧集合都具有代表性，而其中，基于基于帧间差分、峰值信噪比和surf特征的关键帧提取技术，计算surf特征所需时间较长，不利于后续有识别任务的进行；基于帧间差分和基于卡方检验的颜色直方图比较的关键帧提取技术，虽然用时与本发明相差不多，但提取的关键帧代表性要略差于本发明。本发明做到了在保证代表性的同时，显著降低了关键帧提取所需的时间，满足了实时性的要求，并尽可能减少集合中的冗余信息，使得关键帧帧数较少，进而降低后续任务算法的时间复杂度。
[0051]
如图3，是本发明和其他关键帧提取技术的效果对比柱状图。具体地，图3的实验采用的是配网检修作业视频，关键帧提取的主要目的是为识别工人是否佩戴安全帽的任务提
供更为有效的数据，以节约识别过程的时间。其中，本发明是指基于帧间差分和颜色直方图差值的关键帧提取技术，对比试验2是指基于帧间差分和差异值哈希的关键帧提取技术，对比实验3是指基于帧间差分和基于卡方检验的颜色直方图比较的关键帧提取技术。通过对三个算法提取的关键帧集合进行分析以及图3直观展示的内容，我们可以发现，三个算法提取的关键帧集合都具有代表性，而其中，基于帧间差分和差异值哈希的关键帧提取技术，提取的关键帧集合虽然用时较短，但关键帧冗余信息要略多于本发明。本发明做到了在保证代表性的同时，显著降低了关键帧提取所需的时间，满足了实时性的要求，并尽可能减少集合中的冗余信息，使得关键帧帧数较少，进而降低后续任务算法的时间复杂度。
[0052]
需要说明的是，以上所述仅为本发明实施方式的一部分，根据本发明所做的等效变化，均包括在本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做类似的方式替代，只要不偏离本发明或者超越本权利要求书所定义的范围，均属于本发明的保护范围。