一种基于MCP稀疏表示的视频关键帧提取方法

一种基于mcp稀疏表示的视频关键帧提取方法
技术领域
1.本发明涉及计算机视觉关键帧提取技术领域，特别是涉及一种基于mcp稀疏表示的视频关键帧提取方法。


背景技术：

2.视频摘要已成为智慧城市、智慧空间中的视频服务的主要研究内容，将助力物联网设备或传感器有效地处理视频信息。例如，视频摘要为用户提供了快速识别视频的概览信息以及识别整个视频是否值得观看的能力。在这里，关键帧提取是视频摘要中的重要问题。由于视频数据量巨大，并且含有很多噪音，如何有效提取视频的关键帧信息非常重要。视频信号由连续帧组成，时间冗余性特别大，即相邻帧之间的相关性很强，因此十分适合使用关键帧提取方法。关键帧提取是选取少量信息量最大的帧去近似表示原始视频，可以缓解高维视频信号处理的压力，提高视频理解的效率。
3.目前基于稀疏模型的关键帧提取由于其突出的优点、简单性和成熟的数学分析而引起了极大的关注。信号的稀疏表示有完善的数学表示。通过字典与稀疏系数矩阵来描述信号，可获得复杂信号更为简洁的表示方式，从而提高信号处理性能。值得注意的是，基于稀疏表示的关键帧提取方法，其有效性主要取决于稀疏约束，这通常基于l1范数。例如用于视频分类和摘要的稀疏建模表示选择(smrs)方法使用l1范数来计算与关键帧对应的稀疏稀疏矩阵。但是现有的稀疏约束无法提取到有效的关键帧，并且基本都是基于传统的l1范数，没有考虑稀疏系数矩阵中视频帧的结构信息。
4.因此，开发更有效的方法以获得更好的视频关键帧是必要的。


技术实现要素：

5.本发明的目的是提供一种基于mcp稀疏表示的视频关键帧提取方法，以解决上述现有技术存在的问题，提高了关键帧提取算法的计算速度，同时使提取的关键帧数量减少，降低压缩率。
6.为实现上述目的，本发明提供了如下方案：本发明提供一种基于mcp稀疏表示的视频关键帧提取方法，包括以下步骤：
7.拆分视频，获得图像帧，基于所述图像帧，构建视频信号矩阵；
8.利用mcp稀疏约束构建稀疏表示模型；
9.将所述视频信号矩阵输入所述稀疏表示模型，利用dc编码优化所述稀疏表示模型，计算稀疏系数矩阵，基于所述稀疏系数矩阵，获取关键帧索引；
10.基于所述关键帧索引，提取所述视频中的关键帧。
11.可选地，基于所述图像帧，构建视频信号矩阵包括：提取所述图像帧的图像信息，将每一帧的所述图像信息作为列，构建所述视频信号矩阵。
12.可选地，所述稀疏表示模型为：
13.14.其中，s为视频信号矩阵，x为稀疏系数矩阵，j
mcp
(x)为mcp稀疏约束，λ为权重系数。
15.可选地，所述稀疏系数矩阵为：
[0016][0017]
其中，x为稀疏系数矩阵，s为视频信号矩阵，j
mcp
(x)为mcp稀疏约束，λ为权重系数。
[0018]
可选地，利用dc编码优化所述稀疏表示模型，计算所述稀疏系数矩阵包括：
[0019]
利用dc分解方法将所述稀疏系数矩阵分解为两个凸函数之差的形式，如下式所示：
[0020][0021]
其中，s为视频矩阵信号，x为稀疏系数矩阵，j
mcp
(x)为mcp稀疏约束，λ为权重系数，||
·
||表示范数函数；
[0022]
利用dc算法计算所述稀疏系数矩阵。
[0023]
可选地，利用dc算法计算计算所述稀疏系数矩阵的方法为：
[0024][0025]
其中，s为视频矩阵信号，x为稀疏系数矩阵，j
mcp
(x)为mcp稀疏约束，λ为权重系数，《》表示内积运算，表示偏导运算，||
·
||表示范数运算函数。
[0026]
可选地，基于所述稀疏系数矩阵，获取所述关键帧索引包括：提取所述稀疏系数矩阵中的非零行，即为所述关键帧索引。
[0027]
可选地，所述提取方法还包括利用关键帧压缩率对提取关键帧效果进行验证。
[0028]
本发明公开了以下技术效果：
[0029]
本发明提供的一种基于mcp稀疏表示的视频关键帧提取方法，可以高效提取一个视频中少数的关键帧，使提取的关键帧数量减少，即用更少的关键帧表示原视频，降低关键帧提取的压缩率；通过应用dc编码来优化非凸mcp正则化关键帧提取问题，以提供一组子问题优化求解方法，以获准确的关键帧，同时提高关键帧提取算法的计算速度；本方法操作简单，输入视频信号，通过该基于mcp稀疏表示的视频关键帧提取方法依次步骤，即可得到视频关键帧。
附图说明
[0030]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]
图1为本发明的基于mcp稀疏表示的视频关键帧提取模型示意图；
[0032]
图2为本发明实施例中基于mcp稀疏表示的视频关键帧提取方法示意图。
具体实施方式
[0033]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0034]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0035]
本发明提供一种基于mcp稀疏表示的视频关键帧提取方法，如图1-2所示。具体包括：
[0036]
将视频拆分成图像帧，每一帧表示成矩阵的每一列，构成视频信号矩阵s。通过构造视频信号矩阵可以将原视频表示成可进行稀疏表示的矩阵形式。
[0037]
该数据集使用的是视频信号，每个视频有多个视频帧组成，相邻的视频帧之间具有冗余信息，每个视频帧是一张含有信息的图像。
[0038]
提取每个视频帧中的像素点，按照从左到右从上到下依次排列组合成为一个特征向量，即得到相应视频帧的特征向量，将所有视频帧的特征向量组合，构成视频信号矩阵s，即
[0039]
s＝[s1,s2,
…
,si,
…
,sn],si(1≤i≤n)为第i个视频帧的特征向量。
[0040]
构建一个基于minimax concave penalty(mcp)稀疏正则化的稀疏表示模型，该稀疏表示模型可以获得更稀疏的系数矩阵，进而在后续的关键帧提取中获得更低的压缩率。
[0041]
初始两个矩阵y、d，其中，y为原信号矩阵，d为字典矩阵。将矩阵y、d带入式(1)中计算稀疏系数矩阵x。
[0042][0043]
其中，f(x)为稀疏表示模型函数，y为原信号矩阵，x为稀疏系数矩阵，d为字典矩阵，j
mcp
(x)为mcp稀疏约束，λ为权重系数，||
·
||表示范数运算函数。
[0044]
原信号矩阵可以用字典中的少数列向量线性组合表示，如稀疏矩阵里只有第一行和第三行为非零元素，则原信号矩阵可表示为字典矩阵里第一列和第三列与稀疏矩阵的第一行和第三行的线性组合(乘积)。为了更好地选择少数(稀疏)的关键帧，该模型引入了mcp稀疏正则化约束，对产生的稀疏系数矩阵进行强稀疏约束。该约束可以使稀疏矩阵具有强稀疏性并可采用凸优化方法求解问题。
[0045]
将视频信号矩阵s替换式(1)中的原信号矩阵y和字典矩阵d，构造的稀疏表示模型如式(2)所示：
[0046][0047]
其中，s为视频矩阵信号，x为稀疏系数矩阵，j
mcp
(x)为mcp稀疏约束，λ为权重系数，一般取值大于0小于1。通过视频信号矩阵的带入，将构建的稀疏表示模型用于关键帧提取的应用。
[0048]
基于dc编码优化稀疏表示模型，计算出稀疏系数矩阵，如图2所示，其中稀疏系数矩阵的非零行代表关键帧的索引。dc编码可以求解非凸mcp正则化关键帧提取问题，以获得准确的关键帧，同时采用dc编码可以提高关键帧提取算法的计算速度。
[0049]
由于字典(即视频矩阵)和稀疏系数矩阵的乘积为视频信号矩阵，关键帧求解问题可构成优化稀疏表示问题，即求出满足mcp稀疏约束的稀疏系数矩阵。本实施例中，采用dc编码优化稀疏表示模型，计算稀疏系数矩阵x。计算稀疏系数矩阵x的求解式如式(3)所示：
[0050][0051]
其中，s为视频矩阵信号，x为稀疏系数矩阵，j
mcp
(x)为mcp稀疏约束，λ为权重系数，一般取值大于0小于1，||
·
||表示范数函数。
[0052]
将(3)式做dc分解，分成两个凸函数之差的形式如式(4)所示：
[0053][0054]
其中，s为视频矩阵信号，x为稀疏系数矩阵，j
mcp
(x)为mcp稀疏约束，λ为权重系数，一般取值大于0小于1，||
·
||表示范数运算函数。
[0055]
利用dc算法计算出x的值，求解公式如式(5)所示：
[0056][0057]
其中，s为视频矩阵信号，x为稀疏系数矩阵，j
mcp
(x)为mcp稀疏约束，λ为权重系数，一般取值大于0小于1，《》表示内积运算，表示偏导运算，||
·
||表示范数运算函数。
[0058]
计算出的x为稀疏系数矩阵，该稀疏稀疏矩阵中大部分元素为零，其中非零行代表视频中的关键帧索引。如x中第i，j行为非零行，则视频的关键帧索引为{i，j}。根据得到的关键帧索引选择出对应的该视频关键帧。如视频的关键帧索引为{i，j}，则该视频的关键帧为第i帧视频帧图像和第j帧视频帧图像。将关键帧索引与关键帧相关联，能够快捷准确地绑定关键帧，提高关键帧提取的准确性和效率。
[0059]
为了测试所提取的关键帧效果，使用测试集对其进行验证。使用视频关键帧压缩率和f-measure作为评价指标。关键帧压缩率是一种评价视频处理的客观标准，经常作为关键帧的测量方法，表示所提取的关键帧和视频所有帧的数量之比，其单位为％，数值越小表示视频压缩水平越强。给定一个视频，其关键帧压缩率(summary length)如式(6)所示
[0060][0061]
其中，n
select
为提取的关键帧个数，n
whole
为视频全部的帧数。
[0062]
同时，本实施例中采用f-measure衡量所提取关键帧的准确效果。f-measure的定义如式(7)所示：
[0063][0064]
其中，p和r分别为准确率和召回率。f-measure越高表示提取的关键帧效果越好，越能准确反映原视频的内容。
[0065]
为了充分关注稀疏系数矩阵的稀疏性，本发明引入mcp作为强稀疏约束。该mcp规范化作用于稀疏系数矩阵，由于稀疏表示对视频信号表达的结构化性质，产生的稀疏系数矩阵呈现行非零的结构化现象。因此本发明对结构化视频数据有更好的表达特性。另外，输入原视频，通过上述步骤，即可得到准确的视频关键帧，不需要其他额外操作，相对方便简单。
[0066]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员
在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。