基于角点检测和非局部相似性的视频压缩感知重构算法的制作方法

本发明属于通信与信号处理领域，具体说是一种基于角点检测和非局部相似性的视频压缩感知重构算法。

背景技术：

分布式压缩视频感知(distributedcompressedvideosensing,dcvs)将压缩感知理论引入dvc系统中，压缩感知理论可以允许以少于nyquist采样率来采样，极大的减少了编码端的复杂度。因此分布式压缩视频感知理论广泛应用于如无线传感网络、分布式视频系统如视频会议系统等实际场合中。

许多学者对dcvs算法进行了改进，通过在前后已重构关键帧中寻找邻域块，进一步优化了稀疏基，相对小波稀疏基具有较高的重构精度，但该稀疏基需要根据视频帧特性自适应变化，复杂度较高。联合稀疏算法si-bp(side-information-basedbeliefpropagation)，以充分利用已重构关键帧，而得到具有更好重构效果的边信息，但该算法重构需要较多的迭代次数，实际应用中很不灵活。基于双边信息的分布式视频压缩感知模型，较好地实现了将编码端的复杂度向解码端转移，但该算法需要进行大量的判别，增加了计算量。非关键帧自适应分配测量率的模型，改善了不同帧之间的相关性差异所带来的重构质量不高的问题，但该算法需要根据视频帧序列进行复杂的贡献系数计算，具有较高的计算量。

以上算法虽充分利用前后已重构视频帧的时空信息，但计算量较大，且没有充分利用相邻帧的非局部相似性。将非局部正则化项融入分布式视频联合重构模型，有效的去除了边缘模糊和块效应的现象。基于非局部相似性的分布式视频压缩感知多假设重构算法，提高了对大变化块的重构精度。以上两个算法均将非局部相似性引入分布式视频压缩感知算法中，但当寻找到的非局部相似性块与当前块相似性较差时，对重构质量提升不大，性能有待提高。

技术实现要素：

针对现有技术存在的上述缺陷，本申请提供了一种基于角点检测和非局部相似性的视频压缩感知重构算法，该算法具有较优的重构质量、率失真性能和较短的重构时间。

为实现上述目的，本本申请的技术方案是：基于角点检测和非局部相似性的视频压缩感知重构算法，具体为：对分布式视频压缩感知多假设重构算法的非关键帧进行块模式判别，针对小变化块采用帧间多假设重构算法进行重构；针对大变化块首先利用非局部相似性在已重构关键帧中寻找非局部相似性块，然后对相似性块进行角点检测，筛选出高相似度块，生成辅助信息，采用基于残差的稀疏信号重构算法重构出大变化块；将重构出来的大、小变化块进行块组合，并最终生成边信息，再利用基于残差的稀疏信号重构算法辅助非关键帧重构。

进一步的，帧间多假设重构算法，具体为：在前后已重构关键帧中，以当前块为中心，搜索窗大小为w，进行搜索，将搜索窗内的块列向量化，构成字典dt,i，则有：

xt,i表示在t时刻第i个原始图像块，wt,i为每块的权重向量w的求解值；但在解码端只能得到xt,i的观测值yt,i，故将式(1)通过观测矩阵φ转换为式(3)来求解：

式(3)的具体求解方式，采用l2范数的tikhonov正则化法，求得：

最后，

其中，λ是tikhonov正则化因子，得到wt,i后，由式(2)得到cs帧中的当前块的边信息块

进一步的，非局部相似性块的生成过程具体为：对于任一图像子块xtn(i)，在前后两帧中寻找最佳匹配块，从中挑选出的所有图像子块与子块xtn(i)的差值满足：其中为对应寻找到的m个非局部相似性块与子块xtn(i)的差值的2范数，ta为相似性判别阈值；

则生成的非局部相似性块由上式(6)(7)得出，其中c为设定常数，为寻找到的每一最佳匹配块的权值。

进一步的，所述角点检测包括：基于灰度的角点检测、基于二值图像的角点检测和基于轮廓的曲线角点检测。

进一步的，利用非局部相似性假设寻找到n个相似块，分别对当前块和n个相似块进行角点检测，若相似块含有与当前块大部分相似的角点，则该相似块被判为高相似度块。

进一步的，基于残差的稀疏信号重构算法，具体是：

①计算当前块xi与辅助信息xref之差，如式(8)，并分别对它们进行测量；

ri＝xi-xref(8)

yi-yref＝φ(xi-xref)(9)

其中，yi代表当前块xi的观测值，yref代表辅助信息xref的观测值；

②利用bcs-spl算法对ri进行重构；

③当前块的重构值为

其中，为重构后的残差。

本发明由于采用以上技术方案，具有以下优点：本文所提分布式视频压缩感知算法dcvs-mh-cd算法，相比原算法m-dcvs-ns进一步提高了对不同标准视频序列mobile、foremam和bus等的重构psnr，尤其当寻找到的非局部相似性块与当前块相似性较高时，本申请性能提高越大，并且在较低采样率下仍展现出较优的重构性能。实验表明，本文所提角点检测和非局部相似性算法相比单纯非局部相似性算法，可以更精确生成的辅助信息，相比多假设重构算法，进一步提高了重构psnr和重构效率；并且相对分布式视频压缩感知中经典算法mh-bcs-spl等其它同类算法，均展现出较优的重构质量、率失真性能和较短的重构时间。

附图说明

以下结合附图对本发明进行详细说明。

图1为非局部相似性示意图。

图2为基于角点检测的分布式视频压缩感知多假设重构算法框图。

图3为dog角点检测结果图。

图4为foreman视频序列第12原始视频帧。

图5为具有较多相似角点的块的示意图。

图6为具有较多不相似角点的块的示意图。

图7为当前块无角点而相似块有角点的情况的示意图。

图8为当前块有角点而相似块无角点的情况的示意图。

图9为第12帧第10块两种方法距离对比图。

图10为第12帧第37块两种方法距离对比图。

图11为bus序列第12帧重构效果对比图。

图12为hall视频序列第15帧重构效果对比图。

图13为三种视频序列平均psnr对比图，综合改进后算法dcvs-mh-cd与原算法m-dcvs-ns以及传统的分布式压缩感知多假设预测重构算法(mh-bcs-spl)三者性能的优劣，对以上三种视频序列选取非关键帧测量率为0.1-0.5，每种测量率下选取视频前30帧。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

实施例1

本实施例提供一种基于角点检测和非局部相似性的视频压缩感知重构算法，具体为：对分布式视频压缩感知多假设重构算法的非关键帧进行块模式判别，针对小变化块采用帧间多假设重构算法进行重构；针对大变化块首先利用非局部相似性在已重构关键帧中寻找非局部相似性块，然后对相似性块进行角点检测，筛选出高相似度块，生成辅助信息，采用基于残差的稀疏信号重构算法重构出大变化块；将重构出来的大、小变化块进行块组合，并最终生成边信息，再利用基于残差的稀疏信号重构算法辅助非关键帧重构。

所述帧间多假设重构算法，具体为：在前后已重构关键帧中，以当前块为中心，搜索窗大小为w，进行搜索，将搜索窗内的块列向量化，构成字典dt,i，则有：

xt,i表示在t时刻第i个原始图像块，wt,i为每块的权重向量w的求解值；但在解码端只能得到xt,i的观测值yt,i，故将式(1)通过观测矩阵φ转换为式(3)来求解：

式(3)的具体求解方式，采用l2范数的tikhonov正则化法，求得：

最后，

其中，λ是tikhonov正则化因子，得到wt,i后，由式(2)得到cs帧中的当前块的边信息块

非局部相似性：图像中像素之间或多或少的存在一定的联系，称之为图像的相似性。以像素点为中心的窗口邻域，除了中心像素可能和其周围像素相似以外，处于不同位置处的图像子块会表现出很强的结构特征相似性，图像和视频这种特殊性质被称为非局部相似性。在图像的边缘和纹理处往往存在大量的自相似样式，视频的非局部相似性表述了图像子块不仅在空域内，在时域内也将保持相似性。非局部相似性示意图如图1所示。由图中可以看出，相邻帧中，主持人的肩部不同位置具有很强的非局部相似性，在肩部的其它部位很容易找到相似块。同时面部两颊和额头中心也表现出很强的非局部相似性。相邻两帧的相邻位置也具有很强的局部相似性。

非局部相似性块的生成过程具体为：对于任一图像子块xtn(i)，在前后两帧中寻找最佳匹配块，从中挑选出的所有图像子块与子块xtn(i)的差值满足：其中为对应寻找到的m个非局部相似性块与子块xtn(i)的差值的2范数，ta为相似性判别阈值；

则生成的非局部相似性块由上式(6)(7)得出，其中c为设定常数，为寻找到的每一最佳匹配块的权值。

一般的角点检测是针对能检测出来的兴趣点的检测。这意味着兴趣点可以是角点，也可以是某些属性上最大强度的点、最小的孤立点、局部曲率上最大的点或者与周围像素亮度具有足够对比差异的点。所述角点检测包括：基于灰度的角点检测、基于二值图像的角点检测和基于轮廓的曲线角点检测。

对于大变化块，利用非局部相似性假设寻找到n个相似块，分别对当前块和n个相似块进行角点检测，若相似块含有与当前块大部分相似的角点，则该相似块被判为高相似度块。而低相似度块则被删去，高相似度块被保留。利用角点检测的方法选择高相似度块，在对高相似度块利用式(6)、(7)生成最终的辅助信息块，利用基于残差的稀疏信号重构算法重构。

将测量值与生成的辅助信息(或边信息)相减得到残差值，对该残差值进行基于bcs-spl的稀疏重构。然后，将重构出来的残差值再与辅助信息相加，即得到当前块的重构值，其具体步骤如下：

①计算当前块xi与辅助信息xref之差，如式(8)，并分别对它们进行测量；

ri＝xi-xref(8)

yi-yref＝φ(xi-xref)(9)

其中，yi代表当前块xi的观测值，yref代表辅助信息xref的观测值；

②利用bcs-spl算法对ri进行重构；

③当前块的重构值为

其中，为重构后的残差。

实施例2

本实施例选择证明较复杂，但算法较简单的，属于基于灰度的角点检测的dog角点检测算法，具体到图像处理来讲，就是将两个图像块在不同参数下的高斯滤波相减，从而得到dog图，如式：

而在得到dog图中，如果某一像素是它邻接像素的最大值或最小值，则x被标记为角点。

对于待检测块，生成与该块同等大小的零矩阵a。若该块某一像素被标记为角点，则将该像素的像素值赋予零向量a的相应位置处，将第i当前块与n个相似块分别对应的a列向量化后，分别记为bi和cj，其中j∈[1,n]。设置高相似度判别阈值tc。若则第j相似块被判别为第i当前块的高相似度块，假设其有m个，并将该m个的赋给ek。同时，对m个高相似度块分配权值，并生成最终的辅助信息

之所以要用角点检测对寻找到的非局部相似块进行一遍精筛，是因为角点的定义为亮度或与周围像素差别较大的点，而如果两对应相似块各自角点所对应的像素值有较大的不同，那么它们的相似性就很低，因此可以删去。

实施例3

仿真对比：验所使用的计算机硬件配置为intel(r)core(tm)i5-3450cpu@3.10ghz，12.00gbram，dell。为综合验证改进后算法的性能，选取dcvs-mh-cd、m-dcvs-ns和mh-bcs-spl三种算法进行实验。本文将偶数帧设为非关键帧(b帧)，奇数帧设为关键帧(i帧)，本文所提算法在i-b-i模式下进行仿真。为验证算法对不同纹理复杂度、不同运动速度视频的性能，选取图像像素为352*288，格式为cif的foreman、hall和bus标准视频测试序列，其中foreman含有较多的细节和纹理，运动变化较剧烈，bus序列相对foreman运动较缓慢，但hall序列相对其它两种序列运动变化更加缓慢。其中图像组gop设为3，分块大小为16*16，搜索窗设为9，稀疏重构最大迭代次数为5，小变化块测量率为0.1，关键帧测量率为0.5，高相似度判别阈值为1100(多次实验得到的经验值)。

1)角点检测距离与非局部相似性距离对比

选取foreman序列第12帧第10块和37块，对比寻找到的非局部相似性块和角点检测+非局部相似性块分别与当前块的欧氏距离，如图9、10所示。

从图9、10中可以看出，对于寻找到的n个相似块，两种方法所得欧氏距离趋势具有一定的相似性，但利用角点检测加非局部相似性更能筛选出具有相似角点的信息，筛选出高相似度块，剔除低相似度块。因此本文利用角点检测对非局部相似性块进一步筛选，可以更精确地生成想要的辅助信息。

2)重构质量分析

为验证改进后算法dcvs-mh-cd的重构效果，现选取bus序列第12帧、第30帧和hall序列第15帧，非关键帧采样率为0.5时，m-dcvs-ns和dcvs-mh-cd算法的重构效果和重构指标如图11、12所示。

从图11、12可以看出，对于bus序列，改进后算法dcvs-mh-cd相比原算法m-dcvs-ns具有较好直观重构效果，具有较优的psnr指标，无论从画面的平滑程度，还是公共汽车上的字迹、边缘，以及背景墙壁上的雕塑的纹理结构，dcvs-mh-cd均展现出更好的效果。这是由于利用角点检测筛选出的高相似度块，与当前块具有更好地相似性信息，可以更好辅助当前块重构并提升重构质量。同时，对于同一序列的不同帧之间进行仿真，bus序列第30帧中，dcvs-mh-cd展现出更好重构效果，图11的细节、树木的纹理等均展现得更清晰，验证了dcvs-mh-cd对不同时间序列均具有较优的重构效果。而对于hall序列第15帧，dcvs-mh-cd具有较高的psnr指标，达到36.26，同时墙壁上的边缘以及墙角的箱子和手提箱的边缘，均具有清晰的重构效果，同时画面的整体平滑程度也相比m-dcvs-ns较高。因此，通过上述两序列的重构效果，验证了加入角点检测的dcvs-mh-cd相比m-dcvs-ns具有优异性能，在重构性能上有所改进。

从图13中可以看出，利用非局部相似性加角点检测的dcvs-mh-cd对于三种视频测试序列，改进算法在psnr上均有提高，平均提高0.2-0.7db，这说明了非局部相似性后加入的角点检测算法可以进一步筛选出那些和当前块具有较高相似角点的块，提高了相似块的质量，验证了dcvs-mh-cd算法相比m-dcvs-ns提高了重构精度。同时，对于三种视频序列，随着采样率的增加，改进算法dcvs-mh-cd较原m-dcvs-ns提高越大。这是由于当采样率较低时，改进算法的性能不能更好的展现出来。我们还可以发现，同时对于三种视频序列，dcvs-mh-cd与原算法m-dcvs-ns相比传统mh-bcs-spl在psnr上均有较大提升，提升约1-2db，并且可以发现mh-bcs-spl算法对于含有较多纹理和细节的bus序列在压缩比较高时，其重构效果并不理想，而其它两种算法仍能较好的重构。这是因为其它两种算法充分利用了前后两个已重构关键帧的时空相关性信息，因此提高了重构质量，而更好地利用该信息成为提高重构视频质量的一条途径。

3)重构时间分析

表1为三种算法所用重构时间对比

表1

从表1中可以看出，重构时间随着压缩比的增加而增长，而各种压缩比下，由于foreman含有较多细节和纹理，mobile序列重构时间较foreman较短，而对于某一序列，三种算法重构时间相差较大。对于五种采样率、两种视频序列下，mh-bcs-spl算法重构效果较其它两种算法差，它的重构时间较其它两算法也长，这是由于其假设值的生成过程消耗了一定的时间。同时对于两种视频序列，改进算法dcvs-mh-cd的重构时间也较原m-dcvs-ns有所增加，这是由于改进算法加入了角点检测算法，而这增加了算法的计算量，以牺牲了一定的重构时间来换取了重构质量的提升，但相比传统的mh-bcs-spl算法，仍还是具有较短的重构时间，验证算法的稳定和优良的性能。

以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。