融合Cortex-A7的实时视频超分辨率处理方法
【专利摘要】本发明公开了一种融合Cortex-A7的实时视频超分辨率处理方法，包括：A、进行视频采样，获取低分辨率视频帧并输入到SOC片上系统中；B、对低分辨率视频帧依次进行复杂度处理、特征向量提取和样本集训练，从而得到需要进行匹配的特征向量，所述样本集采用高分辨率的高频分量构建而成；C、根据需要进行匹配的特征向量，采用改进的基于聚类字典自学习及特征稀疏表示的超分辨率算法并结合SOC片上系统的编解码技术，对低分辨率视频帧进行超分辨率处理，从而输出高分辨率视频帧流。本发明具有实时、失真率较低、处理速度较快、处理成本较低和质量较高的优点，可广泛应用于视频图像处理领域。
【专利说明】融合Cortex-A7的实时视频超分辨率处理方法
【技术领域】
[0001]本发明涉及视频图像处理领域，尤其是融合CorteX-A7的实时视频超分辨率处理方法。
【背景技术】
[0002]目前，对大多数成像设备而言，其获取的图像分辨率还很低，而更换设备需要大量的物力和人力投入。同时在视频图像采集中，由于受成像设备精度或设备与目标的距离、目标的运动及噪声等多种因素的影响，其得到的通常是具有噪声、模糊和分辨率比较低的视频图像，却很难获得一幅理想分辨率图像。有限的图像分辨率会影响到系统的性能，如低分辨率图像会降低系统的识别性能。这往往给目标识别、身份辨认或刑事侦查等工作带来困难，无法满足实际的需求。因此，业内迫切需要研究一种新的超分辨率技术，可以将同一场景下的若干帧低分辨率图像通过信号处理的方法恢复为一帧高分辨率图像，以降低设备的成本。
[0003]目前主流的超分辨率算法包括基于插值的算法和基于重建的方法。其中，基于插值的算法，具有较低的算法复杂度，但其没有利用图像的先验信息，导致恢复的图像过平滑。而基于重建的方法受限于低分辨率图像的数量以及错误的配准，适应性较差。利用高斯马尔可夫随机场模型作为图像的先验信息可以改善这种情况。然而在低分辨率图像的数量有限时，基于高斯马尔可夫随机场模型的超分辨率算法容易丢失重要的细节信息，失真率较高。此外，现有的目前的超分辨率算法仍局限在处理单图像上，处理实时视频流的技术尚未成熟。如果仍沿用现有的超分辨率算法来处理实时视频流，会导致其处理速度较慢、处理成本较高和处理质量较低。
【发明内容】
[0004]为了解决上述技术问题，本发明的目的是:提供一种实时、失真率较低、处理速度较快、处理成本较低和质量较高的，融合Cortex-A7的实时视频超分辨率处理方法。
[0005]本发明解决其技术问题所采用的技术方案是:
[0006]融合Cortex_A7的实时视频超分辨率处理方法，包括:
[0007]A、进行视频采样，获取低分辨率视频帧并输入到SOC片上系统中；
[0008]B、对低分辨率视频帧依次进行复杂度处理、特征向量提取和样本集训练，从而得到需要进行匹配的特征向量，所述样本集采用高分辨率的高频分量构建而成；
[0009]C、根据需要进行匹配的特征向量，采用改进的基于聚类字典自学习及特征稀疏表示的超分辨率算法并结合SOC片上系统的编解码技术，对低分辨率视频帧进行超分辨率处理，从而输出高分辨率视频帧流。
[0010]进一步，所述步骤C，其包括:
[0011]Cl、构建具备主特征改进的基于聚类字典自学习及特征稀疏表示的超分辨率算法;
[0012]C2、根据需要进行匹配的特征向量和构建的超分辨率算法对低分辨率视频帧进行超分辨率处理，从而输出高分辨率视频帧流。
[0013]进一步，所述步骤Cl，其包括:
[0014]Cl 1、建立一个过完备数据库；
[0015]C12、计算输入的低分辨率视频图像块的稀疏表示系数；
[0016]C13、计算低分辨率字典下的稀疏编码系数和高分辨率字典下的稀疏编码系数；
[0017]C14、根据低分辨率视频图像块的稀疏表示系数、稀疏编码系数、过完备数据库中的高分辨率图像库和低分辨率字典重建出高分辨率视频图像块；
[0018]C15、采用聚类算法和主成分分析法提取视频图像块集合，然后采用K-SVD算法对高、低分辨率图像块集合进行联合训练；
[0019]C16、根据联合训练的结果采用正交匹配追踪法得到具备主特征改进的基于聚类字典自学习及特征稀疏表示的超分辨率算法。
[0020]进一步，所述步骤C13，其具体为:
[0021]计算低分辨率字典下的稀疏编码系数和高分辨率字典下的稀疏编码系数，所述低分辨率字典下的稀疏编码系数和高分辨率字典下的稀疏编码系数的计算公式分别为:
【权利要求】
1.融合Cortex-A7的实时视频超分辨率处理方法，其特征在于:包括: A、进行视频采样，获取低分辨率视频帧并输入到SOC片上系统中； B、对低分辨率视频帧依次进行复杂度处理、特征向量提取和样本集训练，从而得到需要进行匹配的特征向量，所述样本集采用高分辨率的高频分量构建而成； C、根据需要进行匹配的特征向量，采用改进的基于聚类字典自学习及特征稀疏表示的超分辨率算法并结合SOC片上系统的编解码技术，对低分辨率视频帧进行超分辨率处理，从而输出高分辨率视频帧流。
2.根据权利要求1所述的融合CorteX-A7的实时视频超分辨率处理方法，其特征在于:所述步骤C，其包括: Cl、构建具备主特征改进的基于聚类字典自学习及特征稀疏表示的超分辨率算法； C2、根据需要进行匹配的特征向量和构建的超分辨率算法对低分辨率视频帧进行超分辨率处理，从而输出高分辨率视频帧流。
3.根据权利要求2所述的融合CorteX-A7的实时视频超分辨率处理方法，其特征在于:所述步骤Cl，其包括: Ciu建立一个过完备数据库； C12、计算输入的低分辨率视频图像块的稀疏表示系数； C13、计算低分辨率字典下的稀疏编码系数和高分辨率字典下的稀疏编码系数； C14、根据低分辨率视频图像块的稀疏表示系数、稀疏编码系数、过完备数据库中的高分辨率图像库和低分辨率字典重建出高分辨率视频图像块； C15、采用聚类算法和主成分分析法提取视频图像块集合，然后采用K-SVD算法对高、低分辨率图像块集合进行联合训练； C16、根据联合训练的结果采用正交匹配追踪法得到具备主特征改进的基于聚类字典自学习及特征稀疏表示的超分辨率算法。
4.根据权利要求3所述的融合CorteX-A7的实时视频超分辨率处理方法，其特征在于:所述步骤C13，其具体为: 计算低分辨率字典下的稀疏编码系数和高分辨率字典下的稀疏编码系数，所述低分辨率字典下的稀疏编码系数和高分辨率字典下的稀疏编码系数的计算公式分别为:
其中，I为低分辨率字典函数，#表示低分辨率图像中的视频流，JVfP为矩阵范数的给定参数
，表示经过推导后理想的低分辨率字典函数约束项,ε是经过特征处理后的复杂正则化参数，L为代替稀疏编码的范数； Kh为高分辨率字典函数，硕表示高分辨率图像中的视频流，表示经过推导后理想的高分辨率字典函数约束项，H为代替稀疏编码的范数。
5.根据权利要求4所述的融合CorteX-A7的实时视频超分辨率处理方法，其特征在于:所述步骤C15，其具体为: 采用聚类算法和主成分分析法提取视频图像块集合，然后采用K-SVD算法对高、低分辨率图像块集合进行联合训练，从而得到联合训练的结果数据，所述联合训练的结果数据{KH, Kl, δ，ω }为:
其中，N是高、低分辨率图像块联合起来进行训练后得到的列向量，
为高低分辨率联合字典，^和《2分别为通过训练后的高低分辨率视频流的列向量的维数，δ =[δ 1； δ 2) δ 3, δ 4)……，δ 5]为编码系数矩阵，
为解码系数矩阵。
6.根据权利要求5所述的融合CorteX-A7的实时视频超分辨率处理方法，其特征在于:所述步骤C2，其包括: C21、将需要进行匹配的特征向量在字典数据库中进行匹配，并判断匹配是否成功，若是，则执行步骤C23，反之，则执行步骤C22 ； C22、采用改进的K值迭代算法对低分辨率视频帧进行聚类字典自学习，然后执行步骤C23 ； C23、根据约束项特征数系数，从过完备数据库中找出高速训练字典库，并融合SOC片上系统的视频编解码技术对低分辨率视频帧进行优化集成处理，从而输出高品质高分辨率视频流。
7.根据权利要求6所述的融合CorteX-A7的实时视频超分辨率处理方法，其特征在于:所述步骤C22，其包括: C221、对已有的视频帧进行训练样本处理，从而得到初级聚类函数公式，所述初级聚类函数的表达式为:
其中，I为字典类型，C为初级聚类系数t力迭代次数,η为常数系数，wvI为训练样本的参考数据，?Νι - κ 10L为聚类差异系数;C222、从每帧视频图像左上角的第一个像素点开始，每隔一个像素取一个视频图像块，并对所取的视频图像块采用LASSO算法求解初级聚类函数的最优解#；515'^ ,所述初级聚类函数的最优解的表达式为:
其中，▽为LASSO算子，；为超分辨率最优集成系数，X的表达式为:
C223、对视频图像块进行分类，得到K个聚类，然后从每个聚类中学习出一个子字典，从而得到最优集成系数下的K个子字典。
8.根据权利要求7所述的融合CorteX-A7的实时视频超分辨率处理方法，其特征在于:所述步骤C23，其包括: C231、对初级聚类函数的最优解sliV进行特征稀疏编码均值约束处理，从而得到加入约束项特征数系数后的目标函数Sf2，所述目标函数占；的表达式为:
为表示枚和和特征向量距离的特征量； C232、计算聚类字典学习与稀疏编码的优化均值，所述优化均值的计算公式为；
C233、对加入约束项特征数系数后的目标函数Jf2和优化均值A°f进行合并优化处理，从而得到优化集成目标函数，所述优化集成目标函数Sf4的表达式为:
C234、根据优化集成目标函数对低分辨率视频帧进行优化集成处理，从而生成高分辨率视频流并进行输出。
9.根据权利要求8所述的融合CorteX-A7的实时视频超分辨率处理方法，其特征在于:所述步骤C232，其包括: S1、采用零均值随机变量对加入约束项特征数系数后的目标函数3^2进行变形，从而得到变形后的目标函数在G ,所述变形后的目标函数Jf3为:
其中，δ。用于表示'||的—到ΣΨ_最+sm^l.52、根据变形后的目标函数计算聚类字典学习与稀疏编码的优化均值Β
【文档编号】G06T9/00GK104200498SQ201410406695
【公开日】2014年12月10日 申请日期:2014年8月18日 优先权日:2014年8月18日
【发明者】苏秉华, 唐佳林, 庄广利 申请人:北京理工大学珠海学院