一种视频超分辨率重建方法和装置与流程

本发明涉及图像/视频增强和复原领域，特别是指一种视频超分辨率重建方法和装置。
背景技术：
：由于环境变化、聚焦不准、光学或运动模糊、欠采样及噪声干扰等因素的影响，使得视觉传感器所拍摄的视频序列的视觉分辨率质量较差。超分辨率重建技术(SR)的目标就是从多帧低分辨率(LR)的视频序列中重建出高分辨率(HR)、高质量的视频序列。基于稀疏表示和字典学习的超分辨率重建方法已被验证具有较好的重建性能。基于耦合字典学习的超分辨率重建方法假设LR和HR块对的稀疏表示系数在耦合子空间中是严格相等的，然而这种假设过于严格，以至于不能很好地适应不同分辨率下的图像或视频帧结构的灵活性。为克服这一问题，涌现出了基于半耦合字典学习的超分辨率重建方法，该方法放宽了如上假设，它假设HR和LR块的稀疏表示系数间存在一种稳定的非线性关联映射。但是基于半耦合字典学习和稀疏表示的超分辨率重建方法没有充分利用视频帧间的时空相关信息，无法更好地适用于视频的超分辨率重建，在一定程度上影响到视频的时空一致性，容易引起视频帧间抖动现象。现有的基于时空相似性信息融合的超分辨率重建方法充分考虑了视频帧间的时空关系，通过时空信息匹配和融合获取低分辨率视频序列的目标高分辨率估计。但是当视频序列内存在局部运动、角度旋转等复杂运动场景时，现有的视频帧间时空信息配准机制的精度和鲁棒性不高。技术实现要素：有鉴于此，本发明的目的在于提出一种视频超分辨率重建方法和装置，不依赖于精确的亚像素运动估计，能够适应于复杂的运动场景，具有较强的旋转不变性以及噪声、光照鲁棒性，能够适应于较大的超分辨率倍数，解决了现有视频超分辨率重建方法中时空一致性保持能力不强以及鲁棒性不高的问题。基于上述目的本发明提供视频超分辨率重建方法，包括步骤：对视觉显著性目标区域的检测和提取；建立多帧低分辨率和高分辨率之间的关联映射；通过融合视频序列在时空域的非局部相似性结构互补冗余信息，利用基于视觉显著性的时空非局部模糊配准和融合策略，进行时空超分辨率重建，获取高时空分辨率的视频序列。在本发明的一些实施例中，所述对视觉显著性目标区域的检测和提取，包括：对多帧低分辨率视频序列的每一帧y，通过视频序列的视觉显著性计算，检测和提取视觉显著性区域Dso∈Dy，将每个视频帧分为显著性区域Dso∈Dy和非显著性区域Dnso∈Dy(Dso∪Dnso＝Dy)。在本发明的一些实施例中，采用基于半耦合字典的学习，建立所述多帧低分辨率和高分辨率之间的关联映射，包括：在基于半耦合字典学习的LR-HR关联学习过程中，通过最小化式(1)所示的目标能量函数，获取LR和HR字典对(Dy、Dx)以及关联映射矩阵M；min{Dx,Dy,M}||X-DxSx||F2+||Y-DySy||F2+γ||Sx-MSy||F2+λx||Sx||1+λy||Sy||1+λw||M||F2]]>s.t.||dx,i||l2≤1,||dy,i||l2≤1,∀i---(1)]]>其中γ,λx,λy和λw分别为调节目标函数中各项术语权重的参数；Sy和Sx分别为LR和HR图像块的稀疏表示系数；和表示重建误差，表示映射误差；dy,i和dx,i分别表示字典Dy和Dx中的元素。在本发明的一些实施例中，对于式(1)中目标能量函数的最小化求解过程包括：进行训练样例的稀疏编码：初始化M和字典对(Dy、Dx)，采用L1优化算法分别求解式(2)和式(3)，获取稀疏编码系数Sy和Sx；min{Sx}||X-DxSx||F2+γ||Sy-MxSx||F2+λx||Sx||1---(2)]]>min{Sy}||Y-DySy||F2+γ||Sx-MySy||F2+λy||Sy||1---(3)]]>其中Mx表示从Sx到Sy的映射，My表示从Sy到Sx的映射；表示在Sx到Sy映射过程中产生的映射误差，表示在Sy映射到Sx过程中产生的映射误差；对稀疏编码进行字典更新：固定Sy和Sx，通过式(4)更新字典对(Dy、Dx)；min{Dx,Dy}||X-DxSx||F2+||Y-DySy||F2]]>s.t.||dx,i||l2≤1,||dy,i||l2≤1,∀i---(4)]]>对字典更新后的稀疏编码进行映射更新：固定字典对(Dy、Dx)、Sy和Sx，通过式(5)更新映射M；min{M}||Sx-MSy||F2+(λw/γ)||M||F2---(5)]]>通过求解式(5)，可以得到式(6)；M=SxSyT(SySyT+(λw/γ)·I)-1---(6)]]>其中I为单位矩阵。在本发明的一些实施例中，所述时空超分辨率重建时通过时空非局部相似性匹配的方法实现，包括：根据多帧低分辨率和高分辨率关联映射，计算非局部时空域内每个像素的相似性权重；对非局部时空搜索区域内的所有像素对应的邻域区域进行相关性判断，分为相关区域和不相关区域，选择出相关区域；根据选择出的相关区域，对于LR视频帧的显著性目标区域和非显著性目标区域分别进行相似性匹配；将显著性目标区域和非显著性目标区域的相似性信息融合。在本发明的一些实施例中，根据多帧低分辨率和高分辨率关联映射，计算非局部时空域内每个像素的相似性权重，包括：PZM(k,l)和PZM'(i,j)分别表示待重建像素点(k,l)及其非局部搜索区域Nnonloc(k,l)内像素点(i,j)对应的局部区域内的PZM特征向量，分别记作式(9)和式(10)；PZM(k,l)＝(PZM00,PZM11,PZM20,PZM22,PZM31,PZM33)(9)PZM'(i,j)＝(PZM'00,PZM1'1,PZM'20,PZM'22,PZM'31,PZM'33)(10)其中视频帧f(x,y)的n阶和m重(0≤n≤∞,0≤|m|≤n)PZM特征计算如式(11)所示：PZMnm=n+1π∫∫x2+y2≤1f(x,y)Vnm*(x,y)dxdy=n+1πΣρ≤1Σ0≤θ≤2πf(ρ,θ)Vnm*(ρ,θ)ρ---(11)]]>Vnm(ρ,θ)＝Rnm(ρ)exp(jmθ)(12)Rnm(ρ)=Σs=0n-|m|(-1)s(2n+1-s)!ρn-ss!(n+|m|+1-s)!(n-|m|-s)!---(13)]]>其中，ρ和θ分别为极坐标下像素点的半径和角度，且θ＝tan-1(y/x)；函数{Vnm(x,y)}为PZM特征的基，且构成单位圆x2+y2≤1内的一组完备正交集；为Vnm(x,y)的复数共轭；非局部时空域内每个像素的相似性权重计算方法如式(14)：ωSRPZM[k,l,i,j,t]=1C(k,l)exp{-||PZM(k,l)-PZM′(i,j)||22ϵ2}---(14)]]>其中参数ε控制指数函数的衰减率和权重的衰减率。C(k,l)表示归一化常数，计算方法如式(15)：C(k,l)=Σ(i,j)∈Nnonloc(k,l)exp{-||PZM(k,l)-PZM′(i,j)||22ϵ2}.---(15)]]>在求取PZM特征向量的时候，矩的阶越大，对噪声的敏感度越大。在本发明的一些实施例中，对非局部时空搜索区域内的所有像素对应的邻域区域进行相关性判断，分为相关区域和不相关区域，选择出相关区域，包括：定义区域平均能量AE(x,y)、区域PZM特征相似性RFS(R(k,l),R(i,j))和区域结构相似性RSS(R(k,l),R(i,j))三个概念，定义方法如下：定义1(区域平均能量)：若图像F被分割成大小相同的若干区域，且每个区域包含5×5的图像块。每个区域的像素分别标记为p1,p2,...,pNum，且像素总数为Num；则定义AE(x,y)作为以像素(x,y)为中心的区域平均能量，且通过式(16)进行计算；AE(x,y)=Σi=1Numpi/Num---(16)]]>定义2(区域PZM特征相似性)：给定两个区域R(k,l)和R(i,j)，分别以像素(k,l)和(i,j)为中心，且分别提取这两个区域相应的PZM特征向量PZM(k,l)和PZM'(i,j)；参数ε为控制指数函数的衰减率。则定义这两个区域之间的PZM特征相似性如式(17)：RFS(R(k,l),R(i,j))=exp{||PZM(k,l)-PZM′(i,j)||22ϵ2}---(17)]]>定义3(区域结构相似性)：给定两个区域R(k,l)和R(i,j)，分别以像素(k,l)和(i,j)为中心；η(k,l)和η(i,j)分别是这两个区域的均值，σ(k,l)和σ(i,j)分别是这两个区域的标准方差，σ(k,l,i,j)是这两个区域之间的协方差，且e1和e2为两个常量；则定义这两个区域之间的结构相似性RSS(R(k,l),R(i,j))如式(18)：RSS(R(k,l),R(i,j))=(2η(k,l)η(i,j)+e1)(2σ(k,l,i,j)+e2)(η(k,l)2+η(i,j)2+e1)(σ(k,l)2+σ(i,j)2+e2)---(18)]]>对待重建像素(k,l)的非局部时空搜索区域内的所有像素(i,j)对应的邻域区域进行相关性判断，分为相关区域和不相关区域，只选择相关的区域参与权重计算，这样可以加快算法速度，同时更有利于利用更为相似的区域块参与权重计算；在区域相关性判断过程中，综合考虑区域平均能量和融入人眼视觉感知特性的区域结构相似性两方面因素进行相关性计算，同时利用自适应阈值δadap策略，构建自适应的区域选择机制；若两区域相关，则定义如式(19)：|AE(k,l)-AE(i,j)|×((1-RSS(R(k,l),R(i,j)))/2)＜δadap(19)自适应阈值δadap的大小是通过待重建像素(k,l)对应的邻域区域的平均能量AE(k,l)自适应地确定的，因此可更为精确地对区域间的相关性进行判定；δadap计算方法如式(20)：δadap＝λAE(k,l)(20)其中，λ为控制δadap的调节因子；当λ值设置为0.08时，获取的超分辨率性能最佳。在本发明的一些实施例中，对于LR视频帧的显著性目标区域和非显著性目标区域分别进行相似性匹配，包括：对于显著性区域Dso∈DY的相似性加权计算方法如式(21)所示：ωSREPZM[k,l,i,j,t]=1C(k,l)×RFS(R(k,l),R(i,j))×(1-0.0002RSS(R(k,l),R(i,j)))=1C(k,l)×exp{-||PZM(k,l)-PZM′(i,j)||22ϵ2}×(1-0.0002RSS(R(k,l),R(i,j))),|AE(k,l)-AE(i,j)|×((1-RSS(R(k,l),R(i,j)))/2)<δadap0,otherwise.---(21)]]>其中(k,l)表示待重建的像素点，(i,j)表示待重建像素非局部搜索邻域Nnonloc(k,l)内的像素点；参数ε控制指数函数的衰减率和权重的衰减率；C(k,l)表示归一化常数，如式(22)：C(k,l)=Σ(i,j)∈Nnonloc(k,l)exp{-||PZM(k,l)-PZM′(i,j)||22ϵ2}×(1-0.0002RSS(R(k,l),R(i,j)))---(22)]]>对于非显著性区域Dnso∈DY的时空非局部相似性匹配，提出了基于区域能量的加权策略求解非局部相似性权重计算方法如式(21)：ωSRRE[k,l,i,j,t]=exp{-||RF(k,1)-RF(i,j)||222h2}×f((k-i)2+(l-j)2),|AE(k,l)-AE(i,j)|×((1-RSS(R(k,l),R(i,j)))/2)<δadap0,otherwise.---(23)]]>其中RF(k,l)和RF(i,j)分别表示以像素(k,l)及其非局部搜索区域Nnonloc(k,l)内像素(i,j)为中心的局部区域(q×q局部窗口)的q2维特征向量；h2表示控制这两个局部区域之间的灰度级差异的平滑参数；相似性权重计算方法如式(24)：ωSRSBFR[k,l,i,j,t]=ωSREPZM[k,l,i,j,t],(k,l)∈DsoωSRRE[k,l,i,j,t],(k,l)∈Dnso---(24)]]>在本发明的一些实施例中，将显著性目标区域和非显著性目标区域的相似性信息融合，包括：当相似性权重确定之后，待重建视频帧各像素的高分辨率估计可以通过其相邻连续多帧间的非局部时空域内像素加权平均而获得；基于时空非局部相似性的超分辨率重建目标能量函数表达如式(25)：xnl^=argmin{x(k.l)}||x(k,l)-Σt=t1t2Σ(i,j)∈Nnonloc(k,l)ωSRSBFR(k,l,i,j,t)x(i,j)||22=argmin{x(k.l)}||x(k,l)-Σt=t1t2Σ(i,j)∈Nnonloc(k,l)ωSREPZM(k,l,i,j,t)x(i,j)||22,(k,l)∈Dsoargmin{x(k.l)}||x(k,l)-Σt=t1t2Σ(i,j)∈Nnonloc(k,l)ωSRRE(k,l,i,j,t)x(i,j)||22,(k,l)∈Dnso---(25)]]>其中[t1,t2]表示3D时空域(时序滑动窗口)；通过最小化式(25)的目标能量函数，每个LR视频帧的目标高分辨率估计可以通过式(26)获取得到；xnl^=Σ(k,l)∈ΨΣt∈[t1,t2]Σ(j,j)∈Nnonloc(k,l)ωSRSBFR[k,l,i,j,t]xt(i,j)Σ(k,l)∈ΨΣt∈[t1,t2]Σ(j,j)∈Nnonloc(k,l)ωSRSBFR[k,l,i,j,t]---(26)]]>其中Ψ表示待超分辨率重建的视频帧；提出的基于半耦合字典学习和时空非局部自相似性的视频超分辨率重建算法的目标能量函数如式(27)所示：x*^=argmin{x(k.l)}(ESRCML+λ||x(k,l)-Σt=t1t2Σ(i,j)∈Nnonloc(k,l)ωSREPZM(k,l,i,j,t)x(i,j)||22)+γDBlu(X),(k,l)∈Dsoargmin{x(k,l)}||x(k,l)-Σt=t1t2Σ(i,j)∈Nnonloc(k,l)ωSRRE(k,l,i,j,t)x(i,j)||+γDBlu(X),(k,l)∈Dnso---(27)]]>其中表示能量函数，DBlu(X)表示去模糊过程，λ和γ为权重调节因子。在另一方面，本发明还提供了一种视频超分辨率重建装置，包括：区域提取单元，对视觉显著性目标区域的检测和提取；映射建立单元，建立多帧低分辨率和高分辨率之间的关联映射；分辨率重建单元，通过融合视频序列在时空域的非局部相似性结构互补冗余信息，利用基于视觉显著性的时空非局部模糊配准和融合策略，进行时空超分辨率重建，获取高时空分辨率的视频序列。从上面所述可以看出，本发明提供了一种基于半耦合字典学习和时空非局部相似性的视频超分辨率重建方法。该方法通过学习LR-HR关联关系作为先验约束，跨尺度地融合低分辨率视频帧间的时空非局部相似性信息，获取低分辨率视频帧的目标高分辨率估计。同时，提出了基于视觉显著性的关联映射学习和时空非局部相似性匹配策略，进一步提高算法效率。附图说明图1为本发明第一实施例中视频超分辨率重建方法流程示意图；图2为本发明可参考实施例中视频超分辨率重建方法流程示意图；图3为本发明实施例中视频超分辨率重建装置的结构示意图。具体实施方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。参阅图1所示，为本发明第一实施例中视频超分辨率重建方法流程示意图，所述视频超分辨率重建方法包括：步骤101，通过视频序列的视觉显著性计算，对视觉显著性目标区域的检测和提取。步骤102，采用半耦合字典学习方法建立多帧低分辨率(LR)和高分辨率(HR)之间的关联映射。步骤103，通过融合视频序列在时空域的非局部相似性结构互补冗余信息，利用基于视觉显著性的时空非局部模糊配准和融合策略，进行时空超分辨率重建，获取高时空分辨率的视频序列。作为一个实施例，为了在保证超分辨率质量的同时提升算法效率，只针对显著性目标区域进行关联映射，利用一种基于鲁棒性背景检测的显著性优化方法来检测和提取视觉显著性区域。对LR视频序列的每一帧y，检测和提取视觉显著性区域Dso∈Dy，将每个视频帧分为显著性区域Dso∈Dy和非显著性区域Dnso∈Dy(Dso∪Dnso＝Dy)。更进一步地，基于半耦合字典学习的LR-HR关联映射学习方法，可以假设HR和LR图像块的稀疏表示系数存在某种稳定的关联映射。在基于半耦合字典学习的LR-HR关联学习过程中，通过最小化式(1)所示的目标能量函数，获取LR和HR字典对(Dy、Dx)以及关联映射矩阵M。min{Dx,Dy,M}||X-DxSx||F2+||Y-DySy||F2+γ||Sx-MSy||F2+λx||Sx||1+λy||Sy||1+λw||M||F2]]>s.t.||dx,i||l2≤1,||dy,i||l2≤1,∀i---(1)]]>其中γ,λx,λy和λw分别为调节目标函数中各项术语权重的参数。Sy和Sx分别为LR和HR图像块的稀疏表示系数。和表示重建误差，表示映射误差。dy,i和dx,i分别表示字典Dy和Dx中的元素。为进一步提升超分辨率算法的时间效率以及对于边缘细节信息的保持能力，对基于PZM的非局部模糊配准机制进行了改进，通过计算PZM特征相似性和结构相似性，构建基于视觉显著性的时空非局部模糊配准机制(SBFR)。具体来说，在相似性匹配过程中，构建基于区域平均能量和区域结构相似性的自适应区域相关性判断策略。对于显著性像素区域，提出了一种改进的基于区域PZM特征相似性和区域结构相似性的相似性加权策略，实现高精度的鲁棒性时空非局部相似性匹配；对于非显著性像素区域，提出了基于区域能量的相似性加权策略，实现低复杂度的时空非局部相似性匹配。更进一步地，时空非局部相似性匹配可包括：根据LR-HR关联映射，计算非局部时空域内每个像素的相似性权重。然后，对非局部时空搜索区域内的所有像素对应的邻域区域进行相关性判断，分为相关区域和不相关区域，选择出相关区域。根据选择出的相关区域，对于LR视频帧的显著性目标区域和非显著性目标区域分别进行相似性匹配。最后，将显著性目标区域和非显著性目标区域的相似性信息融合。作为一个可参考的实施例，参阅图2所示，所述视频超分辨率重建方法具体可采用如下步骤：步骤201，检测和提取视觉显著性目标区域。其中，对LR视频序列的每一帧y，检测和提取视觉显著性区域Dso∈Dy，将每个视频帧分为显著性区域Dso∈Dy和非显著性区域Dnso∈Dy(Dso∪Dnso＝Dy)。步骤202，采用半耦合字典学习方法建立多帧低分辨率(LR)和高分辨率(HR)之间的关联映射。具体的实施过程包括：步骤一：对于LR-HR关联映射的学习过程，给定LR图像块集Y，HR图像块集X，则该过程等同于寻求一个从Y空间到X空间的映射函数M＝f(.)，且满足X＝f(Y)。假设HR和LR图像块的稀疏表示系数存在某种稳定的关联映射，在基于半耦合字典学习的LR-HR关联学习过程中，通过最小化式(1)所示的目标能量函数，获取LR和HR字典对(Dy、Dx)以及关联映射矩阵M。min{Dx,Dy,M}||X-DxSx||F2+||Y-DySy||F2+γ||Sx-MSy||F2+λx||Sx||1+λy||Sy||1+λw||M||F2]]>s.t.||dx,i||l2≤1,||dy,i||l2≤1,∀i---(1)]]>其中γ,λx,λy和λw分别为调节目标函数中各项术语权重的参数。Sy和Sx分别为LR和HR图像块的稀疏表示系数。和表示重建误差，表示映射误差。dy,i和dx,i分别表示字典Dy和Dx中的元素。还值得说明的是，对于式(1)中的目标能量函数的最小化求解过程包括：步骤一：对于式(1)中目标能量函数进行训练样例的稀疏编码。在实施例中，初始化M和字典对(Dy、Dx)，采用L1优化算法分别求解式(2)和式(3)，获取稀疏编码系数Sy和Sx。min{Sx}||X-DxSx||F2+γ||Sy-MxSx||F2+λx||Sx||1---(2)]]>min{Sy}||Y-DySy||F2+γ||Sx-MySy||F2+λy||Sy||1---(3)]]>其中Mx表示从Sx到Sy的映射，My表示从Sy到Sx的映射。表示在Sx到Sy映射过程中产生的映射误差，表示在Sy映射到Sx过程中产生的映射误差。步骤二：对稀疏编码进行字典更新。具体包括：固定Sy和Sx，通过式(4)更新字典对(Dy、Dx)。min{Dx,Dy}||X-DxSx||F2+||Y-DySy||F2]]>s.t.||dx,i||l2≤1,||dy,i||l2≤1,∀i---(4)]]>步骤三：对字典更新后的稀疏编码进行映射更新。在实施例中，固定字典对(Dy、Dx)、Sy和Sx，通过式(5)更新映射M。min{M}||Sx-MSy||F2+(λw/γ)||M||F2---(5)]]>通过求解式(5)，可以得到式(6)。M=SxSyT(SySyT+(λw/γ)·I)-1---(6)]]>其中I为单位矩阵。基于如上关联映射学习过程获取到LR-HR关联映射M之后，便可据此进行超分辨率重建，获取LR视频帧中显著性目标区域的HR估计。对于LR视频帧Y的显著性目标区域Dso∈DY，通过求解式(7)中的优化问题获取其HR估计。min{Sx,i,Sy,i}||xi-DxSx,i||F2+||yi-DySy,i||F2+γ||Sx,i-MSy,i||F2+λx||Sx,i||1+λy||Sy,i||1---(7)]]>其中yi为LR视频帧Y中的图像块，xi为HR视频帧X的初始估计图像块。X的初始估计可通过Bicubic插值算法获得。通过交替更新Sx,i和Sy,i对式(7)进行求解。X的显著性区域中的各个图像块xi的目标HR估计可通过式(8)求解。xicm^=DxSx,i^---(8)]]>当所有的图像块的目标HR估计获取之后，便可以得到HR视频帧X的目标估计。对于重叠的块，采用加权平均策略进行融合。步骤203，根据LR-HR关联映射，计算非局部时空域内每个像素的相似性权重。具体实施过程包括：PZM(k,l)和PZM'(i,j)分别表示待重建像素点(k,l)及其非局部搜索区域Nnonloc(k,l)内像素点(i,j)对应的局部区域内的PZM特征向量，分别记作式(9)和式(10)。PZM(k,l)＝(PZM00,PZM11,PZM20,PZM22,PZM31,PZM33)(9)PZM'(i,j)＝(PZM'00,PZM1'1,PZM'20,PZM'22,PZM'31,PZM'33)(10)其中视频帧f(x,y)的n阶和m重(0≤n≤∞,0≤|m|≤n)PZM特征计算如式(11)所示：PZMnm=n+1π∫∫x2+y2≤1f(x,y)Vnm*(x,y)dxdy=n+1πΣρ≤1Σ0≤θ≤2πf(ρ,θ)Vnm*(ρ,θ)ρ---(11)]]>Vnm(ρ,θ)＝Rnm(ρ)exp(jmθ)(12)Rnm(ρ)=Σs=0n-|m|(-1)s(2n+1-s)!ρn-ss!(n+|m|+1-s)!(n-|m|-s)!---(13)]]>其中，ρ和θ分别为极坐标下像素点的半径和角度，且函数{Vnm(x,y)}为PZM特征的基，且构成单位圆x2+y2≤1内的一组完备正交集。为Vnm(x,y)的复数共轭。非局部时空域内每个像素的相似性权重计算方法如式(14)：ωSRPZM[k,l,i,j,t]=1C(k,l)exp{-||PZM(k,l)-PZM′(i,j)||22ϵ2}---(14)]]>其中参数ε控制指数函数的衰减率和权重的衰减率。C(k,l)表示归一化常数，计算方法如式(15)：C(k,l)=Σ(i,j)∈Nnonloc(k,l)exp{-||PZM(k,l)-PZM′(i,j)||22ϵ2}.---(15)]]>在求取PZM特征向量的时候，矩的阶越大，对噪声的敏感度越大。步骤204，对非局部时空搜索区域内的所有像素对应的邻域区域进行相关性判断，分为相关区域和不相关区域，选择出相关区域。作为一个实施例，定义区域平均能量AE(x,y)、区域PZM特征相似性RFS(R(k,l),R(i,j))和区域结构相似性RSS(R(k,l),R(i,j))三个概念，定义方法如下：定义1(区域平均能量)：若图像F被分割成大小相同的若干区域，且每个区域包含5×5的图像块。每个区域的像素分别标记为p1,p2,...,pNum，且像素总数为Num。则定义AE(x,y)作为以像素(x,y)为中心的区域平均能量，且通过式(16)进行计算。AE(x,y)=Σi=1Numpi/Num---(16)]]>定义2(区域PZM特征相似性)：给定两个区域R(k,l)和R(i,j)，分别以像素(k,l)和(i,j)为中心，且分别提取这两个区域相应的PZM特征向量PZM(k,l)和PZM'(i,j)。参数ε为控制指数函数的衰减率。则定义这两个区域之间的PZM特征相似性如式(17)：RFS(R(k,l),R(i,j))=exp{-||PZM(k,l)-PZM′(i,j)||22ϵ2}---(17)]]>定义3(区域结构相似性)：给定两个区域R(k,l)和R(i,j)，分别以像素(k,l)和(i,j)为中心。η(k,l)和η(i,j)分别是这两个区域的均值，σ(k,l)和σ(i,j)分别是这两个区域的标准方差，σ(k,l,i,j)是这两个区域之间的协方差，且e1和e2为两个常量。则定义这两个区域之间的结构相似性RSS(R(k,l),R(i,j))如式(18)：RSS(R(k,l),R(i,j))=(2η(k,l)η(i,j)+e1)(2σ(k,l,i,j)+e2)(η(k,l)2+η(i,j)2+e1)(σ(k,l)2+σ(i,j)2+e2)---(18)]]>对待重建像素(k,l)的非局部时空搜索区域内的所有像素(i,j)对应的邻域区域进行相关性判断，分为相关区域和不相关区域，只选择相关的区域参与权重计算，这样可以加快算法速度，同时更有利于利用更为相似的区域块参与权重计算。在区域相关性判断过程中，综合考虑区域平均能量和融入人眼视觉感知特性的区域结构相似性两方面因素进行相关性计算，同时利用自适应阈值δadap策略，构建自适应的区域选择机制。若两区域相关，则定义如式(19)：|AE(k,l)-AE(i,j)|×((1-RSS(R(k,l),R(i,j)))/2)＜δadap(19)自适应阈值δadap的大小是通过待重建像素(k,l)对应的邻域区域的平均能量AE(k,l)自适应地确定的，因此可更为精确地对区域间的相关性进行判定。δadap计算方法如式(20)：δadap＝λAE(k,l)(20)其中，λ为控制δadap的调节因子。当λ值设置为0.08时，获取的超分辨率性能最佳。步骤205，根据选择出的相关区域，对于LR视频帧的显著性目标区域和非显著性目标区域分别进行相似性匹配。其中，对于LR视频帧Y中的显著性目标区域Dso∈DY，提出了改进的基于区域PZM特征相似性和区域结构相似性的相似性加权策略用于相似性匹配；对于非显著性目标区域Dnso∈DY(Dso∪Dnso＝DY)，提出了基于区域能量的相似性加权策略用于相似性匹配。较佳地，综合利用区域PZM特征相似性和区域结构相似性两种相似性度量因素，对式(20)中的加权策略进行改进，实现显著性区域Dso∈DY的相似性加权改进后的相似性加权策略计算方法如式(21)所示：ωSREPZM[k,l,i,j,t]=1C(k,l)×RFS(R(k,l),R(i,j))×(1-0.0002RSS(R(k,l),R(i,j)))=1C(k,l)×exp{-||PZM(k,l)-PZM′(i,j)||22ϵ2}×(1-0.0002RSS(R(k,l),R(i,j))),|AE(k,l)-AE(i,j)|×((1-RSS(R(k,l),R(i,j)))/2)<δadap0,otherwise.---(21)]]>其中(k,l)表示待重建的像素点，(i,j)表示待重建像素非局部搜索邻域Nnonloc(k,l)内的像素点。参数ε控制指数函数的衰减率和权重的衰减率。C(k,l)表示归一化常数，如式(22)：C(k,l)=Σ(i,j)∈Nnonloc(k,l)exp{-||PZM(k,l)-PZM′(i,j)||22ϵ2}×(1-0.0002RSS(R(k,l),R(i,j)))---(22)]]>另一较佳地实施例，对于非显著性区域Dnso∈DY的时空非局部相似性匹配，提出了基于区域能量的加权策略求解非局部相似性权重计算方法如式(21)：ωSRRE[k,l,i,j,t]=exp{-||RF(k,1)-RF(i,j)||222h2}×f((k-i)2+(l-j)2),|AE(k,l)-AE(i,j)|×((1-RSS(R(k,l),R(i,j)))/2)<δadap0,otherwise.---(23)]]>其中RF(k,l)和RF(i,j)分别表示以像素(k,l)及其非局部搜索区域Nnonloc(k,l)内像素(i,j)为中心的局部区域(q×q局部窗口)的q2维特征向量。h2表示控制这两个局部区域之间的灰度级差异的平滑参数。在改进的SBFR机制中的相似性权重计算方法如式(24)：ωSRSBFR[k,l,i,j,t]=ωSREPZM[k,l,i,j,t],(k,l)∈DsoωSRRE[k,l,i,j,t],(k,l)∈Dnso---(24)]]>步骤206，将显著性目标区域和非显著性目标区域的相似性信息融合。作为实施例，当相似性权重确定之后，待重建视频帧各像素的高分辨率估计可通过其相邻连续多帧间的非局部时空域内像素加权平均而获得。基于时空非局部相似性的超分辨率重建目标能量函数表达如式(25)：xnl^=argmin{x(k.l)}||x(k,l)-Σt=t1t2Σ(i,j)∈Nnonloc(k,l)ωSRSBFR(k,l,i,j,t)x(i,j)||22=argmin{x(k.l)}||x(k,l)-Σt=t1t2Σ(i,j)∈Nnonloc(k,l)ωSREPZM(k,l,i,j,t)x(i,j)||22,(k,l)∈Dsoargmin{x(k.l)}||x(k,l)-Σt=t1t2Σ(i,j)∈Nnonloc(k,l)ωSRRE(k,l,i,j,t)x(i,j)||22,(k,l)∈Dnso---(25)]]>其中[t1,t2]表示3D时空域(时序滑动窗口)。通过最小化式(25)的目标能量函数，每个LR视频帧的目标高分辨率估计可通过式(26)获取。xnl^=Σ(k,l)∈ΨΣt∈[t1,t2]Σ(j,j)∈Nnonloc(k,l)ωSRSBFR[k,l,i,j,t]xt(i,j)Σ(k,l)∈ΨΣt∈[t1,t2]Σ(j,j)∈Nnonloc(k,l)ωSRSBFR[k,l,i,j,t]---(26)]]>其中Ψ表示待超分辨率重建的视频帧。提出的基于半耦合字典学习和时空非局部自相似性的视频超分辨率重建算法的目标能量函数如式(27)所示：x*^=argmin{x(k.l)}(ESRCML+λ||x(k,l)-Σt=t1t2Σ(i,j)∈Nnonloc(k,l)ωSREPZM(k,l,i,j,t)x(i,j)||22)+γDBlu(X),(k,l)∈Dsoargmin{x(k,l)}||x(k,l)-Σt=t1t2Σ(i,j)∈Nnonloc(k,l)ωSRRE(k,l,i,j,t)x(i,j)||+γDBlu(X),(k,l)∈Dnso---(27)]]>其中表示式(8)定义的能量函数，DBlu(X)表示去模糊过程。λ和γ为权重调节因子。在本发明的另一方面，还提供了一种视频超分辨率重建装置，如图3所示，所述视频超分辨率重建装置包括依次连接的区域提取单元301、映射建立单元302以及分辨率重建单元303。其中，区域提取单元301通过视频序列的视觉显著性计算，对视觉显著性目标区域的检测和提取，映射建立单元302采用半耦合字典学习方法建立多帧低分辨率(LR)和高分辨率(HR)之间的关联映射。然后，分辨率重建单元303通过融合视频序列在时空域的非局部相似性结构互补冗余信息，利用基于视觉显著性的时空非局部模糊配准和融合策略，进行时空超分辨率重建，获取高时空分辨率的视频序列。较佳地，对LR视频序列的每一帧y，检测和提取视觉显著性区域Dso∈Dy，将每个视频帧分为显著性区域Dso∈Dy和非显著性区域Dnso∈Dy(Dso∪Dnso＝Dy)。进一步地，对于LR-HR关联映射的学习过程，给定LR图像块集Y，HR图像块集X，则该过程等同于寻求一个从Y空间到X空间的映射函数M＝f(.)，且满足X＝f(Y)。假设HR和LR图像块的稀疏表示系数存在某种稳定的关联映射，在基于半耦合字典学习的LR-HR关联学习过程中，通过最小化式(1)所示的目标能量函数，获取LR和HR字典对(Dy、Dx)以及关联映射矩阵M。min{Dx,Dy,M}||X-DxSx||F2+||Y-DySy||F2+γ||Sx-MSy||F2+λx||Sx||1+λy||Sy||1+λw||M||F2]]>s.t.||dx,i||l2≤1,||dy,i||l2≤1,∀i---(1)]]>其中γ,λx,λy和λw分别为调节目标函数中各项术语权重的参数。Sy和Sx分别为LR和HR图像块的稀疏表示系数。和表示重建误差，表示映射误差。dy,i和dx,i分别表示字典Dy和Dx中的元素。优选地，对于式(1)中目标能量函数的最小化求解，首先进行训练样例的稀疏编码：初始化M和字典对(Dy、Dx)，采用L1优化算法分别求解式(2)和式(3)，获取稀疏编码系数Sy和Sx。min{Sx}||X-DxSx||F2+γ||Sy-MxSx||F2+λx||Sx||1---(2)]]>min{Sy}||Y-DySy||F2+γ||Sx-MySy||F2+λy||Sy||1---(3)]]>其中Mx表示从Sx到Sy的映射，My表示从Sy到Sx的映射。表示在Sx到Sy映射过程中产生的映射误差，表示在Sy映射到Sx过程中产生的映射误差。对稀疏编码进行字典更新：固定Sy和Sx，通过式(4)更新字典对(Dy、Dx)。min{Dx,Dy}||X-DxSx||F2+||Y-DySy||F2]]>s.t.||dx,i||l2≤1,||dy,i||l2≤1,∀i---(4)]]>对字典更新后的稀疏编码进行映射更新：固定字典对(Dy、Dx)、Sy和Sx，通过式(5)更新映射M。min{M}||Sx-MSy||F2+(λw/γ)||M||F2---(5)]]>通过求解式(5)，可以得到式(6)。M=SxSyT(SySyT+(λw/γ)·I)-1---(6)]]>其中I为单位矩阵。作为本装置的另一个实施例，进行时空超分辨率重建时通过时空非局部相似性匹配的方法实现，具体的过程包括：根据LR-HR关联映射，计算非局部时空域内每个像素的相似性权重。然后，对非局部时空搜索区域内的所有像素对应的邻域区域进行相关性判断，分为相关区域和不相关区域，选择出相关区域。根据选择出的相关区域，对于LR视频帧的显著性目标区域和非显著性目标区域分别进行相似性匹配。最后，将显著性目标区域和非显著性目标区域的相似性信息融合。需要说明的是，在本发明所述的视频超分辨率重建装置的具体实施内容，在上面所述的视频超分辨率重建方法中已经详细说明了，故在此重复内容不再说明。综上所述，本发明提供的视频超分辨率重建方法和装置，创造性地提出了一种基于半耦合字典学习和时空非局部相似性的视频超分辨率重建方法，此方法理论与技术具有创新性，能够为空间运动目标的精确识别和跟踪提供更加清晰流畅的视频信息，具有很强的实际应用价值；并且，通过学习LR-HR关联关系作为先验约束，同时跨尺度融合低分辨率视频帧间的时空非局部相似性信息，获取低分辨率视频帧的目标高分辨率估计，提高视频超分辨率重建算法的旋转不变性以及噪声、光照鲁棒性，使之能够适应于较大的超分辨率倍数；同时，基于视觉显著性的时空非局部模糊配准和融合机制，对于显著性目标区域，提出了基于区域伪Zernike矩特征相似性和结构相似性的时空非局部相似性匹配策略，以进一步提升超分辨率精度和鲁棒性；对于非显著性目标区域，提出了基于区域能量的低复杂度时空非局部相似性匹配策略；从而，本发明能够具有广泛、重大的推广意义；最后，整个所述视频超分辨率重建方法和装置紧凑，易于控制。所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页1 2 3