一种基于稀疏冗余表示模型的视频帧率上转换方法
【专利摘要】本发明公开了一种基于稀疏冗余表示模型的视频帧率上转换方法，其步骤包括：(1)估计前帧ft?1与后帧ft+1之间任意像素位置(i，j)处前向光流向量vt?1，t+1(i，j)；(2)根据运动对称假设，在前帧ft?1的前向光流场vt?1，t+1基础上，逐像素实施双向三维递归搜索，计算当前像素位置(i，j)处的最优光流向量vt，t+1(i，j)；(3)逐像素对应光流场vt，t+1中光流向量进行平滑，保证光流在局部区域内的一致性，以抑制错误光流向量出现；(4)利用前帧ft?1与后帧ft+1、光流场vt，t+1，构造当前帧ft的稀疏重建模型；(5)估计稀疏重建模型中的正则化参数与稀疏表示字典；(6)采用非线性优化方法求解稀疏重建模型，获得当前帧估计与现有技术相比，本发明能够有效提升视频帧率上转换的性能。
【专利说明】
-种基于稀疏冗余表示模型的视频顺率上转换方法
技术领域
[0001] 本发明属于视频编码技术领域，设及一种视频帖率上转换方法，尤其是提出了利 用稀疏冗余表示模型抑制在上转换过程由异常运动向量造成的模糊现象。
【背景技术】
[0002] 高帖率视频可带来极佳的视觉体验，其展示画面更接近于真实，是超高清视频制 作技术的新趋势。受限于普通电子消费类数码摄像机的采集速率，目前视频节目源帖率一 般为每秒30帖，即30fps，它仍不足W流杨地刻画细腻动作，给人眼带来一定停滞感，长时间 观看极易疲劳。直接W硬件方式提高设备采集速率，会成倍提高成本，不利于产品推广，因 此，需要W软件方式利用低帖率视频源的相关冗余信息作帖率上转换，生成符合具有良好 视觉质量的高帖率视频源。
[0003] 帖率上转换可通过帖复制、帖平均方式实现，但运些简单方法无法较好地描述高 速运动，常会产生大量的模糊效应。然而，运动补偿帖率上转换充分利用相邻视频帖间的物 体运动轨迹，线性恢复出中间帖运动向量场，获得了良好的内插质量，成为主流的视频帖率 上转换技术。块匹配算法因其简单性，常被用于运动补偿帖率上转换，它将视频帖划分为互 不重叠的块，寻找到各块在参考帖上与其残差能量最小的匹配块，并确定相对坐标偏移作 为最终线性运动向量。由于外部光照条件变化、物体表面相似性模式的存在，残差能量最小 准则并不一定可反映真实物体运动，常由于过拟合问题导致内插帖出现边缘模糊、块效应 现象。运动向量平滑与提纯可在一定程度上纠正运动向量异常，常用方法是加权中值滤波 器，但它W连通区域内运动向量准确为前提假设，而现实情况下异常运动向量常成片出现， 因此，运动向量平滑与提纯并无法从根本上抑制异常运动向量出现。由上可知，如何估计物 体真实运动轨迹，抑制由异常运动向量引起的不良效应，确保高内插质量的帖率上转换是 目前亟待解决的技术问题。
[0004] 在现有技术中，文献"Direction-Select Motion Estimation for Motion-Compensated Frame Rate Up-Conversion'(Yoo Dong-Gon，Kang Suk-Ju，and Kim Young HwanJournal of Display Technology,vol.9，no. 10,卵.840-850,2013)针对异常运动向 量问题，提出沿着前后向分别估计内插帖的运动向量场，通过增加运动向量候选的方式，提 高运动估计可靠性，同时，也提出了二维加权运动向量平滑，进一步改善运动向量场估计精 度。尽管该方法在一定程度提高了帖率上转换性能，但是它仍是使用块匹配算法，并W残差 能量最小为准测挑选候选运动向量，因此，反映真实运动向量能力仍具有局限性。文献 ('High Visual Quality Based Frame 民ate Up Conversion with Acceleration Assisted Motion Trajectory Calibration，'（Tai Tsung-Han，and Lin Hsueh-Yi, Journal of Display Technology，vol.8，no.6，pp.341-351,2012)为了保证运动向量真实 性，选择采用单向运动估计，并不再将运动建模为匀速运动，而是增加了加速度参量，^二 阶加速模型描述物体运动。然而，该方法造成了大量块重叠与空洞，需要借助后处理手段进 行修饰，造成了较多模糊效应。由上可知，研究可确保运动向量真实性的帧率上转换技术， 并在内插过程抑制异常运动向量造成的模糊效应，具有重要研究意义和实用价值。
【发明内容】
[0005] 技术问题:本发明为提高运动估计准确性并抑制异常运动向量造成的模糊现象， 提出了一种基于稀疏冗余表示模型的视频帖率上转换方法。该方法放弃传统的块匹配算 法，而是利用光流法估计内插帖的真实运动向量。在内插过程，为了抑制异常运动造成的模 糊效应，传统线性运动补偿内插由基于稀疏冗余表示模型的非线性重建方法代替。该方法 借助于光流估计与稀疏冗余表示两大分析工具，可有效抑制异常运动向量带来的不良效 应，进一步改善运动补偿帖率上转换性能。
[0006] 技术方案:本发明方法利用光流法估计各像素的运动向量，并W像素为中屯、形成 图像子块，依据图像子块的运动轨迹，建立内插帖的稀疏冗余表示模型，通过非线性最优化 方法求解该模型W恢复内插帖。其特征包括如下：
[0007] 1.前向光流场估计
[000引利用Lucas-Kanade光流算法估计前帖ft-i与后帖ft+i之间任意像素位置（i，j)处前 向光流向量vt-i,t+i(i，j)。
[0009] 2.双向光流场提纯
[0010] 根据运动对称假设，在前帖fVi的前向光流场Vt-I,t+i基础上，逐像素实施双向S维 递归捜索。当前帖ft在像素位置(i，j)处的候选光流向量集合为
[0011 ] CSi, j = {vt't+i(i，j-l)，vt't+i(i-l，j)，Vt-I,t(i，j)，vt-i't(i，j+l)，
[0012] vt-i't(i+l，j)，vt't+i(i-l，j-l)+Ua，vt't+i(i+l，j+l)+Ub}
[0013] 昔由V+-1 +二V+-1 ++1 .11。与I化责巧肅向音?腑加,AA W下集合中依次选取；
[0014]
[0015] 提取W像素位置(i，j)为中屯、的尺寸为WpXwp区域内所有像素位置组成Qi,J，计算 当前像素位置(i，j)处的最优光流向量vt,w(i，j)如下：
[0016]
[0017]其中V为CSi,冲的候选光流向量，S为Qi,冲的任意像素位置，M ? I |2为12范数，T 为常数(按经验取为0.3 )，Q M尺寸Wp设置为7。
[001引 3.光流场平滑
[0019] 若当前像素位置（i，j)处的光流向量Vt,w(i，j)方向与其四连接区域像素的光流 向量方向不一致时，就认为Vt,w(i，j)估计发生错误，并将其方向纠正，保持与四连接区域 像素光流向量方向一致。从左至右，从上到下，逐像素对应光流场中光流向量进行平滑，保 证光流在局部区域内的一致性，W抑制错误光流向量出现。
[0020] 4.稀疏重建模型构造
[0021] 提取当前帖ft在W像素位置Q，j)为中屯、的尺寸为WpXwp区域Qi,J内所有像素亮 度值，并按列排列为向量XM，称其为像素位置(i，j)处的图像子块，即满足
[0022] xi,j = Ri,江 t
[0023] 其中Ri, J是用于提取ft中像素位置（i，j)处图像子块的矩阵，图像子块尺寸Wp设置 为7。利用运动对称性，由线性内插法可计算XM的估计Pi,姻下：
[0024]
[002引其中Pi,肿)为Pi, J的第k个分量，Qi,肿)是Pi,肿)在Qi,J内对应的像素位置。Pi,J 与XM之间存在有一定预测误差，即
[0026] Pi, j(k) =Xi, j(k)+m'j(；k)
[0027] 其中xi.^k)为原始图像子块xi,撕第k个分量，山,肿)为预测误差项。将山,肿)建 模为均值为0、方差为O2IU的加性高斯噪声。原始图像子块Xi,讀希疏表示建模如下：
[002引 Xi, j = Di, jcii, j+mi, j
[0029] 式中Di,J为xi,撕稀疏表示字典，Qi,功xi,撕稀疏表示系数，mi,J为噪声项，其服从 均值为0、方差为的加性高斯噪声。考虑ft中所有像素对应的图像子块，可构造出最终的 稀疏重建模型如下：
[0030]
[0031]
[0032]
[0033] 上式采用数值计算方法根据如下步骤求解：
[0034] 步骤1:初始化待求解变量ftW为当前帖ft的线性内插估计，设定最大迭代次数为 10;
[0035] 步骤2:固定以">，稀疏重建模型化简为
[0036]
[0037]
[00；3 引
[0039] 式中M ? Mo为Io范数，即向量中非0分量个数，Ei,j与化,j成反比，可按经验固定为 0.01。采用正交匹配追踪算法求解式(30)，得QiJ的第n次迭代解Qi,jW。
[0040] 步骤3:固定ai,/"}，稀疏重建模型化简为
[0041]
[0042]
[0043]
[0044] 步骤4:重复步骤2至步骤3，直到满足||以"^以"-1)||2<〇.〇〇1为止，此时迭代解即 为当前帖估计。
[0045] 5.正则化参数估计
[0046] 正则化参数、,J由O2I,神日Il2I, J决定。对于O2I, J，首先计算前后参考帖ft-i与ft+i沿着 光流轨迹的亮度值绝对差值如下：
[0047] di, J = I f t-i(s+vt, t-i (i , j))-f t+i (s+vt, t+i (i , j))
[0048] 其中S代表内插帖ft在位置(i，j)处的像素坐标。利用上式估计〇2i,j如下：
[0049]
[0050] 由数值分析结果分别设定a、b取值为0.75、3.5。对于Il2IU,在求解稀疏重建模型的 每次迭化中讲行审新，首先利用第n次迭代的稀疏表示系数QijW计算图像子块估计如下：
[0化1 ]
[0052]接着，利用图像子块估计的样本方差估计Il2I,苗曰下 [0化3]
[0化4] 6.字典学习
[00对首先，逐像素抽取前后参考帖ft-i与ft+i内图像子块组成训练集合S，接着，提取S内 任意样本梯度值作为特征，利用K-mean算法根据特征将S划分为3个聚类阳诚诚}，计算聚 类类内所有样本均值，的聚类中屯、山1，02,03}，最后，利用主成份分析算法计算各聚类的主 成份，并组成对应于3个聚类的正交变换矩阵{Pl，P2，P3}。在求解稀疏重建模型的每次迭代 中，利用图像子块XM的第n-1次迭代选择学习字典如下：
[0化6]
[0化7]
[005引有益效果:本发明利用光流法估计内插帖的真实运动向量，通过双向光流场提纯 与光流场平滑方法抑制当前帖的异常光流向量。在内插过程，采用稀疏冗余表示模型实施 非线性重建，减少由异常光流造成的模糊效应。与现有技术相比，本发明借助于光流估计与 稀疏冗余表示两大分析工具，有效抑制异常光流向量带来的不良效应，有效提升了运动补 偿帖率上转换性能。
【附图说明】
[0059] 图1为本发明实施帖内插示例。
[0060] 图2为本发明实施帖内插流程。
[0061 ]图3为双向光流场提纯采用的候选向量相对空间位置。
[0062] 图4为异常光流向量示例，其中图4(a)为平滑光流场前的局部光流向量分布，图4 (b)为平滑光流场后的局部光流向量分布。
[0063] 图5为本发明与对比方法内插化reman第58帖的主观视觉质量对比，其中图5(a)为 Yoo et al.方法内插帖，图5(b)为化i et al.方法内插帖，图5(c)为本发明内插帖。
[0064] 具体实施方法
[0065] W下结合附图和实施例对本发明的技术方案作进一步描述。
[0066] 如图1所示，本发明方法在获取前帖ft-i与后帖ft+込间任意像素位置Q，j)处前向 光流向量Vt-I,t+i(i，j)的前提下，根据双向对称性假设，在时空邻域内捜索出内插帖ft中同 一像素位置Q，j)处的前向光流向量Vt,t+i(i，j)，并利用该预测光流场重建中间帖ft。通过 周期性在相邻帖间利用本发明方法插入若干帖，即可实现视频帖率上转换。插帖算法流程 如图2所示，首先，通过前向光流场估计生成前后参考帖ft-1与ft + 1之间的前向光流场 Vt-I,t+i，然后，利用双向光流场提纯预测内插帖ft的前向光流场，经光流场平滑后获得最终 光流场Vt,W，接着，根据前向光流场Vt,W，运行正则化参数估计和字典学习，计算出非线性 内插必需的参数，即像素位置Q，j)处的噪声标准差Oiu与稀疏表示字典化最后，构建稀 疏重建模型，设计求解算法，生成内插帖估计/。本发明提出的插帖算法各组成部分具体实 施方法说明如下：
[0067] 1.前向光流场估计
[0068] 利用Lucas-Kanade光流算法估计前帖ft-i与后帖ft+i之间任意像素位置(i，j)处前 向光流向量Vt-I, t+i(i，j)。为了便于描述Lucas-Kanade光流算法实施过程，设ft-迪像素位 置(i，j)处取值为
[0069] j) = I(i, j,h) (I)
[0070] 其中Ki，j，h)代表在时刻h上像素位置（i，j)处的亮度。由于在极短时间间隔中， 光流轨迹上像素亮度保持恒定，那么，ft-i(i，j)沿着光流轨迹在后帖ft+i上的匹配像素位置 处取值为
[0071] ft+i(i'，j') = I(i+di，j+dj，h+dh) (2)
[0072] 且满足光流约束方程
[0073] I(i+di,j+dj,h+dh) = I(i,j,h) (3)
[0074] 其中（di，di)为像素位移，而化为时间间隔。将式(3)左侧利用一级泰勒级数展开，
可得
[0075] (4)
[0076]
[0077]
[007引
[0079]
[0080]
[0081]
[0082] 则式(6)等价于
[0083] Iivi+IjV2 = -Ih (7)
[0084] 其中（vi，V2)t就是像素位置(i，j)处前向光流向量即
[0085] Vt-I,t+i(i，j) = (vi，V2)T (8)
[0086] 上标T为矩阵转置运算。由于场景中物体总是占据图像某局部区域，因此，在W像 素位置(i，j)为中屯、的局部邻域n = mXn2内各像素光流均为(vi，V2)t，那么，可得到下列方 程组：
[0087] (9)
[008引
[0089]
[0090] 则式(9)可记作
[0091] A ? vt-i't+i(i，j)=b (10)
[0092] 由于式(10)为超定线性方程组，因此，利用最小二乘法可得其解为
[0093] vt-i,t+i(i,j) = (A^A)"V(-b) (11)
[0094] 2.双向光流场提纯
[00M]根据运动对称假设，在前帖ft-1的前向光流场Vt-I,t+1基础上，逐像素实施双向S维 递归捜索。=维递归捜索包括空间递归和时间递归，即认当前像素与当前帖中的空间相邻 像素W及前一帖中时间相邻像素在运动上具有相关性，当前像素的光流向量可由时空相关 向量"传播"得来。由于当前像素的光流向量与其时间、空间相邻像素的光流向量相近，但并 非完全相同，若所有的候选向量都来自相邻像素光流向量的原始值，则不符合实际情况，因 此，给原始光流向量加上一个更新向量，得到的候选光流向量将更接近实际、更准确。根据 上述经骑.?前帖ft#像素仿晋。的低i先井:流向音隹合^
[0096] (12)
[0097] ?中依次选取：
[009引 （13)
[0099] 由此可知，候选的预测向量共有7个，如图3所示，包括：内插帖ft中像素位置(i，j) 的左边、上边、左上和右上像素;前帖ft-i中处于（i，j)的像素，及其右边和下边像素。提取W 像素位置（i，j)为中屯、的尺寸为WpXwp区域内所有像素位置组成Qi,J，计算当前像素位置 (i，j)处的最优光流向量Vt, t+i (i，j)如下：
[0100] (14)
[0101] ATjTHT跃処凡"化问里，mri工恩1豕糸1立置，I I ? N 2为12范数，T 为常数(按经验取为0.3)。式（14)首先计算相邻两帖中Qi,J内所有像素的双向绝对差和，再 加上依赖于候选向量幅度值的惩罚项，选取双向绝对差和与运动幅度均较小的候选向量为 当前像素的光流向量估计。
[0102] 3.光流场平滑
[0103] 由于视频帖具有空间结构相似性，在采用式（14)估计当前帖ft的前向运动矢量场 Vt,t+i时，最小匹配误差并不一定反映了真实光流轨迹，因此，前向运动矢量场Vt,t+i中总是 存在若干错误估计的光流向量。如图4所示，若当前像素位置(i，j)处的光流向量Vt, w(i，j) 方向与其四连接区域像素的光流向量方向不一致时，就认为Vt, w(i，j)估计发生错误，并将 其方向纠正，保持与四连接区域像素光流向量方向一致。从左至右，从上到下，逐像素对应 光流场中光流向量进行平滑，保证光流在局部区域内的一致性，W抑制错误光流向量出现。 光流场Vt,t+i(i，j)经平滑后即为当前帖ft的前向光流场，根据运动对称性，可获得当前帖ft 的后向运动矢量场为
[0104] vt't-i(i，j)=-vt't+i(i，j) (15)
[0105] 利用f t-i、f t+i、vt, t+i (i，j)与vt, t-i (i，j)即可构造稀疏重建模型。
[0106] 4.稀疏重建模型构造
[0107] 提取当前帖ft在W像素位置Q，j)为中屯、的尺寸为WpXwp区域Qi,J内所有像素亮 度值，并按列排列为向量XM，称其为像素位置(i，j)处的图像子块，即满足
[010 引 XLj = Ryft (16)
[0109] 其中Riu是用于提取ft中像素位置Q，j)处图像子块的矩阵，图像子块尺寸Wp设置 为7。利用运动对称性，由线性内插法可计算XM的估计Pi,姻下：
[0110]
(化）
[0111] 其中Pi, j(k)为Pi, j的第k个分量，Qi, j化)是Pi, j(k)在Qi, j内对应的像素位置。双向 光流场提纯与光流场平滑并无法完全消除异常向量，因此，PiJ与XiJ之间存在有一定预测 误差，即
[0112] pi'j(k)=xi'j(k)+m'j(；k) (17)
[011引其中Xi,肿)为原始图像子块Xi,撕第k个分量，山,肿)为预测误差项。将山,肿)建 模为均值为0、方差为02i,j的加性高斯噪声，即m,j化)的概率密度函数为
[0114 (18)
[0115
[0116 (19)
[0117
[0118 (20)
[0119] 式中M . M劝b范数，N=wp2。原始图像子块Xi,滿疏表示建模如下：
[0120] Xi, j = Di, jcii, j+mi, j (21)
[0121] 式中Di,J为xi, J的稀疏表示字典，日1, J为xi,J的稀疏表示系数，mi,J为噪声项，其服从 均值为0、方差为n2i, j的加性高斯噪声。Xi, j的概率密度函数为
[0122] Pr[xi'j]=Pr[Xi'j|ai'j] ? Pr[ai'j] (22)
[0123] 其中
[0124] (23)
[0125] (24)
[01%] 式(24)表示ai, 从参数为01,J的拉普拉斯分布，即CU,J中0分量出现的概率较大， ? M功h范数，因此，式(21)被称作稀疏表示模型。由贝叶斯推论可得
[0127] Pr[xi, j I Pi, j] 〇cPr[pi, j I Xi, j] ? Pr[xi, j] (25)
[0128] 由此可得到XM的最大后验估计
[0129]
[0130]
[0131] (巧）
[0132]
[0133]
[0134] 考虑ft中所有像素对应的图像子块，可构造出最终的稀疏重建模型如下：
[01351
(28)
[0136] 式(28)可采用数值计算方法根据如下步骤求解：
[0137] 步骤1:初始化待求解变量ftW为当前帖ft的线性内插估计，设定最大迭代次数为 10;
[013引 击趣9. FSI吿f Jn)才从您击
[0139] (巧）
[0140]
[0141] (30)
[0142] ;，可按经验固定为 0.01。哥
[0143]
[0144] (31)
[0145]
[0146] (32)
[0147] 步骤4:重复步骤2至步骤3，直到满足||以。)-以。-1)||2<0.001为止，此时迭代解即 为当前帖估计。在式(28)数值求解过程中，正则化参数Al,^与字典Di,詞尋在迭代过程中随迭 代解变化而更新，具体更新方法如下叙述。
[0148] 5.正则化参数估计
[0149] 正则化参数、,抽O2I, J和扣媒定。O2I,康示原始中间帖ft与其线性内插估计之间 预测误差项ni,非勺方差，Il2I, J表示图像子块由字典稀疏表示式产生的残留噪声项mi,非勺方 差。由于缺乏原始中间帖ft的信息，O2I,神的 2IU无法直接计算。对于O2IU,首先计算前后参考 帖ft-i与fVi沿着光流轨迹的亮度值绝对差值如下：
[0150] di, J = I ft-i(s+vt, t-i(i , j))-ft+i(s+vt,t+i(i , j)) (33)
[0151] 其中S代表内插帖ft在位置(i，j)处的像素坐标。利用式(33)可估计〇2i,j如下：
[0础 （34)
[0153] 3.5。对于ri2i, j，在求解式(28)的每次迭 代中进： 【M W算图像子块估计如下：
[0154] (35)
[0155] j 如下
[0156] C36)
[0157] 6.字典学习
[015引首先，逐像素抽取前后参考帖ft-i与ft+i内图像子块组成训练集合S，接着，提取S内 任意样本梯度值作为特征，利用K-mean算法根据特征将S划分为3个聚类阳诚诚}，计算聚 类类内所有样本均值，的聚类中屯、山1，02,03}，最后，利用主成份分析算法计算各聚类的主 成份，并组成对应于3个聚类的正交变换矩阵{Pi，P2，P3}。在求解式(28)的每次迭代中，利用 图像子块X;;的笛n-1次巧化去 ("-1>说擇学习字典如下：
[0159] (37)
[0160] (38)
[0161] 本发明的仿真结果
[0162] 本发明利用MATLAB 7.6进行仿真实验，测试序列包含CIF格式的Foreman、 Foo忧all、Stefan、Tennis、Mobile、Bus。为了评估内插帖的质量，每个测试序列的前50个偶 数帖被移除，接着，它们通过各种帖率上转换方案由前50个奇数帖再次生成，最后，再计算 生成内插帖与原始帖之间的峰值信噪比(Peak Si即曰1 to Noise Ratio,PSNR)W反映内插 帖的客观质量。对比方法分别来自文献"Direction-Select Motion Estimation for Motion-Compensated Frame Rate Up-Conversion"（Yoo Dong-Gon，Kang Suk-Ju，and Kim 化ung Hwan'Journal of Display Technology,vol.9，no. 10,卵.840-850,2013)和文献 ('High Visual Quality Based Frame Rate Up Conversion with Acceleration Assisted Motion Trajectory Calibration''（Tai Tsung-Han，and Lin Hsueh-Yi , Journal of Display Technology,vol.8，no.6，pp.；341-351，2012)。表1列出了不同测试序 列下本发明与对比方法重建出内插帖的平均PSNR值，可看出本发明生成的内插帖获得了较 高的PSNR值，平均分别比化O et al.方法、Tai et al.方法高0.73地、1.64地，运说明了本 发明可确保上转视频具有良好的客观质量。图5显示了本发明与对比方法重建化reman第58 帖的主观视觉质量对比，可看出本发明抑制了由异常向量造成的模糊效应，尤其是在嘴唇 区域，而对比方法不同程度出现了块效应与模糊，运说明了本发明可确保上转视频具有良 好的主观质量。
[0163]表1不同测试序列下本发明与对比方法生成内插帖的平均PSNR值(地） 「01 Ml
【主权项】
1. 一种基于稀疏冗余表示模型的视频帖率上转换方法，其特征在于该方法包括:前向 光流场估计、双向光流场提纯、光流场平滑、稀疏重建模型构造、正则化参数估计W及字典 学习； 双向光流场提纯方法为，根据运动对称假设，在前帖f t-1的前向光流场Vt-1, t+1基础上，逐 像素实施双向Ξ维递归捜索，当前帖ft在像素位置(i，j)处的候选光流向量集合为 CSi,j = {vt,t+i(i, j-1)，vt,t+i(i-l, j)，vt-i,t(i，j)，vt-i,t(i, j+1)， vt-i't(i+l，j)，vt't+i(i-l，j-l)+Ua，vt't+i(i+l，j+l)+ub} 其中Vt-l, t = Vt-l, t+l/2，Ua与Ub为更新向量，随机从W下集合中依次选取：提取W像素位置(i，j)为中屯、的尺寸为WpXwp区域内所有像素位置组成Ωι^，计算当前 像素位置(i，j)处的最优光流向量vt,t+i(i，j)如下：其中V为CSi,j中的候选光流向量，S为Ωι,^中的任意像素位置，II · ||2为b范数，τ为常 数(按经验取为0.3)，Ω 1J尺寸wp设置为7; 光流场平滑方法为，若当前像素位置(i，j)处的光流向量vt,w(i，j)方向与其四连接区 域像素的光流向量方向不一致时，就认为vt,w(i，j)估计发生错误，并将其方向纠正，保持 与四连接区域像素光流向量方向一致。从左至右，从上到下，逐像素对应光流场中光流向量 进行平滑，保证光流在局部区域内的一致性，W抑制错误光流向量出现； 稀疏重建模型构造方法为，提取当前帖ft在W像素位置（i，j)为中屯、的尺寸为WpXWp区 域内所有像素亮度值，并按列排列为向量XI,J，称其为像素位置(i，j)处的图像子块，即 满足 Xi'j = Ri'江t 其中Riu是用于提取ft中像素位置（i，j)处图像子块的矩阵，图像子块尺寸Wp设置为7。 利用运动对称性，由线性内插法可计算的估计Pi,姻下：其中Pi,j化)为Pi,j的第k个分量，Ω i,j化)是Pi,j(k)在Ω i, j内对应的像素位置。Pi,j与Xi,j 之间存在有一定预测误差，即 Pi'j(k)=xi'j(k)+ni'j(；k) 其中xi,^k)为原始图像子块的第k个分量，m,^k)为预测误差项。将mj(k)建模为 均值为0、方差为的加性高斯噪声。原始图像子块Xiu稀疏表示建模如下： 式中Dio为Χ?ο的稀疏表示字典，化^为勺稀疏表示系数，为噪声项，其服从均值 为0、方差为的加性高斯噪声。考虑ft中所有像素对应的图像子块，可构造出最终的稀疏 重建模型如下：上式采用数值计算方法根据如下步骤求解： 步骤1:初始化待求解变量ftW为当前帖ft的线性内插估计，设定最大迭代次数为10; 步骤2:固定ft^，稀疏重建模型化简为式中II · ||〇为1〇范数，即向量中非0分量个数，Ei,j与Wi,j成反比，可按经验固定为0.01。 采用正交匹配追踪算法求解式(30)，得aij的第η次迭代解ai,jW ; 步骤3:固定αι,，稀疏重建模型化简为步骤4:重复步骤2至步骤3,直到满足|2含0.001为止，此时迭代解即为当 前帖估计； 正则化参数估计方法为，正则化参数λι,^由σ2ι,神的决定，对于σ2ι,^，首先计算前后参 考帖ft-i与ft+i沿着光流轨迹的亮度值绝对差值如下： di, j = I f t-i (s+vt, t-i(i, j))-f t+i(s+vt, t+i (i , j)) 其中s代表内插帖ft在位置(i，j)处的像素坐标，利用上式估计苗日下：由数值分析结果分别设定a、b取值为0.75、3.5，对于1121,^，在求解稀疏重建模型的每次 迭代中进行更新，首先利用第η次迭代的稀疏表示系数αι,/η?计算图像子块估计如下：接着，利用图像子块估计的样本方差估计如下字典学习方法为，首先，逐像素抽取前后参考帖ft-i与ft+i内图像子块组成训练集合S， 接着，提取S内任意样本梯度值作为特征，利用K-mean算法根据特征将S划分为3个聚类{Si， &，53}，计算聚类类内所有样本均值，的聚类中屯、山1，02,03}，最后，利用主成份分析算法计 算各聚类的主成份，并组成对应于3个聚类的正交变换矩阵{Pl，P2，P3}，在求解稀疏重建模 型的每次迭代中，利用图像子块xi,j的第n-1次迭代选择学习字典如下：
【文档编号】H04N19/176GK105847804SQ201610335408
【公开日】2016年8月10日
【申请日】2016年5月18日
【发明人】李然, 郭华平, 董喜双, 刘宏兵
【申请人】信阳师范学院