本发明属于视频处理
技术领域：
，涉及视频的帧率上转换方法，可用于提升紫外极光视频的时间分辨率。
背景技术：
：极光是来自磁层的高能粒子沉降到高层大气并与中性成分碰撞激发的一种大气发光现象，它主要出现在以地磁极为中心的环带状区域内，该区域又叫极光卵。极光卵的赤道向边界和极向边界是重要的地球物理参数，其与太阳风、地磁活动有着密切的关系。而且极光卵的边界随着地磁活动而变化，对其研究有助于进一步了解日地耦合过程，认知空间气候变化规律。此外，极光发生时辐射出的某些无线电波，会对地球上的无线电通信、导航、定位以及线路传输等造成很大的影响，然而极光发生时，在地球大气层中会爆发出巨大的能量，这些能量几乎可以达到全世界各国发电厂所产生的电容量总和。因此，对极光进行深入的研究是非常重要的。但是目前对紫外极光的研究还只局限于单帧图像的研究，而基于单幅图像的研究只考虑了图像的空间信息，却忽略了图像的时间信息，此外，单幅图像的研究相当耗时。因此，对极光视频进行处理，必将成为今后研究紫外极光的一种新趋势。但由于Polar卫星携带的紫外成像仪拍摄极光图像时，时间间隔较长，大约为3min左右，使得我们的极光视频的时间分辨率较低，从而丢失一些时域上的信息。为了提升极光视频的时间分辨率，有必要对极光视频进行帧率上转换，即在原始极光序列中插入一些新的图像帧。现有的视频帧率上转换算法可以大致分为两类。第一类算法不考虑目标的运动，而是直接利用前后帧的各种组合内插出中间帧，如帧重复算法和时域线性/非线性插帧法。这些方法在视频中的场景无运动时可以得到较好的效果，但在场景运动较大的情况下，插值效果很差，容易产生运动突变现象和运动物体边缘模糊现象。第二类算法使用运动信息进行插值，将运动估计与内插滤波器设计紧密结合，如Lee等人提出的加权自适应补偿插值算法，Hilmank.等人提出的基于重叠块的运动补偿插值算法OBMC，VinhT.Q.等人提出的利用时空运动矢量平滑和背景/前景联合进行运动估计相结合的视频帧率上转换算法，LeeW.H.等人提出的基于图像融合的帧率上转换算法。这些算法在一定程度上克服了第一类方法的缺点，但这些算法大多假设视频中的物体呈匀速线性运动，即刚体运动，不适用于极光视频帧率上转换，即极光视频的插帧。此外，这些算法在运动估计的时候采用基于块匹配的方法，使得最后得到的插帧图像块效应较为严重。为了消除块效应，Shahram等人于2015年提出了基于块重建和光流的帧率上转换方法BROP，该方法很好地解决了块效应问题，但这个方法由于使用光流法来估计运动场，因而依然不适用于非刚体的极光视频的帧率上转换。技术实现要素：本发明的目的在于针对上述现有技术的不足，提出一种基于格子玻尔兹曼的极光视频帧率上转换方法，以提升非刚体运动的极光视频的时间分辨率。实现本发明目的技术思路是：利用格子玻尔兹曼模型LBM来模拟极光视频中相邻两帧图像的粒子动态变化过程，以得到两帧图像的粒子位移场，根据得到的粒子位移场使两帧图像的像素进行迁移，得到插值图像，以对极光视频的帧率进行上转换。其实现步骤如下：(1)从Polar卫星携带的紫外极光成像仪所拍摄的视频图像中，选取形态相似且时间上连续的紫外极光图像构成极光视频I＝{I1,I2,...,Im,...,Ik}，其中，Im为极光视频中第m个图像，m＝1,2,...,k，k为极光视频中图像的个数；(2)对极光视频I依次进行负值点清零、亮斑平滑、掩膜及去噪的预处理，得到预处理后的极光视频S＝{S1,S2,...,Sm,...,Sk}，其中，Sm为预处理后极光视频中第m个图像；(3)选取预处理后极光视频S中的相邻两帧图像Si和Si+1，并计算两者之间的灰度差F＝Si-Si+1，其中i＝1,2,...,k-1；(4)将Si和Si+1的每个像素看作流体粒子，根据灰度差F计算驱动Si的粒子向Si+1流动的外力G；(5)利用格子玻尔兹曼模型LBM模拟在外力G驱动下Si的粒子向Si+1流动的动态过程，并通过迭代计算Si的粒子向Si+1流动的粒子位移场；(6)当Si的粒子向Si+1流动的粒子位移场不再变化时，记下此时的迭代次数n；(7)取作为新的迭代次数，重新计算Si的粒子向Si+1流动的粒子位移场，并使Si的粒子按照重新计算后的粒子位移场迁移，得到对Si进行粒子迁移后的新图像Ci；(8)取作为迭代次数，计算Si+1的粒子向Si流动的粒子位移场，并使Si+1的粒子按照粒子位移场迁移，得到对Si+1进行粒子迁移后的新图像Ci+1；(9)将步骤(7)中得到的Ci和步骤(8)中得到的Ci+1按照下列公式融合得到位于Si和Si+1之间的插值帧：本发明具有如下优点：1.本发明利用格子玻尔兹曼模型来模拟极光粒子的动态变化过程，通过迭代计算极光视频相邻帧的粒子位移场，并根据粒子位移场得到插值图像，从而实现了极光视频的帧率进行上转换，克服了以往方法由于只能求刚体运动视频的运动场，而不适用于极光视频帧率上转换的缺点；2.本发明首次同时利用紫外极光的空间信息和时间信息，在紫外极光视频上进行研究，克服了以往对紫外极光的研究由于只是利用紫外极光的空间信息，而只能对单帧图像的进行处理的局限；3.本发明的极光视频帧率上转换方法计算简单、运算量小且具有很高的可并行性。附图说明图1是本发明的实现流程图；图2是本发明实验中待处理的极光视频中的相邻两帧；图3是本发明实验中对待处理极光视频中的相邻两帧紫外极光图像预处理后的结果；图4是现有离散格子玻尔兹曼模型中二维九方向元胞结构的空间示意图；图5是用本发明计算图2中相邻两帧的粒子位移场的实验结果；图6是用现有OBMC方法计算图2中相邻两帧的运动场的实验结果；图7是用现有BROP方法计算图2中相邻两帧的运动场的实验结果；图8是用本发明对图2中相邻两帧进行插帧的实验结果；图9是用现有OBMC方法对图2中相邻两帧进行插帧的实验结果；图10是用现有BROP方法算法对图2中相邻两帧进行插帧的实验结果。具体实施方式以下结合附图对本发明的内容和效果进行进一步描述。参照图1，本实例的具体实现步骤如下：步骤1:构建极光视频I＝{I1,I2,...,Im,...,Ik}。Polar卫星在离地面约840公里的轨道运行，它的轨道通过地球的南北两极，Polar卫星上携带的紫外成像仪随着Polar卫星的运转拍摄出不同时刻的海量的紫外极光图像，本实例从紫外成像仪所拍摄的紫外极光图像中，选取形态相似且时间上连续的紫外极光图像，并按时间先后顺序排列到一起构成极光视频I＝{I1,I2,...,Im,...,Ik}，其中，Im为极光视频中第m个图像，m＝1,2,...,k，k为极光视频中图像的个数。步骤2：对极光视频I依次进行预处理。(2a)负值点清零：由于紫外极光成像仪在拍摄过程中会受到自身条件的一些干扰，导致拍摄出的紫外极光图像的某些像素点的灰度值可能呈现负值，这些像素点会给后续研究带来一定的影响，因此，在研究紫外极光图像时需要对其进行负值点清零操作。其具体方法是找到极光视频中第m个图像Im中灰度值小于0的像素，并将这些像素的灰度值重新赋值为0，得到新的图像Qm，m＝1,2,...,k；(2b)亮斑平滑：由于紫外极光成像仪的拍摄过程中也会受到地面的山脉以及森林等的干扰，导致拍摄出的紫外极光图像会出现一些过亮的小区域，称之为亮斑，由于这些亮斑不是极光真正的成分，所以对进行极光的分析也会造成干扰，因此，对这些亮斑进行平滑是必要的。其具体方法是：先求出图像Qm的灰度均值μ及灰度标准差σ，找出图像Qm中灰度值大于阈值Th＝μ+3σ的像素点构成的连通区域，这个连通区域就是亮斑，用μ来代替亮斑中像素的灰度值，得到平滑图像Pm；(2c)掩膜：由于紫外极光图像中有很多冗余的像素点，在研究紫外极光图像时为了消除这些像素点的影响，重点突出图像中有效的像素点，用长半轴为114，短半轴为100的椭圆去截取图像Pm，即将图像Pm位于椭圆内的像素灰度值保留，将图像Pm位于椭圆外的像素灰度值置0，得到掩膜后的图像Ym；(2d)去噪：由于紫外极光图像噪声较强，导致其对比度较低，不利于研究，所以要对紫外极光图像进行去噪，其具体方法是：(2d1)用形态学成分分析法MCA将图像Ym分解成目标形态学子层YmO*和背景形态学子层YmB*，即Ym＝YmO*+YmB*，将目标形态学子层YmO*用1范数进行稀疏得到YmO*对应的稀疏表示字典ΨO；(2d2)将Ym的目标形态学子层YmO*和背景形态学子层YmB*作为变量，求解如下MCA最优化问题：min||ΨOTYmO*||1+||ΨBTYmB*||1,s.t.Ym＝YmO*+YmB*,其中T表示转置，通过求解上式得到Ym的目标形态学子层YmO*的最优表达YmO和背景形态学子层YmB*的最优表达YmB；(2d3)将YmO作为Ym的极光卵形态学子层，将YmB作为噪声形态学子层，去掉噪声形态学子层YmB，将极光卵形态学子层输出，得到Ym去噪后的图像Sm，最终得到预处理后的极光视频为S＝{S1,S2,...,Sm,...,Sk}。步骤3：计算预处理后极光视频S中的相邻两帧图像之间的灰度差。从预处理后极光视频S中选取两帧相邻的图像Si和Si+1，其中，Si为极光视频中第i帧图像，Si+1为极光视频中第i+1帧图像，如图3所示；根据下列公式计算Si和Si+1之间的灰度差：F＝Si-Si+1。步骤4：根据灰度差F计算驱动Si的粒子向Si+1流动的外力G。Si的粒子向Si+1流动的外力可由Si到Si+1的距离与Si的粒子移动速度加权相乘得到，其中，Si到Si+1的距离就是在步骤三求得的Si和Si+1之间的灰度差F，而粒子移动的速度根据粒子的移动方向得到：设d为Si和Si+1中粒子的移动方向，规定d＝0时，粒子静止，d＝1,2,...,8时，粒子沿着图4所示的LBM模型中典型的二维九方向元胞结构的八个方向，即第一个方向1、第二个方向2、...、第八个方向8移动，粒子沿着这八个方向移动的速度为：ed=(0,0)d=0(cosθd,sinθd),d=1,2,3,42(cosθd,sinθd),d=5,6,7,8]]>其中，d＝1,2,3,4时，d＝5,6,7,8时，根据Si中粒子的移动速度计算驱动Si的粒子向Si+1流动的外力G：G=0,d=0ed3×F,d=1,2,3,4ed12×F,d=5,6,7,8.]]>步骤5：计算Si的粒子向Si+1流动的粒子位移场。(5a)构建外力G驱动下Si的粒子向Si+1流动的动态过程的LBM演化方程：令为Si上粒子所在的位置，为t时刻Si上处沿方向d移动的粒子密度分布函数，为t时刻Si上处粒子平衡分布函数，即粒子密度达到平衡时的数值，Δt和Δh分别为时间步长和空间步长，ξ为松弛时间，即元胞内粒子密度趋于平衡态时所用的时间，则在外力G驱动下Si的粒子向Si+1流动的动态过程的LBM演化方程为：fd(r→+Δh×ed,t+Δt)=fd(r→,t)+1ξ[fd(0)(r→,t)-fd(r→,t)]+G;]]>(5b)为了通过迭代求解(5a)中的LBM演化方程，需要给定和的初始值，fd(r→,0)=fd(0)(r→,0)=R×ρ(r→,0)9,d≠01-8R×ρ(r→,0)9,d=0]]>其中，为初始状态时Si上处的粒子密度，R为可调参数，R∈[0,1]；(5c)通过迭代，求解(5a)中的LBM演化方程，直至粒子平衡分布函数不在变化为止，求得Si的粒子向Si+1流动的粒子位移场V→i,i+1(r→,t)=∫t(u→(r→,t)-▿V→i,i+1(r→,t)u→(r→,t))dt]]>其中，u→(r→,t)=Σdedfd(0)(r→,t)+ΣdedGfd(r→,t).]]>步骤6：分别计算Si和Si+1进行粒子迁移后的新图像Ci和Ci+1。(6a)记下当Si的粒子向Si+1流动的粒子位移场不再变化时的迭代次数n；(6b)求得对Si进行粒子迁移后的新图像Ci：取作为新的迭代次数，按照步骤5的方法重新计算Si的粒子向Si+1流动的粒子位移场，并使Si的粒子按照重新计算后的粒子位移场迁移，得到对Si进行粒子迁移后的新图像Ci。(6c)求得对Si+1进行粒子迁移后的新图像Ci+1：取作为迭代次数，按照步骤5的方法计算Si+1的粒子向Si流动的粒子位移场，并使Si+1的粒子按照粒子位移场迁移，得到对Si+1进行粒子迁移后的新图像Ci+1。步骤7：得到最终的插值帧。将步骤6中得到的Ci和Ci+1进行融合，得到位于Si和Si+1之间的插值帧完成紫外极光视频的帧率上转换。本发明的效果通过以下仿真实验进一步说明：1、实验条件硬件平台：IntelCorei3、2.93GHz、3.45GBRAM；软件平台：Windows7操作系统下的MATLABR2011b；实验数据：本发明所使用的紫外极光视频来自Polar卫星携带的紫外极光成像仪所拍摄的1996年12月的数据，其中每帧图像大小均为228*200。2、实验内容与结果选取Polar卫星携带的紫外极光成像仪在1996年12月7日所拍摄的连续的紫外极光图像构成极光视频进行实验，其中的相邻两帧极光图像如图2所示。仿真1：对如图2中相邻两帧极光图像进行预处理，预处理后的结果如图3所示，从图3可以看出预处理后的图像几乎没有噪声和亮斑，有利于后续处理。仿真2：用本发明求取预处理后相邻两帧图像的粒子位移场。将图3中相邻两帧图像的每个像素都看成粒子，对比图4中格子玻尔兹曼模型元胞空间示意图，每个粒子有9个运动方向，根据步骤5计算粒子沿9个方向的位移，得到的相邻两帧图像的粒子位移场如图5所示，其中，图5(a)和5(b)分别为粒子位移场的两种表现形式。从图5可以看出，相邻两帧图像的运动粒子主要分布在紫外极光图像的边缘和极光卵区域，这与实际理论是相符合的，说明本发明能成功的计算非刚体运动视频的运动场。仿真3：用现有基于重叠块的运动补偿插帧OBMC方法计算的图3中相邻两帧图像的运动场如图6所示。从图6可以看出现有的基于重叠块的运动补偿插帧OBMC方法只计算了单向运动场，即第i帧到第i+1帧的运动场，且相邻两帧图像的运动粒子分布在整幅极光图像上，而不是极光卵区域，这不符合实际理论：紫外极光图像的运动粒子主要集中在极光卵区域。说明OBMC方法不能准确的得到非刚体运动视频的运动场。仿真4：用现有基于重叠块的运动补偿插帧BROP方法计算的图3中相邻两帧图像的运动场如图7所示，其中，图7(a)和7(b)分别为运动场的两种表现形式。从图7可以看出相邻两帧图像的运动粒子也分布在整幅极光图像上，这不符合实际理论，说明BROP方法也不能准确的得到非刚体运动视频的运动场。仿真5：用本发明对预处理后相邻两帧图像进行插值，得到的相邻两帧图像的插值帧，如图8所示。从图8可以看出，本发明得到的插值图像几乎不存在失真，且得出的插帧图像的灰度也介于相邻两帧图像之间，说明本发明能较好的实现紫外极光视频的帧率上转换。仿真6：用现有OBMC方法对预处理后相邻两帧图像进行插值，得到的相邻两帧图像的插值帧，如图9所示。从图9可以看出，现有OBMC方法得到的插值图像存在明显的块效应，且在边缘处存在失真，说明OBMC方法不适合对紫外极光视频进行帧率上转换。仿真7：用现有BROP方法对预处理后相邻两帧图像进行插值，得到相邻两帧图像的插值帧，如图10所示。从图10可以看出，现有BROP方法得到的插值图像失真较为严重，说明OBMC方法也不适合对紫外极光视频进行帧率上转换。综上，本发明能较好的实现非刚体运动的紫外极光视频的帧率上转换，而现有技术由于不能准确地计算相邻两帧图像的运动场，所以不适合对紫外极光视频进行帧率上转换。当前第1页1 2 3