一种视频中污损区域的填充方法与流程

本发明属于多媒体信息
技术领域：
，尤其涉及一种视频中污损区域的填充方法。
背景技术：
：常见的视频污损一般是由信息插入造成的，较为常见的是在视频中插入版权方的信息。图1所示为从视频中截取的一帧，从图中可以看出，在该视频中包含3处插入信息，即三处污损，分别为：左上角为“CCTV6”(中央电视台第6套电影频道的台标)、右上角为“CNTV高清”(中国网络电视台高清频道的台标)以及右下角为“电影频道”的M形台标。目前，解决视频污损的方法有很多，如，对台标区域进行模糊或马赛克填充，该方法虽然使用户无法看清原来的台标，但是大大降低了视频的观赏价值。又如，采用图片纹理合成的方法逐帧进行修复，在该方法中首先对待填充区域附近的图片进行采样，获取待填充区域附近的纹理信息，然后计算合成待填充区域的纹理图片，但是其只能在待填充区域产生表示纹理的像素，无法保持延伸物体边缘结构；且该方法未考虑视频帧与帧之间的相关性，修复后的视频在被填充区域有明显的闪烁，给观众带来不适。再有，利用视频帧之间的相关性对图片进行全局或局部的像素块运动估计，然后用前若干帧或后若干帧的像素块来填充当前帧的待填充区域。但是，一般来说，视频中某一固定场景可能持续若干秒时间，假若某一固定场景结束后又进入下一个固定场景，则使用该方法难以得到满意的修复结果，可见，该运动估计补偿方法在很多情况下并不适用。技术实现要素：针对上述问题，本发明旨在提供一种视频中污损区域的填充方法，有效解决了现有填充方法填充完成后污损区域出现的闪烁现象。本发明提供的技术方案如下：一种视频中污损区域的填充方法，包括：S1计算得到视频一图片帧中未知区域和已知区域之间所有边界点的填充优先级；S2以填充优先级最高的点为中心得到第一视频块，并在视频已知区域中找到与所述第一视频块相似度最高的第二视频块；S3基于第二视频块对第一视频块进行填充；S4更新视频图片帧中所有未知区域和已知区域的边界点；S5重复步骤S1～S4直到视频中所有图片帧中的未知区域填充完毕。在本技术方案中，我们知道视频是由图片帧组成的，上述未知区域即为图片帧中的污损区域，也称待填充区域。从以上技术方案可以看出，在填充过程中充分考虑了视频中帧与帧之间的相似性和连贯性，有效解决了现有填充方法填充完成后污损区域出现的闪烁现象。进一步优选地，在步骤S1中具体包括：S11初始化视频中任意一点p的自信度C(p)；S12计算视频中已知区域和未知区域所有边界点的自信度C(p)；S13计算视频中已知区域和未知区域所有边界点的边界辐照强度D(p)；S14基于步骤S12中边界点的自信度C(p)和步骤S13中边界点的边界辐照强度D(p)计算得到边界点的填充优先级P(p)。进一步优选地，所述填充方法中包括：在步骤S11中具体包括：若p点属于视频中已知区域，则C(p)＝1；若p点属于视频中未知区域，则C(p)＝0；在步骤S12中具体包括：使用公式(1)计算视频中已知区域和未知区域所有边界点的自信度C(p)：C(p)=Σq∈Γp∩(V-Ωv)C(q)|Γp|---(1)]]>其中，|Γp|表示视频块Γp的体积，Γp表示以点p为中心的视频块，(V-Ωv)表示视频中所有图片帧中已知区域，V表示视频，Ωv表示视频中所有图片帧中未知区域，q表示以点p为中心的视频块中已知像素的点。进一步优选地，在步骤S13中具体包括：S131使用公式(2)计算视频中已知区域和未知区域边界点中任意一点p的等辐照矢量▿Ip⊥=(-∂Sf∂y,∂Sf∂x)/K---(2)]]>其中，Sf表示视频中第f帧图片，且点p位于该第f帧图片中；K表示视频编码的灰度值；S132使用公式(3)计算视频中已知区域和未知区域边界点中任意一点p的边界法向量np并对其进行归一化为单位向量得到n'p：np=(∂Mf∂x,∂Mf∂y)---(3)]]>其中，Mf为一与图片帧Sf大小相同的二维二值矩阵，且在该二维二值矩阵中已知区域用0表示，未知区域用1表示；S133使用公式(4)计算边界辐照强度D(p)：D(p)=Innerproduct(▿Ip⊥,np′)---(4)]]>其中，Innerproduct表示等辐照矢量和边界法向单位向量n'p的内积。进一步优选地，在步骤S14中具体包括：P(p)＝C(p)·D(p)。进一步优选地，在步骤S2中具体包括：S21得到步骤S1中填充优先级最高的点p，并以点p为中心得到第一视频块Γp；S22使用λp标记第一视频块Γp中位于已知区域内的已知像素点；S23在视频的已知区域内使用公式(5)找到与第一视频块Γp中已知像素点λp欧氏距离最小的第二视频块Bb；similar=Σ(Γp-Bb)2λp---(5).]]>进一步优选地，在步骤S3中具体包括：使用第二视频块Bb中对应第一视频块Γp中未知区域的像素值对第一视频块Γp中未知区域进行填充。本发明提供的视频中污损区域的填充方法，其有益效果在于：在本发明提供的填充方法中，综合使用了图片修复技术，充分考虑了视频中帧与帧(组成视频的各图片帧)之间的相似性和连贯性；由于帧与帧之间具有微小的差别，在相邻帧中所填充的内容也满足相似性和连贯性，同时保留了帧与帧之间的微小差别，以此保证了填充后视频在播放时用户不会观察到填充区域(即上述未知区域)的边界，也消除了填充区域在填充后出现的闪烁现象。再有，使用本发明提供的填充方法填充出来的每一帧图像的污损区域(未知区域)内容自然，不易被人眼察觉，适于观赏，大大提高了视频的修复效果。附图说明图1为有污损区域的视频中某一图片帧的示意图；图2为本发明中视频中待填充区域形成柱形空洞示意图；图3为本发明中视频中污损区域的填充方法的流程示意图。具体实施方式下面结合附图和具体实施方式，对本发明作进一步详细说明。需要说明的是，下面描述的本发明的特定细节仅为说明本发明用，并不构成对本发明的限制。根据所描述的本发明的教导做出的任何修改和变型也在本发明的范围内。我们知道，视频是由图像帧组成的，在本发明中，我们假定每一图片帧中的污损区域(未知区域)在视频帧中的相对位置是固定的(如，视频中的台标位置都是固定的)，假定每个图片帧中的污损区域都为圆形，则在视频中所有图片帧中的污损区域就形成了一个待填充的柱状空洞，如图2所示，其中白色圆形区域即为污损的待填充区域，视频填充即通过计算得到该待填充区域的像素值进行填充，使得填充后的视频看起来自然流畅。在一视频中，记视频的第f帧图片为Sf，该图片帧中的已知区域记为Φf，未知区域记为Ωf，未知区域的边界记为δΩf。若该视频中共有N帧，则视频记为V＝{Sf,f＝1,...,N}，该视频中所有已知区域记为Φv＝{Φf,f＝1,...,N}，视频中所有未知区域记为Ωv＝{Ωf,f＝1,...,N}，视频中所有未知区域边界记为δΩv＝{δΩf,f＝1,...,N}。另外，假若点p为第f帧图片的一个像素点，该像素点的坐标为(x,y,f)。在该图片帧中以点p为中心的一个正方形领域内的图像块记为Ψp，以点p为中心的一个正方体领域内的视频块记为Γp＝{Ψ(x,y,f-Δf),...,Ψ(x,y,f),...,Ψ(x,y,f+Δf)}。n'p为点p的边界法向单位向量，长度为1，具体，若点p不在未知区域的边界记为δΩf上，则n'p＝0。基于此，以下我们对本发明提供的视频中污损区域的填充方法做出详细描述：如图3所示为本发明提供的视频中污损区域的填充方法的流程示意图，从图中可以看出，在该填充方法中包括：S1计算得到视频一图片帧中未知区域和已知区域之间所有边界点的填充优先级；S2以填充优先级最高的点为中心得到第一视频块，并在视频已知区域中找到与第一视频块相似度最高的第二视频块；S3基于第二视频块对第一视频块进行填充；S4更新视频中未知区域和已知区域的所有边界点；S5重复步骤S1～S4直到视频中所有图片帧中的未知区域填充完毕。具体来说，在步骤S1中具体包括：S11初始化视频中任意一点p(p∈V)的自信度C(p)。具体，若p点属于视频中已知区域，即p∈V-Ωv，则C(p)＝1；若p点属于视频中未知区域，即p∈Ωv，则C(p)＝0。S12计算视频中已知区域和未知区域所有边界点(p∈δΩv)的自信度C(p)。该计算过程具体包括：使用公式(1)计算图片帧中已知区域和未知区域所有边界点的自信度C(p)：C(p)=Σq∈Γp∩(V-Ωv)C(q)|Γp|---(1)]]>其中，|Γp|表示视频块Γp的体积(具体为该视频块Γp中包含的像素点的个数)，Γp表示以点p为中心的视频块，(V-Ωv)表示视频中所有图片帧中已知区域，V表示视频，Ωv表示视频中所有图片帧中未知区域，q表示以点p为中心的视频块中已知像素的点。由公式(1)可知，点p的自信度等于以该点为中心的一个小邻域的视频块Γp内所有已知像素点的自信度的和除以该视频块的体积|Γp|。S13计算视频中已知区域和未知区域所有边界点的边界辐照强度D(p)。具体来说，该计算过程中包括：S131使用公式(2)计算视频已知区域和未知区域边界点中任意一点p(p∈δΩv)的等辐照矢量▿Ip⊥=(-∂Sf∂y,∂Sf∂x)/K---(2)]]>其中，Sf表示视频中第f帧图片，且点p位于该第f帧图片中；K表示视频编码的灰度值。具体在该步骤中，取p点所在的图片帧Sf，分别求图片帧Sf在x和y方向上的偏导和在一个具体实施例，若该视频采用8bit编码时，则K取值255，以此类推。另外，这里我们对K的取值不做限定，只要K≥1即可。S132使用公式(3)计算视频已知区域和未知区域边界点中任意一点p(p∈δΩv)的边界法向量np并对其进行归一化为单位向量得到n'p：np=(∂Mf∂x,∂Mf∂y)---(3)]]>其中，Mf为一与图片帧Sf大小相同的二维二值矩阵，且在该二维二值矩阵中已知区域用0表示，未知区域用1表示。具体在该步骤中，取p点所在的图片帧Sf，并初始化一与图片帧Sf大小相同的二维二值矩阵Mf，若p∈Ωf则Mf(p)＝1，否则Mf(p)＝0。之后分别求二维二值矩阵Mf在x和y方向上的偏导得到边界法向量随后将其进行归一化得到单位向量n'p。S133使用公式(4)计算边界辐照强度D(p)：D(p)=Innerproduct(▿Ip⊥,np′)---(4)]]>其中，Innerproduct表示等辐照矢量和边界法向单位向量n'p的内积。S14基于步骤S12中边界点的自信度C(p)和步骤S13中边界点的边界辐照强度D(p)计算得到边界点的填充优先级P(p)，具体该填充优先级P(p)＝C(p)·D(p)。在步骤S2中具体包括：S21得到步骤S1中填充优先级最高的点p，并以点p为中心得到正方体领域内的第一视频块Γp；S22使用λp标记第一视频块Γp中位于已知区域内的已知像素点；S23在视频的已知区域(V-Ωv)内使用公式(5)找到与第一视频块Γp中已知像素点λp欧氏距离最小的第二视频块Bb；similar=Σ(Γp-Bb)2λp---(5).]]>其中，b表示第二视频块Bb的中心点。在步骤S3中具体包括：使用第二视频块Bb中对应第一视频块Γp中未知区域的像素值对第一视频块Γp中未知区域进行填充。之后，在步骤S4中，参照步骤S11的方法更新在步骤S3填充之后的视频中各像素点的自信度，与此同时更新视频中所有的边界点的集合，并以此重复步骤S1～S4直到视频帧中所有的区域都填充完毕。以上通过分别描述每个过程的实施场景案例，详细描述了本发明，本领域的技术人员应能理解。当前第1页1 2 3