一种自适应视频反交错算法及其装置制造方法
【专利摘要】一种自适应视频反交错方法及装置，首先对于每一个需要播放或编码的视频，根据视频每一帧的内容，分析出该帧是否有交错锯齿，在有交错锯齿时，将画面划分为一些相互重叠的小块，通过检测这些小块的前后帧间像素以及帧内隔行像素的差值来检测该小块的交错锯齿情况，检测出交错锯齿后，再应用反交错的插值算法，去除交错锯齿，改善画质。本发明使得视频反交错处理智能化，在交错锯齿被去除的同时，基本没有可觉察的画质下降，改善了隔行采集设备所产生的交织锯齿视频在逐行显示设备，比如电脑，手机等设备，上观看视频的画质，提升了用户体验。
【专利说明】一种自适应视频反交错算法及其装置
【技术领域】
[0001]本发明涉及视频交错锯齿处理领域，特别的，本发明涉及一种自适应视频反交错算法及其装置。
【背景技术】
[0002]当前很多采集与摄像设备拍摄的视频都还是隔行扫描的，这些隔行扫描的视频，在逐行扫描显示设备上(比如电脑显示器或是移动设备屏幕)显示时，会由于采集和显示的扫描方式不同，而在显示画面上产生令人不悦的锯齿。如何有效的去除画面中的锯齿，而尽量减少对画面清晰度的影响，是视频处理领域一项重要的技术。
[0003]现有技术主要有三种方式去除视频交错锯齿。
[0004]第一种方法不分析视频内容，而采用统一的插值方法，用视频一帧内两场的信息，来得到新的一帧的画面，该类方法一般能较好的处理掉交错锯齿，但是也会使视频清晰度变差，画面模糊，细节丢失。
[0005]第二种方法是基于运动检测的方法，主要是通过将视频帧的信息通过算法划分为运动部分和非运动部分，然后对运动部分采用和第一种类似的插值算法，非运动部分不做处理，该类算法，对非运动画面区域很好的保留了细节，对运动部分则去除了锯齿，总体上好于第一类算法；但该类算法也存在两个问题，第一，容易将运动但是没有锯齿的部分视频做了去交错，导致画质下降；第二，有些边缘较小的锯齿被划归了静态区域，没有做去交错的插值，导致锯齿去除不干净。
[0006]第三类方法主要是运动补偿方法，该方法的也能较好的去除交错锯齿，对画质的影响也比第一类要好；但是目前也存在一些问题，主要也有两方面，首先是计算量太大，其次就是有时候运动估计算法不够好，会导致画面走样。
[0007]因此，现有技术中对于视频锯齿的处理算法，主要有这几方面的问题:1.在一个视频中不能逐帧检测每一帧是否需要做反交错，导致一些不需要做反交错的画面帧也做了处理，而引起该帧一些细节被去除，画质下降；2.在做反交错时，没有将整个视频帧画面划分为有交错锯齿和无交错锯齿的部分而对整幅画面帧做反交错，这也导致没有交错锯齿部分的画面细节丢失，画质下降；3.有些算法虽然也对画面中的有交错锯齿部分和无交错锯齿部分进行了算法区分，但是所用方法的各种原因，也容易导致一些交错锯齿的漏检和错检。
[0008]因此，现有技术中的上述问题成为亟需解决的技术问题。
【发明内容】
[0009]本发明的目的在于提出一种自适应的视频反交错方法及其装置，使得视频反交错处理智能化，在交错锯齿被去除的同时，基本没有可觉察的画质下降。
[0010]为达此目的，本发明采用以下技术方案:
一种自适应视频反交错方法，包括如下步骤:帧数据缓存步骤:缓存视频须处理的当前帧的帧数据，如果当前帧不是视频的首帧，还缓存前一帧的帧数据，进入帧交错锯齿检测步骤；
帧交错锯齿检测步骤:利用交错锯齿检测算法检测当前帧的帧内容是否有交错锯齿，如果存在交错锯齿，则进入帧像素小块分割步骤，如果不存在交错锯齿，则保留该帧，进入帧输出步骤；
帧像素小块分割步骤:将当前帧分割为互不重叠的8x8像素小块，进入首帧判断步骤；首帧判断步骤:判断当前帧是否为首帧，如果是，则进入运动像素小块检测步骤，如果不是，则进入像素小块交错锯齿检测步骤；
运动像素小块检测步骤:将每个像素小块向上下左右方向各扩展4个像素，原来的8x8像素小块变为了相互重叠的16x16像素小块，如果某个方面的扩展像素不在当前的帧的有效范围内，就用帧边界上离这些扩展点最近的像素点来代替，利用当前帧的16x16小块的像素值减去前一帧对应位置的16x16小块像素值，判断像素差的绝对值的和是否超过设定阈值来决定当前8x8像素小块是运动还是静止的，如果超过阈值则是运动的，如果像素小块是运动的，则进入场合并线性混合计算步骤，否则，进入像素小块交错锯齿检测步骤；像素小块交错锯齿检测步骤:利用交错锯齿检测算法检测当前像素小块是否有交错锯齿，如果存在交错锯齿，则进入场合并线性混合计算步骤，如果不存在交错锯齿，则进入最后像素小块判断步骤；
场合并线性混合计算步骤:利用场合并线性混合算法处理当前像素小块，得到新的像素小块，并进入最后像素小块判断步骤；
最后像素小块判断步骤，判断当前的像素小块是否为最后的像素小块，如果是，则进入帧输出步骤，否则，递进到下一个像素小块，并进入首帧判断步骤；
帧输出步骤:将最后得到的帧输出。
[0011]进一步地，所述交错锯齿检测算法为:设当前需要处理的帧的某个8x8像素块的对应位置的像素值分别为Pi，j(i=l~8，j=l~8),它的上面一行对应位置像素值为Pcu(j=l~8),它的底下一行对应位置的像素值为P9，j( j=l~8),对于每一个像素位置利用公式(I)计算Fu (i=l~8，j=l~8)，如果上面一行或底下一行的像素不存在，那么就分别用这个8x8像素块最上面一行或最底下一行的像素点来代替，
【权利要求】
1.一种自适应的视频反交错方法，包括如下步骤: 帧数据缓存步骤:缓存视频须处理的当前帧的帧数据，如果当前帧不是视频的首帧，还缓存前一帧的帧数据，进入帧交错锯齿检测步骤； 帧交错锯齿检测步骤:利用交错锯齿检测算法检测当前帧的帧内容是否有交错锯齿，如果存在交错锯齿，则进入帧像素小块分割步骤，如果不存在交错锯齿，则保留该帧，进入帧输出步骤； 帧像素小块分割步骤:将当前帧分割为互不重叠的8x8像素小块，进入首帧判断步骤；首帧判断步骤:判断当前帧是否为首帧，如果是，则进入运动像素小块检测步骤，如果不是，则进入像素小块交错锯齿检测步骤； 运动像素小块检测步骤:将每个像素小块向上下左右方向各扩展4个像素，原来的8x8像素小块变为了相互重叠的16x16像素小块，如果某个方面的扩展像素不在当前的帧的有效范围内，就用帧边界上离这些扩展点最近的像素点来代替，利用当前帧的16x16小块的像素值减去前一帧对应位置的16x16小块像素值，判断像素差的绝对值的和是否超过设定阈值来决定当前8x8像素小块是运动还是静止的，如果超过阈值则是运动的，如果像素小块是运动的，则进入场合并线性混合计算步骤，否则，进入像素小块交错锯齿检测步骤；像素小块交错锯齿检测步骤:利用交错锯齿检测算法检测当前像素小块是否有交错锯齿，如果存在交错锯齿，则进入场合并线性混合计算步骤，如果不存在交错锯齿，则进入最后像素小块判断步骤； 场合并线性混合计算步骤:利用场合并线性混合算法处理当前像素小块，得到新的像素小块，并进入最后像素小块判断步骤； 最后像素小块判断步骤，判断当前的像素小块是否为最后的像素小块，如果是，则进入帧输出步骤，否则，递进到下一个像素小块，并进入首帧判断步骤； 帧输出步骤:将最后得到的帧输出。
2.根据权利要求1所述的自适应的视频反交错方法，其特征在于: 所述交错锯齿检测算法为:设当前需要处理的帧的某个8x8像素块的对应位置的像素值分别为P^a=I~8，j=l~8)，它的上面一行对应位置像素值为Pcu (j=l~8)，它的底下一行对应位置的像素值为P9」_ (j=l~8)，对于每一个像素位置利用公式(I)计算Fu(i=l~8，j=l~8)，如果上面一行或底下一行的像素不存在，那么就分别用这个8x8像素块最上面一行或最底下一行的像素点来代替，
3.根据权利要求2所述的自适应的视频反交错方法，其特征在于: 当用于一帧是否存在交错锯齿的检测时，σ =16 gamma =24,当用于检测某个8x8像素小块是否存在交错锯齿时，σ =6，gamma =15。
4.根据权利要求1所述的自适应的视频反交错方法，其特征在于: 所述场合并线性混合算法为: 设当前需要处理的帧的某个8x8像素小块的对应位置的像素值分别为Ρυ_α=1~8，j=l~8),它的上面一行对应位置像素值为PcuQ=I~8),它的底下一行对应位置的像素值为P9,」(J=I~8)，利用公式(3)计算新的8x8像素块的插值结果为Q^a=I~8，j=l~8)，
5.根据权利要求1所述的自适应的视频反交错方法，其特征在于: 运动像素小块检测步骤具体为: 设当前需要处理的帧的某个8x8像素块的对应位置的像素值分别为Pu(i=l~8，j=l~8)，它向上下左右4个方向分别扩展4个像素，得到\」(i=l~16，j=l~16)，对于每一个Niij，在视频的前一帧的相同位置的像素值设为
6.一种自适应的视频反交错装置，包括如下单元: 帧数据缓存单元:缓存视频须处理的当前帧的帧数据，如果当前帧不是视频的首帧，还缓存前一帧的帧数据，进入帧交错锯齿检测单元； 帧交错锯齿检测单元:利用交错锯齿检测算法检测当前帧的帧内容是否有交错锯齿，如果存在交错锯齿，则进入帧像素小块分割单元，如果不存在交错锯齿，则保留该帧，进入帧输出单元； 帧像素小块分割单元:将当前帧分割为互不重叠的8x8像素小块，进入首帧判断单元；首帧判断单元:判断当前帧是否为首帧，如果是，则进入运动像素小块检测单元，如果不是，则进入像素小块交错锯齿检测单元； 运动像素小块检测单元:将每个像素小块向上下左右方向各扩展4个像素，原来的8x8像素小块变为了相互重叠的16x16像素小块，如果某个方面的扩展像素不在当前的帧的有效范围内，就用帧边界上离这些扩展点最近的像素点来代替，利用当前帧的16x16小块的像素值减去前一帧对应位置的16x16小块像素值，判断像素差的绝对值的和是否超过设定阈值来决定当前8x8像素小块是运动还是静止的，如果超过阈值则是运动的，如果像素小块是运动的，则进入场合并线性混合计算单元，否则，进入像素小块交错锯齿检测单元；像素小块交错锯齿检测单元:利用交错锯齿检测算法检测当前像素小块是否有交错锯齿，如果存在交错锯齿，则进入场合并线性混合计算单元，如果不存在交错锯齿，则进入最后像素小块判断单元； 场合并线性混合计算单元:利用场合并线性混合算法处理当前像素小块，得到新的像素小块，并进入最后像素小块判断单元； 最后像素小块判断单元，判断当前的像素小块是否为最后的像素小块，如果是，则进入帧输出单元，否则，递进到下一个像素小块，并进入首帧判断单元； 帧输出单元:将最后得到的帧输出。
7.根据权利要求6所述的自适应的视频反交错装置，其特征在于: 所述交错锯齿检测算法为:设当前需要处理的帧的某个8x8像素块的对应位置的像素值分别为P^a=I~8，j=l~8)，它的上面一行对应位置像素值为Pcu (j=l~8)，它的底下一行对应位置的像素值为P9」_ (j=l~8)，对于每一个像素位置利用公式(I)计算Fu(i=l~8，j=l~8)，如果上面一行或底下一行的像素不存在，那么就分别用这个8x8像素块最上面一行或最底下一行的像素点来代替，
8.根据权利要求7所述的其特征在于: 在交错锯齿检测算法中，当用于一帧是否存在交错锯齿的检测时，ι =16，gamma =24，当用于检测某个8x8像素小块是否存在交错锯齿时，^ =b,r =15。
9.根据权利要求6所述的自适应的视频反交错装置，其特征在于: 所述场合并线性混合算法为:设当前需要处理的帧的某个8x8像素小块的对应位置的像素值分别为P^a=I~8，j=l~8)，它的上面一行对应位置像素值为Pcu (j=l~8)，它的底下一行对应位置的像素值为Ρ9，」(j=l~8)，利用公式(3)计算新的8x8像素块的插值结果为QiJi=I~8，j=l~8)， Qi；J= (Pi^ljj+2*Pi； j+Pi+1； J+2) /4, SSW i=l ~8，j=l ~8公式(3)， 如果上面一行或底下一行的像素不存在，那么就分别用这个8x8像素小块最上面一行或最底下一行的像素点来代替。
10.根据权利要求6所述的自适应的视频反交错装置，其特征在于:运动像素小块检测单元具体为:设当前需要处理的帧的某个8x8像素块的对应位置的像素值分别为Ρυ_α=1~.8，j=l~8)，它向上下左右4个方向分别扩展4个像素，得到Ni;j (i=l~16，j=l~.16)，对于每一个，在视频的前一帧的相同位置的像素值设为Ar' ,，最后通过
【文档编号】H04N7/01GK103763501SQ201410015813
【公开日】2014年4月30日 申请日期:2014年1月14日 优先权日:2014年1月14日
【发明者】焦华龙, 姚键, 潘柏宇, 卢述奇 申请人:合一网络技术(北京)有限公司