专利名称：面向场景切换的多描述视频编码方法
技术领域：
本发明涉及视频编码，更具体地，涉及面向场景切换的多描述视频编码方法。
背景技术：
随着INTERNET和个人无线通信设备的普及和推广，在分组交换网络和窄带网络 中实时可靠的传输视频已成为必然需求，广泛应用于视频电话、电话会议、远程教学、远程 医疗、广告、娱乐、资料检索等领域。但是，现实中互联网和无线通信网等的网络信道并不十 分可靠。互联网中存在信道干扰、网络拥塞和路由选择延迟等问题，将导致数据错误及分组 丢失等现象；而无线通信网络信道的随机比特错误和连续的突发性差错等问题进一步恶化 了信道状况，导致所传输的视频数据的大量字段失效或彻底丢失。这些问题对于压缩数据 是致命的，因为压缩后的数据一般是由不等长码字构成的码流，如果出现错误或数据分组 丢失，都会引起错误扩散等一系列问题，不但严重影响视频业务的服务质量，甚至会导致整 个视频通信系统完全失效，成为限制网络实时视频技术发展的瓶颈。多描述视频编码就是针对不可靠网络实时视频传输问题而产生的。多描述编码 MDC(Multiple description coding)假设在信源和信宿之间有多个信道，各个信道同时出 错的概率非常低，通过生成多个同等重要、可独立解码的关于编码的描述，从而保证在其中 一些描述丢失的时候，仍可以得到可接受的图像质量，而随着描述的增加，图像质量也随之 提高。由于使用部分的信息就可以重建出一个质量可接受的图像，因此多描述编码在基于 包的网络、无优先保护机制的INTERNET、分集通信系统(多天线的无线信道)、语音编码、图 像编码、视频编码、多分布的存储系统以及低延时的系统中将有着非常重要的应用。与分级 编码相比，它特别适合于不提供优先权的网络视频传送。在本发明的一个发明人的题为“一种基于自适应时域亚采样的多描述视频编解码 方法”的已授权专利号200710119031. 9中，提供了一种基于对视频流中的运动的分析的自 适应视频亚采样的多描述视频编码方法。在本发明的一个发明人的题为“一种基于相关性优化准则的多描述视频编解码方 法及装置”的专利申请200910090803. X中，提供了一种基于相关性优化准则的多描述视频
编码方法。但是上述两种方法皆未考虑对视频帧序列中的场景切换的处理。在视频帧序列中，场景切换常常导致帧间编码的无效，并且可能导致开始一个新 的GOP组。在此情况下，场景切换的起始帧和结束帧就变得至关重要，场景切换的起始帧和结束帧的失真会造成整个GOP组的严重失真甚至不可用。因此，需要一种多描述视频编码方法，其能够充分利用帧间相关性来解决多描述 视频编码中的单路失真问题，尤其是在场景切换中的单路失真问题。
发明内容
一种面向场景切换的多描述视频编码方法，包括以下步骤对待传输的视频帧序 列进行预处理；依据可使用的信道数量η(其中，n > 2)，将经过预处理的视频帧序列中的各 个帧进行模η时间采样，从而分解得到η个视频帧子序列；将所述η个视频帧子序列分别输 入至η个标准视频编码器以进行视频编码；将所述η个标准视频编码器的输出在η个可使 用的信道上发送。其中，所述预处理包括以下步骤判断相邻帧之间的运动是否大于第一阈 值，若是，则在所述相邻帧之间插入以内插方法得到的插入帧；判断相邻的多个帧之间的运 动是否小于第二阈值，若是，则移除所述多个帧中的一个或多个帧。其中，所述预处理进一 步包括以下步骤判断所述视频帧序列中发生场景切换的位置，从而确定一个场景的第一 帧和最后一帧；将m(其中m < η)个所述第一帧的副本作为插入帧而插入所述视频帧序列 中所述第一帧的前面或后面；以及将m个所述第二帧的副本作为插入帧而插入所述视频帧 序列的所述第二帧的前面或后面。一种面向场景切换的多描述视频编码系统，包括预处理器，其被配置为对待传输 的视频帧序列进行预处理；模η时间采样器，其被配置为依据可使用的信道数量n(其中， η ^ 2),将经过预处理的视频帧序列中的各个帧进行模η时间采样，从而分解得到η个视频 帧子序列，η个标准视频编码器，其被配置为接收所述η个视频帧子序列，以进行视频编码， 所述η个标准视频编码器的输出分别在η个可使用的信道上进行发送，其中，所述预处理器 被配置为判断多个相邻帧之间的运动是否剧烈，若是，则在所述相邻帧之间插入一个或多 个插入帧；判断多个相邻帧之间的运动是否细微，若是，则移除所述多个相邻帧中的一个或 多个帧，并且其中，所述预处理器被进一步配置为判断所述视频帧序列中发生场景切换的 位置，从而确定一个场景的第一帧和最后一帧；将m(其中m<n)个所述第一帧的副本作为 插入帧而插入所述视频帧序列中所述第一帧的前面或后面，并将m个所述最后一帧的副本 作为插入帧而插入所述视频帧序列的所述第二帧的前面或后面，从而使得有至少2个标准 编码器同时发送相同的第一帧或第二帧。一种面向场景切换的多描述视频编码器，包括预处理单元，其被配置为对待传输 的视频帧序列进行预处理；模η时间采样单元，其被配置为依据可使用的信道数量η (其中， η ^ 2),将经过预处理的视频帧序列中的各个帧进行模η时间采样，从而分解得到η个视频 帧子序列，η个标准视频编码器，其被配置为接收所述η个视频帧子序列，以进行视频编码， 所述η个标准视频编码器的输出分别在η个可使用的信道上进行发送，其中，所述预处理单 元被配置为判断多个相邻帧之间的运动是否剧烈，若是，则在所述相邻帧之间插入一个或 多个插入帧；判断多个相邻帧之间的运动是否细微，若是，则移除所述多个相邻帧中的一个 或多个帧，并且其中，所述预处理单元被进一步配置为判断所述视频帧序列中发生场景切 换的位置，从而确定一个场景的第一帧和最后一帧；将m(其中m<n)个所述第一帧的副本 作为插入帧而插入所述视频帧序列中所述第一帧的前面或后面，并将m个所述最后一帧的 副本作为插入帧而插入所述视频帧序列的所述第二帧的前面或后面，从而使得有至少2个标准编码器同时发送相同的第一帧或第二帧。在另一个方案中，一种计算机程序产品，其包含指令，所述指令在由处理器执行 时，实现如上所述的方法中的各个步骤。
图1是根据本发明的一个编码系统的实施例；图2是根据本发明的实施例，在图1中的预处理单元的流程图；图3是在常规多描述视频编码器与依据本发明的一个实施例的依据对运动的分 析(过大或细微)而插入或删除帧的自适应性视频编码器的性能对比图；以及图4在依据对运动的分析(过大或细微)而插入或删除帧的自适应性视频编码器 的情况下，在存在场景变换处理和不存在场景变换处理的情况下的性能对比图。
具体实施例方式以下结合附图表述了本发明的各个实施例。本领域技术人员应该理解，这些实施 例并非旨在限制本发明的保护范围，而意欲以实例的形式给出能够实现本发明的概念的多 个具体实施例。本发明的保护范围应该以附带的权利要求为准。图1示出了根据一个实施例的编码系统的框图。该编码系统以软件、硬件、固件、 中间件及其任意组合的形式实现在各种发送设备中，所述发送设备例如但不限于计算机、 手机、平板计算机、移动电视等等。在图1中示出了预处理单元。该预处理单元用于实现本发明的各种实施例，并在 以下进行进一步详细论述。模η时间采样单元对经过预处理的视频序列进行模η时间采样。具体而言，针对 视频序列中的每一个帧，按照(帧编号)模η将该帧分配给相应的标准编码器。例如，在一 个实施例中，η = 2，则将偶数帧分配给第一个标准处理器，将奇数帧分配给第二个标准处 理器，并以此类推。模η采样单元的输出是η个视频子序列，在本文中也称为η个“描述”。在一个实施例中，数值η的选择取决于用户的设定。在另一个实施例中，用户主要 根据信道状况、系统总体复杂度、计算负载量中的至少一个来选择相应的η值。在一个实施 例中，η = 2。在一个实施例中，将η个视频子序列分别输入至η个标准编码器。本文所述的标 准编码器可以是现有技术中的任意标准编码器，例如根据H. 26x、MPEG-X、VBR等等标准实 现的编码器。在一个实施例中，本文所述的标准编码器1、2.....η等等可以是相同的标准编码
器，从而实现类似的性能。但是本发明并不局限于此，标准编码器1、2.....η等等可以也采
用不同的编码器，例如从上述视频编码标准中选择的任意多个。对这些标准编码器的选择
取决于对系统的具体设计约束。在一个优选实施例中，依据各个信道1、2.....η的当前信
道状况来选择相应标准编码器1、2.....η所采用的视频编码标准。最后，从标准编码器1、2.....η输出的编码比特流经过后端处理(图中未示出)
后在相应的信道1、2.....η中发送至接收系统(以下论述)。所述后端处理可以是，例如，
信道编码，上变频、复用等等与通信相关的处理或其他处理，并可以由本领域公知的发射机、调制解调器、网卡接口卡等等通信装置来进行。图2是根据本发明的实施例，在图1中的预处理单元的流程图。在图2中，预处理 单元针对输入的视频序列中的多个相邻帧来确定这些相邻帧之间的运动。在步骤Sl中，从输入的视频序列中提取多个相邻帧进行分析。首先，在步骤S2中，计算运动度量。在一个实施例中，运动度量可以宏块运动矢量。在计算得到运动度量之后，在一个实施例中，如果多个相邻帧之间的运动过大 (步骤S3)，则需要通过增加冗余帧(本文中将其称为插入帧)来进行平滑(步骤S4)。插 入帧的获得可以简单地通过在两个相邻帧之间进行内插得到。但在一个优选实施例中，考 虑两个以上的多个相邻帧，并且采用加权平均而考虑其中每一个相邻帧的贡献。进一步而 言，基于保证进入各个标准编码器的帧数相同来选择插入帧的数量。另一方面，如果多个相邻帧之间的运动细微(步骤S5)，则可以通过跳过一个或多 个帧来获得较高的压缩效率(步骤S6)。在一个实施例中，对于任意三个相邻帧k_l，k和k+Ι，计算两帧之间所有宏块的运 动矢量的最大模值Il MV Il m)和Il MV Il (k,k+1)，这里，|似1 =々2+/ ((x,y)为模值最大的 运动矢量)。若IIMVlI <= T1，则帧间运动细微，并且可以跳过一个或多个帧；若IIMVlI > =T2，则帧间运动不稳定，可以通过插入一个或多个内插帧来使此类运动信息平滑。这里， 阈值τ选择所有Il MV Il差值的平均值。在另一个实施例中，对于两个邻近的帧，各个宏块运动矢量通过公式
权利要求
1.一种面向场景切换的多描述视频编码方法，包括以下步骤 对待传输的视频帧序列进行预处理；依据可使用的信道数量η (其中，η ≥ 2)，将经过预处理的视频帧序列中的各个帧进行 模η时间采样，从而分解得到η个视频帧子序列，将所述η个视频帧子序列分别输入至η个标准视频编码器以进行视频编码； 将所述η个标准视频编码器的输出分别在η个可使用的信道上进行发送， 其中，所述预处理包括以下步骤判断多个相邻帧之间的运动是否剧烈，若是，则在所述相邻帧之间插入一个或多个插 入帧；判断多个相邻帧之间的运动是否细微，若是，则移除所述多个相邻帧中的一个或多个帧。
2.如权利要求1所述的视频编码方法，其中，所述预处理进一步包括以下步骤 判断所述视频帧序列中发生场景切换的位置，从而确定一个场景的第一帧和最后一帧；将m(其中m < η)个所述第一帧的副本作为插入帧而插入所述视频帧序列中所述第一 帧的前面或后面，并将m个所述最后一帧的副本作为插入帧而插入所述视频帧序列的所述 第二帧的前面或后面，从而使得有至少2个标准编码器同时发送相同的第一帧或第二帧。
3.如权利要求2所述的视频编码方法，所述判断所述视频帧序列中发生场景切换的位 置的步骤进一步包括计算相邻两帧中对应宏块中的各像素的绝对误差和(SAD)，如果所述SAD大于等于一 阈值，则确定发生了场景切换。
4.如权利要求2所述的视频编码方法，所述预处理进一步包括对视频帧序列中的原始的帧以及所述预处理中的插入帧进行标记，以便在解码时能够 区分并删除插入帧。
5.如权利要求2所述的视频编码方法，其中，m= n-1或m = 2。
6.如权利要求2所述的视频编码方法，其中，控制插入和删除的帧的数量，以使得每个 标准编码器对相同数量的帧进行编码。
7.如权利要求2所述的视频编码方法，所述预处理进一步包括对于两个邻近的帧，宏块运动矢量通过公式IImfII=Vx2+/计算得到最大值，其中(χ， y)是最大尺寸的运动矢量的坐标，从而判断运动是剧烈还是细微。
8.如权利要求2所述的视频编码方法，其中，所述η个标准编码器依据以下标准中的一 个或多个H. 26x、MPEG-X、VBR。
9.一种面向场景切换的多描述视频编码器，包括预处理单元，其被配置为对待传输的视频帧序列进行预处理； 模η时间采样单元，其被配置为依据可使用的信道数量η (其中，η >≥2)，将经过预处理 的视频帧序列中的各个帧进行模η时间采样，从而分解得到η个视频帧子序列，η个标准视频编码器，其被配置为接收所述η个视频帧子序列，以进行视频编码，所述η 个标准视频编码器的输出分别在η个可使用的信道上进行发送，其中，所述预处理单元被配置为判断多个相邻帧之间的运动是否剧烈，若是，则在所述相邻帧之间插入一个或多个插 入帧；判断多个相邻帧之间的运动是否细微，若是，则移除所述多个相邻帧中的一个或多个帧，并且其中，所述预处理单元被进一步配置为判断所述视频帧序列中发生场景切换的位置，从而确定一个场景的第一帧和最后一帧；将m(其中m < η)个所述第一帧的副本作为插入帧而插入所述视频帧序列中所述第一 帧的前面或后面，并将m个所述最后一帧的副本作为插入帧而插入所述视频帧序列的所述 第二帧的前面或后面，从而使得有至少2个标准编码器同时发送相同的第一帧或第二帧。
10. 一种计算机程序产品，其包含指令，所述指令在由处理器执行时，实现如权利要求 1-6所述的方法中的各个步骤。
全文摘要
提出了一种面向场景切换的多描述视频编码方法。在确定场景切换位置后，插入多个冗余帧，从而使得有至少2个不同信道能够同时发送同一视频帧，从而消除在解码时在场景变换位置处的失真。
文档编号H04N7/26GK102006479SQ20101056473
公开日2011年4月6日 申请日期2010年11月30日 优先权日2010年11月30日
发明者张萌萌, 白慧慧 申请人:北方工业大学