专利名称：后向兼容低分辨率/高分辨率节目同播的视频编解码方法、系统及编码器的制作方法
技术领域：
本发明涉及数据压縮和图像处理领域，尤其涉及后向兼容低分辨率/高分辨率节
目同播的视频编解码方法、系统及编码器。
背景技术：
随着中国广电业全面数字化建设，有线数字电视网络将承载着"全业务运营" 的挑战和机遇。常见的数字电视包括SDTV(标准清晰度电视，Standard-definition television)和HDTV(高清晰度电视，HighDefinition Television)。标准清晰度电视的 图像和伴音的质量都比目前模拟电视有所提高，并且其频道利用率高，在目前模拟电视的 一个频道内可以同时播4套(或更多)标准清晰度节目。高清晰度电视，画面可提供相当 于标准清晰度电视画面五倍的信息量，因此具有更高的图像分辩滤和清晰度。高清晰度电 视的图像格式为1920*1080i和1280*7201，即最高显示与目前模拟电视画面清晰度的2_3 倍。高清晰度电视采用16:9的图像模式，而不是传统的4:3模式，标准清晰度电视则采用 兼容16:9和4:3模式，由电视台最终确定广播的模式。 目前的数字电视技术采用的是MPEG-2标准，这是因为在国内外已经过十来年的 运营(98年开始出现MPEG-2的卫星数字电视，但不是DTH直播到户模式；2000年开始发展 MPEG-2的有线数字电视)其技术及相关产业链已相当成熟。随着高清节目源的增多，高清 数字电视越来越成为数字电视的主流，相应的数字电视机顶盒以及编解码芯片也要适应这 一发展的要求。近年来，随着新一代视频压縮标准H. 264以及国内具有自主知识产权的AVS 的问世，使得对高清节目源的高效压縮成为可能。 由于新一代视频压縮标准具有很高的压縮性能，使他们成为高清/超高清节目源 压縮的首选方法。然而由于市场上已经投放的节目大都采用MPEG-2压縮，因此我们在采用 新技术对高清/超高清源进行压縮时需要考虑对经过MPEG-2压縮的标清节目的兼容性，从 而在用户所付费用和网络带宽占用方面达到一个较好的折中。 目前比较成熟的可分级视频编码(SVC， scalable video coding)从某种程度上可
以解决标清/高清以及标清/超高清兼容的问题。但是，存在的缺陷是，只有在标清和高清
/超高清采用同一个标准(如H.264)时SVC才能直接解决两者的兼容问题。 有鉴于此，需要本领域技术人员迫切解决的问题是，需要找到一种有效的编码方
法，兼容采用不同标准编码的低分辨率/高分辨率节目源，例如兼容标清和高清/超高清节目源。
发明内容
本发明的目的在于，提供一种后向兼容低分辨率/高分辨率同播的视频编解码方 法、系统及编码器。基于本发明，可以兼容采用不同标准的低分辨率/高分别率的节目源。
第一方面，本发明提供了一种后向兼容低分辨率/高分辨率同播的视频编解码方法，包括如下步骤对输入的原始高分辨率节目源序列进行下采样，获取低分辨率节目序 列；对所述低分辨率节目序列进行压縮，获取压縮重构的低分辨率节目序列；对所述压縮 重构的低分辨率节目序列进行上采样，获取上采样的高分辨率节目序列；对所述原始高分 辨率节目源序列与所述上采样的高分辨率节目序列进行差分运算，获取差分序列；对所述 差分序列进行压縮，获得压縮重构的差分序列；将所述压縮重构的低分辨率节目源序列与 所述压縮重构的差分序列合成，获取合成的高分辨率节目序列。 在上述视频编解码方法中，优选所述低分辨率节目为标清序列，所述高分辨率节 目为高清或超高清序列。 在上述视频编解码方法的压縮步骤中，压縮工具优选MPEG-2。 在上述视频编解码方法中，优选所述差分序列编码步骤中，压縮工具为H. 264或
AVS。 根据本发明的第二方面，本发明还提供了一种后向兼容标清/高清及标清/超高 清同播的视频编解码系统，包括下采样模块、压縮模块、上采样模块、差分序列生成模块、差 分序列编码模块、合成模块。所述下采样模块、压縮模块、上采样模块、差分序列生成模块位 于所述系统的编码端，所述合成模块位于系统的解码端。其中 下采样模块用于对输入的原始高分辨率节目源序列进行下采样，获取低分辨率节 目序列；压縮模块用于对所述低分辨率节目序列进行压縮，获取压縮重构的低分辨率节目 序列；上采样模块用于对所述压縮重构的低分辨率节目序列进行上采样，获取上采样的高 分辨率节目序列；差分序列生成模块用于对所述原始高分辨率节目源序列与所述上采样的 高分辨率节目序列进行差分运算，获取差分序列；差分序列编码模块用于对所述差分序列 进行压縮，获得压縮重构的差分序列；合成模块用于将所述压縮重构的低分辨率节目源序 列与所述压縮重构的差分序列合成，获取合成的高分辨率节目序列。 第三方面，本发明还提供了后向兼容低分辨率/高分辨率节目同播的视频编码 器，所述编码器的结构与上述视频编解码系统中编码端的机构相同，即包括下采样模块、压 縮模块、上采样模块、差分序列生成模块、差分序列编码模块，在此不再赘述。
相对于现有技术中，本发明可兼容不同标准编码的低分辨率/高分辨率节目源， 为其压縮提供支持，并能够有效的节省带宽。基于本发明，可以保证与市场上已经投放的标 清编码的机顶盒兼容，从而，用户可以根据自己的爱好选择接收低分辨率或者高分辨率节 目。
图1为根据本发明后向兼容标清/高清及标清/超高清同播的视频编解码方法实 施例的步骤流程图； 图2为根据本发明后向兼容标清/高清及标清/超高清同播的编解码方法实施例 的结构框图。
具体实施例方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实 施方式对本发明作进一步详细的说明。
本发明的核心思想是对高分辨率节目源进行下采样得到低分辨率视频序列，对 低分辨率视频序列采用压縮编码，再对重构的低分辨率视频序列进行上采样得到高分辨率 节目视频序列，然后对原始的高分辨率节目源序列和上采样得到高分辨率节目视频序列做 差以得到差分序列，最后采用高效的编码工具(如H. 264和AVS)对差分序列进行编码，对 重构的差分序列和上采样得到高分辨率节目视频序列进行合成得到最终的高分辨率节目 序列。 首先需要说明的是，本发明涉及的视频编解码方法、编解码系统及编码器适用于
低分辨率节目源和高分辨率节目源。在进行如下具体实施例的描述时，低分辨率节目是通
常所说的"标清节目"，高分辨率节目为通常所说的"高清节目"。但高分辨率节目和低分辨
率节目并不限于"高清节目"和"标清节目"，不应该看作是对本发明的限制。 后向兼容标清/高清及标清/超高清同播的视频编解码方法实施例 参照图1，图1为根据本发明后向兼容标清/高清及标清/超高清同播的视频编解
码方法实施例的步骤流程图，包括如下步骤 步骤110，对输入的原始高清/超高清序列进行下采样，获取与所述原始高清/超 高清序列对应的下采样标清序列。 在该步骤中，首先对输入的高清/超高清序列进行下采样，以生成对应的标清序 列。下采样过程为
<formula>formula see original document page 6</formula>
其中，H表示原始的高清/超高清序列，D表示下采样操作，S表示下采样后生成的 标清序列。 步骤120，通过MPEG-2对所述下采样标清序列进行压縮，获取压縮重构的下采样 标清序列》。 该步骤的主要目的是采用MPEG-2对下采样后的标清序列进行编码，以生成5M的 码流^ ,该码流发送到解码端后可以供选择标清视频节目的用户使用。 步骤130，对所述压縮重构的下采样标清序列进行上采样，获取上采样高清/超高 清序列。 上采样过程为
其中，Hu表示上采样之后的高清/超高清序列，U表示上采样操作，^表示重构的 标清序列。 步骤140，对所述原始高清/超高清序列与所述上采样高清/超高清序列进行差分 运算，获取差分序列。 在该步骤中，差分序列的生成过程为
<formula>formula see original document page 6</formula>
为了节省网络带宽，本实施例对重构的标清序列进行上采样以生成对应的高清/ 超高清序列，然后与原始的高清/超高清序列做差生成差分序列。可以采用任何上采样方案，但为了使得差分序列的能量尽可能地小以提高高清/超高清编码的性能，应尽可能选 择使用性能较优的上采样技术，例如，优选利用super-resolution将重构的标清序列插值 到高清/超高清序列Hu，期优势是能生成能量较低的差分序列。
步骤150，对差分序列进行压縮，获得压縮重构的差分序列。 在该步骤中，对于上述生成的差分序列，本发明采用现有的编码工具，如H. 264和 AVS进行编码，使得对高清节目源的高效压縮成为可能。在编码时，可以对差分序列直接编 码，也可以将差分序列当作一个高清/超高清序列送入编码器。 步骤160，将所述压縮重构的下采样标清序列与所述压縮重构的差分序列合成，获 取合成的高清/超高清序列。 在该步骤中，对压縮重构的差分序列和经过上采样得到的高清/超高清序列进行 合成，以得到最终的高清/超高清序列，从而满足选择高清/超高清视频的用户的需求。具 体合成模型为 # ="(》)+左 其中》表示重构的标清序列，t/(及)表示对^进行上采样的过程，^表示重构的差
分序列。 在该后向兼容标清/高清及标清/超高清同播的视频编解码方法实施例中，可以
兼容采用不同标准的标清和高清/超高清节目源。从而，基于该实施例，可以保证与市场上
已经投放的标清编码的机顶盒兼容，从而，用户可以根据自己的爱好选择接收标清或者高
清/超高清节目，并同时为高清/超高清节目的压縮提供支持。 后向兼容标清/高清及标清/超高清同播的视频编解码系统实施例 参照图2，图2为根据本发明后向兼容标清/高清及标清/超高清同播的编解码方
法实施例的结构框图，包括 下采样模块210，用于对输入的原始高清/超高清序列进行下采样，获取与所述原 始高清/超高清序列对应的下采样标清序列. 该模块用于对输入的高清/超高清序列进行下采样，以生成对应的标清序列。下
采样过程为 S = D (H) 其中，H表示原始的高清/超高清序列，D表示下采样操作，S表示下采样后生成的 标清序列。 MPEG-2压縮模块220，用于通过MPEG-2对所述下采样标清序列进行压縮，获取压 縮重构的下采样标清序列。 该模块的作用是采用MPEG-2对下采样后的标清序列进行编码，以生成5M的码流 ^ ,该码流发送到解码端后可以供选择标清视频节目的用户使用。 上采样模块230，用于对所述压縮重构的下采样标清序列进行上采样，获取上采样
高清/超高清序列。 其中，上采样过程为
/^= 7(》) 其中，Hu表示上采样之后的高清/超高清序列，U表示上采样操作，^表示重构的 标清序列。 差分序列生成模块240，用于对所述原始高清/超高清序列与所述上采样高清/超
高清序列进行差分运算，获取差分序列。 在该模块中，差分序列的生成过程为 E = 〃一=//一"(^) 为了节省网络带宽，本实施例对重构的标清序列进行上采样以生成对应的高清/ 超高清序列，与原始的高清/超高清序列做差生成差分序列。可以采用任何上采样方案，为 了使得差分序列的能量尽可能地小以提高高清/超高清编码的性能，应尽可能选择使用性 能较优的上采样技术，例如，优选利用super-resolution将重构的标清序列插值到高清/ 超高清序列Hu，期优势是能生成能量较低的差分序列。 差分序列编码模块250，用于对所述差分序列进行压縮，获得压縮重构的差分序 列。 在该模块中，生成的差分序列采用现有的编码工具，如H. 264和AVS进行编码，使 得对高清节目源的高效压縮成为可能。在编码时，可以对差分序列直接编码，也可以将差分 序列当作一个高清/超高清序列送入编码器。 合成模块260，用于将所述压縮重构的下采样标清序列与所述压縮重构的差分序 列合成，获取合成的高清/超高清序列。 在该模块中，对压縮重构的差分序列和经过上采样得到的高清/超高清序列进行 合成，以得到最终的高清/超高清序列，从而满足选择高清/超高清视频的用户的需求。具 体合成模型为 其中》表示重构的标清序列，t/(》)表示对^进行上采样的过程，》表示重构的差
分序列。 该实施例可以有效地编码高清/超高清视频序列，以节省带宽，同时也能与现存 的采用MPEG-2编码的标清视频编码方案相兼容。 根据本发明的另一方面，还提供了一种编码器，该编码器的结构与上述编解码系 统中位于编码端的结构相同，在此不再赘述。 上面重点说明了后向兼容低分辨率/高分辨率节目同播的视频编解码方法、编解 码系统的实施方式和效果。编码器实施例和编解码方法、编解码系统实施例原理相似，相关 之处可以互相参照。 以上对本发明所提供的一种后向兼容低分辨率/高分辨率节目同播的视频编解 码方法、系统及编码器进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方 式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变 之处，综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
一种后向兼容低分辨率/高分辨率节目同播的视频编解码方法，其特征在于，包括如下步骤下采样步骤，对输入的原始高分辨率节目源序列进行下采样，获取低分辨率节目序列；压缩步骤，对所述低分辨率节目序列进行压缩，获取压缩重构的低分辨率节目序列；上采样步骤，对所述压缩重构的低分辨率节目序列进行上采样，获取上采样的高分辨率节目序列；差分序列生成步骤，对所述原始高分辨率节目源序列与所述上采样的高分辨率节目序列进行差分运算，获取差分序列；差分序列编码步骤，对所述差分序列进行压缩，获得压缩重构的差分序列；合成步骤，将所述压缩重构的低分辨率节目源序列与所述压缩重构的差分序列合成，获取合成的高分辨率节目序列。
2. 根据权利要求1所述的视频编解码方法，其特征在于，所述低分辨率节目为标清序 列，所述高分辨率节目为高清或超高清序列。
3. 根据权利要求2所述的视频编解码方法，其特征在于，所述压縮步骤中，压縮工具为 MPEG-2。
4. 根据权利要求3所述的视频编解码方法，其特征在于，所述差分序列编码步骤中，压 縮工具为H. 264或AVS。
5. —种后向兼容低分辨率/高分辨率节目同播的视频编解码系统，其特征在于，包括 如下步骤下采样模块，用于对输入的原始高分辨率节目源序列进行下采样，获取低分辨率节目 序列；压縮模块，用于对所述低分辨率节目序列进行压縮，获取压縮重构的低分辨率节目序列；上采样模块，用于对所述压縮重构的低分辨率节目序列进行上采样，获取上采样的高 分辨率节目序列；差分序列生成模块，用于对所述原始高分辨率节目源序列与所述上采样的高分辨率节 目序列进行差分运算，获取差分序列；差分序列编码模块，用于对所述差分序列进行压縮，获得压縮重构的差分序列；合成模块，用于将所述压縮重构的低分辨率节目源序列与所述压縮重构的差分序列合 成，获取合成的高分辨率节目序列；其中，所述下采样模块、压縮模块、上采样模块、差分序列生成模块位于所述系统的编 码端，所述合成模块位于系统的解码端。
6. 根据权利要求5所述的视频编解码方法，其特征在于，所述低分辨率节目为标清序 列，所述高分辨率节目为高清或超高清序列。
7. 根据权利要求6所述的视频编解码方法，其特征在于，所述压縮步骤中，压縮工具为 MPEG-2。
8. 根据权利要求7所述的视频编解码方法，其特征在于，所述差分序列编码步骤中，压 縮工具为H. 264或AVS。
9. 一种后向兼容低分辨率/高分辨率节目同播的视频编码器，其特征在于，包括 下采样模块，用于对输入的原始高分辨率节目源序列进行下采样，获取低分辨率节目 序列；压縮模块，用于对所述低分辨率节目序列进行压縮，获取压縮重构的低分辨率节目序列；上采样模块，用于对所述压縮重构的低分辨率节目序列进行上采样，获取上采样的高 分辨率节目序列；差分序列生成模块，用于对所述原始高分辨率节目源序列与所述上采样的高分辨率节 目序列进行差分运算，获取差分序列；差分序列编码模块，用于对所述差分序列进行压縮，获得压縮重构的差分序列。
全文摘要
本发明公开一种后向兼容低分辨率/高分辨率节目同播的视频编解码方法、系统及编码器。其中，所述方法包括对输入的原始高分辨率节目源序列进行下采样，获取低分辨率节目序列；对低分辨率节目序列进行压缩，获取压缩重构的低分辨率节目序列；对压缩重构的低分辨率节目序列进行上采样，获取上采样的高分辨率节目序列；对原始高分辨率节目源序列与上采样的高分辨率节目序列进行差分运算，获取差分序列；对差分序列进行压缩，获得压缩重构的差分序列；将压缩重构的低分辨率节目源序列与压缩重构的差分序列合成，获取合成的高分辨率节目序列。本发明有效地编码高分辨率节目源视频序列，以节省带宽；同时也能与现存的低分辨率节目视频编码方案相兼容。
文档编号H04N7/01GK101695133SQ200910235859
公开日2010年4月14日 申请日期2009年10月28日 优先权日2009年10月28日
发明者张永兵, 赵德斌, 马思伟, 高文 申请人:北京大学;