可调性视频编码标准的比特流封装方法

专利名称：可调性视频编码标准的比特流封装方法
技术领域：
本发明涉及一种可调性视频编码标准(Scalable Video Coding, SVC)的比特流封 装方法。
背景技术：
—般来说，在传统视频串流(Video Streaming)的技术中，视频比特流(Video Bitstream)分组的封装方式都是以画面群组(Group of Picture,GOP)为基本单位的概念 来进行封装。但是，上述封装方式对于网络环境的适应性欠佳，并且也会受限于传统图像的 编码规格。也就是说，一旦修改上述封装方式，将会造成图像格式不符或是图像顺序不对， 使得解码器接收到上述分组后而无法解码出正确的图像，因此对于网络环境的适应性会有 问题。 目前网络传输环境不外乎两种主客架构(Client-Server)与点对点技术(Pear to Pear， P2P)。对于主客架构来说，其架构会有带宽分配的问题，亦即当使用者过多时，将 造成网络拥塞而导致视频断讯，使得图像无法连续性地播放。如此，对于使用者观看图像来 说，会造成不便性。 另外，点对点技术虽然能解决网络带宽分配问题，但也因为其视频比特流分组来 源是杂乱的且没有顺序，因此，在视频解码器接收到视频比特流分组时，会有数据互等的问 题。如此一来，点对点技术在视频串流上会很难做时间的控制，比如说视频播放快转与后退 的功能。同时随着未来异质(Heterogeneous)网络逐渐兴起以及视频接收装置更多元化， 单一格式的视频串流可能无法适应此多变的视频网络环境。

发明内容
本发明提出一种可调性视频编码标准(Scalable Video Coding, SVC)的比特流封 装方法，包括下列步骤。首先，取得SVC比特流，此SVC比特流具有多个帧，且每一个帧具有 基本层与多个增强层。接着，依据SVC比特流中的比特流参数的特征，分析帧的复杂程度。 之后，依据帧的复杂程度，选择性将上述帧的基本层封装成基本层分组。接着，再依基本层 分组封装机制，将其余剩下SVC比特流封装成多个增强型分组。 本发明另提出一种可调性视频编码标准的比特流封装方法，包括下列步骤。首先， 取得SVC比特流，其中此SVC比特流具有多个帧，且每一个帧具有基本层与多个增强层。依 据SVC比特流的比特流参数的特征，分析帧的复杂程度。再依据帧的复杂程度，将所有帧的 该基本层封装成基本层分组。接着，依据此基本层分组封装机制与比特流中的第二比特流 参数与第三比特流参数的特征，将对应于基本层分组的帧的增强层封装成至少一第二增强 型分组与至少一第三增强型分组。本说明书中的三种比特流参数，分别是SVC比特流中的 运动向量(Motion Vector, MV)、量化参数(QuantificationParameter， QP)以及区块大小 (Block Size, BS)。 本发明通过SVC比特流中比特流参数的特征，选择性将帧的基本层封装成基本层分组(亦即将所有帧的基本层封装成基本层分组或是将部分的帧的基本层封装成基本层 分组)。如此一来，在有限的带宽之下，可以增加视频播放的流畅度(亦即不会因为网络拥 塞而导致视频断讯)。另外，将未封装至基本层分组的帧的基本层以及帧中的增强层，分别 再封装成至少一增强型分组与第二增强型分组，以便于在有多余的带宽之下，可以使画面 达到优选的画面品质。也由于视频串流封装的更为细致，因此面对更多元的网络环境与视 频接收装置，将能产生更强大的适应力。 为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详 细说明如下。


图1绘示为本发明实施例的比特流中具有多层架构的示意图。 图2绘示为传统SVC比特流中的帧编码示意图。 图3绘示为本发明实施例的可调性视频编码标准的比特流封装方法的流程图。 图4绘示为本发明另一实施例的可调性视频编码标准的比特流封装方法的流程 图。 图5A绘示为本发明第一实施例的可调性视频编码标准的比特流封装结果的示意 图。 图5B绘示为本发明第二实施例的可调性视频编码标准的比特流封装结果的示意 图。 图5C绘示为本发明第三实施例的可调性视频编码标准的比特流封装结果的示意 图。 图5D绘示为本发明第四实施例的可调性视频编码标准的比特流封装结果的示意 图。 图5E绘示为本发明第五实施例的可调性视频编码标准的比特流封装结果的示意 图。 图6绘示为本发明又一实施例的可调性视频编码标准的比特流封装方法的流程 图。 图7A绘示为本发明第六实施例的可调性视频编码标准的比特流封装结果的示意 图。 图7B绘示为本发明第七实施例的可调性视频编码标准的比特流封装结果的示意 图。 图7C绘示为本发明第八实施例的可调性视频编码标准的比特流封装结果的示意 图。 图7D绘示为本发明第九实施例的可调性视频编码标准的比特流封装结果的示意 图。 附图标记说明 BL、BL0、BL1、BL2、BL3、BL4、BL5、BL6、BL7、BL8、...:基本层 EL1 ELn、 EL0_1 EL0_6、 EL1_1 EL1_6、 EL2_1 EL2_6、 EL3_1 EL3_6、
EL4 1 EL4 6、 EL5 1 EL5 6、 EL6 1 EL6 6、 EL7 1 EL7 6、 EL8 1 EL8 6、 增强层 BP :基本层分组 EP1_1 EP1_3 :增强型分组 EP2_1 EP2_2 :第二增强型分组 EP3_1 EP3_3 :第三增强型分组 EP4_1 :第四增强型分组 EP5_1 EP5_3 :第五增强型分组 EP6_1 :第六增强型分组 EP7_1 EP7_3 :第七增强型分组 S301 S305 :本发明实施例的可调性视频编码标准的比特流封装方法各步骤 S401 S409 :本发明另一实施例的可调性视频编码标准的比特流封装方法各步 骤 S601 S613 :本发明又一实施例的可调性视频编码标准的比特流封装方法各步 骤
具体实施例方式
本发明提供一种可调视频编码标准(Scalable Video Coding, SVC)的比特流封装 方法，由此可增加视频播放的流畅性，以避免网络拥塞而导致视频断讯的问题。
对于可调性视频编码标准(Scalable Video Coding, SVC)的比特流(Bitstream) 来说，比特流中的多个帧(Frame)可以包括多层的架构，例如图1所示，也就是每一个帧可 以由基本层(Base layer)BL、第一增强层(Enhancement Layer)ELI、第二增强层EL2...第 n增强层ELn所组成，而n为正整数。并且，增强层的个数会依据视频压縮的格式而产生不 同数量，而各个层(基本层BL与增强层ELI ELn)中会具有不同分辨率或不同帧速率或 品质(SNR)，也就是说，各个层中会以不同的比特流参数记载帧的复杂程度。
—般来说，基本层BL至少具有最低分辨率或最低的帧速率，因此，在视频解码的 过程中，解码器至少要接收到比特流中的基本层BL，以便于进行比特流解码的动作，让视频 画面还原成原来的状态。另外，当基本层BL加上增强层时，比特流将会具有较高的分辨率 或较高的帧速率。此外，若是基本层BL加上增强层的个数越多时，则画面品质也会随之增 加。并且，上述多个帧可以组成至少一画面群组(Group of Picture, GOP)。
为了方便说明，本实施例是以8个帧为1个画面群组进行编码的SVC比特流为例， 如图2所绘示。并且，上述编码例如使用QCIF(Quarter Commonlntermediate format)以及 CIF(Common Intermediate format)的图像压縮格式。而QCIF的分辨率大小为176*144， CIF的分辨率大小为352*288。 i青参照图2，比特流具有帧F0、F1、F2、F3、F4、F5、F6、F7、F8、. . 。其中，BL0、BL1、 BL2、BL3、BL4、BL5、BL6、BL7、BL8、.分别为帧F0、F1、F2、F3、F4、F5、F6、F7、F8、 的分 辨率(Resolution)方面基本层-QCIF。而EL0_1、 EL0_2、 EL0_3、 EL0_4、 EL0_5、 EL0_6分别 为帧F0的增强层，其中EL0_1、 EL0_2为补充BL0品质(Quality或SNR)的增强层、EL0_3 为补充BL0分辨率(Resolution)的增强层(可将BL0分辨率由QCIF加强到CIF) 、EL0_4、 EL0_5、EL0_6为补充EL0_3品质(Quality或SNR)的增强层。
6
EL1_1、 EL1_2、 EL1_3、 EL1_4、 EL1_5、 EL1_6分别为帧F1的增强层，其中EL1_1、 EL1—2为补充BL1品质(Quality或SNR)的增强层、EL1—3为补充BL1分辨率(Resolution) 的增强层(可将BL1分辨率由QCIF加强到CIF) 、 EL1_4、 EL1_5、 EL1_6为补充EL1_3品质 (Quality或SNR)的增强层。 EL2_1、 EL2_2、 EL2_3、 EL2_4、 EL2_5、 EL2_6分别为帧F2的增强层，其中EL2_1、 EL2—2为补充BL2品质(Quality或SNR)的增强层、EL2—3为补充BL2分辨率(Resolution) 的增强层(可将BL2分辨率由QCIF加强到CIF) 、 EL2_4、 EL2_5、 EL2_6为补充EL2_3品质 (Quality或SNR)的增强层。 EL3_1、 EL3_2、 EL3_3、 EL3_4、 EL3_5、 EL3_6分别为帧F3的增强层，其中EL3_1、 EL3—2为补充BL3品质(Quality或SNR)的增强层、EL3—3为补充BL3分辨率(Resolution) 的增强层(可将BL3分辨率由QCIF加强到CIF) 、 EL3_4、 EL3_5、 EL3_6为补充EL3_3品质 (Quality或SNR)的增强层。 EL4_1、 EL4_2、 EL4_3、 EL4_4、 EL4_5、 EL4_6分别为帧F4的增强层，其中EL4_1、 EL4_2为补充BL4品质(Quality或SNR)的增强层、EL4—3为补充BL4分辨率(Resolution) 的增强层(可将BL4分辨率由QCIF加强到CIF) 、 EL4_4、 EL4_5、 EL4_6为补充EL4_3品质 (Quality或SNR)的增强层。 EL5_1、 EL5_2、 EL5_3、 EL5_4、 EL5_5、 EL5_6分别为帧F5的增强层，其中EL5_1、 EL5—2为补充BL5品质(Quality或SNR)的增强层、EL5—3为补充BL5分辨率(Resolution) 的增强层(可将BL5分辨率由QCIF加强到CIF) 、 EL5_4、 EL5_5、 EL5_6为补充EL5_3品质 (Quality或SNR)的增强层。 EL6_1、 EL6_2、 EL6_3、 EL6_4、 EL6_5、 EL6_6分别为帧F6的增强层，其中EL6_1、 EL6_2为补充BL6品质(Quality或SNR)的增强层、EL6—3为补充BL6分辨率(Resolution) 的增强层(可将BL6分辨率由QCIF加强到CIF) 、 EL6_4、 EL6_5、 EL6_6为补充EL6_3品质 (Quality或SNR)的增强层。 EL7_1、 EL7_2、 EL7_3、 EL7_4、 EL7_5、 EL7_6分别为帧F7的增强层，其中EL7_1、 EL7—2为补充BL7品质(Quality或SNR)的增强层、EL7—3为补充BL7分辨率(Resolution) 的增强层(可将BL7分辨率由QCIF加强到CIF) 、 EL7_4、 EL7_5、 EL7_6为补充EL7_3品质 (Quality或SNR)的增强层。 EL8_1、 EL8_2、 EL8_3、 EL8_4、 EL8_5、 EL8_6分别为帧F8的增强层，其中EL8_1、 EL8_2为补充BL8品质(Quality或SNR)的增强层、EL8—3为补充BL8分辨率(Resolution) 的增强层(可将BL8分辨率由QCIF加强到CIF) 、 EL8_4、 EL8_5、 EL8_6为补充EL8_3品质 (Quality或SNR)的增强层。 在本实施例中，比特流的帧的编码方式例如使用阶层式预测结构(Hierarchical Prediction Structure)，但不限制其编码方式。并且，比特流的帧进行编码后的顺序为帧 F0、F8、F4、F2、F6、F1、F3、F5、F7、...。另外，在一些实施例中，若是比特流中是以16张帧 为1个画面群组进行编码时，则编码后的帧顺序依序为F0、 F16、 F8、 F4、 F12、 F2、 F6、 F10、 F14、F1、F3、F5、F7、F9、F11、F13、F15、 。 图3绘示为本发明实施例的可调性视频编码标准的比特流封装方法的流程图。请 合并参照图2与图3，首先，在步骤S301中，取得SVC比特流(如图2所示)，而此SVC比特
7流具有多个帧，且每一个帧具有基本层与多个增强层。 接着，在步骤S303中，依据SVC比特流中的比特流参数的特征，分析帧的复杂程 度。在本实施例中，上述比特流参数可以为运动向量(MotionVector)，并且运动向量对应于 时间可调性(Temporal Scalable)。 举例来说，若比特流的帧(例如新闻)中的运动向量为小时，表示此帧在编码时 已被考虑到为运动度较低的帧(低频图像)，亦即帧的运动率较低(帧的复杂程度较为简 单)。换言之，若比特流的帧(例如美式足球画面)中的运动向量为大时，表示此帧在编码 时已被考虑到为运动度较高的帧(高频图像)，亦即帧的运动率较高(帧的复杂成度较为复 杂)。 之后，在步骤S305中，依据帧的复杂程度，选择性地将帧的基本层封装成基本层 分组。举例来说，当分析出帧的复杂程度较为简单(亦即运动向量为小)时，将帧F0、F8、 F16、 F24、 的分辨率方面基本层-QCIF BL0、 BL8、 BL16、 BL24、 封装成基本层分组 BP(亦即将部分帧的基本层封装成基本层分组BP)。另一方面，若是侦测出帧的复杂程度较 为复杂(亦即运动向量为大)时，将帧F0、F8、F4、F2、F6、F1、F3、F5、F7、...分辨率方面基 本层-QCIF BL0、BL8、BL4、BL2、BL6、BL1、BL3、BL5、BL7、...封装成基本层分组BP(亦即将 所有帧的基本层封装成基本层分组BP)。 接着，将上述两种形式的基本层分组BP放置于网络(一般网络或异质网络)上 时，使用者可依据当时网络带宽的大小，下载封装部分帧的基本层的基本层分组BP或是封 装所有帧的基本层的基本层分组BP，让解码器进行解析，以便于观看图像。由于基本层分 组BP包括帧的基本层(例如包括可以播放200秒的帧的基本层)，故当使用者在观看视频 画面(例如播放第IOO秒的画面)且对视频画面快转(例如播放第150秒的画面)或后退 (例如播放第50秒的画面)时，将不会出现断讯的问题。如此一来，本实施例可以在有限的 带宽之下，增加画面(视频)播放的流畅度，以避免图像画面因为带宽不足而产生断讯的现 象。 在上述实施例中，只有针对封装基本层分组BP进行说明，但本实施例不限于此。 除了封装出基本层分组BP夕卜，亦可依据比特流的其他比特流参数封装增强型分组，以便于 增加画面品质。为了使得本领域具有通常知识者更了解本实施例的可调性视频编码标准的 比特流封装方法。以下，将再举实施范例来说明。 图4绘示为本发明实施例的可调性视频编码标准的比特流封装方法的流程图。请 合并参照图2与图4，而图4的步骤S401、 S403与S405的运作流程可以参照图3的步骤 S301、 S303与S305，故在此不再赘述。 在步骤S405中，若是帧的复杂程度为简单(亦即运动向量为小)时，则将部分帧 的基本层封装成基本层分组BP，而将剩余帧的基本层封装成至少一增强型分组，其中增强 型分组至少包含由一关键画面(Key Picture)所预估得到的画面数据。在本实施例中，关 键画面为帧FO。 举例来说，基本层分组BP包括帧F0、F8、F16、...的分辨率方面基本层-QCIF BLO、 BL8、BL16、...，则增强型分组可以为1个，亦即增强型分组EP1J可以包括帧F4、F2、F6、F1、 F3、 F5、 F7、 的分辨率方面基本层-QCIF BL4、 BL2、 BL6、 BL1、 BL3、 BL5、 BL7、.。在一 些实施例中，增强型分组可以为2个，亦即增强型分组EP1J可以包括帧F4、F2、F6、...的分辨率方面基本层-QCIF BL4、 BL2、 BL6、 ，增强型分组EP1—2可以包括帧Fl、 F3、 F5、 F7、...的分辨率方面基本层-QCIF BL1、BL3、BL5、BL7、...。或是增强型分组可以为3个， 亦即增强型分组EP1J可以包括帧F4、...的分辨率方面基本层-QCIF 81^4、...，增强型 分组EP1_2可以包括帧F2、 F6、...的分辨率方面基本层-QCIF BL2、 BL6、...，增强型分组 EP1_3可以包括帧F1、F3、F5、F7、...的分辨率方面基本层-QCIF BL1、BL3、BL5、BL7、...。
值得一提的是，若是比特流是以16张帧为1个画面群组进行编码时，则编码后的 帧顺序依序为F0、F16、F8、F4、F12、F2、F6、F10、F14、F1、F3、F5、F7、F9、F11、F13、F15、.(未 绘示)。基本层分组BP包括帧F0、F16、F32、...的分辨率方面基本层-QCIF BLO、 BL16、 BL32、 ，则增强型分组可以为1个，亦即增强型分组EPlj可以包括帧F8、 F4、 F12、 F2、 F6、 FIO、 F14、 Fl、 F3、 F5、 F7、 F9、 Fll、 F13、 F15、 的分辨率方面基本层-QCIF BL8、 BL4、 BL12、BL2、BL6、BL10、BL14、BL1、BL3、BL5、BL7、BL9、BL11、BL13、BL15、.。
在一些实施例中，增强型分组可以为2个，亦即增强型分组EP1J可以包括帧F8、 F4、 F12、 F2、 F6、 FIO、 F14、 的分辨率方面基本层-QCIF BL8、 BL4、 BL12、 BL2、 BL6、 BLIO、 BL14、...，增强型分组EP12可以包括帧F1、F3、F5、F7、F9、F11、F13、F15、...的分辨率方 面基本层-QCIF BL1、BL3、BL5、BL7、BL9、BL11、BL13、BL15、...。或是，增强型分组可以为 3个，亦即增强型分组EP1—1可以包括帧F8、F4、F12、. . 的分辨率方面基本层-QCIF BL8、 BL4、 BL12、...，增强型分组EP1—2可以包括帧F2、 F6、 FIO、 F14、 的分辨率方面基本 层-QCIF BL2、BL6、BL10、BL14、. . ，增强型分组EP1_3可以包括帧F1、F3、F5、F7、F9、F11、 F13、F15、 的分辨率方面基本层-QCIF BL1、BL3、BL5、BL7、BL9、BL11、BL13、BL15、.。 又或是，增强型分组可以为4个，亦即增强型分组EP1_1可以包括帧F8、...的分辨率方 面基本层-QCIF BL8、...，增强型分组EP1_2可以包括帧F4、 F12、...的分辨率方面基本 层-QCIF BL4、 BL12、...，增强型分组EP1—3可以包括帧F2、 F6、 FIO、 F14、 的分辨率方 面基本层-QCIF BL2、 BL6、 BLIO、 BL14、 ，增强型分组EP14可以包括帧Fl、 F3、 F5、 F7、 F9、 Fll、 F13、 F15、 的分辨率方面基本层-QCIF BL1、 BL3、 BL5、 BL7、 BL9、 BLll、 BL13、 BL15、. .。 之后，在步骤S407中，依据第二比特流参数的特征，将对应于基本层分组的帧 的增强层封装成至少一第二增强型分组，而将对应于增强型分组的帧的增强层封装成 至少一第三增强型分组。在本实施例中，第二比特流参数为量化参数(Quantification Parameter, QP)与区块大小(Block Size, BS)其中之一。其中，量化参数对应于信号噪声 比可调性(SNR Scalable)，若是QP较大，表示比特流比特率小，因此封装时就可以将此一 段比特流封装成一个增强型分组，无须拆成多个增强型分组；反的，若是QP较大，表示比特 流比特率大，因此封装时就要将此一段比特流封装成多个增强型分组，以免带宽变动时一 次就丢失太多视频内容。 而区块大小对应于空间可调性(Spatial Scalable)，若是BS较大，表示画面较为 单调，因此封装时就可以将此一段比特流封装成一个增强型分组，无须拆成多个增强型分 组；反的，若是BS较小，表示画面较为细致，因此封装时就要将此一段比特流封装成多个增 强型分组，以免带宽变动时一次就丢失太多视频内容。 举例来说，参考图5A说明第一实施例的SVC比特流封装的结果示意图。若是基 本层分组BP包括帧FO、 F8、 F16....的分辨率方面基本层-QCIF BLO、 BL8、 BL16、...，增强型分组EPlj包括帧F4、F2、F6、F1、F3、F5、F7、...的分辨率方面基本层-QCIF BL4、BL2、 BL6、 BL1、 BL3、 BL5、 BL7、...时，则第二增强型分组EP2_1包括帧F0、 F8、 F16、...的增强 层EL0_1、 EL0_2、 EL0_3、 EL0_4、 EL0_5、 EL0_6、 EL8_1、 EL8_2、 EL8_3、 EL8_4、 EL8_5、 EL8_6、 EL16_1、 EL16_2、 EL16_3、 EL16_4、 EL16_5、 EL16_6、 .，而第三增强型分组EP3_1包括帧 F4、F2、F6、F1、F3、F5、F7、.的增强层EL4_1、EL4_2、EL4_3、EL4_4、EL4_5、EL4_6、EL2_1、 EL2_2、 EL2_3、 EL2_4、 EL2_5、 EL2_6、 EL6_1、 EL6_2、 EL6_3、 EL6_4、 EL6_5、 EL6_6、 EL1_1、 EL1_2、 EL1_3、 EL1_4、 EL1_5、 EL1_6、 EL3_1、 EL3_2、 EL3_3、 EL3_4、 EL3_5、 EL3_6、 EL5_1、 EL5_2、 EL5_3、 EL5_4、 EL5_5、 EL5_6、 EL7_1、 EL7_2、 EL7_3、 EL7_4、 EL7_5、 EL7_6、.。
另外，参考图5B说明第二实施例的SVC比特流封装的结果示意图。若是基本层分 组BP包括帧F0、F8、F16、...的分辨率方面基本层-QCIF BLO、 BL8、 BL16、...，增强型分组 EP1—1包括帧F4、 F2、 F6、 的分辨率方面基本层-QCIF BL4、 BL2、 BL6、 ，增强型分组 EP1_2包括帧Fl、 F3、 F5、 F7、...的分辨率方面基本层-QCIF BL1、 BL3、 BL5、 BL7、...时， 则第二增强型分组EP2_1包括帧FO、 F8、 F16、 的增强层EL0_1、 EL0_2、 EL0_3、 EL0_4、 ELO—5 、 ELO—6 、 EL8_1、 EL8—2 、 EL8—3 、 EL8—4 、 EL8—5 、 EL8—6 、 EL16_1、 EL16_2 、 EL16_3 、 EL16_4 、 EL16_5、 EL16_6、...，而第三增强型分组EP3—1包括帧F4、 F2、 F6、 的增强层EL4_1、 EL4_2、 EL4_3、 EL4_4、 EL4_5、 EL4_6、 EL2_1、 EL2_2、 EL2_3、 EL2_4、 EL2_5、 EL2_6、 EL6_1、 EL6—2、EL6—3、EL6—4、EL6—5、EL6—6，第三增强型分组EP3—2包括帧F1、F3、F5、F7、. . 的增 强层EL1_1、EL1_2、EL1_3、EL1_4、EL1_5、EL1_6、EL3_1、EL3_2、EL3_3、EL3_4、EL3_5、EL3_6、 EL5—1、 EL5—2 、 EL5—3 、 EL5—4 、 EL5—5 、 EL5—6 、 EL7—1、 EL7—2 、 EL7—3 、 EL7—4 、 EL7—5 、 EL7—6 、 。
此外，参考图5C说明第三实施例的SVC比特流封装的结果示意图。若是基本层 分组BP包括帧FO、 F8、 F16、 的分辨率方面基本层-QCIF BLO、 BL8、 BL16、 ，增强型 分组EP1_1包括帧F4、...的分辨率方面基本层-QCIFBL4,增强型分组EP1_2包括帧F2、 F6、 的分辨率方面基本层-QCIF BL2、 BL6、 ，增强型分组EP1—3包括帧Fl、 F3、 F5、 F7、...的分辨率方面基本层-QCIF BL1、BL3、BL5、BL7、...时，则第二增强型分组EP21包 括帧FO、 F8、 F16、 的增强层EL0_1、 EL0_2、 EL0_3、 EL0_4、 EL0_5、 EL0_6、 EL8_1、 EL8_2、 EL8_3、EL8_4、EL8_5、EL8_6、EL16_1、EL16_2、EL16_3、EL16_4、EL16_5、EL16_6、...。而第 三增强型分组EP31包括帧F4.的增强层EL4_1、EL4_2、EL4_3、EL4_4、EL4_5、EL4_6、.， 第三增强型分组EP3—2包括帧F2、F6的增强层EL2_1、EL2_2、EL2_3、EL2_4、EL2_5、EL2_6、 EL6_1、 EL6_2、 EL6_3、 EL6_4、 EL6_5、 EL6_6，第三增强型分组EP3_3包括帧Fl、 F3、 F5、 F7、 的增强层EL1_1、 EL1_2、 EL1_3、 EL1_4、 EL1_5、 EL1_6、 EL3_1、 EL3_2、 EL3_3、 EL3_4、 EL3_5、 EL3_6、 EL5_1、 EL5_2、 EL5_3、 EL5_4、 EL5_5、 EL5_6、 EL7_1、 EL7_2、 EL7_3、 EL7_4、 EL7_5、EL7_6、. .。 另外，以16个帧为l个画面群组进行编码的比特流的第二增强型分组以及第三增 强型分组的封装方式可以参照上述16个帧为1个画面群组进行编码的比特流的说明，故在 此不再赘述。 接着，将上述基本层分组、增强型分组、第二增强型分组以及第三增强型分组放置 于网络(一般网络或是异质网络)上，使用者便可依据当时网络带宽的大小，而决定下载哪 一种基本层分组(亦即封装部分帧的基本层的基本层分组或是封装所有帧的基本层的基 本层分组)，以便于持续性的观赏视频画面，而不会产生视频中断的现象。由于基本层分组BP只具有最低分辨率或最低的帧速率的帧。因此，若是网络还有多余的带宽，则可以下载增 强型分组、第二增强型分组以及第三增强型分组，来增加视频画面播放的品质。
另一方面，在步骤S405中，若是帧的复杂程度为复杂时，则将所有帧的基本层封 装成基本层分组BP 。举例来说，基本层分组BP可以包括帧F0 、F8 、F4、F2 、F6 、F1 、F3 、F5 、F7 、 F16、...的分辨率方面基本层-QCIF BL0、BL8、BL4、BL2、BL6、BL1、BL3、BL5、BL7、BL16、...。
接着，在步骤S409中，依据第二比特流参数(量化参数或区块大小)的特征，则将 对应于基本层分组的帧的增强层封装成至少一第二增强型分组。举例来说，参考图5D说明 第四实施例的SVC比特流封装的结果示意图。第二增强型分组EP2J可以为1个，亦即第 二增强型分组EP2_1包括帧F0、 F8、 F4、 F2、 F6、 Fl、 F3、 F5、 F7、 F16、 的增强层EL0_1、 EL0_2、 EL0_3、 EL0_4、 EL0_5、 EL0_6、 EL8_1、 EL8_2、 EL8_3、 EL8_4、 EL8_5、 EL8_6、 EL4_1、 EL4_2、 EL4_3、 EL4_4、 EL4_5、 EL4_6、 EL2_1、 EL2_2、 EL2_3、 EL2_4、 EL2_5、 EL2_6、 EL6_1、 EL6_2、 EL6_3、 EL6_4、 EL6_5、 EL6_6、 EL1_1、 EL1_2、 EL1_3、 EL1_4、 EL1_5、 EL1_6、 EL3_1、 EL3_2、 EL3_3、 EL3_4、 EL3_5、 EL3_6、 EL5_1、 EL5_2、 EL5_3、 EL5_4、 EL5_5、 EL5_6、 EL7_1、 EL7_2、EL7_3、EL7_4、EL7_5、EL7_6、EL16_1、EL16_2、EL16_3、EL16_4、EL16_5、EL16_6、. .。
在一些实施例中，第二增强型分组EP2J可以为2个或2个以上。举例来说，参考 图5E说明第五实施例的SVC比特流封装的结果示意图。若第二增强型分组EP2_1为2个 时，亦即第二增强型分组EP2J包括帧F0、F8、F4、F2、F6、F1、F3、F5、F7、F16、 . . 的增强 层EL0—1 、 EL0_2 、 EL8—1 、 EL8_2 、 EL4—1 、 EL4_2 、 EL2—1 、 EL2_2 、 EL6—1 、 EL6_2 、 EL1_1 、 EL1_2 、 EL3_1 、 EL3_2、 EL5—1 、 EL5_2、 EL7_1 、 EL7_2、 EL16_1 、 EL16_2、 ，第二增强型分组EP2_2包 括帧F0、F8、F4、F2、F6、F1、F3、F5、F7、F16、.的增强层EL0_3、EL0_4、EL0_5、EL0_6、EL8_3、 EL8_4、 EL8_5、 EL8_6、 EL4_3、 EL4_4、 EL4_5、 EL4_6、 EL2_3、 EL2_4、 EL2_5、 EL2_6、 EL6_3、 EL6_4、 EL6_5、 EL6_6、 EL1_3、 EL1_4、 EL1_5、 EL1_6、 EL3_3、 EL3_4、 EL3_5、 EL3_6、 EL5_3、 EL5_4、 EL5_5、 EL5_6、 EL7_3、 EL7_4、 EL7_5、 EL7_6、 EL16_3、 EL16_4、 EL16_5、 EL16_6、...。
其余第二增强型分组的封装方式可以参照前述说明，故在此不再赘述。
接着，将上述基本层分组、增强型分组、第二增强型分组以及第三增强型分组放置 于网络上，使用者便可依据当时网络带宽的大小，而决定在接收基本层分组之后，是否还需 要接收增强型分组、第二增强型分组以及第三增强型分组，来增加视频画面播放的品质。
图6绘示为本发明实施例的可调性视频编码标准的比特流封装方法的流程图。请 参照图6，请合并参照图2与图6，而图6的步骤S601、S603与S605的运作流程可以参照图 4的步骤S401、 S403与S405，故在此不再赘述。 接着，在步骤S605中，若是帧的复杂程度为简单(亦即运动向量为小)时，则将部 分帧的基本层封装成基本层分组，而将剩余帧的基本层封装成至少一增强型分组其中增强 型分组至少包含由一关键画面所预估得到的画面数据。在本实施例中，关键画面为帧F0。
举例来说，基本层分组BP包括帧F0、F8、F16、...的分辨率方面基本层-QCIF BLO、 BL8、BL16、...。而增强型分组可以为l个，亦即增强型分组EPlj可以包括帧F4、F2、F6、 F1、F3、F5、F7、...的分辨率方面基本层-QCIF BL4、BL2、BL6、BL1、BL3、BL5、BL7、...。在一 些实施例中，增强型分组可以为2个，亦即增强型分组EP1J可以包括帧F4、F2、F6、...的 分辨率方面基本层-QCIF BL4、 BL2、 BL6、 ，增强型分组EP1_2可以包括帧Fl、 F3、 F5、 F7、...的分辨率方面基本层-QCIF BL1、BL3、BL5、BL7、...；或是增强型分组可以为3个，
11亦即增强型分组EP1J可以包括帧F4、...的分辨率方面基本层-QCIF 81^4、...，增强型 分组EP1_2可以包括帧F2、 F6、...的分辨率方面基本层-QCIF BL2、 BL6、...，增强型分组 EP1_3可以包括帧F1、F3、F5、F7、...的分辨率方面基本层-QCIF BL1、BL3、BL5、BL7、...。
之后，在步骤S607中，依据第二比特流参数的特征，将对应于基本层分组的帧的 增强层封装成至少一第二增强型分组，而将对应于增强型分组的帧的增强层封装成至少一 第三增强型分组。接着，在步骤S609中，依据第三比特流参数的特征，将对应于基本层分组 的帧的增强层封装成至少一第四增强型分组，将对应于增强型分组的帧的增强层封装成至 少一第五增强型分组，再依据第二比特流参数特征，将对应于基本层分组的帧的增强层封 装成至少一第六增强型分组，将对应于加强分组的帧的增强层封装成至少一第七增强型分 组。在本实施例中，第二比特流参数与第三增强型分组分别为量化参数与区块大小，且第二 比特流参数与第三比特流参数各自不同。以第二比特流参数与第三比特流参数为依据所封 装而成的增强型分组，可以用来增加画面的品质。 举例来说，参考图7A说明第六实施例的SVC比特流封装的结果示意图。若是基本 层分组BP包括帧FO、 F8、 F16、 的分辨率方面基本层-QCIF BLO、 BL8、 BL16、 ，增强 型分组EPlj包括帧F4、F2、F6、F1、F3、F5、F7、...的分辨率方面基本层-QCIF BL4、BL2、 BL6、BL1、BL3、BL5、BL7、...时，则第二增强型分组EP2_1包括帧F0、F8、F16、...的增强层 EL0_1、EL0_2、EL8_1、EL8_2、EL16_1、EL16_2、 .。 第三增强型分组EP3_1包括帧F4、 F2、 F6、 Fl、 F3、 F5、 F7、 的增强层EL4_1、 EL4_2、 EL2_1、 EL2_2、 EL6_1、 EL6_2、 EL1_1、 EL1_2、 EL3_1、 EL3_2、 EL5_1、 EL5_2、 EL7_1、 EL7_2、 。第四增强型分组EP4—1包括帧FO、 F8、 F16、 的增强层EL0_3、 EL8_3、 EL16_3、. .。 第五增强型分组EP5—1包括帧F4、 F2、 F6、 Fl、 F3、 F5、 F7、 的增强层EL4_3、 EL2_3、 EL6_3、 EL1_3、 EL3_3、 EL5_3、 EL7_3、...。第六增强型分组EP6_1包括帧FO、 F8、 F16、.的增强层EL0_4、EL0_5、EL0_6、EL8_4、EL8_5、EL8_6、EL16_4、EL16_5、EL16_6、.。
第七增强型分组EP7—1包括帧F4、 F2、 F6、 Fl、 F3、 F5、 F7、 的增强层EL4_4、 EL4_5、 EL4_6、 EL2_4、 EL2_5、 EL2_6、 EL6_4、 EL6_5、 EL6_6、 EL1_4、 EL1_5、 EL1_6、 EL3_4、 EL3_5、 EL3_6、 EL5_4、 EL5_5、 EL5_6、 EL7_4、 EL7_5、 EL7_6、.。 另外，参考图7B说明第七实施例的SVC比特流封装的结果示意图。若是基本层分 组BP包括帧F0、F8、F16、...的分辨率方面基本层-QCIF BLO、 BL8、 BL16、...，增强型分组 EP1—1包括帧F4、 F2、 F6、 的分辨率方面基本层-QCIF BL4、 BL2、 BL6、 ，增强型分组 EP1—2包括帧Fl、 F3、 F5、 F7、 的基本层BL1、 BL3、 BL5、 BL7、 时，则第二增强型分组 EP2_1包括帧F0、F8、F16、. . 的增强层EL0_1、EL0_2、EL8_1、EL8_2、EL16_1、EL16_2、 。 第三增强型分组EP3_1包括帧F4、F2、F6、...的增强层EL4_1、EL4_2、EL2_1、EL2_2、EL6_1、 EL6_2、.，第三增强型分组EP3—2包括帧F1、F3、F5、F7、.的增强层ELlj、ELl—2、EL3j、 EL3_2 、 EL5—1、 EL5_2 、 EL7—1、 EL7_2 、。 第四增强型分组EP4_1包括帧FO、 F8、 F16、...的增强层EL0_3、 EL8_3、 EL16_3、...。第五增强型分组EP5j包括帧F4、 F2、 F6、 的增强层EL4_3、 EL2_3、 EL6_3、...。第五增强型分组EP5_2包括帧Fl、 F3、 F5、 F7、...的增强层EL1_3、 EL3_3、 EL5 3、EL7 3、. 。
12
第六增强型分组EP6_1包括帧F0、 F8、 F16、 的增强层EL0_4、 EL0_5、 EL0_6、 EL8_4、EL8_5、EL8_6、EL16_4、EL16_5、EL16_6、.。第七增强型分组EP7_1包括帧F4、F2、 F6、...的增强层EL4_4、 EL4_5、 EL4_6、 EL2_4、 EL2_5、 EL2_6、 EL6_4、 EL6_5、 EL6_6、...。 第七增强型分组EP7_2包括帧Fl、 F3、 F5、 F7、 的增强层EL1_4、 EL1_5、 EL1_6、 EL3_4、 EL3_5、 EL3_6、 EL5_4、 EL5_5、 EL5_6、 EL7_4、 EL7_5、 EL7_6、.。 接着，参考图7C说明第八实施例的SVC比特流封装的结果示意图。若是基本层 分组BP包括帧F0、 F8、 F16、 的分辨率方面基本层-QCIF BLO、 BL8、 BL16、 ，增强型 分组EP1—1包括帧F4、 的分辨率方面基本层_QCIFBL4、 ，增强型分组EP1—2包括帧 F2、F6、...的分辨率方面基本层-QCIFBL2、BL6、...，增强型分组EP1—3包括帧F1、F3、F5、 F7、...的分辨率方面基本层-QCIF BL1、BL3、BL5、BL7、...时，则第二增强型分组EP2_1包 括帧F0、F8、F16、. .的增强层EL0j、EL0—2、EL8—l、EL8—2、EL16—l、EL16—2、. .。
第三增强型分组EP3—1包括帧F4、 的增强层EL4_1、 EL4_2、...。第三增强型 分组EP3—2包括帧F2、 F6、 的增强层EL2_1、 EL2_2、 EL6_1、 EL6_2、...。第三增强型分 组EP3_3包括帧Fl、 F3、 F5、 F7、...的增强层EL1_1、 EL1_2、 EL3_1、 EL3_2、 EL5_1、 EL5_2、 EL7_1、EL7_2、. .。 第四增强型分组EP4_1包括帧FO、 F8、 F16、...的增强层EL0_3、 EL8_3、 EL16_3、. .。 第五增强型分组EP5_1包括帧F4、...的增强层EL4_3、...。第五增强型分组 EP5_2包括帧F2、 F6、...的增强层EL2_3、 EL6_3、...。第五增强型分组EP5_3包括帧Fl、 F3、 F5、 F7、.的增强层EL1_3、 EL3_3、 EL5_3、 EL7_3、.。 第六增强型分组EP6_1包括帧FO、 F8、 F16、...的增强层EL0_4、 EL0_5、 EL0_6、 EL8_4、 EL8_5、 EL8_6、 EL16_4、 EL16_5、 EL16_6、...。 第七增强型分组EP7_1包括帧F4、...的增强层EL4_4、EL4_5、EL4_6、...。第七增 强型分组EP7—2包括帧F2、F6、.的增强层EL2_4、EL2_5、EL2_6、EL6_4、EL6_5、EL6_6、.。 第七增强型分组EP7_3包括帧Fl、 F3、 F5、 F7、 的增强层EL1_4、 EL1_5、 EL1_6、 EL3_4、 EL3_5、 EL3_6、 EL5_4、 EL5_5、 EL5_6、 EL7_4、 EL7_5、 EL7_6、.。 接着，将上述分组放置于网络上，以便于让使用者依据当时网络带宽的大小，自行 选择所需的分组，使得再观赏视频画面时不会产生断讯的现象。 另一方面，在步骤S605中，若是帧的复杂程度为复杂时，则将所有帧的基本层 封装成基本层分组。举例来说，基本层分组BP包括帧FO、 F8、 F4、 F2、 F6、 Fl、 F3、 F5、 F7、 F16、...的分辨率方面基本层-QCIF BL0、BL8、BL4、BL2、BL6、BL1、BL3、BL5、BL7、BL16、...，。
接着，在步骤S611中，依据第二比特流参数的特征，将对应于基本层分组的帧的 增强层封装成至少一第二增强型分组。之后，在步骤S613中，依据第三比特流参数，将对应 于基本层分组的帧的增强层封装成至少一第三增强型分组，再依据第二比特流参数，将对 应于基本层分组的帧的基本层封装成至少一第四增强型分组。 举例来说，参考图7D说明第九实施例的SVC比特流封装的结果示意图。第二增 强型分组EP21包括帧FO、 F8、 F4、 F2、 F6、 Fl、 F3、 F5、 F7、 F16、. . 的增强层EL0_1、 EL0_2、 EL8_1、 EL8_2、 EL4_1、 EL4_2、 EL2_1、 EL2_2、 EL6_1、 EL6_2、 EL1_1、 EL1_2、 EL3_1、 EL3_2、 EL5 1、EL5 2、EL7 1、EL7 2、 1、EL16 2、 。
第三增强型分组EP31包括帧F0、 F8、 F4、 F2、 F6、 Fl、 F3、 F5、 F7、 F16、 的增强 层EL0_3、 EL8_3、 EL4_3、 EL2_3、 EL6_3、 EL1_3、 EL3_3、 EL5_3、 EL7_3、 EL16_3、...。第四增 强型分组EP4J包括帧F0、F8、F4、F2、F6、F1、F3、F5、F7、F16、. . 的增强层EL0_4、EL0_5、 EL0_6、 EL8_4、 EL8_5、 EL8_6、 EL4_4、 EL4_5、 EL4_6、 EL2_4、 EL2_5、 EL2_6、 EL6_4、 EL6_5、 EL6_6、 EL1_4、 EL1_5、 EL1_6、 EL3_4、 EL3_5、 EL3_6、 EL5_4、 EL5_5、 EL5_6、 EL7_4、 EL7_5、 EL7_6、 EL16_4、 EL16_5、 EL16_6、 .。 接着，将上述分组放置于网络上时，使用者便可依据网络带宽的大小，下载所需的 基本层分组BP(亦即封装部分帧的基本层的基本层分组或是封装所有帧的基本层的基本 层分组)，进行视频画面的播放，以便于可以持续的观赏图像，而不会产生断讯的问题。接 着，若有多余带宽的状态下，使用者可以在下载增强型分组、第二增强型分组...等，以便 于增加视频画面的品质(亦即画面的分辨率)。 综上所述，上述诸实施例通过SVC比特流中比特流参数的特征，择性将帧的基本 层封装成基本层分组(亦即将所有帧的基本层封装成基本层分组或是将部分的帧的基本 层封装成基本层分组)。如此一来，在有限的带宽之下，可以增加画面播放的流畅度(亦即 不会因为网络拥塞而导致视频断讯)。另外，将未封装至基本层分组的帧的基本层以及帧中 的增强层，分别再封装成至少一增强型分组与至少一第二增强型分组，以便于在有多余的 带宽之下，可以使画面达到优选的画面品质。 虽然本发明已以实施例披露如上，然其并非用以限定本发明，任何所属技术领域 中普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的 保护范围当视权利要求所界定者为准。
权利要求
一种可调性视频编码标准的比特流封装方法，包括取得SVC比特流，其中该SVC比特流具有多个帧，且每一个该些帧具有基本层与多个增强层；依据该SVC比特流中的比特流参数的特征，分析该些帧的复杂程度；以及依据该些帧的复杂程度，选择性将该些帧的该基本层封装成基本层分组。
2. 如权利要求1所述的可调性视频编码标准的比特流封装方法，其中该比特流参数为 运动向量。
3. 如权利要求1所述的可调性视频编码标准的比特流封装方法，其中选择性将该些帧的该基本层封装成该基本层分组的步骤包括当该些帧的复杂程度较为简单时，将部分该些帧的该基本层封装成该基本层分组，而 将剩余该些帧的该基本层封装成至少一增强型分组，其中该增强型分组至少包含由一关键 画面所预估得到的画面数据；以及当该些帧的复杂程度为较复杂时，将所有该些帧的该基本层封装成该基本层分组。
4. 如权利要求3所述的可调性视频编码标准的比特流封装方法，其中该SVC比特流还 具有第二比特流参数，而于将部分该些帧的该基本层封装成该基本层分组，而将剩余该些 帧的该基本层封装成至少一增强型分组的步骤之后还包括依据该第二比特流参数的特征，将对应该基本层分组中的该些帧的该些增强层封装成 至少一第二增强型分组，将对应于增强型分组中的该些帧的该些增强层封装成至少一第三 增强型分组。
5. 如权利要求4所述的可调性视频编码标准的比特流封装方法，其中该第二比特流参 数为量化参数与区块大小其中之一。
6. 如权利要求4所述的可调性视频编码标准的比特流封装方法，其中该SVC比特流还 具有第三比特流参数，而于依据该第二比特流参数的特征，将对应该基本层分组中的该些 帧的该些增强层封装成至少一第二增强型分组，将对应于增强型分组中的该些帧的该些增 强层封装成至少一第三增强型分组的步骤之后还包括依据该第三比特流参数的特征，将对应该基本层分组中的该些帧的该些增强层封装成至少一第四增强型分组，将对应于增强型分组中的该些帧的该些增强层封装成至少一第五 增强型分组；以及依据该第二比特流参数的特征，将对应该基本层分组中的该些帧的该些增强层封装成 至少一第六增强型分组，将对应于增强型分组中的该些帧的该些增强层封装成至少一第七 增强型分组。
7. 如权利要求6所述的可调性视频编码标准的比特流封装方法，其中该第二比特流参 数与第三比特流参数分别为区块大小或量化参数，且第二比特流参数与第三比特流参数各 自不同。
8. 如权利要求3所述的可调性视频编码标准的比特流封装方法，其中该SVC比特流还 具有第二比特流参数，而于将所有该些帧的该基本层封装成该基本层分组的步骤之后还包 括依据该第二比特流参数的特征，将对应该基本层分组中的该些帧的该些增强层封装成 至少一第二增强型分组。
9. 如权利要求8所述的可调性视频编码标准的比特流封装方法，其中该第二比特流参 数为量化参数与区块大小其中之一。
10. 如权利要求8所述的可调性视频编码标准的比特流封装方法，其中该SVC比特流还 具有第三比特流参数，而于依据该第二比特流参数的特征，将对应该基本层分组中的该些 帧的该些增强层封装成至少一第二增强型分组的步骤之后还包括依据第三比特流参数的特征，将对应该基本层分组中的该些帧的该些增强层封装成至 少一第三增强型分组；以及依据第二比特流参数的特征，将对应该基本层分组中的该些帧的该些增强层封装成至 少一第四增强型分组。
11. 如权利要求io所述的可调性视频编码标准的比特流封装方法，其中该第二比特流参数与第三比特流参数分别为区块大小或量化参数，且第二比特流参数与第三比特流参数 各自不同。
12. —种可调性视频编码标准的比特流封装方法，包括下列步骤取得SVC比特流，其中该SVC比特流具有多个帧，且每一个该些帧具有基本层与多个增 强层；依据该SVC比特流的比特流参数的特征，分析该些帧的复杂程度； 依据该些帧的复杂程度，将所有该些帧的该基本层封装成基本层分组；以及 依据该基本层分组的封装机制与该SVC比特流中的第二比特流参数与第三比特流参数的特征，将对应于基本层分组的该些帧的该些增强层封装成至少一第二增强型分组与至少一第三增强型分组。
13. 如权利要求12所述的可调性视频编码标准的比特流封装方法，还包括 依据该些帧的复杂程度，将部分该些帧的该基本层封装成第二基本层分组，而将剩余该些帧的该基本层封装成至少一增强型分组，其中该增强型分组至少包含由一关键画面所 预估得到的画面数据；以及依据该SVC比特流中的该第二比特流参数与该第三比特流参数的特征，将对应于基本 层分组的该些帧的增强封装成至少一第四增强型分组与至少一第五增强型分组，而将对应 于增强型分组的该些帧的该些增强层封装成至少一第六增强型分组与至少一第七增强型 分组。
14. 如权利要求13项所述可调性视频编码标准的比特流封装方法，其中该比特流参数 为运动向量，而该第二比特流参数与该第三比特流参数分别为量化参数与区块大小其中之 一，且该第二比特流参数与第三比特流参数各自不相同。
全文摘要
一种可调性视频编码(Scalable Video Coding，SVC)标准的比特流封装方法，包括下列步骤。首先，取得SVC比特流，此SVC比特流具有多个帧，且每一个帧具有基本层与多个增强层。依据SVC比特流中的比特流参数的特征，分析帧的复杂程度，再依据帧的复杂程度，选择性将上述帧的基本层封装成基本层分组。接着，再依基本层分组封装机制，将其余剩下SVC比特流封装成多个增强型分组。
文档编号H04N7/24GK101783935SQ20091000368
公开日2010年7月21日 申请日期2009年1月19日 优先权日2009年1月19日
发明者涂日升, 高荣扬 申请人:财团法人工业技术研究院