具有时间可伸缩性的对视频进行编码的方法和设备以及具有时间可伸缩性的对视频进行 ...的制作方法
【技术领域】
[0001] 本发明涉及对视频进行编码和解码，更具体地讲，涉及具有时间可伸缩性的视频 编码和解码方法以及设备。
【背景技术】
[0002] 诸如ITU-TH. 261、ISO/IECMPEG-I视觉、IUT-TH. 262 (ISO/IECMPEG-2 视觉）、 ITU-TH. 264、ISO/IECMPEG-4 视觉和ITU-TH. 264 (ISO/IECMPEG-4AVC)的视频编解码器 经由帧间预测或帧内预测对宏块执行预测编码，并通过使用编码的图像数据根据由每个视 频编解码器定义的预定格式来产生和输出比特流。
[0003] 根据现有技术，通过应用分层B画面或运动补偿的时间滤波（MCTF)来提供具有时 间可伸缩性的视频。
【发明内容】
[0004] 技术问题
[0005] 由于在时间层切换期间被访问的时间层访问画面之后被编码的画面可将在时间 层访问画面之前被编码的画面用作参考画面，因此可提高视频压缩效率。
[0006] 此外，可在网络适应层（NAL)单元中将时间层访问画面的传输单元数据和在时间 层切换期间不能被解码的画面的传输单元数据彼此区分开。
[0007] 解决方案
[0008] 根据本发明的实施例，通过对在能够被在时间层访问画面之后被解码的画面参考 的画面何时被限制以及何时不被限制进行区分，来对时间层访问画面进行分类，并且用于 标识分类后的时间层访问画面的信息被添加到传输数据单元。
[0009] 有益效果
[0010] 根据本发明的一个或更多个实施例，可通过识别和丢弃关于无法在时间层访问画 面之后被解码的画面的网络适应层（NAL)单元，跳过对画面进行解码的不必要处理，并节 省硬件资源。此外，根据本发明的一个或更多个实施例，由于在时间层访问画面之后被编 码的画面可将在时间层访问画面之前被编码的画面用作参考画面，因此可提高视频压缩效 率。
【附图说明】
[0011] 图1是根据本发明的实施例的视频编码设备的框图。
[0012] 图2是根据本发明的实施例的视频解码设备的框图。
[0013] 图3是示出根据本发明的实施例的编码单元的构思的示图。
[0014] 图4是根据本发明的实施例的基于编码单元的图像编码器的框图。
[0015] 图5是根据本发明的实施例的基于编码单元的图像解码器的框图。
[0016] 图6是示出根据本发明的实施例的根据深度的较深层编码单元以及分区的示图。
[0017] 图7是示出根据本发明的实施例的编码单元和变换单元之间的关系的示图。
[0018] 图8是示出根据本发明的实施例的与编码深度相应的编码单元的编码信息的示 图。
[0019] 图9是根据本发明的实施例的根据深度的较深层编码单元的示图。
[0020] 图10、图11和图12是示出根据本发明的实施例的编码单元、预测单元和频率变换 单元之间的关系的示图。
[0021] 图13是示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关 系的不图。
[0022] 图14是根据本发明的实施例的具有时间可伸缩性的视频编码设备的示图。
[0023] 图15是根据本发明的实施例的包括在画面序列中的被划分为时间子层的画面的 示图。
[0024] 图16是根据本发明的实施例的根据帧率显示的画面的示图。
[0025] 图17是用于描述根据本发明的实施例的领导画面（leadingpicture)和第一时 间层访问的示图。
[0026] 图18是用于描述根据本发明的实施例的在时间层向上切换期间无法被解码的领 导画面的示图。
[0027] 图19是根据本发明的实施例的网络适应层（NAL)单元的示图。
[0028] 图20是示出根据本发明的实施例的具有时间可伸缩性的视频编码方法的流程 图。
[0029] 图21是根据本发明的实施例的具有时间可伸缩性的视频解码设备的示图。
[0030] 图22是示出根据本发明的实施例的具有时间可伸缩性的视频解码方法的流程 图。
[0031] 最佳实施方式
[0032] 根据本发明的一方面，提供一种具有时间可伸缩性的视频编码方法，所述视频编 码方法包括：将包括在画面序列中的画面划分为时间子层；基于在时间层访问画面之后被 编码的并属于与时间层访问画面相同的时间子层或属于比时间层访问画面更高的时间子 层的画面是否能够参考在时间层访问画面之前被编码的画面，将时间层访问画面分类为第 一时间层访问画面或第二时间层访问画面；将用于标识第一时间层访问画面和第二时间层 访问画面的类型语法信息添加到包括时间层访问画面的传输单元数据。
[0033] 根据本发明的另一方面，提供一种具有时间可伸缩性的视频编码设备，所述视频 编码设备包括：视频编码器，将包括在画面序列中的画面划分为时间子层；复用器，基于在 时间层访问画面之后被编码的并属于与时间层访问画面相同的时间子层或属于比时间层 访问画面更高的时间子层的画面是否能够参考在时间层访问画面之前被编码的画面，将时 间层访问画面分类为第一时间层访问画面或第二时间层访问画面，并且，将用于标识第一 时间层访问画面和第二时间层访问画面的类型语法信息添加到包括时间层访问画面的传 输单元数据。
[0034] 根据本发明的另一方面，提供一种具有时间可伸缩性的视频解码方法，所述视频 解码方法包括：接收通过将包括在画面序列中的画面划分为时间子层并进行编码而获得的 传输单元数据；通过使用包括在传输单元数据中的类型语法信息，识别这样的传输单元数 据：该传输单元数据包括被访问以进行从更低时间子层到更高时间子层的时间层向上切换 的时间层访问画面，其中，基于在时间层访问画面之后被解码的并属于与时间层访问画面 相同的时间子层或属于比时间层访问画面更高的时间子层的画面是否能够参考在时间层 访问画面之前被解码的画面，时间层访问画面被分类为第一时间层访问画面或第二时间层 访问画面。
[0035] 根据本发明的另一方面，提供一种具有时间可伸缩性的视频解码设备，所述视频 解码设备包括：接收器，接收通过将包括在画面序列中的画面划分为时间子层并进行编码 而获得的传输单元数据；反向复用器，通过使用包括在传输单元数据中的类型语法信息，识 别这样的传输单元数据：该传输单元数据包括被访问以进行从更低时间子层到更高时间子 层的时间层向上切换的时间层访问画面，其中，基于在时间层访问画面之后被解码的并属 于与时间层访问画面相同的时间子层或属于比时间层访问画面更高的时间子层的画面是 否能够参考在时间层访问画面之前被解码的画面，时间层访问画面被分类为第一时间层访 问画面或第二时间层访问画面。
【具体实施方式】
[0036] 在下文中，将参照附图更加全面地描述本发明的一个或更多个实施例。在描述本 发明的一个或更多个实施例的同时，图像可包括静止图像或运动图像，并且还可被称为视 频。此外，在描述本发明的一个或更多个实施例的同时，图像帧还可被称为画面。
[0037] 图1是根据本发明的实施例的视频编码设备的框图。
[0038] 根据实施例的视频编码设备100包括最大编码单元划分器110、编码单元确定器 120和输出单元130。
[0039] 最大编码单元划分器110可基于图像的当前画面的最大编码单元来划分当前画 面，其中，最大编码单元是具有最大尺寸的编码单元。如果当前画面大于最大编码单元，则 可将当前画面的图像数据划分为至少一个最大编码单元。根据实施例的最大编码单元可以 是尺寸为32X32、64X64、128X128或256X256的数据单元，其中，数据单元的形状是宽度 和长度为2的若干次方的正方形。图像数据可根据至少一个最大编码单元被输出到编码单 元确定器120。
[0040] 根据实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码 单元被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编码单 兀被划分到最小编码单兀。最大编码单兀的株度为最尚株度，最小编码单兀的株度为最低 深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此与 更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
[0041] 如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单 元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根 据实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的空间域的 图像数据进行分层分类。
[0042] 可预先设置编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 制最大编码单元的高度和宽度被分层划分的总次数。
[0043] 编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的 至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码结 果的深度。换言之，编码单元确定器120通过根据当前画面的最大编码单元以根据深度的 较深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定编码深度。 将确定的编码深度和根据最大编码单元的图像数据输出到输出单元130。
[0044] 基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对最大编码 单元中的图像数据进行编码，并且基于每个较深层编码单元比较编码结果。在对较深层编 码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码 单元选择至少一个编码深度。
[0045] 随着编码单元根据深度而被分层地划分，最大编码单元的尺寸被划分，并且编码 单元的数量增加。另外，即使在一个最大编码单元中编码单元与同一深度相应，仍通过分别 测量每个编码单元的数据的编码误差来确定是否将与同一深度相应的每个编码单元划分 到更低深度。因此，即使数据被包括在一个最大编码单元中，根据深度的编码误差根据区域 而不同，因此编码深度可根据区域而不同。因此，可针对一个最大编码单元确定一个或