码模块210可根据概率分布对输入比特流进行熵解码，以生成包括量化后系 数形式的码元的码元。熵解码是接收二进制序列以生成码元的方法。熵解码方法与前述熵 编码方法类似。
[0052] 量化后系数由反量化模块220反量化，并由逆变换模块230逆变换，由此生成重构 的残差块。
[0053] 在帧内模式中，帧内预测模块240可使用当前块周围的预先编码的块的像素值来 执行空间预测，以生成预测块。在帧间模式中，运动补偿模块250可使用运动向量和参考画 面缓冲器270中存储的参考画面来执行运动补偿，由此生成预测块。
[0054] 重构的残差块和预测块由加法器255相加，并且相加的块经受滤波模块260。滤波 模块260可向重构的块或重构的画面应用解块滤波、SA0、和ALF中的至少一个。滤波模块 260输出重组的画面，即重构的画面。重构的画面被存储在参考画面缓冲器270中，以被用 于帧间预测。
[0055] 在解码设备200的熵解码模块210、反量化模块220、逆变换模块230、帧内预测模 块240、运动补偿模块250、滤波模块260、和参考画面缓冲器270之中，与视频解码直接相关 的组件，诸如熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块240、运动补 偿模块250和滤波模块260可被其它组件分离地定义为解码器或解码单元。
[0056] 此外，解码设备200可进一步包括解析模块（未示出），以解析关于比特流中包括 的编码后视频的信息。解析模块可包括熵解码模块210,或者可被包括在熵解码模块210 中。解析模块可被提供为解码单元的一个组件。
[0057] 图3是示意性图示了根据本发明实施例的使用多层的可伸缩视频编码结构的概 念图。在图3中，画面组（GOP)表示画面组，即，一组画面。
[0058] 为了传送视频数据，需要传送介质，并且其性能可根据各种网络环境针对每一传 送介质而不同。为了应用到各种传送介质或网络环境，可提供可伸缩视频编码方法。
[0059] 可伸缩视频编码方法是这样的编码方法，其利用纹理信息、运动信息、或层间的残 差信号等来去除层间冗余，由此改进编码和解码性能。可伸缩视频编码方法可根据诸如传 送比特率、传送误差率、和系统资源的周围条件，在空间、时间、质量和视点方面，提供各种 可伸缩性。
[0060] 可通过使用多层结构来执行可伸缩视频编码，以便提供可向各种网络状况应用的 比特流。例如，可伸缩视频编码结构可包括其中使用一般视频解码方法来压缩和处理视频 的基础层，并且还包括其中使用基础层的解码信息和一般视频解码方法两者来压缩和处理 视频数据的增强层。
[0061] 这里，层表示根据空间方面（例如，画面尺寸）、时间方面（例如，编码顺序、画面输 出顺序和帧频）、画面质量、视点、复杂度等分类的画面和比特流的集合。此外，基础层可表 示更低层或参考层，而增强层可表示更高层。多层可具有彼此之间的从属性。
[0062] 参考图3,例如，基础层可通过标准清晰度（SD)、15Hz帧频和IMbps比特率来定义， 第一增强层可通过高清晰度（HD)、30Hz帧频和3. 9Mbps比特率来定义，并且第二增强层可 通过4K-超高清晰度（UHD)、60Hz帧频和27. 2Mbps来定义。这些格式、帧频和比特率仅为 了示意性目的而提供，并且可根据需要改变和修改。此外，使用的层的数目可取决于情况改 变，而不限于当前实施例。
[0063] 例如，当传送带宽是4Mbps时，可按照降低为15Hz或更少的帧频来传送第一增强 层HD。可伸缩视频编码方法可通过使用在上面参考图3描述的方法来提供空间、时间、质量 和视点可伸缩性。
[0064] 可伸缩视频编码可表示编码时的可伸缩视频编码、以及解码时的可伸缩视频解 码。
[0065] 本发明涉及编码/解码包括多个层或视图的视频的处理，其中所述多个层或视图 可被表达为第一、第二、第三和第η层或视图。尽管将参考包括第一层和第二层的画面来进 行以下描述，但是可向包括两个或多个层或视图的画面应用相同处理。第一层可被表示为 基础层，并且第二层可被表示为上层。此外，第一层也可被表示为参考层，并且第二层可被 表示为增强层。
[0066] 与第二层画面/块对应的第一层中的画面/块可被调整为第二层画面/块的尺 寸。即，如果第一层画面/块的尺寸小于第二层画面/块的尺寸，则可使用上采样或重采样 来缩放第一层画面/块。
[0067] 第一层画面可被添加到用于第二层的参考画面列表，并被用于编码/解码第二层 视频。这里，第二层可经受使用参考画面列表中的第一层画面的预测和编码/解码，如同一 般帧间预测中那样。
[0068] 用于编码/解码的块可具有N X N尺寸（例如，4χ 4、8χ 8、16χ 16、32χ 32和64χ 64)的正方形形状或N χ M尺寸（例如，4χ 8、16χ 8和8x32)的长方形形状，并且块单元可 以是编码块（CB)、预测块（PB)和变换块（TB)的至少一个，它们可具有不同尺寸。
[0069] 其后，将在编码和解码可伸缩视频（即，使用多层结构的视频）的方法中描述生成 上层中的编码/解码目标块（"当前块"或"目标块）的预测块（即，预测信号）的方法。 以下方法或设备可一般应用到编码设备和解码设备两者。
[0070] 其间，根据可伸缩高效率视频编码（SHVC)和多视图高效率视频编码（MV-HEVC)标 准的当前草案，在表格1中描述profile_tier_level，其规定对于视频参数集（VPS)扩展中 的层集合使用的分布图、等级（tier)和级别（level)。
[0071] 〈表格 1>
[0072]
[0073] 参考表格 1，vps_num_profile_tier_level_minusl 所规定的值指不 VPS 中的 profile_tier_level ()语法结构的数目。
[0074] vps_profile_present_flag[i]等于 1 指不在第 i 个 profile_tier_level ()语 法结构中存在分布图和等级信息，而vps_profile_present_flag[i]等于0指示在第i个 profile_tier_level ()语法结构中不存在分布图和等级信息但是被推断出。
[0075] prof ile_ref_minusl [i]指不用于第 i 个 prof ile_tier_level ()语法结构的 分布图和等级信息被推断为等于用于第（profile_ref_minusl [i]+l)个profile_tier_ level ()语法结构的分布图和等级信息。这里，profile_ref_minusl [i]加1小于或等于i。
[0076] 根据表格1中的标准的当前草案，当i为1并且vps_profile_present_flag[l] 为0时，用于第一个profi le_tier_level ()语法结构的分布图和等级信息需要从第 (profile_ref_minusl [i]+1)个 profile_tier_level ()语法结构推断。艮P，profile_ref_ minusl [1] +1 需要为 1 或 0〇 当 profile_ref_minusl [1] +1 为 0 时，profile_ref_minusl [1] 为-1，由此破坏在u(6)中编码的profile_ref_minusl [i]的语法定义。
[0077] 此外，当（profile_ref_minusl [1]+1)为1时，可出现以下问题，其中需要从第一 个profile_tier_level语法结构推断第一分布图和等级信息。
[0078] 为了解决该问题，向语法的语义添加以下限制，即，对于第一个pr〇file_ti er_ level语法结构vps_profile_present_flag[l]需要总是为1。在该情况下，表格1中的 vps_profile_present_flag[i]的语义可如下表达。
[0079] vps_profile_present_flag[i]等于 1 指不在第 i 个 profile_tier_level ()语 法结构中存在分布图和等级信息，而vps_profile_present_flag[i]等于0指示在第i个 profile_tier_level()语法结构中不存在分布图和等级信息但是被推断出。用于第一个 profile_tier_level 语法结构的 vps_profile_present_flag[l]需要为 1〇
[0080] 作为选择，可考虑表格2中图示的信令方法以解决以上问题。
[0081] 〈表格 2>
[0082]
[0083] 参考表格 2，vps_num_profile_tier_level_minusl 所规定的值指不 VPS 中的 profile_tier_level ()语法结构的数目。
[0084] vps_profile_present_flag[i]等于 1 指不在第 i 个 profile_tier_level ()语 法结构中存在分布图和等级信息，而vps_profile_present_flag[i]等于0指示分布图 和等级信息在第i个profile_tier_level〇语法结构中不存在，但是从关于第（i-Ι)个 profile_tier_level ()语法结构的分布图和等级信息推断出。用于第一个profile_tier_ level 语法结构的 vps_profile_present_flag[l]需要为 1〇
[0085] 根据表格2,不用信号通知profile_ref_minusl [1]。
[0086] 作为选择，可修改VPS的语法结构，使得甚至不具有熵解码器的媒体感知网络设 备（MNE)可解析VPS扩展。表格3到5图示了根据本发明各个实施例的VPS。
[0087] 〈表格 3>
[0088]
[0089] 〈表格 4>
[0090] υ?Ν 丄 丄乙乙 iff λ _/·?·? ?/
[0091] 〈表格 5>
[0092]
[0093] 参考表格3,经由VPS传送的vps_extension_offset规定从VPS NAL单元的开始 点到利用语法avc_base_layer_flag开始的固定长度编码的信息的字节偏移。
[0094] vps_extension_offset所定义的字节偏移使能对于不需要熵解码的VPS NAL单 元中的多条基本信息的存取，并使能会话协商。
[0095] 例如，不具有熵解码器的MANE可基于vps_extension_offset所规定的字节偏移 值，来解析不需要熵解码的多条基本信息，以用于会话协商。
[0096] 当不具有熵解码器的MANE基于用于会话协商的vps_extension_offset信息（而 没有vps_extension_offset之后的熵解码信息）来解析表格4的VPS扩展中的输出层集 合信息时，层标识符（ID)列表中的作为规定层的数目的变量的NumLayersInIdList需要被 熵解码为表格3中的根据vps_extension_offset之后规定的关于层集合的信息计算的值， 艮P layer_id_included_flag[i][j]〇
[0097] 为了使得VPS扩展中的输出层集合信息可用于会话协商而无需熵解码，可在表格 5的VPS扩展中规定关于层集合的信息。
[0098] 其间，表格5的VPS扩展中规定的与层集合相关的语法元素的语义如下。
[0099] 与 VPS 中规定的 vps_max_layer_id 相同的 vps_maximum_layer_id 规定编码视频 序列（CVS)的所有NAL单元的nuh_layer_id的最大许可值，并且可与VPS中描述的vps_ max_layer_id具有相同的值。
[0100] vps_number_layer_sets_minusl 规定层集合的数目，并且可在 vps_vui_offset 之前用信号通知。
[0101] 与 VPS 中规定的 layer_id_included_flag[i][j]类似，layer_id_nuh_ included_flag[i] [j]等于1指示等于j的nuh_layer