变换。另外，在尺寸和形状方面，变换单元1014、1016、1022、 1032、1048、1050、1052和1054不同于预测单元1060中的变换单元。换言之，根据示例性实 施例的视频编码设备100和根据示例性实施例的视频解码设备200可对甚至同一编码单元 中的数据单元独立地执行帖内预测/运动估计/运动补偿W及频率变换/逆频率变换。
[0150] 因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行 编码来确定最优编码单元，从而可获得具有递归树结构的编码单元。编码信息可包括关于 编码单元的划分信息、关于分区类型的信息、关于预测模式的信息和关于变换单元的尺寸 的信息。表1示出可由根据示例性实施例的视频编码设备100和根据示例性实施例的视频 解码设备200设置的编码信息。
[0151] [表 1]
[0152]
[0153] 根据示例性实施例的视频编码设备100的输出单元130可输出关于具有树结构的 编码单元的编码信息，根据示例性实施例的视频解码设备200的图像数据和编码信息提取 器220可从接收到的比特流提取关于具有树结构的编码单元的编码信息。
[0154] 划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d 的划分信息是0,则当前编码单元不再被划分成更低深度的深度是编码深度，从而可针对所 述编码深度来定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元 根据划分信息被进一步划分，则对更低深度的四个划分编码单元独立地执行编码。
[0155] 预测模式可W是帖内模式、帖间模式和跳过模式中的一种。可在所有分区类型中 定义帖内模式和帖间模式，仅在尺寸为2NX2N的分区类型中定义跳过模式。
[0156] 关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获得的尺 寸为2NX2NJNXN、NX2N和NXN的对称分区类型，W及通过非对称地划分预测单元的高 度或宽度而获得的尺寸为2NXnU、2NXnD、nLX2N和nRX2N的非对称分区类型。可通过按 1:3和3:1来划分预测单元的高度来分别获得尺寸为2NXnU和2NXnD的非对称分区类型， 可通过按1:3和3:1来划分预测单元的宽度来分别获得尺寸为化X2N和nRX2N的非对称 分区类型。
[0157] 可将变换单元的尺寸设置成帖内模式下的两种类型和帖间模式下的两种类型。换 言之，如果变换单元的划分信息是0,则变换单元的尺寸可被设置为2NX2N，即当前编码单 元的尺寸。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单 元。另外，如果尺寸为2NX2N的当前编码单元的分区类型是对称分区类型时，则变换单元 的尺寸可被设置为NXN，如果当前编码单元的分区类型是非对称分区类型，则变换单元的 尺寸可被设置为N/2XN/2。
[015引根据示例性实施例的关于具有树结构的编码单元的编码信息可被分配给与编码 深度相应的编码单元、预测单元和最小单元中的至少一个。与编码深度相应的编码单元可 包括包含相同编码信息的预测单元和最小单元中的至少一个。
[0159] 因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在与编 码深度相应的同一编码单元中。另外，通过使用数据单元的编码信息来确定与编码深度相 应的相应编码单元，并因此可确定最大编码单元中的编码深度的分布。
[0160] 因此，如果通过参考邻近数据单元对当前编码单元进行预测，则可直接参考并使 用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。
[0161] 可选地，如果通过参考邻近数据单元对当前编码单元进行预测编码，则可通过使 用数据单元的编码信息来捜索较深层编码单元中的与当前编码单元邻近的数据单元，并可 参考捜索到的邻近编码单元W用于对当前编码单元进行预测编码。
[0162] 图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间 的关系的示图。
[0163] 最大编码单元1300包括根据编码深度的编码单元1302、1304、1306、1312、1314、 1316和1318。运里，由于编码单元1318是根据编码深度的编码单元，因此划分信息可被设 置成0。可将关于尺寸为2NX2N的编码单元1318的分区类型的信息设置成W下分区类型 中的一种：尺寸为2NX2N的分区类型1322、尺寸为2NXN的分区类型1324、尺寸为NX2N 的分区类型1326、尺寸为NXN的分区类型1328、尺寸为2NXnU的分区类型1332、尺寸为 2NXnD的分区类型1334、尺寸为化X2N的分区类型1336化及尺寸为nRX2N的分区类型 1338。
[0164] 例如，当分区类型被设置成对称（即，分区类型1322、1324、1326或1328)时，如果 变换单元的划分信息灯1]尺寸标记）是0,则设置尺寸为2NX2N的变换单元1342,如果TU 尺寸标记是1，则设置尺寸为NXN的变换单元1344。
[0165] 当分区类型被设置成非对称（即，分区类型1332、1334、1336或1338)时，如果TU 尺寸标记是0,则设置尺寸为2NX2N的变换单元1352,如果TU尺寸标记是1，则设置尺寸为 N/2XN/2的变换单元1354。
[0166] 参照图1至图13描述的包括具有树结构的编码单元的最大编码单元可被各式各 样地称为编码块树、块树、根块树、编码树、编码根或树干。
[0167] 将参照图14至图22描述用于对多层视频进行编码的方法和设备W及用于对多层 视频进行解码的方法和设备。在下文中，术语"图像"可W是指静止图像或运动画面，即，视 频本身。另外，编码顺序是在编码器侧对图像进行处理所根据的顺序，解码顺序是在解码器 侧对图像进行处理所根据的顺序。编码顺序和解码顺序是相同的。
[016引图14是根据本发明构思的多层视频解码设备的框图。
[0169] 参照图14,多层视频编码设备1400包括视频编码器1410和参考画面集（RP巧信 息产生单元1420。
[0170] 视频编码器1410接收多层视频，并对该多层视频进行编码。视频编码器1410对 应于对输入视频本身的编码进行处理的视频编码层。
[0171] 如W上参照图1至图13所述，根据示例性实施例的视频编码器1410将多层视频 中所包括的每个画面划分成均具有最大尺寸的最大编码单元，将每个划分的最大编码单元 再划分成编码单元，并基于运些编码单元对每个画面进行编码。编码单元具有最大编码单 元根据深度被分层划分的树结构。视频编码器1410通过使用预测单元来对编码单元执行 预测，并通过使用作为预测值和原始信号之间的差值的残差来对编码单元进行变换。
[0172] 多层视频可W是多视点视频或可伸缩视频。当多层视频是多视点视频时，视频编 码器1410将n个（其中，n是整数）图像序列中的每个作为一个层进行编码。当多层视频 是可伸缩视频时，视频编码器1410对基本层的图像序列和增强层的图像序列中的每个进 行编码。
[0173] 多层视频的数据量多于单层视频的数据量。因此，视频编码器1410可通过使用多 层视频中所包括的各层的图像之间的相关性来执行预测编码。换言之，视频编码器1410可 通过参考其它层的图像来对各层的图像进行预测编码。通过参考与当前层的图像不同的其 它层的图像而执行的预测过程被定义为层间预测。
[0174] 作为示例，视频编码器1410可执行用于参考基本视点图像来预测附加视点图像 的视点间预测。另外，视频编码器1410可执行用于参考预定的附加视点图像来预测其它附 加视点图像的视点间预测。根据视点间预测，可产生当前图像和参考图像之间的视差W及 作为当前图像和参考图像之间的差分量的残差。如上所述，可基于具有树结构的编码单元、 预测单元或变换单元来执行层间预测。
[0175] 视频编码器1410可在同一层的图像内执行帖间预测和帖内预测，或者在使用其 它层的图像的情况下，可经由层间预测来预测多层中所包括的画面之间的关系。另外，视频 编码器1410可通过对通过帖间预测、帖内预测和层间预测而产生的预测信号与原始信号 之间的差进行变换和量化来执行编码。通过视频编码层（VCL)中的运样的编码过程，视频 编码器1410输出与编码单元相关的残差信息、预测模式信息W及与编码单元的预测编码 相关的附加信息。
[0176] 图18示出根据示例性实施例的层间预测结构的示例。
[0177] 如上所述，根据示例性实施例实施例的多层视频编码设备1400可执行层间预测， 其中，在对各层的画面进行预测编码时，其它层的画面被参考。例如，图18的层间预测结构 1800表示用于对由中屯、视点的第一层图像、左视点的第二层图像和右视点的第=层图像构 成的立体图像序列进行预测编码的预测结构。在图18中，箭头表示每个画面的参考方向。 例如，第一层的I画面41用作第二层的P画面141和第S层的P画面241的参考画面。另 夕F，具有相同POC顺序的图像被垂直布置。图像的POC顺序指示构成视频的画面的输出顺 序或再现顺序。在层间预测结构1800中，"P0C#"指示位于相应列中的画面的相对输出顺 序。视点图像的四个连续图像构成用于每个视点的单个画面组（GOP)。每个GOP包括连续 的错画面和单个关键画面之间的图像。GOP中所包括的图像的数量和配置可被修改。
[0178] 错画面是随机存取点，关于运一点，当从根据视频的再现顺序（即，根据POC顺序） 布置的图像选择预定再现位置时，POC顺序最靠近再现位置的错画面被再现。第一层图像 包括基本视点错画面41、42、43、44和45，第二层图像包括左视点错画面141、142、143、144 和145,第=层图像包括右视点错画面241、242、243、244和245。如图18所示，可对多层中 所包括的画面执行层间预测，其中，在层间预测中，不仅同一层的画面被参考，其它层的图 像也被参考。
[0179] 视频编码器1410对多层中所包括的画面之中的被设置用于随机访问的随机访问 点（RAP)画面进行编码。RAP的示例是瞬时解码刷新（instantanousdecodingre化esh) (IDR)画面、纯净随机访问kleanrandomaccess) (CRA)画面、断链访问化rokenlink access)度LA)画面、时间子层访问（TSA)画面W及逐步时间子层访问（STSA)画面。通过帖 内预测而不参考其它画面，对RAP画面进行编码。视频编码器1410可仅对多层中所包括的 画面之中的不是RAP画面（非RAP画面）的画面执行层间预测。然而，RAP画面可用作其 它层的参考画面。
[0180] 视频编码器1410可通过帖内预测、帖间预测和层间预测来确定多层中所包括的 画面之间的参考关系。也就是说，视频编码器1410可确定当对多层中所包括的每个画面进 行预测编码时哪个画面被参考。可基于率失真成本来确定被每个画面参考的最优参考画 面，或者可根据视频编码器1410预设的编码规则来确定输入图像序列之间的参考关系。
[0181] 为了使解码器对图像进行重建，关于由通过帖间预测或层间预测而编码的画面 所参考的参考画面的信息必须被发送。因此，WS信息产生单元1420产生关于由多层中 所包括的每个画面所参考的参考画面的WS信息，并输出该WS信息。WS信息可W是 指示先前被重建并被存储在解码画面缓冲器值PB)中的画面是否被用作当前画面和在当 前画面之后的画面的参考画面。根据示例性实施例的WS信息包括第一短期WS信息 巧6巧;[。5日151:011'巧日化'日）、第二短期1??5信息巧日巧;[。5日151:01祥4;1^日1')、第^短期尺口8 信息（Re巧icSetStFoll)、第一长期RPS信息（Re巧icSetLtCurr)W及第二长期RPS信息 (Re巧icSetLtFoll)。具体地，根据示例性实施例的RPS信息还包括层间RPS信息，其中，层 间WS信息指示关于同一访问单元（AU)中所包括的画面之间的层间预测的参考关系，并通 过考虑在多层视频中被层间预测的参考关系而被发送。层间WS信息可包括运样的信息： 该信息指示具有与当前画面相同的POC的包括在其它层中且先前被存储在DPB中的画面是 否用作对当前画面进行层间预测的参考画面。根据示例性实施例的WS信息可被包括在每 个画面的条带头中并被发送。稍后将详细描述WS信息。
[0182] 图15是根据示例性实施例的多层视频编码方法的流程图。
[0183] 参照图14和图15,在操作1510,视频编码器1410对多层中所包括的画面执行帖 内预测、帖间预测和层间预测，并确定多层中所包括的画面之间的参考关系。
[0184] 在操作1520,WS信息产生单元1420基于多层画面之间的参考关系、编码顺序和 输出顺序，来产生并输出作为被每个画面参考的参考画面信息的WS信息。如上所述，每个 画面的WS信息可被包括在每个画面的条带头中并被发送。WS信息产生单元1420可产生 第一短期PRS信息（Re巧icSetStOirrbefore)、第二短期RPS信息（Re巧icSetStAfter)、第 S短期RPS信息（Re巧icSetStFoll)、第一长期RPS信息（Re巧icSetLtCurr)W及第二长 期RPS信息（Re巧icSetLtFoll)，并将运些信息添加到当前画面的条带头。另外，RPS信息 产生单元1420可产生关于具有与当前画面相同的POC的包括在其它层中且在对当前画面 进行层间预测期间被参考的参考画面的层间WS信息，并将该层间WS信息添加到当前画 面的条带头。
[0185] 图16是示出根据示例性实施例的多层视频解码设备的框图。
[0186] 参照图16,多层视频解码设备1600包括解析器1605、视频解码器1610、DPB1620 W及DPB控制器1630。
[0187] 解析器1605接收编码比特流，并从该比特流获得视频参数集（VP巧、序列参数集 (SPS)、画面参数集（PPS)、条带W及SEI消息。具体地，解析器1605从该比特流获得用于 确定编码多层中所包括的画面之间的参考关系的WS信息。WS信息被包括在每个画面 的条带头中，并且在每个画面的解码过程之前首先被编码。就层间预测而言，WS信息可 包括指示多层中的包括在一个访问单元中且具有相同POC的画面之间的参考关系的层间WS信息。也就是说，WS信息包括关于在层间预测期间被每个画面参考的参考画面的信 息。此外，RPS信息可包括第