色彩间帧内预测的方法
【专利说明】
[0001] 夺叉引用
[0002] 本发明主张在2013年03月26日提出的申请号为61/805, 310、标题为"Improved Chroma LM Mode"的美国临时专利申请的优先权。因此在全文中合并参考这些美国临时专 利申请案。
技术领域
[0003] 本发明是有关于视频编码，特别是有关于利用基于另一颜色的重建像素色彩间 (inter-color)线性模式的帧内预测相关的编码技术。
【背景技术】
[0004] 运动补偿帧间编码已经广泛地应用于在各种编码标准中，例如，MPEG-1/2/4和 H.261/H.263/H.264/AVC。尽管运动补偿帧间（inter-frame)编码可以有效地降低已压缩 视频的比特率，但是需要帧内（Intra)编码来压缩具有较大的运动或场景改变的区域。此 外，帧内编码也用于起始图片的处理或周期性地插入I图片或I区块以用于随机存取或用 于减轻误差传输。帧内预测利用图片或图片区域内的空间相关性。在实践中，图片或图片 区域被划分为区块，以及帧内预测以区块为基础来执行。当前区块的帧内预测可以依赖已 经处理的相邻区块中的像素。举例来说，若先从左到右再从上到下逐行处理在图片或图片 区域中的区块，则当前区块的顶部的相邻区块或左侧的相邻区块可产生用于当前区块中的 像素的帧内预测。尽管已处理的相邻区块中的任意像素可用于当前区块中像素的帧内预测 子，但是通常仅使用与当前区块顶部和左侧边界相邻的相邻区块的像素。
[0005] 通常设计帧内预测子（Intra predictor)来提取图片中的空间特征，例如，平滑区 域（直流模式）、垂直线或边缘、水平线或边缘以及对角线或边缘。进一步，空间相关性通常 存在于亮度和色度组分之间。因此，重建的亮度像素可以用于得到帧内色度预测。在新一 代高效视频编码（High Efficiency Video Coding，HEVC)中，考虑基于重建的亮度信号的 色度帧内预测模式。在此种类型的色度帧内预测称为线性模型（Linear Model，以下简称 为LM)预测。图1描述了 LM模式的帧内预测的推导。首先，图1中色度区块（即，U区块或 V区块）的相邻重建像素（由圆形表示）和同一位置的亮度区块（即，Y区块）的相邻重建 像素（由圆形表示）用于推导在区块间的线性模块参数。利用亮度区块的参数和重建像素 来产生色度区块的预测像素。在参数推导中，使用顶部重建像素行和左侧重建像素列，顶部 重建像素行相邻于当前亮度区块的顶部区块边界，以及左侧重建像素列相邻于当前亮度区 块的左侧区块边界。请注意，为了匹配色度像素的采样位置，自左侧边界的第二左侧的重建 像素列代替左侧边界直接相邻的左侧列。为了匹配色度组分的4:2:0采样格式，使用亮度 区块的特定行和列。尽管图1描述了用于4:2:0采样格式的线性模块色度模式的示例，但 是用于其他色度采样格式的线性模型色度模式也可以相似地推导。
[0006] 根据线性模型预测模式，自同一位置区块的重建亮度值预测色度值。与亮度组分 相比，色度组分可具有较低空间分辨率。为使用用于色度帧内预测的亮度信号，可降低亮度 信号的分辨率以匹配色度组分的分辨率。举例来说，对于4:2:0米样格式，U组分和V组分 在垂直和水平方向上具有的采样数目仅为亮度组分的一半。因此，在垂直和水平方向上降 低为原来的二分之一的分辨率应用于重建的亮度采样。分辨率降低可通过下采样过程或子 采样过程来完成。
[0007] 在线性模块色度模式中，对于将要预测的色度采样V及其同一位置的重建亮度采 样VMl，产生LM预测子P的线性模型的公式如下所示：
[0008] P= a ?Vcol+b
[0009] 在上述公式中，a和b称为LM参数。LM参数可以自当前区块周围的相邻重建亮 度和色度采样得到，因此LM参数不需要在比特流中进行编码。在推导出LM参数之后，根据 线性模型，色度预测子也可自当前区块中的同一位置的重建亮度采样来产生。举例来说，如 图1所示，若视频格式为YUV420,则每一个8x8编码单元具有一个8x8亮度区块和两个4x4 色度区块。在图1中，每一个小方块对应于要编码的（对于亮度为2Nx2N以及对于色度为 NxN)当前编码单元中的一个像素。基于当前编码单元的相邻重建采样首先得到LM参数， 其用图1中的圆形表示。对于YUV420采样格式，同一位置的色度的位置在两个对应的垂直 亮度采样之间。两个对应的垂直亮度采样之间的平均值用于得到LM参数。对于在顶部区 块边界上的相邻像素，为降低线性缓冲器的要求，用垂直方向上的最近采样代替平均值。如 图1所示，当前亮度编码单元（Y)和色度编码单元（U或V)的相邻像素（由圆形表示）用 于得到各自色度组分的LM参数。在得到LM参数之后，基于线性模型和同一位置的亮度重 建采样来产生色度预测子。根据视频格式，将平均亮度值代替对应的亮度采样。
[0010] Zhang等揭露了一种用于LM参数推导的利用扩展相邻像素的色度帧内预测 方法(New Modes for Chroma Intra Prediction"，in Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,7th Meeting:Geneva, CH, 21-30 November, 2011, document:JCTVC_G358)。图 2A ~20描述了根 据Zhang的利用扩展相邻像素的用于8x8色度区块的色度帧内预测的示意图。图2A对应 于HEVC考虑的矩形色度帧内预测。图2B描述了基于利用扩展水平相邻像素的额外的色度 帧内模式的LM参数推导的示意图，其中使用来自相邻右上侧的额外的N个像素。图2C描 述了基于利用扩展的垂直相邻像素的另一额外的色度帧内模式的LM参数推导的示意图， 其中使用来自相邻左下侧的额外的N个像素。尽管zhang的方法在性能上显著地得到了改 善，但是该方法也增加了计算的复杂性并增加了对缓冲器要求。
[0011] 需要开发一种改善的方法，能进一步改善性能及/或减少色度帧内预测的缓冲器 要求。
【发明内容】
[0012] 本发明揭示了一种基于另一颜色的重建像素的利用线性模型（称为线性模型或 线性帧内模型）的色彩间帧内预测方法。该方法基于另一颜色的当前区块（具有第二颜 色）和同一位置的区块（具有第一颜色）的多行或多列相邻重建像素，得到线性模型参数。 在一个实施方式中，使用两个或更多的线性模型帧内模式，以及仅基于相邻于各自顶部边 界的相邻重建第一颜色像素和相邻重建第二颜色像素的顶部像素、或仅基于相邻于各自左 侧边界的相邻重建第一颜色像素和相邻重建第二颜色像素的左侧像素，确定用于至少一线 性模型帧内模式的线性模型参数。举例来说，使用两个线性模型帧内模式，仅基于顶部像素 确定用于第一线性模型帧内模式的线性模型参数，以及仅基于左侧像素确定用于第二线性 模型帧内模式的线性模型参数。可使用三个线性模型帧内模式，以及基于顶部像素和左侧 像素确定用于第三线性模型帧内模式的线性模型参数。在另一实施方式中，仅基于顶部像 素的两行确定第一线性模型帧内模式的线性模型参数，以及仅基于左侧像素的两列确定第 二线性模型帧内模式的线性模型参数。进一步，自相邻重建第一颜色像素和相邻重建第二 颜色像素的一行顶部像素和一列左侧像素，确定用于第三线性模型帧内模式的线性模型参 数。语法元素包括于比特流中，以指示用于选择当前第二颜色区块的帧内预测模式。色彩 间帧内模式可应用于YUV/YCrCb、RGB或其他颜色系统。
[0013] 为了不需要与线性模型帧内模式相关的缓冲器，本发明的另一实施方式重复使用 先前存储相邻重建像素以用于解区块的缓冲器，其中该线性模型帧内模式利用多行或多列 相邻重建像素以用于线性模型参数推导。举例来说，可以检索两行或两列的相邻重建第一 颜色像素和相邻重建第二颜色像素，以用于推导线性模型参数。
[0014] 根据本发明的色彩间帧内模式也可以应用于可伸缩编码系统或多视点编码系统， 其中当前第一颜色区块对应于在参考层或参考视点中的重建区块，以及当前第二颜色区块 对应于在依赖层（dependent layer)或依赖视点（dependent view)将要编码或解码的区 块。
[0015] 本发明的又一实施方式揭示了多线性模型帧内模式，其中仅基于相邻于各自顶部 边界的相邻重建第一颜色像素和相邻重建第二颜色像素的顶部像素，或仅基于相邻于各自 左侧边界的相邻重建第一颜色像素和相邻重建第二颜色像素的左侧像素，至少一线性模型 帧内模式导出线性模型参数。
【附图说明】
[0016] 图1为根据现有方法的用于4:2:0采样格式的基于重建亮度像素的用于LM模式 的色度帧内预测的推导的示意图。
[0017] 图2A~图2C为根据zhang等在JCTVC-G358中揭露的基于重建亮度像素的色度 帧内预测的推导的示意图。
[0018] 图3A~图3C为根据本发明实施方式的用于4:2:0采样格式的多LM色度帧内模 式的示意图。
[0019] 图4A~图4C为根据本发明实施方式的用于4:2:0采样格式的具有多行或多列相 邻重建像素的多LM色度帧内模式的示意图。
[0020] 图5为根据本发明实施方式的用于推导LM参数的利用多行或多列相邻重建像素 的LM色度帧内预测的示范性流程图。
[0021] 图6为根据本发明实施方式的用于推导LM参数的仅利用相邻重建像素的顶部像 素的或仅利用相邻重建像素的左侧像素的LM色度帧内预测的示范性流程图。
【具体实施方式】
[0022] 如上所述，在现有的LM色度模式中，如图1所示顶部和左侧的相邻采样用于推导 LM参数。如图2A~图2C所示具有多个LM模式的色度帧内预测改善了性能。然而，利用扩 展的相邻像素的方法引起更高的计算复杂性及/或更多的缓存要求。为改善编码性能而不 对计算复杂性及/或缓冲器要求引起显著地冲击，本发明的实施方式仅在LM参数推导中的