为帧内模式视频处理使用参考行的制作方法

相关申请的交叉参考根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2018年11月22日提交的国际专利申请号pct/cn2018/116885的优先权和利益。根据美国法律的目的，将上述申请的全部公开以参考方式并入本文，作为本申请公开的一部分。本申请文件涉及图像和视频编码和解码。
背景技术：
：在互联网和其他数字通信网络中，数字视频占用的带宽最大。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。技术实现要素：所公开的技术可由视频解码器或编码器实施例在视频解码或编码期间使用，期间使用了多参考行的视频和图像的帧内预测编码。在一个示例实施例中，公开了一种视频处理方法。该方法包括：确定为视频的当前块启用其中使用脉冲编解码调制(pcm)的第一编解码模式、或其中使用基于多参考行的帧内预测(mrlip)的第二编解码模式中的至少一个；以及基于所述第一编解码模式或所述第二编解码模式，执行所述视频的比特流表示和所述当前块之间的转换，其中，根据排序规则将指示使用所述第一编解码模式的第一指示和/或指示使用所述第二编解码模式的第二指示包括在所述比特流表示中。在另一示例实施例中，公开了一种视频处理方法。该方法包括：基于视频的色彩分量表示，为所述视频的当前块和所述视频的比特流表示之间的转换，确定与基于所述当前块的脉冲编解码调制的编解码模式相关联的至少一个标志；以及基于所述确定执行所述转换。在又一示例实施例中，公开了一种视频处理方法。该方法包括：执行视频的视频区域的当前块和所述视频的比特流表示之间的转换，其中根据关于脉冲编解码调制(pcm)对所述当前块的适用性的规则对所述比特流表示进行格式化，并且其中，所述规则指定：在确定禁用所述pcm的指示包含在视频区域级时，在当前块级省略所述pcm的指示。在又一示例实施例中，公开了一种视频处理方法。该方法包括：基于视频的当前块的尺寸，作出关于为所述当前块启用脉冲编解码调制(pcm)编解码模式的决定；以及基于所述决定执行所述视频的比特流表示与当前块之间的转换。在又一示例实施例中，公开了一种视频处理方法。该方法包括：为视频的当前块和所述视频的比特流表示之间的转换，确定所述当前块的高度或宽度的最小允许值，其中，独立于所述宽度的所述最小允许值信令通知或导出所述高度的所述最小允许值；以及基于所述确定执行所述转换。在又一示例实施例中，公开了一种视频处理方法。该方法包括：在确定在视频的比特流表示中信令通知用脉冲编解码调制(pcm)编解码模式编解码的所述视频的当前块的指示时，配置所述视频的色彩分量表示；以及基于所述配置执行所述当前块和所述比特流表示之间的转换。在又一示例实施例中，公开了一种视频处理方法。该方法包括：为视频的当前块和所述视频的比特流表示之间的转换，确定由于为所述转换使用非相邻参考行模式而为所述转换禁用广角模式；以及基于所述确定执行所述转换，其中，所述非相邻参考行模式为所述当前块的所述转换使用来自所述视频的参考行的非相邻像素，并且其中，所述广角模式包括超过45度到-135度的常规角度帧内预测方向的帧内预测方向。在又一示例实施例中，公开了一种视频处理方法。该方法包括：基于视频的色彩子采样格式，为所述视频的当前块和所述视频的比特流表示之间的转换，做出关于是否为所述当前块启用多参考行(mrl)编解码模式、或者是否将一个或多个参考行索引的信令格式用于所述mrl编解码模式的决定；以及基于所述决定执行所述转换。在又一示例实施例中，公开了一种视频处理方法。该方法包括：在确定为视频的当前块启用帧间-帧内模式和多参考行帧内预测(mrlip)模式时，为所述帧间-帧内模式的帧内预测处理选择与所述当前块不相邻的行或列；以及基于所述行或所述列执行所述视频的比特流表示与当前块之间的转换。在又一示例实施例中，公开了一种视频处理方法。该方法包括：为使用多参考行帧内预测(mrlip)模式编解码的视频的当前块，执行所述视频的比特流表示和所述当前块之间的转换，所述mrlip模式使用与所述当前块不相邻的行，其中，所述mrlip还使用最可能模式(mpm)列表，并且其中，执行所述转换包括：用所述mpm列表的第二模式替换所述mpm列表的第一模式。在又一示例实施例中，公开了一种视频处理方法。该方法包括：为使用多参考行帧内预测(mrlip)模式编解码的视频的当前块，执行所述视频的比特流表示与当前块之间的转换，所述mrlip模式使用与所述当前块不相邻的行，其中，所述比特流表示包括固定候选列表中模式的编解码索引，而不是最可能模式(mpm)列表中模式的编解码索引。在又一示例实施例中，公开了一种视频处理方法。该方法包括：为使用多参考行(mrl)编解码模式的视频的当前块和所述视频的比特流表示之间的转换，确定所述比特流表示包括与在所述当前块的预测中使用的上方行相对应的第一索引、以及与在所述预测中使用的左侧列相对应的第二索引；以及基于所述确定执行所述转换。在又一示例方面，公开了包括配置为实现上述方法的处理器的视频编码装置。在又一示例方面，公开了包括配置为实现上述方法的处理器的视频解码装置。在又一示例方面，公开了计算机可读介质。该计算机可读介质上存储有代码。当处理器执行该代码时，该代码使处理器实现上述方法。在本文中描述了这些、以及其它方面。附图说明图1示出了在帧内模式预测中使用的临近块的示例。图2示出了67个帧内预测模式的示例。图3示出了在最可能模式(mpm)列表构造处理中使用的临近块的示例。图4a和4b示出了广角帧内预测的参考样点的示例。图5示出了方向超过45度的情况下的示例不连续性。图6a-6d示出了在位置相关帧内预测中使用的样点的示例。图7示出了用于帧内预测的参考行的示例。图8示出了用于推导α和β的样点的示例位置。图9示出了一个色度块及其对应的亮度块的示例。图10示出了具有默认模式的帧内预测模式的示例。图11-22是视频处理的示例方法的流程图。图23是用于实现本文所述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。图24是可以实现所公开的技术的示例视频处理系统的框图。具体实施方式本文档提供了可由视频比特流的解码器用于提高解压缩或解码的数字视频或图像的质量的各种技术。此外，视频编码器也可以在编码处理中实现这些技术，以便重构用于进一步编码的解码帧。为了便于理解，本文中使用章节标题，并且不将实施例和技术限制在相应的章节中。因此，来自一个章节的实施例可以与来自其他章节的实施例组合。1.介绍本文涉及视频编解码技术。具体地，涉及帧内预测，特别是图像/视频编解码中的多参考行帧内预测和脉冲编解码调制(pcm)。它可以应用到现有的视频编解码标准(如hevc)、或待定的标准(多功能视频编码)。它也可适用于未来的视频编解码标准或视频编解码器。2.初步意见视频编解码标准主要是通过开发众所周知的itu-t和iso/iec标准而发展起来的。itu-t提出了h.261和h.263，iso/iec提出了mpeg-1和mpeg-4视频，并且这两个组织共同提出了h.262/mpeg-2视频和h.264/mpeg-4高级视频编码(avc)和h.265/hevc标准。自h.262开始，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为探索hevc之外的未来视频编解码技术，vceg和mpeg于2015年共同成立了联合视频探索团队(jvet)。从那时起，jvet采用了许多新的方法，并将其应用到了名为联合探索模型(jem)的参考软件中。2018年4月，vceg(q6/16)和iso/iecjtc1sc29/wg11(mpeg)之间的联合视频专家团队(jvet)成立，以致力于与hevc相比降低50％比特率的vvc标准的目标。可以在以下位置找到最新版本的vvc草案，即“多功能视频编解码”(草案2)：http：//phenix.it-sudparis.eu/jvet/docenduser/documents/11ljubljana/wg11/jvet-k1001-v7.zip可以在以下位置找到名为vtm的vvc的最新参考软件：https：//vgit.hhi.fraunhofer.de/jvet/vvcs软件vtm/tags/vtm-3.0rc1。2.1hevc/h.265中的帧内预测在图片中可以识别出两种不同的冗余：1)空域或时域冗余，2)心理-视觉冗余。为了消除空域冗余，采用了预测处理。帧内预测是对图片帧的像素进行预测的处理。帧内预测使用邻居像素来预测图片块。之前，必须划分帧内预测帧。在hevc中，一个图片/条带/片可以被划分成多个编解码树单元(ctu)。取决于纹理复杂度等参数，ctu的尺寸可以是64×64、32×32、或者16×16。因此，编解码树单元(ctu)是编解码逻辑单元，它依次被编码成hevc比特流。它由三个块组成，即亮度(y)和两个色度分量(cb和cr)。以4∶2∶0色彩格式为例，亮度分量有lxl个样点，并且每个色度分量有l/2xl/2个样点。每个块被称为编解码树块(ctb)。每个ctb的尺寸(lxl)与ctu相同(64×64、32×32或16×16)。每个ctb都可以在四叉树结构中被重复划分，从与ctb相同的尺寸到小到8×8的尺寸。由此分割产生的每个块被称为编解码块(cb)，并且成为预测类型(帧间或帧内预测)的决策点。预测类型和其他参数一起被编码在编解码单元(cu)中。因此，cu是hevc中预测的基本单元，每个单元都是从先前的编解码数据中预测出来的。并且cu由三个cb(y、cb和cr)组成。cb可能仍然太大而无法存储运动矢量(帧间图片(时域)预测)或帧内图片(空域)预测模式。因此，引入了预测块(pb)。取决于时域和/或空域的可预测性，每个cb可以被划分成不同的pb。ctu的尺寸可以是32×32、16×16、8×8或4×4。有两种帧内预测模式：pcm(脉冲编解码调制)和常规帧内预测模式。2.1.1脉冲编解码调制(pcm)在i_pcm模式下，预测、变换、量化和熵编解码被旁路。通过直接表示样点值而无需预测或应用变换来对块的样点进行编解码。在hevc中，i_pcm模式仅适用于2nx2npu。在sps中信令通知最大和最小i_pcmcu尺寸，合法i_pcmcu尺寸为8x8、16x16和32x32，在sps中分别为亮度和色度信令通知用户选择的pcm样点比特深度。以亮度样点为例：recsamplesl[i，j]＝pcm_sample_luma[(ns*j)+i]＜＜(bitdepthy-pcmbitdepthy)。当pcmbitdepthy＝bitdepthy时，它变为无损编解码。语法设计7.3.2.2.1常规序列参数集rbsp语法语义pcm_enabled_flag等于0指定cvs中不出现与pcm相关的语法(pcm_sample_bit_depth_luma_minus1，pcm_sample_bit_depth_chroma_minus1，log2_min_pcm_luma_coding_block_size_minus3，log2_diff_max_min_pcm_luma_coding_block_size，pcm_loop_filter_disabled_flag，pcm_flag，pcm_alignment_zero_bit语法元素和pcm_sample()语法结构)。注释4-当mincblog2sizey等于6且pcm_enabled_flag等于1时，cvs中不出现与pcm样点数据相关的语法(pcm_flag、pcm_alignment_zero_bit语法元素和pcm_sample()语法结构)，因为可以传输与pcm样点数据相关的语法的编解码块的最大尺寸被限制为小于或等于min(ctblog2sizey，5)。因此，mincblog2sizey等于6且pcm_enabled_flag等于1不是在cvs中传输pcm样点数据的合适设置。pcm_sample_bit_depth_luma_minus1指定用于表示亮度分量的每个pcm样点的比特数，如下所示：pcmbitdepthy＝pcm_sample_bit_depth_luma_minus1+1(7-xx)pcmbitdepthy的值应小于或等于bitdepthy的值。pcm_sample_bit_depth_chroma_minus1指定用于表示色度分量的每个pcm样点值的比特数，如下所示：pcmbitdepthc＝pcm_sample_bit_depth_chroma_minus1+1(7-yy)pcmbitdepthc的值应小于或等于bitdepthc的值。当chromaarraytype等于0时，解码处理中不使用pcm_sample_bit_depth_chroma_minus1，并且解码器应忽略其值。log2_min_pcm_luma_coding_block_size_minus3加3指定pcm_flag等于1的编解码块的最小尺寸。变量log2minipcmcbsizey被设置为等于log2_min_pcm_luma_coding_block_size_minus3+3。log2minipcmcbsizey的值应在min(mincblog2sizey，5)到min(ctblog2sizey，5)的范围内，包括min(mincblog2sizey，5)和min(ctblog2sizey，5)。log2_diff_max_min_pcm_luma_coding_block_size指定pcm_flag等于1的编解码块的最大和最小尺寸之间的差。变量log2maxipcmcbsizey被设置为等于log2_diff_max_min_pcm_luma_coding_block_size+log2minipcmcbsizey。log2maxipcmcbsizey的值应小于或等于min(ctblog2sizey，5)。pcm_loop_filter_disabled_flag指定是否对pcm_flag等于1的编解码单元中的重构样点禁用环路滤波处理，如下所示：-如果pcm_loop_filter_disabled_flag等于1，则禁用pcm_flag等于1的编解码单元中的重构样点上的去块滤波器和采样自适应偏移滤波器处理。-否则(pcm_loop_filter_disabled_flag值等于0)，不禁用pcm_flag等于1的编解码单元中的重构样点上的去块滤波器和采样自适应偏移滤波器处理。当pcm_loop_filter_disabled_flag不存在时，推断它等于0。7.3.8.5编解码单元语法7.3.8.7pcm样点语法语义pcm_flag[x0][y0]等于1指定包括位置(x0，y0)处的亮度编解码块的编解码单元中存在pcm_sample()语法结构，并且不存在transform_tree()语法结构。pcm_flag[x0][y0]等于0指定不存在pcm_sample()语法结构。当pcm_flag[x0][y0]不存在时，推断它等于0。pcm_flag[x0+i][y0+j](i＝1..ncbs-1，j＝1..ncbs-1)的值被推断为等于pcm_flag[x0][y0]。2.1.2常规帧内预测对于亮度分量，有35个模式，包括针对所有块尺寸的平面、dc和33个角预测模式。为了更好地编解码这些亮度预测模式，首先编解码一个最可能模式(mpm)标志以指示是否选择了3个mpm模式中的一个。如果mpm标志为假，则以固定长度编解码对32个剩余的模式进行编解码。三个最可能模式的集合的选择基于两个临近pu的模式，一个是当前pu的左侧pu，一个是当前pu的上方pu。假设当前pu的左侧和上方的帧内模式分别为a和b，其中在图1中描绘了两个临近块。如果临近pu没有以帧内进行编解码，或者以脉冲编解码调制(pcm)模式进行编解码，则该pu被认为是dc预测的pu。此外，当上方临近pu在ctu之外时，假设b是dc模式，以避免为帧内模式重建引入额外的行缓冲器。如果a不等于b，则将表示为mpm[0]和mpm[1]的前两个最可能模式分别设置为a和b，并且表示为mpm[2]的第三个最可能模式确定如下：-如果a或b都不是平面模式，则将mpm[2]设置为平面模式。-否则，如果a或b都不是dc模式，则将mpm[2]设置为dc模式。-否则(两个最可能模式中的一个是平面模式，另一个是dc模式)，则将mpm[2]设置为等于角度模式26(直接垂直)。如果a等于b，则三个最可能的模式确定如下。如果它们不是角度模式(a和b小于2)，则三个最可能模式分别设置为平面模式、dc模式和角度模式26。否则(a和b大于或等于2)，将第一个最可能模式mpm[0]设置为a，并将剩余两个最可能模式mpm[1]和mpm[2]设置为等于a的临近方向，并计算为：mpm[1]＝2+((a-2-1+32)％32)mpm[2]＝2+((a-2+1)％32)其中，％表示模运算符(即a％b表示a除以b的余数)。对于色度分量，有5种模式，包括dm、平面、dc、水平、垂直。2.2vvc中的帧内预测2.2.1具有67种帧内预测模式的帧内模式编解码为了捕获自然视频中呈现的任意边缘方向，定向帧内模式的数量从hevc中使用的33个扩展到65个。在图2中，附加的定向模式被描绘为虚线箭头，并且平面模式和dc模式保持相同。这些更密集的定向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。如图2所示，常规的角帧内预测方向被定义为在顺时针方向上从45度到-135度。在vtm2中，对于非正方形块，适应性地用广角帧内预测模式替换几个传统的角帧内预测模式。用原方法信令通知替换后的模式，并在解析后将其重新映射到广角模式的索引。帧内预测模式的总数保持不变(即，67)，并且帧内模式编解码保持不变。在hevc中，每个帧内编解码块都具有正方形形状，并且其每个边的长度都是2的幂。因此，使用dc模式生成帧内预测器不需要划分操作。在vvv2中，块可以具有矩形形状，在一般情况下需要对每个块使用划分操作。为了避免dc预测的划分操作，只使用较长的边来计算非正方形块的平均值。图2示出了67个帧内预测模式的示例。2.2.2具有6个mpm的亮度分量的帧内模式编解码在vvc参考软件vtm3.0.rc1中，如图3所示，只有表示为左侧(left)和上方(above)的临近位置a和b的帧内模式用于mpm列表的生成。对于非mpm编解码，应用截断编解码。假设当前cu左侧和上方的帧内模式分别为modea和modeb。如果临近pu没有以帧内进行编解码，或者以脉冲编解码调制(pcm)模式进行编解码，则该pu被认为是平面预测的pu。此外，当上方临近pu在ctu之外时，假设modeb是平面模式，以避免为帧内模式重建引入额外的行缓冲器。6个mpm模式用mpm[i]表示(i为0...5)。按顺序执行以下步骤：1.初始化值：mpm[6]＝{modea，！modea，50，18，46，54}；2.如果modea等于modeb，则以下适用-如果modea大于1(非dc/平面)，mpm[6]＝{modea，平面，dc，2+((candintrapredmodea+62)％65)，2+((candintrapredmodea-1)％65，2+((candintrapredmodea+61)％65))}；3.否则(modea等于modeb)，则以下适用：-mpm[0]＝modea，mpm[1]＝modeb-设置变量biggeridx如下：biggeridx＝candmodelist[0]＞candmodelist[1]？0∶1-如果modea和modeb都大于1，则x＝2..5的mpm[x]的推导如下：mpm[2]＝intra_planarmpm[3]＝intra_dc-如果mpm[biggeridx]-mpm[！biggeridx]既不等于64也不等于1，以下适用：mpm[4]＝2+((mpm[biggeridx]+62)％65)mpm[5]＝2+((mpm[biggeridx]-1)％65)-否则，以下适用：mpm[4]＝2+((mpm[biggeridx]+61)％65)mpm[5]＝2+(candmodelist[biggeridx]％65)-否则，如果modea和modeb的和大于或等于2，则以下适用：mpm[2]＝！mpm[！biggeridx]mpm[3]＝2+((mpm[biggeridx]+62)％65)mpm[4]＝2+((mpm[biggeridx]-1)％65)mpm[5]＝2+((mpm[biggeridx]+61)％65)其中，％表示模运算符(即a％b表示a除以b的余数)。2.2.3非正方形块的广角帧内预测常规的角帧内预测方向被定义为在顺时针方向上从45度到-135度。在vtm2中，对于非正方形块，适应性地用广角帧内预测模式替换几个传统的角帧内预测模式。用原始方法信令通知替换后的模式，并在解析后将其重新映射到广角模式的索引。特定块的帧内预测模式的总数保持不变(例如，67)，并且帧内模式编解码保持不变。为了支持这些预测方向，如图4所示，定义了长度为2w+1的顶部参考和长度为2h+1的左侧参考。广角方向模式中替换模式的模式数取决于块的纵横(aspect)比。替换的帧内预测模式如表1所示。表1：用广角模式替换帧内预测模式如图5所示，在广角帧内预测的情况下，两个垂直相邻的预测样点可以使用两个非相邻的参考样点。因此，低通参考样点滤波器和侧平滑被应用于广角预测以减少增加的间隙δpα的负面影响。2.2.4位置相关帧内预测组合在vtm2中，用位置相关的帧内预测组合(pdpc)方法还修正了平面模式的帧内预测结果。pdpc是一种帧内预测方法，其调用未滤波的边界参考样点和hevc样式帧内预测与滤波的边界参考样点的组合。pdpc应用于以下无信令的帧内模式：平面、dc、水平、垂直、左下角度模式及其八个相邻角度模式、右上角度模式及其八个相邻角度模式。使用帧内预测模式(dc、平面、角)和参考样点的线性组合根据以下等式对预测样点pred(x，y)进行预测：pred(x，y)＝(wl×r-1，y+wt×rx，-1-wtl×r-1，-1+(64-wl-wt+wtl)×pred(x，y)+32)＞＞6其中，rx，-1，r-1，y分别表示位于当前样点(x，y)的顶部和左侧的参考样点，并且r-1，-1表示位于当前块的左上角的参考样点。如果pdpc应用于dc、平面、水平和垂直帧内模式，则不需要额外的边界滤波器，而在hevc的情况下需要dc模式边界滤波器或水平/垂直模式边缘滤波器。图6a至6d说明了应用于各种预测模式的pdpc的参考样点(rx，-1，r-1，y和r-1，-1)的定义。预测样点pred(x’，y’)位于预测块内的(x′，y′)处。参考样点rx，-1的坐标x由x＝x’+y’+1给出，参考样点r-1，y的坐标y类似地由y＝x’+y’+1给出。图6a-6d示出了应用于对角和相邻角帧内模式的pdpc使用的样点的示例定义。图6a示出了右上对角模式。图6b示出了左下对角模式。图6c示出了相邻的右上对角模式。图6d示出了相邻的左下模式的示例。pdpc权重取决于预测模式，并且在表2中示出。表2：根据预测模式的pdpc权重的示例预测模式wtwlwtl右上对角16＞＞((y’＜＜1)＞＞偏移16＞＞((x’＜＜1)＞＞偏移)0左下对角16＞＞((y’＜＜1)＞＞偏移)16＞＞((x’＜＜1)＞＞偏移)0右上相邻对角32＞＞((y’＜＜1)＞＞偏移)00左下相邻对角032＞＞((x’＜＜1)＞＞偏移)02.2.5多参考行帧内预测(mrlip)与其总是使用相邻左侧列和上方行(即参考行0)中的重构样点进行帧内预测，建议允许使用位于不同距离的参考样点。mrlip具有以下特性：-参考行索引信号-对于参考行idx＞0，仅限mpm列表中的参考行，且仅信令通知无剩余模式的mpm索引；-参考行index＝0，与原始设计相同，可选择各种帧内预测模式；-可以为一个亮度块选择三行中的一行：参考行0、1、3，如图7所示。-ctu限制的顶行-对ctu内部的块的第一行禁用mrl2.2.6色度编解码在hevc色度编解码中，色度块允许五种模式(包括一种直接模式(dm)，它是来自左上对应亮度块的帧内预测模式、以及四种默认模式)。两个色彩分量共享相同的帧内预测模式。与hevc中的设计不同，本文提出了两种新方法，包括：交叉分量线性模型(cclm)预测模型和多dm。2.6.6.1cclm为了降低交叉分量冗余，在jem中使用交叉分量线性模型(cclm)预测模式(也称为lm)，其中，使用如下线性模型基于相同cu的重构亮度样点预测色度样点：predc(i，j)＝α·recl′(i，j)+β(1)其中，predc(i，j)表示cu中的预测色度样点，并且recl′(i，j)表示色彩格式为4∶2∶0或4∶2∶2的相同cu的下采样重构亮度样点，而recl′(i，j)表示色彩格式为4∶4∶4的相同cu的重构亮度样点。cclm参数α和β通过最小化当前块周围的临近重构的亮度和色度样点之间的回归误差如下导出：其中，l(n)表示下采样(对于色彩格式4∶2∶0或4∶2∶2)或原始(对于色彩格式4∶4∶4)顶部和左侧临近的重构亮度样点，c(n)表示顶部和左侧临近重构色度样点，并且n的值等于当前色度编解码块的宽度和高度的最小值的两倍。对于正方形形状的编解码块，直接应用上述两个等式。对于非正方形编解码块，首先对较长边界的临近样点进行子采样，以具有与较短边界相同的样点数。图6a-6d示出了在cclm模式中所涉及的左、上重构样点和当前块的样点的位置。这种回归误差最小化计算是作为解码处理的一部分执行的，不仅仅是作为编码器搜索操作执行的，因此不使用语法来传递α和β值。图8示出了用于推导α和β的样点的示例位置。cclm预测模式还包括两个色度分量之间的预测，即，从cb分量预测cr分量。在残差域中采用cclmcb到cr预测方法，而不是使用重构样点信号。这是通过将加权重构的cb残差加到原始cr帧内预测以形成最终cr预测来实现的：其中，resicb′(i，j)表示位置(i，j)处的重构cb残差样点。以与cclm亮度到色度预测类似的方式导出缩放因子α。唯一的区别在于误差函数中增加了相对于默认α值的回归成本，以便导出的缩放因子偏向于默认值-0.5，如下所示：这里，cb(n)表示临近的重构cb样点，cr(n)表示临近的重构cr样点，并且λ等于∑(cb(n)·cb(n))＞＞9。在一些实施例中，cclm亮度到色度预测模式被添加为一个附加的色度帧内预测模式。在编码器侧，增加了对色度分量的一个或多个rd成本检查，以用于选择色度帧内预测模式。当除cclm亮度到色度预测模式以外的帧内预测模式用于cu的色度分量时，cclmcb到cr预测用于cr分量预测。2.2.6.2vvc中的色度编解码vtm-2.0采用了jem中的cclm。但vtm-2.0中没有采用jem中的mm-cclm。对于色度帧内编解码，首先导出色度帧内预测模式的候选列表，其中可以包括三个部分：-一个直接模式(dm)，其被设置为与覆盖色度块的并置中心位置(图9中的cr)的亮度cb相关联的一个帧内亮度预测模式；图9中示出了由tl表示的并置位置的示例。-一个交叉分量线性模型(cclm)模式。-四种默认模式(dc、平面、水平和垂直模式，如图1突出显示所示)。如果四个默认模式中的一个与dm模式相同，则将其替换为具有最大模式索引的帧内预测模式，即由图10所描绘的虚线指示的模式。3.现有实施例的缺陷在vvc中mrl帧内预测的当前设计中，存在以下问题。1)在vtm3.0-rc1中，在用于帧内预测处理的参考行的索引之后，对pcm标志进行编解码。因此，即使pcm可用于对一个块进行编解码，仍然信令通知参考行索引，这浪费了比特，因为pcm编解码块不允许常规帧内预测。2)vvc新采用了自适应环路滤波器(alf)。如何处理它与pcm是未知的。3)一个亮度块和两个对应的色度块的一个pcm标志被用于hevc中滤波处理的决策。然而，当使用分离树时，亮度块的样点和色度分量的样点可以选择不同的pcm标志，即，一个亮度块可以用pcm编解码，而对应的色度块可以用非pcm编解码，因此，在滤波决策处理中使用一个pcm标志是不可取的。4)mrlip仅适用于亮度分量。然而，对于色度分量，它也可以起作用，特别是对于4∶4∶4色彩格式。5)mrlip不能应用于帧间-帧内编解码块，其可能会降低编解码性能。6)具有非零索引的参考行对于角度模式更有效。当参考行索引大于0时，使用mpm列表中的模式。然而，对于mrlip效率较低的mpm列表，可以在mpm列表中包括dc/平面模式。7)在hevc中，最小cu尺寸为8x8，而在vvc中，最小cu尺寸为4x4。因此，4x4、4x8、8x4块也应采用pcm模式，尽管现在不被允许。此外，pcm的原始设计只考虑方形cu，而在vvc中则存在非方形cu。4.示例实施例和技术下面列出的详细技术应被视为解释一般概念的示例。不应狭隘地解释这些技术。此外，这些技术可以以任何方式组合。1.提出在mrlip模式信息之前对pcm启用标志进行编解码。a.在一个示例中，如果为该块禁用了pcm，则进一步信令通知mrlip中使用的参考行索引。b.在一个示例中，如果为该块启用了pcm，则跳过对mrlip中使用的参考行索引的信令通知。c.可替代地，如果mrlip模式信息等于或不等于0，则不信令通知pcm标志。2.当用pcm模式对一个块进行编解码时，自动禁用该块的自适应环路滤波器(alf)。a.alf启用/禁用标志的信令通知可取决于pcm启用/禁用标志。可替代地，pcm启用/禁用标志的信令通知可取决于alf启用/禁用标志。b.如果一个块的尺寸等于ctu尺寸，则可在alf启用/禁用标志之前首先信令通知pcm标志。当pcm标志为真时，不再信令通知alf标志。c.如果一个块的尺寸等于ctu尺寸，则可在sao启用/禁用标志之前首先信令通知pcm标志。当pcm标志为真时，不再信令通知sao标志。d.可替代地，另外，上述方法仅在pcm_loop_filter_disabled_flag等于1时适用。3.如何信令通知/解释/使用pcm启用/禁用标志可取决于色彩分量。a.在一个示例中，如何信令通知/解释/使用pcm启用/禁用标志可取决于是否为不同色彩分量使用单独的分割树结构。b.在一个示例中，当为亮度和色度分量应用单独的分割树结构时，可以信令通知亮度块的第一标志，并且可以独立地信令通知色度块的第二标志。c.在一个示例中，当对三色分量应用单独的分割树结构时，可以独立地信令通知三个标志。d.在一个示例中，取决于色彩分量，pcm启用/禁用标志被解释为不同的变量，例如pcm_luma和pcm_chroma，以控制随后的视频编解码处理。e.在滤波处理中(诸如，去块滤波器、样点自适应环路滤波器、自适应环路滤波器)，是否应滤波色彩分量的一个块可取决于与色彩分量相关联的pcm启用/禁用标志。f.可替代地，即使启用了单独的分割树结构，也仅为亮度分量信令通知pcm标志，而对于色度块，它可以从一个对应亮度块内的任何位置(例如，从对应亮度块的中心位置)继承pcm标志。g.此外，可替代地，可以为不同的色彩分量、或者为亮度和色度分别信令通知允许的pcm编解码的块尺寸/维度的限制。例如，以4∶2∶0为例，一个64x64的亮度块(ctu尺寸等于64x64)对应于2个32x32的色度块。可以用四叉树将亮度块划分为4个cu(有4个32x32的亮度cu)。在原始设计中，没有单独的树，对于32x32亮度cu中的每一个，只有一个标志被编解码，并且由于亮度和色度共享相同的分割结构，该标志被用于对应的16x16cb/cr块。总共可以对4个标志进行编解码。在我们提出的方法的一个示例实施例中，如果应用分离树，则可以用二叉树分割将色度块划分为两个cu(有两个32x16的cbcu和两个32x16的crcu)。在这种情况下，可以信令通知四个32x32的亮度块的四个标志、以及两个32x16色度块的两个标志。类似地，原始设计将在滤波处理中检查与一个亮度和两个色度块相关联的pcm标志，而在所提出的方法中，可以为滤波处理的确定独立地检查一个亮度块的pcm标志和一个色度块的pcm标志。4.提出在高级别(与cu/块级别相比)中信令通知标志以指示pcm是否适用。如果pcm不适用，则对于所有块，总是跳过较低级别(诸如块级别)中的pcm启用/禁用标志的信令通知。可以在vps/pps/图片标头/条带标头/片组标头/片/ctu行/ctu中信令通知该标志。5.当一个块用非相邻参考行(例如，参考行索引＞0)编解码时，可自动禁用广角模式。a.在一个示例中，跳过解析后的信令模式和广角模式索引之间的映射。b.可替代地，将广角模式与相邻参考行一起使用，而不考虑信令通知的参考行索引。6.是否启用mrl以及如何发送参考行索引可取决于色彩子采样格式。a.在一个示例中，对于4∶4∶4色彩格式，可以为所有三种色彩分量启用mrl。b.对于一个块的所有色彩分量，可以对参考行索引进行一次编解码。c.可替代地，可以对两个参考行索引进行编解码，其中一个用于亮度色彩分量(例如，要编解码的第一色彩分量)，并且另一个用于其他两个色彩分量。d.可替代地，可以对三个参考行索引进行编解码，其中一个用于亮度色彩分量(例如，要编解码的第一色彩分量)，并且另两个用于其他两个色彩分量。e.可替代地，当需要对多个参考行索引进行编解码时，可以应用预测编解码来对索引差进行编解码。f.可替代地，当需要对多个参考行索引进行编解码时，可以首先信令通知一个标志，以告知它们全部都是相同的。g.在一个示例中，不同的色彩分量可以选择不同的行候选。i.例如，cb/cr分量可以从第一和第二临近行中选择。ii.对于不同的色彩分量，可以用不同的方式编解码mrl信息。7.可以为一个块同时启用帧间-帧内模式和mrlip模式。在这种情况下，在帧间-帧内模式中使用的帧内预测处理可以依赖于不与当前块相邻的行/列。a.在一个示例中，如果当前块以帧间-帧内模式编解码，则可以进一步信令通知参考行索引。b.这种方法适用于特定的块维度、位置。c.可以在sps/vps/pps/图片标头/条带标头/片组标头/ctu中信令通知启用还是禁用此联合模式。8.当mrlip参考非相邻(例如，参考行索引＞0)并且mpm列表包括由m1表示的特定模式时，m1可以在解码处理中被另一个由m2表示的模式进一步替换。a.在一个示例中，特定模式(具有模式索引k)被定义为dc模式、或平面模式、或广角模式、或任何非角度模式。b.可以从mpm列表中的剩余模式导出在替换中使用的模式。i.在一个示例中，可以利用索引不等于k的第一模式来导出替换模式，例如，索引等于(第一模式加m)，其中m例如被设置为1。ii.在一个示例中，可以利用索引不等于k的最后一个模式来导出替换模式，例如，索引等于(第一个模式加m)，其中m例如被设置为1。9.当mrlip参考非相邻(例如，参考行索引＞0)时，可以使用固定候选列表，并且可以信令通知相对固定候选列表的索引，而不是对mpm列表中包括的帧内模式的索引进行编解码。a.在一个示例中，固定候选列表可以被设置为包括例如水平或垂直模式。b.在一个示例中，可以预先定义固定候选列表。c.可替代地，可以在sps/vps/pps/图片标头/条带标头/片组标头/ctu中信令通知固定候选列表。d.可替代地，固定候选列表可以取决于块维度。10.提出可以单独地信令通知上方行和左侧列的索引，而不是对上方行和左侧列使用相同的参考行索引。a.在一个示例中，可以将这种方法添加为新模式。在这种情况下，仅当启用此模式时，才可以应用单独的信令通知。b.在一个示例中，对于上方行和左侧列的参考索引的不同组合，可以使用允许的帧内预测模式的不同集合。c.可以预先定义该方法中使用的帧内预测模式的不同集合，或者可以在sps/vps/pps/图片标头/条带标头/片组标头/ctu中信令通知。11.提出允许具有小于64个样点的块启用pcm模式。a.在一个示例中，4x4、4x8或8x4也可以应用pcm模式。b.在一个示例中，pcm_flag等于1的最小块尺寸被设置为(编解码的log2_min_pcm_luma_coding_block_size_minus2值加2)。12.提出允许具有大于或等于64×64样点的块启用pcm模式。a.可替代地，此外，仅当lcu尺寸等于128x128时启用这种方法。13.提出信令通知一个pcm编解码的亮度块内的最大/最小样点数的指示。a.在一个示例中，当信令通知一个pcm编解码的亮度块内的最大样点数的指示时，可以信令通知最大和最小值之间的差的指示。b.在一个示例中，可以信令通知一个pcm编解码的亮度块内的最大/最小样点数的log2。c.在一个示例中，当信令通知一个pcm编解码的亮度块内的最大样点数时，可信令通知最大和最小值之间的差的log2值。14.可分别信令通知/导出的块宽度和/或块高度的最小允许尺寸可以彼此不相等。a.可分别信令通知/导出最大允许块宽度和/或高度。b.在一个示例中，不信令通知块宽度和块高度的最小允许尺寸，它继承为分别与最小的cu块宽度和高度相同。c.在一个示例中，不信令通知块宽度和块高度的最大允许尺寸，它继承为分别与lcu的宽度和高度相同。d.是否为块信令通知pcm启用/禁用标志取决于以下条件中的一个是否为真：i.当前块的宽度不小于最小块宽度，并且当前块的宽度不大于最大允许的块宽度。ii.当前块的宽度不小于最小块高度，并且当前块的宽度不大于最大允许的块高度。e.可分别信令通知pcm等于1的块宽度和块高度的最小尺寸的指示。f.可分别信令通知pcm等于1的块宽度和块高度的最大尺寸的指示。15.关于应当何时在块级别信令通知pcm标志，不同的色彩分量可具有不同的限制。a.在一个示例中，可以为不同的色彩分量分别信令通知允许的尺寸(例如log2_min_pcm_luma_coding_block_size_minus3，log2_diff_max_min_pcm_luma_coding_block_size为0)。b.对所有色彩分量分别信令通知或仅信令通知一次可取决于色彩子采样格式(例如，4∶2∶0、4∶4∶4)。5.示例实施例大的加粗字体中突出显示了与vtm-3.0rc1的实现相比的更改。删除的部分用删除线标志。5.1实施例#1语义pcm_enabled_flag等于0指定cvs中不出现与pcm相关的语法(pcm_sample_bit_depth_luma_minusl，pcm_sample_bit_depth_chroma_minus1，log2_min_pcm_luma_coding_block_size_minus3，log2_diff_max_min_pcm_luma_coding_block_size，pcm_loop_filter_disabled_flag，pcm_flag，pcm_alignment_zero_bit语法元素和pcm_sample()语法结构)。注释4-当mincblog2sizey等于7且pcm_enabled_flag等于1时，cvs中不出现与pcm样点数据相关的语法(pcm_flag、pcm_alignment_zero_bit语法元素和pcm_sample()语法结构)，因为可以传输pcm样点数据相关语法的编解码块的最大尺寸被限制为小于或等于min(ctblog2sizey，6)。因此，mincblog2sizey等于6且pcm_enabled_flag等于1不是在cvs中传输pcm样点数据的合适设置。pcm_loop_filter_disabled_flag指定是否对pcm_flag等于1的编解码单元中的重构样点禁用环路滤波处理，如下所示：-如果pcm_loop_filter_disabled_flag等于1，则禁用pcm_flag等于1的编解码单元中的重构样点上的去块滤波器、自适应环路滤波器和采样自适应偏移滤波器处理。-否则(pcm_loop_filter_disabled_flag值等于0)，不禁用pcm_flag等于1的编解码单元中的重构样点上的去块滤波器、自适应环路滤波器和采样自适应偏移滤波器处理。当pcm_loop_filter_disabled_flag不存在时，推断它等于0。5.2实施例#2当为序列启用mrlip和pcm二者时，以下可适用。在这种情况下，在发送mrl索引之前，首先对pcm标志进行编解码。编解码单元语法可替代地，pcm标志的信令通知可以取决于所需的宽度或高度是否满足条件。5.3实施例#3在本实施例中，pcm启用/禁用标志可与色彩分量相关联。5.3.1pcm标志的信令当使用单独的分割树结构(也称为双树)时，针对亮度和色度分量分别对pcm启用/禁用标志的信令进行编解码。突出显示了所提出的更改。5.3.1.1用两个不同的语法元素5.3.1.2用一个不同的语法元素但不同的语义当启用单独的树时，根据treetype分别将解码的pcm_flag分配给pcm_flag_luma和pcm_flag_chroma。更具体地，-如果禁用双树(例如，treetype等于single_tree)，将解码的pcm_flag复制到pcm_flag_luma和pcm_flag_chroma二者。-否则，○-如果当前的解析处理是针对亮度分量的(例如，treetype等于dual_tree_luma)，则将解码的pcm_flag复制到两个pcm_flag_luma。○-否则(例如，treetype等于dual_tree_luma)，则将解码的pcm_flag复制到pcm_flag_chroma。5.3.2pcm标志的使用滤波处理(例如，去块、采样自适应偏移、alf)可取决于与色彩分量相关联的编解码的pcm启用/禁用标志。更具体地，如果pcm_loop_filter_disabled_flag等于1且pcm_flag_luma[xp0][yp0]等于1，则不对位于(xp0，yp0)处的亮度样点进行滤波。如果pcm_loop_filter_disabled_flag等于1且pcm_flag_chroma[xp0][yp0]等于1，则不对位于(xp0，yp0)处的色度样点进行滤波。这里，如下给出以一些下示例：5.3.2.1去块滤波器中亮度样点的滤波处理可替代地，可以在hevc规范的基础上进行以下更改：8.7.2.5.7亮度样点的滤波处理当ndp大于0且下列一个或多个条件为真时，将ndp设置为0：-pcm_loop_filter_disabled_flag等于1，并且pcm_flag_luma[xp0][yp0]等于1。-包括包含样点p0的编解码块的编解码单元的cu_transquant_bypass_flag等于1。当ndq大于0且以下一个或多个条件为真时，将ndq设置为0：-pcm_loop_filter_disabled_flag等于1，并且pcm_flag_luma[xq0][yq0]等于1。-包括包含样点q0的编解码块的编解码单元的cu_transquant_bypass_flag等于1。5.3.2.2去块滤波器中色度样点的滤波处理可替代地，可以在hevc规范的基础上进行以下更改：8.7.2.5.8色度样点的滤波处理当下列一个或多个条件为真时，用对应的输入样点值p0代替滤波后的样点值p0′：-pcm_loop_filter_disabled_flag等于1，并且pcm_flag_chroma[xp0*subwidthc][yp0*subheightc]等于1。-包括包含样点p0的编解码块的编解码单元的cu_transquant_bypass_flag等于1。-包括包含样点p0的编解码块的编解码单元的palette_mode_flag等于1。当下列一个或多个条件为真时，用对应的输入样点值q0代替滤波后的样点值q0′：-pcm_loop_filter_disabled_flag等于1，并且pcm_flag_chroma[xq0*subwidthc][yq0*subheightc]等于1。-包括包含样点q0的编解码块的编解码单元的cu_transquant_bypass_flag等于1。-包括包含样点q0的编解码块的编解码单元的palette_mode_flag等于1。注释：对于以上所有实施例，以下适用：在一些示例中，minipcmcbsizex等于minipcmcbsizey。可替代地，minipcmcbsizex不等于minipcmcbsizey。在一些示例中，maxipcmcbsizex等于maxipcmcbsizey。可替代地，maxipcmcbsizex不等于maxipcmcbsizey。可以从在sps/vps/pps等中信令通知的语法元素导出minipcmcbsizex、minipcmcbsizey、maxipcmcbsizex、maxipcmcbsizey。图11是用于视频处理的方法1100的流程图。方法1100包括：在操作1110处，确定为视频的当前块启用其中使用脉冲编解码调制(pcm)的第一编解码模式、或其中使用基于多参考行的帧内预测(mrlip)的第二编解码模式中的至少一个。方法1100包括：在操作1120处，基于第一编解码模式或第二编解码模式，执行视频的比特流表示和当前块之间的转换，根据排序规则将指示使用第一编解码模式的第一指示和/或指示使用第二编解码模式的第二指示包括在比特流表示中。图12是用于视频处理的方法1200的流程图。方法1200包括：在操作1210处，基于视频的色彩分量表示，为视频的当前块和视频的比特流表示之间的转换，确定与基于当前块的脉冲编解码调制的编解码模式相关联的至少一个标志。方法1200包括：在操作1220处，基于确定执行转换。图13是用于视频处理的方法1300的流程图。方法1300包括：在操作1310处，执行视频的视频区域的当前块和视频的比特流表示之间的转换，根据关于脉冲编解码调制(pcm)对当前块的适用性的规则对比特流表示进行格式化，并且规则指定：在确定禁用pcm的指示包括在视频区域级时，在当前块级省略pcm的指示。图14是用于视频处理的方法1400的流程图。方法1400包括：在操作1410处，基于视频的当前块的尺寸，作出关于为当前块启用脉冲编解码调制(pcm)编解码模式的决定。方法1400包括：在操作1420处，基于该决定执行当前块与视频的比特流表示之间的转换。图15是用于视频处理的方法1500的流程图。方法1500包括：在操作1510处，为视频的当前块和视频的比特流表示之间的转换，确定当前块的高度或宽度的最小允许值，独立于宽度的最小允许值信令通知或导出高度的最小允许值。方法1500包括：在操作1520处，基于确定执行转换。图16是用于视频处理的方法1600的流程图。方法1600包括：在操作1610处，在确定在视频的比特流表示中信令通知用脉冲编解码调制(pcm)编解码模式编解码的视频的当前块的指示时，配置视频的色彩分量表示。方法1600包括：在操作1620处，基于配置执行当前块和比特流表示之间的转换。图17是用于视频处理的方法1700的流程图。方法1700包括：在操作1710处，为视频的当前块和视频的比特流表示之间的转换，确定由于为所述转换使用非相邻参考行模式而为所述转换禁用广角模式。方法1700包括：在操作1720处，基于确定执行所述转换，非相邻参考行模式为当前块的所述转换使用来自视频的参考行的非相邻像素，并且广角模式包括超过45度到-135度的常规角度帧内预测方向的帧内预测方向。图18是用于视频处理的方法1800的流程图。方法1800包括：在操作1810处，基于视频的色彩子采样格式，为视频的当前块和视频的比特流表示之间的转换，做出关于是否为当前块启用多参考行(mrl)编解码模式、或者是否将一个或多个参考行索引的信令格式用于mrl编解码模式的决定。方法1800包括：在操作1820处，基于决定执行转换。图19是用于视频处理的方法1900的流程图。方法1900包括：在操作1910处，在确定为视频的当前块启用帧间-帧内模式和多参考行帧内预测(mrlip)模式时，为帧间-帧内模式的帧内预测处理选择与当前块不相邻的行或列。方法1900包括：在操作1920处，基于行或列执行当前块与视频的比特流表示之间的转换。图20是用于视频处理的方法2000的流程图。方法2000包括：在操作2010处，为使用多参考行帧内预测(mrlip)模式编解码的视频的当前块，执行视频的比特流表示和当前块之间的转换，所述mrlip模式使用与当前块不相邻的行，所述mrlip还使用最可能模式(mpm)列表；并且执转换包括：用mpm列表的第二模式(m2)替换mpm列表的第一模式(m1)。图21是用于视频处理的方法2100的流程图。方法2100包括：在操作2110处，为使用多参考行帧内预测(mrlip)模式编解码的视频的当前块，执行当前块与视频的比特流表示之间的转换，所述mrlip模式使用与当前块不相邻的行，比特流表示包括固定候选列表中模式的编解码索引，而不是最可能模式(mpm)列表中模式的编解码索引。图22是用于视频处理的方法2200的流程图。方法2200包括：在操作2210处，为使用多参考行(mrl)编解码模式的视频的当前块和视频的比特流表示之间的转换，确定比特流表示包括与在当前块的预测中使用的上方行相对应的第一索引、以及与在所述预测中使用的左侧列相对应的第二索引。方法2200包括：在操作2220处，基于确定执行转换。图23是视频处理装置2300的框图。装置2300可用于实现本文所述的一种或多种方法。装置2300可实施于智能手机、平板电脑、计算机、物联网(iot)接收器等中。装置2300可以包括一个或多个处理器2302、一个或多个存储器2304和视频处理硬件2306。处理器(多个处理器)2302可以被配置成实现本文所述的一中或多种方法。存储器(多个存储器)2304可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件2306可用于在硬件电路中实现本文所述的一些技术。在一些实施例中，可以使用在如关于图23所述的硬件平台上实现的装置来实现视频编解码方法。所公开技术的一些实施例包括作出启用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被启用时，编码器将在视频块的处理中使用或实现该工具或模式，但不一定基于该工具或模式的使用来修改所产生的比特流。也就是说，当基于决策或确定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知晓已经基于视频处理工具或模式修改比特流的情况下处理比特流。也就是说，将使用基于决策或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。所公开技术的一些实施例包括作出禁用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被禁用时，编码器将不在视频块到视频的比特流表示的转换中使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在知晓未使用基于所述决策或确定而启用的视频处理工具或模式修改比特流的情况下处理比特流。图24是示出其中可以实施本文公开的各种技术的示例视频处理系统2400的框图。各种实现可能包括系统2400的部分或全部组件。系统2400可包括用于接收视频内容的输入2402。视频内容可以原始或未压缩格式接收，例如8位或10位多分量像素值，或者可以压缩或编码格式接收。输入2402可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(pon)等的有线接口，以及诸如wi-fi或蜂窝接口的无线接口。系统2400可包括可实现本文中所描述的各种编码或编码方法的编解码组件2404。编解码组件2404可以降低从输入2402到编解码组件2404的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件2404的输出可以被存储，也可以通过连接的通信进行传输，如组件2406所示。输入2402处接收的视频的存储或通信比特流(或编解码的)表示可由组件2408用于生成像素值或发送到显示接口2410的可显示视频。从比特流表示生成用户可观看视频的处理有时称为视频解压缩。此外，尽管某些视频处理操作被称为编解码操作或工具，但应当理解的是，编解码工具或操作被用于编码器处，并且逆向编解码结果的相应的解码工具或操作将由解码器执行。外围总线接口或显示接口的示例可以包括通用串行总线(usb)或高清晰度多媒体接口(hdmi)或显示端口等。存储接口的示例包括sata(串行高级技术附件)、pci、ide接口等。本文中所述的技术可实施在各种电子设备中，例如移动电话、笔记本电脑、智能手机或其他能够执行数字数据处理和/或视频显示的设备。应当理解的是，已经公开了一些技术，这些技术将通过允许在视频或图像的编码或解码中使用帧内编解码工具而有益于包含在视频处理设备(诸如智能手机、笔记本电脑、台式机等类似设备)中的视频编码和解码器实施例。在一些实施例中，可以实现以下技术解决方案：a1.一种视频处理方法，包括：确定为视频的当前块启用其中使用脉冲编解码调制(pcm)的第一编解码模式、或其中使用基于多参考行的帧内预测(mrlip)的第二编解码模式中的至少一个；以及基于所述第一编解码模式或所述第二编解码模式，执行所述视频的比特流表示和所述当前块之间的转换，其中，根据排序规则将指示使用所述第一编解码模式的第一指示和/或指示使用所述第二编解码模式的第二指示包括在所述比特流表示中。a2.根据解决方案a1所述的方法，其中，所述排序规则指定在解码顺序中所述第一指示在所述比特流表示中处于所述第二指示之前。a3.根据解决方案a1所述的方法，其中，在确定启用所述第一编解码模式时，所述比特流表示省略用于所述第二编解码模式的参考行索引。a4.根据解决方案a1所述的方法，其中，在确定禁用所述第一编解码模式时，所述比特流表示还包括用于所述第二编解码模式的参考行索引。a5.根据解决方案a1所述的方法，其中，在确定所述比特流表示包括所述第二指示时，所述比特流表示省略所述第一指示。a6.根据解决方案a1所述的方法，其中，在确定启用所述第一编解码模式时，禁用所述当前块的自适应环路滤波器(alf)处理。a7.根据解决方案a6所述的方法，其中，所述alf处理的指示是否包含在所述比特流表示中是基于所述第一指示。a8.根据解决方案a6所述的方法，其中，所述第一指示是否包含在所述比特流表示中是基于所述alf处理的指示。a9.根据解决方案a6所述的方法，其中，在确定所述当前块的尺寸等于编解码树单元(ctu)的尺寸时，在所述alf处理的指示之前在所述比特流表示中信令通知所述第一指示。a10.根据解决方案a6所述的方法，其中，在确定所述当前块的尺寸等于编解码树单元(ctu)的尺寸时，在采样自适应偏移(sao)处理的指示之前在所述比特流表示中信令通知所述第一指示。a11.根据解决方案a1至a10中任一项所述的方法，其中，pcm_loop_filter_disabled_flag＝1。a12.一种视频处理方法，包括：基于视频的色彩分量表示，为所述视频的当前块和所述视频的比特流表示之间的转换，确定与基于所述当前块的脉冲编解码调制的编解码模式相关联的至少一个标志；以及基于所述确定执行所述转换。a13.根据解决方案a12所述的方法，其中，所述至少一个标志基于是否为所述色彩分量表示的每个分量使用单独的分割树结构。a14.根据解决方案a12所述的方法，其中，所述至少一个标志包括所述色彩分量表示的亮度分量的第一标志，并且其中，所述至少一个标志还包括所述色彩分量表示的色度分量的第二标志。a15.根据解决方案a12所述的方法，其中，所述色彩分量表示包括三个色彩分量，并且其中，所述至少一个标志包括所述三个色彩分量的每一个的三个标志。a16.根据解决方案a12所述的方法，其中，所述至少一个标志包括启用所述脉冲编解码调制的指示，所述指示对应于为所述色彩分量表示的每一个分量启用所述脉冲编解码调制的指示。a17.根据解决方案a16所述的方法，其中，所述色彩分量表示的分量的滤波处理基于为所述色彩分量表示的对应分量启用所述脉冲编解码调制的指示。a18.根据解决方案a12所述的方法，其中，所述至少一个标志包括为所述色彩分量表示的亮度分量启用所述脉冲编解码调制的指示，并且其中，从所述亮度分量内的位置继承为所述色彩分量表示的色度分量启用所述脉冲编解码调制的指示。a19.根据解决方案a18所述的方法，其中，所述位置是所述亮度分量的中心位置。a20.一种视频处理方法，包括：执行视频的视频区域的当前块和所述视频的比特流表示之间的转换，其中根据关于脉冲编解码调制(pcm)对所述当前块的适用性的规则对所述比特流表示进行格式化，并且其中，所述规则指定：在确定禁用所述pcm的指示包含在视频区域级时，在当前块级省略所述pcm的指示。a21.根据解决方案a20所述的方法，其中，在视频参数集(vps)、图片参数集(pps)、图片标头、条带标头、片组标头、片、编解码树单元(ctu)或ctu行中信令通知所述pcm的所述指示.a22.一种视频处理方法，包括：基于视频的当前块的尺寸，作出关于为所述当前块启用脉冲编解码调制(pcm)编解码模式的决定；以及基于所述决定执行所述视频的比特流表示与当前块之间的转换。a23.根据解决方案a22所述的方法，其中，在确定所述当前块包括少于64个样点时启用所述pcm编解码模式。a24.根据解决方案a23所述的方法，其中，所述当前块的所述尺寸为4×4、4×8或8×4。a25.根据解决方案a23所述的方法，其中，pcm_fiag等于1的所述当前块的最小块尺寸被设置为(1og2_min_pcm_luma_coding_block_size_minus2+2)。a26.根据解决方案a22所述的方法，其中，在确定所述当前块的所述尺寸大于或等于64×64时启用所述pcm编解码模式。a27.根据解决方案a22所述的方法，其中，在确定最大编解码单元(lcu)的尺寸等于128×128时启用所述pcm编解码模式。a28.根据解决方案a22所述的方法，其中，启用所述pcm编解码模式，并且其中，在所述比特流表示中信令通知所述当前块中的最大或最小样点数的指示。a29.根据解决方案a28所述的方法，其中，所述指示包括所述最大样点数和所述最小样点数之间的差。a30.根据解决方案a28所述的方法，其中，所述指示包括所述最大或所述最小样点数的以2为底的对数。a31.根据解决方案a28所述的方法，其中，所述指示包括所述最大样点数和所述最小样点数之间的差的以2为底的对数。a32.一种视频处理方法，包括：为视频的当前块和所述视频的比特流表示之间的转换，确定所述当前块的高度或宽度的最小允许值，其中，独立于所述宽度的所述最小允许值信令通知或导出所述高度的所述最小允许值；以及基于所述确定执行所述转换。a33.根据解决方案a32所述的方法，其中，所述比特流表示还包括所述高度或所述宽度的最大允许值，并且其中，独立于所述宽度的所述最大允许值信令通知或导出所述高度的所述最大允许值。a34.根据解决方案a32所述的方法，其中，所述比特流表示省略所述高度或所述宽度的所述最小允许值，并且其中，从编解码单元(cu)块的最小尺寸继承所述最小允许值。a35.根据解决方案a32所述的方法，其中，所述比特流表示省略所述高度或所述宽度的所述最大允许值，并且其中，从编解码单元(cu)块的最大尺寸继承所述最大允许值。a36.根据解决方案a32至a35中任一项所述的方法，其中，所述高度与所述宽度不同。a37.根据解决方案a32所述的方法，其中，所述比特流表示包括：为所述当前块启用脉冲编解码调制(pcm)编解码模式的指示基于(a)所述当前块的所述宽度不小于所述宽度的所述最小允许值，并且不大于所述宽度的所述最大允许值，或者(b)所述当前块的所述高度不小于所述高度的所述最小允许值，并且不大于所述高度的所述最大允许值。a38.根据解决方案a32或a33所述的方法，其中，为所述当前块启用脉冲编解码调制(pcm)编解码模式。a39.一种视频处理方法，包括：在确定在视频的比特流表示中信令通知用脉冲编解码调制(pcm)编解码模式编解码的所述视频的当前块的指示时，配置所述视频的色彩分量表示；以及基于所述配置执行所述当前块和所述比特流表示之间的转换。a40.根据解决方案a39所述的方法，其中，分别信令通知所述色彩分量表示的每个分量的允许尺寸。a41.根据解决方案a39所述的方法，其中，所述配置基于所述色彩分量表示的色彩子采样格式。a42.根据解决方案a41所述的方法，其中，所述色彩子采样格式为4∶2∶0或4∶4∶4。a43.根据解决方案a1至a42中任一项所述的方法，所述转换从所述比特流表示生成所述当前块。a44.根据解决方案a1至a42中任一项所述的方法，其中，所述转换从所述当前块生成所述比特流表示。a45.根据解决方案a1至a42中任一项所述的方法，其中，执行所述转换包括：基于一个或多个解码规则解析所述比特流表示。a46.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现解决方案a1至a45中任一项所述的方法。a47.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现解决方案a1至a45中任一项所述的方法的程序代码。在一些实施例中，可以实现以下技术解决方案：b1.一种视频处理方法，包括：为视频的当前块和所述视频的比特流表示之间的转换，确定由于为所述转换使用非相邻参考行模式而为所述转换禁用广角模式；以及基于所述确定执行所述转换，其中，所述非相邻参考行模式为所述当前块的所述转换使用来自所述视频的参考行的非相邻像素，并且其中，所述广角模式包括超过45度到-135度的常规角度帧内预测方向的帧内预测方向。b2.根据解决方案b1所述的方法，其中，所述转换跳过信令通知的模式和所述广角模式的至少一个索引之间的映射。b3.一种视频处理方法，包括：基于视频的色彩子采样格式，为所述视频的当前块和所述视频的比特流表示之间的转换，做出关于是否为所述当前块启用多参考行(mrl)编解码模式、或者是否将一个或多个参考行索引的信令格式用于所述mrl编解码模式的决定；以及基于所述决定执行所述转换。b4.根据解决方案b3所述的方法，其中，在确定所述色彩子采样格式为4∶4∶4时，为所述视频的色彩分量表示的三个色彩分量启用所述mrl编解码模式。b5.根据解决方案b3所述的方法，其中，为所述视频的色彩分量表示的三个分量编解码所述一个或多个参考行索引的单个参考行索引。b6.根据解决方案b3所述的方法，其中，为所述视频的色彩分量表示的亮度分量编解码所述一个或多个参考行索引的第一参考行索引，并且其中，为所述色彩分量表示的两个其它色彩分量编解码第二参考行索引。b7.根据解决方案b3所述的方法，其中，所述一个或多个参考行索引包括使用编解码进行编解码的至少两个参考行索引。b8.根据解决方案b3所述的方法，其中，所述比特流表示包括指示所述一个或多个参考行索引中的每个都相同的单个标志。b9.根据解决方案b3所述的方法，其中，启用所述mrl编解码模式，并且其中，所述视频的色彩分量表示的不同分量从所述mrl编解码模式中选择不同的候选行。b10.根据解决方案b9所述的方法，其中，所述色彩分量表示的cb和cr分量从临近的第一和第二行中选择所述候选行。b11.一种视频处理方法，包括：在确定为视频的当前块启用帧间-帧内模式和多参考行帧内预测(mrlip)模式时，为所述帧间-帧内模式的帧内预测处理选择与所述当前块不相邻的行或列；以及基于所述行或所述列执行所述视频的比特流表示与当前块之间的转换。b12.根据解决方案b11所述的方法，其中，所述比特流表示包括所述行或所述列的指示。b13.根据解决方案b11所述的方法，其中，在序列参数集(sps)、视频参数集(vps)、图片参数集(pps)、图片标头、条带标头、片组标头或编解码树单元(ctu)中信令通知启用所述帧间-帧内模式和所述mrlip模式的指示。b14.一种视频处理方法，包括：为使用多参考行帧内预测(mrlip)模式编解码的视频的当前块，执行所述视频的比特流表示和所述当前块之间的转换，所述mrlip模式使用与所述当前块不相邻的行，其中，所述mrlip还使用最可能模式(mpm)列表，并且其中，执行所述转换包括：用所述mpm列表的第二模式(m2)替换所述mpm列表的第一模式(m1)。b15.根据解决方案b14所述的方法，其中，所述第一模式是dc模式、平面模式、广角模式、或任何非角度模式。b16.根据解决方案b14所述的方法，其中，导出所述第二模式基于所述mpm列表中的剩余模式。b17.一种视频处理方法，包括：为使用多参考行帧内预测(mrlip)模式编解码的视频的当前块，执行所述视频的比特流表示与当前块之间的转换，所述mrlip模式使用与所述当前块不相邻的行，其中，所述比特流表示包括固定候选列表中模式的编解码索引，而不是最可能模式(mpm)列表中模式的编解码索引。b18.根据解决方案b17所述的方法，其中，所述固定候选列表包括水平模式或垂直模式。b19.根据解决方案b17所述的方法，其中，所述固定候选列表是预先确定的。b20.根据解决方案b17所述的方法，其中，在序列参数集(sps)、视频参数集(vps)、图片参数集(pps)、图片标头、条带标头、片组标头或编解码树单元(ctu)中信令通知所述固定候选列表。b21.根据解决方案b17所述的方法，其中，所述固定候选列表基于所述当前块的高度或宽度。b22.一种视频处理方法，包括：为使用多参考行(mrl)编解码模式的视频的当前块和所述视频的比特流表示之间的转换，确定所述比特流表示包括与在所述当前块的预测中使用的上方行相对应的第一索引、以及与在所述预测中使用的左侧列相对应的第二索引；以及基于所述确定执行所述转换。b23.根据解决方案b22所述的方法，其中，所述第一索引和所述第二索引的不同值对应于允许帧内预测模式的不同集合。b24.根据解决方案b23所述的方法，其中，预先确定所述允许帧内预测模式的不同集合。b25.根据解决方案b23所述的方法，其中，在序列参数集(sps)、视频参数集(vps)、图片参数集(pps)、图片标头、条带标头、片组标头或编解码树单元(ctu)中信令通知所述允许帧内预测模式的不同集合。b26.根据解决方案b1至b25中任一项所述的方法，所述转换从所述比特流表示生成所述当前块。b27.根据解决方案b1至b25中任一项所述的方法，其中，所述转换从所述当前块生成所述比特流表示。b28.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现解决方案b1至b27中任一项所述的方法。b29.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现解决方案b1至b27中任一项所述的方法的程序代码。本文中描述的各种规则可以在实施例中以指令、代码或硬件电路的形式预先指定和存储。当前视频块的比特流表示可以包括由比特流的格式定义的连续或非连续的比特。例如，与当前视频块相关的一些信息可以存储在比特流表示中的标头字段中。本文中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现，包括本文中公开的结构及其结构等效物、或者其一个或多个的组合。公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，即一个或多个编码在计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播信号是人为产生的信号，例如机器产生的电信号、光学信号或电磁信号，生成这些信号以对信息进行编码，以便传输到适当的接收装置。计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。本文中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，fpga(现场可编程门阵列)或asic(专用集成电路)。例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光磁盘；以及cdrom和dvd-rom光盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的一些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在一些组合中起作用，甚至最初要求是这样，但在一些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。同样，尽管图纸中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。当前第1页12