帧内色度预测方法、装置、设备及视频编解码系统与流程

本申请属于视频编码技术领域，尤其涉及一种帧内色度预测方法、装置、视频编解码系统、终端设备、视频编码器、视频解码器及计算机可读存储介质。

背景技术：

视频编码过程主要包括预测、变换量化以及熵编码等模块，预测有可以分为帧内预测和帧间预测，帧内预测又可以包括帧内色度预测和帧内亮度预测。

目前，在新一代视频编码标准多功能视频编码(versatilevideocoding，vvc)中，为了消除ycbcr颜色空间中的冗余信息，一般是利用编码块中亮度分量和色度分量之间的线性相关性，采用相应的线性预测模型cclm(basedcross-componentlinearmodelchromaintra-predictionforvideocoding)或者多模型线性预测模型mmlm(multi-modelbasedcross-componentlinearmodelchromaintra-predictionforvideocoding，mm-cclm)进行帧内色度预测。但是，现有帧内色度预测方式无法适用于所有情况，需要耗费较多的码率。

技术实现要素：

本申请实施例提供一种帧内色度预测方法、装置、视频编解码系统、终端设备、视频编码器、视频解码器及计算机可读存储介质，以解决现有帧内色度预测方式的普适性较低，且需要耗费较多码率的问题。

第一方面，本申请实施例提供一种帧内色度预测方法，包括：

获取已编码或已解码重建的亮度分量；

对所述已编码或已解码重建的亮度分量进行下采样；

将预设参量输入至预训练的色度预测卷积神经网络模型中的图像上色子网络，得到所述图像上色子网络输出的色度分量；其中，所述预设参量包括下采样后的已编码或已解码重建的亮度分量，或者包括下采样后的已编码或已解码重建的亮度分量和目标参量，所述目标参量包括编码失真度和已编码或已解码重建的相邻色度块中的至少一种；

从所述色度分量裁剪出目标色度分量块，所述目标色度分量块为最终的色度预测结果。

结合第一方面，在一种可能的实现方式中，当所述预设参量包括所述已编码或已解码重建的相邻色度块时，所述方法还包括：

从所述已编码或已解码重建的亮度分量中裁剪出目标亮度分量块；通过预设色度预测方式对所述目标亮度分量块进行色度预测，得到预测的色度；将所述预测的色度作为待预测色度块的初始色度分量。

结合第一方面，在一种可能的实现方式中，所述色度预测卷积神经网络模型还包括亮度下采样子网络；

所述对所述已编码或已解码重建的亮度分量进行下采样，包括：通过所述亮度下采样子网络，对所述已编码或已解码重建的亮度分量进行下采样。

结合第一方面，在一种可能的实现方式中，所述根据所述色度分量得出色度预测结果，包括：从所述色度分量中裁剪出目标色度分量块，所述目标色度分量块为所述已编码或已解码重建的亮度分量对应的色度预测结果。

第二方面，本申请实施例提供一种帧内色度预测方法，应用于视频编码器，所述方法包括：

对亮度分量进行编码，得到亮度码流；

获取已编码重建的亮度分量、已编码重建的相邻色度信息以及待编码色度块对应的原始色度信息；

通过率失真优化从至少两种色度预测方式中确定具备最小率失真代价的目标色度预测方式；其中，所述至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，所述第一类色度预测方式为如权利要求1至3任一项所述的帧内色度预测方法；

通过色度预测方式和指示信息之间的关联关系，生成所述目标色度预测方式对应的指示信息；

将所述原始色度信息与预测得到的色度信息进行相减操作，得到色度残差信息；其中，所述预测得到的色度信息为通过所述目标色度预测方式进行色度预测后得出的色度信息；

对所述指示信息和所述色度残差信息进行编码，得到色度码流，并将所述色度码流与所述亮度码流合并得到视频码流。

结合第二方面，在一种可能的实现方式中，所述指示信息具体为标志位数值；

所述通过色度预测方式和指示信息之间的关联关系，生成所述目标色度预测方式对应的指示信息，包括：

通过色度预测方式和标志位数值之间的关联关系，将标志位设置为对应数值，以得到所述目标色度预测方式对应的指示信息。

第三方面，本申请实施例提供一种帧内色度预测方法，应用于视频解码器，所述方法包括：

获取视频编码器输出的视频码流；

对所述视频码流进行解码，得到已解码重建的亮度分量、已解码重建的相邻色度信息和用于确定色度预测方式的指示信息；

根据所述指示信息，从至少两种色度预测方式中确定目标色度预测方式，所述至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，所述第一类色度预测方式为如权利要求1至3任一项所述的帧内色度预测方法；

根据所述已解码重建的亮度分量和所述已解码重建的相邻色度信息，通过所述目标色度预测方式对色度分量进行色度预测，得到色度预测结果；

根据对所述视频码流中的色度残差信息进行解码后得到的残差和所述色度预测结果进行色度重建，得到输出色度。

结合第三方面，在一种可能的实现方式中，所述指示信息具体为标志位数值；

所述根据所述指示信息，从至少两种色度预测方式中确定目标色度预测方式，包括：

当所述标志位数值为第一数值时，将所述第一类色度预测方式确定为所述目标色度预测方式；

当所述标志位数值为第二数值时，将所述第二类色度预测方式确定为所述目标色度预测方式。

第四方面，本申请实施例提供一种帧内色度预测方法，包括：

视频编码器对亮度分量进行编码，得到亮度码流；获取已编码重建的亮度分量、已编码重建的相邻色度信息以及待编码色度块对应的原始色度信息；通过率失真优化从至少两种色度预测方式中确定具备最小率失真代价的目标色度预测方式；其中，所述至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，所述第一类色度预测方式为如权利要求1至3任一项所述的帧内色度预测方法；通过色度预测方式和指示信息之间的关联关系，生成所述目标色度预测方式的指示信息；将所述原始色度信息与预测得到的色度信息进行相减操作，得到色度残差信息；其中，所述预测得到的色度信息为通过所述目标色度预测方式进行色度预测后得出的色度信息；对所述指示信息和所述色度残差进行编码得到色度码流，并将所述色度码流与亮度码流合并得到视频码流；

视频解码器获取所述视频码流；对所述视频码流进行解码，得到已解码重建的亮度分量、已解码重建的相邻色度信息和所述指示信息；根据所述指示信息，从所述至少两种色度预测方式中确定所述目标色度预测方式；根据所述已解码重建的亮度分量和所述已解码重建的相邻色度信息，通过所述目标色度预测方式对色度分量进行色度预测，得到色度预测结果；根据对所述视频码流中的色度残差信息进行解码后得到的残差和所述色度预测结果进行色度重建，得到输出色度。

第五方面，本申请实施例提供一种视频编解码系统，包括视频编码器和视频解码器；

所述视频编码器用于对亮度分量进行编码，得到亮度码流；获取已编码重建的亮度分量、已编码重建的相邻色度信息以及待编码色度块对应的原始色度信息；通过率失真优化从至少两种色度预测方式中确定具备最小率失真代价的目标色度预测方式；其中，所述至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，所述第一类色度预测方式为如权利要求1至3任一项所述的帧内色度预测方法；通过色度预测方式和指示信息之间的关联关系，生成所述目标色度预测方式的指示信息；将所述原始色度信息与预测得到的色度信息进行相减操作，得到色度残差信息；其中，所述预测得到的色度信息为通过所述目标色度预测方式进行色度预测后得出的色度信息；对所述指示信息和所述色度残差进行编码得到色度码流，并将所述色度码流与亮度码流合并得到视频码流；

所述视频解码器用于获取所述视频码流；对所述视频码流进行解码，得到已解码重建的亮度分量、已解码重建的相邻色度信息和所述指示信息；根据所述指示信息，从所述至少两种色度预测方式中确定所述目标色度预测方式；根据所述已解码重建的亮度分量和所述已解码重建的相邻色度信息，通过所述目标色度预测方式对色度分量进行色度预测，得到色度预测结果；根据对所述视频码流中的色度残差信息进行解码后得到的残差和所述色度预测结果进行色度重建，得到输出色度。

第六方面，本申请实施例提供一种帧内色度预测装置，包括：

亮度分量获取模块，用于获取已编码或已解码重建的亮度分量；

下采样模块，用于对所述已编码或已解码重建的亮度分量进行下采样；

上色模块，用于将预设参量输入至预训练的色度预测卷积神经网络模型中的图像上色子网络，得到所述图像上色子网络输出的色度分量；其中，所述预设参量包括下采样后的已编码或已解码重建的亮度分量，或者包括下采样后的已编码或已解码重建的亮度分量和目标参量，所述目标参量包括编码失真度和已编码或已解码重建的相邻色度块中的至少一种；

预测模块，用于从所述色度分量裁剪出目标色度分量块，所述目标色度分量块为最终的色度预测结果。

第七方面，本申请实施例提供一种帧内色度预测装置，包括：

亮度编码模块，用于将亮度分量进行编码，得到亮度码流；

获取模块，用于获取已编码重建的亮度分量、已编码重建的相邻色度信息以及待编码色度块对应的原始色度信息；

第二确定模块，用于通过率失真优化从至少两种色度预测方式中确定具备最小率失真代价的目标色度预测方式；其中，所述至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，所述第一类色度预测方式为如权利要求1至3任一项所述的帧内色度预测方法；

生成模块，用于通过色度预测方式和指示信息之间的关联关系，生成所述目标色度预测方式对应的指示信息；

相减模块，用于将所述原始色度信息与预测得到的色度信息进行相减操作，得到色度残差信息；其中，所述预测得到的色度信息为通过所述目标色度预测方式进行色度预测后得出的色度信息；

编码模块，用于对所述指示信息和所述色度残差信息进行编码，得到色度码流，并将所述色度码流与所述亮度码流合并得到视频码流。

第八方面，本申请实施例提供一种帧内色度预测装置，包括：

码流获取模块，用于获取视频编码器输出的视频码流；

解码模块，用于对所述视频码流进行解码，得到已解码重建的亮度分量、已解码重建的相邻色度信息和用于确定色度预测方式的指示信息；

第一确定模块，用于根据所述指示信息，从至少两种色度预测方式中确定目标色度预测方式，所述至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，所述第一类色度预测方式为如权利要求1至3任一项所述的帧内色度预测方法；

色度预测模块，用于根据所述已解码重建的亮度分量和所述已解码重建的相邻色度信息，通过所述目标色度预测方式对色度分量进行色度预测，得到色度预测结果；

色度重建模块，用于根据对所述视频码流中的色度残差信息进行解码后得到的残差和所述色度预测结果进行色度重建，得到输出色度。

第九方面，本申请实施例提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的帧内色度预测方法。

第十方面，本申请实施例提供一种视频编码器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第二方面任一项所述的帧内色度预测方法。

第十一方面，本申请实施例提供一种视频解码器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第三方面任一项所述的帧内色度预测方法。

第十二方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面或第二方面或第三方面任一项所述的帧内色度预测方法。

第十三方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在终端设备或视频编码器或视频解码器上运行时，使得终端设备或视频编码器或视频解码器相应执行上述第一方面或第二方面或第三方面中任一项所述的帧内色度预测方法。

本申请实施例与现有技术相比存在的有益效果是：通过色度预测卷积神经网络模型中的图像上色子网络和输入的相应参量进行色度预测，即将色度预测问题模型化为图像上色问题，普适性较高。另外，基于图像上色子网络进行色度预测可以节省码率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种帧内色度预测方法的流程示意框图；

图2为本申请实施例提供的相邻色度块重构过程的流程示意框图；

图3为本申请实施例提供的相邻色度块重构过程示意图；

图4为本申请实施例提供的基于卷积神经网络的帧内色度预测方法的示意图；

图5为本申请实施例提供的一种帧内色度预测装置的结构示意框图；

图6为本申请实施例提供的一种帧内色度预测方法的流程示意框图；

图7为本申请实施例提供的视频编码器的编码过程示意图；

图8为本申请实施例提供的一种帧内色度预测装置的结构示意框图；

图9为本申请实施例提供的一种帧内色度预测方法的流程示意框图；

图10为本申请实施例提供的视频解码器的解码过程示意图；

图11为本申请实施例提供的一种帧内色度预测装置的结构示意框图；

图12为本申请实施例提供的一种视频编解码系统的结构示意框图；

图13为本申请实施例提供的视频编码器和视频解码器之间的交互示意图；

图14为本申请实施例提供的终端设备的结构示意图；

图15为本申请实施例提供的视频编码器的结构示意图；

图16为本申请实施例提供的视频解码器的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。

下面将通过具体实施例对本申请实施例提供的技术方案进行介绍。

实施例一

请参见图1，为本申请实施例提供的一种帧内色度预测方法的流程示意框图，该方法可以包括以下步骤：

步骤101、获取已编码或已解码重建的亮度分量。

需要说明的是，上述已编码或已解码重建的亮度分量可以是任意颜色空间、任意视频格式对应的亮度分量，即本申请实施例提供的帧内色度预测方法可以应用于任意颜色空间和任意视频格式。例如，上述已编码或已解码重建的亮度分量为ycbcr4：2：0格式下的亮度分量y。

步骤102、对已编码或已解码重建的亮度分量进行下采样。

需要说明的是，上述下采样的方式可以是现有技术中的任意一种下采样方式，也可以通过卷积神经网络进行亮度下采样。

在一些实施例中，上述色度预测卷积神经网络模型还可以包括亮度下采样子网络。此时，上述对已编码或已解码重建的亮度分量进行下采样的具体过程可以包括：通过亮度下采样子网络，对已编码或解码重建的亮度分量进行下采样。

其中，上述色度预测卷积神经网络模型除了包括下文的图像上色子网络之外，还可以包括亮度下采样子网络。通过该亮度下采样子网络可以将输入的已编码或已解码重建的亮度分量进行下采样，得到下采样后的已编码或已解码重建的亮度分量。例如，将4n×4n的已编码或已解码重建的亮度分量输入至亮度下采样子网络，经过亮度下采样子网络下采样后，输出2n×2n的已编码或已解码重建的亮度分量，其中，n为64。

另外，亮度下采样子网络的输出层可以包括一个或多个核函数，即亮度下采样网络可以输出一个或多个下采样结果，一个下采样结果对应一个下采样后的已编码或已解码重建的亮度分量。相较于一个下采样结果，通过多个下采样结果进行色度预测可以进一步提高色度预测性能。

上述亮度下采样子网络可以具体为卷积神经网络，当颜色空间和视频格式为ycbcr4：2：0格式，该亮度下采样子网络的超参数和结构可以具体如下表1所示。

表1

需要说明的是，上述表1示出的亮度下采样子网络的结构和超参数仅仅是一种示意。在具体应用中，可以根据实际需要对亮度下采样子网络中的超参数和结构进行调整。例如，当颜色空间和视频格式为ycbcr4：4：4时，亮度下采样子网络中的第二层步幅设置为1，当颜色空间和视频格式为ycbcr4：2：2时，亮度下采样子网络只能在垂直或水平方向上执行。

值得指出的是，相较于普通的下采样方式，通过上述亮度下采样子网络进行下采样，可以获得较多的亮度信息，以进一步提高后续色度预测的性能。

步骤103、将预设参量输入至预训练的色度预测卷积神经网络模型中的图像上色子网络，得到图像上色子网络输出的色度分量；

其中，预设参量包括下采样后的已编码或已解码重建的亮度分量，或者包括下采样后的已编码或已解码重建的亮度分量和目标参量，目标参量包括编码失真度和已编码或已解码重建的相邻色度块中的至少一种。

需要说明的是，上述预设参量可以只包括下采样后的已编码或已解码重建的亮度分量，可以包括下采样后的已编码或已解码重建的亮度分量和编码失真度，可以包括下采样后的已编码或已解码重建的亮度分量和相邻色度块，也可以包括下采样后的已编码或已解码重建的亮度分量、编码失真度和已编码或已解码重建的相邻色度块。

其中，已编码或已解码重建的相邻色度块可以提高图像上色网络的色度预测性能和网络模型训练速度，而编码失真度可以消除压缩失真带来的负面影响。基于此，当预设参量同时包括下采样后的已编码或已解码重建的亮度分量、编码失真度和相邻色度块时，图像上色网络的性能最佳，即帧内色度预测性能最好；当预设参量包括下采样后的已编码或已解码重建的亮度分量和编码失真度，或者包括下采样后的已编码或已解码重建的亮度分量和已编码或已解码重建的相邻色度块时，图像上色网络的性能次之；而当预设参量只包括下采样后的已编码或已解码重建的亮度分量时，图像上色网络的性能最差，即帧内色度预测性能最差。

应理解的是，即使预设参量只包括下采样后的已编码或已解码重建的亮度分量，通过图像上色网络仍然能得出色度预测结果，即仍然能实现本申请实施例的目的。

值得指出的是，上述编码失真度可以具体表现为以量化参数为特征的图像块。其中，编码失真度的数值可以为0～51中的任意一个数值。例如，编码失真度的数值为10，编码失真度具体为2n×2n的图像块，该图像块内每一个像素点的数值均为10。

上述相邻色度块是指包括相邻色度信息的图像块，该相邻色度块是预先重构好的。在一些实施例中，当上述预设参量包括已编码或已解码重建的相邻色度块时，参见图2示出的相邻色度块重构过程的流程示意框图，上述帧内色度预测方法还可以包括：

步骤201、从已编码或已解码重建的亮度分量中裁剪出目标亮度分量块。

需要说明的是，上述目标亮度分量块一般是指位于已编码或已解码重建的亮度分量右下方的亮度分量块。例如，已编码或已解码重建的亮度分量为4n×4n的亮度块，将4n×4n的亮度分量块划分为4个2n×2n的亮度分量块，右下方2n×2n的亮度分量块即为目标亮度分量块。

步骤202、通过预设色度预测方式对目标亮度分量块进行色度预测，得到预测的色度。

需要说明的是，上述预设色度预测方式可以具体为现有技术中的任意一种色度预测方式，例如，线性预测模型cclm或多方向线性模型mdlm。利用传统的线性色度预测模型，对目标亮度分量块进行色度预测，得到预测的色度cb和cr。

步骤203、将预测的色度作为待预测色度块的初始色度信息。

为了更好地介绍上述相邻色度块重构过程，下面将结合图3示出的相邻色度块重构过程示意图进行介绍。

如图3所述，已编码或已解码重建的亮度分量31的大小为4n×4n，该亮度分量包括大小为2n×2n、编码分别为1、2、3、4的亮度分量块，其中，亮度分量块1位于左上方，亮度分量块2位于右上方，亮度分量块3位于左下方，亮度分量块4位于右下方。通过裁剪可以得到亮度分量块32，然后将2n×2n的亮度分量块32输入线性预测模型cclm，得到预测的色度cb和cr34，再将n×n的色度块cb和cr分别填入至相应色度块35的空缺部分，即色度块cb和cr分别填充至图3中的问号位置，以作为待预测色度块2n×2n的初始色度信息。

需要说明的是，上述图像上色子网络的输入为灰度图，输出为对应的彩色图。在本申请实施例中，将色度预测问题模型化为图像上色问题，即通过图像上色达到帧内色度预测的目的。

作为示例而非限定，上述图像上色子网络的结构和超参数可以如下表2所示。

表2

应当理解的是，上述表2示出的图像上色子网络的结构和超参数仅仅是一种示例。在具体应用中，可以根据需要调整上述图像上色子网络中的超参数和结构。

上述色度预测卷积神经网络模型包括上述图像上色子网络，在一些实施例中，还可以包括亮度下采样子网络，该色度预测卷积神经网络模型是预先训练好的。

当色度预测卷积神经网络模型包括亮度下采样子网络和图像上色子网络时，在该色度卷积神经网络模型的训练过程中，损失函数具体为：

l2＝λ||cb‘-cb||²+(1-λ)||cr‘-cr||²，其中，λ为权重，cb‘、cr‘为从图像上色网络的输出中裁剪得到的色度分量，其大小为n×n。cb、cr是大小为n×n的色度分量的真实值。

其中，cb‘,cr‘＝f2(f1(y),d,cb,cr)，f2为图像上色网络，f1(y)为下采样后的已编码或已解码重建的亮度分量，大小为2n×2n；d为编码失真度，大小为2n×2n；cb,cr为相邻色度块中的相邻色度信息，相邻色度块大小为2n×2n。训练过程中的批量大小和学习率分别设置为128和1×10^-4。λ可以设置为0.5。训练样本数据集可以包括来自ucid数据库的886张图像和来自div2k数据库的400张图像。

步骤104、从色度分量裁剪出目标色度分量块，目标色度分量块为最终的色度预测结果。

具体地，在将预设参量输入至图像上色子网络之后，图像上色子网络会输出相应的色度分量，然后再从图像上色子网络的输出中裁剪出对应的色度分量块，以得到预测的色度。即在一些实施例中，上述根据色度分量得出色度预测结果的具体过程可以包括：从色度分量中裁剪出目标色度分量块，目标色度分量块为已编码或已解码重建的亮度分量对应的色度预测结果。

例如，当图像上色子网络输出的色度分量的大小为2n×2n，从2n×2n的色度分量中裁剪出n×n的目标色度分量块，该目标亮度分量块是2n×2n的色度分量中右下方的色度块。

为了更好地介绍本申请实施例提供的帧内色度预测方法，下面将结合图4示出的基于卷积神经网络的帧内色度预测方法的示意图进行介绍。

如图4所示，色度预测卷积神经网络模型包括亮度下采样子网络41和图像上色子网络42，已编码或已解码重建的亮度分量43的大小为4n×4n，包括4个2n×2n的亮度分量块，这4个2n×2n的亮度分量块分别用1、2、3、4编号。从已编码或已解码重建的亮度分量43中裁剪出2n×2n的亮度分量块4作为目标亮度分量块，将目标亮度分量块输入至线性色度预测模型cclm，得出线性色度预测模型cclm的输出结果cb和cr，将输出结果cb和cr填入至相邻色度块中的空缺部分，以作为待预测色度块的初始色度分量。

将已编码或已解码重建的亮度分量43输入至亮度下采样网络41，得出多个下采样后的已编码或已解码重建的亮度分量。然后将多个2n×2n的下采样后的已编码或已解码重建的亮度分量44、重构出的2n×2n的相邻色度块45和2n×2n的编码失真度46输入至图像上色子网络42，图像上色子网络输出两个2n×2n的色度分量47，分别从两个2n×2n的色度分量中裁剪出n×n的cb‘和cr‘，裁剪出的n×n的cb‘和cr‘即为最终的色度预测结果。

相应地，参见图5示出的一种帧内色度预测装置的结构示意框图，该装置可以包括：

亮度分量获取模块51，用于获取已编码或已解码重建的亮度分量；

下采样模块52，用于对已编码或已解码重建的亮度分量进行下采样；

上色模块53，用于将预设参量输入至预训练的色度预测卷积神经网络模型中的图像上色子网络，得到图像上色子网络输出的色度分量；其中，预设参量包括下采样后的已编码或已解码重建的亮度分量，或者包括下采样后的已编码或解码重建的亮度分量和目标参量，目标参量包括编码失真度和已编码或已解码重建的相邻色度块中的至少一种；

预测模块54，用于从色度分量裁剪出目标色度分量块，目标色度分量块为最终的色度预测结果。

在一些实施例中，当预设参量包括相邻色度块时，该装置还可以包括：

裁剪模块，用于从已编码或已解码重建的亮度分量中裁剪出目标亮度分量块；

色度预测模块，用于通过预设色度预测方式对目标亮度分量块进行色度预测，得到预测的色度；

重构模块，将预测的色度作为待预测色度块的初始色度分量。

在一些实施例中，上述色度预测卷积神经网络模型还包括亮度下采样子网络；上述下采样模块具体用于：通过亮度下采样子网络，对已编码或已解码重建的亮度分量进行下采样。

需要说明的是，上述帧内色度预测装置与上述帧内色度预测方法一一对应，相关介绍请参见上文相应内容，在此不再赘述。

可以看出，本申请实施例提供的基于卷积神经网络的帧内色度预测方案，通过图像上色子网络和输入的相应参量进行色度预测，以将色度预测问题模型化为图像上色问题，普适性较高。另外，基于图像上色子网络进行色度预测可以节省码率。通过实验可得，本申请实施例提供的基于卷积神经网络的帧内色度预测方案相较于现有的色度预测方式，平均可以节省4.235％的码率。

实施例二

本申请实施例提供的基于卷积神经网络的帧内色度预测方案可以应用于视频编解码过程。为了进一步提高视频编解码性能，可以在基于卷积神经网络的帧内色度预测方法和传统的色度预测方法之间进行率失真代价竞争，以选取最小率失真代价的色度预测方式进行视频编解码。本实施例将对色度编码过程进行介绍。

参见图6，为本申请实施例提供的一种帧内色度预测方法的流程示意框图，该方法可以具体应用于视频编码器，该方法可以包括以下步骤：

步骤601、将亮度分量进行编码，得到亮度码流；

步骤602、获取已编码重建的亮度分量、已编码重建的相邻色度信息以及待编码色度块对应的原始色度信息。

可以理解的是，上述已编码或解码重建的亮度分量y、色度分量cb、cr和相邻色度信息均可包括在编码块中。其中，上述相邻色度信息具体表现为相邻色度块。

步骤603、通过率失真优化从至少两种色度预测方式中确定具备最小率失真代价的目标色度预测方式；其中，至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，第一类色度预测方式为如上述实施例一中任一项的帧内色度预测方法。

需要说明的是，视频编码器中包括至少两种色度预测方式，至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式。第一类色度预测方式是指本申请实施例提供的基于卷积神经网络的帧内色度预测方法，而第二类色度预测方式可以是指传统的帧内色度预测方法，传统的帧内色度预测方法包括角度预测、线性模型cclm和多方向线性模型mdlm等等。应理解，上述第二类色度预测方式可以包括一种或多种传统的帧内色度预测方法。

通过率失真优化可以从多种色度预测方式中确定出最小率失真代价的色度预测方式。在一些实施例中，上述通过率失真优化从至少两种色度预测方式中确定具备最小率失真代价的目标色度预测方式的具体过程可以包括：分别计算至少两种色度预测方式对应的率失真代价值；将率失真代价值最小的色度预测方式确定为目标色度预测方式。

步骤604、通过色度预测方式和指示信息之间的关联关系，生成目标色度预测方式对应的指示信息。

需要说明的是，上述关联关系是预先建立，通过该关联关系可以确定出每一种色度预测方式对应的指示信息。例如，当指示信息具体为二进制的标志位数值，预先建立每一种色度预测方式与对应数值之间的映射关系，具体表现为：第一种色度预测方式对应的标志位数值为00，第二种色度预测方式对应的标志位数值为01，依次类推。

在通过关联关系获取到色度预测方式对应的指示信息之后，可以根据对应的指示信息内容生成相应的指示信息。例如，当目标色度预测方式对应的数值为1，则将二进制标志位的数值设置为1，以生成目标色度预测方式对应的指示信息。该指示信息用于指示选择哪种色度预测方式进行色度预测。

在一些实施例中，上述指示信息具体为标志位数值。上述通过色度预测方式和指示信息之间的关联关系，生成目标色度预测方式对应的指示信息的具体过程可以包括：通过色度预测方式和标志位数值之间的关联关系，将标志位设置为对应数值，以得到目标色度预测方式对应的指示信息。

在本实施例中，可以将上述实施例一中的基于卷积神经网络的帧内色度预测方法对应的二进制标志位数值设置为1，第二类色度预测方式对应的二进制标志位数值设置为0。此时，如果通过率失真优化确定出具备最小率失真代价的是基于卷积神经网络的色度预测方式，则将二进制标志位的数值设置为1，反之，如果具备最小率失真代价的是第二类色度预测方式，则将二进制标志位的数值设置为0。应当理解，当第二类色度预测方式包括多种传统的色度预测方式时，可以使用两位或三位二进制标志位表示对应的色度预测方式，例如，用两位二进制标志位来表示对应的色度预测方式，第一种传统色度预测方式对应的二进制标志位的数值为00，第二种传统色度预测方式对应的二进制标志位的数值为01，依次类推。

步骤605、将原始色度信息与预测得到的色度信息进行相减操作，得到色度残差信息；其中，预测得到的色度信息为通过目标色度预测方式进行色度预测后得出的色度信息。

其中，上述预测得到的色度信息是通过执行确定出的目标色度预测方式对待预测色度块进行色度预测得出的信息，具体过程在此不再赘述。

步骤606、对指示信息和色度残差信息进行编码得到色度码流，与亮度码流合并得到视频码流。

具体地，对指示信息进行无损失真编码，对色度残差信息进行相应的残差编码，以得到视频编码器的输出码流。

为了更好地介绍本实施例提供的视频编码器的编码过程，下面将结合图7示出的视频编码器的编码过程示意图进行说明。

如图7所示，将亮度分量进行编码，得到亮度码流；将待预测色度编码块71输入至视频编码器72，该待预测色度编码块包括已编码重建的亮度分量和已编码重建的相邻色度信息等信息。视频编码器分别执行传统帧内色度预测方式和基于卷积神经网络的帧内色度预测方式，通过率失真优化，计算出每种色度预测方式的率失真代价值，然后比较率失真代价值的大小，选取最小率失真代价值对应的色度预测方式作为目标色度预测方式；再基于目标色度预测方式，将二进制标志位设置为相应数值，然后对二进制标志位进行编码和对待预测色度编码块进行残差编码，以得到色度码流73。该色度码流与亮度码流合并成视频码流，传送至视频解码器，以进行相应的解码过程。

相应地，参见图8示出的一种帧内色度预测装置的结构示意框图，该装置可以包括：

亮度编码模块81，用于将亮度分量进行编码，得到亮度码流；

获取模块82，用于获取已编码重建的亮度分量、已编码重建的相邻色度信息以及待编码色度块对应的原始色度信息；

第二确定模块83，用于通过率失真优化从至少两种色度预测方式中确定具备最小率失真代价的目标色度预测方式；其中，至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，第一类色度预测方式为如上述实施例一任一项的帧内色度预测方法；

生成模块84，用于通过色度预测方式和指示信息之间的关联关系，生成目标色度预测方式对应的指示信息；

相减模块85，用于将原始色度信息与预测得到的色度信息进行相减操作，得到色度残差信息；其中，预测得到的色度信息为通过目标色度预测方式进行色度预测后得出的色度信息；

编码模块86，用于对指示信息和色度残差信息进行编码，得到色度码流，并将色度码流与亮度码流合并得到视频码流。

在一些实施例中，上述第二确定模块具体用于：分别计算至少两种色度预测方式对应的率失真代价值；将率失真代价值最小的色度预测方式确定为目标色度预测方式。

在一些实施例中，上述指示信息具体为标志位数值。上述生成模块具体用于：通过色度预测方式和标志位数值之间的关联关系，将标志位设置为对应数值，以得到目标色度预测方式对应的指示信息。

需要说明的是，上述帧内色度预测装置与上述帧内色度预测方法一一对应，相关介绍请参见上文相应内容，在此不再赘述。

可以看出，通过在传统帧内色度预测方式和本申请实施例提供的基于卷积神经网络的帧内色度预测方式之间进行率失真代价竞争，并增加用于指示选择哪种色度预测方式的指示信息，可以进一步提高色度编码性能。

实施例三

在介绍完视频编码过程之后，本实施例将视频解码过程进行介绍说明。本实施例的视频解码过程与上述实施例二的视频编码过程相对应。

参见图9，为本申请实施例提供的一种帧内色度预测方法的流程示意框图，该方法可以应用于视频解码器，该方法可以包括以下步骤：

步骤901、获取视频编码器输出的码流。

步骤902、对视频码流进行解码，得到已解码重建的亮度分量、已解码重建的相邻色度信息和用于确定色度预测方式的指示信息。

具体地，视频解码器接收视频编码器输出的视频码流，然后对码流进行解码，以得到相应的信息。其中，上述指示信息可以具体为二进制标志位。

步骤903、根据指示信息，从至少两种色度预测方式中确定目标色度预测方式，至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，第一类色度预测方式为如上述实施例一中任一项的帧内色度预测方法。

具体地，解码得到指示信息之后，可以根据指示信息确定出选用的目标色度预测方式。例如，当指示信息具体为标志位数值；上述根据指示信息，从至少两种色度预测方式中确定目标色度预测方式的具体过程可以包括：当标志位数值为第一数值时，将第一类色度预测方式确定为目标色度预测方式；当标志位数值为第二数值时，将第二类色度预测方式确定为目标色度预测。其中，上述第一数值可以为1，相应地，第二数值为0；第一数值也可以为0，相应地，第二数值为1。

步骤904、根据已解码重建的亮度分量和已解码重建的相邻色度信息，通过目标色度预测方式对色度分量进行色度预测，得到色度预测结果。

可以理解的是，根据指示信息选择出目标色度预测方式之后，可以执行目标色度预测方式进行色度预测，以得到相应的色度预测结果。其中，如果目标色度预测方式为上述实施例一的基于卷积神经网络的帧内色度预测方法，色度预测的具体过程可以参见上文相应内容，在此不再赘述。

步骤905、根据对码流中的色度残差信息进行解码后得到的残差和色度预测结果进行色度重建，得到输出色度。

为了更好地介绍视频解码过程，下面将结合图10示出的视频解码器的解码过程示意图进行介绍。

如图10所示，视频解码器101接收输入码流102，首先对亮度分量进行解码，然后进行二进制标志位解码，得到二进制标志位，根据二进制标志位确定是选用传统帧内色度预测方式进行色度预测，还是选择基于卷积神经网络的帧内色度预测方式进行色度预测；然后执行所选择的目标色度预测方式进行色度预测，得到色度预测结果；基于得到的色度预测结果和残差解码的结果进行色度重建，得到输出色度103。

相应地，参见图11示出的一种帧内色度预测装置的结构示意框图，该装置可以包括：

码流获取模块111，用于获取视频编码器输出的码流；

解码模块112，用于对视频码流进行解码，得到已解码重建的亮度分量、已解码重建的相邻色度信息和用于确定色度预测方式的指示信息；

第一确定模块113，用于根据指示信息，从至少两种色度预测方式中确定目标色度预测方式，至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，第一类色度预测方式为如上述实施例一任一项的帧内色度预测方法；

色度预测模块114，用于根据已解码重建的亮度分量和已解码重建的相邻色度信息，通过目标色度预测方式对色度分量进行色度预测，得到色度预测结果；

色度重建模块115，用于根据对视频码流中的色度残差信息进行解码后得到的残差和色度预测结果进行色度重建，得到输出色度。

在一些实施例中，上述指示信息具体为标志位数值；上述第一确定模块具体用于：当标志位数值为第一数值时，将第一类色度预测方式确定为目标色度预测方式；当标志位数值为第二数值时，将第二类色度预测方式确定为目标色度预测方式。

需要说明的是，上述帧内色度预测装置与上述实施例帧内色度预测方法一一对应，相关介绍请参见上文相应内容，在此不再赘述。

可以看出，通过在传统帧内色度预测方式和本申请实施例提供的基于卷积神经网络的帧内色度预测方式之间进行率失真代价竞争，并增加用于指示选择哪种色度预测方式的指示信息，可以进一步提高色度编码性能。

实施例四

参见图12，为本申请实施例提供的一种视频编解码系统的结构示意框图，该系统可以包括视频编码器121和视频解码器122。当然，该系统还包括用于传输码流的编码传输子系统123，该编码传输子系统介于视频编码器和视频解码器之间，用于将视频编码器输出的码流传输至视频解码器。

其中，视频编码器121用于将亮度分量进行编码，得到亮度码流；获取已编码重建的亮度分量和已编码重建的相邻色度信息，以及待编码色度块对应的原始色度信息；通过率失真优化从至少两种色度预测方式中确定具备最小率失真代价的目标色度预测方式；其中，至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，第一类色度预测方式为如上述实施例一任一项的帧内色度预测方法；通过色度预测方式和指示信息之间的关联关系，生成目标色度预测方式的指示信息；将原始色度信息与预测得到的色度信息进行相减操作，得到色度残差信息；其中，预测得到的色度信息为通过目标色度预测方式进行色度预测后得出的色度信息；对指示信息和色度残差进行编码得到色度码流，并将色度码流与亮度码流合并得到视频码流；

视频解码器122用于获取码流；对码流进行解码，得到已解码重建的亮度分量、已解码重建的相邻色度信息和指示信息；根据指示信息，从至少两种色度预测方式中确定目标色度预测方式；根据已解码重建的亮度分量和已解码重建的相邻色度信息，通过目标色度预测方式对色度分量进行色度预测，得到色度预测结果；根据对码流中的色度残差信息进行解码后得到的残差和色度预测结果进行色度重建，得到输出色度。

需要说明的是，关于基于卷积神经网络的帧内色度预测方法、视频编码器的编码过程以及视频解码器的解码过程可以参见上文相应内容，在此不再赘述。

相应地，参见图13示出的视频编码器和视频解码器之间的交互示意图，上述帧内色度预测系统的交互流程可以包括以下步骤：

步骤1301、视频编码器将亮度分量进行编码，得到亮度码流。

步骤1302、获取已编码重建的亮度分量和已编码重建的相邻色度信息，以及待编码色度块对应的原始色度信息。

步骤1303、视频编码器通过率失真优化从至少两种色度预测方式中确定具备最小率失真代价的目标色度预测方式；其中，至少两种色度预测方式包括第一类色度预测方式和第二类色度预测方式，第一类色度预测方式为如上述第一方面任一项的帧内色度预测方法。

步骤1304、视频编码器通过色度预测方式和指示信息之间的关联关系，生成目标色度预测方式的指示信息。

步骤1305、视频编码器将原始色度信息与预测得到的色度信息进行相减操作，得到色度残差信息。

步骤1306、视频编码器对指示信息和色度残差信息进行编码得到色度码流，与亮度码流合并得到视频码流。

步骤1307、视频解码器获取视频编码器输出的视频码流。

步骤1308、视频解码器对视频码流进行解码，得到已解码重建的亮度分量、已解码重建的相邻色度信息和指示信息。

步骤1309、视频解码器根据指示信息，从至少两种色度预测方式中确定目标色度预测方式。

步骤1310、视频解码器根据已解码重建的亮度分量和已解码重建的相邻色度信息，通过目标色度预测方式对色度分量进行色度预测，得到色度预测结果。

步骤1311、视频解码器根据对码流中的色度残差信息进行解码后得到的残差和色度预测结果进行色度重建，得到输出色度。

需要说明的是，视频编码器和视频解码器之间的交互流程与上文各个实施例的相同或相似之处，可以参见上文相应内容，在此不再赘述。

需要说明的是，上述装置、单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例五

图14为本申请一实施例提供的终端设备的结构示意图。如图14所示，该实施例的终端设备14包括：至少一个处理器140、存储器141以及存储在所述存储器141中并可在所述至少一个处理器140上运行的计算机程序142，所述处理器140执行所述计算机程序142时实现上述实施例一中任意帧内色度预测方法实施例中的步骤。

该终端设备14可以是桌上型计算机、笔记本或者掌上电脑等计算设备。该终端设备可包括，但不仅限于，处理器140、存储器141。本领域技术人员可以理解，图14仅仅是终端设备14的举例，并不构成对终端设备14的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器140可以是中央处理单元(centralprocessingunit，cpu)，该处理器140还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器141在一些实施例中可以是所述终端设备14的内部存储单元，例如终端设备14的硬盘或内存。所述存储器141在另一些实施例中也可以是所述终端设备14的外部存储设备，例如所述终端设备14上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器141还可以既包括所述终端设备14的内部存储单元也包括外部存储设备。所述存储器141用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器141还可以用于暂时地存储已经输出或者将要输出的数据。

图15为本申请一实施例提供的视频编码器的结构示意图。如图15所示，该实施例的视频编码器15包括：至少一个处理器150、存储器151以及存储在所述存储器151中并可在所述至少一个处理器150上运行的计算机程序152，所述处理器150执行所述计算机程序152时实现上述实施例二中任意帧内色度预测方法实施例中的步骤。

该视频编码器可包括，但不仅限于，处理器150、存储器151。本领域技术人员可以理解，图15仅仅是视频编码器15的举例，并不构成对视频编码器15的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器150可以是中央处理单元(centralprocessingunit，cpu)，该处理器150还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器151在一些实施例中可以是所述视频编码器15的内部存储单元，例如视频编码器15的硬盘或内存。所述存储器151在另一些实施例中也可以是所述视频编码器15的外部存储设备，例如所述视频编码器15上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器151还可以既包括所述视频编码器15的内部存储单元也包括外部存储设备。所述存储器151用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器151还可以用于暂时地存储已经输出或者将要输出的数据。

图16为本申请一实施例提供的视频解码器的结构示意图。如图16所示，该实施例的视频解码器16包括：至少一个处理器160、存储器161以及存储在所述存储器161中并可在所述至少一个处理器160上运行的计算机程序162，所述处理器160执行所述计算机程序162时实现上述实施例三中任意帧内色度预测方法实施例中的步骤。

该视频解码器可包括，但不仅限于，处理器160、存储器161。本领域技术人员可以理解，图16仅仅是视频解码器16的举例，并不构成对视频解码器16的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器160可以是中央处理单元(centralprocessingunit，cpu)，该处理器160还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器161在一些实施例中可以是所述视频解码器16的内部存储单元，例如视频解码器16的硬盘或内存。所述存储器161在另一些实施例中也可以是所述视频解码器16的外部存储设备，例如所述视频解码器16上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器161还可以既包括所述视频解码器16的内部存储单元也包括外部存储设备。所述存储器161用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器161还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述实施例一或实施例二或实施例三任一项的帧内色度预测方法。

本申请实施例还提供了一种计算机程序产品，当计算机程序产品在终端设备或视频编码器或视频解码器上运行时，使得终端设备或视频编码器或视频解码器相应执行上述实施例一或实施例二或实施例三中任一项的帧内色度预测方法。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置、和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。