基于视频内容跳过编码模式判决方法、装置、设备及介质与流程

本申请涉及视频编码技术领域，具体涉及基于视频内容跳过编码模式判决方法、装置、设备及介质。

背景技术：

跳过编码模式被广泛应用于如h.264、h.265等高效视频编码标准中。编码模式预测占据了整个编码模块计算资源中较大的比重。

发明人发现，中低性能成像设备拍摄视频所引入的图像噪声，会削弱视频序列中内容相同的区域的时间相关性，增大视频编码的带宽消耗。

技术实现要素：

为了快速确定部分可能执行跳过编码模式的视频，降低成像噪声造成的编码带宽消耗，本申请实施例拟提供基于视频内容跳过编码模式判决方法、装置、设备及介质。

本申请实施例提供了一种基于视频内容跳过编码模式判决方法，其特征在于，包括：基于视频内容判定所述视频内容的视频源类型；基于所述视频源类型，对所述视频内容的视频帧与参考视频帧进行帧间像素关系检测；将所述视频帧的同位像素关系送到编码器，以判决所述视频帧在执行帧间预测编码时是否使用跳过编码模式。

本申请实施例还提供一种基于视频内容跳过编码模式判决装置，其特征在于，包括类型判定模块、像素关系检测模块、传送模块，其中，所述类型判定模块基于视频内容判定所述视频内容的视频源类型；所述像素关系检测模块基于所述视频源类型对所述视频内容的视频帧与参考视频帧进行同位像素关系检测；所述传送模块将所述视频帧的同位像素关系送到编码器，以判决所述视频帧在执行帧间预测编码时是否使用跳过编码模式。

本申请实施例还提供一种编码器，其特征在于，所述编码器包括数据接口、预测模块、模式决策模块，所述数据接口接收上述所述一种基于视频内容跳过编码模式判决装置的所述视频帧的同位像素关系；所述预测模块预测运动矢量是否为0；所述模式决策模块判断所述视频帧的同位像素关系为未发生变动和所述运动矢量为0时，判决所述视频帧所述视频帧在执行帧间预测编码时使用跳过编码模式。

本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述所述的方法。

本申请实施例还提供一种计算机可读存储介质，其上存储有处理器程序,其特征在于，所述处理器程序用于执行上述所述的方法。

本申请实施例提供的技术方案，基于视频内容的预分析，将分析结果作为后续编码器的参考信息，可使部分视频帧区域快速确定为跳过编码模式，优化了编码器预测编码模式的决策过程，节省了编码资源，提高了编码效率，一定程度上降低成像噪声对编码造成的影响。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种基于视频内容跳过编码模式判决方法流程示意图；

图2是本申请另一实施例提供的一种基于视频内容跳过编码模式判决方法流程示意图；

图3是本申请一实施例提供的一种基于视频内容跳过编码模式判决方法应用框图；

图4是本申请一实施例提供的一种基于视频内容跳过编码模式判决装置组成示意图；

图5是本申请另一实施例提供的一种基于视频内容跳过编码模式判决装置组成示意图；

图6是本申请一实施例提供的一种编码器组成示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，以下将结合附图和实施例，对本申请技术方案的具体实施方式进行更加详细、清楚的说明。然而，以下描述的具体实施方式和实施例仅是说明的目的，而不是对本申请的限制。其只是包含了本申请一部分实施例，而不是全部的实施例，本领域技术人员对于本申请的各种变化获得的其他实施例，都属于本申请保护的范围。

应该理解的是，虽然第一、第二、第三等用语可使用于本文中用来描述各种元件或组件，但这些元件或组件不应被这些用语所限制。这些用语仅用以区分一个元件或组件与另一元件或组件。因此，下述讨论之第一元件或组件，在不脱离本发明之内容下，可被称为第二元件或第二组件。

图1是本申请一实施例提供的一种基于视频内容跳过编码模式判决方法流程示意图，包括以下步骤。

在步骤s110中，基于视频内容判定视频内容的视频源类型。

本方法是对待编码视频图像进行预分析，根据分析结果，优化编码器预测编码模式的决策过程。这里的视频内容是指待编码视频图像，待编码的视频图像依据成像方式可分为计算机直接生成的人工图像序列以及通过成像传感器生成的拍摄图像序列。人工图像序列包括但不限于动画、桌面截图，拍摄图像序列包括但不限于自拍视频、纪录片。这两类视频在图像空间特征和时域变化特征上有明显的区别。

在步骤s120中，基于视频源类型，对视频内容的视频帧与参考视频帧进行同位像素关系检测。

参考视频帧是根据实际情况选定的视频帧。基于视频源类型，建立帧间关系模型，用于描述视频内容各像素点位置的帧间同位像素关系。其中，同位像素关系可分为发生变动或未发生变动两类。发生变动是指认为该位置像素相对于参考视频帧，其像素描述信息发生了变化，反之，未发生变动则表示该位置像素相对于参考视频帧，其像素描述信息未发生变化。

在步骤s130中，将视频帧的同位像素关系送到编码器，以判决视频帧在执行帧间预测编码时是否使用跳过编码模式。

在本实施例中，将视频帧的同位像素关系送到编码器。编码器使用h.264/avc标准作为编码标准。

对于帧间预测编码，在进行当前编码单元块的预测模式决策时，编码器可查找当前编码宏块范围内所有像素位置所标记的同位像素关系，若宏块内所有像素均被标记为未发生变动，则再检测预测运动矢量是否为0。若满足编码宏块内所有像素的同位像素关系均为未发生变动且预测运动矢量为0，则直接判定当前编码宏块采用跳过编码模式，避免后续复杂的预测模式判断，减少计算开销。对于不符合判定条件的宏块再按照正常流程选择预测模式。

本实施例提供的技术方案，基于视频内容的预分析，将分析结果作为后续编码器的参考信息，可使部分视频帧区域快速确定为跳过编码模式，优化了编码器预测编码模式的决策过程，节省了编码资源，提高了编码效率，一定程度上降低成像噪声对编码造成的影响。

图2是本申请另一实施例提供的一种基于视频内容跳过编码模式判决方法流程示意图，包括以下步骤。

在步骤s211中，确定视频内容的像素空间变化特征，如果同帧相邻像素值相等的数量占总像素数量的百分比超过第一设定阈值，则判定视频内容为人工图像序列，否则进入下一步。

本方法是对待编码视频图像进行预分析，根据分析结果，优化编码器预测编码模式的决策过程。这里的视频内容是指待编码视频图像，待编码的视频图像依据成像方式可分为计算机直接生成的人工图像序列以及通过成像传感器生产的拍摄图像序列。人工图像序列包括但不限于动画、桌面截图，拍摄图像序列包括但不限于自拍视频、纪录片。这两类视频在图像空间特征和时域变化特征上有明显的区别。

基于视频内容确定视频内容图像序列的像素空间变化特征。具体而言，就是比较视频内容的同帧相邻像素值，对于同帧相邻像素值不同的情况进行记录，得到可描述像素内容在空域波动性的特征。

对于拍摄图像序列，相邻像素相等的情况通常远低于人工图像序列。如果同帧相邻像素值相等的情况多于第一设定阈值，则判定视频内容为人工图像序列。

对于视频内容序列的当前帧，将每个像素与其右边或下边像素(如果存在的话)进行比较，若相同则进行记录。最终若相同像素占总像素数百分比超过第一设定阈值t1，t1通常取大于0.7的某个值，则认为当前帧符合人工图像序列的特征。否则，进入下一步。

在步骤s212中，确定视频内容的亮度直方图特征，如果出现概率小于第二设定阈值的亮度值数目占总亮度值阶数的比值大于第三设定阈值，或某一亮度值的出现概率大于第四设定阈值，则判定所述视频内容为人工图像序列；否则，进入下一步。

具体而言，就是对视频内容的亮度值进行统计，得到亮度概率分布。对于人工图像序列，可能出现某些亮度值出现概率极大，或直方图出现大量亮度值对应统计数值较低的情况。

在本实施例中，亮度直方图横轴为亮度阶，纵轴为该亮度阶的数量，那么如果包括1、2、3、4四个亮度阶，其分别对应的像素数为0、0、5、0。若第二设定阈值为0.1，则显然亮度值1、2、4的出现概率均为0，小于第二设定阈值，则出现概率小于第二设定阈值的亮度值占比为75％，若第三设定阈值为72％，则判定视频内容为人工图像序列。

或者，如果包括1、2、3、4四个亮度阶，其分别对应的像素数为1、1、97、1。可以判断亮度3出现了97次。如果第四设定阈值为90％，则亮度值3出现概率为97％显然大于了第四设定阈值，则判定视频内容为人工图像序列。

在步骤s213中，确定视频内容的像素时间变化特征，如果相邻帧同位置像素值相等的像素占一帧图像像素数的比重大于第五设定阈值，则判断视频内容为人工图像序列；否则，判断视频内容为拍摄图像序列。

具体而言，就是比较视频内容的相邻帧同位置像素值，对于视频内容的相邻帧同位置像素值不同的情况进行记录，得到可描述像素内容在时域波动性的特征。通常只有人工图像序列才可能出现大面积甚至整副画面像素值均不发生变化的情况。如果出现大面积相邻帧同位置像素值不发生变化的情况，则判断视频内容为人工图像序列。也就是说，将当前帧与前帧图像进行比较，计算像素值相等的像素占一帧图像像素数的比重，若该比重大于第五设定阈值t5，则认为当前帧符合人工图像序列的特征。否则，判断视频内容为拍摄图像序列。如果当前帧为第一帧则也判定为拍摄图片序列。

在步骤s221中，将视频内容的视频帧与参考视频帧进行逐像素比较，计算出每个像素位置上的差值δij。

基于视频源类型，对视频内容与参考视频帧进行同位像素关系检测。参考视频帧是根据实际情况选定的视频帧。基于视频源类型，建立帧间关系模型，用于描述视频内容各像素点位置的帧间同位像素关系。其中，同位像素关系可分为发生变动或未发生变动两类。发生变动是指认为该位置像素相对于参考视频帧，其像素描述信息发生了变化，反之，未发生变动则表示该位置像素相对于参考视频帧，其像素描述信息未发生变化。

在步骤s222中，如果视频内容为拍摄图像序列，则建立模型矩阵描述视频内容各像素点噪声确定预设噪声阈值tij，差值δij小于预设噪声阈值tij，则标记视频帧相较于参考视频帧的同位像素关系为未发生变动，并依据差值更新高斯模型矩阵和预设噪声阈值；否则标记为发生变动，高斯模型矩阵和预设噪声阈值置为初始默认值。

其中，模型矩阵包括但不限于高斯模型矩阵。以高斯模型矩阵为例，在系统初始化阶段，建立高斯模型矩阵[(μ，θ)]w×h，用来描述视频内容各像素点噪声，这里w为图像宽度，h为图像高度，每个元素为高斯模型的均值μ与方差θ，这里取μ＝0，θ＝θ0，这里θ0为指定的默认方差初始值。由于此后模型更新均值也恒为0，模型可简化为，[θij]w×h(i∈w，j∈h)。

这里tij是一个与θij相关且大于等于θij的阈值。如果视频内容为拍摄图像序列，差值δij小于预设噪声阈值tij，则标记视频帧相较于参考视频帧的同位像素关系为未发生变动，并依据δij对θij和tij进行更新，否则标记为发生变动，θij和tij置为初始默认值。

在步骤s223中，如果视频内容为人工图像序列，差值δij为0，则标记视频帧相较于参考视频帧的同位像素关系为未发生变动；否则标记为发生变动。

在步骤s230中，将视频帧的同位像素关系送到编码器，以判决视频帧在执行帧间预测编码时是否使用跳过编码模式。

在本实施例中，将视频帧的同位像素关系送到编码器。编码器使用h.265/hevc标准作为编码标准。

首先查找当前预测单元pu范围内所有像素位置所标记的同位像素关系，若pu范围内所有像素均被标记为未变动，则依据h.265标准所规定的合并(merge)模式，对当前预测单元pu生成运动矢量候选列表，不执行率失真代价计算，遍历运动矢量候选列表，若发现为0的运动矢量则将该运动矢量的编号作为h.265标准所定义的merge_idx值，同时当前pu使用跳过编码。对于不符合判定条件的pu再按照正常流程选择预测模式。

本实施例提供的技术方案，进一步引入了高斯模型，增大了跳过编码模式判定对噪声的容忍度，降低了成像噪声引入的编码带宽消耗。

需要特别指出的是，图3是本申请一实施例提供的一种基于视频内容跳过编码模式判决方法应用框图。

如图3所示，在对计算复杂度或系统实时性有严格要求的情景，视频类型的判断，可依据情况每隔若干帧进行一次，当前帧不进行视频类型判断时则参考最近一次的判断结果。

图中frame_cur为当前编码帧，frame_ref为参考帧，video_type为对当前视频序列为人工/拍摄序列类型的判断结果，px_change_st为当前帧与参考帧的同位像素关系信息。

图4是本申请一实施例提供的一种基于视频内容跳过编码模式判决装置组成示意图，装置包括类型判定模块41、像素关系检测模块42、传送模块43。

类型判定模块41基于视频内容判定视频内容的视频源类型。像素关系检测模块42基于视频源类型，对视频内容的视频帧与参考视频帧进行同位像素关系检测。传送模块43将视频帧的同位像素关系送到编码器，以判决是否跳过编码模式。

图5是本申请另一实施例提供的一种基于视频内容跳过编码模式判决装置组成示意图，装置包括类型判定模块41、像素关系检测模块42、传送模块43。

类型判定模块41基于视频内容判定视频内容的视频源类型。像素关系检测模块42基于视频源类型，对视频内容的视频帧与参考视频帧进行同位像素关系检测。传送模块43将视频帧的同位像素关系送到编码器，以判决视频帧在执行帧间编码时是否使用跳过编码模式。

类型判定模块41包括空间特征子模块411、亮度特征子模块412、时间特征子模块413。

空间特征子模块411确定视频内容的像素空间变化特征，如果当前帧内相邻像素值相等的数量占总像素数量的百分比超过第一设定阈值，则判定视频内容为人工图像序列。亮度特征子模块412确定视频内容的亮度直方图特征，如果出现概率小于第二设定阈值的亮度值数目占总亮度值阶数的比值大于第三设定阈值，或某一亮度值的出现概率大于第四设定阈值，则判定视频内容为人工图像序列。时间特征子模块413确定视频内容的像素时间变化特征，如果相邻帧同位置像素值相等的像素占一帧图像像素数的比重大于第五设定阈值，则判断视频内容为人工图像序列；否则，判断视频内容为拍摄图像序列。

像素关系检测模块42包括像素差模块421、拍摄图像素关系模块422、人工图像素关系模块423。

像素差模块421将视频内容的视频帧与参考视频帧进行逐像素比较，计算出每个像素位置上的差值。拍摄图像素关系模块422在视频内容为拍摄图像序列时，建立高斯模型矩阵描述视频内容各像素点噪声确定预设噪声阈值，差值小于预设噪声阈值则标记视频帧相较于参考视频帧的同位像素关系为未发生变动，并依据差值更新高斯模型矩阵和预设噪声阈值；否则标记为发生变动，高斯模型矩阵和预设噪声阈值置为初始默认值。人工图像素关系模块423在视频内容为人工图像序列时，差值为0，则标记视频帧相较于参考视频帧的同位像素关系为未发生变动；否则标记为发生变动。

图6是本申请一实施例提供的一种编码器组成示意图，编码器包括数据接口61、预测模块62、模式决策模块63。

数据接口61接收基于视频内容跳过编码模式判决装置的视频帧的同位像素关系。预测模块62预测运动矢量是否为0。模式决策模块63判断视频帧的同位像素关系为未发生变动和所述运动矢量为0时，判决视频帧在执行帧间预测编码时使用跳过编码模式。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述所述的基于视频内容跳过编码模式判决方法。

一种计算机可读存储介质，其上存储有处理器程序,处理器程序用于执行上述所述的基于视频内容跳过编码模式判决方法。

需要说明的是，以上参照附图所描述的各个实施例仅用以说明本申请而非限制本申请的范围，本领域的普通技术人员应当理解，在不脱离本申请的精神和范围的前提下对本申请进行的修改或者等同替换，均应涵盖在本申请的范围之内。此外，除上下文另有所指外，以单数形式出现的词包括复数形式，反之亦然。另外，除非特别说明，那么任何实施例的全部或一部分可结合任何其它实施例的全部或一部分来使用。