一种视频处理方法、装置、终端及存储介质与流程

本发明涉及一种视频处理技术领域，特别是一种视频处理方法、装置、终端及存储介质。

背景技术：

随着智能电视、手机等的逐步广泛应用以及人工智能技术、图像传感技术等相关技术的演进迭代和运用，图像处理技术也越来越受到重视，而且获取原始图像的分辨率也越来越高。

在对这些原始图像进行处理时，通常利用一种基于深度学习的神经网络模型来推理实现。一般来讲，对于移动终端比如基于android或者ios平台的智能手机或者高并发和高吞吐的云服务平台，其单体承受的计算能力和内存容量均比较受限，实施较大的或者较复杂的神经网络模型成为挑战和瓶颈。因此，采用神经网络模型推理较大分辨率的图像成为工业界的挑战和难题。传统常规的方法是无论获得的原始图像是哪种分辨率，统一经过图像处理，比如缩放和/或裁剪、填充到预设训练好的网络模型输入尺寸再进行图像内容检测。例如，视频通信场景获取的原始图像分辨率为3840*2160，对于3840*2160的原始图像直接缩放到相应的网络模型输入尺寸如416*416，输入到神经网络，提取相关的图像特征(如人脸特征)，最后对特征位置进行定位检测。

但是对于原始图像为超大分辨率或者大分辨率，对其直接按照上述的传统图像处理方式进行内容检测时，会造成图像有效信息丢失严重，导致无法检测到相应的目标，检测精度严重下降。因此，现有的图像处理方式，存在对大分辨率或者超大分辨率视频进行内容检测时，容易造成图像有效信息丢失严重、计算性能低下，导致目标检测精度下降甚至无法检测到的问题。

技术实现要素：

本发明的目的在于，提供一种视频处理方法、装置、终端及存储介质。本发明具有避免图像有效信息丢失、提高目标检测精度的特点。

本发明的技术方案：一种视频处理方法，包括以下步骤：

s1：将待处理的原始视频进行图像分组划分，令n帧连续的图像为一个图像组，其中，n为大于1的整数；

s2：对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，进行图像特征提取计算，输出每一帧图像的特征；

s3：根据图像组内每一帧图像的特征，计算当前图像组的视频特征。

前述的视频处理方法中，所述s2中，若原始视频的分辨率大于参考分辨率r，则采用第一图像特征提取的计算方法，否则采用第二图像特征提取的计算方法。

前述的视频处理方法中，所述第一图像特征提取的计算方法，包括以下步骤：

步骤一、将原始视频缩放到特征提取模块能够保证精度的最大缩放视频，最大缩放视频的分辨率为参考分辨率r；

步骤二、在最大缩放视频的图像组内的每一帧图像中选取m1个待特征提取的区域，其中，m1为大于或者等于1的整数；

步骤三、对图像组内所有帧的待特征提取的区域作区域并集计算，并集的区域总和至少覆盖到最大缩放视频的整个画面；

步骤四、每帧图像的待特征提取的区域选定后，依据选定的区域生成像素块，对像素块进行图像特征提取计算，输出每一帧图像的图像特征结果。

前述的视频处理方法中，所述参考分辨率r比原始视频的分辨率小，比特征提取模块的输入尺寸大，最接近特征提取模块输入允许的最大分辨率。

前述的视频处理方法中，所述第二图像特征提取的计算方法，包括以下步骤：

步骤一、在原始视频的图像组内的每一帧图像中选取m2个待特征提取的区域，其中，m2为大于或者等于1的整数；

步骤二、对图像组内所有帧的待特征提取的区域作区域并集计算，并集的区域总和至少覆盖到原始视频的整个画面；

步骤三、每帧图像的待特征提取的区域选定后，依据选定的区域生成像素块，对像素块进行图像特征提取计算，输出每一帧图像的图像特征结果。

前述的视频处理方法中，所述特征提取模块采用神经网络处理器npu或者图像处理器gpu。

前述的视频处理方法中，所述步骤s3中，当前图像组的视频特征的计算方法为，对当前图像组的每一帧图像的特征图进行拼接合成，或者是对当前图像组的每一帧图像的特征图中的特征值进行相加。

上述视频处理方法的一种视频处理装置，包括

视频分组模块，用于将待处理的原始视频进行图像分组划分，令n帧连续的图像为一个图像组，其中，n为大于1的整数；

特征提取模块，用于对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，进行图像特征提取计算；

获取模块，用于根据图像组内每一帧图像的特征，计算当前图像组的视频特征。

一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的视频处理方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的视频处理方法。

与现有技术相比，本发明通过将待处理原始视频进行图像分组划分，确定多帧连续的图像为一个图像组，对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，将视频分帧分区进行图像特征提取计算，根据图像组内每一帧图像的特征，计算当前图像组的整体视频特征，由于视频在时间域内具有强的相关性，同一块像素区域在不同时间的连续帧都有重复出现，一般每次的特征提取计算往往比较耗时，分帧分区可以减少或者避免重复的特征提取计算，从而降低计算复杂度，减少大分辨率视频传统处理方式所产生的关键像素信息的损失，提升计算性能，降低功耗，并进一步提高了目标特征提取和识别的精确性。

且针对不同的分辨率的原始视频采用不同的处理方法，进一步降低计算复杂度，减少时延。

因此，本发明具有避免图像有效信息丢失、提高目标检测精度的特点。

附图说明

图1是本发明视频处理方法的流程图；

图2是本发明视频处理方法中图像分组划分方法的示意图；

图3是不同分辨率的原始视频处理流程图；

图4是图像组特征提取计算方法示意图；

图5是视频处理装置的结构示意图。

具体实施方式

下面结合实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例：

如图1所示，一种视频处理方法，包括以下步骤：

s1：将待处理的原始视频进行图像分组划分，令n帧连续的图像为一个图像组(groupofpicture,简称gop)；其中，n为大于1的整数；即一个图像组中包含n帧连续的图像。例如，第一连续的n帧图像被划分确定为gop1，相继连续的n帧图像被划分确定为gop2，以此类推，如图2所示。

n的取值取决于原始视频的帧率fr、每帧图像特征提取的计算时间time以及系统容忍的时延值delay等因素。

n与原始视频的帧率fr及系统容忍的时延值delay为正相关的关系，与每帧图像特征提取的计算时间time存在负相关关系，其关系式如下等式1所示：

s2：对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，进行图像特征提取计算，输出每一帧图像的特征；

如图3所示，若原始视频的分辨率大于参考分辨率r，比如原始视频的分辨率为1080p，则采用第一图像特征提取的计算方法，否则采用第二图像特征提取的计算方法。

参考分辨率r的取值依赖于原始视频的分辨率和图像特征提取模块的输入尺寸大小，以及图像特征提取模块识别精度规格及系统容许精度偏差范围等因素。需经过结合图像特征提取模块和原始视频的经验推测和反复的离线测试回归计算得到，比原始视频的分辨率小，比特征提取模块的输入尺寸大。

参考分辨率r的取值的计算方法如下：

步骤1：依据特征提取模块的输入尺寸(cx*cy)、特征提取模块的识别精度规格(τ)和系统容许识别精度偏差范围(ε)，确定特征提取模块输入允许的最大分辨率r0,及r0对应的横坐标及纵坐标的乘积r0；r0与(cx*cy)等比例关系；如等式2所示，r0与cx、cy、τ和ε存在正相关关系，λ为一常数；

r0＝function(cx,cy,τ,ε)＝λ*f(cx,cy)*g(τ)*h(ε)......等式2

步骤2：根据步骤1求得的特征提取模块输入允许的最大分辨率r0，计算基于原始视频(ix*iy)的参考分辨率r：

r＝function(k,r0)＝κ*m(r0)......等式5

等式4中，κ表示原始视频分辨率横纵坐标的比值。

等式5中，r表示基于等同原始视频横纵比κ下最接近符合特征提取模块输入允许的最大分辨率r0的视频分辨率。

比如：原始视频输入分辨率为3840*2160,特征提取模块的输入尺寸为416*416，τ＝0.8，ε＝0.05，λ＝156.25，通过等式2和等式3计算求得r0＝1081600，r0＝1040*1040；通过等式4，计算得到k＝1.777778，通过等式5，计算得到r＝1920*1080。

由于大分辨率1080p以及4k、8k等超大分辨率同特征提取模块的输入尺寸存在较大悬殊，尤其是一种神经网络推理模块，神经网络模型输入尺寸较小，如4k分辨率大小，两者倍率关系达到数十倍，覆盖至原始视频整个画面需要足够大的n帧才能完成，因此需要更多视频帧才能完成1个gop处理，从而增加了时延，因此，采用以下的第一图像特征提取计算方法。

第一图像特征提取的计算方法，包括以下步骤：

步骤一，将原始视频缩放到特征提取模块能够保证精度的最大缩放视频，最大缩放视频的分辨率为参考分辨率r；

步骤二，在最大缩放视频的图像组内的每一帧图像中选取m1个待特征提取的区域，其中，m1为大于或者等于1的整数；

步骤三、对图像组内所有帧的待特征提取的区域作区域并集计算，并集的区域总和至少覆盖到最大缩放视频的图像组的整个画面；

步骤四、每帧图像的待特征提取的区域选定后，依据选定的区域生成像素块，对像素块进行图像特征提取计算，输出每一帧图像的图像特征结果。采用现有的图像特征提取模块对像素块进行图像特征提取计算，提取计算的方式也是现有的常规的方式，因此不在此具体阐述。所述特征提取模块可以采用神经网络推理模块，神经网络推理模块可以采用专用的神经网络处理器npu或者图像处理器gpu。

第一图像特征提取的计算方法，可以减少或者避免重复的特征提取计算，可以降低计算复杂度，减少时延。

第二图像特征提取的计算方法，包括以下步骤：

步骤一、在原始视频的图像组内每一帧图像中选取的待特征提取的区域个数为m2个，m2为大于或者等于1的整数；

步骤二、对图像组内所有帧的待特征提取的区域作区域并集计算，并集的区域总和至少覆盖到原始视频的图像组的整个画面；

步骤三、基于这个准则，每帧图像的待特征提取的区域选定后，依据选定的区域生成像素块，通过特征提取模块对像素块进行图像特征提取计算，输出每一帧图像的图像特征结果。采用现有的图像特征提取模块对像素块进行图像特征提取计算，所述特征提取模块可以采用神经网络推理模块，神经网络推理模块可以采用专用的神经网络处理器npu或者图像处理器gpu。提取计算的方式也是现有的常规的方式，因此不在此具体阐述。

如图4所示，令n＝2，2帧连续的图像为一个gop，其中gop内第一帧选择左侧阴影区域作为待特征提取的区域，第二帧选择右侧阴影区域作为待特征提取的区域，左侧区域和右侧区域覆盖了视频gop的整个画面，其中左侧区域和右侧区域可以有交叠部分。

s3：根据图像组内每一帧图像的特征，计算当前图像组的视频特征。

依据获取的gop内每一帧图像的图像特征，则可以依据对应采用的第一图像特征提取计算方法或者第二图像特征提取计算方法通过还原计算得到当前gop的整体视频特征。

所述整体gop视频特征的计算获取可以是对gop每一帧图像的特征图进行拼接合成得到，或者是特征图中特征值相加得到或者是其他方式，此处不作具体限定。

如图5所示，一种视频处理装置，包括：

视频分组模块，用于将待处理的原始视频进行图像分组划分，令n帧连续的图像为一个图像组(groupofpicture,简称gop)，n为大于1的整数；

特征提取模块，用于对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，进行图像特征提取计算，输出每一帧图像的特征；

获取模块，用于根据图像组内每一帧图像的特征，计算当前图像组的视频特征；

本申请还提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。

本申请还提供了一种计算机程序产品，所述计算机程序产品在终端上运行时，使得所述终端执行上述方法的步骤。