视频防抖方法以及装置与流程

所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。下面参照图8来描述根据本技术的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述视频防抖方法部分中描述的根据本技术各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应若明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述视频防抖方法。由此可见，本技术提供的方案，与现有技术相比，具有如下优势：1)通过在当前视频帧设置多个运动向量采样点，以分别估算多个所述运动向量采样点的局部运动向量，从而能够极大地提升算法的并行计算能力，降低算法的运行时间和耗流，使得算法更为轻量化，避免占用硬件资源较高、功耗较大的问题；2)利用历史运动向量队列的均值对持方运动向量的统计均值，从而将视频采集装置的持方的运动量引入到全局运动向量的计算中，能够对当前视频帧的全局运动向量进行校正，一方面，能够减少算法复杂性，另一方面，能够提高全局运动向量的准确性，从而能够提升在画面出现异常抖动时的稳定性。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

背景技术：

1、目前，常用的视频防抖方法主要有三类：机械防抖、光学防抖和电子防抖。机械防抖通过精密的机械结构和驱动单元进行防抖，擅长处理较大幅度的抖动，但是在处理高频小幅度的振动时效果较弱。光学防抖通过镜头组内部的陀螺仪检测手持设备拍摄时的轻微抖动，计算补偿移动量，驱动镜头组或者感光元件偏移，达到防抖的效果。电子防抖则是通过特征点或者灰度匹配等方法估计视频中的运动向量，通过运动向量对视频帧进行补偿、裁切，达到防抖的效果。

2、机械防抖和光学防抖具有良好的防抖效果，但是需要设计专用的防抖结构和陀螺仪、加速度计等元器件，产品成本相对较高、设计研发周期较长。对于可穿戴式的纽扣摄像机而言，考虑其成本、体积、重量等因素，机械防抖和光学防抖的方案较难实现。

3、利用特征点、光流法等方案实现的电子防抖，在计算运动向量等方面较精确，且存在一定的场景适应性，但是计算复杂度较高，占用硬件资源较多，功耗相对较高，不利于便携式设备实现；

4、通过灰度匹配的方案实现的电子防抖，计算占用资源较少，便于图形处理单元并行运算，但是算法鲁棒性较弱，运动向量运算容易受到场景特征的影响，在低特征场景中，容易出现匹配出错的情况。

5、在诸如纽扣摄像机的可穿戴式摄像机的使用场景中，人物行走时重心会出现较小的左右交替和较大的上下振动，然而，目前的电子防抖算法中，并没有将人物本身的运动向量引入到视频防抖中。

6、由此，如何实现轻量化、低功耗、容易并行处理的视频防抖的同时，提高防抖效果，是本领域技术人员亟待解决的技术问题。

技术实现思路

1、本技术为了克服上述现有技术存在的缺陷，提供一种视频防抖方法、装置、设备以及存储介质，从而实现轻量化、低功耗、容易并行处理的视频防抖的同时，提高防抖效果。

2、根据本技术的一个方面，提供一种视频防抖方法，包括：

3、于当前视频帧设置多个运动向量采样点；

4、分别估算多个所述运动向量采样点的局部运动向量；

5、基于多个所述运动向量采样点的局部运动向量，获得当前视频帧的初始全局运动向量；

6、根据历史运动向量队列，获得视频采集装置的持方于当前视频帧的持方运动向量的统计均值，所述历史运动向量队列包括历史视频帧的校正全局运动向量；

7、基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局运动向量进行校正，获得当前视频帧的校正全局运动向量；

8、基于当前视频帧的校正全局运动向量，对当前视频帧进行运动补偿，获得当前视频帧的稳定视频帧。

9、在本技术的一些实施例中，所述分别估算多个所述运动向量采样点的局部运动向量包括：

10、对于各运动向量采样点，依次遍历所述运动向量匹配搜索区域内各点：

11、计算当前点的绝对值差异累加和；

12、根据当前点的绝对值梯度变化值以及绝对值差异累加和的最小阈值，确定是否根据当前点，更新所述运动向量采样点的局部运动向量。

13、在本技术的一些实施例中，所述根据当前点的绝对值梯度变化值以及绝对值差异累加和的最小阈值，确定是否根据当前点，获取所述运动向量采样点的局部运动向量包括：

14、响应于当前点的绝对值差异累加和小于最小累加和，使所述最小累加和为当前点的绝对值差异累加和；

15、响应于所述运动向量匹配搜索区域中的当前点的前点绝对值差异累加和大于当前点的绝对值梯度变化值，且所述最小累加和大于所述最小阈值，基于当前点的位置，更新当前运动向量采样点的局部运动向量，

16、其中，所述当前点的绝对值梯度变化值为当前点的绝对值差异累加和与梯度变化系数的乘积，所述当前点的前点绝对值差异累加和为当前点同一行的前一点的绝对值差异累加和。

17、在本技术的一些实施例中，响应于所述运动向量匹配搜索区域中的当前点的前点绝对值差异累加和小于等于当前点的绝对值梯度变化值，或者所述最小累加和小所述最小阈值，将当前运动向量采样点的局部运动向量标记为异常运动向量，并剔除所述异常运动向量。

18、在本技术的一些实施例中，所述基于多个所述运动向量采样点的局部运动向量，获得当前视频帧的初始全局运动向量包括：

19、将多个所述运动向量采样点的局部运动向量的中值局部运动向量，作为当前视频帧的初始全局运动向量。

20、在本技术的一些实施例中，所述基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局运动向量进行校正，获得当前视频帧的校正全局运动向量包括

21、所述基于前一视频帧的校正全局运动向量，对当前视频帧的初始全局运动向量进行平滑，获得当前视频帧的平滑全局运动向量；

22、基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述平滑全局运动向量进行校正，获得当前视频帧的校正全局运动向量。

23、在本技术的一些实施例中，所述基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局运动向量进行校正，获得当前视频帧的校正全局运动向量之后，还包括：

24、响应于当前视频帧的校正全局运动向量大于预设最大裁切参数，使当前视频帧的校正全局运动向量为所述最大裁切参数。

25、在本技术的一些实施例中，所述基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局运动向量进行校正，获得当前视频帧的校正全局运动向量之后，还包括：

26、基于当前视频帧的校正全局运动向量，获得当前视频帧的动态裁切参数；

27、基于当前视频帧的动态裁切参数对当前视频帧的稳定视频帧进行裁切。

28、在本技术的一些实施例中，所述基于当前视频帧的校正全局运动向量，获得当前视频帧的动态裁切参数包括：

29、使当前视频帧的初始动态裁切参数为当前视频帧的校正全局运动向量的绝对值；

30、基于历史视频帧的动态裁切参数，平滑当前视频帧的初始动态裁切参数，获得当前视频帧的平滑裁切参数；

31、基于所述当前视频帧的图像比例，约束当前视频帧的平滑裁切参数，获得当前视频帧的动态裁切参数。

32、在本技术的一些实施例中，所述基于历史视频帧的动态裁切参数，平滑当前视频帧的初始动态裁切参数，获得当前视频帧的平滑裁切参数包括：

33、响应于当前视频帧的初始动态裁切参数小于前一视频帧的动态裁切参数，基于前一视频帧的动态裁切参数以及裁切平滑系数，平滑当前视频帧的初始动态裁切参数，获得当前视频帧的平滑裁切参数。

34、在本技术的一些实施例中，所述响应于当前视频帧的初始动态裁切参数小于前一视频帧的动态裁切参数，基于前一视频帧的动态裁切参数以及裁切平滑系数，平滑当前视频帧的初始动态裁切参数，获得当前视频帧的平滑裁切参数之前还包括：

35、响应于当前视频帧的初始动态裁切参数小于预设最小裁切参数，使当前视频帧的初始动态裁切参数为所述预设最小裁切参数。

36、在本技术的一些实施例中，所述图像比例为图像的横纵比例，所述平滑裁切参数包括横向平滑裁切参数以及纵向平滑裁切参数，所述动态裁切参数包括横向动态裁切参数以及纵向动态裁切参数，所述基于所述当前视频帧的图像比例，约束当前视频帧的平滑裁切参数，获得当前视频帧的动态裁切参数包括：

37、响应于所述横向平滑裁切参数与所述图像比例的比值大于所述纵向平滑裁切参数，使所述纵向动态裁切参数为所述横向平滑裁切参数与所述图像比例的比值；

38、响应于所述横向平滑裁切参数与所述图像比例的比值小于等于所述纵向平滑裁切参数，使所述横向动态裁切参数为所述纵向平滑裁切参数与所述图像比例的比值的乘积。

39、在本技术的一些实施例中，所述基于当前视频帧的动态裁切参数对当前视频帧的稳定视频帧进行裁切之后，包括：

40、对裁切后的稳定视频帧进行插值放缩，使所述稳定视频帧的分辨率与当前视频帧的分辨率一致。

41、在本技术的一些实施例中，应用于可穿戴式纽扣视频采集装置中。

42、根据本技术的又一方面，还提供一种视频防抖装置，包括：

43、采样点设置模块，配置成于当前视频帧设置多个运动向量采样点；

44、局部运动向量估算模块，配置成分别估算多个所述运动向量采样点的局部运动向量；

45、初始全局运动向量获取模块，配置成基于多个所述运动向量采样点的局部运动向量，获得当前视频帧的初始全局运动向量；

46、持方运动向量的统计均值获取模块，配置成根据历史运动向量队列，获得视频采集装置的持方于当前视频帧的持方运动向量的统计均值，所述历史运动向量队列包括历史视频帧的校正全局运动向量；

47、校正全局运动向量获取模块，配置成基于当前视频帧的所述持方运动向量的统计均值，对当前视频帧的所述初始全局运动向量进行校正，获得当前视频帧的校正全局运动向量；

48、稳定视频帧获取模块，配置成基于当前视频帧的校正全局运动向量，对当前视频帧进行运动补偿，获得当前视频帧的稳定视频帧。

49、根据本技术的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。

50、根据本技术的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。

51、由此可见，本技术提供的方案，与现有技术相比，具有如下优势：

52、1)通过在当前视频帧设置多个运动向量采样点，以分别估算多个所述运动向量采样点的局部运动向量，从而能够极大地提升算法的并行计算能力，降低算法的运行时间和耗流，使得算法更为轻量化，避免占用硬件资源较高、功耗较大的问题；

53、2)利用历史运动向量队列的均值对持方运动向量的统计均值，从而将视频采集装置的持方的运动量引入到全局运动向量的计算中，能够对当前视频帧的全局运动向量进行校正，一方面，能够减少算法复杂性，另一方面，能够提高全局运动向量的准确性，从而能够提升在画面出现异常抖动时的稳定性。