一种用于陀螺仪电子防抖的参数校正方法与流程

1.本发明属于相机视频防抖的技术领域，具体涉及一种用于陀螺仪电子防抖的参数校正方法。


背景技术：

2.相机视频抖动是视频处理中常出现的问题，视屏抖动影响相机图像采集数据的准确性，并影响数据的后处理和相关人员的观看。为有效减少和消除视频抖动，相机视频防抖技术研究应用在图像处理的不同领域如机器人巡检、摄像、投影等。
3.相机视频防抖主要分为机械防抖和电子防抖，其中机械防抖对外部机械结构和驱动单元要求较高，在高频微小的抖动中难以发挥长处。电子防抖分为图像处理法和陀螺仪检测校正法，其中图像处理法从视频每帧图像角度出发，消除主观感受的“抖动”，但是其在暗光下或者视频拍摄主体具有运动属性时难以应用。
4.陀螺仪检测校正方法是集合机械防抖和电子防抖优势的视频防抖方法。陀螺仪电子防抖利用陀螺仪的抖动数据来补偿视频画面的移动和旋转，在陀螺仪检测精度足够的情况下补偿权重是画面防抖效果好坏的最重要参数。目前主流补偿权重参数的确立方法是参数计算法和试凑法。其中权重参数计算方法是根据相机内参，比如镜头焦段、相机图像传感器尺寸、物距等确定；另一种试凑法是根据画面主观抖动情况，人为尝试并最终选取一个合适的权重参数。
5.权重参数计算方法是根据相机内参，比如镜头焦段、相机图像传感器尺寸、物距等确定，其最大的缺陷是依赖相机内参的获取，但在很多情况下，相机的内参无法获取，且内参的丝毫偏差将对防抖效果产生影响。另一种试凑法是根据画面主观抖动情况，人为尝试并最终选取一个合适的权重参数，其缺点是防抖效果依赖人员主观的感受，面对小幅度的高频率抖动，试凑法难以取得良好的效果。本发明采用以画面角度出发的权重参数优化，通过机器视觉的方法得到相机所拍摄视频的抖动情况，可以使得画面的抖动最小，也不依赖相机内参的获取。


技术实现要素：

6.本发明的目的在于提供一种用于陀螺仪电子防抖的参数校正方法，以解决上述背景技术中提出的问题。
7.为实现上述目的，本发明提供如下技术方案：
8.所述参数校正方法包括如下步骤：采集传感器的x、y、z轴的旋转角度和平移量；标定校准图中的圆心坐标和水平线；计算得到校准图的旋转角度、横向平移量以及纵向平移量；结合校准图的旋转角度、横向平移量以及纵向平移量和陀螺仪数据得到权重矩阵k，完成参数校正。
9.优选地，所述参数校正方法通过陀螺仪检测相机图像传感器的x、y、z轴旋转角和平移量，通过计算机视觉方法检测校准图旋转和平移。
10.优选地，所述陀螺仪与所述相机图像传感器平行安装，所述陀螺仪与所述相机图像传感器的中心轴共线，以减小相机大幅度抖动时陀螺仪各向姿态信息之间的耦合。
11.优选地，所述参数校正方法使用计算机视觉的闭合图形检测方法标定校准图中的两个圆心坐标。
12.优选地，所述参数校正方法计算两个圆心的连线与水平线的夹角得到校准图的旋转角度α
img
，所述校准图的旋转角度对应为相机图像传感器的z轴旋转角度α
sen
。
13.优选地，所述参数校正方法计算两个圆心的连线中点的坐标得到校准图的横向平移量x
img
,所述校准图横向平移量对应为相机图像传感器的y轴旋转角度β
sen
和x轴平移量x
sen
。
14.优选地，所述参数校正方法计算两个圆心的连线中点的坐标得到校准图的纵向平移量y
img
，所述校准图纵向平移量对应为相机图像传感器的x轴旋转角度δ
sen
和y轴平移量y
sen
。
15.优选地，所述参数校正方法结合三项图像的变换信息α
img
、x
img
、y
img
和五种陀螺仪数据α
sen
、β
sen
、x
sen
、δ
sen
、y
sen
得到权重矩阵k，所述权重矩阵如下所示：
16.α
img
＝k1α
sen
[0017][0018][0019]
其中k1、k2、k3、k4、k5分别为相机图像传感器单独z轴旋转、y轴旋转、x平移、x轴旋转、y轴平移计算得到的参数。
[0020]
优选地，所述参数校正方法在权重矩阵k的基础上得到仿射矩阵p，所述仿射变换矩阵p对抖动视频原图像进行反仿射变换得到防抖图像，所述仿射矩阵p如下所示：
[0021][0022]
优选地，所述权重矩阵k用于陀螺仪电子防抖的参数校正。所述参数校正方法排除了不同的相机内参对防抖效果的影响，能够有效提高仿射变换矩阵p的准确性，提高陀螺仪电子防抖的效果。
[0023]
本发明的技术效果和优点：本发明用于陀螺仪电子防抖的参数校正方法采用了以画面角度出发的权重参数优化，通过机器视觉的方法得到相机所拍摄视频的抖动情况，可以使得画面的抖动最小，并不依赖相机内参的获取，所述参数校正方法排除了不同的相机内参对防抖效果的影响，能够有效提高仿射变换矩阵p的准确性，提高陀螺仪电子防抖的效果，所述参数校正方法有效减少甚至消除在较暗空间内巡检机器人的视频抖动，为视频的后处理以及人员的观看提供帮助。
附图说明
[0024]
图1为本发明用于陀螺仪电子防抖的参数校正方法流程图；
[0025]
图2为本发明陀螺仪与相机图像传感器平行的结构示意图；
[0026]
图3为本发明黑色背景中含两个白色闭合圆形的结构示意图；
[0027]
图4为本发明两个圆的圆心连线的中点坐标与连线旋转角度的结构示意图。
具体实施方式
[0028]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0029]
本发明提供了一种用于陀螺仪电子防抖的参数校正方法，所述参数校正方法包括如下步骤：采集传感器的x、y、z轴的旋转角度和平移量；标定校准图中的圆心坐标和水平线；计算得到校准图的旋转角度、横向平移量以及纵向平移量；结合校准图的旋转角度、横向平移量以及纵向平移量和陀螺仪数据得到权重矩阵k，完成参数校正。
[0030]
所述参数校正方法通过陀螺仪检测相机图像传感器的x、y、z轴旋转角和平移量，通过计算机视觉方法检测校准图旋转和平移。
[0031]
所述陀螺仪电子防抖利用陀螺仪的抖动数据补偿视频画面的移动和旋转，所述陀螺仪的抖动数据中补偿权重是在陀螺仪检测精度足够情况下画面防抖效果好坏的最重要参数。所述用于陀螺仪电子防抖的参数校正方法采用以画面角度出发的权重参数优化，通过机器视觉的方法得到相机所拍摄视频的抖动情况，可以使得画面的抖动最小，并不依赖相机内参的获取。
[0032]
所述陀螺仪与所述相机图像传感器平行安装，所述陀螺仪与所述相机图像传感器的中心轴共线，尽可能靠近以减小相机大幅度抖动时陀螺仪各向姿态信息之间的耦合。所述相机图像传感器为相机sensor。所述相机图像传感器对齐拍摄校准图像的正中心，以保证从视频中计算的相机x、y轴运动与z轴旋转不耦合。
[0033]
所述参数校正方法使用计算机视觉的闭合图形检测方法标定校准图中的两个圆心坐标，。
[0034]
所述参数校正方法计算两个圆心的连线与水平线的夹角得到校准图的旋转角度α
img
，所述校准图的旋转角度对应为相机图像传感器的z轴旋转角度α
sen
。
[0035]
所述参数校正方法计算两个圆心的连线中点的坐标得到校准图的横向平移量x
img
,所述校准图横向平移量x
img
对应为相机图像传感器的y轴旋转角度β
sen
和x轴平移量x
sen
，所述sensor的y轴旋转角度β
sen
和x轴平移量x
sen
影响校准图的横向平移量x
img
。
[0036]
所述参数校正方法计算两个圆心的连线中点的坐标得到校准图的纵向平移量y
img
，所述校准图纵向平移量y
img
对应为相机图像传感器的x轴旋转角度δ
sen
和y轴平移量y
sen
，所述sensor的x轴旋转角度δ
sen
和y轴平移量y
sen
影响校准图的纵向平移量y
img
。
[0037]
所述参数校正方法结合三项图像的变换信息和五种陀螺仪数据计算得出校正权重矩阵k。所述五种陀螺仪数据为相机图像传感器的z轴旋转角度α
sen
、y轴旋转角度β
sen
、x轴旋转角度δ
sen
、x轴平移量x
sen
、y轴平移量y
sen
，所述三种图像变化信息分别为校准图旋转角度α
img
、校准图横向平移量x
img
、校准图纵向平移量y
img
，所述校准图旋转角度为中点坐标和连线的旋转角度α
img
，所述校准图横向平移量为连线中点坐标的横向平移量x
img
，所述校准图纵向平移量为连线中点坐标的纵向平移量y
img
，所述三种图像变化信息为相机姿态，所述
相机姿态与画面抖动之间的关系如下：
[0038]
α
img
＝k1α
sen
[0039][0040][0041]
其中k1、k2、k3、k4、k5分别为相机图像传感器单独z轴旋转、y轴旋转、x平移、x轴旋转、y轴平移计算得到的参数。
[0042]
所述参数校正方法在获得所述陀螺仪x、y、z轴旋转角度以及所述x、y轴平移量的情况下，结合所述初始权重矩阵k得到仿射变换矩阵p，所述仿射变换矩阵p对抖动视频原图像进行反仿射变换得到防抖图像。所述仿射矩阵p如下所示：
[0043][0044]
所述权重矩阵k用于陀螺仪电子防抖的参数校正。
[0045]
所述参数校正方法排除了不同的相机内参对防抖效果的影响，能够有效提高仿射变换矩阵p的准确性，提高陀螺仪电子防抖的效果。
[0046]
进一步的，所述校准图为具有两个白色圆形的大面积黑板。
[0047]
进一步的，所述通过校准图进行权重矩阵k的更新是离线过程，用以校准参数，并不参与防抖过程的实时运算。
[0048]
进一步的，所述仿射变换矩阵p中包含图像变换的平移与旋转信息，不包含形变与缩放信息。
[0049]
实施例1
[0050]
本发明提供了一种陀螺仪电子防抖的参数校正方法，本发明结合陀螺仪采集相机图像传感器的x、y、z轴的旋转角度和平移量和计算得到校准图的旋转角度、横向平移量以及纵向平移量得到权重矩阵k，完成陀螺仪电子防抖的参数校正；在权重矩阵k的基础上得到仿射矩阵p，通过仿射变换矩阵p对抖动视频原图像进行反仿射变换得到防抖图像，如图1所示。所述采集传感器数据过程中陀螺仪与相机图像传感器平行安装，所述陀螺仪和相机图像传感器中心轴共线，所述陀螺仪和相机图像传感器尽可能靠近，以保证各姿态信息之间不耦合，如图2所示。所述采集传感器数据过程中将相机对准校准图的正中心，并保证图像全部涵盖相机拍摄的所有视场。
[0051]
所述标定过程中校准图为纯色背景下的两个水平放置的具有一定距离的闭合图形，其中所述背景颜色和两个所述闭合图形之间具有较大亮度差。如图3中所示黑色背景中含有两个白色的闭合圆形。
[0052]
所述计算过程中校准图固定不动，相机模拟抖动环境拍摄校准图，对拍摄视频的每一帧进行图像处理。所述计算过程中利用圆检测方法，比如hough圆检测方法，识别图中两个圆的圆心坐标，并标定连线及其中点；标定校准图的水平线；计算得到连线的中点坐标和连线的旋转角度α
img
，如图4所示。所述校准图旋转角度对应为相机图像传感器的z轴旋转角度α
sen
，连线中点坐标的横向平移量x
img
，所述校准图横向平移量对应为相机图像传感器
(sensor)的y轴旋转角度β
sen
和x轴平移量x
sen
，连线中点坐标的纵向平移量y
img
，所述校准图纵向平移量对应为相机图像传感器sensor的x轴旋转角度δ
sen
和y轴平移量y
sen
。
[0053]
在相机拍摄校准图并且模拟抖动的过程中，陀螺仪实时记录五种位姿的数据α
sen
、β
sen
、x
sen
、δ
sen
、y
sen
，并与上述三种图像姿态信息α
img
、x
img
、y
img
对应，每个对应姿态的比例值构成权重矩阵k，所述图像姿态与画面抖动的关系如下：
[0054]
α
img
＝k1α
sen
[0055][0056][0057]
上述关系式中，对于校准图的横向平移和纵向平移过程，每个关系式含有两个未知系数(k1，k2)(k3，k4)，可以通过控制无关变量的方法得到每一个系数。控制相机图像传感器只绕z轴旋转，记录α
sen
和α
img
，计算得到参数k1；控制相机图像传感器只绕y轴旋转，记录β
sen
和x
img
，计算得到参数k2；控制相机图像传感器只延x轴平移，记录x
sen
和x
img
，计算得到参数k3；控制相机图像传感器只绕x轴旋转，记录δ
sen
和y
img
，计算得到参数k4；控制相机图像传感器只延y轴平移，记录y
sen
和y
img
，计算得到参数k5。至此建立整个系数k矩阵，得到陀螺仪数据与图像姿态信息的对应关系。从上得到的系数矩阵k针对于此焦距的相机和此校准环境下的物距条件都生效。
[0058]
在相机实时防抖应用的过程中，在每一帧时陀螺仪的五种位姿数据α
sen
、β
sen
、x
sen
、δ
sen
、y
sen
结合矩阵k计算图像姿态信息，并合成图像的仿射矩阵p，所述仿射矩阵p如下：
[0059][0060]
所述仿射矩阵p代表了相机偏移后的目标图像之于原始图像的位姿关系，对此偏移后的图像进行反仿射变换可以得到原始图像。对视频的每一帧建立仿射矩阵p并进行反仿射变换处理，得到去除抖动的视频。
[0061]
工作原理：本发明陀螺仪电子防抖的参数校正方法利用相机拍摄校准图并且模拟抖动的过程，所述陀螺仪实时记录五种位姿的数据并与三种图像姿态信息对应，所述五种位姿的数据为相机图像传感器sensor的z轴旋转角度α
sen
、y轴旋转角度β
sen
、x轴旋转角度δ
sen
、x轴平移量x
sen
、y轴平移量y
sen
，所述三种图像姿态对应的比例值构成权重矩阵k，所述三种图像姿态为校准图旋转角度α
img
、校准图横向平移量x
img
和校准图纵向平移量y
img
，所述校准图旋转角度为中点坐标和连线的旋转角度α
img
，所述校准图旋转角α
img
对应相机图像传感器sensor的z轴旋转角度α
sen
，所述校准图横向平移量为连线中点坐标的横向平移量x
img
，所述校准图横向平移量x
img
对应为相机图像传感器sensor的y轴旋转角度β
sen
和x轴平移量x
sen
，所述校准图纵向平移量为连线中点坐标的纵向平移量y
img
，所述校准图纵向平移量y
img
对应为相机图像传感器sensor的x轴旋转角度δ
sen
和y轴平移量y
sen
，所述权重矩阵k结合每一帧陀螺仪数据建立仿射矩阵p，所述仿射矩阵p对当前帧进行反仿射变换得到最终的防抖图像。
[0062]
所述权重矩阵k如下：
[0063]
α
img
＝k1α
sen
[0064][0065][0066]
所述仿射矩阵p如下：
[0067][0068]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。