视频防抖方法与流程

文档序号:13810038阅读:8133来源:国知局

本申请涉及图像处理技术,特别涉及一种视频防抖方法。



背景技术:

手持终端在进行视频业务过程中,由于稳定性不佳,拍摄画面会引入高频的抖动,这对于视频观感、压缩编码、内容分析和细节识别都带来了不佳的体验。因此改善该问题极为有价值。

目前,对于视频防抖技术,大致分为机械防抖、光学防抖、电子防抖和数字防抖。机械防抖通过加装外置稳定设备来改善拍摄效果,机械防抖的防抖效果较好,但其防抖的物理设备通常较大,不利于随身携带,通常应用于专业的摄影领域,成本较高。光学防抖通过对摄像机镜片进行反向运动补偿实现防抖,电子防抖利用强制提高iso,保证快门速度在安全快门范围实现图像稳定,但是光学防抖和电子防抖,也需要添加额外的设备,成本较高,目前仅用于高端设备中,并且防抖的幅度并不大,只能消除小幅度的抖动。数字防抖对采集后的图像进行数字图像处理操作,通过图像特征匹配、运动信息提取、图像变换方式实现防抖。数字防抖算法主要利用数字图像处理技术,而图像特征匹配受限于目前计算机视觉技术的发展,稳定性并不高,且运算复杂,对cpu的处理能力要求较高,这导致数字防抖算法不能应对常见场景。同时,运动过程中,图像存在扭曲变形,匹配成功率不高,关键特征可能运动出画面,导致无法完成图像匹配,从而防抖失败。



技术实现要素:

本申请提供一种视频防抖方法,能够提高视频防抖性能,并且实现简单。

为实现上述目的,本申请采用如下技术方案:

一种视频防抖方法,将陀螺仪与视频采集设备刚性连接在一起,该视频防抖方法包括:

所述陀螺仪周期输出角速度数据;

根据陀螺仪的角速度数据计算所述视频采集设备采集的相邻两个视频帧之间的旋转角度;其中,所述相邻两个视频帧为:从视频首帧到当前视频帧为止的任意两个相邻视频帧;

根据所述旋转角度确定补偿位移,并按照所述补偿位移对当前视频帧进行补偿。

较佳地,所述根据陀螺仪的角速度数据计算所述旋转角度包括:

选择相邻的若干组角速度数据,使采集相应角速度数据的时间间隔与所述相邻两个视频帧的时间间隔存在重叠区域;

根据所述若干组角速度数据,确定用于计算旋转角度的角速度数据,并根据所述用于计算旋转角度的角速度数据gyro'[x,y,z],计算所述相邻两个视频帧之间x轴、y轴和z轴的旋转角度分别为θx=gyro'.x*(t2-t1)、θy=gyro'.y*(t2-t1)和θz=gyro'.z*(t2-t1),其中,t1和t2为所述相邻两个视频帧的采集时间。

较佳地,所述用于计算旋转角度的角速度数据为:所述若干组角速度数据的设定组角速度数据的对应x轴、y轴和z轴数据,或者,所述若干组角速度数据中对应x轴、y轴和z轴的统计平均结果。

较佳地,所述根据旋转角度确定补偿位移包括:

根据所述相邻两个视频帧之间的旋转角度计算该相邻两个视频帧间的位移,并将视频首帧到当前视频帧为止每两个视频帧之间的位移累加求和,得到当前视频帧的补偿位移。

较佳地,所述计算相邻两个视频帧间的位移包括:

利用所述相邻两个视频帧i和j中前一视频帧i的任一指定点的坐标ai,计算所述指定点在后一视频帧j中的坐标aj=(rt(θx,θy,θz)ai);

根据ai和aj计算所述相邻两个视频帧i和j之间的位移;

其中,

由上述技术方案可见,本申请中,将陀螺仪与视频采集设备刚性连接在一起,陀螺仪周期输出角速度数据;根据陀螺仪的角速度数据计算视频采集设备采集的相邻两个视频帧之间的旋转角度;根据旋转角度确定补偿位移,并按照确定出的补偿位移对当前视频帧进行补偿。通过上述方式,利用陀螺仪的角速度数据进行补偿位移的计算,实现简单,性能稳定,能够提高视频防抖性能。

附图说明

图1为本申请中视频防抖方法的基本流程示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白,以下结合附图对本申请做进一步详细说明。

三轴陀螺仪可以准确记录设备的三轴旋转的角速度,测量精度可以到毫秒级。目前,三轴陀螺仪已经得到广泛应用,成本低廉。由于陀螺仪能够对运动信息进行记录,因此,可以利用该记录的运动信息对图像运动进行相应的矫正补偿,就可以减缓因为旋转造成的抖动和图像扭曲,去除或者减缓视频的抖动感,使图像更平稳。基于此,本申请的基本思想在于:将陀螺仪与视频采集设备结合在一起,通过准确记录的视频采集设备的旋转运动轨迹,进行视频防抖处理。

下面对本申请中的视频防抖方法进行详细介绍。本申请的方法中,将三轴陀螺仪与视频采集设备(例如摄像设备或手机等)进行刚性连接,从而使陀螺仪能够与视频采集设备保持同步移动;然后通过图1所示的方法进行视频防抖处理。如图1所示,具体视频防抖流程包括:

步骤101,陀螺仪周期输出角速度数据。

三轴陀螺仪采集输出的角速度数据通常表示为gryo[x,y,z,gryotime],其中的x为陀螺仪记录的x轴的旋转角速度,y是y轴角速度,z是z轴角速度,gyrotime表示这组角速度的采集时间点。

步骤102,根据陀螺仪的角速度数据计算视频采集设备采集的相邻两个视频帧之间的旋转角度。

利用陀螺仪输出的角速度和两个采集点之间的时间间隔可以计算出在相应时间间隔内旋转角度deltatheta[δthetax,δthetay,δthetaz,gyrotime],通常计算方法可以是:

δthetax=gyro.x*δt,δthetay=gyro.y*δt,δthetaz=gyro.z*δt,gyrotime为陀螺仪数据gryo[x,y,z,gryotime]的采集时间,δt为是陀螺仪采集周期的间隔时间。

但是,相邻两个视频帧的采集时间点与陀螺仪采集数据的时间点可能并不完全一致,因此需要基于视频帧的采集时间点,对利用陀螺仪输出数据计算的旋转角度进行线性插值,计算两个视频帧之间的旋转角度。其中,相邻两个视频帧指视频首帧到当前视频帧为止的任意两个相邻视频帧。

具体地,选择相邻的若干组角速度数据,使采集相应角速度数据的时间间隔与当前计算旋转角度的相邻两个视频的时间间隔存在重叠区域;根据选择出的若干组角速度数据,确定用于计算旋转角度的角速度数据,并根据该角速度数据gyro'[x,y,z],计算x轴、y轴和z轴的旋转角度分别为θx=gyro'.x*(t2-t1)、θy=gyro'.y*(t2-t1)和θz=gyro'.z*(t2-t1)。

其中,优选地,根据选择出的若干组角速度数据确定用于计算旋转角度的角速度数据的方式可以为:1、可以将选择出的若干组角速度数据中的某个指定组角速度数据a(例如,第一组数据或最后一组数据或第n组数据,n为预先设定的自然数)直接作为用于计算旋转角度的角速度数据,即将a中的x轴数据作为gyro'.x,将a中的y轴数据作为gyro'.y,将a中的z轴数据作为gyro'.z;2、可以将选择出的若干组角速度数据进行统计平均处理,将处理得到的统计平均结果作为用于计算旋转角度的角速度数据,例如,将多组角速度数据中的x轴角速度取平均值作为gyro'.x,将多组角速度数据中的y轴角速度取平均值作为gyro'.y,将多组角速度数据中的z轴角速度取平均值作为gyro'.z。

例如,假设相邻两个视频帧的采集时间点为t1和t2,陀螺仪的相邻两组角速度数据的采集时间点为t3和t4,采集的两组角速度数据分别为gryo[x1,y1,z1,t3]和gryo[x2,y2,z2,t4],t3<t1<t2<t4,那么可以利用gryo[x1,y1,z1,t3]或gryo[x2,y2,z2,t4]或上述两组数据的统计平均结果进行线性差值计算。当利用gryo[x2,y2,z2,t4]计算时,视频帧n和帧n+1之间的x轴旋转角度为gyro.x2*(t2-t1),y轴旋转角度为gyro.y2*(t2-t1),z轴旋转角度为gyro.z2*(t2-t1)。

按上述线性插值方式,可以得到每一个视频帧相对于上一个视频帧的旋转角度:vediodeltatheta[θx,θy,θz],其中的每一个元素,就是对应视频帧相对于上一视频帧需要矫正的x,y,z轴的角度。

步骤103,根据步骤102计算得到的旋转角度确定补偿位移,并按照相应的补偿位移对当前视频帧进行补偿。

具体地,根据相邻两个视频帧间的旋转角度计算该相邻两个视频帧间的位移,然后将视频首帧到当前视频帧为止每两个视频帧之间的位移累加求和,得到当前视频帧的补偿位移。

下面给出一种优选的相邻两个视频帧间位移的计算方式:

对于两个相邻的视频帧i和j,利用前一视频帧i的某个指定点a的坐标ai,计算指定点a在后一视频帧j中的坐标aj,根据ai和aj计算视频帧i和j之间的位移。其中,aj=(rt(θx,θy,θz)ai),

(rt(θx,θy,θz)为旋转矩阵r(θx,θy,θz)的转置矩阵。在计算ai和aj之间的位移时,可以将两个点之间的三维坐标对应相减,得到x轴、y轴和z轴上的位移分别表示为deltax、deltay和deltaz。

指定点a可以是视频帧i中的任一点,优选地,a为视频帧i的中心点。

从视频帧的第一帧开始到当前视频帧n为止,按照上述方式计算每两个相邻帧之间的位移,再叠加到一起求和,就可以得到当前视频帧相对于视频第一帧的位移,即也就是当前视频帧的补偿位移。然后,根据得到的补偿位移,将当前视频帧的所有采集点进行补偿移动,可以得到防抖处理后的当前视频帧图像。其中,不考虑扭曲变形的情况下,图像中的各个采集点的变化相同,即将所有采集点的坐标补偿移动(cumdeltax,cumdeltay,cumdeltaz),就可以实现防抖处理。

至此,本申请中的视频防抖方法结束。通过上述本申请的方法进行的防抖处理,实现简单,性能稳定,能够有效改善防抖效果,提高防抖性能。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1