视频处理方法及终端的制作方法

文档序号:6487109阅读:139来源:国知局
视频处理方法及终端的制作方法
【专利摘要】本发明公开了一种视频处理方法及终端,属于终端领域。所述方法包括:分别采集视频源的第i帧图像和第i帧的下一相关帧图像;其中,第i帧的下一相关帧图像为第i帧后的第n帧图像,n为大于等于1的整数;分别获取终端在当前时刻和下一时刻的空间位置;其中,当前时刻为采集第i帧图像的时刻,下一时刻为采集第i帧的下一相关帧图像的时刻;当当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值大于阈值时,将第i帧的下一相关帧图像用预定图像替换。本发明解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。
【专利说明】视频处理方法及终端
【技术领域】
[0001]本发明涉及终端领域,特别涉及视频处理方法及终端。
【背景技术】
[0002]随着移动通信技术的发展,移动终端的功能也在不断的复杂化和高效化。利用移动终端进行视频的拍摄和处理也随之成为人们常用的技术之一。
[0003]现有技术中,常用在移动终端中的视频处理方法为:移动终端采集视频数据,该视频数据包括连续的若干帧图像;根据编码标准对每帧图像编码;利用无线网络实时将编码后的图像传输到另一终端。
[0004]在实现本发明的过程中,发明人发现现有技术至少存在以下问题:由于移动终端的可移动性,用户使用移动终端时的空间位置可能在不断变化,且用户通常手持移动终端,容易造成抖动。而当移动终端在采集当前图像时,可能会由于用户位置的变化或移动终端发生抖动的原因,造成采集后的视频出现抖动的问题。以使用手机进行视频通话为例,用户手持手机的姿势可能在不断变化,例如用户在不断移动(如步行)的情况下,手机无可避免的会发生抖动,从而与该用户正在视频通话的其他用户获取到的视频会发生抖动,如果用户的手机长时间的持续抖动状态,那么其他用户视频通话的画面体验感将会非常差。

【发明内容】

[0005]本发明实施例的目的在于提供一种视频处理方法及终端,旨在解决移动终端发生抖动时引起的视频图像抖动的问题。
[0006]第一方面,提供了一种视频处理方法,所述方法包括:分别采集视频源的第i帧图像和第i帧的下一相关帧图像;其中,所述第i帧的下一相关帧图像为所述第i帧后的第η帧图像,所述η为大于等于I的整数;分别获取终端在当前时刻和下一时刻的空间位置;其中,所述当前时刻为采集所述第i帧图像的时刻,所述下一时刻为采集所述第i帧的下一相关帧图像的时刻;当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换。
[0007]在第一方面的第一种可能的实现方式中,所述预定图像为所述第i帧图像;或者,所述预定图像为所述第i帧的下一相关帧图像之前最近的一帧未被替换的图像。
[0008]结合第一方面或第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述空间位置包括所述终端的方位角、俯仰角和横滚角中的至少一项;所述当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换,包括:当所述当前时刻所对应的空间位置与所述下一时刻所对应的空间位置中的方位角、俯仰角和横滚角中任一角度的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换。
[0009]结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述视频处理方法还包括:判断最近处理的连续M帧图像是否均为被替换的图像,M为大于等于I的整数;如果是,则改变所述η的取值由第一预定值切换为第二预定值,所述第一预定值大于所述第二预定值,所述第一预定值和所述第二预定值均为大于等于I的整数。
[0010]结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式,在第四种可能的实现方式中,所述视频处理方法还包括:判断最近处理的连续N帧图像是否均为未被替换的图像,N为大于等于I的整数;如果是,则改变所述η的取值由第一预定值切换为第三预定值,所述第一预定值小于所述第三预定值,所述第一预定值和第三预定值均为大于等于I的整数。
[0011]结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式或第一方面的第四种可能的实现方式,在第五种可能的实现方式中,所述分别获取终端在当前时刻和下一时刻的空间位置,具体包括:分别获取终端的加速度传感器和磁感应传感器在所述当前时刻和所述下一时刻采集的数据;利用传感器融合算法对所述当前时刻和所述下一时刻采集的数据分别进行计算,分别得到所述终端在所述当前时刻和所述下一时刻的空间位置。
[0012]结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式或第一方面的第四种可能的实现方式,在第六种可能的实现方式中,所述分别获取终端在当前时刻和下一时刻的空间位置,具体包括:分别获取终端的加速度传感器和磁感应传感器在所述当前时刻和所述下一时刻采集的数据;利用传感器融合算法对所述当前时刻和所述下一时刻采集的数据分别进行计算,分别得到所述终端在所述当前时刻和所述下一时刻的初始空间位置;利用设置在所述终端中的陀螺仪传感器采集的数据对所述当前时刻和所述下一时刻的初始空间位置进行修正得到所述当前时刻和所述下一时刻的空间位置。
[0013]第二方面,提供了一种终端,所述终端包括:视频采集单元,用于分别采集视频源的第i帧图像和所述第i帧的下一相关帧图像;其中,所述第i帧的下一相关帧图像为所述第i帧之后的第η帧图像,所述η为大于等于I的整数;空间位置获取单元,用于分别获取终端在当前时刻和下一时刻的空间位置;其中,所述当前时刻为采集所述第i帧图像的时亥IJ,所述下一时刻为采集所述第i帧的下一相关帧图像的时刻;视频处理单元,用于当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换。
[0014]第二方面的第一种可能的实现方式中,所述预定图像为所述第i帧图像,或者,所述预定图像为所述第i帧的下一相关帧图像之前最近的一帧未被替换的图像。
[0015]结合第二方面或第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述空间位置获取单元中获取的空间位置包括所述终端的方位角、俯仰角和横滚角中的至少一项;所述视频处理单元具体用于:当所述当前时刻所对应的空间位置与所述下一时刻所对应的空间位置中的方位角、俯仰角和横滚角中任一角度的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换。
[0016]结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式,在第三种可能的实现方式中,所述终端还包括:第一处理判断子单元和第一间隔切换子单元;所述第一处理判断子单元,用于判断最近处理的连续M帧图像是否均为被替换的图像,M为大于等于I的整数;所述第一间隔切换子单元,用于如果所述第一处理判断子单元的判断结果为是,则改变所述η的取值由第一预定值切换为第二预定值,所述第一预定值大于所述第二预定值,所述第一预定值和所述第二预定值均为大于等于I的整数。
[0017]结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式,在第四种可能的实现方式中,所述终端还包括:第二处理判断子单元和第二间隔切换子单元;所述第二处理判断子单元,用于判断最近处理的连续N帧图像是否均为未被替换的图像,N为大于等于I的整数;所述第二间隔切换子单元,用于如果所述第二处理判断子单元的判断结果为是,则改变所述η的取值由第一预定值切换为第三预定值,所述第一预定值小于所述第三预定值,所述第一预定值和所述第三预定值均为大于等于I的整数。
[0018]结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式或第二方面的第四种可能的实现方式,在第五种可能的实现方式中,所述空间位置获取单元具体包括:传感器采集子单元和融合计算子单元;所述传感器采集子单元,用于分别获取终端的加速度传感器和磁感应传感器在所述当前时刻和所述下一时刻采集的数据;所述融合计算子单元,用于利用传感器融合算法对所述当前时刻和所述下一时刻采集的数据分别进行计算,分别得到所述终端在所述当前时刻和所述下一时刻的空间位置。
[0019]结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式或第二方面的第四种可能的实现方式,在第六种可能的实现方式中,所述空间位置获取单元具体包括:传感器采集子单元、角度计算子单元和补偿修正子单元;所述传感器采集子单元,用于分别获取终端的加速度传感器和磁感应传感器在所述当前时刻和所述下一时刻采集的数据;所述角度计算子单元,用于利用传感器融合算法对所述当前时刻和所述下一时刻采集的数据分别进行计算,分别得到所述终端在所述当前时刻和所述下一时刻的初始空间位置;所述补偿修正子单元,用于利用设置在所述终端中的陀螺仪传感器采集的数据对所述当前时刻和所述下一时刻的初始空间位置进行修正得到所述当前时刻和所述下一时刻的空间位置。
[0020]第三方面,提供了一种终端,所述终端包括摄像头、传感器、存储器以及处理器;所述摄像头,用于采集如权利要求1至7任一所述的视频源的第i帧图像和第i帧的下一相关帧图像,并将采集到的图像发送至所述存储器;所述处理器,用于根据所述传感器采集的数据分别获取如权利要求1至7任一所述的终端在当前时刻和下一时刻的空间位置,并将获取的空间位置发送至所述存储器;所述处理器,用于调用所述存储器中的第i帧图像、第i帧的下一相关帧图像以及当前时刻和下一时刻的空间位置,并执行如权利要求1至7任一所述的当当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值大于阈值时,将第i帧的下一相关帧图像用预定图像替换。
[0021]本发明实施例提供的技术方案带来的有益效果是:
[0022]通过判断终端在当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值是否大于阈值判断所述终端在视频拍摄过程中是否发生抖动,从而在视频处理时将第i帧的下一相关帧图像用预定图像替换,解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。【专利附图】

【附图说明】
[0023]为了更清楚的说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0024]图1是本发明实施例所涉及的终端坐标系的建立方式示意图;
[0025]图2是本发明实施例所涉及的终端坐标系的另一建立方式的示意图;
[0026]图3是本发明实施例一提供的视频处理方法的方法流程图;
[0027]图4是本发明实施例二提供的视频处理方法的方法流程图;
[0028]图5是本发明实施例二提供的视频处理方法的处理方式示意图;
[0029]图6是本发明实施例三提供的视频处理方法的方法流程图;
[0030]图7是本发明实施例三提供的视频处理方法的处理方式示意图;
[0031]图8是本发明实施例四提供的视频处理方法的方法流程图;
[0032]图9是本发明实施例四提供的视频处理方法的另一方法流程图;
[0033]图10是本发明实施例五提供的终端的结构方框图;
[0034]图11是本发明实施例六提供的终端的结构方框图;
[0035]图12是本发明实施例七提供的终端的结构方框图;
[0036]图13是本发明实施例八提供的终端的结构方框图;
[0037]图14是本发明实施例九提供的终端的结构方框图;
[0038]图15是本发明实施例十提供的终端的结构方框图;
[0039]图16是本发明实施例1^一提供的终端的结构方框图;
[0040]图17是本发明实施例十二提供的终端的结构方框图。
【具体实施方式】
[0041]为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
[0042]为了便于描述,首先对本专利中终端的空间位置及获取方式进行详细的描述,本文中的“终端”可以是设置有摄像头的手机、平板电脑或者电子书阅读器之类的移动终端,本文中的“空间位置”包括方位角、俯仰角和横滚角中至少一项。
[0043]终端坐标系的建立方式为:设定终端的显示界面为xy平面,其中,终端的重心为坐标原点,指向终端右方的为X轴的正半轴,在终端平面上垂直于X轴的为y轴,指向终端上方的为y轴的正半轴,垂直于终端平面的为z轴,指向终端前方的为z轴的正半轴,详情请参考图1或图2,其中图1为诸如手机之类的阅读方向为竖向的移动终端通常采用的坐标系建立方式;图2为诸如平板电脑之类的阅读方向为横向的移动终端通常采用的坐标系建立方式。
[0044]基于上述终端坐标系的建立方式,方位角、俯仰角和横滚角的定义如下:
[0045]方位角是终端坐标系的I轴或者I轴在坐标原点的水平面上的投影与地磁北极的夹角,其角度范围为0°至360° 。[0046]俯仰角是终端坐标系的y轴与水平面的夹角,当y轴的正半轴位于坐标原点的水平面之上时,俯仰角为正,其角度范围为-180°至180°。
[0047]横滚角是终端坐标系的X轴与水平面的夹角,当X轴的正半轴位于坐标原点的水平面之上时,横滚角为正,其角度范围为-90°至90°。
[0048]常见的方位角、俯仰角和横滚角的获取方式为以下两种方式中的任一种:
[0049]第一种获取方式:对设置在终端中的加速度传感器和磁感应传感器采集的数据利用传感器融合算法来获取;
[0050]其具体获取方法如下:
[0051]首先,加速度传感器采集的终端在X、1、z轴的重力分量为(Gx,Gy, Gz),三者之间的关系为:
[0052]Gx=gsin Θ =尺 sin φ.Gx2+Gy2+Gz2 = g2 ;
[0053]所以,俯仰角--为:
[0054]



G ,
φ- arctan(~,.)


Jg 2 + g 2

V ^ z.[0055]横滚角Θ为:

G
η Θ= arctan(~.- )
[0056]>)2 + G 2



$
[0057]其次,磁感应传感器采集的终端的三轴分量为(Mx,My, Mz),根据已经获得的俯仰角和横滚角可知地磁矢量在X轴、y轴的分量分别为:
[0058]

H, cos Θ + My si η φ si η ^ - Λ-/, cos sin θ ;
[0059]


H..=A/,.cos θ+Mz sin φ


Λ,/、, cos θ ?- Λ,/, sinΛ,/— cos 沒sin θ
[0060]因此,方位角▲= arctan(~--;."-);



Mv cost/ + Λ/_ sin
[0061]综上所述,终端的方位角、俯仰角以及横滚角分别为:
[0062]


Mx cos + A/, sin <ρ?\\θ - M.cosdsin θ
Az - arctan1-----f-)
'M v cos -l-A/z sin^
?S
[0063]


G,
φ- arctan(~..)


Jg 2 + g 2

NxZ.G
r I 0= arctan(~, x)
_Jg 2 + g 2
[0065]第二种获取方式:对设置在终端中的加速度传感器和磁感应传感器采集的数据利用传感器融合算法来计算得到初始方位角、俯仰角和横滚角,利用设置在终端中的陀螺仪传感器采集的数据对初始方位角、俯仰角和横滚角进行修正来获取。
[0066]由于终端处于运动状态时,加速度传感器在较长时间的测量值较精确,但在较短时间内由于信号噪声的存在,误差较大;而且磁感应传感器极易受到电子设备本身以及外界磁场的干扰,造成所测量的数据有偏差,所以利用上述第一种测量方法会出现延迟高、实时性差、受磁干扰严重的问题。为此,可以在终端中多设置一个陀螺仪传感器,陀螺仪传感器具有短时间内的测量值精确的优点,尤其是针对终端的旋转动作。
[0067]然后,可以利用陀螺仪传感器采集的数据对初始方位角、俯仰角和横滚角进行修正。具体地讲:可以将陀螺仪传感器采集的数据和初始方位角、俯仰角和横滚角的具体数值按照不同的权重计算平均值,来获得修正后的方位角、俯仰角和横滚角。或者对加速度传感器、磁感应传感器和陀螺仪传感器采集的数据通过其它传感器融合算法来结合计算,传感器融合算法的实现方式可以根据传感器供应商的不同而有所不同,在此将不再赘述。
[0068]实施例一
[0069]请参考图3,其示出了本发明实施例一提供的视频处理方法的方法流程图,该视频处理方法可以用于设置有摄像头的诸如手机、平板电脑或者电子书阅读器之类的移动终端中,该视频处理方法可以包括:
[0070]步骤101,分别采集视频源的第i帧图像和第i帧的下一相关帧图像;其中,所述第i帧的下一相关帧图像为所述 第i帧后的第η帧图像,η为大于等于I的整数;
[0071]以终端是设置有摄像头的手机为例,手机在进行视频录制或者视频通话时,摄像头作为视频源可以采集连续的若干帧图像,连续的若干帧图像包括第i帧图像和第i帧的下一相关帧图像。其中,第i帧的下一相关帧图像为第i帧后的第η帧图像,η为大于等于I的整数。
[0072]步骤102,分别获取终端在当前时刻和下一时刻的空间位置;其中,所述当前时刻为采集所述第i帧图像的时刻,所述下一时刻为采集所述第i帧的下一相关帧图像的时刻;
[0073]摄像头在米集每一帧图像时都对应一个具体的时刻。对应每个时刻,手机具有一个空间位置,手机可以采集每个时刻的空间位置。每个时刻的空间位置包括当前时刻和下一时刻的空间位置。其中,当前时刻为采集第i帧图像的时刻,下一时刻为采集第i帧的下一相关帧图像的时刻,空间位置包括手机的方位角、俯仰角和横滚角中的至少一项。
[0074]步骤103,当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换。
[0075]获取到手机在当前时刻和下一时刻的空间位置之后,手机将判断当前时刻所对应的空间位置和下一时刻所对应的空间位置中的方位角、俯仰角和横滚角中任一角度的差值是否大于阈值,如果是,则将第i帧的下一相关帧图像用预定图像替换。其中,所述阈值可以由用户或系统预设在手机内。比如,手机可以预存几组大小相同或者不同的值,用户根据自身需求进行选择,也可以是用户在手机进行视频处理时自定义的值。以手机预存的阈值为(a,b,c)为例,其中,a为对应于方位角的阈值、b为对应于俯仰角的阈值、c为对应于横滚角的阈值,当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值为(Λ Az,Δ^,Δ Θ ),其中Λ Az=Az1-Az2,Δρ =奶—约,八θ = θ「Θ 2,则手机将判断Λ Az是否大于a、Δ识是否大于b或者Λ Θ是否大于c,如果以上三项有任一项符合,即判断手机发生了抖动,手机将第i帧的下一相关帧图像用预定图像替换。
[0076]其中,预定图像可以是所述第i帧图像;或者,所述预定图像可以为所述第i帧的下一相关帧图像之前最近的一帧未被替换的图像。
[0077]综上所述,本实施例一提供的视频处理方法,通过判断终端在当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值是否大于阈值,从而在视频处理时将第i帧的下一相关帧图像用预定图像替换,解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。
[0078]由于第i帧的下一相关帧图像为第i帧后的第η帧图像,根据η的取值不同,以及预定图像的不同,可以形成不同的实施例。为此,请继续参考如下:
[0079]实施例二
[0080]应用场景:假设终端的空间位置变化相对比较平稳,只存在持续时间稍长而轻微的抖动,而少有剧烈的抖动,比如,用户在坐火车时手持使用终端的场景。此时,可以设定第i帧图像和第i帧的下一相关帧图像为相邻图像,也即第i帧的下一相关帧图像为第i+Ι帧图像,相应的下一时刻为采集第i+Ι帧图像的时刻,而当前时刻为采集第i帧图像的时刻。
[0081]同时,设定预定图像是所述第i帧图像。需要说明的是,这只是本实施例的假设场景,“设定第i帧的下一相关帧图像为第i+ι帧图像”这一技术特征同样可以与“设定预定图像是所述第i帧的下一相关帧图像之前最近的一帧未被替换的图像”相结合。
[0082]请参考图4,其示出了实施例二提供的视频处理方法的方法流程图,该视频处理方法可以应用于设置有摄像头的移动终端中,该移动终端可以是手机、平板电脑或者电子书阅读器等。该视频处理方法可以包括:`[0083]步骤201,分别采集视频源的第i帧图像和第i+Ι帧图像;
[0084]以终端是设置有摄像头的手机为例,手机在进行视频录制或者视频通话时,摄像头作为视频源可以采集连续的若干帧图像,比如以每秒24帧的速率采集一系列的图像,这些图像中包括分别采集到的第i帧图像和第i+Ι帧图像。
[0085]步骤202,分别获取终端在当前时刻和下一时刻的空间位置;
[0086]手机也可以在摄像头采集每帧图像的同时,采集自身的空间位置。其中,空间位置包括手机的方位角、俯仰角和横滚角中至少一项。采集到的空间位置中,包括了当前时刻所对应的空间位置和下一时刻所对应的空间位置。也即,采集第i帧图像时的空间位置和采集第i+Ι帧图像时的空间位置。手机采集自身的空间位置,可以包括:
[0087]1、分别获取手机中的加速度传感器和磁感应传感器在当前时刻和下一时刻采集的数据;
[0088]2、利用传感器融合算法对当前时刻和下一时刻采集的数据分别进行计算,分别得到终端在当前时刻和下一时刻的空间位置。
[0089]如,采集第i帧图像时的空间位置为(Az1,釣,Θ J,采集第i+Ι帧图像时的空间为(Az2,^2,Θ 2)。
[0090]步骤203,当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i+Ι帧图像用所述第i帧图像替换。
[0091]手机可以判断所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置中的对应方位角、对应俯仰角和对应横滚角之间的差值是否大于阈值,如果有任一角度的差值大于阈值,则将第i+ι帧图像用第i帧图像替换。
[0092]请结合参考图5,假设手机中的摄像头采集到了连续的5帧图像,手机对该5帧图像的处理过程可以是:
[0093]对于第I帧图像和第2帧图像来讲,如果采集第I帧图像时的空间位置和采集第2帧图像时的空间位置中的方位角、俯仰角和横滚角之间相比,均未发生变化,则表示手机此时处于稳定状态或者说未发生抖动,第2帧图像不被替换;
[0094]对于第2帧图像和第3帧图像来讲,如果采集第2帧图像时的空间位置和采集第3帧图像时的空间位置中的方位角、俯仰角和横滚角之间相比,存在方位角之间的差值且该差值大于阈值(假设图中所示箭头表示方位角的变化),则将第3帧图像用第2帧图像替换;
[0095]对于第3帧图像和第4帧图像来讲,如果采集第3帧图像时的空间位置和采集第4帧图像时的空间位置中的方位角、俯仰角和横滚角之间相比,存在方位角之间的差值且该差值小于阈值,第4帧图像不被替换;
[0096]对于第4帧图像和第5帧图像来讲,如果采集第4帧图像时的空间位置和采集第5帧图像时的空间位置中的方位角、俯仰角和横滚角之间相比,存在方位角之间的差值且该差值小于阈值,第5帧图像不被替换。
[0097]显然,发生较大抖动的第3帧图像被替换,替换后的图像形成的视频为稳定视频。
[0098]综上所述,本实施例二提供的视频处理方法,通过判断终端在当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值是否大于阈值,从而在视频处理时将第i帧的下一相关帧图像用预定图像替换,解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。同时,通过设定第i帧图像和第i帧的下一相关帧图像为相邻图像,也即取较小的η值,可以在终端发生较轻微的抖动的场景下,取得良好的消除抖动的效果。另外,通过设定预定图像为第i帧图像,可以在手机发生抖动时,替换掉抖动较大的图像,保留抖动较小的图像,使得手机发生抖动的过程中,产生仍然存在变化的视频,且该视频只存在极轻微的抖动。
[0099]实施例三
[0100]应用场景:假设终端的空间位置变化相对剧烈,存在较多短暂而剧烈的抖动,比如,用户在乘坐公交车或者两轮车之类的交通工具时使用终端的场景。此时,可以设定第i帧的下一相关帧图像为第i+2帧图像。此时,下一时刻为采集第i+2帧图像的时刻,而当前时刻为采集第i帧图像的时刻。
[0101]同时,设定预定图像是所述第i帧的下一相关帧图像之前最近的一帧未被替换的图像。需要说明的是,这只是本实施例的假设,“设定第i帧的下一相关帧图像为第i+2帧图像”这一技术特征同样可以与“设定预定图像是所述第i帧的下一相关帧图像”相结合。
[0102]请参考图6,其示出了实施例三提供的视频处理方法的方法流程图,该视频处理方法可以应用于设置有摄像头的移动终端中,该移动终端可以是手机、平板电脑或者电子书阅读器等。该视频处理方法可以包括:
[0103]步骤201,分别采集视频源的第i帧图像和第i+2帧图像;
[0104]以终端是设置有摄像头的平板电脑为例,平板电脑在进行视频录制或者视频通话时,平板电脑中的摄像头作为视频源可以采集连续的若干帧图像,比如以每秒48帧的速率采集一系列的图像,这些图像中包括分别采集到的第i帧图像和第i+2图像。[0105]步骤202,分别获取终端在当前时刻和下一时刻的空间位置;
[0106]平板电脑也可以在摄像头采集每帧图像的同时,采集自身的空间位置。其中,空间位置包括平板电脑的方位角、俯仰角和横滚角中至少一项。采集到的空间位置中,包括了当前时刻所对应的空间位置和下一时刻所对应的空间位置。也即,采集第i帧图像时的空间位置和采集第i+2图像时的空间位置。平板电脑采集自身的空间位置,可以包括:
[0107]1、分别获取平板电脑中的加速度传感器和磁感应传感器在当前时刻和下一时刻采集的数据;
[0108]2、利用传感器融合算法对当前时刻和下一时刻采集的数据分别进行计算,分别得到平板电脑在当前时刻和下一时刻的初始空间位置;
[0109]3、利用设置在平板电脑中的陀螺仪传感器采集的数据对当前时刻和下一时刻的初始空间位置进行修正得到当前时刻和下一时刻的空间位置。
[0110]如,采集第i帧图像时的空间位置为(Az1, φ1,Θ i),采集第i+2帧图像时的空间位置为(Az2,φ2,Θ 2)。
[0111]步骤203,当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i+2帧图像用第i+2帧图像之前最近的一帧未被替换的图像替换。
[0112]平板电脑可以判断当前时刻所对应的空间位置和下一时刻所对应的空间位置中的对应方位角、对应俯仰角或对应横滚角之间的差值是否大于阈值,如果存在任一角度的差值大于阈值,则将第i+2帧图像用第i+2帧图像之前最近的一帧未被替换的图像替换。
[0113]请结合参考图7,设平板电脑中的摄像头采集到了 5帧图像,手机对该5帧图像的处理过程可以是:
[0114]对于第I帧图像和第3帧图像来讲,如果采集第I帧图像时的空间位置和采集第3帧图像时的空间位置中的方位角、俯仰角和横滚角之间相比,存在俯仰角之间的差值且该差值大于阈值(假设图中所示箭头表示俯仰角的变化),则将第3帧图像用第3帧图像之前最近的一帧未被替换的图像替换,而第3帧图像之前最近的一帧未被替换的图像是第2帧图像,也即将第3帧图像用第2帧图像替换;
[0115]对于第2帧图像和第4帧图像来讲,如果采集第2帧图像时的空间位置和采集第4帧图像时的空间位置中的方位角、俯仰角和横滚角之间相比,存在俯仰角之间的差值且该差值大于阈值(假设图中所示箭头表示俯仰角的变化),则将第4帧图像用第4帧图像之前最近的一帧未被替换的图像替换,而第4帧图像之前最近的一帧未被替换的图像是第2帧图像,也即将第4帧图像用第2帧图像替换;
[0116]对于第3帧图像和第5帧图像来讲,如果采集第3帧图像时的空间位置和采集第5帧图像时的空间位置中的方位角、俯仰角和横滚角之间相比,存在俯仰角之间的差值且该差值大于阈值(假设图中所示箭头表示俯仰角的变化),则将第5帧图像用第5帧图像之前最近的一帧未被替换的图像替换,而第5帧图像之前最近的一帧未被替换的图像是第2帧图像,也即将第5帧图像用第2帧图像替换;
[0117]显然,发生抖动的第3帧图像、第4帧图像和第5帧图像被替换,替换后的图像形成的视频为稳定视频。
[0118]综上所述,本实施例三提供的视频处理方法,通过判断终端在当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值是否大于阈值,从而在视频处理时将第i帧的下一相关帧图像用预定图像替换,解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。同时,通过设定第i帧的下一相关帧图像为第i+2帧图像,可以达到变小阈值相类似的效果,使得降低了判断抖动时的敏感度。另外,通过设定预定图像为第i帧的下一相关帧图像之前最近的一帧未被替换的图像,可以在手机发生抖动时,替换掉所有抖动的图像,使得手机发生抖动的过程中,产生的视频保持平滑。
[0119]实施例四
[0120]应用场景:由上述实施例可知,第i帧的下一相关帧图像为第i帧后的第η帧图像,其中η的取值,与判断终端是否抖动的敏感度有关。而终端的空间位置变化没有稳定趋势,可能在某一时间段内经常出现剧烈抖动也可能在某一时间段内保持平稳变化,比如,终端用户跑步一段时间后改为步行,然后步行一段时间后又换为乘坐公交汽车。则本实施例中,可以设定η为可以变化的值。也即,η的起始值为第一预定值,并且可以在第一预定值和第二预定值之间切换,第一预定值大于第二预定值,第一预定值和第二预定值均为大于等于I的整数。比如,第一预定值为4,第二预定值为2。
[0121]本实施例中为方便说明,设定所述预定图像为所述第i帧图像。
[0122]请参考图8,其示出了实施例四提供的视频处理方法的方法流程图,该视频处理方法可以应用于设置有摄像头的移动终端中,该移动终端可以是手机、平板电脑或者电子书阅读器等。该视频处理方法可以包括:
[0123]步骤401,分别采集视频源的第i帧图像和第i+4帧图像;
[0124]继续以终端是设置有摄像头的手机为例,手机在进行视频录制或者视频通话时,手机中的摄像头作为视频源可以采集连续的若干帧图像,比如以每秒24帧的速率采集一系列的图像,这些图像中包括分别采集到的第i帧图像和第i+4帧图像。
[0125]步骤402,分别获取终端在当前时刻和下一时刻的空间位置;
[0126]手机也可以在摄像头采集每帧图像的同时,采集自身的空间位置。其中,空间位置包括手机的方位角、俯仰角和横滚角中至少一项。采集到的空间位置中,包括了当前时刻所对应的空间位置和下一时刻所对应的空间位置。也即,采集第i帧图像时的空间位置和采集第i+4帧图像时的空间位置。
[0127]如,采集第i帧图像时的空间位置为(Az1, , Θ J,采集第i+4帧图像时的空间为(Az2,炉2,Θ 2)。
[0128]步骤403,当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i+4帧图像用所述第i帧图像替换。
[0129]手机可以判断当前时刻所对应的空间位置和下一时刻所对应的空间位置中的对应方位角、对应俯仰角和对应横滚角之间的差值是否大于阈值,如果任一角度的差值大于阈值,则将第i+4帧图像用第i帧图像替换。
[0130]步骤404,判断最近处理的连续M帧图像是否均为被替换的图像,M为大于等于I的整数;如果是,则进入步骤405 ;如果否,则返回步骤401 ;
[0131]在手机对第i+n帧图像处理后,将判断最近处理的连续M帧图像是否均为被替换的图像,M为大于等于I的整数。如,M为15。[0132]也即,如果手机判断最近处理的连续M帧图像均为被替换的图像,则表示由于η的取值太大,第i帧图像和第i帧的下一相关帧图像之间的角度偏移太大,导致对手机空间位置的变化非常敏感。此时,需要将η的初始值改变为更小的值,使得所述方法对手机空间位置的敏感度降低一些。
[0133]步骤405,改变所述η的取值由第一预定值切换为第二预定值,所述第一预定值大于所述第二预定值,所述第一预定值和所述第二预定值均为大于等于I的整数。
[0134]此时,手机将改变η的取值由第一预定值切换为第二预定值,第一预定值大于第二预定值,第一预定值和第二预定值均为大于等于I的整数。比如,将η由第一预定值4切换为第二预定值2。
[0135]易于思及的,如果手机判断最近处理的连续N帧图像均为未被替换的图像,比如,N为200。则表示由于η的取值太小,导致对手机空间位置的变化不敏感。此时,需要将η的初始值改变为更大的值。
[0136]换句话说,请参考图9,步骤403之后的处理,也可以是:
[0137]步骤406,判断最近处理的连续N帧图像是否均为未被替换的图像,N为大于等于I的整数;如果是,则进入步骤407 ;如果否,则返回步骤401 ;
[0138]步骤407,改变所述η的取值由第一预定值切换为第三预定值,所述第一预定值小于所述第三预定值,所述第一预定值和所述第三预定值均为大于等于I的整数。比如,第一预定值为4和第三预定值为6。
[0139]此外,还可以通过预定值k来调整η的具体取值,其处理过程如下:
[0140]如果步骤404的判断结果为是,则将改变η的取值由η切换为n_k ;如果下一次步骤404的判断结果仍然为是,则将改变η的取值由n-k切换为n_2k ;
[0141]同理,如果步骤406的判断结果为是,则改变η的取值由η切换为n+k ;如果下一次步骤406的判断结果仍然为是,则将改变η的取值由n+k切换为n+2k。
[0142]综上所述,本实施例四提供的视频处理方法,通过判断终端在当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值是否大于阈值,从而在视频处理时将第i帧的下一相关帧图像用预定图像替换,解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。同时,通过设定η为可以变化的值,使得终端可以自适应地调节判断抖动时的敏感度,达到更好的判断效果和消除抖动效果。
[0143]实施例五至实施例十二为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的技术细节,请参照本发明方法实施例。
[0144]实施例五
[0145]请参考图10,其示出了实施例五提供的终端的结构方框图,该终端可以包括视频采集单元510、空间位置获取单元520和视频处理单元530。
[0146]所述视频采集单元510用于分别采集视频源的第i帧图像和第i帧的下一相关帧图像;其中,所述第i帧的下一相关帧图像为所述第i帧后的第η帧图像,η为大于等于I的整数;
[0147]所述空间位置获取单元520用于分别获取终端在当前时刻和下一时刻的空间位置;其中,所述当前时刻为采集所述第i帧图像的时刻,所述下一时刻为采集所述第i帧的下一相关巾贞图像的时刻;
[0148]所述视频处理单元530用于当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换。
[0149]综上所述,本实施例五提供的终端,通过判断终端在当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值是否大于阈值,从而在视频处理时将第i帧图像的下一相关帧图像用预定图像替换,解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。
[0150]实施例六
[0151]请参考图11,其示出了实施例六提供的终端的结构方框图,该终端可以包括视频采集单元510、空间位置获取单元520和视频处理单元530。
[0152]所述视频采集单元510用于分别采集视频源的第i帧图像和第i帧的下一相关帧图像;其中,所述第i帧图像和第i帧的下一相关帧图像为相邻图像,也即第i帧的下一相关帧图像为第i+Ι帧图像。
[0153]所述空间位置获取单元520用于分别获取终端在当前时刻和下一时刻的空间位置;其中,所述当前时刻为采集所述第i帧图像的时刻,所述下一时刻为采集所述第i+Ι帧图像的时刻;优选地,所述空间位置获取单元520可以包括传感器采集子单元522和融合计算子单元524。其中,所述传感器采集子单元522用于分别获取终端的加速度传感器和磁感应传感器在当前时刻和下一时刻采集的数据;所述融合计算子单元524用于利用传感器融合算法对所述当前时刻和下一时刻采集的数据分别进行计算,分别得到所述终端在所述当前时刻和下一时刻的空间位置。
[0154]所述视频处理单元530用于当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换,其中,所述预定图像为所述第i帧图像。
[0155]综上所述,本实施例六提供的终端,通过判断终端在当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值是否大于阈值,从而在视频处理时将第i帧的下一相关帧图像用预定图像替换,解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。同时,通过设定第i帧图像和第i帧的下一相关帧图像为相邻图像,也即取较小的η值,可以在终端发生较轻微的抖动的场景下,取得良好的消除抖动的效果。另外,通过设定预定图像为第i帧图像,可以在手机发生抖动时,替换掉抖动较大的图像,保留抖动较小的图像,使得手机发生抖动的过程中,产生仍然存在变化的视频,且该视频只存在极轻微的抖动。
[0156]实施例七
[0157]请参考图12,其示出了实施例七提供的终端的结构方框图,该终端可以包括视频采集单元510、空间位置获取单元520和视频处理单元530。
[0158]所述视频采集单元510用于分别采集视频源的第i帧图像和第i帧的下一相关帧图像,其中,所述第i帧的下一相关帧图像为第i+2帧图像。
[0159]所述空间位置获取单元520用于分别获取终端在当前时刻和下一时刻的空间位置,其中,所述当前时刻为采集第i帧图像的时刻,所述下一时刻为采集第i+2帧图像的时刻;优选地,所述空间位置获取单元520可以包括传感器采集子单元522、角度计算子单元526和补偿修正子单元528。其中,所述传感器采集子单元522用于分别获取终端的加速度传感器和磁感应传感器在当前时刻和下一时刻采集的数据;所述角度计算子单元526用于利用传感器融合算法对所述当前时刻和下一时刻采集的数据分别进行计算,分别得到所述终端在所述当前时刻和下一时刻的初始空间位置;所述补偿修正子单元528用于利用设置在所述终端中的陀螺仪传感器采集的数据对所述当前时刻和下一时刻的初始空间位置进行修正得到所述当前时刻和下一时刻的空间位置。
[0160]所述视频处理单元530用于当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换,其中,预定图像是所述第i帧的下一相关帧图像之前最近的一帧未被替换的图像。
[0161]综上所述,本实施例七提供的终端,通过判断终端在当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值是否大于阈值,从而在视频处理时将第i帧的下一相关帧图像用预定图像替换,解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。同时,通过设定第i帧的下一相关帧图像为第i+2帧图像,可以达到变小阈值相类似的效果,使得降低了判断抖动时的敏感度。另外,通过设定预定图像为第i帧的下一相关帧图像之前最近的一帧未被替换的图像,可以在手机发生抖动时,替换掉所有抖动的图像,使得手机发生抖动的过程中,产生的视频保持平滑。
[0162]实施例八
[0163]请参考图13,其示出了实施例八提供的终端的结构方框图,该终端可以包括视频采集单元510、空间位置获取单元520、视频处理单元530、第一处理判断子单元540和第一间隔切换子单元550。
[0164]所述视频采集单元510用于分别采集视频源的第i帧图像和第i帧的下一相关帧图像,其中,所述第i帧的下一相关帧图像为所述第i帧后的第η帧图像,所述η为大于等于I的整数,η的起始值为第一预定值,并且可以在第一预定值和第二预定值之间切换,所述第一预定值大于所述第二预定值,所述第一预定值和所述第二预定值均为大于等于I的整数;
[0165]所述空间位置获取单元520用于分别获取终端在当前时刻和下一时刻的空间位置,其中,所述当前时刻为采集所述第i帧图像的时刻,所述下一时刻为采集所述第i帧的下一相关巾贞图像的时刻;
[0166]所述视频处理单元530用于当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换,其中,所述预定图像为所述第i帧图像。
[0167]所述第一处理判断子单元540用于判断最近处理的连续M帧图像是否均为被替换的图像,M为大于等于I的整数;
[0168]所述第一间隔切换子单元550,用于如果所述第一处理判断子单元的判断结果为是,则改变所述η的取值由第一预定值切换为第二预定值,所述第一预定值大于所述第二预定值,所述第一预定值和所述第二预定值均为大于等于I的整数。
[0169]综上所述,本实施例八提供的终端,通过判断终端在当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值是否大于阈值,从而在视频处理时将第i帧的下一相关帧图像用预定图像替换,解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。同时,通过设定η为可以变化的值,使得终端可以自适应地调节判断抖动时的敏感度,达到更好的判断效果和消除抖动效果。
[0170]实施例九
[0171]请参考图14,其示出了实施例九提供的终端的结构方框图,该终端可以包括视频采集单元510、空间位置获取单元520、视频处理单元530、第二处理判断子单元560和第二间隔切换子单元570。
[0172]所述视频采集单元510用于分别采集视频源的第i帧图像和第i帧的下一相关帧图像,其中,分别采集视频源的第i帧图像和第i帧的下一相关帧图像;其中,所述第i帧的下一相关帧图像为所述第i帧后的第η帧图像,所述η为大于等于I的整数,η的起始值为
第一预定值,并且可以在第一预定值和第三预定值之间切换,第一预定值小于第三预定值,第一预定值和第三预定值均为大于等于I的整数;
[0173]所述空间位置获取单元520用于分别获取终端在当前时刻和下一时刻的空间位置,其中,所述当前时刻为采集所述第i帧图像的时刻,所述下一时刻为采集所述第i帧的下一相关巾贞图像的时刻;
[0174]所述视频处理单元530用于当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换,其中,所述预定图像为所述第i帧图像。
[0175]所述第二处理判断子单元560,用于判断最近处理的连续N帧图像是否均为未被替换的图像,N为大于等于I的整数;
[0176]所述第二间隔切换子单元570,用于如果所述第二处理判断子单元的判断结果为是,则改变所述η的取值由第一预定值切换为第三预定值,所述第一预定值小于所述第三预定值,所述第一预定值和所述第三预定值均为大于等于I的整数。
[0177]综上所述,本实施例九提供的终端,通过判断终端在当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值是否大于阈值,从而在视频处理时将第i帧的下一相关帧图像用预定图像替换,解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。同时,通过设定η为可以变化的值,使得终端可以自适应地调节判断抖动时的敏感度,达到更好的判断效果和消除抖动效果。
[0178]实施例十
[0179]请参考图15,其示出了本发明实施例十提供的终端的结构,本发明实施例十提供的终端可以用于实施本发明实施例一至四实现的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参考本发明实施例一至四。
[0180]该终端可以为包括手机、平板电脑、电子阅读器、PDA (Personal DigitalAssistant,个人数字助理)、P0S (Point of Sales,销售终端)、车载电脑等终端设备。本实施例以终端为手机为例,图15示出的是与本发明实施例提供的终端相关的手机600的部分结构的框图。参考图15,手机600包括RF (Radio Frequency,射频)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、WiFi (wireless fidelity,无线保真)模块670、处理器680、电源682、摄像头690等部件。本领域技术人员可以理解,图15中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0181]下面结合图15对手机600的各个构成部件进行具体的介绍:
[0182]RF电路610可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器680处理;另外,将设计上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、稱合器、LNA (Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路610还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobilecommunication,全球移动通讯系统)、GPRS(GeneralPacket Radio Service,通用分组无线服务)、CDMA (Code Division Multiple Access,码分多址)、WCDMA (Wideband CodeDivision Multiple Access,宽带码分多址)、LTE (Long Term Evolution,长期演进)、电子邮件、SMS (Short Messaging Service,短消息服务)等。
[0183]存储器620可用于存储软件程序以及模块,处理器680通过运行存储在存储器620的软件程序以及模块,从而执行手机600的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机600的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0184]输入单元630可用于接收输入的数字或字符信息,以及产生与手机600的用户设置以及功能控制有关的键信号输入。具体地,输入单元630可包括触控面板631以及其他输入设备632。触控面板631,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板631可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器680,并能接收处理器680发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631,输入单元630还可以包括其他输入设备632。具体地,其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0185]显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机600的各种菜单。显示单元640可包括显示面板641,可选的,可以采用IXD(Liquid CrystalDisplay,液晶显示器)、OLED (Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板641。进一步的,触控面板631可覆盖显示面板641,当触控面板631检测到在其上或附近的触摸操作后,传送给处理器680以确定触摸事件的类型,随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图15中,触控面板631与显示面板641是作为两个独立的部件来实现手机600的输入和输入功能,但是在某些实施例中,可以将触控面板631与显示面板641集成而实现手机600的输入和输出功能。
[0186]手机600还可包括至少一种传感器650,比如陀螺仪传感器、磁感应传感器、光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板641的亮度,接近传感器可在手机600移动到耳边时,关闭显示面板641和/或背光。作为运动传感器的一种,加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机600还可配置的气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
[0187]音频电路660、扬声器661,传声器662可提供用户与手机600之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号,传输到扬声器661,由扬声器661转换为声音信号输出;另一方面,传声器662将收集的声音信号转换为电信号,由音频电路660接收后转换为音频数据,再将音频数据输出处理器680处理后,经RF电路610以发送给比如另一手机,或者将音频数据输出至存储器620以便进一步处理。
[0188]WiFi属于短距离无线传输技术,手机600通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图15示出了 WiFi模块670,但是可以理解的是,其并不属于手机600的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
[0189]处理器680是手机600的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器620内的软件程序和/或模块,以及调用存储在存储器620内的数据,执行手机600的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器680可包括一个或多个处理单元;优选的,处理器680可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器680中。
[0190]手机600还包括给各个部件供电的电源682 (比如电池),优选的,电源可以通过电源管理系统与处理器682逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0191]摄像头690 —般由镜头、图像传感器、接口、数字信号处理器、CPU、显示屏幕等组成。其中,镜头固定在图像传感器的上方,可以通过手动调节镜头来改变聚焦;图像传感器相当于传统相机的“胶卷”,是摄像头采集图像的心脏;接口用于把摄像头利用排线、板对板连接器、弹簧式连接方式与手机主板连接,将采集的图像发送给所述存储器620;数字信号处理器通过数学运算对采集的图像进行处理,将采集的模拟图像转换为数字图像并通过接口发送给存储器620。
[0192]尽管未示出,手机600还可以包括蓝牙模块等,在此不再赘述。
[0193]在本发明实施例中,该终端所包括的存储器620、传感器650处理器680、摄像头690还具有以下功能:
[0194]所述摄像头690,还用于分别采集第i帧图像和第i帧的下一相关帧图像;其中,所述第i帧的下一相关帧图像为所述第i帧后的第η帧图像,所述η为大于等于I的整数,并将获取的图像发送给所述存储器620。
[0195]所述传感器650用于分别获取终端在所述当前时刻和所述下一时刻的数据,并发送给所述处理器680,由所述处理器680根据算法计算出所述终端在所述当前时刻和所述下一时刻的空间位置,进一步可选的,所述处理器680可将所述当前时刻和所述下一时刻的空间位置发送给所述存储器620。其中,所述当前时刻为采集所述第i帧图像的时刻,所述下一时刻为采集所述第i帧的下一相关帧图像的时刻。
[0196]所述处理器680,还用于计算所述当前时刻和所述下一时刻的空间位置之间的差值,或用于调取所述存储器620中保存的所述当前时刻和所述下一时刻的空间位置并计算二者之间的差值,并在所述存储器620中调用预设的阈值。当当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值大于阈值时,所述处理器调取所述存储器620中保存的所述第i帧的下一相关帧图像和预定图像,将第i帧的下一相关帧图像用预定图像替换,所述预定图像为所述第i帧图像,或者,所述预定图像为所述第i帧的下一相关帧图像之前最近的一帧未被替换的图像。
[0197]本发明实施例中,通过摄像头690采集第i帧图像和第i帧的下一相关帧图像;其中,第i帧的下一相关帧图像为第i帧后的第η帧图像,η为大于等于I的整数,并将获取的图像发送给所述存储器620 ;处理器680根据传感器650获取的传感信息计算终端在当前时刻和下一时刻的空间位置;其中,当前时刻为采集第i帧图像的时刻,下一时刻为采集第i帧的下一相关帧图像的时刻,接着处理器680调用存储器620中保存的第i帧图像和第i帧的下一相关帧图像,并且处理器680同时调用存储器620中预设的阈值,从而执行当当前时刻所对应的空间位置与下一时刻所对应的空间位置之间的差值大于阈值时,将第i帧的下一相关帧图像用预定图像替换,预定图像为第i帧图像,或者,预定图像为第i帧的下一相关帧图像之前最近的一帧未被替换的图像。
[0198]在本发明实施例提供了一种包括存储器620、传感器650、处理器680、摄像头690等的终端,通过摄像头690采集第i帧图像和第i帧的下一相关帧图像,并将采集的图像发送给存储器620,处理器680根据传感器650获取的传感信息计算终端在当前时刻和下一时刻的空间位置,处理器680计算所述当前时刻和下一时刻的空间位置的差值,并同时调用所述存储器620中预设的阈值,当所述差值大于所述阈值时,将第i帧的下一相关帧图像用预定图像替换,解决了终端发生抖动时,获取的视频也发生抖动的问题,提高了用户的画面体验感,达到了终端在发生抖动时可以获取稳定视频的效果。
[0199]实施例^^一
[0200]请参考图16,其示出了本发明实施例十一提供的终端的结构,本发明实施例十一提供的终端可以用于实施本发明实施例一至四实现的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参考本发明实施例一至四。
[0201]具体地,图16示出的是与本发明实施例提供的终端相关的手机700的部分结构的框图。在图16所示的结构的基础上,本发明实施例中使用处理器71代替图15中所示的处理器680。
[0202]该处理器71还用于分别获取终端中的传感器650包括的加速度传感器和磁感应传感器在当前时刻和 下一时刻采集的数据,利用传感器融合算法对当前时刻和下一时刻采集的数据分别进行计算,分别得到终端在当前时刻和下一时刻的空间位置。[0203]进一步地,该处理器71还用于调用存储器620中预设的阈值,当当前时刻所对应的空间位置与下一时刻所对应的空间位置中的方位角、俯仰角和横滚角中的任一角度的差值大于阈值时,调用存储器620中接收到的摄像头690发送的第i帧的下一相关帧图像和预定图像,将第i帧的下一相关帧图像用预定图像替换,本实施例假设所述预定图像为第i帧图像。
[0204]进一步地,该处理器71还用于判断最近处理的连续M帧图像是否均为被替换的图像,M为大于等于I的整数;如果是,则改变η的取值由第一预定值切换为第二预定值,第一预定值大于第二预定值,第一预定值和第二预定值均为大于等于I的整数。
[0205]在本发明实施例中,该处理器71可以调用存储器中保存的第i帧图像和第i帧的下一相关帧图像,从而判断在处理第i帧的下一相关帧图像后,最近处理的连续M帧图像是否均为被替换的图像,M为大于等于I的整数;如果是,则改变η的取值由第一预定值切换为第二预定值,第一预定值大于第二预定值,第一预定值和第二预定值均为大于等于I的整数。实现了通过设定η为可以变化的值,使得终端可以自适应地调节判断抖动时的敏感度,达到更好的判断效果和消除抖动效果。
[0206]实施例十二
[0207]请参考图17,其示出了本发明实施例十二提供的终端的结构,本发明实施例十二提供的终端可以用于实施本发明实施例一至四实现的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参考本发明实施例一至四。
[0208]具体地,图17示出的是与本发明实施例提供的终端相关的手机800的部分结构的框图。在图17所示的结构的基础上,本发明实施例中使用处理器81代替图15中所示的处理器680。
[0209]该处理器81还用于分别获取终端中的传感器650包括的加速度传感器和磁感应传感器在当前时刻和下一时刻采集的传感数据;利用传感器融合算法对当前时刻和下一时刻采集的数据分别进行计算,分别得到终端在当前时刻和下一时刻的初始空间位置;然后利用设置在终端中的传感器650包括的陀螺仪传感器采集的数据对当前时刻和下一时刻的初始空间位置进行修正得到当前时刻和下一时刻的空间位置。
[0210]进一步地,该处理器81还用于判断最近处理的连续N帧图像是否均为未被替换的图像,N为大于等于I的整数;如果是,则改变η的取值由第一预定值切换为第三预定值,第一预定值小于第三预定值,第一预定值和第三预定值均为大于等于I的整数。
[0211]在本发明实施例中,该处理器81可以调用存储器中保存的第i帧图像和第i帧的下一相关帧图像,从而判断在处理第i帧的下一相关帧图像后,最近处理的连续N帧图像是否均为未被替换的图像,N为大于等于I的整数;如果是,则改变η的取值由第一预定值切换为第三预定值,第一预定值小于第三预定值,第一预定值和第三预定值均为大于等于I的整数。实现了通过设定η为可以变化的值,使得终端可以自适应地调节判断抖动时的敏感度,达到更好的判断效果和消除抖动效果。
[0212]需要说明的是:上述实施例五至实施例十二提供的终端在进行视频处理时,仅以上述各功能单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元完成,即将终端的内部结构划分成不同的功能单元,以完成以上描述的全部或者部分功能。另外,上述实施例提供的终端和视频处理方法属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
[0213]上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
[0214]本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
[0215]以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
【权利要求】
1.一种视频处理方法,其特征在于,所述方法包括: 分别采集视频源的第i帧图像和第i帧的下一相关帧图像;其中,所述第i帧的下一相关帧图像为所述第i帧后的第η帧图像,所述η为大于等于I的整数; 分别获取终端在当前时刻和下一时刻的空间位置;其中,所述当前时刻为采集所述第i帧图像的时刻,所述下一时刻为采集所述第i帧的下一相关帧图像的时刻; 当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换。
2.根据权利要求1所述的视频处理方法,其特征在于,所述预定图像为所述第i帧图像; 或者,所述预定图像为所述第i帧的下一相关帧图像之前最近的一帧未被替换的图像。
3.根据权利要求1或2所述的视频处理方法,其特征在于,所述空间位置包括所述终端的方位角、俯仰角和横滚角中的至少一项; 所述当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换,包括: 当所述当前时刻所对应的空间位置与所述下一时刻所对应的空间位置中的方位角、俯仰角和横滚角中任一角度的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换。
4.根据权利要求1至3中任意一项所述的视频处理方法,其特征在于,所述方法,还包括: 判断最近处理的连续M帧图像是否均为被替换的图像,M为大于等于I的整数;如果是,则改变所述η的取值由第一预定值切换为第二预定值,所述第一预定值大于所述第二预定值,所述第一预定值和所述第二预定值均为大于等于I的整数。
5.根据权利要求1至4中任意一项所述的视频处理方法,其特征在于,所述方法,还包括: 判断最近处理的连续N帧图像是否均为未被替换的图像,N为大于等于I的整数;如果是,则改变所述η的取值由第一预定值切换为第三预定值,所述第一预定值小于所述第三预定值,所述第一预定值和所述第三预定值均为大于等于I的整数。
6.根据权利要求1至5中任意一项所述的视频处理方法,其特征在于,所述分别获取终端在当前时刻和下一时刻的空间位置,具体包括: 分别获取终端的加速度传感器和磁感应传感器在所述当前时刻和所述下一时刻采集的数据; 利用传感器融合算法对所述当前时刻和所述下一时刻采集的数据分别进行计算,分别得到所述终端在所述当前时刻和所述下一时刻的空间位置。
7.根据权利要求1至5中任意一项所述的视频处理方法,其特征在于,所述分别获取终端在当前时刻和下一时刻的空间位置,具体包括: 分别获取终端的加速度传感器和磁感应传感器在所述当前时刻和所述下一时刻采集的数据; 利用传感器融合算法对所述当前时刻和所述下一时刻采集的数据分别进行计算,分别得到所述终端在所述当前时刻和所述下一时刻的初始空间位置; 利用设置在所述终端中的陀螺仪传感器采集的数据对所述当前时刻和所述下一时刻的初始空间位置进行修正得到所述当前时刻和所述下一时刻的空间位置。
8.—种终端,其特征在于,所述终端包括: 视频采集单元,用于分别采集视频源的第i帧图像和所述第i帧的下一相关帧图像;其中,所述第i帧的下一相关帧图像为所述第i帧之后的第η帧图像,所述η为大于等于I的整数; 空间位置获取单元,用于分别获取终端在当前时刻和下一时刻的空间位置;其中,所述当前时刻为采集所述第i帧图像的时刻,所述下一时刻为采集所述第i帧的下一相关帧图像的时刻; 视频处理单元,用于当所述当前时刻所对应的空间位置和所述下一时刻所对应的空间位置之间的差值大于阈值时,将所述第i帧图像的下一相关帧图像用预定图像替换。
9.根据权利要求8所述的终端,其特征在于,所述预定图像为所述第i帧图像; 或者,所述预定图像为所述第i帧的下一相关帧图像之前最近的一帧未被替换的图像。
10.根据权利要求8或9所述的终端,其特征在于,所述空间位置获取单元中获取的空间位置包括所述终端的方位角、俯仰角和横滚角中的至少一项; 所述视频处理单元具体用于: 当所述当前时刻所对应的空间位置与所述下一时刻所对应的空间位置中的方位角、俯仰角和横滚角中任一角度的差值大于阈值时,将所述第i帧的下一相关帧图像用预定图像替换。
11.根据权利要求8至10中任意一项所述的终端,其特征在于,所述终端还包括:第一处理判断子单元和第一间隔切换子单元; 所述第一处理判断子单元,用于判断最近处理的连续M帧图像是否均为被替换的图像,M为大于等于I的整数; 所述第一间隔切换子单元,用于如果所述第一处理判断子单元的判断结果为是,则改变所述η的取值由第一预定值切换为第二预定值,所述第一预定值大于所述第二预定值,所述第一预定值和所述第二预定值均为大于等于I的整数。
12.根据权利要求8-11中任意一项所述的终端,其特征在于,所述终端还包括:第二处理判断子单元和第二间隔切换子单元; 所述第二处理判断子单元,用于判断最近处理的连续N帧图像是否均为未被替换的图像,N为大于等于I的整数; 所述第二间隔切换子单元,用于如果所述第二处理判断子单元的判断结果为是,则改变所述η的取值由第一预定值切换为第三预定值,所述第一预定值小于所述第三预定值,所述第一预定值和所述第三预定值均为大于等于I的整数。
13.根据权利要求8至12中任意一项所述的终端,其特征在于,所述空间位置获取单元具体包括: 传感器采集子单元和融合计算子单元; 所述传感器采集子单元,用于分别获取终端的加速度传感器和磁感应传感器在所述当前时刻和所述下一时刻采集的数据; 所述融合计算子单元,用于利用传感器融合算法对所述当前时刻和所述下一时刻采集的数据分别进行计算,分别得到所述终端在所述当前时刻和下一时刻的空间位置。
14.根据权利要求8至12中任意一项所述的终端,其特征在于,所述空间位置获取单元具体包括: 传感器采集子单元、角度计算子单元和补偿修正子单元; 所述传感器采集子单元,用于分别获取终端的加速度传感器和磁感应传感器在当前时刻和下一时刻采集的数据; 所述角度计算子单元,用于利用传感器融合算法对所述当前时刻和下一时刻采集的数据分别进行计算,分别得到所述终端在所述当前时刻和下一时刻的初始空间位置; 所述补偿修正子单元,用于利用设置在所述终端中的陀螺仪传感器采集的数据对所述当前时刻和下一时刻的初始空间位置进行修正得到所述当前时刻和下一时刻的空间位置。
15.一种终端,其特征在于,所述终端包括摄像头、传感器、存储器以及处理器; 所述摄像头,用于采集如权利要求1至7任一所述的视频源的第i帧图像和第i帧的下一相关帧图像,并将采集到的图像发送至所述存储器; 所述处理器,用于根据所 述传感器采集的数据分别获取如权利要求1至7任一所述的终端在当前时刻和下一时刻的空间位置,并将获取的空间位置发送至所述存储器; 所述处理器,用于调用所述存储器中的第i帧图像、第i帧的下一相关帧图像以及当前时刻和下一时刻的空间位置,并执行如权利要求1至7任一所述的当当前时刻所对应的空间位置和下一时刻所对应的空间位置之间的差值大于阈值时,将第i帧的下一相关帧图像用预定图像替换。
【文档编号】G06F3/048GK103577023SQ201210253287
【公开日】2014年2月12日 申请日期:2012年7月20日 优先权日:2012年7月20日
【发明者】丁世鹏 申请人:华为终端有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1