一种视频处理方法、装置和系统的制作方法
【技术领域】
[0001]本发明涉及通信技术领域，具体涉及一种视频处理方法、装置和系统。
【背景技术】
[0002]为了得到更为清晰的视频，需要对视频进行防抖处理，在目前主流视频去抖动系统和相关视频处理应用中，多数的帧间运动估计方法都采用了基于图像的特征匹配来进行全局运动估计，例如，可以先通过特征点匹配来找到两帧间的一系列点的对应关系，然后用一个全局运动模型对这些点的对应关系进行拟合，从而得到能够描述两帧全局运动的全局运动模型。
[0003]在对现有技术的研究和实践过程中，本发明的发明人发现，虽然现有的这种方法应用较为普遍，但是其鲁棒性较差，在某些视频帧中难以找到足够的可靠的特征点来进行匹配，因此，处理后的视频质量不佳，而且该类方法计算复杂度也较高，需要占用较多的计算资源，不适用于移动终端如手机等计算能力较差的平台。
【发明内容】
[0004]本发明实施例提供一种视频处理方法、装置和系统，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。
[0005]本发明实施例提供一种视频处理方法，包括:
[0006]基于罗德里格(Rodrigues’ Rotat1n Matrix,简称Rodrigues)旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数；
[0007]获取第一视频信息和第一陀螺仪旋转信息，所述第一陀螺仪旋转信息为所述第一视频信息对应的陀螺仪旋转信息；
[0008]根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去抖动处理；和/或，
[0009]根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去卷帘快门效应处理。
[0010]相应的，本发明实施例还提供一种视频处理装置，包括标定单元、信息获取单元和处理单元；
[0011]标定单元，用于基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数；
[0012]信息获取单元，用于获取第一视频信息和第一陀螺仪旋转信息，所述第一陀螺仪旋转信息为所述第一视频信息对应的陀螺仪旋转信息；
[0013]处理单元，用于根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去抖动处理；和/或，根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去卷帘快门效应处理。
[0014]相应的，本发明实施例还提供一种视频处理系统，包括本发明实施例提供的任一种视频处理装置。
[0015]本发明实施例可以基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，然后获取第一视频信息和其对应的陀螺仪旋转信息(即第一陀螺仪旋转信息)，并根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去抖动处理，和/或根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去卷帘快门效应处理，以实现对视频的矫正；由于该方案采用了罗德里格旋转矩阵，因此，相对于采用其他旋转矩阵的方案而言，在计算标定参数时，不仅可以更加精确，大大减少误差，而且，计算也较为简便，可以大大降低实现的复杂度；也就是说，采用该方案，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。
【附图说明】
[0016]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本发明实施例提供的视频处理方法的流程图；
[0018]图2是本发明实施例提供的视频处理方法的另一流程图；
[0019]图3是本发明实施例提供的视频处理方法的又一流程图；
[0020]图4是本发明实施例提供的视频处理方法的又一流程图；
[0021]图5是本发明实施例提供的视频处理装置的结构示意图；
[0022]图6是本发明实施例提供的移动终端的结构示意图。
【具体实施方式】
[0023]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024]本发明实施例提供一种视频处理方法、装置和系统。以下分别进行详细说明。
[0025]实施例一、
[0026]本发明实施例将从视频处理装置的角度进行描述，该视频处理装置可以集成在具有陀螺仪的摄像设备中，该摄像设备可以为移动终端，比如手机、平板电脑、笔记本电脑、相机或摄像机等设备。
[0027]—种视频处理方法，包括:基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，获取第一视频信息和对应的陀螺仪旋转信息(即第一陀螺仪旋转信息)，根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去抖动处理。
[0028]如图1所示，该视频处理方法的具体流程可以如下:
[0029]101、基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，例如，具体可以采用如下方法来对摄像设备进行标定:
[0030](I)获取该摄像设备的陀螺仪旋转角速度。
[0031]比如，具体可以从该摄像设备的陀螺仪中读出该陀螺仪旋转角速度。
[0032](2)利用罗德里格旋转矩阵对该陀螺仪旋转角速度进行建模，得到罗德里格旋转矩阵的运动模型，例如，具体可以如下:
[0033]获取该陀螺仪旋转角速度对应的旋转时间，将该陀螺仪旋转角速度结合该获取到的旋转时间，根据罗德里格旋转矩阵形式构造旋转矩阵，得到罗德里格旋转矩阵的运动模型。
[0034](3)获取第二视频信息和相应的陀螺仪旋转信息，其中，为了描述方便，在本发明中，将该第二视频信息对应的陀螺仪旋转信息称为第二陀螺仪旋转信息。
[0035]例如，具体可以通过拍摄视频来获取视频信息，为了描述方便，在本实施例中，将该建模时获取到的视频信息称为第二视频信息。
[0036]其中，本发明实施例中的陀螺仪旋转信息包括陀螺仪旋转角速度和/或对应的旋转时间等信息。
[0037](4)基于该罗德里格旋转矩阵的运动模型，结合该第二视频信息和第二陀螺仪旋转信息对该摄像设备进行标定，得到标定参数，例如，具体可以如下:
[0038]A、对该第二视频信息中每一帧内预置的特征点进行检测，并在相邻两帧间进行特征点匹配，得到特征匹配关系。
[0039]B、基于建立的罗德里格旋转矩阵的运动模型对该第二陀螺仪旋转信息进行转换，得到对应的三维旋转矩阵。
[0040]C、根据该三维旋转矩阵和特征匹配关系对该摄像设备进行标定，得到标定参数。例如，具体可以如下:
[0041]根据预置的优化策略拟合该特征匹配关系，得到拟合后的特征匹配关系；利用B步骤中得到的三维旋转矩阵和拟合后的特征匹配关系计算该摄像设备的标定参数。
[0042]其中，该标定参数可以包括摄像设备的内部参数、帧采集时间、以及“陀螺仪时间戳与视频信息的帧时间戳之间的偏差”等参数。而优化策略可以根据实际应用的需求进行设置。
[0043]需说明的是，计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数，也就是本发明实施例所说的标定参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机标定(或称为定标)。也就是说，标定过程就是确定摄像机的几何和光学参数、以及摄像机相对于世界坐标系的方位。标定精度的大小，直接影响着计算机视觉(机器视觉)的精度。
[0044]102、获取第一视频信息和相应的陀螺仪旋转信息，为了描述方便，在本发明实施例中，将该第一视频信息对应的陀螺仪旋转信息称为第一陀螺仪旋转信息。
[0045]例如，具体可以通过拍摄视频来获取视频信息，为了描述方便，在本实施例中，将该需要进行去抖动处理和/或矫正(比如进行去卷帘快门效应处理)的视频信息称为第一视频信息。
[0046]103、根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去抖动处理；例如，具体可以如下:
[0047](I)对该第一陀螺仪旋转信息进行平滑操作，得到第一旋转角速度累积乘积。
[0048](2)根据该第一视频信息确定当前需要处理的帧。
[0049](3)从该第一陀螺仪旋转信息中获取从所述第一视频信息的第一帧开始到所述当前需要处理的帧之间的各个帧所对应的陀螺仪旋转角速度。
[0050](4)根据所述各个帧所对应的陀螺仪旋转角速度计算旋转角速度累积乘积。
[0051]其中，该第二旋转角速度累积乘积为从所述第一视频信息的第一帧开始到所述当前需要处理的帧的旋转角速度累积乘积。
[0052](5)计算该第二旋转角速度累积乘积和第一旋转角速度累积乘积的差，得到差值，为了描述方便，在本发明实施例中，将该差值称为第一差值。
[0053](6)根据该第一差值和该标定参数得到一个全局运动矩阵，在本发明实施例中，称为第一全局运动矩阵。
[0054](7)根据该第一全局运动矩阵对该第一视频信息进行重新绘制，从而实现去抖动的目的。
[0055]此外，除了可以对第一视频信息进行去抖动处理之外，为了进一步提高视频质量，还可以对该第一视频信息进行矫正处理，比如进行去卷帘快门效应处理。即，在获取第一视频信息和第一陀螺仪旋转信息之后，该视频处理方法还可以包括:
[0056]根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去卷帘快门效应处理。例如，具体可以如下:
[0057]根据该第一视频信息确定当前需要处理的帧，从该第一陀螺仪旋转信息中获取当前需要处理的帧所对应的陀螺仪旋转角速度，根据该当前需要处理的帧所对应的陀螺仪旋转角速度分别获取当前需要处理的帧的第一行的旋转角速度和第η行的旋转角速度，计算该第一行的旋转角速度和第η行的旋转角速度的差，得到一个差值，在本发明实施例中称为第二差值，根据该第二差值和标定参数得到一个全局运动矩阵，在本发明实施例中称为第二全局运动矩阵，根据该第二全局运动矩阵对第一视频信息进行重新绘制。
[0058]其中，η为正整数，η的值可以根据实际应用的需求进行设置。
[0059]由上可知，本实施例可以基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，然后获取第一视频信息和其对应的陀螺仪旋转信息(即第一陀螺仪旋转信息)，并根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去抖动处理；由于该方案采用了罗德里格旋转矩阵，因此，相对于采用其他旋转矩阵的方案而言，在计算标定参数时，不仅可以更加精确，大大减少误差，而且，计算也较为简便，可以大大降低实现的复杂度；也就是说，