一种获取向量的方法及装置的制造方法_3

文档序号:8905449阅读:来源:国知局
频的设备进行拍摄时,用户在进行甩手动作,在设备拍摄X个视频帖中的第一个视频帖、第 二个视频帖和第=个视频帖时,用户的手位于设备的拍摄范围内,而从设备拍摄X个视频 帖中的第四个视频帖开始,用户的运动出了设备的拍摄范围,例如用户可能将手向上甩,贝U 设备拍摄不到了,而在设备拍摄X个视频帖中的第八个视频帖时,用户的手又回到了设备 的拍摄范围内,那么,在X个视频帖中的第一个视频帖、第二个视频帖、第=个视频帖和第 八个视频帖中(当然还可能有后面的视频帖,该里不多举例)都有与运动轨迹1对应的位 置,即运动轨迹1与该几个视频帖都有交点,而在第四个视频帖、第五个视频帖、第六个视 频帖和第走个视频帖(当然还可能有后面的视频帖,该里不多举例)中,都没有与运动轨迹 1对应的位置,即运动轨迹1与该几个视频帖都没有交点,在该种情况下,就出现了与一个 运动像素点有交点的各个视频帖不是连续视频帖的情况。
[0150] 获取X个视频帖中的N个运动像素点对应的N个运动轨迹,即可W认为是提取X个视频帖中的运动轨迹。原则上来讲,本发明实施例中的该步骤可W使用多种不同的提取 运动轨迹的方式,例如可W采用Kanade-Lucas-TomasitrajecotiT化LT轨迹)方法、dense trajectory(稠密轨迹)方法、ImprovedTrajectories(优化轨迹)方法等等不同的方法, 即本发明实施例中的第一算法可W是指多种不同的算法。具体的,本发明实施例W第一算 法是优化轨迹方法为例。
[0151] 可选的,本发明实施例中,对视频的X个视频帖按照第一算法进行处理,得到N个 像素点--对应的N条运动轨迹,包括;
[0152] 对于X个视频帖中每相邻的两个视频帖,均执行如下操作;获取相邻的两个视频 帖对应的第一光流场;第一光流场用于表示在相邻的两个视频帖中,同一个像素点的速度 矢量;通过中值滤波器对第一光流场进行处理,获取第二光流场,第二光流场用于表示,相 邻的两个视频帖中,前一个视频帖中的像素点在后一个视频帖中的位置;
[0153] 根据获取的X个视频帖中每相邻的两个视频帖之间的第二光流场,获得N个像素 点对应的N条运动轨迹。
[0154] 本发明实施例中,可W认为X个视频帖中包括的各个视频帖中,所包括的普通像 素点都是相同的,即,例如,若X个视频帖中的第一个视频帖包括普通像素点1、普通像素点 2和普通像素点3,则X个视频帖中包括的其他视频帖中也包括普通像素点1、普通像素点2 和普通像素点3。其中,普通像素点可W是指X个视频帖中的任意一个像素点。本发明实施 例中,可按照普通像素点对应的对象是否处于运动状态,而将普通像素点分为运动像素点 和非运动像素点,即,普通像素点中包括了运动像素点和非运动像素点。
[0155] 本发明实施例中,第一光流场中可W考虑所有的普通像素点,或者也可W只考虑 运动像素点。
[0156] 本发明实施例中,每相邻的两个视频帖中,同一个运动像素点可W对应一个速度 矢量,该个速度矢量用于描述该运动像素点的在X方向和y方向上的位移量,那么每相邻的 两个视频帖中,所有运动像素点的速度矢量就形成了该相邻的两个视频帖的光流场。目P,光 流场用于表明相邻两个视频帖中,对应的运动像素点的运动速率和运动方向。
[0157] 光流场可W描述空间运动物体在观察成像平面上的各个运动像素点运动的瞬时 速度,是利用图像序列中运动像素点在时间域上的变化W及相邻两个视频帖之间的相关性 来找到上一个视频帖跟当前视频帖之间存在的对应关系,从而计算出相邻两个视频帖之间 物体的运动信息的一种方法。简单的说,把每相邻的两个视频帖中每个运动像素点的运动 速率和运动方向找出来,就是该相邻的两个视频帖之间的光流场。
[0158] 例如请参见图2B,图2B中的两幅图像表示相邻的两个视频帖,左边的表示其中的 前一个视频帖,右边的表示其中的后一个视频帖,该两个视频帖中的每个格子代表一个普 通像素点。可W看到,在该两个视频帖中,左边有一个格子用斜线填充,右边也有一个格子 用斜线填充,该用于表示,左边的该个运动像素点,在下一个视频帖中分别在X方向和y方 向上移动了一个单位,则,该两个视频帖之间的光流场可W用表1来表示:
[0159] 表 1
[0160]
[0161]
[0162] 表1中的(0,0)表示运动像素点没有移动,(1,1)表示运动像素点在X方向和y方 向上各移动了一个单位。目P,表1中的值表示的是运动像素点的移动情况,而不用于表示运 动像素点的位置坐标。
[0163] 在获得该视频中每相邻的两个视频帖之间的光流场后,可W采用中值滤波器对获 得的每个光流场进行处理,处理方式例如可W是滤波,该样就可W获取每相邻的两个视频 帖中,前一个视频帖中的每个运动像素点在后一个视频帖中的位置,通过对多个光流场进 行滤波,则对于X个视频帖中的每个视频帖中包括的运动像素点,都可W得到其在每个视 频帖中对应的位置,该样也就相当于得到了运动像素点的运动轨迹。
[0164] 本发明实施例中,为了便于区分,将初次获得的光流场称为第一光流场,将采用中 值滤波器对第一光流场进行滤波之后得到的光流场称为第二光流场。
[0165] 具体的,使用中值滤波器对第一光流场滤波,可W采用如下公式:
[0166]
( 1 )
[0167]公式(1)中,(X。yt)是X个视频帖中第t个视频帖的运动像素点的坐标,M是中 值滤波器的核,*是卷积运算,Wt= (u^Vt)是第t个视频帖中的运动像素点(Xt,yt)在第 一光流场中的矢量,I表示在(Xt,yt)坐标处,0,,_y,)是(Xt,yt)四舍五入后的坐标值。在使 用中值滤波器对X个视频帖中每两个视频帖之间的第一光流场进行滤波后,根据第二光流 场,把X个视频帖中同一个运动像素点的位置组合起来,就得到了该运动像素点的运动轨 迹。
[0168] 可选的,本发明实施例中,
[0169]在获取相邻的两个视频帖对应的第一光流场之前,所述方法还包括:
[0170]对X个视频帖中的每个视频帖做如下处理:
[0171]在一个视频帖中,将每隔预设数量个普通像素点的一个普通像素点取为目标像素 点,计算获取的所有目标像素点的自相关矩阵;其中,普通像素点为一个视频帖中的任意一 个像素点;
[0172]在一个视频帖中,丢弃自相关矩阵中的特征值小于预设值的元素对应的普通像素 占. '?、、?
[0173] 获取相邻的两个视频帖对应的第一光流场,包括:
[0174]根据处理后的X个视频帖,获取相邻的两个视频帖对应的第一光流场。
[0175]例如,对于X个视频帖中的每个视频帖,都每隔5个普通像素点取一个普通像素 点,本发明实施例中将取出的普通像素点称为目标像素点,将获取的目标像素点组成一个 矩阵,求得该个矩阵的自相关矩阵,即,对于每个视频帖,都可W得到一个自相关矩阵,自相 关矩阵中的元素与目标像素点为一一对应的关系。例如对于一个视频帖来说,该视频帖中 所有目标像素点在时间序列上的二阶导数组成的矩阵就是该视频帖对应的自相关矩阵。
[0176]预设值可W是根据经验值设定的值,或者也可W是系统预先设定的值,在得到自 相关矩阵后,可W获得每个自相关矩阵的特征值,自相关矩阵的每个特征值都对应于自相 关矩阵中的一个或多个元素。因为一般认为特征值小于预设值的像素点属于噪点,因此对 于一个自相关矩阵来说,如果该自相关矩阵的一个或多个特征值小于预设值,那么可W从 该自相关矩阵中确定出与该些特征值对应的元素,再从该自相关矩阵对应的视频帖中确定 该些元素对应的目标像素点,从而可W从该视频帖中,删除该些像素点,对X个视频帖中的 每个视频帖都可W进行同样的处理,那么在后续,计算运动像素点的运动轨迹时,可W不再 计算该些已删除的普通像素点的运动轨迹,即,在进行运动轨迹提取时,不再考虑该些已删 除的普通像素点,即去除了噪点的影响,使得计算结果更为准确。
[0177] 另外,在计算运动像素点的运动轨迹时,除了要考虑到运动像素点本身的移动情 况,较佳的,还要考虑到拍摄该视频的设备的移动情况,例如,用户在使用设备进行拍摄的 过程中可能进行了移动,或者手可能发生了抖动,等等,那么为了使得到的运动像素点的运 动轨迹能够更为真实地反映运动像素点本身的移动情况,就需要去除设备的位移。
[0178] 为了进一步考虑设备本身的移动情况,本发明实施例可W采用RANSAC(Random Sample Consensus,随机样本一致)算法来去除设备位移的影响,当然也可W采用其他算 法,本发明实施例只是WRANSAC算法进行举例。具体的,如下:
[0179] 可选的,本发明实施例中,
[0180]在获取第二光流场之后,所述方法还包括;对于X个视频帖中每相邻的两个视频 帖,均执行如下操作:
[0181] 获取相邻的两个视频帖中的至少一组待匹配点对;待匹配点对为;相邻的两个视 频帖中,前一个视频帖的任意一个像素点和该任意一个像素点在相邻的后一个视频帖中得 到的对应点构成的点对;其中,每组待匹配点对中包括一对或多对待匹配点对;
[0182] 针对至少一组待匹配点对中的每组,分别获得一个仿射变换矩阵;
[0183] 通过得到的每一个仿射变换矩阵分别确定每一组待匹配点对中的每一对待匹配 点对是否匹配;
[0184] 将确定出的相匹配的待匹配点对数量最多的仿射变换矩阵确定为与相邻的两个 视频帖对应的第一仿射变换矩阵,并通过第一仿射变换矩阵,对相邻的两个视频帖中的前 一个视频帖作仿射变换,获得前一个视频帖中的像素点在相邻的两个视频帖中的后一个视 频帖中的实际位置;
[0185] 根据第二光流场,W及前一个视频帖中的像素点在后一个视频帖中的实际位置, 获取相邻的两个视频帖之间的第=光流场;第=光流场用于表示,相邻的两个视频帖中,前 一个视频帖中的像素点在后一个视频帖中的实际位置;
[0186] 根据获取的所述X个视频帖中每相邻的两个视频帖之间的第二光流场,获得N个 像素点对应的N条运动轨迹,包括:
[0187] 根据获取的X个视频帖中每相邻的两个视频帖之间的第S光流场,获得N个像素 点对应的N条运动轨迹。
[0188] 本发明实施例中,将去除设备位移影响之后得到的光流场称为第S光流场。
[0189] 本发明实施例中,凡是称为像素点的,可W认为是运动像素点。
[0190] 本发明实施例中,第S光流场是根据第二光流场得到的,因此,根据第二光流场获 取运动像素点的运动轨迹,可W进一步认为具体是根据第立光流场获取运动像素点的运动 轨迹。
[0191] 例如,对于相邻的两个视频帖,可W将其中的全部运动像素点或者部分运动像素 点作为待匹配点对。说是"点对",其实对应的是一个对象,即,是一个对象在前后两个视频 帖中对应的两个位置,因此就将其称为"点对"。本发明实施例中将其称为待匹配点对,是因 为该些点对是尚未去除设备位移影响的点对,并不是说该些点对没有对应同一对象。
[0192] 例如,对于相邻的两个视频帖,视频帖1和视频帖2,根据其中的若干组待匹配点 对分别获得仿射变换矩阵,则,获得的仿射变换矩阵的数量与其中的待匹配点对的组的数 量相同。通过每个仿射变换矩阵分别对所有的待匹配点对进行处理,例如对于任意一个待 匹配点对,处理方式可W是;将该运动像素点在前一个视频帖中的位置通过仿射变换矩阵 进行映射,判断得到的位置与该运动像素点在后一个视频帖中的位置是否相匹配,该里的 相匹配可W是指完全相同,或者也可W是指两个位置之间的距离小于预设距离。若得到的 位置与该运动像素点在后一个视频帖中的位置相匹配,则确定该待匹配点对在通过该仿射 变换矩阵进行处理时得到了匹配,否则,若得到的位置与该运动像素点在后一个视频帖中 的位置不相匹配,则确定该待匹配点对在通过该仿射变换矩阵进行处理时得不到匹配。
[0193] 那么,将视频帖1和视频帖2中的所有待匹配点对分别采用仿射变换矩阵1进行 处理,就可W得到该仿射变换矩阵1对应的、能够匹配的待匹配点对的数量,进一步,将视 频帖1和视频帖2中的所有待匹配点对分别采用每个仿射变换矩阵进行处理,就可W得到 每个仿射变换矩阵分别对应的、能够匹配的待匹配点对的数量。从而,也就可W从中确定, 究竟哪个仿射变换矩阵所对应的能够匹配的待匹配点对的数量最多,从而确定采用该个仿 射变换矩阵来确定用于拍摄视频的设备对应于视频帖1和视频帖2中每个运动像素点的设 备位移。
[0194]例如一共选出4个待匹配点对组,分别为点对组1、点对组2、点对组3和点对组4, 其中,每个待匹配点对组中包括一个或多个待匹配点对,且不同的待匹配点对组中包括的 待匹配点对的数量可W相同也可W不同。通过该4个待匹配点对组中的每组,分别得到一 个仿射变换矩阵,共得到4个仿射变换矩阵,分别为矩阵1、矩阵2、矩阵3和矩阵4。则,通 过矩阵1对所有待匹配点对进行处理,通过矩阵2对所有待匹配点对进行处理,通过矩阵3 对所有待匹配点对进行处理,W及通过矩阵4对所有待匹配点对进行处理,其中,点对组1 包括2对待匹配点化点对组2包括1对待匹配点化点对组3包括3对待匹配点化点对 组4包括4对待匹配点对,即共有10对待匹配点对。例如处理结果为;通过矩阵1进行处 理时,有4对待匹配点对能够相匹配,有6对待匹配点对不能匹配,通过矩阵2进行处理时, 有2对待匹配点对能够相匹配,有8对待匹配点对不能匹配,通过矩阵3进行处理时,有7 对待匹配点对能够匹配,有3对待匹配点对不能匹配,通过矩阵4进行处理时,有5对待匹 配点对能够匹配,有5对待匹配点对不能匹配。贝ij,显然可W确定出矩阵3所对应的能够匹 配的待匹配点对的数量最多。
[0195] 本发明实施例中,将确定出的仿射变换矩阵称为第一仿射变换矩阵。通过第一仿 射变换矩阵对相邻的两个视频帖中的前一个视频帖中的运动像素点进行处理,就可W得到 后一个视频帖中的每个运动像素点的实际位置,该里所说的相邻的两个视频帖,是指与第 一仿射变换矩阵对应的两个视频帖。
[0196] 例如仿射变换矩阵1是对应于视频帖1和视频帖2的仿射变换矩阵,那么,通过仿 射变换矩阵1对视频帖1中的运动像素点进行处理,就可W得到视频帖2中每个运动像素 点的实际位置,相当于得到了新的视频帖2,
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1