一种图像特征点类型的识别方法和装置的制造方法_3

文档序号:9453433阅读:来源:国知局
k9,u。,v。,fx, 4为相机内部参数。可以通过离线标定算法得到。所述相机成像 模型对普通平面相机和鱼眼相机均适用。
[0104] S105 :根据mt、mti和1^^之间的位置关系,识别所述特征点m为运动特征点或静止 特征点。
[0105] 可选的,所述根据mt、mti和之间的位置关系,识别所述特征点m为运动特征点 或静止特征点,包括:
[0106] 根据mt、mti和lilj*计算mti和mt构成的光流向量与mti和rfl,构成的光流向量之 间的光流方向残差角0。根据叫和计算叫和l&f的位置残差dis。
[0107] 其中可选的,所述根据mt、mti和111计算mti和mt构成的光流向量与mti和 构成的光流向量之间的光流方向残差角9,具体包括:
[0108]
[0109] 其中,mt在图像坐标系下的坐标为(ut,vt),mtl在图像坐标系下的坐标为 (utuvtJ,m,在图像坐标系下的坐标(^,$)。
[0110] 其中可选的,所述根据叫和计算叫和lil,的位置残差dis,具体包括:
[0111] Ciis=|m,-叫I;
[0112] 其中,|由厂|为斑f-爾f的向量长度。
[0113] 计算出所述光流方向残差角0和位置残差dis后,若所述光流方向残差角0满 足第一阈值,且所述位置残差dis满足第二阈值,识别所述特征点m为运动特征点。
[0114] 若所述光流方向残差角0不满足第一阈值,且所述位置残差dis不满足第二阈 值,识别所述特征点m为静止特征点。
[0115] 由于假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止,故 理论上或所述特征点m确实为一个相对于所述场景静止的特征点时,计算出的lflf.和11^应 该是重合的。但是一般情况下会考虑到测量误差和计算误差,故所述第一阈值(thre_l)可 以为数值范围内的一个值,所选取的大小可以和计算精度相关。所述第二阈值(thre_2)也 可以为数值范围内的一个值,所选取的大小可以和计算精度相关。可选的,所述第一阈值可 以为〇. 5像素,所述第二阈值可以为0. 52弧度。
[0116] 当0大于所述第一阈值和dis大于所述第二阈值时,可以理解为特征点m的变化 程度已经超出了测量误差和计算误差可以达到的程度,那么可以判定所述特征点m为运动 特征点。当9小于所述第一阈值和dis小于所述第二阈值时,可以理解为特征点m的变化 程度还处于测量误差和计算误差可以达到的程度之内,那么可以判定所述特征点m为静止 特征点。
[0117] 由上述实施例可以看出,在假设所述特征点m在第t帧图像和第t-1帧图像中相 对于所述场景静止的条件下,根据第一对等关系、第二对等关系以及相机成像模型反向推 算出Pt的坐标值,在带入所述相机成像模型中,确定Pt在图像坐标系的投影点丨Jl,的坐标。 由于在假设特征点m静止的条件下,应该基于与mt重合,故以此理论为基础,计算mt :和 mt构成的光流向量与mti和构成的光流向量之间的光流方向残差角0,根据叫和lilf 计算叫和l&i的位置残差虹8,并根据所述光流方向残差角0和位置残差虹8是否满足阈 值作为判断特征点m类型的依据,由此可以在单目相机所采集的视频图像中准确识别出图 像特征点的类型,合理判断出静止特征点或运动特征点,从而提高了低成本的视频识别在 汽车驾驶等方面的应用。
[0118] 实施例二
[0119] 图3为本发明实施例提供的一种图像特征点类型的识别装置的装置结构图,应用 于安装了单目相机的车辆,所述装置包括:
[0120] 分析单元301,用于分析所述单目相机采集的所述车辆周围场景图像,匹配获取第 t帧图像和第t-1帧图像的特征点对叫和mtpiiit为特征点m在第t帧图像中对应的位置, mti为所述特征点m在第t-1帧图像中对应的位置;
[0121] 第一确定单元302,用于假设所述特征点m在第t帧图像和第t-1帧图像中相对 于所述场景静止,若mt在相机坐标系下的位置为Pt,mti在相机坐标系下的位置为Pti,根据 Pt、R。。和T确定出与Pti之间的第一对等关系,其中为相机坐标系从第t-1帧到第t帧 的旋转矩阵,为相机坐标系从第t-1帧到第t帧的平移向量;
[0122] 第二确定单元303,用于根据?#角定出与mSit的第二对等关系,其中,mSit为心在 相机坐标系下的归一化坐标点;
[0123] 第三确定单元304,用于根据第一对等关系、第二对等关系以及相机成像模型,确 定出Pt在图像坐标系中的投影点;
[0124] 识别单元305,用于根据mt、mti和之间的位置关系,识别所述特征点m为运动 特征点或静止特征点。
[0125] 可选的,所述识别单元305还包括:
[0126] 第一计算子单元,用于根据mt、mti和计算mti和mt构成的光流向量与mti和 构成的光流向量之间的光流方向残差角9 ;
[0127] 第二计算子单元,用于根据叫和计算叫和l!l#的位置残差dis;
[0128] 第一识别子单元,用于若所述光流方向残差角0满足第一阈值,且所述位置残差 dis满足第二阈值,识别所述特征点m为运动特征点;
[0129] 第二识别子单元,用于若所述光流方向残差角0不满足第一阈值,且所述位置残 差dis不满足第二阈值,识别所述特征点m为静止特征点。
[0130] 可选的,所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面,其中v轴 沿图像帧平面竖直向下;所述相机坐标系的坐标原点为所述单目相机的光心位置,Z轴垂 直于图像帧所在平面,X轴与u轴平行,Y轴与v轴平行。
[0131] 可选的,所述根据Pt、和T确定出与Pti之间的第一对等关系,所述第一对等 关系具体包括:
[0132] Pt !=RccPt+Tcc;
[0133] 其中,Pt :在相机坐标系下的坐标为(Xti,Yti,Zt》,坐标为(Xt,Yt,Zt)。
[0134] 可选的,所述根据?#角定出与mSit的第二对等关系,所述第二对等关系具体包括:
[0135]

[0136] 其中,
[0137] 屯为特征点m在第t帧图像的向量模值,
[0138](Xt,Yt,Zt)T为(Xt,Yt,Zt)的转置矩阵。
[0139] 可选的,所述相机成像模型,具体包括:
[0140]
[0141] 其中,
[0142]
r(a) =kja+k3a3+k5a5+k7a7+kga9 ,k1;k3,k5,k7,k9,u。,v。,fx,fy为相机内部参数。
[0143] 可选的,所述根据mt、mti和iflj计算mti和mt构成的光流向量与mti和构成 的光流向量之间的光流方向残差角9,具体包括:
[0144]
[0145] 其中,mt在图像坐标系下的坐标为(ut,vt),mtl在图像坐标系下的坐标为 (uti,vtJ 在图像坐标系下的坐标
[0146]所述根据叫和rflf计算叫和lit,的位置残差dis,具体包括:
[0147]
[01蚓其中,I?V|为-碼的向量长度。
[0149] 可见,在假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止 的条件下,根据第一对等关系、第二对等关系以及相机成像模型反向推算出Pt的坐标值,在 带入所述相机成像模型中,确定Pt在图像坐标系的投影点lil,的坐标。由于在假设特征点m静止的条件下,应该基于与mt重合,故以此理论为基础,计算mt :和m4构成的光流向量 与mtl和1^:构成的光流向量之间的光流方向残差角0,根据叫和!^:计算叫和rflf的位 置残差dis,并根据所述光流方向残差角0和位置残差dis是否满足阈值作为判断特征点m类型的依据,由此可以在单目相机所采集的视频图像中准确识别出图像特征点的类型,合 理判断出静止特征点或运动特征点,从而提高了低成本的视频识别在汽车驾驶等方面的应 用。
[0150] 本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过 程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在 执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一 种:只读存储器(英文:read-〇nlymemory,缩写:R0M)、RAM、磁碟或者光盘等各种可以存储 程序代码的介质。
[0151] 需要说明的是
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1