t构成的光流向量与mti和rfl,构成 的光流向量之间的光流方向残差角9,具体包括：
[0060]
[0061] 其中，mt在图像坐标系下的坐标为（ut，vt)，mtl在图像坐标系下的坐标为 (ut "vtJ在图像坐标系下的坐标(4，％);
[0062] 所述根据叫和计算叫和rii,的位置残差dis，具体包括：
[0063] dis=|m,_w,丨；
[0064] 其中，丨|为的向量长度。
[0065] 由上述技术方案可以看出，在假设所述特征点m在第t帧图像和第t-1帧图像中 相对于所述场景静止的条件下，根据第一对等关系、第二对等关系以及相机成像模型反向 推算出坐标值，在带入所述相机成像模型中，确定P4在图像坐标系的投影点rfl,的坐 标。由于在假设特征点m静止的条件下，lil,应该基于与mt重合，故以此理论为基础，计算 mtJPmt构成的光流向量与mti和构成的光流向量之间的光流方向残差角0，根据mt 和计算叫和:!^的位置残差dis，并根据所述光流方向残差角0和位置残差dis是否 满足阈值作为判断特征点m类型的依据，由此可以在单目相机所采集的视频图像中准确识 别出图像特征点的类型，合理判断出静止特征点或运动特征点，从而提高了低成本的视频 识别在汽车驾驶等方面的应用。
【附图说明】
[0066] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。
[0067] 图1为本发明实施例提供的一种图像特征点类型的识别方法的方法流程图；
[0068] 图2为本发明实施例提供的一种特征点在坐标系中的示意图；
[0069] 图3为本发明实施例提供的一种图像特征点类型的识别装置的装置结构图。
【具体实施方式】
[0070] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明 一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有 做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0071] 随着视频采集和图像数据处理的技术愈发成熟，在汽车驾驶等方面已经有了较多 的应用。例如可以通过安装在车辆上的摄像装置采集车辆周围场景的视频，通过对视频进 行逐帧分析，识别出场景中特征点的具体类型，特征点可以理解为图像帧中的具有一定特 征的图像点例如图像中物体上的点等，特征点的类型可以包括相对于地面静止的特征点和 运动的特征点。对获取的特征点进行3D重建，将特征点在相机坐标系的坐标重建为在车体 坐标系中的坐标。通过3D重建获得的坐标，可以有效的为实现汽车辅助驾驶、汽车自动驾 驶等功能提供数据依据，例如应用在车辆轨迹规划、规避碰撞等。
[0072] 目前能够实现上述图像特征点识别功能的摄像装置需为双目相机，通过双目相机 特殊的双目定位功能，可以有效的识别出场景特征点为静止特征点或运动特征点。然而双 目相机的成本很高，基本只能应用在高档汽车上，限制了在汽车驾驶等方面应用的普及。
[0073] 为此，本发明实施例提供了一种图像特征点类型的识别方法和装置，在假设所述 特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止的条件下，根据第一对等关 系、第二对等关系以及相机成像模型反向推算出坐标值，在带入所述相机成像模型中， 确定Pt在图像坐标系的投影点由,的坐标。由于在假设特征点m静止的条件下，应该 基于与mt重合，故以此理论为基础，计算mt :和mt构成的光流向量与mt :和lit,构成的光流 向量之间的光流方向残差角9，根据计算叫和ifl#的位置残差dis，并根据所述光 流方向残差角9和位置残差dis是否满足阈值作为判断特征点m类型的依据，由此可以在 单目相机所采集的视频图像中准确识别出图像特征点的类型，合理判断出静止特征点或运 动特征点，从而提高了低成本的视频识别在汽车驾驶等方面的应用。
[0074] 实施例一
[0075] 图1为本发明实施例提供的一种图像特征点类型的识别方法的方法流程图，应用 于安装了单目相机的车辆，所述方法包括：
[0076] S101 :分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和 第t-1帧图像的特征点对叫和mtpmt为特征点m在第t帧图像中对应的位置，mti为所述 特征点m在第t-1帧图像中对应的位置。
[0077] 举例说明，本发明并不限定如何获取一个图像帧中的特征点，也不限定如何从相 邻两帧中确定出--对应的特征点对。例如可以利用Harris特征点检测方法获得图像It 中的特征点集合St，并利用LucasandKanade's特征点跟踪方法对特征点集合34在图像 It :上进行跟踪，获得与St相匹配的特征点集合St :，St :与St中的特征点--对应，构成了 图像It :与It间匹配的特征点对。
[0078] 在本发明实施例中，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平 面，其中v轴沿图像帧平面竖直向下。特征点对可以理解为同一个特征点分别在相邻两个 图像帧中的位置。同一个特征点可以为所述单目相机所采集的场景中一个物体上的点，例 如街边垃圾桶上的一个颜色点等。
[0079] 接下来通过附图解释本发明实施例所提到的图像坐标系、相机坐标系等概念。图 2为本发明实施例提供的一种特征点在坐标系中的示意图，如图2所示，其中0_XYZ坐标系 为相机坐标系，相机坐标系中的坐标原点〇为所述单目相机的光心。〇_uv为图像坐标系，本 发明并不限定图像坐标系的坐标原点〇的位置，例如可以为图像的左上角。m(u，v)为特征 点m在一个图像帧中的位置，（u，v)为该位置在图像坐标系中的坐标。也就是说，在本发明 实施例中，所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在 平面，X轴与u轴平行，Y轴与v轴平行。
[0080] S102 :假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若 mt在相机坐标系下的位置为Pt，mti在相机坐标系下的位置为Pti，根据Pt、R。。和T确定出 与Pti之间的第一对等关系，其中为相机坐标系从第t-1帧到第t帧的旋转矩阵，为 相机坐标系从第t_l帧到第t帧的平移向量。
[0081 ] 继续以图2为例，图2中的P可以理解为m在相机坐标系下对应的位置，P在相机 坐标系下的坐标为（X，Y，Z)，向量0P的长度为m对应的向量模值d。
[0082] 其中可选的，所述根据Pt、和T确定出与Pti之间的第一对等关系，所述第一 对等关系具体包括：
[0083] Pt !=RccPt+Tcc;
[0084] 其中，Pti在相机坐标系下的坐标为（Xti，Yti，Zt ^坐标为（Xt，Yt，Zt)。
[0085] S103 :根据定出与ms,t的第二对等关系，其中，ms,,为mt在相机坐标系下的归 一化坐标点。
[0086] 其中可选的，所述根据？#角定出与mSit的第二对等关系，所述第二对等关系具体包 括：
[0087]
[0088] 其中，
[0089] 屯为特征点m在第t帧图像的向量模值
[0090] (Xt，Yt，Zt)T为（Xt，Yt，Zt)的转置矩阵。
[0091] 设车体坐标系从第t-1帧运动到第t帧的旋转矩阵为R胃，平移向量为T胃，l和 T胃可以通过车速传感器获得，那么带入所述第一对等关系后得到：
[0092]
[0093] 其中，从车体坐标系到相机坐标系的旋转矩阵为Rw。，一般情况下，单目相机安装 后匕。为定值。尾^为匕。的逆矩阵。
[0094] 抱才?X靳彳太笛一时笔革玄IS泡刮.
[0095]
[0096] 求解向量模值dt，
[0097]
[0098] 本发明并不限定S102和S103执行先后关系。
[0099] S104:根据第一对等关系、第二对等关系以及相机成像模型，确定aPt在图像坐标 系中的投影点。
[0100] 其中可选的，所述相机成像模型，具体包括：
[0101]
[0102] 其中，
[0103]
a) =kja+k3a3+k5a5+k7a7+kga9 ，h，k3,k5,k7,