基于单目相机的障碍物检测方法及装置制造方法

基于单目相机的障碍物检测方法及装置制造方法
【专利摘要】本申请提供了一种基于单目相机的障碍物检测方法及装置，所述方法包括：获取单目相机拍摄的目标帧图像及其相邻帧图像；在相邻帧图像的初始特征点集合中删除不稳定特征点，以得到相邻帧图像的优选特征点集合；对目标特征点集合进行子集合划分以得到若干目标特征点子集合；对于每一个目标特征点子集合，根据其对应的地面投影点集合内的点在目标帧时刻和相邻帧时刻的距离变化值，判断该目标特征点子集合是否属于障碍物；将所有判断为属于障碍物的目标特征点子集合的和集确定为所述目标帧图像中的障碍物点集合。在本申请实施例中，可以提高障碍物点的检测准确率，以及，障碍物检测的效率。
【专利说明】基于单目相机的障碍物检测方法及装置

【技术领域】
[0001] 本申请涉及图像处理【技术领域】，特别涉及一种基于单目相机的障碍物检测方法及 装直。

【背景技术】
[0002] 随着科技的进步，在人们生活中汽车及导航的应用也越来越普及，而基于视觉的 障碍物检测也在汽车辅助驾驶、机器人导航等领域有重要应用。可用于障碍物检测的传 感器有单目相机、立体相机、激光、雷达或红外传感器等，其中单目相机由于安装方便、体积 小、成本低等优点在障碍物检测领域具有更广阔的应用前景。
[0003] 现有技术基于单目相机的障碍物检测方法有多种，例如基于外观特征的方法。基 于外观特征的方法在实现时，可以利用所要检测的障碍物的纹理、颜色、边缘、对称性或形 状等特征训练分类器进行检测。
[0004] 但是该类方法仅仅适用于检测特定类型的障碍物，例如行人或车辆等，如需要检 测多个类型的障碍物，则需要训练多个分类器，而训练多个分类器的过程繁琐复杂，使得现 有技术进行障碍物检测时效率较低且容易出错。


【发明内容】

[0005] 本申请所要解决的技术问题是提供一种基于单目相机的障碍物检测方法，用以尽 量避免现有技术由于基于外观特征进行障碍物检测时需要训练多个分类器的情况，从而使 得障碍物检测的过程更为简单易行，从而不仅提高障碍物检测的效率，同时也保证障碍物 检测的准确率。
[0006] 本申请还提供了一种基于单目相机的障碍物检测装置，用以保证上述方法在实际 中的实现及应用。
[0007] 为了解决上述问题，本申请公开了一种基于单目相机的障碍物检测方法，包括：
[0008] 获取所述单目相机拍摄的目标帧图像及其相邻帧图像；
[0009] 根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征点集合进行 跟踪得到的结果，在所述相邻帧图像的初始特征点集合中删除不稳定特征点，以得到相邻 帧图像的优选特征点集合；所述变换图像依据预设变换模型计算得到；
[0010] 对目标特征点集合进行子集合划分以得到若干目标特征点子集合；其中，所述 目标特征点集合通过将相邻帧图像的优选特征点集合在所述目标帧图像中进行跟踪而得 到；
[0011] 对于每一个目标特征点子集合，根据其对应的地面投影点集合内的点在目标帧时 刻和相邻帧时刻的距离变化值，判断该目标特征点子集合是否属于障碍物；
[0012] 将所有判断为属于障碍物的目标特征点子集合的和集确定为所述目标帧图像中 的障碍物点集合。
[0013] 可选的，所述根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征 点集合进行跟踪得到的结果，在所述相邻帧图像的初始特征点集合中删除不稳定特征点， 以得到相邻帧图像的优选特征点集合，包括：
[0014] 采用预设特征点检测算法检测所述相邻帧图像中的特征点，以得到所述相邻帧图 像的初始特征点集合；
[0015] 根据预设变换模型计算所述相邻帧图像的变换图像；
[0016] 采用预设特征点跟踪算法对所述初始特征点集合在所述变换图像中进行跟踪，以 得到与所述初始特征点集合匹配的跟踪特征点集合；
[0017] 判断所述初始特征点集合和跟踪特征点集合中各个特征点的差值是否大于预设 差值阈值，如果是，则将对应的初始特征点在初始特征点集合中删除；
[0018] 将删除之后的初始特征点集合确定为相邻帧图像的优选特征点集合。
[0019] 可选的，所述对目标特征点集合进行子集合划分，具体为按照预设横向移动步长 和纵向移动步长进行划分以得到若干目标特征点子集合，包括：
[0020] 采用预设特征点跟踪算法将所述优选特征点集合在所述目标帧图像中进行跟踪 得到目标特征点集合；
[0021] 按照预设子块长和子块宽在所述目标帧图像中的任一角落划分出第一个目标特 征点子集合；
[0022] 将所述第一个目标特征点子集合对应的子块按照横向移动步长和/或纵向移动 步长进行移动，并将每一次移动后的子块对应的像素点集合确定为目标特征点子集合，直 至所述目标帧图像中的像素点全部划分完毕；其中，所述横向移动步长和纵向移动步长，分 别对应小于或等于子块长和子块宽。
[0023] 可选的，所述参考每一个目标特征点子集合对应的地面投影点集合内的像素点在 目标帧时刻和前帧时刻的距离变化值，确定所述目标帧图像的障碍物点，包括：
[0024] 确定所述目标特征点子集合中的像素点对应的地面投影点集合；
[0025] 针对任一地面投影点集合，计算在目标帧时刻和前帧时刻各个地面投影点的距离 变化总和的平均值；
[0026] 判断所述距离变化总和的平均值是否大于预设距离变化阈值，如果是，则将该任 一地面投影点集合对应的目标特征点子集合中的特征点确定为障碍物点，如果否，则继续 选择下一个地面投影点集合计算距离变化总和的平均值，重复前述判断步骤，直至所有的 地面投影点集合都判断完毕为止；
[0027] 其中，所述平均值为：距离变化总和除以目标特征点子集合中的特征点对的数量 得到的值，所述特征点对为：目标特征点子集合中的任意两个特征点构成的一个特征点对。
[0028] 可选的，所述单目相机安装于目标载体上，其成像平面的像素坐标系为o_uv，则所 述确定所述目标特征点子集合中的像素点对应的地面投影点集合，包括：
[0029] 以所述单目相机的光心为原点建立世界坐标系0_ΧΥΖ，其中，0Y轴垂直指向地面， 0Ζ轴平行于地面且平行于所述单目相机的安装载体；
[0030] 以所述单目相机的光心为原点建立相机坐标系0_Χ' Υ' Ζ'，其中，0Ζ'轴与所 述单目相机的光轴重合，0Χ'和0Υ'轴分别平行于成像平面的OU轴和ον轴；其中，相机坐 标系为世界坐标系依次绕X轴、Υ轴和Ζ轴旋转α、β和γ角度而得到；其中，α、β和γ 在所述单目相机安装后由外参标定算法确定；
[0031] 依据相机坐标系中的坐标与世界坐标系中的坐标之间的转换关系，以及相机坐标 系中的坐标与成像平面中的坐标之间的对应关系，确定目标特征点子集合中的像素点对应 的地面投影点集合，所述地面投影点集合为{(X，H，Z) }，Η为所述单目相机距离地面的高 度；
[0032] 其中，相机坐标系的坐标（X'，Υ'，Ζ')与世界坐标系的坐标（Χ，Υ，Ζ)之 间的转换关系为

【权利要求】
1. 一种基于单目相机的障碍物检测方法，其特征在于，该方法包括： 获取所述单目相机拍摄的目标帧图像及其相邻帧图像； 根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征点集合进行跟踪 得到的结果，在所述相邻帧图像的初始特征点集合中删除不稳定特征点，以得到相邻帧图 像的优选特征点集合；所述变换图像依据预设变换模型计算得到； 对目标特征点集合进行子集合划分以得到若干目标特征点子集合；其中，所述目标特 征点集合通过将相邻帧图像的优选特征点集合在所述目标帧图像中进行跟踪而得到； 对于每一个目标特征点子集合，根据其对应的地面投影点集合内的点在目标帧时刻和 相邻帧时刻的距离变化值，判断该目标特征点子集合是否属于障碍物； 将所有判断为属于障碍物的目标特征点子集合的和集确定为所述目标帧图像中的障 碍物点集合。
2. 根据权利要求1所述的方法，其特征在于，所述根据在所述相邻帧图像的变换图像 上对所述相邻帧图像的初始特征点集合进行跟踪得到的结果，在所述相邻帧图像的初始特 征点集合中删除不稳定特征点，以得到相邻帧图像的优选特征点集合，包括： 采用预设特征点检测算法检测所述相邻帧图像中的特征点，以得到所述相邻帧图像的 初始特征点集合； 根据预设变换模型计算所述相邻帧图像的变换图像； 采用预设特征点跟踪算法对所述初始特征点集合在所述变换图像中进行跟踪，以得到 与所述初始特征点集合匹配的跟踪特征点集合； 判断所述初始特征点集合和跟踪特征点集合中各个特征点的差值是否大于预设差值 阈值，如果是，则将对应的初始特征点在初始特征点集合中删除； 将删除之后的初始特征点集合确定为相邻帧图像的优选特征点集合。
3. 根据权利要求1所述的方法，其特征在于，所述对目标特征点集合进行子集合划分， 具体为按照预设横向移动步长和纵向移动步长进行划分以得到若干目标特征点子集合，包 括： 采用预设特征点跟踪算法将所述优选特征点集合在所述目标帧图像中进行跟踪得到 目标特征点集合； 按照预设子块长和子块宽在所述目标帧图像中的任一角落划分出第一个目标特征点 子集合； 将所述第一个目标特征点子集合对应的子块按照横向移动步长和/或纵向移动步长 进行移动，并将每一次移动后的子块对应的像素点集合确定为目标特征点子集合，直至所 述目标帧图像中的像素点全部划分完毕；其中，所述横向移动步长和纵向移动步长，分别对 应小于或等于子块长和子块宽。
4. 根据权利要求1所述的方法，其特征在于，所述参考每一个目标特征点子集合对应 的地面投影点集合内的像素点在目标帧时刻和前帧时刻的距离变化值，确定所述目标帧图 像的障碍物点，包括： 确定所述目标特征点子集合中的像素点对应的地面投影点集合； 针对任一地面投影点集合，计算在目标帧时刻和前帧时刻各个地面投影点的距离变化 总和的平均值； 判断所述距离变化总和的平均值是否大于预设距离变化阈值，如果是，则将该任一地 面投影点集合对应的目标特征点子集合中的特征点确定为障碍物点，如果否，则继续选择 下一个地面投影点集合计算距离变化总和的平均值，重复前述判断步骤，直至所有的地面 投影点集合都判断完毕为止； 其中，所述平均值为：距离变化总和除以目标特征点子集合中的特征点对的数量得到 的值，所述特征点对为：目标特征点子集合中的任意两个特征点构成的一个特征点对。
5. 根据权利要求4所述的方法，其特征在于，所述单目相机安装于目标载体上，其成像 平面的像素坐标系为〇_uv，则所述确定所述目标特征点子集合中的像素点对应的地面投影 点集合，包括： 以所述单目相机的光心为原点建立世界坐标系〇_XYZ，其中，0Y轴垂直指向地面，0Z轴 平行于地面且平行于所述单目相机的安装载体； 以所述单目相机的光心为原点建立相机坐标系〇_χ< Ζ'，其中，0Ζ'轴与所述单 目相机的光轴重合，0Χ'和0Υ'轴分别平行于成像平面的0U轴和ον轴；其中，相机坐标系 为世界坐标系依次绕X轴、Υ轴和Ζ轴旋转α、β和γ角度而得到；其中，α、β和γ在 所述单目相机安装后由外参标定算法确定； 依据相机坐标系中的坐标与世界坐标系中的坐标之间的转换关系，以及相机坐标系中 的坐标与成像平面中的坐标之间的对应关系，确定目标特征点子集合中的像素点对应的地 面投影点集合，所述地面投影点集合为{(X，Η，Ζ) }，Η为所述单目相机距离地面的高度； 其中，相机坐标系的坐标（X'，Υ<，Ζ')与世界坐标系的坐标（Χ，Υ，Ζ)之间 'X〕 d ( cpcr -CPS Y sp 的转换关系为： vzJ {Z'j {-CasflCr + sasr caspsr+sacr cacp J sx = sinx, cx = cosx ； 其中，相机坐标系中的坐标与成像平面中的坐标之间的对应关系为：(u，v)= F(X'，Y'，Z' )，F为所述单目相机的投影模型，由所述单目相机的相机内参确定，所述相 机内参由离线标定算法得到。
6. -种基于单目相机的障碍物检测装置，其特征在于，包括： 获取模块，用于获取所述单目相机拍摄的目标帧图像及其相邻帧图像； 预跟踪模块，用于根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征 点集合进行跟踪得到的结果，在所述相邻帧图像的初始特征点集合中删除不稳定特征点， 以得到相邻帧图像的优选特征点集合；所述变换图像依据预设变换模型计算得到； 子集合划分模块，用于对目标特征点集合进行子集合划分以得到若干目标特征点子集 合；其中，所述目标特征点集合通过将相邻帧图像的优选特征点集合在所述目标帧图像中 进行跟踪而得到； 判断模块，用于对于每一个目标特征点子集合，根据其对应的地面投影点集合内的点 在目标帧时刻和相邻帧时刻的距离变化值，判断该目标特征点子集合是否属于障碍物； 确定模块，用于将所有判断为属于障碍物的目标特征点子集合的和集确定为所述目标 帧图像中的障碍物点集合。
7. 根据权利要求6所述的装置，其特征在于，所述预跟踪模块，包括： 特征点检测子模块，用于采用预设特征点检测算法检测所述相邻帧图像中的特征点， 以得到所述相邻帧图像的初始特征点集合； 计算子模块，用于根据预设变换模型计算所述相邻帧图像的变换图像； 跟踪子模块，用于采用预设特征点跟踪算法对所述初始特征点集合在所述变换图像中 进行跟踪，以得到与所述初始特征点集合匹配的跟踪特征点集合； 第一判断子模块，用于判断所述初始特征点集合和跟踪特征点集合中各个特征点的差 值是否大于预设差值阈值； 删除子模块，用于在所述第一判断子模块的结果为是的情况下，将对应的初始特征点 在初始特征点集合中删除； 第一确定子模块，用于将删除之后的初始特征点集合确定为相邻帧图像的优选特征点 集合。
8. 根据权利要求6所述的装置，其特征在于，所述子集合划分模块包括： 特征点跟踪子模块，用于采用预设特征点跟踪算法将所述优选特征点集合在所述目标 帧图像中进行跟踪得到目标特征点集合； 第一划分子模块，用于按照预设子块长和子块宽在所述目标帧图像中的任一角落划分 出第一个目标特征点子集合； 移动子模块，用于将所述第一个目标特征点子集合对应的子块按照横向移动步长和/ 或纵向移动步长进行移动； 第二划分子模块，用于将每一次移动后的子块对应的像素点集合确定为目标特征点子 集合，直至所述目标帧图像中的像素点全部划分完毕；其中，所述横向移动步长和纵向移动 步长，分别对应小于或等于子块长和子块宽。
9. 根据权利要求8所述的装置，其特征在于，所述判断模块包括： 第二确定子模块，用于确定所述目标特征点子集合中的像素点对应的地面投影点集 合； 计算距离子模块，用于针对任一地面投影点集合，计算在目标帧时刻和前帧时刻各个 地面投影点的距离变化总和的平均值； 第二判断子模块，用于判断所述距离变化总和的平均值是否大于预设距离变化阈值； 第三确定子模块，用于在所述第二判断子模块的结果为是的情况下，将该任一地面投 影点集合对应的目标特征点子集合中的特征点确定为障碍物点； 触发子模块，用于在所述第二判断子模块的结果为否的情况下，则继续选择下一个地 面投影点集合并触发所述计算距离子模块，直至所有的地面投影点集合都判断完毕为止； 其中，所述平均值为：距离变化总和除以目标特征点子集合中的特征点对的数量得到 的值，所述特征点对为：目标特征点子集合中的任意两个特征点构成的一个特征点对。
10. 根据权利要求9所述的装置，其特征在于，所述第二确定子模块包括： 世界坐标系建立子模块，用于以所述单目相机的光心为原点建立世界坐标系〇_XYZ，其 中，ΟΥ轴垂直指向地面，ΟΖ轴平行于地面且平行于所述单目相机的安装载体； 相机坐标系建立子模块，用于以所述单目相机的光心为原点建立相机坐标系〇_ X' Υ' Ζ'，其中，ΟΖ'轴与所述单目相机的光轴重合，ΟΧ'和ΟΥ'轴分别平行于成像平面 的OU轴和ον轴；其中，相机坐标系为世界坐标系依次绕X轴、Υ轴和Ζ轴旋转α、β和γ 角度而得到；其中，α、β和Y在所述单目相机安装后由外参标定算法确定； 第四确定子模块，用于依据相机坐标系中的坐标与世界坐标系中的坐标之间的转换关 系，以及相机坐标系中的坐标与成像平面中的坐标之间的对应关系，确定目标特征点子集 合中的像素点对应的地面投影点集合，所述地面投影点集合为ΚΧ，Η，Ζ)}，Η为所述单目相 机距离地面的高度； 其中，相机坐标系的坐标（X'，Υ'，Ζ')与世界坐标系的坐标（Χ，Υ，Ζ)之间 d f cpcr -CPS Y sp 的转换关系为：其中，况=， {z'J [-casficr+sas r caspsY+sacr c acp j sx = sinx, cx = cosx ； 其中，相机坐标系中的坐标与成像平面中的坐标之间的对应关系为：(u，v)= F(X'，Y'，Z' )，F为所述单目相机的投影模型，由所述单目相机的相机内参确定，所述相 机内参由离线标定算法得到。
【文档编号】G06T7/20GK104299244SQ201410512682
【公开日】2015年1月21日 申请日期:2014年9月26日 优先权日:2014年9月26日
【发明者】于红绯, 刘威, 袁淮 申请人:东软集团股份有限公司