利用摄像头影像的行驶信息提供方法及装置与流程

本发明涉及一种车辆的行驶信息提供技术，更详细地，涉及一种利用通过安装在车辆上的摄像头获取的影像来识别障碍物并检测障碍可发生区域的行驶信息提供技术。

背景技术

车辆周围存在多种形态的障碍物，为了防止受到这种潜在的可碰撞的危险因素的影响，试图检测障碍物。

通常，车辆接近障碍物感测装置或系统以如下方式构成：通过超声波、激光等的传感器来探测与车辆非常接近的障碍物，并且向驾驶员告知该障碍物。

但是，为了代替如上的超声波或激光传感器，而利用通过设置在车辆上的摄像头拍摄的影像而感测车辆接近障碍物，需要一种与传感器截然不同的方法。

与超声波或激光传感器不同，基于摄像头的障碍物检测不仅要感测障碍物是否存在，而且还可提供有关障碍物的详细信息。尤其，当摄像头为全景式监控影像(aroundviewmonitoring；avm)系统时，通常使用可确保广阔的视野的广角摄像头。但是，在广角摄像头中，必然会发生由凸透镜的折射率决定畸变程度的径向畸变，由此不仅引起显示影像的视觉畸变，也可以对图像处理装置的图像识别带来严重误差。

通常，全景式监控影像系统由分别设置在车辆的前、后和左后视镜、右后视镜下端的四个摄像头构成。用于停车、窄路行驶等的四信道全景式监控影像(aroundviewmonitoring；avm)系统仅仅为驾驶员提供显示合成影像的功能，但是，可以通过分析输入的各信道的视频来识别驾驶时可发生碰撞的障碍物，从而提供新的安全功能。

近年来，开发高级辅助驾驶系统(advanceddriverassistancesystems；adas)的汽车制造商正努力对具有识别存在碰撞危险的障碍物来发出警报的功能(movingobjectdetection；mod)的全景式监控影像(avm)系统进行商用化。

现有的mod功能开发方法虽然使用了在影像中检测移动区域的方法，但是，存在很难将难以检测为移动区域的单一颜色、简单图案的墙体或柱子等识别为障碍物的问题。

相反，也存在如下的问题：存在于可行驶区域(freespace)内的车线，或者井盖(manholecover)之类的物体被误认为移动物体而产生识别错误。

技术实现要素：

本发明要解决的技术问题

本发明是为了解决上述问题而研究出来的，其目的在于提供一种利用摄像头影像的行驶信息提供方法及装置，该方法及装置可以将难以分类为障碍物的单一颜色、简单图案的墙体或柱子识别为障碍物，并且改善存在于可行驶区域内的车线、井盖之类的物体被误认为移动的物体而产生识别错误的问题。

本发明的目的不限于以上所提到的目的，本领域技术人员从以下记载中可以清楚地理解未提到的其他目的。

技术方案

为了实现上述目的，本发明为安装有一个以上摄像头的车辆的行驶信息提供方法，该方法包括：实时对从上述摄像头接收的车辆的外部影像数据进行影像处理，从而检测障碍物；基于检测出的障碍物的位置和车辆自身之间的距离预测碰撞危险性；利用自由空间检测(freespacedetection；fsd)算法处理从上述摄像头接收的车辆的外部影像数据来检测可行驶区域以及通过上述碰撞危险性和可行驶区域提供有关能否行驶的信息。

在检测上述可行驶区域的步骤中，通过影像识别方法检测所获得的自由区域(freespace)内的没有碰撞危险的物体并包括在可行驶区域中，其中，所述自由区域为对所述外部影像数据进行所述自由空间检测(fsd)算法的结果。此时，可以通过上述影像识别方法将上述自由区域内的包括车线、井盖的物体检测为没有碰撞危险的物体。

在检测上述障碍物的步骤中，针对从上述摄像头接收的车辆的外部影像数据，基于运动历史图(motionhistoryimage；mhi)算法检测移动区域，并且可以实时对检测出的移动区域进行影像处理来检测障碍物。

在预测上述碰撞危险性的步骤中，利用距离变换矩阵获得检测出的障碍物的位置和车辆自身的坐标值，并且可以利用所获得的坐标值计算障碍物和车辆自身之间的距离。

上述车辆可以是适用全景式监控影像(aroundviewmonitoring)系统或摄像头镜像系统(cameramirrorsystem)的车辆。

本发明为安装有一个以上摄像头的车辆的行驶信息提供装置，该装置包括：控制部，实时对从上述摄像头接收的车辆的外部影像数据进行影像处理，从而检测障碍物，并且基于检测出的障碍物的位置和车辆自身之间的距离预测碰撞危险性，并且利用自由空间检测(freespacedetection；fsd)算法处理从上述摄像头接收的车辆的外部影像数据来检测可行驶区域，并且通过上述碰撞危险性和可行驶区域提供有关能否行驶的信息；显示部，根据上述控制部的控制，显示有关能否行驶的信息；以及警报部，根据上述控制部的控制，发出碰撞危险性警报。

上述控制部通过影像识别方法检测所获得的自由区域(freespace)内的没有碰撞危险的物体并将其包括在可行驶区域中，其中，所述自由区域为对所述外部影像数据进行所述自由空间检测(fsd)算法的结果。此时，上述控制部可以通过上述影像识别方法将自由区域内的包括车线、井盖的物体检测为没有碰撞危险的物体。

针对从上述摄像头接收的车辆的外部影像数据，上述控制部基于运动历史图(motionhistoryimage；mhi)算法检测移动区域，并且可以实时对检测出的移动区域进行影像处理来检测障碍物。

上述控制部利用距离变换矩阵获得检测出的障碍物的位置和车辆自身的坐标值，并且可以利用所获得的坐标值计算障碍物和车辆自身之间的距离。

上述车辆可以是适用全景式监控影像(aroundviewmonitoring)系统或摄像头镜像系统(cameramirrorsystem)的车辆。

有益效果

根据本发明，具有可以将难以分类为障碍物的单一颜色、简单图案的墙体或柱子识别为障碍物的效果。

并且，根据本发明，具有改善存在于可行驶区域内的车线，或井盖之类的物体被误认为移动物体而产生识别错误的问题的效果。

并且，根据本发明，基于运动历史图(motionhistoryimage；mhi)算法改善影像处理速度，从而具有能够实现30帧每秒(framespersecond；fps)以上的实时处理的优点。

如果适用本发明，还能在可预料商业化适用的摄像头镜像系统(cameramirrorsystem)中，也能够实现障碍物检测功能。

附图说明

图1是示出根据本发明实施例的车辆的行驶信息提供装置的内部构成的框图。

图2是示出根据本发明实施例的车辆的行驶信息提供方法流程图。

图3是示出用于说明根据本发明实施例的基于运动历史图(mhi)算法检测障碍物的过程的影像的图。

图4是示出用于说明根据本发明实施例的碰撞危险性的影像的图。

图5是示出用于说明利用根据本发明实施例的自由空间检测(fsd)算法检测可行驶区域的过程的影像的图。

具体实施方式

本发明为安装有一个以上摄像头的车辆的行驶信息提供方法，该方法包括：实时对从上述摄像头接收的车辆的外部影像数据进行影像处理，从而检测障碍物的步骤；基于检测出的障碍物的位置和车辆自身之间的距离预测碰撞危险性的步骤；利用自由空间检测(freespacedetection；fsd)算法处理从上述摄像头接收的车辆的外部影像数据来检测可行驶区域的步骤；以及通过上述碰撞危险性和可行驶区域提供有关能否行驶的信息。

具体实施例

本发明可以进行多种改变，并可以具有多种实施例，并且在附图中示出了特定实施例，并通过具体的说明对其进行详细的说明。但是，本发明的特定实施例不限定特定的实施方案，而是应当被理解为包括本发明的思想以及技术范围中所包括的所有改变、同等物或替代物。

在本申请中使用的术语仅仅是为了说明特定的实施例而使用的，并不是限定本发明的意图。单个表现只要在文脉上没有明确指出不同意思就包括多个表现。在本申请中，“包括”或者“具有”等的术语是指定记载于说明书上的特征、数字、步骤、动作、构成要素、组件或者它们的组合的存在，而且应当被理解为不会预先排除一个或一个以上的不同特征或数字、步骤、动作、构成要素、组件或者它们的组合的存在或者附加可能性。

在不进行其他定义的情况下，在此使用的包括技术术语或科学术语的全部术语具有与本领域技术人员的常规理解的意思相同的含义。通常使用的事先定义的术语等术语要理解为基于相关技术的文脉所具有的含义相同，在本发明中没有明确定义的前提下，不会理解为理想化或者过度形式化的含义。

并且，当参照附图进行说明时，相同的构成要素与附图标记无关地赋予相同的附图标记，将省略对其的重复说明。在本发明的说明中，应当认为相关常规技术的具体说明可能会不必要地模糊了本发明的主旨时，将省略对其的详细说明。

本发明涉及一种安装有一个以上摄像头的车辆的行驶信息提供装置及方法。本发明可以通过适用全景式监控影像(aroundviewmonitoring)系统或摄像头镜像系统(cameramirrorsystem)的车辆来实现。

图1是示出根据本发明实施例的车辆的行驶信息提供装置的内部构成框图。

如图1所示，根据本发明实施例的车辆的行驶信息提供装置包括一个以上的摄像头110、控制部120、显示部130以及警报部140。

控制部120实时对从摄像头110接收的车辆的外部影像数据进行影像处理，从而检测障碍物。并且，基于检测出的障碍物的位置和车辆自身之间的距离预测碰撞危险性。并且，利用自由空间检测(freespacedetection；fsd)算法(algorism)处理从摄像头110接收的车辆的外部影像数据来检测可行驶区域，并且通过碰撞危险性和可行驶区域来提供有关能否行驶的信息。

根据控制部120的控制，显示部130起到显示有关能否行驶的信息的作用。

根据控制部130的控制，警报部140起到发出碰撞危险性警报的作用。

在本发明中，控制部120通过影像识别方法检测所获得的自由区域(freespace)(其是对外部影像数据进行自由空间检测(fsd)算法的结果)内的没有碰撞危险的物体并包括在可行驶区域中。例如，控制部120可以通过影像识别方法将自由区域内的包括车线，井盖的物体检测为没有碰撞危险的物体。

针对从摄像头110接收的车辆的外部影像数据，控制部120基于运动历史图(motionhistoryimage；mhi)算法检测移动区域，并且实时对检测出的移动区域进行影像处理来检测障碍物。

在本发明中，控制部120可以利用距离变换矩阵(distancetransformmatrix)获得检测出的障碍物的位置和车辆自身的坐标值，并且利用获得的坐标值计算障碍物和车辆自身之间的距离。

图2是示出根据本发明实施例的车辆的行驶信息提供方法的流程图。

如图2所示，步骤s210，控制部120实时对从摄像头110接收的车辆的外部影像数据进行影像处理，从而检测障碍物。

并且，步骤s220，基于检测出的障碍物的位置和车辆自身之间的距离预测碰撞危险性。

并且，步骤s230，控制部120利用自由空间检测(freespacedetection；fsd)算法处理从摄像头110接收的车辆的外部影像数据来检车可行驶区域。

并且，步骤s240，通过碰撞危险性和可行驶区域来提供有关能否行驶的信息。

在检测可行驶区域的步骤s230中，通过影像识别方法检测所获得的自由区域(freespace)(其是对外部影像数据进行自由空间检测(fsd)算法的结果)内的没有碰撞危险的物体并包括在可行驶区域中。例如，可以通过影像识别方法将自由区域内的包括车线，井盖的物体检测为没有碰撞危险的物体。

在检测障碍物的步骤s210中，针对从摄像头110接收的车辆的外部影像数据，可以基于运动历史图(motionhistoryimage；mhi)算法检测移动区域，并且实时对检测出的移动区域进行影像处理来检测障碍物。

并且，在预测碰撞危险性的步骤s220中，可以利用距离变换矩阵获得检测出的障碍物的位置和车辆自身的坐标值，并且利用所获得的坐标值计算障碍物和车辆自身之间的距离。

图3是示出用于说明根据本发明实施例的基于运动历史图(mhi)算法检测障碍物的过程的影像的图。

在图3中，显示为红色的区域是感测到移动的移动区域。本发明中，实时对正在停车的移动车辆等的近距离障碍物进行高速影像处理来检测障碍物。

图4是示出用于说明根据本发明实施例的碰撞危险性的影像的图。

本发明中，利用朝向前方安装在车辆上的摄像头来计算障碍物的位置和车辆自身之间的距离，并且通过计算出的距离预测碰撞危险性。

图4的(a)中示出了距离变换矩阵，如此，本发明利用距离变换矩阵获得对于显示在图4的(b)的红色区域和车辆自身之间的距离的坐标值。

图5是示出用于说明利用根据本发明实施例的自由空间检测(fsd)算法检测可行驶区域的过程的影像的图。

如图5所示，图5适用了从摄像头110获得的原始影像中绑定具有类似的颜色像素值的多个区域的均值漂移(meanshift)算法。

在鱼眼镜头的情况下，由于车辆的车体是可见的，因此在紧邻车体前方的区域中设定修正区域假设此部分包括道路区域。

并且，适用均值漂移(meanshift)算法之后，适用对类似于修正区域的颜色值进行聚类(clustering)的漫水填充(floodfill)算法。此时，设定为在漫水填充(floodfill)算法中可以仅显示修正区域。

其中，如仅适用漫水填充(floodfill)算法，则将残留噪音，因此利用与原影像的差分影像(differenceimage)进行二值化，然后利用形态学运算来去除内部的噪音。

如图5所示，如去除噪音，则仅剩下自由区域(freespace)部分，并且通过标记(labelling)此部分来获得并显示区域的大小和中心点(蓝色)等多种信息。

本发明执行了如上的自由空间检测(fsd)算法，并且通过影像识别方法检测存在于自由空间检测(fsd)区域内的车线、井盖等没有碰撞危险的物体并包括在自由空间检测(fsd)区域中，从而可以解决现有的问题。例如，如井盖的情况下，可以通过适用学习基础算法来实现。

如本发明，组合了利用运动历史图(mhi)算法的障碍物检测方式和利用自由空间检测(fsd)算法的可行驶区域检测方式时，可以将未被识别为有碰撞危险的障碍物的简单颜色或简单图案的墙体识别为障碍物。

并且，在本发明中，当利用了基于运动历史图(mhi)的算法的障碍物识别和根据自由空间检测(fsd)算法的可行驶区域时，可以实时对向前行驶时由前方摄像头接收的视频进行处理来判断能否行驶。

以上，虽然使用几种优选实施例对本发明进行了说明，但是这些实施例是示例性的而不是限定性的。本领域具备通常知识的技术人员能够理解不脱离本发明的思想及所附的权利要求书中提出的权利要求范围的情况下，可进行多种变化和修改。