专利名称：曲线行驶检测系统及其检测方法
技术领域：
本发明涉及一种曲线行驶检测系统及其检测方法。
背景技术：
作为机动车驾驶员，曲线行驶是必须熟练掌握的驾驶技能之一。但是传统驾驶员培训时，学员一般以固定参照物进行训练，导致实际上路后需要重新培养位置感和转弯技巧。虽然可以通过在路面安装一定数量的传感器采集车辆位置，如中国实用新型201120277850. 8所采用的永磁铁，或工程测距上常用的红外线、激光、超声波等，但是此类传感器均只能在个别固定点位上感知，施工、维护复杂，整体造价也昂贵，并且仍需要联动摄像机才能实现取证。无论学员学习还是教练员教学，主要都是基于视觉信息再做出判断，因此基于机器视觉对曲线行驶整个动态过程进行检测方式也是最易被接受的。中国实用新型201120489062. 5虽然介绍了一种用于驾驶员考试的直线边距的视频检测装置，但其核心为“图像处理单元将得到的图像分别映射到HSV和LAB色彩空间，并在各空间阈值化，形成直线像元，像元比较单元运用概率原理，对输入像元进行统计，得出最符合右边线特征的直线元，计算出此直线元的右边距”。总所周知，这种方式在现实环境下很难具备可操作性，因为车辆自身存在多条直线像元，如车窗、顶棚等，同时背景环境也往往存在大量直线像元，如路缘石、花草树木等，这种情况下，难以在像素层面将“车”从背景环境中提取出来，最终导致检测不准确。
发明内容
本发明目的在于提供一种曲线行驶检测系统及其检测方法，其可实现对训练车进行曲线行驶过程中的定量分析，有利于训练成果的实时监测和追踪。为了解决现有技术中的这些问题，本发明提供的技术方案是—种曲线行驶检测系统，它包括安装在曲线行驶位附近的前端系统和部署在管理中心的后端系统，所述前端系统包括多台主摄像机、图像分析仪以及置于训练车上的标志牌，后端系统包括服务器与客户端，前端系统通过传输网络连接后端系统，监控画面覆盖曲线行驶位区域的主摄像机用于摄录库位处训练车的行驶状况，与主摄像机相连的图像分析仪持续接收主摄像机捕获的监控图像并压缩成监控图像，同时图像分析仪监测车辆的运行姿态，图像分析仪将监测结果与监控图像发送至后端系统的服务器，客户端可调用查看服务器内的监测结果与监控图像。作为优化，所述多台主摄像机固定于曲线行驶位上方的立杆上，各能够俯视曲线弯道一段弧线区域。作为优化，，在每台主摄像机的两侧还设有辅助摄像机，用于辅助补充捕捉库位内训练车的运行轨迹。作为优化，所述标记牌设置在车顶、发动机机顶盖或者后备箱盖上，所述标记牌上的标记图形为若干标记点，标记点排列成具有固定夹角和唯一交点的特定线段。作为优化，主摄像机、辅助摄像机的机位旁均设有补光灯，所述补光灯的同步信号由主摄像机或者辅助摄像机给出，用于在光照过暗时进行频闪式补光。本发明还提供了一种曲线行驶检测方法，所述方法涉及系统包括安装在曲线行驶位附近的前端系统和部署在管理中心的后端系统，所述前端系统包括多台主摄像机、辅助摄像机、图像分析仪以及置于训练车上的标志牌，后端系统包括服务器与客户端，前端系统通过传输网络连接后端系统，监控画面覆盖库位区域的主摄像机用于摄录库位处训练车的行驶状况，图像分析仪与主摄像机、辅助摄像机相连，具体检测方法包括以下步骤步骤S1:通过直接人工测量库位长、宽尺寸，运行摄像机标定程序，实现图像坐标系与世界坐标系的相互转化；步骤S2 :图像分析仪持续接收主摄像机捕获的监控图像，压缩成视频录像，同时运行标志牌识别程序，获取标志牌的位置和方向；步骤S3 :图像分析仪根据摄像机标定结果和标志牌识别结果，运行车辆位置姿态检测程序，获得车辆的位置和姿态；结合已知的车辆尺寸，进而确定车辆轮廓范围以及轮廓外边线至车道边界线的最短距离，并在车辆压线时触发主摄像机或辅助摄像机抓拍图片；当图像分析仪识别的标志牌从图像的特定区域消失时，判定车辆驶离对应主摄像机覆盖区域，图像分析仪将分段用时等测量信息，连同抓拍图片、视频录像均发送至服务器；步骤S4 :服务器收到各图像分析仪发来的测量信息后，运行评分程序，获得本次曲线行驶综合评分；步骤S5 :学员或教练员通过客户端访问服务器，浏览、下载和打印曲线行驶相关评分、抓拍图片以及视频录像。对于上述检测方法，发明人同样还有进一步的优化实施方案。作为优化，步骤S3中，在停车过程中车辆压线或距离小于设定阈值时触发主摄像机I或辅助摄像机2抓拍图片并发送至图像分析仪。作为优化，步骤S I中，进行摄像机标定时，(世界坐标系即车辆所在的现实世界的坐标系，由3个坐标轴X轴、Y轴、Z轴组成，图像坐标系即摄像机所拍摄的平面图像，由2个坐标轴U轴、V轴组成)，步骤SI中，进行摄像机标定时，所述摄像机标定程序的步骤为摄像机抓拍一幅图像，以任意像素点为图像坐标系原点，手动标记出本段曲线弯道路段四个车道边界线端点的图像坐标；标记图像坐标系原点所在的物理位置点，并以此为世界坐标系原点，测量曲线弯道路段实际场地中车道边界线四个端点的世界坐标；将四个库位顶点的世界坐标和像素坐标代入图像-世界坐标转化线性方程组中，求解图像-世界坐标转化矩阵；将任意一个世界坐标系下某点坐标值代入图像-世界坐标转化矩阵已知的图像-世界坐标转化线性方程组，即可计算出该点对应的图像坐标；在已知世界坐标高度的前提下，将任意一个图像坐标代入图像-世界坐标转化矩阵已知的图像-世界坐标转化线性方程组，即可计算出该点对应的世界坐标；至此，完成摄像机标定。作为优化，步骤S2中进行标志牌识别的流程如下
对图像进行阈值分割，获得分割后的图像；对阈值分割后的图像进行连通域提取，判断连通域长、宽是否符合标志牌标记点图形的长、宽设定值，如果符合，则标记该连通域；逐个判断标记的连通域能否连接成和实际标记牌一致的形状，包括标记点数量和标记点连线所成的夹角，如果可以，则视连通区域为标记点检测图形，否则舍弃该连通域；重复本步骤，直至遍历所有连通域；以标记点检测图形为参考点，标识出其它附加字母和数字区域并识别，至此完成整个标志牌的识别。本检测方法中步骤S3中进行车辆位置姿态检测的步骤流程为将标志牌识别程序中获取的标记点检测图形的图像坐标代入摄像机标定程序的图像-世界坐标转化线性方程组中，即可获得标记点检测图形的世界坐标；在世界坐标系中，将标记点检测图形按照标志牌标原始标记点图形的排列规则连成存在交点的线段；在世界坐标系中，计算交点的坐标以及线段的夹角，交点坐标即为车辆位置，线段夹角即为车辆姿态。相对于现有技术中的方案，本发明的优点是1.本发明描述了一种曲线行驶检测系统及其检测方法，系统包括标志牌、摄像机、图像分析仪、传输网络、服务器和客户端；检测方法先记录摄像机画面，人工测量曲线弯道、训练车的物理尺寸，完成坐标系标定；图像分析仪持续接收摄像机捕获的监控图像并识别训练车上的标志牌，通过已标定的坐标系推算出车辆的实际位置、姿态、轮廓范围以及轮廓至标记线的最短距离，并在车辆轮廓跨越标记线时抓拍图片；服务器通过传输网络接收来自图像分析仪的测量数据和图片、视频，并计算出训练评分，驾驶员及教练员通过后端的客户端对信息进行查询或调阅视频录像，如此实现对驾驶员的有效培训，提高驾培人员的学习效率；2.本发明完全基于视频技术，不需要在场地上埋设其它传感器，也不需要增加任何车载电气设备，结构简单，成本低廉；3.本发明直接基于视频技术，支持对压线等异常情况的图片抓拍，取证方便。
下面结合附图及实施例对本发明作进一步描述图1是本发明实施例的系统结构示意图； 图2是本发明实施例的标志牌示意图；图3是本发明实施例的系统总体工作流程图；图4是本发明实施例的摄像机标定程序流程图；图5是本发明实施例的标志牌识别程序流程图；图6是本发明实施例的车辆位置姿态检测流程图；图7是本发明实施例的评分程序流程图。其中1、主摄像机；2、辅助摄像机；3、补光灯；4、图像分析仪；5、标志牌；6、传输
网络；7、服务器；8、客户端。
具体实施例方式实施例本实施例描述了一种曲线行驶检测系统及其检测方法，系统结构如图1所示，系统由安装在曲线道路附近的前端系统和部署在管理中心的后端系统组成。前端系统主要有主摄像机1、辅助摄像机2、补光灯3、图像分析仪4以及置于训练车上的标志牌5 ;后端系统主要有服务器7、客户端8 ;前、后端系统通过传输网络6互连。曲线弯道由两个180度的半圆弯道组成，为了获得良好的监控效果同时兼顾节约部署成本，三个主摄像机I分别安装于曲线道路前、中、后三个路段，前段主摄像机I覆盖曲线弯道第一个半圆的135度区域，中段主摄像机I覆盖曲线弯道第一个半圆剩余45度和第二个半圆45度区域，后段主摄像机I覆盖曲线弯道第二个半圆剩余135度区域。主摄像机I安装于道路上方约4-8米的立杆横臂上，并处于道路中心线上，安装角度需要确保所覆盖的局部曲线道路的车道边界线在画面中是连续的，即两条车道边界线与图像边缘各存在两个交点。主摄像机I采用工业级宽温设计，传感器采用500万(XD，分辨率大于2592x1936，帧率不低于8帧/秒，内置千兆以太网接口，同时配以10mnT35mm多款定焦镜头或者变焦广角镜头，这样能有效保证上述安装条件下监控画面至少覆盖8m X 6m的弯道区域，且确保标志牌横向像素宽度不少于500个像素。辅助摄像机2可以安装于主摄像机I同一个立杆横臂上，具体位置为左右车道边界线外O. 2-1米，辅助摄像机采用工业级宽温设计，传感器采用200万(XD，分辨率大于1920x1080，帧率不低于8帧/秒，内置千兆以太网接口，同时配以10mnT25mm多款定焦镜头或者变焦镜头，这样能有效保证上述安装条件下能有效监控车轮压线。 补光灯3采用频闪式LED补光灯，同步信号由主摄像机I给出的叫主补光灯，同步信号由辅助摄像机给出的叫辅助补光灯。补光灯3功率和可视角度依据安装位置而定。为避免车身反光造成摄像机过曝，补光灯3与控制其同步的摄像机应当间隔一定距离安装，一般不小于O. 5米。当补光灯2安装高度为6米，距离车位中心水平距离为6米时，可视角度不小于40度，功率不低于15W，与摄像机间隔I米安装即可满足需求。图像分析仪4采用嵌入式工业控制用计算机，其外壳为一体化散热外壳，不需要散热风扇，有效防治内部积尘，提高系统稳定性；当连接500万像素的CCD摄像机时，要求配置主频不低于2. 4GHz的CPU，不少于4GB的内存，不少于32GB的硬盘作为外存以及千兆以太网、RS232等硬件接口，上述配置确保图像分析仪4有足够的计算、存储和通信资源来运行各类图像处理算法和应用程序。服务器7可采用塔式服务器，选用主频大于2. 8GHz、8MB缓存的四核处理器，内存不低于4GB，以保证在部署多台图像分析仪4时仍能保证系统响应实时性。客户端8为普通PC即可，可配备打印机、IC卡读卡器或指纹采集器等外围设备。传输网络6在跨接前、后端系统时采用光纤或3G无线通信网络，而前、后端系统本地多采用基于双绞线的千兆以太网。主摄像机1、辅助摄像机2、图像分析仪4、服务器7、客户端8通过传输网络6实现数据交换。如图2所示，本发明的标志牌5示意图由三部分组成标记点图形、驾校代号字符、训练车编号字符:标记点图形必须能明确指示标志牌位置和方向，如采用T型标志，且其横向线段由5个白底黑圆图形组成，竖向线段由3个黑底白圆图形组成，横向线段和纵向线段通过图形二值化、连通域提取后能很容易地区分并识别，横向线段与纵向线段存在垂直夹角；驾校代号字符采用两位英文字母，如“华丰驾校”可用“HF”来指代；训练车编号字符采用三位阿拉伯数字。如图3所示是本发明的系统总体工作流程图:步骤S1:通过直接人工测量曲线道路尺寸，运行摄像机标定程序，实现图像坐标系与世界坐标系的相互转化；步骤S2:图像分析仪4持续接收主摄像机I捕获的监控图像，压缩成视频录像，同时运行标志牌识别程序，获取标志牌5的位置和方向；步骤S3:图像分析仪4根据主摄像机I标定结果和标志牌5识别结果，运行车辆位置姿态检测程序，获得车辆世界坐标系中的位置和姿态；根据车辆位置、姿态和已知的车辆尺寸，确定车辆轮廓位置以及轮廓外边线至车道边界线的最短距离，并在车辆压线或距离小于设定阈值时触发主摄像机I或辅助摄像机2抓拍图片。步骤S4:图像分析仪4将步骤S3中获得的车辆位置、姿态、测距结果以及抓拍图片、视频录像等数据通过传输网络6发送至服务器7，服务器7运行数据管理程序分析各类信息并给出综合评分、项目用时等应用数据，以数据记录的方式存入数据库，将图片、视频存入指定文件路径，同时运行应用服务程序支持、管理客户端接入。步骤S5:学员操作客户端8，通过传输网络6登录服务器7，浏览训练相关的数据记录、图片、视频等信息，并依据需求打印、下载信息；教练员操作客户端8，通过传输网络6登录服务器7，浏览所教学员的数据记录、图片、视频等信息，并依据需求打印、下载信息。
`
摄像机标定的目的是计算出世界坐标系与图像坐标系的对应关系，世界坐标系即车辆所在的现实世界的坐标系，由3个坐标轴:X轴、Y轴、Z轴组成，图像坐标系即摄像机所拍摄的平面图像，由2个坐标轴:U轴、V轴组成。假设在世界坐标系X、Y、Z三个坐标轴中某点的坐标为(xw，yw，zw),其在图像坐标系中的对应点坐标为(u, V),则这两点坐标的对应关系可以表示为线性方程组:
Pl K.0 ηΓΛ WCl P = § Zj.Fq e Γ y Jw =JI3MsI=JIJ
w Lff P I Ψ L1.
该方程组称为“图像-世界坐标转化线性方程组”，其中α是计算过程的中间参数，(U，V)是图像像素坐标，(xw, yw，zw)是世界坐标，(fx，fy)分别为图像坐标系中X轴与Y轴方向的焦距，(％，V0)为摄像机光轴与图像平面的交点在图像坐标中的位置。T=[tx，ty，tz，l]是世界坐标原点在图像坐标中的映射参数，R是正交矩阵，定义为:
rifPtλ I；.ψτ, η
|ril 7ISR =
Λ.'7丨丨 >■!
IFfl ffi ^fiJM矩阵是图像-世界坐标系变换矩阵，包含了所有待确定的摄像机标定参数，摄像机标定就是求解M矩阵的过程。我们通过测量获得训练场地的四个顶点的世界坐标值{(xwi, ywi, zwi) I i=l,…，4},通过手工标记获得图像中这4个角点在图像中的坐标值Kui,Vi) I i=l,…，4}，即可通过解上述线性方程组的方法求出M矩阵。在计算出M矩阵后，任给一个世界坐标系下某点坐标值，都可以计算出该点对应的图像坐标值；任给一个图像坐标系下某点的坐标并且已知这点在世界坐标中对应点的高度Zw，可以计算出对应点的世界坐标，因此本发明采用如图4所示的摄像机标定程序流程图:步骤SlOl:摄像机抓拍一幅图像，以任意像素点为原点，手动标记出本段曲线弯道四个车道边界线端点的图像坐标{(ui； Vi) |i=l,…，4}；步骤S102:标记图像坐标系原点所在的物理位置点，并以此为世界坐标系原点，测量本段曲线弯道实际场地中车道边界线四个端点的世界坐标Kxwi，ywi，zwi) |i=l，一，4}；步骤S103:将四个端点的世界坐标和图像坐标代入图像-世界坐标转化线性方程组中，求解图像-世界坐标转化矩阵M ；步骤S104:将任意一个 世界坐标系下某点坐标值代入M已知的图像-世界坐标转化线性方程组，即可计算出该点对应的图像坐标；在已知世界坐标高度的前提下，将任意一个图像坐标代入图像-世界坐标转化矩阵已知的图像-世界坐标转化线性方程组，即可计算出该点对应的世界坐标；至此，完成摄像机标定。当采用图2所示的T型标志牌时，黑圆与白圆是识别标志的主要依据，本发明可采用如图5所示的标志牌识别程序流程图:步骤S201:设图像坐标(X，y)处的像素值记为px，y，定义两幅阈值分割图像LB、LD分别用于检测黑圆和白圆，其像素值为分别为:
权利要求
1.一种曲线行驶检测系统，其特征在于，它包括安装在曲线行驶位附近的前端系统和部署在管理中心的后端系统，所述前端系统包括多台主摄像机、图像分析仪以及置于训练车上的标志牌，后端系统包括服务器与客户端，前端系统通过传输网络连接后端系统，监控画面覆盖库位区域的主摄像机用于摄录库位处训练车的行驶状况，与主摄像机相连的图像分析仪持续接收主摄像机捕获的监控图像并压缩成监控图像，同时图像分析仪监测车辆的运行姿态，图像分析仪将监测结果与监控图像发送至后端系统的服务器，客户端可调用查看服务器内的监测结果与监控图像。
2.根据权利要求1所述的曲线行驶检测系统，其特征在于，所述多台主摄像机固定于曲线行驶位上方的立杆上，各能够俯视曲线弯道一段弧线区域。
3.根据权利要求2所述的曲线行驶检测系统，其特征在于，在每台主摄像机的两侧还设有辅助摄像机，用于辅助补充捕捉库位内训练车的运行轨迹。
4.根据权利要求1所述的曲线行驶检测系统，其特征在于，所述标记牌设置在车顶、发动机机顶盖或者后备箱盖上，所述标记牌上的标记图形为若干标记点，标记点排列成具有固定夹角和唯一交点的特定线段。
5.根据权利要求1或2或3所述的曲线行驶检测系统，其特征在于，主摄像机、辅助摄像机的机位旁均设有补光灯，所述补光灯的同步信号由主摄像机或者辅助摄像机给出，用于在光照过暗时进行频闪式补光。
6.一种曲线行驶检测方法，其特征在于，所述方法涉及系统包括安装在曲线行驶位附近的前端系统和部署在管理中心的后端系统，所述前端系统包括多台主摄像机、辅助摄像机、图像分析仪以及置于训练车上的标志牌，后端系统包括服务器与客户端，前端系统通过传输网络连接后端系统，监控画面覆盖库位区域的主摄像机用于摄录库位处训练车的行驶状况，图像分析仪与主摄像机、辅助摄像机相连，具体检测方法包括以下步骤: 步骤S1:通过直接人工测量库位长、宽尺寸，运行摄像机标定程序，实现图像坐标系与世界坐标系的相互转 化； 步骤S2:图像分析仪持续接收主摄像机捕获的监控图像，压缩成视频录像，同时运行标志牌识别程序，获取标志牌的位置和方向； 步骤S3:图像分析仪根据摄像机标定结果和标志牌识别结果，运行车辆位置姿态检测程序，获得车辆的位置和姿态；结合已知的车辆尺寸，进而确定车辆轮廓范围以及轮廓外边线至车道边界线的最短距离，并在车辆压线时触发主摄像机或辅助摄像机抓拍图片；当图像分析仪识别的标志牌从图像的特定区域消失时，判定车辆驶离对应主摄像机覆盖区域，图像分析仪将分段用时等测量信息，连同抓拍图片、视频录像均发送至服务器； 步骤S4:服务器收到各图像分析仪发来的测量信息后，运行评分程序，获得本次曲线行驶综合评分； 步骤S5:学员或教练员通过客户端访问服务器，浏览、下载和打印曲线行驶相关评分、抓拍图片以及视频录像。
7.根据权利要求6所述的曲线行驶检测方法，其特征在于，步骤S3中，在停车过程中车辆压线或距离小于设定阈值时触发主摄像机I或辅助摄像机2抓拍图片并发送至图像分析仪。
8.根据权利要求6所述的曲线行驶检测方法，其特征在于，步骤SI中，进行摄像机标定时，所述摄像机标定程序的步骤为: 摄像机抓拍一幅图像，以任意像素点为图像坐标系原点，手动标记出本段曲线弯道路段四个车道边界线端点的图像坐标； 标记图像坐标系原点所在的物理位置点，并以此为世界坐标系原点，测量曲线弯道路段实际场地中车道边界线四个端点的世界坐标； 将四个库位顶点的世界坐标和像素坐标代入图像-世界坐标转化线性方程组中，求解图像-世界坐标转化矩阵； 将任意一个世界坐标系下某点坐标值代入图像-世界坐标转化矩阵已知的图像-世界坐标转化线性方程组，即可计算出该点对应的图像坐标；在已知世界坐标高度的前提下，将任意一个图像坐标代入图像-世界坐标转化矩阵已知的图像-世界坐标转化线性方程组，即可计算出该点对应的世界坐标；至此，完成摄像机标定。
9.根据权利要求6或7或8所述的所述的曲线行驶检测方法，其特征在于，步骤S2中进行标志牌识别的流程如下: 对图像进行阈值分割，获得分割后的图像； 对阈值分割后的图像进行连通域提取，判断连通域长、宽是否符合标志牌标记点图形的长、宽设定值，如果符合，则标记该连通域； 逐个判断标记的连通域能否连接成和实际标记牌一致的形状，包括标记点数量和标记点连线所成的夹角，如果可以，则视连通区域为标记点检测图形，否则舍弃该连通域；重复本步骤，直至遍历所有连通域； 以标记点检测图形为参考点，标识出其它附加字母和数字区域并识别，至此完成整个标志牌的识别。
10.根据权利要求9所述的所述的曲线行驶检测方法，其特征在于，本检测方法中步骤S3中进行车辆位置姿态检测的步骤流程为: 将标志牌识别程序中获取的标记点检测图形的图像坐标代入摄像机标定程序的图像-世界坐标转化线性方 程组中，即可获得标记点检测图形的世界坐标； 在世界坐标系中，将标记点检测图形按照标志牌标原始标记点图形的排列规则连成存在交点的线段； 在世界坐标系中，计算交点的坐标以及线段的夹角，交点坐标即为车辆位置，线段夹角即为车辆姿态。
全文摘要
本发明公开了一种曲线行驶检测系统及其检测方法，系统包括标志牌、摄像机、图像分析仪、传输网络、服务器和客户端；检测方法先记录摄像机画面，人工测量曲线弯道、训练车的物理尺寸，完成坐标系标定；图像分析仪持续接收摄像机捕获的监控图像并识别训练车上的标志牌，通过已标定的坐标系推算出车辆的实际位置、姿态、轮廓范围以及轮廓至标记线的最短距离，并在车辆轮廓跨越标记线时抓拍图片；服务器通过传输网络接收来自图像分析仪的测量数据和图片、视频，并计算出训练评分，驾驶员及教练员通过后端的客户端对信息进行查询或调阅视频录像，如此实现对驾驶员的有效培训，提高驾培人员的学习效率。
文档编号G09B19/16GK103077639SQ201210586059
公开日2013年5月1日 申请日期2012年12月28日 优先权日2012年12月28日
发明者姚庆明, 顾原 申请人:苏州苏迪智能系统有限公司