一种基于双目视觉的无人机危险车距识别系统及方法
【专利摘要】一种基于双目视觉的无人机危险车距识别系统及方法，搭载GPS模块、无线传输模块和机载摄像机，采用双目测距和三维重建技术结合GPS定位技术实现测距和测速以及车辆的危险预警。本系统采用基于双目测距和三维重建技术结合GPS定位技术实现对车辆的测距和测速，具体步骤如下：摄像机的标定、目标图像的获取、特征提取、立体校正、立体匹配、距离和速度测量。在判断两车处在危险距离后通过无线传输模块把摄像头捕捉到的视频实时传输给交通管理部门。本发明在高效精准的作业同时大大提高了交通智能化程度，降低了交通管理部门的工作强度。
【专利说明】
-种基于双目视觉的无人机危险车距识别系统及方法
技术领域
[0001] 本发明设及危险车距识别领域，具体设及一种基于双目视觉的无人机危险车距识 别系统及方法。
【背景技术】
[0002] 随着社会经济的发展和人们生活水平的提高，车辆的数量急剧增加，随之而来的 是越来越多的追尾等交通事故的发生，由于信息传输的滞后、交通事故造成的拥堵等情况 常常使执法部口无详细的凭据去了解事故发生的整个过程。
[0003] 目前，已有各种有关测量安全车距方法、装置及系统等，但运些大都用于辅助驾 驶，且不能实时进行两车间距预警并反馈给执法部口。因此急需一种系统来辅助执法部口 执法，提高执法效率，并确保执法部口准确无误的掌握交通事故的整个过程，有利于做出公 平、公正的判断。
【发明内容】
[0004] 针对现有技术的上述不足，本发明旨在提供一种可动态实时监测车距、车速，当出 现危险车距时，把视频实时传输给交警部口并进行提醒，辅助执法部口快速、有效执法的一 种基于双目视觉的无人机危险车距识别系统及方法。
[0005] 本发明所采用的技术方案是:一种基于双目视觉的无人机危险车距识别系统及方 法，结合无人机机载GPS和机载摄像机，采用双目测距和S维重建技术结合GPS定位技术实 现距离和速度测量W及车辆的危险距离预警。
[0006] 所述双目测距和=维重建的步骤包括摄像机的标定、目标图像的获取、特征提取、 立体校正、立体匹配、距离和速度测量。
[0007] 所述速度测量是通过解析无人机机载GPS模块所接收到的数据包获得无人机所飞 行的相对于地面静止物体的速度加上所测车辆相对于无人机的相对速度即为车辆相对于 地面的绝对速度。
[000引所述危险距离预警是本发明利用机载GPS沿指定路段巡航时对路段进行监测，采 用双目测距和S维重建技术结合GI^定位技术实现距离和速度测量W及车辆的危险距离预 警，在判断存在危险距离后通过无线传输模块把摄像头捕捉到的视频实时传输给交通管理 部口。
[0009]本发明与现有技术相比，有益效果在于： 1. 在监测成本及准确性W及操作便利性方面具有明显的优势； 2. 可W动态地实时检测车距、车速，当出现危险车距时，把视频实时传输给交警部口 并进行提醒，辅助交警快速、有效的执法； 3. 由于本发明具有自动检测并提醒的功能，大大提高了交通智能化程度，降低了交通 管理部口的工作强度。
【附图说明】
[0010] 图1是本发明系统总体结构简图。
[0011] 图2是本发明所采用双目定位技术中极线约束原理示意图。
[0012] 图3是本发明所采用双摄像头模型的俯视图。
[0013] 图4是本发明所采用双摄像头模型的立体视图。
【具体实施方式】
[0014] 为了使本发明的目的、技术方案及优点更加清楚明白，W下结合附图，对本发明进 行进一步详细说明。
[0015] 本发明为一种基于双目视觉的无人机危险车距识别系统及方法，搭载GI^模块、无 线传输模块和机载摄像机，采用双目测距和S维重建技术结合GPS定位技术实现测距和测 速W及车辆的危险预警。
[0016] 如图1所示，一种基于双目视觉的无人机危险车距预警系统，包括嵌入式平台A、无 人机41、6口5模块42、无线传输模块43、双目摄像头44。其中嵌入式平台4应采用11111111〇巧6〇曰'(1 turbot高性能运算平台进行无人机Al飞行姿态的控制及巡航路线规划、解析GPS模块A2所 接收的数据包、分析双目摄像头A4所采集到的数据并将处理后的数据通过无线传输模块A3 发送回地面;无人机Al搭载所需要的模块进行巡航监测;GPS模块A2接收相关地理信息的数 据包并传输给嵌入式平台A进行解析;无线传输模块A3应采用4G通信模块或5.8G化的无线 传输模块将处理后的数据传输给地面接收端;双目摄像头A4用来进行车辆坐标的定位和目 标车辆距离的测量。
[0017] 本系统采用基于双目测距和S维重建技术结合GI^定位技术实现对车辆的测距和 测速，具体步骤如下:摄像机的标定、目标图像的获取、特征提取、立体校正、立体匹配、距离 和速度测量。
[0018] 首先在地面对嵌入式平台A设定巡航路线对指定路段进行巡航，利用双目视觉定 位技术对车辆进行测距和测速，如发现车辆超速或两车处于危险车距则启动摄像头进行视 频捕捉，并将捕捉到的视频通过无线传输模块A3传输给地面接收端。
[0019] 下面对基于双目视觉的测距和测速的实现方法进行详细阐述。
[0020] 首先进行摄像机标定，具体实现方法如下： 在实际使用的摄像机中，因为制造工艺的限制主点不能保证在成像设备的正中屯、位 置，所W引入两个参数嫁和转表示真实主点与理想主点间的偏移。因为像素点在一个普通摄 像机上不能保证是正方形，所W使用两个不同的焦距起和在。假设成像平面上的点为g =Cx 7评，目标物体点为0 =[乂 r之。，引入参数S(比例因子)和单应性矩阵H，其定义如下g二 S佩其中H由两个矩阵表示：W二#T
(1) 1阵 (2) W用于目标物体平面与摄像机平面的旋转平移变换，即摄像机外参数矩阵。
[0021] 考虑到透镜崎变，假设QiXXp, Jp)为校正后的点，gyUAJoO为崎变后的点，则有
(3) 其中投V%乾?乾，构成一个5x1的矩阵，该矩阵就是摄像机的崎变矩阵。
[0022] 标定是为得到摄像机的上述参数。OpenCV使用平面物体（例如平面黑白棋盘） 标定摄像机。使用立体相机从不同角度不同距离拍摄左右棋盘图像进行标定。在化enCV中 调用f indChessboardCornersO函数可找到棋盘角点信息的近似值，再使用cornerSubPix O函数得到棋盘角点的亚像素坐标。使用化aw化essboardCornersO函数绘制出检测到的 棋盘角点，W便在实验中观察结果，然后使用stereo化librate()函数完成双目标定。
[0023] 目标图像由机载摄像机采集并传输至嵌入式平台，并在嵌入式平台中使用化enCV 库函数进行特征提取。
[0024] 接着进行立体校正，具体实现方法如下： 有了旋转矩阵7?和平移向量r，立体校正Bouguet算法就能简单地使左右图像中的每 幅重投影次数最小且重投影崎变最大，所W使立体匹配更加准确和快速，并使左右图像的 观测面积最大。
[00巧]通过投影矩阵P把=维点变换成可W在平面上显示的二维点。
(4) 同理，二维点也可通过重投影矩阵0重投影为=维 点 (6) 其中位点)为主点在左图像上的坐标，《为焦距冷为双目间距，为主点在右图 像的X坐标。根据式（5)得到S维坐标为：（乂 /r J /r)。在OpenCV中可通过 StereoRectifyO函数完成W上校正功能，该函数输入参数是前面标定返回的结果:摄像机 矩阵，崎变向量，左右旋转矩阵R和平移向量r。输出参数有式(4)中投影矩阵P，分别为 AeZY和Ai加，W及重投影矩阵0。可调用函数InitUndisto;rtRectifyMap()生成图像校正 所需的映射矩阵。
[00%]然后进行立体匹配，具体实现方法如下： 立体匹配是寻求同一空间景物在不同视点下投影图像的像间的一一对应关系。立体匹 配可义用BM算法,SGBM算法,GC算法等。
[0027]要计算目标点在左右两个视图上形成的视差，首先要把该点在左右视图上两个对 应的像点匹配起来。然而，在二维空间上匹配对应点是非常耗时的，为了减少匹配捜索范 围，我们可W利用极线约束使得对应点的匹配由二维捜索降为一维捜索。极线约束原理如 图2所示，空间中任意一点在图像平面上的投影点，必然处于由该点和两个摄像头中屯、组成 的对极平面上。对于图像上的某一特征点，其在另一视图上的匹配点必处于对应的对极线 上，运称为极线约束。极线约束使得特征匹配由二维捜索降低为一维捜索，从而大大加快计 算速度，并且减少误匹配。
[00%]最后进行距离和速度测量，具体实现方法如下： 双摄像头测距的原理如图3及图4所示，其中，图4中Z是目标点到成像平面的距离，f是 摄像头焦距，T具两摄像车并屯、的距离。目标点在左右两幅视图上成像的横向坐标直接存在 的差异（即视差
，与目标点到成像平面的距离Z存在着反比例的关系：Z=fT/d。 在化enCV中，f的量纲是像素点，T的量纲由定标板棋盘格的实际尺寸和用户输入值确定，一 般是W毫米为单位（当然为了精度提高也可W设置为0.1毫米量级）
3量纲也 是像素点。因此分子分母约去，Z的量纲与T相同。
[0029] 假设Sl为图像平面上两辆车之间的距离，S2为两辆车之间的实际距离，则： (7) S像平面上在时间t里行驶的路程，枉为车辆相对于无人机的实际速度， 则 :) I绝对运动速度恥可由机载GI^得出，假设X为无人机机载GPS所获得数据 包； t内所经过的位移，则： (9) I速度V可由车辆相对于无人机的相对运动速度和无人机的绝对运动速度 得 (10) 在得出车辆的绝对运动速度后与设定的车道限速进行对比，若车辆速度大于限速则进 行违章抓拍;若得出两车间实际距离小于所设定的安全距离则启动摄像头将画面通过无线 传输模块A3传输回地面接收端进行预警，并调整无人机飞行速度使之与车辆速度接近并继 续进行判断和预警。
【主权项】
1. 一种基于双目视觉的无人机危险车距识别系统及方法，具有危险车距识别及预警功 能，其特征在于无人机上搭载摄像头并利用GPS定位技术沿路段巡航，使用机载嵌入式平台 对采集到的视频进行实时分析处理，得出相邻两车距离以及每辆车的车速，对危险车距进 行实时报警和追踪，并利用无线传输技术将视频实时传输给交通管理部门。2. 根据权利要求1所述的一种基于双目视觉的无人机危险车距识别系统及方法，其特 征在于所述无人机搭载摄像头为双目摄像头。3. 根据权利要求1所述的一种基于双目视觉的无人机危险车距识别系统及方法，其特 征在于所述测距方法采用基于双目定位和三维重建技术结合GPS定位技术的测距。4. 根据权利要求1所述的一种基于双目视觉的无人机危险车距识别系统及方法，其特 征在于所述双目测距和三维重建的步骤如下:摄像机标定、目标图像获取、特征提取、立体 校正、立体匹配、距离和速度测量。
【文档编号】G01S11/12GK106019264SQ201610337852
【公开日】2016年10月12日
【申请日】2016年5月22日
【发明人】李彦玮, 江志奇, 刘怡萱, 谷亚茹, 廖羽乔
【申请人】江志奇