专利名称：多摄像头无人车视觉感知系统的制作方法
技术领域：
本发明属于自主行驶和视觉感知技术领域，具体涉及ー种多摄像头无人车视觉感知系统，可用于无人驾驶汽车和自主移动车辆的视觉感知和图像处理。
背景技术：
近年来，各种可以自主移动的中小型车辆和机器人开始进人工业生产、安防和家庭服务等领域。而为了研究汽车的自主行驶技术，各种微型无人车仿真验证系统也被ー些科研院所开发出来。视觉感知技术是自主车辆和移动机器人的关键技术，在环境感知和导航领域较其他传统传感器感知技术具有明显的优势。视觉感知技术在エ业生产、交通运输、医疗服务等领域也得到了广泛的应用，具有很好的应用前景。由于中小型自主移动车辆和机器人尺寸和开发成本的限制，导致无法使用高档的 运算处理系统，一般采用采用单片机、dsp等微控制器，处理程序为单线程程序，不能满足多任务的图像处理系统的需求，并且可扩展性和实时性不强。传统的无人车图像处理技术中，对车道线的识别常用拟合法、边沿搜索等方法，这些方法对于道路线部分被遮挡的情况处理效果不佳；对于障碍物、锥桶、交通灯等的识别检测常常使用模板匹配和神经网络等方法，耗费资源且影响系统实时性。当前的视觉平台调试时需要使用电缆连接车上的设备或者通过无线串ロ远程传输少量的图像信息，给系统的调试带来较大不便。此外，当前的自主移动车辆或者微型无人车系统多采用普通单摄像头进行视觉感知和导航，视野范围较窄；而采用广角镜头的系统需要耗费较大精力处理镜头产生的畸变，并且视野范围无法调整；此外也无法自由控制采集图像的分辨率以实现效率最大化。
发明内容
本发明的目的是为了克服现有微型无人车和自主移动机器人的图像处理系统感知算法単一且实时性不强、系统扩展性差、调试不便以及视野范围控制的局限性等问题，提出一种多摄像头无人车视觉感知系统，该系统经济、可靠，扩展性好，对于仿真交通环境的感知和识别具有很好的实时性，可应用于智能仿真车辆和小型自主移动机器人的环境感知和导航。本发明所采用的技术方案是一种多摄像头无人车视觉感知系统，包括车载视觉感知系统、无线网络设备和远程调试监控系统；其中车载视觉感知系统包括多个车载图像处理工控机，每个车载图像处理工控机接有三个摄像头；远程调试监控系统包括ー个或多个调试监控计算机通过无线路由器控制车载图像处理工控机，经远程登录进行车辆运行的远程监控和在线程序调试，所述控制方式可以是冗余控制也可以是分别控制。如上所述的ー种多摄像头无人车视觉感知系统，其中所述系统运行前，将三个摄像头根据需要感知的视野范围安装固定在ー个自主移动车辆上，然后通过某幅图像中几个点的像素距离參数和对应的实际距离參数确定像平面坐标系和世界坐标系的对应关系矩阵。如上所述的ー种多摄像头无人车视觉感知系统，其中所述系统中采取ー种基于多线程的优化的视觉感知方法，包括多个线程，分别是主线程，摄像头A视频采集线程，摄像头B视频采集线程，摄像头C视频采集线程，车道线感知线程，障碍物、锥桶和信号灯感知线程，交通标志感知线程，综合控制决策线程，图像和运算结果显示线程。如上所述的ー种多摄像头无人车视觉感知系统，其中所述主线程进行系统的初始化以及各个分线程的创建，初始化包括图像存储空间的声明、串ロ的初始化设置、静态变量參数声明；各个分线程创建后，主线程进入等待状态，等待图像和运算结果显示线程结束；图像和运算结果显示线程不断检测调试监控计算机发送的指令，若收到退出指令，则线程跳出循环结束，同时触发主线程结束并释放内存。 如上所述的ー种多摄像头无人车视觉感知系统，其中所述车道线感知线程进行车道线的感知和偏航角的计算，包括如下步骤(4. I)将RGB图像灰度化得到灰度图像，将灰度图像ニ值化得到ニ值图像；(4. 2)膨胀腐蚀减少噪点，通过canny边沿检测得到边沿图像，减小后面霍夫变换的计算量；(4. 3)对边沿图像进行霍夫直线检测，得到图像中所有直线的极坐标方程的參数；(4. 4)遍历所有直线，进行坐标变换并投影映射到世界坐标系下，找到斜率在设定范围内并且距离车头最近的线作为车道线。如上所述的ー种多摄像头无人车视觉感知系统，其中所述(4. I)步骤中二值化方法为将图像按行从上到下分成4个部分，每个部分都找到最大三个灰度值和最小的三个灰度值，取其平均值作为最終阈值，如果最大最小阈值的差值小于某个经验值则按上一部分得出的阈值计算；如果图像第一部分对比度较差，则第一部分使用某个固定初始阈值TH开始计算，待求阈值计算如下
权利要求
1.一种多摄像头无人车视觉感知系统，包括车载视觉感知系统、无线网络设备和远程调试监控系统；其中车载视觉感知系统包括多个车载图像处理工控机(1)，每个车载图像处理工控机接有三个摄像头(2 );远程调试监控系统包括一个或多个调试监控计算机(4 )通过无线路由器(3)控制车载图像处理工控机(2)，经远程登录进行车辆运行的远程监控和在线程序调试，所述控制方式可以是冗余控制也可以是分别控制。
2.根据权利要求I所述的一种多摄像头无人车视觉感知系统，其特征在于所述系统运行前，将三个摄像头根据需要感知的视野范围安装固定在一个自主移动车辆上，然后通过某幅图像中几个点的像素距离参数和对应的实际距离参数确定像平面坐标系和世界坐标系的对应关系矩阵。
3.根据权利要求I所述的一种多摄像头无人车视觉感知系统，其特征在于所述系统中采取一种基于多线程的优化的视觉感知方法，包括多个线程，分别是主线程，摄像头A视频采集线程，摄像头B视频采集线程，摄像头C视频采集线程，车道线感知线程，障碍物、锥桶和信号灯感知线程，交通标志感知线程，综合控制决策线程，图像和运算结果显示线程。
4.根据权利要求3所述的一种多摄像头无人车视觉感知系统，其特征在于所述主线程进行系统的初始化以及各个分线程的创建，初始化包括图像存储空间的声明、串口的初始化设置、静态变量参数声明；各个分线程创建后，主线程进入等待状态，等待图像和运算结果显示线程结束；图像和运算结果显示线程不断检测调试监控计算机(4)发送的指令，若收到退出指令，则线程跳出循环结束，同时触发主线程结束并释放内存。
5.根据权利要求3所述的一种多摄像头无人车视觉感知系统，其特征在于所述车道线感知线程进行车道线的感知和偏航角的计算，包括如下步骤 (4. I)将RGB图像灰度化得到灰度图像，将灰度图像二值化得到二值图像； (4. 2)膨胀腐蚀减少噪点，通过canny边沿检测得到边沿图像，减小后面霍夫变换的计禅且算里； (4. 3)对边沿图像进行霍夫直线检测，得到图像中所有直线的极坐标方程的参数； (4. 4)遍历所有直线，进行坐标变换并投影映射到世界坐标系下，找到斜率在设定范围内并且距离车头最近的线作为车道线。
6.根据权利要求5所述的一种多摄像头无人车视觉感知系统，其特征在于所述(4.I)步骤中二值化方法为将图像按行从上到下分成4个部分，每个部分都找到最大三个灰度值和最小的三个灰度值，取其平均值作为最终阈值，如果最大最小阈值的差值小于某个经验值则按上一部分得出的阈值计算；如果图像第一部分对比度较差，则第一部分使用某个固定初始阈值TH开始计算，待求阈值计算如下 y(high[i] + !ow[i]) th=上2- In 其中，th为待求阈值，high[i], low[i]分别是最大和最小的η个阈值。
7.根据权利要求3所述的一种多摄像头无人车视觉感知系统，其特征在于所述障碍物、锥桶和信号灯感知线程，具体分为 (5. I)将RGB图像转化为HSV图像； (5. 2)根据三种目标各自的具体特征进行识别；根据车道线将前方的障碍物分为车道内和车道外，根据颜色、面积和位置判断物体是否是车道上的障碍物，对于车道内的障碍物进行躲避；锥桶的位置在两个车道线之内，每个锥桶有红、白、红三块区域，三块区域从下到上依次减小，并且锥桶一次放置多于两个，否则不是锥桶；交通灯在图像中呈现为红色圆形联通区域，区域中间有亮度很高的白色区域，交通信号灯位于图像的中上方。
8.根据权利要求3所述的一种多摄像头无人车视觉感知系统，其特征在于所述交通标志感知线程,分为如下步骤 (6. I)图像预处理将原来的RGB图像转换成HSV空间的图像，并分别分割出红、蓝、黄三种颜色区域；(6. 2)交通标志分类根据颜色、形状将交通标志分为红色禁令标志、蓝色指示标志、黄色警告标志； (6. 3)通过模板匹配进行交通标志识别；缩小分类后的图像区域，将该区域转换成二值图像后与对应类别内的模板匹配，找出相似度最高的标志模板。
全文摘要
本发明属于自主行驶和视觉感知技术领域，具体涉及一种多摄像头无人车视觉感知系统。目的是为了克服现有微型无人车和自主移动机器人的图像处理系统感知算法单一且实时性不强、系统扩展性差、调试不便以及视野范围控制的局限性等问题。该系统包括多个车载图像处理工控机，每个车载图像处理工控机接有三个摄像头；一个或多个调试监控计算机通过无线路由器控制车载图像处理工控机，控制方式可以是冗余控制也可以是分别控制。该系统中采取一种基于多线程的优化的视觉感知方法，包括多摄像头视频采集线程，车道线感知线程，障碍物、锥桶和信号灯感知线程等。较传统的单线程视觉感知方法有更高的实时性、稳定性和可扩展性。
文档编号G05D1/02GK102819263SQ20121026625
公开日2012年12月12日 申请日期2012年7月30日 优先权日2012年7月30日
发明者张典国, 刘同林, 汤晓磊, 许朋飞 申请人:中国航天科工集团第三研究院第八三五七研究所