基于机器视觉的车载交通信号与标志的识别及预警方法
【专利摘要】本发明提供一种基于机器视觉的车载交通信号与标志的识别及预警方法，包括以下步骤：结合电子地图信息，开启车载摄像机，实时检测交叉口信号灯的视频信息；将摄像机拍摄到的视频信息进行分帧处理，得到一个图像集合序列；对图像进行预处理，预处理包括图像的压缩处理、灰度处理、二值化处理；通过矩形框扫描确定备选检测区域，对该区域的红、绿、黄、黑像素点进行统计，根据统计结果判断当前区域是否为红绿灯以及红绿灯的状态；同时进行圆形和三角形检测，匹配并判断交通标志牌信息；将识别结果通过语音播报或屏幕显示的方式呈现出来，从而对驾驶员进行预警。本发明成本低、实施方便，可辅助色盲驾驶者识别交通信号及交通标志牌，应用范围广泛。
【专利说明】
基于机器视觉的车载交通信号与标志的识别及预警方法
技术领域
[0001]本发明涉及智能交通预警技术领域，特别是一种基于机器视觉的车载交通信号与标志的识别及预警方法。
【背景技术】
[0002]随着交通运输业的发展，色盲驾驶问题越来越引起人们的关注。在国内，色盲无法取得驾驶机动车的权利。这对色盲者来说不便捷，且可能迫使色盲者使用不正当的手段获取驾驶资格，不利于社会的安定。目前市面上已经产生了一种可以辅助色盲的驾驶眼镜，是通过对固定亮度比的色盲侧视图应用补色原理进行转换识别。鉴于目前的视觉技术并不成熟，并且受光线影响很大，所以对色盲朋友的日常驾驶作用不很大。另一方面，对正常驾驶者而言，车辆的急刹车与怠速行驶是城市交通行驶中消耗汽油的主要原因。
[0003]在国外，为了使色盲者进行安全驾驶，在信号灯上进行了一些设置或者变化，加色或者是改变信号灯的形状，以此来提醒色盲者信号灯的颜色变化;部分国家拥有交通信号的集中控制系统，实现了与车载装置的互联，德国奥迪公司基于此开发出的车载系统，可以直接与当地的交通信号灯进行“互动”，从而提前预测信号灯的状态改变。
[0004]然而，现有的技术都需要对交通信号设备进行一定程度上改动，具有成本高、施行难度大、应用范围受限等缺点，难以满足目前国内广大色盲群体的需求。
【发明内容】
[0005]本发明目的在于提供一种成本低、实施方便、应用范围广的基于机器视觉的车载交通信号与标志的识别及预警方法，可辅助色盲驾驶者识别交通信号及交通标志牌。
[0006]实现本发明目的的技术解决方案为:一种基于机器视觉的车载交通信号与标志的识别及预警方法，包括以下步骤:
[0007]步骤1、结合电子地图信息，开启车载摄像机，实时检测交叉口信号灯的视频信息；
[0008]步骤2、将摄像机拍摄到的视频信息进行分帧处理，得到一个图像集合序列；
[0009]步骤3、对图像进行预处理，预处理包括图像的压缩处理、灰度处理、二值化处理；
[0010]步骤4、基于预处理后的图像，通过矩形框扫描确定备选检测区域，对该区域的红、绿、黄、黑像素点进行统计，根据统计结果判断当前区域是否为红绿灯以及红绿灯的状态；同时基于预处理后的图像进行圆形和三角形检测，匹配交通标志牌，并判断交通标志牌信息;
[0011]步骤5、将步骤4中红绿灯以及交通标志牌的识别结果，通过语音播报或屏幕显示的方式呈现出来，从而对驾驶员进行预警。
[0012]进一步地，步骤I所述实时检测交叉口信号灯的视频信息，具体为:每隔3s?5s检测一次，直至完全驶过交叉口。
[0013]进一步地，步骤2所述将摄像机拍摄到的视频信息进行分帧处理，具体为:视频大小设定为N分钟，将视频信息采用帧率f划分为一个大小为N*60*f的图像集合序列，所述帧率f设定为30FTPS或者60FTPS。
[0014]进一步地，步骤3所述对图像进行预处理，预处理包括图像的压缩处理、灰度处理、二值化处理，具体如下:
[0015]压缩处理:视频分帧处理后的图像为JPEG格式，压缩处理时有四个步骤，颜色模式转换及采样，即将RGB色彩系统转换为YcbCr色彩系统;DCT变换，即将光强数据转换为频率数据;量化，即将频率数据由浮点数转换成整数;编码，即通过Huf fman编码完成压缩；
[0016]灰度处理:预处理的图像是真彩色图像，彩色图像中的每个像素的颜色由R、G、B三个分量决定，通过求出每个像素点的R、G、B三个分量的平均值，然后将这个平均值赋予给这个像素的三个分量来完成灰度处理；
[0017]二值化处理:将图像上的点的灰度置为O或255，所有灰度大于或等于阈值的像素灰度值用255表示，否则灰度值为O。
[0018]进一步地，步骤4所述基于预处理后的图像，通过矩形框扫描确定备选检测区域，对该区域的红、绿、黄、黑像素点进行统计，根据统计结果判断当前区域是否为红绿灯以及红绿灯的状态；同时基于预处理后的图像进行圆形和三角形检测，匹配交通标志牌，并判断交通标志牌信息，具体如下:
[0019]a)基于预处理后的图像，通过长宽比为(5?7):2的矩形框从左到右、从上到下进行扫描，通过矩形框扫描确定备选检测区域，首先基于图像的HSV色彩空间进行颜色判断:当像素点的H参数在0〈H〈14范围内、￥参数在50〈￥〈255范围内、S参数在43〈S〈255范围内则认定为红色像素点；当像素点的H参数在105〈H〈135范围内、V参数在50〈V〈255范围内、S参数在30〈S〈255范围内则认定为绿色像素点；当像素点的H参数在45〈H〈75范围内、V参数在50〈V〈255范围内、S参数在46〈S〈255范围内则认定为黄色像素点；当像素点的H参数在0〈H〈255范围内、￥参数在0〈￥〈80范围内、S参数在0〈S〈255范围内则认定为黑色像素点；
[0020]其次，统计备选检测区域内红、绿、黄、黑像素点数量，根据统计结果判断当前区域是否为红绿灯以及红绿灯的状态:
[0021 ]当满足以下条件时，则认定为红灯:
[0022]①黑色像素点数量大于等于10000;
[0023]②红色像素点数量大于绿色像素点数量，且二者数量差超过1500;
[0024]③红色像素点数量大于黄色像素点数量，且二者数量差超过1500;
[0025]④红色像素点与黑色像素点数量比例超过0.05;
[0026]当满足以下条件时，则认定为绿灯:
[0027]①黑色像素点数量大于等于10000;
[0028]②绿色像素点数量大于红色像素点数量，且二者数量差超过1500;
[0029]③绿色像素点数量大于黄色像素点数量，且二者数量差超过1500;
[0030]④绿色像素点与黑色像素点数量比例超过0.05;
[0031 ]当满足以下条件时，则认定为黄灯:
[0032]①黑色像素点数量大于等于10000;
[0033]②黄色像素点数量大于红色像素点数量，且二者数量差超过1500;
[0034]③黄色像素点数量大于绿色像素点数量，且二者数量差超过1500;
[0035]④黄色像素点与黑色像素点数量比例超过0.05;
[0036]当不满足以上任一条件时，判定当前区域不是红绿灯；
[0037]b)同时，进行圆形和三角形检测并进行交通标志牌的检测匹配，根据匹配结果判断交通标志牌信息，若匹配系数大于0.8则认定匹配成功。
[0038]本发明与现有技术相比，其显著优点为:(I)适用范围广:无论是针对普通驾驶员还是色盲驾驶员，都能一边开车，一边实时地检测红绿灯以及交通标志，实现语音提醒，安全预警，保证驾驶员的安全驾驶；(2)本发明系统是一个辅助识别系统，不需要大规模地改变现有的交通信号灯设备；(3)可靠性高、安全性好:图像识别技术目前已经很成熟了，所以利用图像识别技术，具有更高的可靠性和安全性。
【附图说明】
[0039]图1为本发明基于机器视觉的车载交通信号与标志的识别及预警方法的流程图。
[0040]图2为本发明中图像识别模块的工作流程图。
【具体实施方式】
[0041 ]下面结合附图及具体实施例对本发明作进一步详细说明。
[0042]如图1所示，本发明基于机器视觉的车载交通信号与标志的识别及预警方法，其实现包括以下步骤:
[0043]步骤1、结合电子地图信息，开启车载摄像机，实时检测交叉口信号灯的视频信息，具体为:每隔一定时间(3S-5S)检测一次直至完全驶过交叉口，利用车载摄像头采集交叉口信号灯的视频信息。
[0044]步骤2、将摄像机拍摄到的视频信息进行分帧处理，得到一个图像集合序列，具体为:视频大小设定为N分钟，将视频信息采用帧率f划分为一个大小为N*60*f的图像集合序列，所述帧率f设定为30FTPS或者60FTPS。
[0045]步骤3、对图像进行预处理，预处理包括图像的压缩处理、灰度处理、二值化处理，具体如下:
[0046]压缩处理:视频分帧处理后的图像为JPEG格式，压缩处理时主要有四个步骤，颜色模式转换及采样，即将RGB色彩系统转换为YcbCr色彩系统;DCT变换，即将光强数据转换为频率数据;量化，即将频率数据由浮点数转换成整数;编码，S卩通过Huf fman编码完成压缩；
[0047]灰度处理:预处理的图像是真彩色图像，彩色图像中的每个像素的颜色有R、G、B三个分量决定，而每个分量有255中值可取，这样一个像素点可以有1600多万(255*255*255)的颜色的变化范围，通过求出每个像素点的R、G、B三个分量的平均值，然后将这个平均值赋予给这个像素的三个分量来完成灰度处理，例如图像某点的像素值为(R: 232，G: 142，B:166)，灰度处理后变为(1?:180，6:180，8:180);
[0048]二值化处理:图像的二值化处理就是将图像上的点的灰度置为O或255，也就是将整个图像呈现出明显的黑白效果。所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值用255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域，例如图像某点的灰度值为180，假定阈值为142，则将该点灰度值置为255。
[0049]步骤4、基于预处理后的图像，通过矩形框扫描确定备选检测区域，对该区域的红、绿、黄、黑像素点进行统计，根据统计结果判断当前区域是否为红绿灯以及红绿灯的状态；同时基于预处理后的图像进行圆形和三角形检测，匹配交通标志牌，并判断交通标志牌信息，具体如下:
[0050]a)基于预处理后的图像，通过长宽比为(5?7):2的矩形框从左到右、从上到下进行扫描，通过矩形框扫描确定备选检测区域，首先基于图像的HSV色彩空间进行颜色判断:当像素点的H参数在0〈H〈14范围内、￥参数在50〈￥〈255范围内、S参数在43〈S〈255范围内则认定为红色像素点；当像素点的H参数在105〈H〈135范围内、V参数在50〈V〈255范围内、S参数在30〈S〈255范围内则认定为绿色像素点；当像素点的H参数在45〈H〈75范围内、V参数在50〈V〈255范围内、S参数在46〈S〈255范围内则认定为黄色像素点；当像素点的H参数在0〈H〈255范围内、￥参数在0〈￥〈80范围内、S参数在0〈S〈255范围内则认定为黑色像素点；
[0051]其次，统计备选检测区域内红、绿、黄、黑像素点数量，根据统计结果判断当前区域是否为红绿灯以及红绿灯的状态:
[0052]当满足以下条件时，则认定为红灯:
[0053]①黑色像素点数量大于等于10000;
[0054]②红色像素点数量大于绿色像素点数量，且二者数量差超过1500;
[0055]③红色像素点数量大于黄色像素点数量，且二者数量差超过1500;
[0056]④红色像素点与黑色像素点数量比例超过0.05;
[0057]当满足以下条件时，则认定为绿灯:
[0058]①黑色像素点数量大于等于10000;
[0059]②绿色像素点数量大于红色像素点数量，且二者数量差超过1500;
[0000]③绿色像素点数量大于黄色像素点数量，且二者数量差超过1500;
[0061 ]④绿色像素点与黑色像素点数量比例超过0.05;
[0062]当满足以下条件时，则认定为黄灯:
[0063]①黑色像素点数量大于等于10000;
[0064]②黄色像素点数量大于红色像素点数量，且二者数量差超过1500;
[0065]③黄色像素点数量大于绿色像素点数量，且二者数量差超过1500;
[0066]④黄色像素点与黑色像素点数量比例超过0.05;
[0067]当不满足以上任一条件时，判定当前区域不是红绿灯；
[0068]b)同时，进行圆形和三角形检测并进行交通标志牌的检测匹配，根据匹配结果判断交通标志牌信息，若匹配系数大于0.8则认定匹配成功。
[0069]步骤5、将步骤4中红绿灯以及交通标志牌的识别结果，通过语音播报或屏幕显示的方式呈现出来，从而对驾驶员进行预警。
[0070]虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
【主权项】
1.一种基于机器视觉的车载交通信号与标志的识别及预警方法，其特征在于，包括以下步骤: 步骤1、结合电子地图信息，开启车载摄像机，实时检测交叉口信号灯的视频信息； 步骤2、将摄像机拍摄到的视频信息进行分帧处理，得到一个图像集合序列； 步骤3、对图像进行预处理，预处理包括图像的压缩处理、灰度处理、二值化处理； 步骤4、基于预处理后的图像，通过矩形框扫描确定备选检测区域，对该区域的红、绿、黄、黑像素点进行统计，根据统计结果判断当前区域是否为红绿灯以及红绿灯的状态；同时基于预处理后的图像进行圆形和三角形检测，匹配交通标志牌，并判断交通标志牌信息； 步骤5、将步骤4中红绿灯以及交通标志牌的识别结果，通过语音播报或屏幕显示的方式呈现出来，从而对驾驶员进行预警。2.根据权利要求1所述的基于机器视觉的车载交通信号与标志的识别及预警方法，其特征在于，步骤I所述实时检测交叉口信号灯的视频信息，具体为:每隔3s?5s检测一次，直至完全驶过交叉口。3.根据权利要求1所述的基于机器视觉的车载交通信号与标志的识别及预警方法，其特征在于，步骤2所述将摄像机拍摄到的视频信息进行分帧处理，具体为:视频大小设定为N分钟，将视频信息采用帧率f划分为一个大小为N*60*f的图像集合序列，所述帧率f设定为30FTPS 或者 60FTPS。4.根据权利要求1所述的基于机器视觉的车载交通信号与标志的识别及预警方法，其特征在于，步骤3所述对图像进行预处理，预处理包括图像的压缩处理、灰度处理、二值化处理，具体如下: 压缩处理:视频分帧处理后的图像为JPEG格式，压缩处理时有四个步骤，颜色模式转换及采样，即将RGB色彩系统转换为YcbCr色彩系统;DCT变换，即将光强数据转换为频率数据；量化，即将频率数据由浮点数转换成整数;编码，即通过Huf fman编码完成压缩； 灰度处理:预处理的图像是真彩色图像，彩色图像中的每个像素的颜色由R、G、B三个分量决定，通过求出每个像素点的R、G、B三个分量的平均值，然后将这个平均值赋予给这个像素的三个分量来完成灰度处理； 二值化处理:将图像上的点的灰度置为O或255，所有灰度大于或等于阈值的像素灰度值用255表示，否则灰度值为O。5.根据权利要求1所述的基于机器视觉的车载交通信号与标志的识别及预警方法，其特征在于，步骤4所述基于预处理后的图像，通过矩形框扫描确定备选检测区域，对该区域的红、绿、黄、黑像素点进行统计，根据统计结果判断当前区域是否为红绿灯以及红绿灯的状态；同时基于预处理后的图像进行圆形和三角形检测，匹配交通标志牌，并判断交通标志牌信息，具体如下: a)基于预处理后的图像，通过长宽比为(5?7):2的矩形框从左到右、从上到下进行扫描，通过矩形框扫描确定备选检测区域，首先基于图像的HSV色彩空间进行颜色判断:当像素点的H参数在0〈H〈14范围内、V参数在50〈V〈255范围内、S参数在43〈S〈255范围内则认定为红色像素点；当像素点的H参数在105〈H〈135范围内、V参数在50〈V〈255范围内、S参数在30〈S〈255范围内则认定为绿色像素点；当像素点的H参数在45〈H〈75范围内、V参数在50〈V〈255范围内、S参数在46〈S〈255范围内则认定为黄色像素点；当像素点的H参数在0〈H〈255范围内、V参数在0〈V〈80范围内、S参数在0〈S〈255范围内则认定为黑色像素点； 其次，统计备选检测区域内红、绿、黄、黑像素点数量，根据统计结果判断当前区域是否为红绿灯以及红绿灯的状态: 当满足以下条件时，则认定为红灯: ①黑色像素点数量大于等于10000; ②红色像素点数量大于绿色像素点数量，且二者数量差超过1500; ③红色像素点数量大于黄色像素点数量，且二者数量差超过1500; ④红色像素点与黑色像素点数量比例超过0.05; 当满足以下条件时，则认定为绿灯: ①黑色像素点数量大于等于10000; ②绿色像素点数量大于红色像素点数量，且二者数量差超过1500; ③绿色像素点数量大于黄色像素点数量，且二者数量差超过1500; ④绿色像素点与黑色像素点数量比例超过0.05; 当满足以下条件时，则认定为黄灯: ①黑色像素点数量大于等于10000; ②黄色像素点数量大于红色像素点数量，且二者数量差超过1500; ③黄色像素点数量大于绿色像素点数量，且二者数量差超过1500; ④黄色像素点与黑色像素点数量比例超过0.05; 当不满足以上任一条件时，判定当前区域不是红绿灯； b)同时，进行圆形和三角形检测并进行交通标志牌的检测匹配，根据匹配结果判断交通标志牌信息，若匹配系数大于0.8则认定匹配成功。
【文档编号】G06K9/00GK106023623SQ201610609176
【公开日】2016年10月12日
【申请日】2016年7月28日
【发明人】周竹萍, 彭云龙, 盛楚倩, 乔侨, 吕亦江, 陈韦卉, 蔡逸飞, 杨继伟
【申请人】南京理工大学