一种用于视障人士的人行道交通灯检测系统和方法与流程

本发明属于模式识别技术、图像处理技术、视障人士辅助技术领域，涉及一种人行道交通灯检测系统和方法。

背景技术：

视觉信息是人类识别周围环境的最重要信息来源，人类获得的信息80％左右是从视觉系统输入的。根据世界卫生组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状的理解很困难。现在，他们中的许多人使用白手杖或导盲犬协助自己的日常生活。显然，白手杖不足以在旅行期间解决所有的困难。导盲犬可以引导视障人士以避免在道路上行走时的危险，但是因为训练导盲犬需要很大的成本，它们不能用于所有视觉障碍者。因此，手杖、导盲犬等传统工具无法为他们出行提供充分的协助。

自从电子出行辅助(ETA)设备开发以来，已被视为一种辅助视障者在不同情况下出行的有效的方法。为了帮助用户找到通路，许多辅助系统部署深度相机来检测可及的路径和障碍。然而，特定项目的识别，例如交通灯检测，几乎没有集成在所有这些系统中。由于视力有限，视觉障碍者感觉很难穿越道路。市区有很多行人交通灯，但没有都为视障人士配备声音辅助设备。因此，对于视障者避免道路危险来说，检测行人交通灯至关重要。

许多工作致力于解决交通灯检测问题。然而，大多数当前的解决方案应用于自主车辆导航。在这些情况下，相机相对于承载者是静止的。盲人辅助应用截然不同，人行横道和交通灯可以位于图像的任何位置，并且由手持相机捕获的视频是不稳定的。车辆交通灯具有圆形或箭头形状，背景也很简单，例如天空。但人行道交通灯具有复杂的形状，而且在背景中不显着。因此，用于视觉障碍者的人行道交通灯检测算法必须足够健壮，以应对各种环境。作为对视障人士的辅助方法，检测算法应该具有非常低的虚警率，这对于用户的安全是十分重要的。另外，实时性也是算法的一个要求。因为算法必须在便携式平台中实现，有限的系统资源需要有效的算法来维持适度的帧速率。

技术实现要素：

本发明的目的在于针对现有技术的不足，提供一种人行道交通灯检测系统和方法。

本发明的目的是通过以下技术方案实现的：一种人行道交通灯检测系统，所述系统包含一个彩色相机，一个小型处理器，一个耳机模块，一个电池模块。彩色相机与小型处理器相连，电池模块与小型处理器相连。彩色相机实时地采集周围场景的彩色图像，小型处理器对获取的彩色图像进行处理，将识别到的交通灯信息，转化为声音信号，并传给耳机模块，进而给用户。

上述系统的人行道交通灯检测方法如下:

(1)彩色相机采集到的彩色图像Color，类似于图3，传给小型处理器进行处理。

(2)在HSV空间中进行合格像素提取。HSV空间三通道的取值范围为Hue∈[0,360)，Saturation∈[0,256)，Value∈[0,256)，所述合格像素为满足Value>va并且，且Hue<hu1或者Hue>hu2的像素；其中50<va<256，250>hu1>230，250<hu2<300。

(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；

(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，且该矩形区域的每一边平行于彩色图像的边。并提取该最小矩形区域的高和宽，得到该最小矩形区域的高宽比r，以及填充率f(候选区域与最小矩形区域面积之比)；进一步对候选区域经过尺寸a(连通域面积)，高宽比r和填充率f的筛选，筛选出a1<a<a2、r1<r<r2且f＞f1的合格的候选区域，其中，10^-6area<a1<10^-4area，10^-3area<a2<10^-1area,0<r1<1，1.5<r2<4，0.2<f1<0.6，其中area是Color面积。

(5)以最小矩形区域的中心为扩展中心，对最小矩形区域将高宽等比扩展为三到六倍，得到矩形扩展区域。计算该扩展矩形区域中，候选区域的平均亮度v1和候选区域以外的背景区域的平均亮度v2，筛选出v1>v2的矩形扩展区域作为检测区域。

(6)将步骤5筛选得到的检测区域进行灰度化处理，并统一像素大小，提取HOG或LBP图像特征。

(7)根据图像特征，通过SVM模型对检测区域进行预测，得到预测结果；所述预测结果选自：(a)红或黄人行道交通灯、(b)绿人行道交通灯、(c)非人行道交通灯。

(8)针对步骤7输出的预测结果进行验证，预测结果为(b)的情况下，若检测区域色相均值h₁<Hue<h₂，则最后结果为绿灯；否则判定为非人行道交通灯。其中参数取值范围为100<h₁<180，150<h₂<220。预测结果为(a)的情况下，若检测区域包裹色相均值wh₁<WH<wh₂，则最后结果为红灯。若检测区域包裹色相均值wh₃<WH<wh₄，则最后结果为黄灯；否则判定为非人行道交通灯。其中参数取值范围为90<wh1<140，170<wh2<210；210<wh₃<260，200<wh₄<290。包裹色相(WH)，定义为WH＝(Hue+180)mod 360。

(9)对第n-m帧图像中的每个检测区域建立预期区域，组成预期区域集合，并对每个预期区域构建一个容量为m检测结果序列；通过以下方法对预期区域集合进行不断更新，直到当前帧n：

将每一帧中所有检测区域与前一帧的预期区域集合相匹配。如果检测区域的中心不在任何一个预期区域的范围内，则利用该检测区域新建一个预期区域及对应的容量为m检测结果序列。若检测区域的中心在前一帧的预期区域内，则用该检测区域的预期区域更新上一帧中匹配的预期区域，并将该检测区域的检测结果加入到检测结果序列中。

所述预期区域的建立方法为：以该检测区域的最小矩形区域的中心为扩展中心，对最小矩形区域进行高宽等比扩展30-60倍后得到的。

(10)统计每个预期区域对应的检测结果序列中存储的检测结果，计算置信度其中signal表示红黄绿三种检测结果之一，

(11)选择最大置信度的那个颜色作为最终红绿灯检测结果输出，如图4所示。

(12)输出结果通过耳机模块，用语音的形式传递给盲人。

步骤7中的SVM训练模型，通过以下方法得到：

(1)彩色相机采集包含绿人行道交通灯的彩色图像Color，传给小型处理器进行处理。

(2)在HSV空间中进行合格像素提取。HSV空间三通道的取值范围为Hue∈[0,360)，Saturation∈[0,256)，Value∈[0,256)，所述合格像素为满足Value>va并且，且Hue<hu1或者Hue>hu2的像素；其中50<va<256，250>hu1>230，250<hu2<300。

(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；

(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，且该矩形区域的每一边平行于彩色图像的边。并提取该最小矩形区域的高和宽，得到该最小矩形区域的高宽比r，以及填充率f(候选区域与最小矩形区域面积之比)；进一步对候选区域经过尺寸a(连通域面积)，高宽比r和填充率f的筛选，筛选出a1<a<a2、r1<r<r2且f＞f1的合格的候选区域，其中，10^-6area<a1<10^-4area，10^-3area<a2<10^-1area,0<r1<1，1.5<r2<4，0.2<f1<0.6，其中area是Color面积。

(5)以最小矩形区域的中心为扩展中心，对最小矩形区域将高宽等比扩展为三到六倍，得到矩形扩展区域。计算该扩展矩形区域中，候选区域的平均亮度v1和候选区域以外的背景区域的平均亮度v2，筛选出v1>v2的矩形扩展区域作为检测区域。

(6)将步骤5筛选得到的检测区域进行灰度化处理，并统一像素大小，提取HOG或LBP图像特征。

(7)按照步骤1-6获得黄人行道交通灯和红人行道交通灯的HOG或LBP图像特征。

对标记好的数据集使用SVM训练，内核为LINEAR或RBF函数，使用交叉验证方法得到最优精度和召回率。

本方法相比以往的人行道交通灯检测方法的优势主要在于：

1、误检测低，检出率高。本方法能够准确得到图像中的人行道交通灯，能够准确排除对车行道交通灯、车灯、广告LED等干扰物体，并能够从杂乱背景中检出交通灯。

2、环境适用性。本方法能够对强光、弱光，黑天、白夜等不同环境关照条件下的人行道交通灯准确检出。

3、实时性好。本方法能够在移动平台上(如手机)实时地分析人行道交通灯，在各种状况下没有延迟，从而保证了视障人士安全性。

4、可移植性好。该系统核心部分是相机、处理器和耳机返回设备，可以方便移植到对于手机、平板等智能设备上。

附图说明

图1为视障人士人行道交通灯检测系统的模块连接示意图；

图2为视障人士人行道交通灯检测系统的结构示意图；

图3为若干原始彩色图像示意图

图4为人行道交通灯检测效果，用相应的红、绿或黄圆形色块表示对应的检测结果。

具体实施方式

如图1所示，一种人行道交通灯检测系统，所述系统包含一个彩色相机，一个小型处理器，一个耳机模块，一个电池模块。彩色相机与小型处理器相连，电池模块与小型处理器相连。彩色相机实时地采集周围场景的彩色图像，小型处理器对获取的彩色图像进行处理，将识别到的交通灯信息，转化为声音信号，并传给耳机模块，进而给用户。该系统可以设计成类似于图2所述的眼镜，以达到美观效果。

该系统的人行道交通灯检测方法包括以下步骤:

(1)彩色相机采集到的彩色图像Color，类似于图3，传给小型处理器进行处理。

(2)在HSV空间中进行合格像素提取。HSV空间三通道的取值范围为Hue∈[0,360)，Saturation∈[0,256)，Value∈[0,256)，所述合格像素为满足Value>va并且，且Hue<hu1或者Hue>hu2的像素；其中50<va<256，250>hu1>230，250<hu2<300。

(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；

(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，且该矩形区域的每一边平行于彩色图像的边。并提取该最小矩形区域的高和宽，得到该最小矩形区域的高宽比r，以及填充率f(候选区域与最小矩形区域面积之比)；进一步对候选区域经过尺寸a(连通域面积)，高宽比r和填充率f的筛选，筛选出a1<a<a2、r1<r<r2且f＞f1的合格的候选区域，其中，10^-6area<a1<10^-4area，10^-3area<a2<10^-1area,0<r1<1，1.5<r2<4，0.2<f1<0.6，其中area是Color面积。

(5)以最小矩形区域的中心为扩展中心，对最小矩形区域将高宽等比扩展为三到六倍，得到矩形扩展区域。计算该扩展矩形区域中，候选区域的平均亮度v1和候选区域以外的背景区域的平均亮度v2，筛选出v1>v2的矩形扩展区域作为检测区域。

(6)将步骤5筛选得到的检测区域进行灰度化处理，并统一像素大小，提取HOG或LBP图像特征。

(7)根据图像特征，通过SVM模型对检测区域进行预测，得到预测结果；所述预测结果选自：(a)红或黄人行道交通灯、(b)绿人行道交通灯、(c)非人行道交通灯。

(8)针对步骤7输出的预测结果进行验证，预测结果为(b)的情况下，若检测区域色相均值h₁<Hue<h₂，则最后结果为绿灯；否则判定为非人行道交通灯。其中参数取值范围为100<h₁<180，150<h₂<220。预测结果为(a)的情况下，若检测区域包裹色相均值wh₁<WH<wh₂，则最后结果为红灯。若检测区域包裹色相均值wh₃<WH<wh₄，则最后结果为黄灯；否则判定为非人行道交通灯。其中参数取值范围为90<wh1<140，170<wh2<210；210<wh₃<260，200<wh₄<290。包裹色相(WH)，定义为WH＝(Hue+180)mod 360。

(9)对第n-m帧图像中的每个检测区域建立预期区域，组成预期区域集合，并对每个预期区域构建一个容量为m检测结果序列；通过以下方法对预期区域集合进行不断更新，直到当前帧n：

将每一帧中所有检测区域与前一帧的预期区域集合相匹配。如果检测区域的中心不在任何一个预期区域的范围内，则利用该检测区域新建一个预期区域及对应的容量为m检测结果序列。若检测区域的中心在前一帧的预期区域内，则用该检测区域的预期区域更新上一帧中匹配的预期区域，并将该检测区域的检测结果加入到检测结果序列中。

所述预期区域的建立方法为：以该检测区域的最小矩形区域的中心为扩展中心，对最小矩形区域进行高宽等比扩展30-60倍后得到的。

(10)统计每个预期区域对应的检测结果序列中存储的检测结果，计算置信度其中signal表示红黄绿三种检测结果之一，

(11)选择最大置信度的那个颜色作为最终红绿灯检测结果输出，如图4所示。

(12)输出结果通过耳机模块，用语音的形式传递给盲人。

步骤7中的SVM训练模型，通过以下方法得到：

(1)彩色相机采集包含绿人行道交通灯的彩色图像Color，传给小型处理器进行处理。

(2)在HSV空间中进行合格像素提取。HSV空间三通道的取值范围为Hue∈[0,360)，Saturation∈[0,256)，Value∈[0,256)，所述合格像素为满足Value>va并且，且Hue<hu1或者Hue>hu2的像素；其中50<va<256，250>hu1>230，250<hu2<300。

(3)对所有合格像素，采用区域生长法提取连通区域，每一个连通区域作为一个候选区域，计算该候选区域面积a；

(4)对于任意一个候选区域，建立覆盖该候选区域的最小矩形区域，且该矩形区域的每一边平行于彩色图像的边。并提取该最小矩形区域的高和宽，得到该最小矩形区域的高宽比r，以及填充率f(候选区域与最小矩形区域面积之比)；进一步对候选区域经过尺寸a(连通域面积)，高宽比r和填充率f的筛选，筛选出a1<a<a2、r1<r<r2且f＞f1的合格的候选区域，其中，10^-6area<a1<10^-4area，10^-3area<a2<10^-1area,0<r1<1，1.5<r2<4，0.2<f1<0.6，其中area是Color面积。

(5)以最小矩形区域的中心为扩展中心，对最小矩形区域将高宽等比扩展为三到六倍，得到矩形扩展区域。计算该扩展矩形区域中，候选区域的平均亮度v1和候选区域以外的背景区域的平均亮度v2，筛选出v1>v2的矩形扩展区域作为检测区域。

(6)将步骤5筛选得到的检测区域进行灰度化处理，并统一像素大小，提取HOG或LBP图像特征。

(7)按照步骤1-6获得黄人行道交通灯和红人行道交通灯的HOG或LBP图像特征。