一种基于RGB‑D相机和立体声的视障人士斑马线检测系统及方法与流程

本发明属于视障人士辅助技术、三维环境感知技术、斑马线检测技术、立体声交互技术领域。本发明包含一种基于rgb-d相机和立体声的视障人士斑马线检测方法，涉及一种利用rgb-d相机采集彩色图像和深度图像，利用姿态角传感器获取相机的姿态角信息。小型处理器利用深度信息和姿态角信息，计算获取场景的三维坐标。小型处理器对三维信息进行处理，去除彩色图像中空中物体对斑马线检测的干扰。小型处理器对彩色图像分块，并计算每一块的双极系数，筛选出可能为斑马线的区块，利用连通域分析检出斑马线区域，最终通过骨传导耳机传递斑马线的距离和方向给视障人士进行辅助的斑马线检测方法。

背景技术：

根据世界健康组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状、距离、运动的理解都很困难，他们的生活在起居、出行等方面都受到了巨大的影响。尤其是路口的通行，寻找斑马线区域，安全地过马路是视障人士的一大痛点。

传统的视障人士过马路辅助方法，通过听路口处红绿灯的变化的声音，以及听路口车辆通过的声音来猜测斑马线区域，这种判断是极其不准确的，而且很多路口的红绿灯声音播报系统损坏，无法给视障人士提供帮助。

导盲犬可以为视障人士过马路提供帮助，但导盲犬在过马路时比较迅速，难以照顾到视障人士精确定位斑马线区域的需求。导盲犬的养护、训练费用高昂，普通家庭难以承担。另外很多城市的导盲犬培训是不合格的，对视障人士的帮助有限。

基于彩色相机的斑马线检测，有很大概率被空中物体等所干扰，斑马线检测的准确性有限，而且也不能获知斑马线区域的精确距离和方位，对视障人士的帮助有限。

传统视障人士辅助的交互方式主要有语音提示、触觉震动。语义提示通常播报简短的信息，需要一定的时间播放，造成延迟和事故风险，而且可传递的信息量少。触觉震动通过震动腰带或者震动背心为硬件，以震动来提示一些方位信息，可以解决延迟的问题，但给视障人士带来负担，不同人的穿戴感受不同。

技术实现要素：

本发明的目的在于针对现有技术的不足，提供一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法。

本发明的目的是通过以下技术方案实现的：一种基于rgb-d相机和立体声的视障人士斑马线检测系统，所述系统包含一个rgb-d相机，一个姿态角传感器，一个usb集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。rgb-d相机与姿态角传感器通过usb集线器与小型处理器相连，电池模块与小型处理器相连。rgb-d相机实时地采集三维场景的彩色图像和深度图像。姿态角传感器实时获取rgb-d相机的姿态角。小型处理器对rgb-d相机采集的彩色图像和深度图像，姿态角传感器采集的姿态角信息进行分析，检测出三维场景的斑马线区域，并计算出斑马线区域和方向，并将处理结果转化为立体声信号，传到骨传导耳机模块。骨传导耳机模块将立体声信号转化为骨传导震动信号，传到两个骨传导震动模块。最终骨传导震动模块通过震动传输立体声信号给视障用户，告知视障用户当前场景中斑马线区域的区域和方向。

上述系统的斑马线检测方法如下：

(1)对rgb-d相机进行一次相机标定，获取rgb-d相机的焦距f，主点位置(cx,cy)。

(2)rgb-d相机采集三维场景的深度图像depth和彩色图像color。

(3)姿态角传感器采集rgb-d相机x，y，z三轴方向的转角anglex，angley，anglez。

(4)usb集线器将深度图像depth，彩色图像color，三轴方向的转角anglex，angley，anglez传给小型处理器。

(5)小型处理器根据深度图像depth，rgb-d相机的焦距f，主点位置(cx,cy)，可计算出每一点在相机坐标系下的三维坐标(xc,yc,zc)。深度图像depth中一点坐标为(u,v)，其深度值为depth，则相机坐标系下三维坐标(xc,yc,zc)可由公式(1)计算出：

(6)根据深度图像中每一点在相机坐标系下的三维坐标(xc,yc,zc)，以及姿态角传感器三轴方向的转角分布为anglex＝α，angley＝β，anglez＝γ，则可由公式(2)计算出每一点在世界坐标系下的三维坐标(xw,yw,zw)：

(7)三维场景中的每一点到rgb-d相机所在水平面的高度值h可由该点世界坐标系下的三维坐标的分量yw表示。

(8)通过深度图像depth中所有点的分量yw对各个点进行识别,yw在(h0-δh,h0+δh)内则表示该点为地面上的点,否则为非地面点；其中，h0为rgb-d相机到水平面的竖直高度，δh一般为0.1米；将彩色图像color中的非地面点的颜色置为透明色，获得只留下地平面上的点的彩色图像colorg，即去除空中物体对斑马线检测的干扰。

(9)对只留下地平面上的点的彩色图像colorg均分成大小为m×n的小块，且m、n均大于斑马线的宽度。

(10)对每个小块进行自适应灰度二值化处理，得到该小块图像的二值化阈值，将小块的所有像素分成两部分。第一部分的像素灰度低于阈值，这些像素的平均灰度为μ1，占所有像素的比例为α，第二部分的像素灰度大于等于阈值，这些像素的平均灰度为μ2，占所有像素的比例为1-α。小块中所有像素的灰度方差为从而可定义一个双极系数γ，表示小块的黑白分明的程度，双极系数γ可由公式(3)计算：

双极系数γ的变化范围为0～1，双极系数γ越大，越接近黑白分明的斑马线图案。

(11)对每每个小块，如果双极系数γ大于阈值threshold(该阈值的取值范围通常为0.85～0.95)，则这一小图像块为斑马线的候选区域。

(12)对所有斑马线的候选区域进行连通域分析，去除一些零碎的小块(即不与其他候选区域连通的小块)，连通的小块形成一整块斑马线区域。

(13)根据该斑马线区域中每一点的三维坐标(xw,yw,zw)，可获得斑马线区域到视障用户的距离为(由斑马线区域中所有点的平均深度表示)，斑马线区域的方向角θ(由斑马线区域中点的平均水平坐标与平均深度之商的反正切表示，即)。

(14)用一种特定音色的乐器来表示斑马线区域，斑马线区域的距离越大，则该乐器的响度volume越大。该乐器的发声为立体声，立体声方向与斑马线区域的方向角θ相对应。乐器可选钢琴、小提琴、锣、小号、木琴等有特别音色并悦耳的。

(15)小型处理器将立体声信号传给骨传导耳机模块。

(16)骨传导耳机模块将立体声信号转为骨传导震动信号。

(17)骨传导震动模块将骨传导信号传递给视障用户。

本方法相比以往的视障人士辅助方法的优势主要在于：

1、可以检测出斑马线区域的距离与方向。由于采用rgb-d相机进行斑马线区域的检测，可以获知三维信息，因此可以检出斑马线区域到视障用户的距离，以及在视障用户的什么方位，这为视障人士在路口等室外场景的通行提供了极大的便利和帮助。

2、可以去除空中物体等其他不是地面区域的物体对斑马线检测的干扰。由于采用rgb-d相机与姿态角传感器，可获得场景中物体的真实的高度值，因此可以只对地平面附近的高度范围的图像进行检测，不会将空中物体误检测为斑马线，这极大了提高了斑马线检测的准确性和可靠性，有助于视障人士在路口准确地判断并通行。

3、处理速度快。由于本方法利用三维信息去除了彩色图像中的很多干扰，省去了对这些区域的处理，并且在检测斑马线的过程中只需计算分块图像的双极系数等简单操作，因此计算量小，处理速度快，能够及时的输出结果，并反馈给视障人士从而进行辅助。

4、斑马线区域上有人或有车也可以及时响应。由于斑马线区域上有人或者车经过时，这些不在地平面高度范围的点将被去除，因此在检出结果会产生变化，传递给视障人士的立体声信号也会发生变化，视障人士从而可以判断出斑马线区域被人或车占据，预警斑马线上行人、车辆的碰撞。

5、可自然地帮助视障人士过马路。因为视障人士离斑马线区域的距离越远，立体声的响度越大，斑马线区域的距离越近，立体声的响度越小。因此视障人士在远离斑马线区域就能听出斑马线区域的方位，并且此时声音响度大，视障人士能对方位区分很精确。而当视障人士在靠近斑马线区域时，声音响度小，只是提示视障人士在正确的行进路线上，不会对视障人士的双耳造成较大的干扰。声音响度的大小的过度变化，可以很自然地辅助视障人士过马路。

6、不占用双耳。本方法采用骨传导耳机传递信号给视障人士，不妨碍视障人士在路况通行时听取外界的声音。比如视障人士会通过车流的声音判断两侧有没有汽车靠近。

7、不占用双手。本方法使用rgb-d相机、姿态角传感器和小型处理器，都是便携和可穿戴的，不会给视障用户带来很大的负担，也无需视障人士用手拿辅助工具。

附图说明

图1为视障人士斑马线检测系统的模块连接示意图；

图2为视障人士斑马线检测系统的结构示意图；

图3为斑马线区域检测效果灰度图；

图4为斑马线区域检测效果灰度图；

图5为斑马线区域检测效果灰度图。

具体实施方式

如图1所示，一种基于rgb-d相机和立体声的视障人士斑马线检测系统，所述系统包含一个rgb-d相机，一个姿态角传感器，一个usb集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。rgb-d相机与姿态角传感器通过usb集线器与小型处理器相连，电池模块与小型处理器相连。rgb-d相机实时地采集三维场景的彩色图像和深度图像。姿态角传感器实时获取rgb-d相机的姿态角。小型处理器对rgb-d相机采集的彩色图像和深度图像，姿态角传感器采集的姿态角信息进行分析，检测出三维场景的斑马线区域，并计算出斑马线区域和方向，并将处理结果转化为立体声信号，传到骨传导耳机模块。骨传导耳机模块将立体声信号转化为骨传导震动信号，传到两个骨传导震动模块。最终骨传导震动模块通过震动传输立体声信号给视障用户，告知视障用户当前场景中斑马线区域的区域和方向。该系统可以设计成类似于图2所述的眼镜，以达到美观效果。

上述系统的斑马线检测方法如下：

(1)对rgb-d相机进行一次相机标定，获取rgb-d相机的焦距f，主点位置(cx,cy)。

(2)rgb-d相机采集三维场景的深度图像depth和彩色图像color。

(3)姿态角传感器采集rgb-d相机x，y，z三轴方向的转角anglex，angley，anglez。

(4)usb集线器将深度图像depth，彩色图像color，三轴方向的转角anglex，angley，anglez传给小型处理器。

(5)小型处理器根据深度图像depth，rgb-d相机的焦距f，主点位置(cx,cy)，可计算出每一点在相机坐标系下的三维坐标(xc,yc,zc)。深度图像depth中一点坐标为(u,v)，其深度值为depth，则相机坐标系下三维坐标(xc,yc,zc)可由公式(1)计算出：

(6)根据深度图像中每一点在相机坐标系下的三维坐标(xc,yc,zc)，以及姿态角传感器三轴方向的转角分布为anglex＝α，angley＝β，anglez＝γ，则可由公式(2)计算出每一点在世界坐标系下的三维坐标(xw,yw,zw)：

(7)三维场景中的每一点到rgb-d相机所在水平面的高度值h可由该点世界坐标系下的三维坐标的分量yw表示。

(8)通过深度图像depth中所有点的分量yw对各个点进行识别,yw在(h0-δh,h0+δh)内则表示该点为地面上的点,否则为非地面点；其中，h0为rgb-d相机到水平面的竖直高度，δh一般为0.1米；将彩色图像color中的非地面点的颜色置为透明色，获得只留下地平面上的点的彩色图像colorg，即去除空中物体对斑马线检测的干扰。

(9)对只留下地平面上的点的彩色图像colorg均分成大小为m×n的小块，且m、n均大于斑马线的宽度。

(10)对每个小块进行自适应灰度二值化处理，得到该小块图像的二值化阈值，将小块的所有像素分成两部分。第一部分的像素灰度低于阈值，这些像素的平均灰度为μ1，占所有像素的比例为α，第二部分的像素灰度大于等于阈值，这些像素的平均灰度为μ2，占所有像素的比例为1-α。小块中所有像素的灰度方差为从而可定义一个双极系数γ，表示小块的黑白分明的程度，双极系数γ可由公式(3)计算：

双极系数γ的变化范围为0～1，双极系数γ越大，越接近黑白分明的斑马线图案。

(11)对每每个小块，如果双极系数γ大于阈值threshold(该阈值的取值范围通常为0.85～0.95)，则这一小图像块为斑马线的候选区域。

(12)对所有斑马线的候选区域进行连通域分析，去除一些零碎的小块(即不与其他候选区域连通的小块)，连通的小块形成一整块斑马线区域。

(13)根据该斑马线区域中每一点的三维坐标(xw,yw,zw)，可获得斑马线区域到视障用户的距离为(由斑马线区域中所有点的平均深度表示)，斑马线区域的方向角θ(由斑马线区域中点的平均水平坐标与平均深度之商的反正切表示，即)。

(14)用一种特定音色的乐器来表示斑马线区域，斑马线区域的距离越大，则该乐器的响度volume越大。该乐器的发声为立体声，立体声方向与斑马线区域的方向角θ相对应。乐器可选钢琴、小提琴、锣、小号、木琴等有特别音色并悦耳的。

(15)小型处理器将立体声信号传给骨传导耳机模块。

(16)骨传导耳机模块将立体声信号转为骨传导震动信号。

(17)骨传导震动模块将骨传导信号传递给视障用户。