一种智能盲人辅助眼镜的制作方法

本发明属于盲人辅助技术、双目视觉技术、三维环境感知技术、声音编码技术领域。本发明涉及一种利用红外投射器投射不可见的近红外静态散斑，利用两个红外相机和一个彩色相机采集图像，利用姿态角传感器获取相机的姿态角信息，对图像中的深度信息和颜色信息、姿态角信息进行处理，检测出图像中的地面和障碍物，最后将检测结果转化为非语义的声音编码，通过骨传导耳机传递给盲人进行辅助的眼镜。

背景技术：

根据世界健康组织统计，全世界有四千万盲人。盲人损失了正常的视觉，对颜色、形状、距离、运动的理解都很困难，他们的生活在起居、出行等方面都受到了巨大的影响。

传统的盲人辅助工具比如盲人手杖，盲人需要反复移动手杖，才能获知面前的情况，既费时也费力。盲人手杖的探测距离有限，只能检测脚边的障碍物，也无法反映远处和空中的状况。导盲犬可以为盲人提供帮助，但是导盲犬的训练和养护费用是高昂的，普通家庭难以承担。有些场合，导盲犬不能陪同盲人进入，比如公交车和火车站，因此导盲犬的辅助是有局限性的。仿生眼可以帮助盲人恢复部分视觉，但仿生眼的植入需要进行手术，费用高昂。仿生眼只适用于视网膜色素变性或老年性黄斑变性导致失明的盲人。视觉神经损坏的盲人无法通过植入仿生眼恢复部分视觉。

电子式的视障辅助工具主要使用超声波技术、激光测距技术、双目视觉技术、激光散斑编码技术、激光雷达技术、毫米波雷达技术、热成像技术、全球定位系统(GPS)。基于超声波技术和激光测距技术的测距范围有限，只能实现单点测距，获取的信息量太少，且耗电多，设备笨重，只能实现报警功能，容易受环境干扰。基于双目视觉技术的辅助依赖于环境中特征点和纹理的丰富程度，对于一些纹理单一的场景失效，如室内的白墙，光滑地面等。双目视觉技术会受镜面反射等特殊情形的欺骗，从而造成漏判或者误判。基于激光散斑编码技术的辅助在室外失效，因为主动投射的结构光被阳光淹没，从而无法识别编码的散斑。激光散斑编码技术由于受到功率限制，存在最远距离，超过最远距离的物体无法对其测距。基于激光雷达技术的辅助成本高，通常采样率低，对灰尘、雾霾、雨水敏感，而且无法获取颜色和纹理信息。基于毫米波雷达的辅助分辨率低，信号处理过程难。基于热成像技术的辅助分辨率低，标定过程复杂，且只能检测人和动物等发热物体。基于GPS的辅助精度低，会有信号损失，不能在室内使用，而且无法获取局部动态的障碍物信息。

传统盲人辅助的交互方法主要有语音提示、触觉震动的方法。语义提示通常播报障碍物的距离和方向，需要一定的时间播放，造成延迟和事故风险，而且可传递的信息量小。触觉震动通过以震动腰带或者震动背心为硬件，以震动来提示障碍物的方位，震动装置可以解决延迟的问题，但给盲人带来负担，不同人的 穿戴感受不同。

技术实现要素：

本发明的目的是针对现有技术的不足，提供一种智能盲人辅助眼镜。

本发明是目的是通过以下技术方案实现的：一种智能盲人辅助眼镜，所述眼镜包含眼镜本体、一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。三个相机的姿态角一致，且通过姿态角传感器实时地获取。姿态角传感器与串口转USB模块相连，红外投射器、两个红外相机、彩色相机、串口转USB模块分别通过USB集线器与小型处理器相连，电池模块与小型处理器相连。所述一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块均固定在镜架上，且两个相同的红外相机固定在连个镜片的正上方，彩色相机和红外投射器位于两个红外相机之间。两个红外相机、一个彩色相机的光轴彼此平行，朝向前。两个骨传导震动模块位于两个镜脚中间偏后处，贴合盲人耳朵前方的颅骨处。姿态角传感器和串口转USB模块位于右镜脚，骨传导耳机模块、USB集线器和电池模块位于左镜脚。小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的红外图像。彩色相机实时地采集三维场景的彩色图像。姿态角传感器实时采集三个相机的姿态角，串口转USB模块将姿态角传感器输出的串口数据(姿态角)转为USB数据。USB集线器将相机获取的图像和姿态角传感器获取的数据，传给小型处理器。小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理，检测出场景中的地面和障碍物信息，并将检测结果转为非语义的声音编码信号，并传给骨传导耳机模块。骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号，传给两个骨传导震动模块。两个骨传导震动模块，传递骨传导震动信号给盲人用户

进一步地，所述眼镜通过以下方法对盲人进行智能辅助：

(1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，两个红外相机的基线距离B_IR-IR。

(2)对彩色相机进行一次相机标定，获取彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)。

(3)对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离B_IR-COLOR。

(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中。

(5)两个红外相机采集三维场景的两张红外图像IR_left和IR_right。

(6)彩色相机采集三维场景的彩色图像Color。

(7)姿态角传感器采集三个相机的X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z。

(8)串口转USB模块将姿态角传感器获取的串口数据转为USB数据。

(9)USB集线器将两张红外图像IR_left和IR_right，彩色图像Color，X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z传给小型处理器。

(10)小型处理器对两张红外图像IR_left和IR_right提取Sobel边缘，获取两张Sobel边缘图像Sobel_left和Sobel_right。

(11)以左Sobel边缘图像Sobel_left为基准，对两张Sobel边缘图像Sobel_left和Sobel_right进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e₁,e₂,e₃,...,e_M}。在左Sobel边缘图像Sobel_left中，每一个有效点为e＝(u,v,d)^T，u为横坐标像素值，v为纵坐标像素值，d为视差值。

(12)以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d＝a_iu+b_iv+c_i，其中a_i，b_i，c_i为第i个视差平面的系数。

(13)在这些视差平面的基础上，将未匹配的像素点(u',v',d')^T转换为匹配的有效点(u,v,d)^T；具体为：该像素点(u',v',d')^T到第i视差平面的距离为设能量函数为 其中ε，σ为常数。对该像素点，遍历视差搜索范围所有的视差值d'＝{d'_min,...,d'_max}，求出使得能量函数Energy(d')最小的视差值，当成该像素点的视差值d。另外，u＝u'，v＝v'。

(14)遍历所有未匹配的像素点，获取每个未匹配的像素点的视差值，得到以左红外相机为基准的视差图像Disparity_left。

(15)根据两个红外相机的焦距f_IR和基线距离B_IR-IR，遍历视差图像中的每一点(u,v,d)，其深度值为因此深度图像Depth_left中每一点对应为(u,v,depth)，从而获得左红外相机为基准的深度图像Depth_left。

(16)根据深度图像Depth_left，两个红外相机的焦距f_IR和左红外相机的主点位置(c_IR-x,c_IR-y)，可计算出每一点在相机坐标系下的三维坐标(X,Y,Z)。深度图像Depth_left中一点坐标为(u,v)，其深度值为depth，则三维坐标(X,Y,Z)可由公式(1)计算出：

(17)根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z)，以及姿态角传感器三轴方向的转角分别为Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，则可由公式(2)计算出每一点在世界坐标系下的坐标(X_w,Y_w,Z_w)：

(18)对于深度图像中所有的三维点，随机选取3个点，这3个点可以形成一个平面，平面方程为AX_w+BY_w+CZ_w+D＝0。如果(n_th为阈值，取0.85～0.95)，说明该平面和水平面夹角较小，可作为地面的候选，否则跳出进行下一次随机取点。对可作为地面候选的平面，计算出每一点(X_i,Y_i,Z_i)到该平面的距离如果DPS_i<T，(T为阈值，取20mm～100mm)，则内点Inliers增加1，所述内点为满足DPS_i<T的点。一般近似为该平面内的点。随机取点20～30次，并重复上述处理，取20～30次结果中内点Inliers最多的平面作为初始地面检测结果OriginalTraversableArea。

(19)利用深度图像Depth_left和彩色图像Color，两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，彩色相机的焦距f_color，彩色相机的主点位置(c_COLOR-x,c_COLOR-y)，以及左红外相机和彩色相机的基线距离B_IR-COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depth_color。

(20)对彩色图像进行颜色空间变换，获取在HSV颜色空间中的彩色图HSV。对彩色图像提取Canny边缘，获取彩色图像的边缘图像Canny。

(21)初始地面检测的地面结果中的像素点，其中四邻域不全是地面的像素点设为种子点。将种子点都压入种子点堆栈。

(22)设定种子点可向四邻域生长的条件：①这个种子点没有遍历过；②这个种子点不属于边缘图像Canny的有效点。

(23)从种子点堆栈中取出一个种子点，如果该种子点满足可向四邻域生长的条件，进行以下处理。对种子点G，该点的色调值为h，它的其中一个四邻域像素点G_i，该点的色调值为h_i，如G_i不属于边缘图像Canny的有效点，G_i没有被遍历过，且|h-h_i|<δ，其中δ是阈值(取2～5)，则G_i也视为可通行的地面，压入种子点堆栈。当遍历堆栈中所有种子点后，种子区域生长结束。初始地面检测结果 OriginalTraversableArea经过种子区域生长，被扩展到了距离更长，范围更广的扩展地面检测结果ExpandedTraversableArea。

将扩展地面检测结果ExpandedTraversableArea分为K个方向，根据ExpandedTraversableArea中每个点的世界坐标系下的三维坐标，得到K个方向上地面的长度和K个方向上地面的宽度。

(24)用不同音色的人的合唱来表示扩展地面检测结果。不同方向的地面用不同音色的人声表示，不同方向地面的长度Length与声音的响度Volume成正比，不同方向地面的宽度Width与声音的频率Pitch成正比。每个方向的人声都为立体声。

(25)将深度图像Depth_color的地面区域的像素点的深度置为0，获得除去地面区域的无地面深度图像DepthWithoutGround，以表示障碍物信息；将无地面深度图像DepthWithoutGround分为J个方向，用不同音色的乐器的合奏来表示无地面深度图像DepthWithoutGround。不同方向的图像用不同音色的乐器表示，不同方向的平均深度Depth与这个方向乐器声音的响度Volume成反比。平均深度Depth为零则不发声。每个方向的乐器声都为立体声。

(26)小型处理器将非语义的声音编码信号通过无线传给骨传导耳机模块。

(27)骨传导耳机将非语义的声音编码信号转为骨传导震动信号。

(28)骨传导震动模块将骨传导震动信号传递给盲人用户。

本方法相比以往的盲人辅助方法的优势主要在于：

1、环境适用性。由于使用红外投射器和两个红外传感器，该方法在室内室外都可以使用。在室内时，红外投射器投射的静态近红外光斑给三维场景增加了纹理，有利于获取稠密的深度图像。在室外时，阳光的近红外部分和三维场景结合，有利于获取稠密的深度图像。稠密的深度图像可以保证地面检测的鲁棒性和辅助交互的体验效果。

2、稳定的检测结果。相比传统的仅利用深度图像检测地面的方法，利用姿态角信息和深度图像产生的三维坐标用于检测地面，有利于消除大部分采样误差，提高地面检测的鲁棒性和稳定性。

3、兼顾反映近处远处的情况。去除地面部分的深度图像经过非语义的声音编码，可以很好的反馈近处的信息，有利于障碍物的预警。利用深度图像和彩色图像扩展的地面检测结果经过非语义的声音编码，可以很好的表示更远和更宽广的可通行区域，有利于盲人提前规划路径和提升盲人在开阔地带漫步的体验。

4、可检测空中的障碍物。传统的盲人手杖只能探测脚边的路况，不能照顾前方空中的情况，新型智能盲人辅助眼镜，可以预警空中的障碍物，从而防止盲人用户碰撞空中的树枝或门梁等物体。

5、不占用双耳。新型智能盲人辅助眼镜，采用骨传导耳机传递信号给盲人用户，不妨碍用户听取外界的声音。

6、不占用双手。新型智能盲人辅助眼镜可穿戴，便携的小型处理器可以放在口袋或者小包里，既不会给盲人带来很大的负担，也无需盲人用手拿辅助工具。

7、反馈充分的信息量。相比语义式的语音播报，非语义的声音编码利用人声的不同音色、不同频率、不同响度以及立体声效果表示地面检测结果，利用乐器的不同音色、不同响度以及立体声效果表示去除地 面的深度图像，可以充分传递前方的路况和障碍物信息。

8、保护隐私。新型智能盲人辅助眼镜外形生活化，盲人用户穿戴时，和正常人佩戴普通眼镜一样，可以保护盲人用户的隐私，不会引起外界的过度关注。

附图说明

图1为新型智能盲人辅助眼镜模块图；

图2为新型智能盲人辅助眼镜结构图；

图3为新型智能盲人辅助眼镜结构图；

图4为新型智能盲人辅助眼镜穿戴效果；

图5为新型智能盲人辅助眼镜穿戴效果；

图6为新型智能盲人辅助眼镜穿戴效果；

图7为新型智能盲人辅助眼镜穿戴效果；

图8为姿态角传感器的X、Y、Z三轴方向。

具体实现方式

新型智能盲人辅助眼镜的组成部分：

新型智能盲人辅助眼镜包含眼镜本体、一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一块电池模块。

新型智能盲人辅助眼镜各组成部分的功能：

红外投射器向三维场景中投射不可见的静态近红外散斑。

两个红外相机实时地采集三维场景的两幅红外图像。

彩色相机实时地采集三维场景的一幅彩色图像。

姿态角传感器实时地获取相机三个方向的姿态角。

串口转USB模块将姿态角传感器输出的串口数据转为USB数据。

USB集线器和红外投射器、两个红外相机、彩色相机、串口转USB模块相连。USB集线器将相机获取的图像和姿态角传感器获取的数据，传给小型处理器。

小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理，检测出场景中的地面和障碍物信息，并将检测结果转为非语义的声音编码信号，通过蓝牙传给骨传导耳机模块。小型的处理器可以是便携的笔记本电脑、平板电脑或者计算棒。

骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号，传给两个骨传导震动模块。

两个骨传导震动模块，传递骨传导震动信号给盲人用户。

电池模块给系统供电。

新型智能盲人眼镜的各组成部分的位置关系：

从美观上考虑，眼镜本体的框架可设计成粗框架，本发明的各个部件可嵌于粗框架内，其中，两个相同的红外相机嵌于两个镜片正上方的框架内，彩色相机和红外投射器嵌于两个红外相机之间的框架内。三个相机的姿态角相同，两个红外相机、一个彩色相机的光轴彼此平行，朝向前。

两个骨传导震动模块嵌于两个镜脚中间偏后处，贴合盲人耳朵前方的颅骨处。姿态角传感器和串口转USB模块嵌于右镜脚内，骨传导耳机模块、USB集线器和电池模块嵌于左镜脚内。

姿态角传感器的X、Y、Z三轴方向如图8所示，其中X轴、Y轴均与两个红外相机、一个彩色相机的光轴方向垂直。

新型智能盲人辅助眼镜辅助方法的流程：

新型智能盲人辅助眼镜辅助方法的流程可分为以下几步。

1-3为相机标定，在新型智能盲人辅助眼镜出厂之前完成，只需执行一次，即可获取相机的参数和相对位置关系。

1、对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，两个红外相机的基线距离B_IR-IR。

2、对彩色进行一次相机标定，获取彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)。

3、对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离B_IR-COLOR。

4-28在使用过程中，每一帧都执行一次。

4-15为根据两幅红外图像获取深度图像。

4、红外投射器实时地投射不可见的静态近红外散斑到三维场景中。

5、两个红外相机采集三维场景的两张红外图像IR_left和IR_right。

6、彩色相机采集三维场景的彩色图像Color。

7、姿态角传感器采集X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z。

8、串口转USB模块将姿态角传感器获取的串口数据转为USB数据。

9、USB集线器将两张红外图像IR_left和IR_right，彩色图像Color，X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z传给小型处理器。

10、小型处理器对两张红外图像IR_left和IR_right提取Sobel边缘，获取两张Sobel边缘图像Sobel_left和Sobel_right。

11、以左Sobel边缘图像Sobel_left为基准，对两张Sobel边缘图像Sobel_left和Sobel_right进行基于图像块的 图像匹配，获取一系列匹配好的有效点E＝{e₁,e₂,e₃,...,e_M}。在左Sobel边缘图像Sobel_left中，每一个有效点为e_m＝(u_m,v_m,d_m)^T，u_m为横坐标像素值，v_m为纵坐标像素值，d_m为视差值。

12、以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d_n＝a_iu_n+b_iv_n+c_i，其中a_i，b_i，c_i为第i个视差平面的系数。

13、在这些视差平面的基础上，获取未匹配的像素点的视差值。每个未匹配的像素点，其待求的视差值为d_x。因此该像素点为(u_x,v_x,d_x)^T，到第i视差平面的距离为设能量函数为其中ε，σ为常数。对该像素点，遍历视差搜索范围所有的视差值d_x＝{d_min,...,d_max}，求出使得能量函数Energy(d_x)最小的视差值d_min-energy，当成该像素点的视差值。

14、遍历所有未匹配的像素点，获取每个点的视差值，得到以左红外相机为基准的视差图像Disparity_left。

15、根据两个红外相机的焦距f_IR和基线距离B_IR-IR，将视差图像Disparity_left转为左红外相机为基准的深度图像Depth_left。遍历视差图像中的每一点(u_m,v_m,d_m)，其深度值为因此深度图像Depth_left中每一点对应为(u_m,v_m,depth_m)。

16-17为根据深度图像和姿态角信息，获取深度图像中每一点的三维坐标。

16、根据深度图像Depth_left，两个红外相机的焦距f_IR和左红外相机的主点位置(c_IR-x,c_IR-y)，可计算出每一点在相机坐标系下的三维坐标(X,Y,Z)。深度图像Depth_left中一点坐标为(u,v)，其深度值为depth，则三维坐标(X,Y,Z)可由公式(1)计算出：

17、根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z)，以及姿态角传感器三轴方向的转角分别为Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，则可由公式(2)计算出每一点在世界坐标系下的坐标(X_w,Y_w,Z_w)：

18为利用深度图像中的三维点坐标，获取初始地面检测结果。

18、对于深度图像中所有的三维点，随机选取3个点，这3个点可以形成一个平面，平面方程为AX_w+BY_w+CZ_w+D＝0。如果说明该平面和水平面夹角较小，可作为地面的候选，否则跳出进行下一次随机取点。对可作为地面候选的平面，计算出每一点到该平面的距离如果DPS_i<T，(T＝20mm～100mm)，则内点Inliers增加1。随机取点m次，并重复上述处理，取m次结果中内点Inliers最多的平面作为初始地面检测结果OriginalTraversableArea。

19-23为利用深度图像、彩色图像和初始地面检测结果，利用种子区域生长扩展地面检测结果。

19、利用深度图像Depth_left和彩色图像Color，两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)，以及左红外相机和彩色相机的基线距离B_IR-COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depth_color。

20、对彩色图像进行颜色空间变换，获取在HSV颜色空间中的彩色图HSV。对彩色图像提取Canny边缘，获取彩色图像的边缘图像Canny。

21、初始地面检测的地面结果中的像素点，其中四邻域不全是地面的像素点设为种子点。将种子点都压入种子点堆栈。

22、种子点可向四邻域生长的条件包括：①这个种子点没有遍历过；②这个种子点不属于边缘图像Canny的有效点。

23、从种子点堆栈中取出一个种子点，如果该种子点满足可向四邻域生长的条件，进行以下处理。对种子点G，该点的色调值为h，它的其中一个四邻域像素点G_i，该点的色调值为h_i，如G_i不属于边缘图像Canny的有效点，G_i没有被遍历过，且|h-h_i|<δ，其中δ＝2～5，则G_i也视为可通行的地面，压入种子点堆栈。当种子点堆栈为空堆栈时，种子区域生长结束。初始地面检测结果OriginalTraversableArea经过种子区域生长，被扩展到了距离更长，范围更广的扩展地面检测结果ExpandedTraversableArea。

24-26为将扩展地面检测结果和非地面区域转为非语义的声音编码信号。

24、将扩展地面检测结果ExpandedTraversableArea分为K个方向，用不同音色的人的合唱来表示扩展地面检测结果。不同方向的地面用不同音色的人声表示，不同方向地面的长度Length与声音的响度Volume成正比，不同方向地面的宽度Width与声音的频率Pitch成正比。每个方向的人声都为立体声。

25、将深度图像的地面区域的像素点的深度置为0，获得除去地面区域的无地面深度图像DepthWithoutGround，也就是障碍物信息分为K个方向，用不同音色的乐器的合奏来表示无地面深度图像DepthWithoutGround。不同方向的图像用不同音色的乐器表示，不同方向的平均深度Depth与这个 方向乐器声音的响度Volume成反比。平均深度Depth为零则不发声。每个方向的乐器声都为立体声。

26、小型处理器通过蓝牙模块将非语义的声音编码信号传给骨传导耳机模块。

27-28为骨传导耳机传递非语义的声音编码信号给盲人用户。

27、骨传导耳机将非语义的声音编码信号转为骨传导震动信号。

28、骨传导震动模块将骨传导震动信号传递给盲人用户。