本发明涉及可穿戴设备领域，尤其涉及一种基于增强型双目图像传感器与3D毫米波雷达的可穿戴避障方法及装置。
背景技术：
眼睛是人类获取外部信息最多的器官，存在视觉障碍的人，很难应对日常生活中经常出现的障碍物。简单的盲杖提供的帮助有限，经常会出现漏检的情况；导盲犬则需要长达数年的专业训练，并且在有的场合不允许进入；仿生眼植入对人体有创伤，并且高昂的费用，并不适合普通视觉障碍人士使用。而传统的电子视觉辅助工具主要包括双目视觉辅助系统、主动光深度相机辅助系统、激光测距系统等。
基于双目相机的视觉辅助技术可以提供一定范围内的深度图像，为视觉障碍人士躲避障碍物能够提供一定的帮助，但是单套双目相机系统，对于图像匹配有很高的要求，对于纹理不显著的地方容易造成漏检，并且需要的匹配算法复杂，需要的计算量大，容易造成处理结果延迟。
主动光深度相机相比双目相机优点在于能够实时获取稠密精确深度图像，但是在室外受日光的影响较大，造成远处障碍物无法准确探测。并且相机都有固定的视场角，不能准确探测视场角以外的环境状况。而激光测距或者超声波测距系统只能针对单点物体测距，不能有限探测障碍物的整体形貌，也很容易造成障碍物的误判和漏判。
随着技术的发展，集成了双目系统和主动光深度相机的增强型双目图像传感器已经出现，能够在一定程度上解决双目相机和主动光深度相机的弊端。同时，小型化低功耗的3D毫米波雷达系统已经出现，并开始大规模应用。将增强型双目图像传感器和低功耗的3D毫米波雷达融合起来使用，能够帮助视觉障碍人士躲避存在的障碍物。小体积低功耗的特点也使其在无人机等注重体积和功耗的运动设备领域有广阔的应用。
技术实现要素：
本发明针对现有技术的不足，提供了一种基于增强型双目图像传感器与3D毫米波雷达的可穿戴避障方法及装置。
本发明所采用的技术方案如下：一种基于增强型双目图像传感器与3D毫米波雷达的可穿戴避障方法，包括如下步骤：
步骤1、通过3D毫米波雷达和增强型双目图像传感器采集障碍物的距离、速度和方位的数据；
步骤2、将3D毫米波雷达和图像传感器采集的信息进行融合；
步骤3、将融合后的障碍物的距离、速度和方位信息以声音编码的信息交互方式告知设备佩戴者。
进一步的，所述步骤1具体为：
步骤1.1、3D毫米波雷达探测障碍物在三维空间中的距离、速度以及运动方向信息；
步骤1.2、增强型双目图像传感器探测障碍物的深度信息和彩色信息。
进一步的，所述步骤2具体为：
步骤2.1、根据3D毫米波雷达探测到的障碍物的数量以及距离信息，将不同距离的障碍物划分到不同的群组，得到划分的阈值；
步骤2.2、对图像传感器输出的深度信息和彩色信息进行进一步处理，使用深度学习的方法在彩色信息中确定障碍物的外部轮廓，并将该轮廓映射到深度图中，从而得到障碍物的距离信息，同时利用Mean Shift方法跟踪障碍物，并计算出速度信息；
步骤2.3、根据步骤2.1得到的阈值信息，将图像的深度信息进行分层，在不同的层里对图像探测到的障碍物和雷达探测到的障碍物进行融合；
步骤2.4、融合时要根据障碍物所处不同的距离给图像传感器和雷达传感器不同的置信度；
步骤2.5、根据不同的置信度，采用卡尔曼滤波的方法来计算确定障碍物的距离、速度和方位信息。
进一步的，所述步骤3具体为：
步骤3.1、根据融合后的信息最终确定障碍物的距离、速度以及方位信息，通过声音编码的方式，即将障碍物的距离信息映射到声音的响度上，将障碍物的方位映射到声音的音色上，将障碍物的运动速度及其方向映射到声音的频率上，根据这个规则将探测到障碍物的信息编码成声音信号。
步骤3.2、将编码生成的非语义声音信号传递给设备佩戴者。
进一步的，所述步骤3.2中，非语义声音信号通过有线耳机、蓝牙耳机或骨传导耳机传递给设备佩戴者。
本发明还提供一种基于增强型双目图像传感器与3D毫米波雷达的可穿戴避障装置，包括图像传感器、雷达传感器、信息融合模块和信息交互模块，将图像传感器和雷达传感器通过一刚性连接架固定在一起，保证两个传感器在一个平面内；
所述图像传感器为增强型具有深度信息的双目图像系统，该系统包含有主动投射器、红外双目相机、彩色单目相机和图像处理器，红外双目相机和彩色单目相机均与图像处理器相连，所述主动投射器向外投射红外散斑；在室内环境光照度小于500lx的情况下，主动光投射器向外投射红外散斑，并且该散斑经过调制，打在障碍物上，反射光被红外相机接收，障碍物改变了散斑的状态，经过计算散斑的状态就能知道障碍物的深度信息；当传感器在室外环境光照度大于500lx的情况下，红外双目相机通过纯双目相机的方式，计算出障碍物的深度信息，此外彩色单目相机获取普通的彩色信息；再使用深度学习的方法在彩色信息中确定障碍物的外部轮廓，并将该轮廓映射到深度图中，从而得到障碍物的距离信息，同时利用Mean Shift方法跟踪障碍物，并计算出速度信息；
所述雷达传感器为3D毫米波雷达传感器，用于获取障碍物在空间中的距离和速度的三维坐标；
所述信息融合模块将图像传感器和雷达传感器检测到的障碍物通过数据融合的方式最终确定障碍物的距离、速度和方位信息；
所述信息交互模块将障碍物的距离、速度和方位信息，通过声音编码的方式，告知设备穿戴者。
进一步的，所述信息融合模块在数据融合的过程中根据3D毫米波雷达探测到的障碍物的数量以及距离信息，将不同距离的障碍物划分到不同的群组，得到划分的阈值；根据阈值信息，将图像的深度信息进行分层，在不同的层里对图像探测到的障碍物和雷达探测到的障碍物进行融合；融合时要根据障碍物所处不同的距离给图像传感器和雷达传感器不同的置信度；根据不同的置信度，采用卡尔曼滤波的方法来计算确定障碍物的距离、速度和方位信息。
进一步的，所述信息交互系统采用立体声音映射的方式，将障碍物的距离信息映射到声音的响度上，将障碍物的速度信息映射到声音的频率上，将障碍物的方位映射到声音的音色上。
本发明的有益效果是：本发明融合了3D毫米波雷达和增强型双目图像传感器的信息，能够解决单一设备测量结果不可靠等问题，提高测量的精度和可靠度，帮助视觉障碍人士躲避存在的障碍物。
附图说明
图1为本发明系统流程图；
图2为本发明装置的配置示意图；
图3为本发明的增强型双目图像传感器结构示意图；
图4为本发明的3D毫米波雷达天线分布示意图。
具体实施方式
下面结合附图对本发明作进一步的说明。
本发明提出了一种基于增强型双目图像传感器与3D毫米波雷达的可穿戴避障装置，旨在帮助视觉障碍人士躲避存在的障碍物。将增强型双目图像传感器和3D毫米波雷达系统有机结合起来，以提高整个系统的稳定性和鲁棒性。图2是本发明装置的配置示意图，该装置包括增强型双目图像传感器、低功耗3D毫米波雷达、信息融合模块和信息交互模块。
所述的增强型双目图像传感器的基本结构如图3所示，该图像传感器包含有一个红外主动投射器1；一个彩色相机2，接收外部信号，并输出空间的彩色信息。在室内环境光照度小于500lx的情况下，主动光投射器向外投射红外散斑，并且该散斑经过调制，打在障碍物上，反射光被红外相机接收，障碍物改变了散斑的状态，经过计算散斑的状态就能知道障碍物的深度信息；一红外双目相机，它由两个红外相机3组成，形成双目系统，可以利用双目的原理计算出障碍物的距离。一个图像处理器4，主要计算并输出障碍物的深度和颜色信息。在室外环境光照度大于500lx的情况下，红外双目相机通过纯双目相机的方式，计算出障碍物的深度信息，此外彩色单目相机获取普通的彩色信息；再使用深度学习的方法在彩色信息中确定障碍物的外部轮廓，并将该轮廓映射到深度图中，从而得到障碍物的距离信息，同时利用Mean Shift方法跟踪障碍物，并计算出速度信息；该图像传感器集成了主动光深度相机和双目相机，使其无论在室内还是室外环境光比较复杂的情况下都有很好的表现。由于这几个相机的位置保持固定，所以通过标定后将双目相机的内参和外参都写入图像处理器即可使用，不用再在后面的使用过程中进行标定。此外该传感器还具有功耗低等特点，直接使用USB3.0接口就能同时满足供电和数据传输的需求。
所述的3D毫米波雷达系统传感器的天线分布基本结构如图4所示，图中排列整齐的小矩形即为雷达天线。与普通的2D毫米波雷达传感器只能获取一个平面内障碍物的距离，速度和方位不同，该雷达能够获取障碍物在空间中的距离和速度的三维坐标，相比2D雷达而言，障碍物的计算结果更为准确。该雷达传感器采用了MIMO技术，使用多对收发天线，通过计算障碍物到达不同接收天线的相位差去计算障碍物的方位信息。与普通2D毫米波雷达天线的单一水平分布多个接收天线的状况不同，3D毫米波雷达天线采用在水平和竖直方向都放置多个接收天线，这样，该毫米波雷达不仅能区分水平方向障碍物的角度，也能计算出障碍物竖直方向的角度。所述的3D毫米波雷达具有体积小，功耗低的特点，非常适合在可穿戴设备领域使用。
将图像传感器和雷达传感器通过一个3D打印的刚性连接架固定在一起，保证两个传感器在一个平面内。由于知道这两个传感器的相对位置，并且与图像传感器的角度分辨率相比，3D雷达的角度分辨率较低，所以不必对这两个传感器进行标定。
所述信息融合模块将图像传感器和雷达传感器检测到的障碍物通过数据融合的方式最终确定障碍物的距离、速度和方位信息；
所述信息交互模块将障碍物的距离、速度和方位信息，通过声音编码的方式，告知设备穿戴者。
如图1所示，可穿戴避障装置的避障方法包括以下步骤：
步骤1、分别采集毫米波雷达和图像传感器中关于障碍物的距离，速度和方向的数据；
步骤2、将毫米波雷达和图像传感器的信息进行融合；
步骤3、将融合后的关于障碍物的距离，速度和方位信息通过信息交互系统以声音编码的信息交互方式告知设备佩戴者。
进一步的，所述步骤1具体为：
步骤1.1、采集3D毫米波雷达的数据，即毫米波雷达探测到的障碍物在三维空间中的距离、速度以及方位等信息，储存在信息融合模块中；
步骤1.2、采集增强型双目图像传感器的数据，即图像传感器探测到的障碍物的深度信息和彩色信息，储存在信息融合模块中；
所述步骤2具体为：
步骤2.1、分析3D毫米波雷达的数据，根据探测到的障碍物的数量以及距离等信息，将不同距离的障碍物划分到不同的群组，得到划分的阈值。
步骤2.2、对图像传感器输出的深度信息和彩色信息进行进一步处理，使用深度学习的方法在彩色信息中确定障碍物的外部轮廓，并将该轮廓映射到深度图中，从而得到障碍物的距离信息，同时利用Mean Shift方法跟踪障碍物，并计算出速度信息。
步骤2.3、根据步骤2.1得到的阈值信息，将图像的深度信息进行分层，在不同的层里对图像探测到的障碍物和雷达探测到的障碍物进行融合。
步骤2.4、融合时要根据障碍物所处不同的距离给图像传感器和雷达传感器不同的置信度，比如，在3米范围之内给予图像传感器较高的置信度，而在3米到5米范围之间给予两者相同的置信度，而在5米范围之外给予雷达较高的置信度。同时也要根据融合的信息种类给予不同探测器不同的置信度，比如在融合速度时，始终给予雷达传感器较高的置信度。
步骤2.5、根据不同的置信度，采用卡尔曼滤波的方法来计算确定障碍物的距离、速度及方位等信息。
所述步骤3具体为：
步骤3.1、根据融合后的信息最终确定障碍物的距离、速度以及方位等信息，通过声音编码的方式，即将障碍物的距离信息映射到声音的响度上，将障碍物的方位映射到声音的音色上，将障碍物的运动速度及其方向映射到声音的频率上，根据这个规则将探测到障碍物的信息编码成声音信号。
步骤3.2、将编码生成的非语义声音信号通过包括但不限于普通有线耳机，普通蓝牙耳机，以及骨传导耳机等装置传递给设备佩戴者。
设备佩戴者在接收到声音信号后，根据提示执行躲避障碍物的行为。