一种基于实时环境建模和自主路径规划的导盲车的制作方法

本发明涉及导盲设备领域，特别涉及一种基于实时环境建模和自主路径规划的导盲车。

背景技术：

目前，盲人及视力存在缺陷的患者在中国占有较大比重，日益发达的交通和复杂的路况对此类人群的出行造成很大的困难。而盲道占用的情况在国内也非常常见。导盲犬是解决此问题的一种方法，但由于其高成本制约不能得到广泛普及，使盲人及视力存在缺陷的患者自我出行受到很大限制。而国内对导盲设备的研究和应用还较少，缺少实用性高安全性强的导盲设备。为了给盲人及视力缺陷人群提供出行的便利与安全性，摒弃导盲犬培养的高成本因素，集信息采集，决策判断和人机交互为一体的智能导盲设备也成为此类人群的另一个选择。

现有相关技术中大多存在使用环境局限性和导航避障智能自主化程度不高的不足。如已授权的发明专利cn105078720a一种智能导盲装置，采用gps定位和超声波传感器，主要实现障碍物位置定位的功能，并不能智能自主进行路径规划和智能自主避障。如已授权发明专利cn102670383a基于图像识别技术的全自动可在载人盲车及控制方法，其采用的图像识别技术主要针对于盲道特征，对于盲道上的障碍物不能进行有效的路径规划避障，对于不具备盲道的道路不能实现有效的导盲避障。如已授权发明专利cn108042324a具有震动提醒功能的导盲设备，其检测到障碍物后通过震动等方式提醒盲人，躲避障碍物还需要依靠盲人自身，不能进行自主导盲避障。

综上所述，现有导盲设备相关技术，其使用环境局限于盲道道路或交通信号清晰的道路，且大多不具备智能自主路径规划，自主导盲避障的功能，并且由于盲人自身的生理缺陷，其判断能力和行动能力存在局限性，依靠现有导盲设备出行存在一定的安全隐患。

技术实现要素：

针对现有技术存在的缺陷，本发明的目的在于提供一种基于实时环境建模和自主路径规划的导盲车，能够在复杂环境进行局部环境地图三维建模并进行自主路径规划和避障，该设备能够通过gps信号和目的地信息生成全局路径导航信息，并能够在行进过程中建立的准确的环境三维模型并规划合理安全的局部路径来实现避障的功能，最终实现在不偏离全局路径的前提下实现局部路径的自主规划和导航避障功能。

为了实现上述目的，本发明采用如下技术方案：

一种基于实时环境建模和自主路径规划的导盲车，包括实时环境建模系统，基于slam的自主路径规划系统，语音人机交互系统和手扶式移动引导平台；所述实时环境建模系统与基于slam的自主路径规划系统连接，将生成的slam环境地图三维模型和导盲车运动信息传输给基于slam的自主路径规划系统；所述语音人机交互系统连接基于slam的自主路径规划系统，将盲人说出的目的地语音信息转换成确定的目的地信息传递给基于slam的自主路径规划系统，所述基于slam的自主路径规划系统能够根据规划的路径生成电机控制信号并传递给手扶式移动引导平台，控制手扶式移动引导平台按照规划路径移动。

所述实时环境建模系统包括双目视觉模块，激光测距模块，imu加速度传感模块和中央数据处理模块；所述中央数据处理模块将双目视觉模块处理后的图像特征信息和运动信息，激光测距模块扫描处理后的三维点云信息和imu加速度传感模块采集的运动信息进行多传感器融合，生成slam环境地图三维模型并且得到导盲车的运动信息。

所述双目视觉模块包括双目相机和图像数据处理板卡，双目相机拍摄导盲车周围环境图像，图像数据处理板卡根据拍摄的图像信息获得环境特征信息和景深信息，并通过特征点提取和追踪实现小车运动状态的估计，以及小车在环境中位置的变化情况。其中双目相机的左右两个摄像头相对位置完全固定，两个摄像头的有效拍摄范围均为5米；两个摄像头能够同时以固定帧率拍摄导盲车前5m范围内的环境图像；特别的，环境信息还包括红绿灯、斑马线等关键标志物。

所述激光测距模块采用二维激光测距传感器、电动旋转台和激光数据处理板卡，二维激光测距传感器安装在电动旋转台上，通过旋转台的转动上下运动从而实现范围内环境的三维扫描，激光数据处理板卡将扫描的激光点云数据进行处理从而获得周围环境的三维点云图。其中二维激光测距传感器测量宽度范围为左右正负135度共270度，有效测量距离为5m，能够实现激光测距平面上5m内环境的实时扫描；特别的，通过电动旋转台带动二维激光扫描测距仪进行上下点头运动，能够完成范围内三维环境信息的扫描。

所述imu加速度传感模块采用10自由度惯性传感器，采集小车运动过程中的加速度数据和角加速度数据，实现对导盲车运动姿态的实时评估。

所述中央数据处理模块能够将imu加速度传感模块得到的运动状态数据与双目视觉模块得出的运动数据互相修正，并将激光测距模块扫描得到的三维环境信息、双目视觉模块和imu加速度计传感模块互相修正得到的运动信息以及双目视觉模块得到的环境细节信息进行多传感器融合，根据导盲车修正后的运动信息，将行进过程中不同位置点由激光测距模块得到的环境三维点云图融合成完整的环境地图三维模型，准确建立5m范围内的三维环境模型，并且准确推算出导盲车在环境模型中特定时刻的具体位置和运动情况，确保环境地图三维模型融合的准确性，确保小车运动状态及在环境地图三维模型中的位置信息的准确性。

所述基于slam的自主路径规划系统包括gps模块和中央控制模块；所述gps模块获取小车的gps信号，所述中央控制模块能够根据目的地信息和导盲车某时刻的gps信号及内置的地图信息，得出较为合理的全局路径规划；特别的，在导盲车行进过程中，通过实时环境建模系统建立的slam地图模型，中央控制模块能够对路径进行局部优化，有效躲避沿途的障碍物、车辆及行人，并根据双目视觉模块识别得到的交通信号及标志规划行进路线，在保证不偏离整体全局导航路径的前提下，实现自主路径规划和导航避障的功能，保证了盲人的出行安全性和高效性。

所述语音人机交互系统，包括语音输入输出模块和语音识别模块；所述语音输入输出模块能够接受盲人的语音信号和发出语音提示，语音识别模块能够通过对盲人输入的目的地语音信号进行语音识别从而得到准确的目的地信息，并能够将目的地信息传递给基于slam的自主路径规划系统进行全局路径规划。

所述手扶式移动引导平台，包括驱动模块和轮式移动平台。所述轮式移动平台的车身前部布置两个独立驱动车轮，后部布置两个万向轮；所述轮式移动平台前端安装有双目视觉模块的双目相机、激光测距模块的二维激光测距传感器和电动旋转台、imu加速度传感模块；内部安装有双目视觉模块的图像数据处理板卡、激光测距模块的激光数据处理板卡、中央数据处理模块、基于slam的自主路径规划系统和语音人机交互系统的语音识别模块；所述轮式移动平台的手柄处安装有语音输入输出模块、电源按钮、独立报警按钮和防脱手绳；所述驱动模块包括驱动板和驱动电机，驱动模块安装在轮式移动平台内，驱动电机与轮式移动平台的驱动轮连接，驱动板根据基于slam的自主路径规划系统的电机控制信号驱动电机带动轮式移动平台的两个驱动轮转动；特别的，两个独立的驱动轮能够通过差速实现轮式移动平台的转向控制。

本发明由于采用以上技术方案，使之与现有技术相比，具有以下优点和积极效果：

本发明提供的导盲车能够根据多传感器采集的环境信息进行实时地图三维建模及自主路径规划，能对静态及动态障碍物进行精确建模并规划路径进行障碍物规避，应用场景不局限于传统盲道。本发明提供的导盲车能够在不偏离全局路径的前提下能够在行进过程中进行实现智能自主导航避障，提高了导盲车的安全性和实用性。

附图说明

图1为导盲车组成部分示意图；

图2为导盲车整体结构布置示意图；

图3为导盲车工作流程图；

图4为具体典型避障导航案例示意图；

附图标号说明：

1.双目视觉模块2.激光测距模块3.imu加速度传感模块4.轮式移动平台5.手柄6.电源按钮7.独立报警按钮8.语音输入输出模块9.防脱手绳10.驱动轮11.万向轮。

具体实施方式

下面结合附图对本发明的具体实施例进一步说明。

如图1所示，本发明提出了一种基于实时环境建模和自主路径规划的导盲车，包括实时环境建模系统，基于slam的自主路径规划系统，语音人机交互系统和手扶式移动引导平台；所述实时环境建模系统与基于slam的自主路径规划系统连接，将生成的slam环境地图三维模型和导盲车运动信息传输给基于slam的自主路径规划系统；所述语音人机交互系统连接基于slam的自主路径规划系统，将盲人说出的目的地语音信息转换成确定的目的地信息传递给基于slam的自主路径规划系统，所述基于slam的自主路径规划系统能够根据规划的路径生成电机控制信号并传递给手扶式移动引导平台，控制手扶式移动引导平台按照规划路径移动。

所述实时环境建模系统包括双目视觉模块，激光测距模块，imu加速度传感模块和中央数据处理模块；所述中央数据处理模块将双目视觉模块处理后的图像特征信息和运动信息，激光测距模块扫描处理后的三维点云信息和imu加速度传感模块采集的运动信息进行多传感器融合，生成slam环境地图三维模型并且得到导盲车的运动信息。

具体的，在本实施例中，如图2所示，双目视觉模块1采用两个basler-aca2500-60uc摄像头和图像数据处理板卡，双目视觉模块1的两个摄像头能够以20帧每秒的速度拍摄5m范围内环境的照片；图像数据处理板卡能够将双目相机拍摄的图像数据进行特征分析得到范围内的交通信号灯及交通标示信息，并能够通过基于图像特征识别与追踪算法获得导盲车的运动信息数据。

具体的，在本实施例中，激光测距模块2采用型号为ust-10lx的二维激光扫描仪、电动旋转台和激光数据处理板卡；二维激光扫描仪扫描宽度范围是正负135度，有效测量距离为5m，二维激光雷达能够在25ms内完成270度范围的环境信息扫描，结合电动旋转台的点头运动，能够实现范围内环境的三维扫描；激光数据处理板卡能够将不同角度下二维激光雷达扫描的平面数据融合成三维点云信息数据。

具体的，在本实施例中，imu加速度传感模块3采用10自由度惯性传感器adis16488a，其能够提供正负0.1度旋转角度测量的精度和0.1g的加速度测量精度，能够准确的测量导盲车的运动状态。

具体的，中央数据处理模块采用高性能cpu，能够将imu加速度传感模块3测量的导盲车运动状态与双目视觉模块1得出的导盲车运动状态进行相互修正；具体的，中央数据处理模块能够根据导盲车准确的运动信息和位置变化信息，由激光测距模块2在不同位置点扫描的三维点云信息融合成环境地图的三维模型。

特别的，基于slam的自主路径规划系统，包括gps定位模块和中央控制模块；gps定位模块能够测的导盲车某时刻的gps信息，中央控制模块能够根据gps信息和由语音人机交互系统传回的目的地信息，结合内置地图生成全局导航路线；特别的，基于slam的自主路径规划系统能够在导盲开始后，接收实时环境建模系统传过来的slam地图信息和导盲车运动信息，在不偏离全局路径的前提下，根据某时刻导盲车前5m范围内的环境地图三维模型进行局部路径规划实现导航避障的功能；特别的，基于slam的自主路径规划系统能够根据规划的路径生成电机控制信号并传递给手扶式移动引导平台，控制引导平台按照规划路径移动。

特别的，语音人机交互系统包括语音输入输出模块和语音识别模块，能够将盲人说出的目的地语音信息转换成确定的目的地信息传递给基于slam的自主路径规划系统。

特别的，手扶式移动引导平台包括驱动模块和轮式移动平台；驱动模块安装在轮式移动平台内，驱动模块通过接收基于slam的自主路径规划系统发出的电机控制信号，驱动电动机转动，从而带动轮式移动平台4运动。

如图2所示，轮式移动平台4前端为两个驱动轮10，通过前轮驱动带动手扶式移动引导平台运动，并能够通过差速实现手扶式移动引导平台的转向，后端为两个万向轮11用以平衡手扶式移动引导平台；轮式移动平台4的前端安装有双目视觉模块1的双目相机、激光测距模块2的二维激光传感器和imu加速度传感模块3，从而能更有效的检测导盲车前端环境避免被遮挡；轮式移动平台4的内部安装有双目视觉模块1的图像数据处理板卡、激光测距模块2的激光数据处理板卡、中央数据处理模块、基于slam的自主路径规划系统和手扶式移动引导平台的驱动模块；轮式移动平台4后端为手柄5，在手柄5末端有电源按钮6、独立报警按钮7、语音输入输出模块8和防脱手绳9。

如图3所示，本发明提出的基于实时环境建模和自主路径规划的导盲车的具体工作流程如下：

步骤一：在室外环境下，通过按下手柄上的电源按钮6启动导盲车，导盲车完成系统自检后，使用者可以使用语音输入输出模块8说出目的地地点。

步骤二：语音识别模块确认目的地信息之后，基于slam的自主路径规划系统会根据此时导盲车的gps信号和目的地信息，根据内置的地图生成合适的全局步行导航路径。

步骤三：提示导航开始后，实时环境建模系统同时启动，双目视觉模块的双目相机，激光测距模块中的二维激光测距扫描仪和imu加速度传感模块开始对周围的环境进行扫描工作；实时环境建模系统中的中央数据处理模块根据双目视觉模块中图像数据处理板卡处理后的环境特征信息和导盲车运动信息，激光测距模块中激光数据处理板卡处理后的三维环境点云信息和imu加速度传感模块采集的导盲车运动信息，通过算法进行环境三维模型的建立。

步骤四：基于slam的自主路径规划系统能够根据实时环境建模系统建立的slam环境地图三维模型进行局部路径的规划来实现避障导航，具体如图4所示。

其中，图4a中当导盲车带领使用者行走至b路时，在b路上碰到石块或停放的自行车等障碍物，实时环境建模系统将扫描到的障碍物信息建立到环境模型中。基于slam的自主路径规划系统根据建立的环境三维模型，根据使用者安全优先的准则，自动选择合适的路径绕过障碍物，并返回到gps导航主路径上，不会出现绕道绕圈等不合理行动；特别的，在行进过程中遇到悬空于路上方的树枝障碍物，实时环境建模系统协同基于slam的自主路径规划系统能有效的带领使用者绕过悬空的树枝障碍物，保证使用者的安全。

步骤五：基于slam的自主路径规划系统能够根据局部规划后的路径，生成电动机控制信号，驱动手扶式移动引导平台的驱动模块工作，带动轮式移动平台按照规划路径进行移动。图4b中当d路因为临时施工等因素封闭时，且gps导航信息未能及时更新路况信息，导盲车能根据建立的环境模型重新选择之前的路口进行折回，并配合gps信号和导航软件重新计算全局路径，再重新开始实时环境建模和局部路径规划，保证使用者能到达预定的目的地。

步骤六：当导盲车在导航避障过程中，接到使用者修改目的地的信息后，基于slam的自主路径规划系统会根据导盲车此时的gps信号和新的目的地信息，重新进行导航路径生成，并重新开始实时环境建模和自主路径规划。

步骤七：目的地到达。