本发明涉及车辆自主导航方法，具体涉及基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法。
背景技术
随着经济社会的发展，城市的建设，面向室内封闭环境下的便捷、智慧代步驾驶，已经成为人们的广泛社会需求。现代社会不断发展，城市建设日新月异，人们的活动范围不断扩大，随之带来的问题是人们在不熟悉的机场、办公大楼、车站、商场、场馆内，非常容易迷失方向，不能在计划的时间内找到目的地，而耽搁后续行程安排。同时，室内环境下gps信号失效，无法使用gps设备来提供精确定位服务，使得该问题变得更加困难。作为新型室内自主驾驶式车辆工具，本发明公开的自主式室内平衡车可以满足人们在室内场景下对便利出行的需求。
目前，常用的室内代步工具，主要以手动驾驶模式为主，其技术要点在于，通过手柄、方向盘、踏板等钮来完成代步行驶。该方案解决了代步出行问题，但尚未解决便捷、智能、自主室内代步问题。因此，本发明拟建立基于3维稀疏点云构建的室内多平衡车自主导航与联动调度方法，这对于未来室内的智能便利代步，具有重要的意义。
技术实现要素：
本发明所要解决的技术问题在于提供基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法。
本发明为了解决上述技术问题，本发明的技术方案是：基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法，其特征在于：包括如下步骤：
s1：建立室内多平衡车自主导航与联动调度系统，该系统包括地图采样车、多台室内自主导航平衡车、固定点位充电系统、后台云端服务器；后台云端服务器作为局域网云端使用，后台云端服务器为所有室内自主导航平衡车提供三维数据支持。
s2：在系统构建阶段，地图采样车采集室内环境对应的三维稀疏点云地图，并将地图存储在后台云端服务器中，供室内自主导航平衡车使用；各室内自主导航平衡车通过局域网通信网络与后台云端服务器通信，后台云端服务器维护与室内环境对应的三维稀疏点云图。
s3：后台云端服务器根据多车联动调度策略，分析当前多台自主导航平衡车在室内的分布情况，并进行合理调度，保证室内自主导航平衡车的合理分布。
s4：室内自主导航平衡车在使用者上车之后，通过对使用者的人脸扫描来获取对使用者的身份确认，后台云端服务器通过万维网获得用户的出行信息，进而获得使用者在室内的目的地。
s5：各室内自主导航平衡车在工作过程中，通过车与云的通讯机制，自动上传、下载和更新室内三维稀疏点云地图；自主导航平衡车根据使用者出行需求，自动将使用者带到使用者目的地。
根据本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的优选方案，地图采样车采集室内环境对应的三维稀疏点云地图，具体为，首先对地图采样车上的双目机器视觉进行参数标定，获得变换矩阵；地图采样车在室内无死角行驶，行驶过程中地图采样车的双目机器视觉获得双目视频流，在基本矩阵的约束下，以变换矩阵为基础，采用三角测量方法，将双目视频流中对应的2d特征点对映射到基于室内坐标系的三维空间中去。
所述双目视频流中对应的2d特征点对，具体为3d环境中表示为同一个特征在双目机器视觉中的不同成像；获取方法具体为，采用orb((orientedfastandrotatedbrief))特征提取方法，提取视频流对应时间戳下的二幅图像中的orb对应特征点，并采用图像特征点匹配方法，获得2d特征点间的匹配关系，获得2d特征点对。
后台云端服务器在存储三维稀疏点云地图的过程中，采用基于区块section分区的块状存储方法，将室内区域分为若干个区块，每个区块对应各自独一无二的id，为每个区块的边沿标记不同的标识，每个区块的大小控制在一个固定值，所有的区块之和覆盖整个室内区域空间。
各自主导航平衡车在工作过程中，通过射频频段，连接到后台云端服务器，建立车与云间的连接；后台云端服务器通过有线光钎网络，实现和外部的信息交互。
根据本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的优选方案，步骤s2所述各自主导航平衡车在工作过程中，通过车与云的通讯机制，自动上传、下载和更新室内三维稀疏点云地图；具体方法为，当车辆进入到某个区块之后，后台云端服务器把当前这个区块的三维稀疏点云地图，通过所述局域网通信网络传给室内自主导航平衡车，便于室内自主导航平衡车在该区块内导航使用；当室内自主导航平衡车驶出该区块之后，会把在当前区块新采集的三维稀疏点云地图上传到后台云端服务器；后台云端服务器采用证据判定方法，更新后台云端服务器中的地图数据。
其中，所述后台云端服务器采用证据判定方法，更新云端服务器中的地图数据，具体方法为，各室内自主导航平衡车在驶离当前区块的同时，会将当前本车识别的三维稀疏点云地图数据上传到后台云端服务器，后台云端服务器将该上传的地图数据作为临时地图数据保存，当同一区块对应的临时地图数据超过设定份数时，后台云端服务器采用d/s证据方法对临时地图数据进行证据判定，获得高置信度的地图数据，并将此三维稀疏点云地图数据作为当前区块对应的地图数据，并替换原后台云端服务器中备份的三维稀疏点云地图数据。
根据本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的优选方案，步骤s4具体包括如下内容：
s41：使用者在使用室内自主导航平衡车之前，需要通过网络访问后台云端服务器，进行注册，预约出行数据；
s42：室内自主导航平衡车通过机器视觉拍摄使用者的面部图片，并将图片通过无线通信机制传输给后台云端服务器，后台云端服务器对传来的使用者面部图片进行特征扫描，获得多个面部点位的分布图，将此分布图和后台云端服务器中存储的图像数据进行对比分析，获得使用者的身份信息；
s43：后台云端服务器以步骤s42获得的使用者身份信息为索引，获取使用者在后台云端服务器中登记的出行数据信息，获取使用者的出行目的地；如果后台云端服务器的数据库中暂无当前使用者的出行数据，则提醒使用者通过室内自主导航平衡车上的人机交互界面选择待出行目的地；
s44：室内自主导航平衡车通过双目机器视觉获取当前车辆位置信息，并将当前位置信息上传给后台云端服务器，后台云端服务器综合室内自主导航平衡车当前的位置和目的地位置进行轨迹规划，并将轨迹规划结果发送给室内自主导航平衡车；
s45：室内自主导航平衡车通过双目机器视觉获得当前环境的图像数据，并以获得的图像数据为输入，基于卷积神经网络构建环境感知模型，获得周围环境中的行人、可通行道路和障碍物的信息，构建三维语义环境模型，再以三维语义环境模型为基础，构建环境中行人、障碍物，以及本身自主导航平衡车的人工势场，基于人工势场的互斥原理，在后台云端服务器提供的室内轨迹规划基础上，进行前方局部范围的轨迹规划，并以轨迹规划为基础进行自动驾驶。该自动驾驶包括：“向前行驶”、“向后倒退”、“左转弯”、“向右转弯”、“制动”和“停止”。
步骤s44中所述的自主导航平衡车通过双目机器视觉获取当前车辆位置信息；具体方法为，室内自主导航平衡车实时通过双目机器视觉获取车辆当前环境的三维数据，并采用ransac匹配方法，将实时获取的三维数据与从后台云端服务器下载的三维稀疏点云地图数据进行特征匹配，通过匹配关系解算，来获取室内自主导航平衡车的实时位置信息。
步骤s44中所述后台云端服务器综合自主导航平衡车当前的位置和目的地位置进行轨迹规划；具体方法为，后台云端服务器根据最短距离原理，计算出自主导航平衡车从当前位置行驶到目的地位置，所需要经过的所有区块的id号，并计算室内自主导航平衡车需要驶入的每个区块的边沿标识号，和需要驶出的每个区块边沿标识号。
根据本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的优选方案，步骤s3所述的后台云端服务器根据多车联动调度策略，分析当前多台自主导航平衡车在室内的分布情况，进行合理调度，保证室内自主导航平衡车的合理分布，其具体方法为：
s31：采用视频监控方法，监视室内各区域的人流情况，通过对人流的统计，获得不同时段内室内人流分布热点分布图。
s32：根据步骤s31所述的人流分布热点分布图，将室内的区块划分为不同等级；比如分成“最高”、“高”、“中”、“低”、“最低”共5个等级，以确定不同时段内不同区块对应的室内自主导航平衡车的目标分布数量。
s33：后台云端服务器每间隔设定时间，统计不同区块中当前处于待使用状态的室内自主导航平衡车数量，并根据目标分布数量，对当前区块中的室内自主导航平衡车数量进行调整。
即：计算当前区块中的实际数量和目标分布数量之差；并将实际需要的调入、调出数量向后台云端服务器登记，后台云端服务器根据登记的调入、调出数量，依据调度距离最短原则，制定调度规则表，根据调度规则表，将当前区块多出来的室内自主导航平衡车调配到周边需要室内自主导航平衡车的区块中，完成调配任务。
本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的有益效果是：本发明面向室内封闭环境，采用基于3维稀疏点云建模和驾驶人身份识别的方法，完成多个自主导航平衡车在室内的自主代步任务；该发明能够帮助人们在不熟悉环境中，不再迷失方向，实现快速到达目的地，起到智慧代步的功能，进而提升室内环境的智能化水平，给宾客以人性化和智能化关怀；本发明以车载双目摄像机为主要车载传感器，以后台云端服务器为技术、控制中枢，能够在低成本的情况下，形成安全可靠的自主导航平衡车安全决策，保证了自主导航平衡车的安全行驶，可广泛应用在机场、办公大楼、车站、商场等场合。
附图说明
图1是本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的流程图。
图2是室内多平衡车自主导航与联动调度系统结构图。
图3是室内环境三维点云建构效果图。
图4是驾驶人身份认证与信息同步流程图。
图5是基于室内人流分布热点分布图的多平衡车调度策略流程图。
具体实施方式
参见图1与图2，基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法，包括如下步骤：
s1：建立室内多平衡车自主导航与联动调度系统，该系统包括地图采样车、多台室内自主导航平衡车、固定点位充电系统、后台云端服务器；后台云端服务器作为局域网云端使用，后台云端服务器为所有室内自主导航平衡车提供三维数据支持。
s2：在系统构建阶段，地图采样车采集室内环境对应的三维稀疏点云地图，参见图3，并将地图存储在后台云端服务器中，供室内自主导航平衡车使用；各室内自主导航平衡车通过局域网通信网络与后台云端服务器通信，后台云端服务器维护与室内环境对应的三维稀疏点云图。其中，三维稀疏点云地图由室内环境中的3维稀疏特征点构成，是将视频流中对应的特征点投影到3维空间中形成3维稀疏特征点。所述的3维稀疏特征点包括harris角点、fast角点等。
s3：后台云端服务器根据多车联动调度策略，分析当前多台自主导航平衡车在室内的分布情况，并进行合理调度，保证室内自主导航平衡车的合理分布。
s4：室内自主导航平衡车在使用者上车之后，通过对使用者的人脸扫描来获取对使用者的身份确认，后台云端服务器通过万维网获得用户的出行信息，进而获得使用者在室内的目的地。
s5：各室内自主导航平衡车在工作过程中，通过车与云的通讯机制，自动上传、下载和更新室内三维稀疏点云地图；即使用过程中，室内自主导航平衡车为地图提供持续更新；自主导航平衡车根据使用者出行需求，自动将使用者带到使用者目的地。
在具体实施例中，地图采样车采集室内环境对应的三维稀疏点云地图，具体为，首先对地图采样车上的双目机器视觉进行参数标定，获得变换矩阵m；地图采样车在室内无死角行驶，行驶过程中地图采样车的双目机器视觉获得双目视频流，在基本矩阵的约束下，以变换矩阵m为基础，采用三角测量方法，将双目视频流中对应的2d特征点对映射到基于室内坐标系的三维空间中去。
所述双目视频流中对应的2d特征点对，具体为3d环境中表示为同一个特征在双目机器视觉中的不同成像；获取方法具体为，采用orb特征提取方法，提取视频流对应时间戳下的二幅图像中的orb对应特征点，并采用图像特征点匹配方法，获得2d特征点间的匹配关系，获得2d特征点对。
后台云端服务器在存储三维稀疏点云地图的过程中，采用基于区块section分区的块状存储方法，将室内范围分为若干个区块section，每个区块section对应各自独一无二的id，如：1，2，3，4等，为每个区块section的边沿标记不同的标识，如：a，b，c，d，e等，每个区块section的大小控制在一个固定值，如20m*20m，所有的区块section叠加之和可以覆盖整个室内区域空间。
自主导航平衡车通过室内wifi与后台云端服务器连接，后台云端服务器通过万维网与广域网其他站点服务器连接；具体方法为，各自主导航平衡车在工作过程中，通过2.4guhf射频频段，连接到后台云端服务器，建立车与云间的连接；后台云端服务器通过有线光钎网络，实现和外部的信息交互。
在具体实施例中，所述各自主导航平衡车在工作过程中，通过车与云的通讯机制，自动上传、下载和更新室内三维稀疏点云地图；具体方法为，当车辆进入到某个区块section之后，云端服务器将会把当前区块section的三维稀疏点云地图，通过所述局域网通信网络传给室内自主导航平衡车，便于室内自主导航平衡车在该区域内导航使用；当室内自主导航平衡车驶出该区块section之后，会把更新后的三维稀疏点云地图上传到后台云端服务器；后台云端服务器采用证据判定方法，更新云端服务器中的地图数据。
其中，所述云端服务器采用证据判定方法，更新云端服务器中的地图数据，具体方法为，各自主导航平衡车在驶离当前区块section的同时，会将当前本车识别的三维稀疏点云地图数据上传到后台云端服务器，后台云端服务器将该上传的地图数据作为临时地图数据保存，当同一区块section对应的临时地图数据超过设定份数时，如5份时，后台云端服务器采用d/s(dempster/shafer)证据方法对临时地图数据进行证据判定，获得高置信度的地图数据，并将此三维稀疏点云地图数据作为当前区块section对应的地图数据，替换原后台云端服务器中备份的3d稀疏点云数据。
在具体实施例中，参见图4，步骤s4具体包括如下内容：
s41：使用者在使用室内自主导航平衡车之前，需要通过网络访问后台云端服务器，进行注册，并上传本人的照片、身份认证等注册信息和预约出行数据，如出行时间、出发地点、目的地点。
s42：室内自主导航平衡车通过机器视角即车载摄像机拍摄使用者的面部图片，并将图片通过无线通信机制传输给后台云端服务器，后台云端服务器对传来的使用者面部图片进行特征扫描，获得眉骨、鼻梁、颧骨、眼间距、下巴、嘴唇、鼻骨等80多个面部点位的分布图，将此分布图和后台云端服务器中存储的图像数据进行对比分析，获得使用者的身份信息。
s43：后台云端服务器以步骤s42获得的使用者身份信息为索引，获取使用者在后台云端服务器中登记的出行数据信息，获取使用者的出行目的地；如果后台云端服务器的数据库中暂无当前使用者的出行数据，则提醒使用者通过人机交互界面选择待出行目的地。
s44：室内自主导航平衡车通过车载双目摄像机获取当前车辆位置信息，并将当前位置信息上传给后台云端服务器，后台云端服务器综合室内自主导航平衡车当前的位置和目的地位置进行轨迹规划，并将轨迹规划结果发送给室内自主导航平衡车；
s45：室内自主导航平衡车通过双目机器视觉获得当前环境的图像数据，并以获得的图像数据为输入，基于卷积神经网络构建环境感知模型，获得周围环境中的行人、可通行道路和障碍物的信息，构建三维语义环境模型，再以三维语义环境模型为基础，构建环境中行人、障碍物，以及本身自主导航平衡车的人工势场，基于人工势场的互斥原理，在后台云端服务器提供的室内轨迹规划基础上，进行前方局部范围的轨迹规划，并以轨迹规划为基础进行自动驾驶。该自动驾驶包括：“向前行驶”、“向后倒退”、“左转弯”、“向右转弯”、“制动”和“停止”。
步骤s44中所述的自主导航平衡车通过车载双目摄像机获取当前车辆位置信息；具体方法为，室内自主导航平衡车实时通过车载双目摄像机获取车辆当前环境的三维数据，并采用ransac(randomsampleconsensus)匹配方法，将实时获取的三维数据与从后台云端服务器下载的三维稀疏点云地图进行特征匹配，通过匹配关系解算，来获取室内自主导航平衡车的实时位置信息。
步骤s44中所述后台云端服务器综合自主导航平衡车当前的位置和目的地位置进行轨迹规划；具体方法为，后台云端服务器根据最短距离原理，计算出自主导航平衡车从当前位置行驶到目的地位置，所需要经过的所有区块section的id号，并计算室内自主导航平衡车需要驶入的每个区块section的边沿标识号，和需要驶出的每个区块section边沿标识号，室内自主导航平衡车在单个区块section中进行局部轨迹规划。
在具体实施例中，参见图5，步骤s3所述的后台云端服务器根据多车联动调度策略，分析当前多台自主导航平衡车在室内的分布情况，进行合理调度，保证室内自主导航平衡车的合理分布，其具体方法为：
s31：采用视频监控方法，监视室内各区域的人流情况，通过对人流的统计，获得不同时段内室内人流分布热点分布图。
具体为，对最近30天时间内，不同时段内室内每个区块section的人流分布数量进行统计。其中，不同时段具体为早晨：6:00-9:00；上午：9:00-11:00；中午：11:00-14:00，下午：14:00-16:00，傍晚16:00-17:00；晚上17:00-21:00。根据不同时段人流分布数量的统计，绘制室内不同区块section在不同时段对应的人流分布热点分布图。
s32：根据步骤s31所述的人流分布热点分布图，将室内区域的不同区块section划分为不同等级，比如分成“最高”、“高”、“中”、“低”、“最低”共5个等级，以确定不同时段内不同区块section对应的室内自主导航平衡车的目标分布数量；具体为，“最高”等级对应区块section目标平衡车数量为总数量的30％，“高”为25％，“中”为20％，“低”15％，“最低”为10％。
s33：后台云端服务器每间隔设定时间，比如每1小时的最后10分钟，统计当前不同区块section中处于待使用状态的室内自主导航平衡车数量，并根据目标分布数量，对当前区块section中的室内自主导航平衡车数量进行调整。
即：计算当前区块section中的实际数量和目标分布数量之差；并将实际需要的调入、调出数量向后台云端服务器登记，后台云端服务器根据登记的调入、调出数量，依据调度距离最短原则，制定调度规则表，根据调度规则表，将多出来的室内自主导航平衡车调配到周边需要自主导航平衡车的区块section中，完成调配任务。
本发明针对室内环境下的智能、便利、自主代步需求，本发明提出复杂室内环境下基于3维稀疏点云建模和驾驶人身份识别的多平衡车自主导航方法，来实现对室内多平衡车的控制。采用本发明专利公开的技术方案，可以很好地满足人们在室内场景下对便利出行的使用需求。