一种智能助行设备及智能助行设备的控制方法

1.本发明涉及智能助行设备控制技术领域，尤其涉及一种智能助行设备及智能助行设备的控制方法。


背景技术：

2.传统的轮椅由使用者用手控制，费力且不卫生，因此目前也出现了通过电子系统控制的轮椅。而为了更好得服务残障人士，需要进一步提高轮椅的智能化程度。但是，在轮椅上安装计算机模块、视觉系统、语音系统复杂昂贵的工控机，会极大得增加轮椅的生产成本，故障率和维护成本也很高，并且还会导致轮椅的重量增加。
3.因此，虽然目前从理论上来说，已经可以将轮椅的智能化和自动化程度提高到一个新的高度，但是受制于成本、重量、可靠性等诸多因素，目前还难以大规模投入市场应用，缺乏更好的工程应用方案。尤其存在智能化程度较低，用户的学习成本高，以及使用不便的问题，需要用户耗费大量的时间和精力适应操作。


技术实现要素：

4.本发明的实施例提供一种智能助行设备及智能助行设备的控制方法，能够提升智能助行设备使用时的智能化程度，从而节约用户操纵智能助行设备时的时间和精力，也大大降低了智能助行设备操纵的复杂性。
5.为达到上述目的，本发明的实施例采用如下技术方案：
6.第一方面，本发明的实施例提供的智能助行设备，所述智能助行设备的组成部分包括：激光雷达(1)、深度相机(2)、超声波模块(3)、工控机(4)、轮毂电机(5)、wifi模块(6)、舵机(7)、车轮(8)、机身支架(9)和电池组(10)、终端支架(11)和轮椅摇杆(12)，激光雷达(1)则包括了左激光雷达(1
‑
1)和右激光雷达(1
‑
2)；左激光雷达(1
‑
1)和右激光雷达(1
‑
2)沿着矩形机身(9)的中轴线对称分布，深度摄像机(2)安装在矩形机身(9)的中轴线上；座椅安装在在矩形机身(9)上，所述座椅分别安装有左扶手和右扶手，其中，所述左扶手和所述右扶手各自的一端固定连接所述座椅的靠背，所述左扶手的另一端安装有终端支架(11)，所述右扶手的另一端安装有轮椅摇杆(12)；在矩形机身(9)的下层机身支架上，安装有超声波模块(3)和wifi模块(6)，在矩形机身(9)的下层机身支架上还安装有工控机(4)和电池组(10)；矩形机身(9)的两个侧面，分别安装有两对行走机构。
7.终端支架(11)开设有用于放置智能终端的凹槽，所述凹槽的底部粘贴有防滑垫，在所述防滑垫上印刷有二维码，所述二维码作为所述智能助行设备的识别标签。
8.每一对行走机构中包括了：两组按照矩形机身(9)的中轴线轴对称分布的车轮(8)，车轮(8)连接舵机(7)，舵机(7)连接轮毂电机(5)，每一个轮毂电机(5)通过各自的驱动器连接工控机(4)；电池组(10)通过电线连接激光雷达(1)、深度相机(2)、超声波模块(3)、工控机(4)、轮毂电机(5)、wifi模块(6)和舵机(7)。
9.轮椅摇杆(12)连接工控机(4)，并用于根据使用者的操作向工控机(4)发送控制信
号，控制信号经过工控机(4)处理后向各驱动器发送，驱动器用于根据控制信号控制轮毂电机(5)运行。
10.第二方面，本发明的实施例提供的控制方法，包括：
11.s1，智能终端向智能助行设备发送初始化命令，所述智能助行设备初始化的过程中，在指定的工作空间内巡航，并获取所述工作空间的环境数据，其中，所述智能终端与所述智能助行设备的wifi模块建立通信。
12.s2，所述智能终端接收所述智能助行设备的发送的状态信息，所述状态信息包括所述智能助行设备上设置的环境检测传感模块采集到的信息，所述环境检测传感模块至少包括：激光雷达、深度相机和超声波模块。
13.s3，所述智能终端接收所述智能助行设备的发送的指令信息，并将所述指令信息发送给工控机进行模糊化识别，其中，所述运行指令由所述智能助行设备根据所述智能助行设备的使用者操作得到的。
14.s4，所述工控机根据所述s2中得到的所述状态信息和模糊化识别的结果，确定安全导航规划，之后根据所述安全导航规划生成运行指令，并向所述智能助行设备的工控机发送，所述工控机根据所述运行指令通过各个轮毂电机的驱动器控制轮毂电机。
15.还包括：s5，所述智能终端实时获取所述智能助行设备的发送的状态信息，并监测当前所述智能助行设备的姿态，根据当前所述智能助行设备的姿态向所述智能助行设备发送姿态调整命令。
16.还包括：
17.所述智能终端根据使用者输入的指令，生成模式切换信息，并将所述模式切换信息向所述智能助行设备发送；
18.所述智能助行设备的工控机根据所述模式切换信息切换当前的工作模式，其中所述工作模式包括：导航模式、避障模式和关闭模式。
19.的工控机所述工控机根据所述运行指令通过各个轮毂电机的驱动器控制轮毂电机本发明实施例提供的智能助行设备及智能助行设备的控制方法，通过智能手机来控制智能助行设备，操作简单、性能稳定且智能化程度高。解决了智能助行设备使用操纵杆操纵不便的问题，大大降低了智能助行设备操纵的复杂性。并且，通过智能手机的控制和状态检测，也降低了传统检测方法中智能助行设备实时检测的复杂性。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
21.图1为根据实施例的本实施例的总体架构的示意图；
22.图2为根据实施例的大致控制流程的示意图图；
23.图3为根据实施例的智能助行设备的机械结构的立体图，需要说明的是，为了体现各部件的相对位置关系，图3中对于一些部件如超声波模块，工控机、wifi模块等是安装在机身支架内部的，为了便于描述在图中显示在了上层图层，而并非其实际就是安装在外部；
24.图4a为根据实施例的智能助行设备的机械结构的后视图；
25.图4b为智能助行设备的机械结构中的超声波模块的局部放大图；
26.图5为根据实施例的智能助行设备的机械结构的俯视图；
27.图6为根据实施例的智能助行设备的控制方法的流程示意图；
28.图7、8为根据实施例的智能助行设备的具体的产品化方案的示意图；
29.图中各个部件分别表示：1
‑
激光雷达、激光雷达则包括了左激光雷达(1
‑
1)和右激光雷达(1
‑
2)，2
‑
深度相机、3
‑
超声波模块、4
‑
工控机、5
‑
电机、6
‑
wifi模块、7
‑
舵机、8
‑
车轮、9
‑
机身支架、10
‑
电池组、11
‑
终端支架、12
‑
轮椅摇杆。
具体实施方式
30.为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
31.本发明实施例提供一种智能助行设备，如图3、4、5、7所示，
32.所述智能助行设备的组成部分包括：激光雷达(1)、深度相机(2)、超声波模块(3)、工控机(4)、轮毂电机(5)、wifi模块(6)、舵机(7)、车轮(8)、机身支架(9)和电池组(10)、终端支架(11)和轮椅摇杆(12)，激光雷达(1)则包括了左激光雷达(1
‑
1)和右激光雷达(1
‑
2)。
33.左激光雷达(1
‑
1)和右激光雷达(1
‑
2)沿着矩形机身(9)的中轴线对称分布，深度摄像机(2)安装在矩形机身(9)的中轴线上。
34.座椅安装在在矩形机身(9)上，所述座椅分别安装有左扶手和右扶手，其中，所述左扶手和所述右扶手各自的一端固定连接所述座椅的靠背，所述左扶手的另一端安装有终端支架(11)，所述右扶手的另一端安装有轮椅摇杆(12)；
35.在矩形机身(9)的下层机身支架上，安装有超声波模块(3)和wifi模块(6)，
36.在矩形机身(9)的下层机身支架上还安装有工控机(4)和电池组(10)；
37.矩形机身(9)的两个侧面，分别安装有两对行走机构。
38.具体的，本实施例中的激光雷达可以采用思岚rplidar
‑
a2。深度相机可以采用乐视letmc
‑
520。可以采用超声波是亚博智能sg90。
39.具体的，终端支架(11)开设有用于放置智能终端的凹槽，所述凹槽的底部粘贴有防滑垫，在所述防滑垫上印刷有二维码，所述二维码作为所述智能助行设备的识别标签。
40.每一对行走机构中包括了：两组按照矩形机身(9)的中轴线轴对称分布的车轮(8)，车轮(8)连接舵机(7)，舵机(7)连接轮毂电机(5)，每一个轮毂电机(5)通过各自的驱动器连接工控机(4)；电池组(10)通过电线连接激光雷达(1)、深度相机(2)、超声波模块(3)、工控机(4)、轮毂电机(5)、wifi模块(6)和舵机(7)。
41.本实施例的优选方案中，深度摄像机(2)的镜头沿矩形机身(9)的中轴线朝向所述智能助行设备的前方，深度摄像机(2)的视野范围覆盖所述智能助行设备的前方h60
°
*v46.7
°
。左激光雷达(1
‑
1)和右激光雷达(1
‑
2)的深度最大帧率为30fps,深度分辨率为640*480、320*240或者160*120，探测距离为0.6m至4m。具体的，在12米探测半径，工作时，a2的测距核心顺时针旋转，对周围环境360
°
全方位扫描检测距离(探测距离长达12米)，测量频率8000hz。需要说明的是，激光雷达的数量也可以是1个，或者设置超过2个的激光雷达。
42.轮椅摇杆(12)连接工控机(4)，并用于根据使用者的操作向工控机(4)发送控制信号，控制信号经过工控机(4)处理后向各驱动器发送，驱动器用于根据控制信号控制轮毂电机(5)运行。
43.本发明实施例提供一种智能助行设备的控制方法，如图6所示，包括：
44.s1，智能终端向智能助行设备发送初始化命令。所述智能助行设备初始化的过程中，在指定的工作空间内巡航，并获取所述工作空间的环境数据。
45.其中，所述智能终端与所述智能助行设备的wifi模块建立通信。“巡航”可以理解为，在工作空间内贴着边缘走一遍，从而可以获取工作空间的大致轮廓。
46.环境数据可以理解为：周围环境中，像扫地机器人扫描一遍房间后获得的地图数据，这里的环境数据主要靠激光雷达来获得，主要目的是探测障碍物的位置(即哪里有障碍物哪里没有障碍物)，其中，深度相机、超声波和里程计进行辅助探测，将所有传感器信息融合在一起获得环境数据，传感器信息融合获取环节数据的方式，可以采用目前已有的方式，也可以采用其他进一步设计的方法。
47.s2，所述智能终端接收所述智能助行设备的发送的状态信息。
48.所述状态信息包括所述智能助行设备上设置的环境检测传感模块采集到的信息，所述环境检测传感模块至少包括：激光雷达、深度相机和超声波模块。
49.其中，状态信息可以包括：智能助行设备在构建好的地图中的位置，车头方向，周围环境信息，智能助行设备电量等信息。
50.智能助行设备s3，所述智能终端接收所述智能助行设备的发送的指令信息，并将所述指令信息发送给工控机(4)进行模糊化识别。
51.其中，所述运行指令由所述智能助行设备根据所述智能助行设备的使用者操作得到的。
52.其中，指令信息大致可以包括：智能助行设备在地图中要到达的位置，使用者在智能手机的地图中选择目标点，对目标点进行识别后，进行路径规划，可导航至目标点。模糊化识别指的是，在地图发生一些变化后(工作空间的大体环境不变，比如屋内一般是不变的)，通过特征点匹配，仍然可以识别出当前位置。运行指令意图指的是使用者想要控制智能助行设备要达到的位置。
53.s4，所述工控机(4)根据所述s2中得到的所述状态信息和模糊化识别的结果，确定安全导航规划，之后根据所述安全导航规划生成运行指令，并向所述智能助行设备的工控机发送，所述工控机根据所述运行指令通过各个轮毂电机的驱动器控制轮毂电机。
54.其中，工控机(4)可以安装在所述智能助行设备上，类似工控机或树莓派，具体的，手机目标点发送给工控机，工控机将指令解读后，将控制指令发送给驱动器。安全导航规划，可以理解为：智能助行设备避开地图中的障碍物，规划出一条无碰撞的最优路径。
55.根据所述安全导航规划生成运行指令，并向所述智能助行设备的工控机发送，可以包括：在生成的地图中，有障碍物的位置为0，没有障碍物的位置为1，程序根据改原理规划出一条最优的安全路径，将规划好的路径变成机器可以听懂的语言发送到控制器，控制器控制驱动。
56.进一步的，还包括：
57.s5，所述智能终端实时获取所述智能助行设备的发送的状态信息，并监测当前所述智能助行设备的姿态，根据当前所述智能助行设备的姿态向所述智能助行设备发送姿态调整命令。
58.具体实现中，本实施例中的智能助行设备可以是电动轮椅的底盘，智能设备可以是智能手机，智能助行设备与智能设备之间的交互过程如图1所示的：获取工作空间的数据集并进行预处理，通过借助激光雷达、相机、超声波等传感器，预先获取工作空间的环境全局地图，根据传感器信息融合得到代价地图，同时对地图中的障碍物信息进行标注。
59.基于wifi信号的设备连接，智能手机与智能助行设备的工控机采用分布式通信，基于socket长连接异步通信，在通信过程中，一个socket连接在同一时间只能传递一个请求的信息只有等到response之后，第二个请求才能开始使用这个通道，为了提高并发性能，可以提供多个连接，建立一个连接池，连接被使用的时候标志为正在使用，使用完放回连接池，标识为空闲，以此来提高通信的效率。接收智能助行设备的状态信息，控制系统通过设置在多功能智能助行设备上的传感器系统的环境检测传感模块，对该轮椅所处的地理位置、高度、温度、周边空间特征及建筑物信息进行感知，并将数据发送到智能手机上进行特征匹配，以判定其当前所处的工作环境；
60.安全导航与驱动控制中，智能手机通过设置在智能助行设备上的传感器系统的，对使用者发出的运行指令进行感知，然后发送给工控机(4)同步进行模糊化识别，工控机(4)根据s2的数据进行分析，并制定安全导航规划，由工控机(4)发回明确的运行指令给控制系统，交付驱动系统执行；
61.根据当前设备状态信息，实时监测移动平台的姿态控制，控制系统将使用者发出的姿态变化指令，发送给驱动系统执行，驱动移动前进和/或同时进行移动平台运行姿态调整，以实现系统整体重心稳定、移动平台运行状态可控、使用者安全、及完成特定的规划路径；并且，可以实时更新智能助行设备状态信息，将更新的状态信息发送到智能助行设备的工控机，使控制系统可以规划出一条可安全执行的路径，直至智能助行设备到达目的地。
62.至此，智能助行设备在地图中的定位问题、智能手机与智能助行设备的通信问题，智能手机控制智能助行设备导航问题，智能助行设备状态监测都得以解决。控制过程的总体流程包括如图2所示的环节。
63.具体举例来说：
64.智能助行设备在工作空间内巡航一圈，获取工作空间的数据集并进行预处理，从而完成初始化过程。
65.在实际的控制过程中，智能设备基于wifi信号的设备连接，接收智能助行设备的状态信息，控制系统通过设置在智能助行设备上的传感器系统的环境检测传感模块，对该轮椅所处的地理位置、高度、温度、湿度、周边空间及建筑物信息进行感知，并将数据发送到智能手机上进行特征匹配，以判定其当前所处的工作环境。具体的，设备连接基于局域网的信号链接，智能终端与智能助行设备的工控机通过网络连接后，进行用户管理、数据存储、数据分析、场景识别及障碍处理，其中，可以基于wifi协议在同一局域网下连接智能手机与智能助行设备。本实施例中，智能终端与智能助行设备的工控机采用分布式通信，基于socket长连接异步通信，在通信过程中，一个socket连接在同一时间只能传递一个请求的信息，只有等到response之后，第二个请求才能开始使用这个通道，为了提高并发性能，可以提供多个连接，建立一个连接池，连接被使用的时候标志为正在使用，使用完放回连接池，标识为空闲，以此来提高通信的效率。在实际应用中，可以将系统所需的功能模块化，且部署在不同的地方，对于底层模块，在信息传输时只要保持接口不变，上层系统直接调用底层模块且不关心其具体实现，当底层模块做内部逻辑变更，上层系统都不需要再做发布，可以极大限度的解耦合。
66.之后，安全导航与驱动控制，智能手机通过设置在智能助行设备上的传感器系统的，对使用者发出的运行指令意图进行感知，然后发送给工控机(4)同步进行模糊化识别，工控机(4)根据环境检测传感模块采集到的信息进行分析，并制定安全导航规划，由工控机(4)发回明确的运行指令给控制系统，交付驱动系统执行。具体的，控制系统通过设置在多功能移设备上的传感器系统，采集使用对象、使用场景、导航及驱动控制过程的实时变化数据，对使用者的当前姿态的进行感知、同时结合智能助行设备的系统质量、结构、运动速度、轨迹和惯性数据，与内置数据对比、进行异常识别，向智能助行设备的工控机远程下达运行指令。优选地，s3中，所述的运行指令，是基于智能手机指示智能助行设备运行的多传感器融合感知的信息。其中，包括采用视觉、激光雷达、超声波变化的融合传感器系统的多种传感器采集的实时数据，指示轮椅计划到达的目标位置、场所、建筑物或物品的模糊化信息，或者姿态变化过程及结果的模糊化信息，由控制系统及传感器系统的多种传感器采集的实时数据，对其进行模糊识别、分析后，再输出给智能助行设备进行处理。
67.然后，根据当前设备状态信息，实时监测智能助行设备的姿态控制，控制系统将使用者发出的姿态变化指令，发送给驱动系统执行，驱动移动前进和/或同时进行移动平台运行姿态调整，以实现系统整体重心稳定、移动平台运行状态可控、使用者安全、及完成特定的规划路径。可以重复上述控制过程，直至完成运载使用者安全到达目的地。
68.本实施例中，在s1中，获取所述指定的工作空间的过程包括：
69.在所述工作空间内巡航的过程中，激光雷达、深度相机和超声波模块同时运行。所述激光雷达扫描所述工作空间得到扫描结果，再根据所述深度相机的拍摄结果，对所述激光雷达的扫描结果进行放射变换和透视变换，得到校正后的图像信息。
70.具体的，在基于激光雷达建图过程中，因为激光雷达是基于光学检测原理，激光会穿过透明玻璃，从而造成一定概率的漏检。深色物体会吸收大部分的光能量，由于激光雷达对于深色物体检出能力较差，这时就需要深度相机和超声波模块来进行辅助探测，将深度
相机和超声波模块的探测的信息传到控制器进行处理，来弥补激光雷达的不足。具体的，激光雷达和深度相机同时获取深度信息，深度相机配合激光雷达进行辅助建图。激光雷达对近处的物体感知能力较弱，且对于深色物体检出能力较差需要深度相机做辅助。两者同时获得的深度信息后，进一步通过激光雷达与相机联合校准的方式，将坐标参数系统一到同一个坐标系之下。
71.具体的，可以通过借助激光雷达、超声波模块等传感器，预先获取工作空间的样本图像，其中，样本图像即当前工作空间的地图，通过智能助行设备事先巡航并扫描当前工作空间来获取的，根据传感器信息进行放射变换和透视变换得到图像矫正，再对图像中的障碍物信息进行标注。具体地，采用激光雷达扫描工作空间，考虑到激光雷达的局限性，需要架设其他传感器收集激光雷达无法扫描的图像信息(如玻璃)。
72.进一步的，在监测当前所述智能助行设备的姿态的过程中，包括：获取所述智能助行设备当前的位姿、方位和电量信息，并对智能助行设备进行状态监测。其中，位姿指智能助行设备在工作空间的位置，角度，车身方向等。状态监测包括：监测智能助行设备当前位置，距离使用者定下的目标点的距离，智能助行设备当前电量等。
73.具体举例来说:
74.应用在具有很多门的室内场景中时，本实施例中基于激光雷达与深度相机相结合的方式，通过将深度相机安装在自动行走设备底座正中央，通过门在图像中的位置，判断此刻自动行走设备水平方向的偏转位置，再结合激光雷达信息计算门宽，最终计算出自动行走设备水平方向偏移门中心的距离，据此距离给自动行走设备下达指令，调整自动行走设备位置，直至自动行走设备完全对准门中心，然后直行，实现精准过门。在此过程中，自动行走设备只需根据深度相机和激光雷达的探测结果，采用低成本的主控计算门和自动行走设备的相对位置关系，从而控制自动行走设备实现精准过门。具体的，深度摄像机的镜头沿底盘的中轴线朝向所述自动行走设备的前方，深度相机的视野范围覆盖所述自动行走设备的前方，所述深度相机深度范围为0.6m至8m，fov角为：h66.1
°
v40.2
°
。激光雷达的激光发射天线沿底盘的中轴线朝向所述自动行走设备的前方，激光雷达的探测距离范围为0.15m
‑
12m，扫描角度为0
°‑
360
°
。编码器中记录所述自动行走设备的位置信息，深度相机采集深度图像，激光雷达用于采集距离与角度信息。工控机处理深度图像、激光雷达信息和编码器信息等，并向轮毂上的电机传输速度控制指令，以及向轮毂连接的转向机构传输方向控制指令。基于激光雷达与深度相机的过门方式，包括：
75.自动行走设备移动到靠近门的位置后，通过深度相机进行图像采集。其中，靠近门的位置可以是距离门口指定距离的位置。例如：控制自动行走设备移动到门附近，打开深度相机，进行深度图像采集；其中，所述自动行走设备距离门一定距离，保证门能够出现在相机视野范围；所述深度相机安装于自动行走设备前进方向正中央。先根据所采集的图像，识别所述门并获取门宽像素距离和门中心点坐标。再根据所述门中心点坐标，获取门中心点偏移图像中心点的水平像素距离。然后，通过激光雷达获取门宽实际距离。之后根据所述门宽像素距离和所述门宽实际距离和所述门中心点偏移图像中心点的水平像素距离，获取所述自动行走设备偏移门中心的实际距离。最后根据所述实际距离向所述自动行走设备下达控制指令，来调整所述自动行走设备的位置，直至所述自动行走设备调整到正对门中心的位置，之后下达直行指令直至过门。
76.具体的，主控对所述深度相机采集得到的图像进行像素值读取，并对所得到的像素值进行二值化处理，其中，像素值的大小对应于所述深度相机当前与前方障碍物的距离，像素值对应的距离在预设范围内时像素值设为0，像素值对应的距离不在预设范围内时像素值设为255。针对二值化处理后的图像，去除地面干扰区域。再利用矩形结构元素，对二值化处理后的图像进行形态学闭操作。之后进行roi区域提取，提取其中的门区域，并进一步对所述门区域进行轮廓提取，提取得到门轮廓，并在所述门轮廓中确定最小外接矩形，其中，所述最小外接矩形的宽作为门宽的像素长度，所述最小外接矩形的中心点作为门的中心点。例如：基于一种几何模型去除地面干扰区域，相机光心距离地面高度h已知，(x
p
,y
p
,z
p
)为图像中某像素点对应场景点p的三维坐标，则点p到地面的距离为：h
p
＝h
‑
y
p
，设定阈值δh，当h
p
<δh时，认为该像素属于地面，直接去除(设置为0)。使用矩形结构元素，对二值图像进行形态学闭操作，消除二值图像中的小的黑洞。使用模板图像，对上述二值图像进行roi区域提取。寻找提取到的roi区域的轮廓，求取其最小外接矩形，以此外接矩形宽(d
p
)作为门宽的像素长度，此外接矩形的中心点(x
d
,y
d
)作为门的中心点。
77.其中，图像大小为m
ⅹ
n，图像中心点为(m/2,n/2)，偏移的水平方向像素距离为l
p
＝|m/2
–
x
m
|，其中，m表示图像水平方向像素个数，n表示图像竖直方向像素个数，l
p
表示偏移的像素距离，l表示距离，p表示像素，x
m
表示门中心点水平方向像素坐标，x表示像素坐标，m表示中心点。
78.其中，使用激光雷达信息计算门宽实际距离具体包括：所述激光雷达为二维激光雷达。所述激光雷达扫描得到的信息包括：一维距离数组
79.[d0,d1,d2,
…
,d
359
]，其中数组中的元素d
i
为激光雷达距离障碍物距离大小，i表示雷达扫描的角度。根据d
i
值的变化，确定所述雷达距离门框两侧的距离。其中，所述根据d
i
值的变化，确定所述雷达距离门框两侧的距离，包括：在正序距离数组中查询得到第一个距离突变的点d
l
，其中，d
l
对应于门框一侧,且此刻扫描的角度大小为l；在反序距离数组中查询得到第一个距离突变的点d
r
,其中，d
r
对应于门框另一侧,且此刻扫描的角度大小为r；确定所述激光雷达距离门框两侧距离分别为d
l
和d
r
，角度大小分别为l和r，因此与门框两侧夹角θ＝|l
–
r|，并得到门宽d，其中，d＝d
l2
+d
r2
‑
2*d
l
*d
r
*cosθ。
[0080]
进一步的，根据所述门宽像素距离和所述门宽实际距离，计算图像中的每像素距离所代表的实际距离作为像素当量；根据所计算的所述门中心点偏移图像中心点的水平像素距离乘以像素当量，获取所述自动行走设备偏移门中心的实际距离，其中，当所述自动行走设备完全位于门中心点时，此刻图像中识别到的门中心点也位于整个图像的中心点，当所述自动行走设备位置发生偏移，所成图像识别到的门中心点位置也发生相对的偏移，不在整幅图像中心点。例如：获取像素当量p
e
＝d/d
p
，其中，d表示门宽实际距离，d
p
表示门宽像素距离。利用偏移的水平方向像素距离l
p
，获取当前自动行走设备偏移门中心的水平实际距离d
d
＝p
e
*l
p
。例如：根据步骤五计算所得自动行走设备偏移门中心的实际距离d
d
，偏移方向由(m/2
‑
x
d
)的符号所确定，符号为正，则当自动行走设备偏左，反之偏右。据此下达指令调整自动行走设备位置，调整到正对门中心位置，下达直行指令，实现过门。其中，根据dd确定偏移方向，其中，所述偏移方向由(m/2
‑
xd)的符号确定，符号为正，则当前所述自动行走设备偏左。符号为负，则当前所述自动行走设备偏右。
[0081]
本实施例中还包括：
[0082]
所述智能终端根据s1中获取的环境数据，生成电子地图并显示。将所述智能助行设备在所述工作空间中的位置信息，显示在智能终端的电子地图中。根据所述深度相机的拍摄结果和超声波模块的探测结果，矫正智能助行设备在智能手机所示地图中的位置。需要说明的是，前述对所述激光雷达的扫描结果进行放射变换和透视变换，得到矫正后的图像信息，指的是矫正激光雷达图中缺少的地图信息；而此处矫正的，是矫正智能助行设备在地图中的位置。
[0083]
具体的，同时为了提高系统的自动化程度，使智能手机可以代替智能助行设备的摇杆来进行无接触控制，其中采控制系统将两路信号同时发送给智能手机，智能手机将信息发送给工控机进行归一化数列运算，进行特征提取(具体为小波变换运算)运算获得特征向量数据，再经过模糊分类运算(具体为欧氏距离运算)进行使用者意图模糊综合判断，至此控制智能助行设备导航至使用者设置的目标点。
[0084]
其中，基于使用者意图、指示移动平台运行的多传感器感知的模糊化信息，包括采用语音、手势控制、肢体变化等发出的，指示轮椅计划到达的目标位置、场所、建筑物或物品的模糊化信息，或者姿态变化过程及结果的模糊化信息，由控制系统及智能手机融合传感器系统的多种传感器采集的实时数据，对其进行模糊识别、分析后，再输出给智能助行设备的可执行的、符合安全规范的运行指令。比如：可以根据状态信息规划出可执行的、符合安全规范的可执行路径。
[0085]
具体地，通过获取智能助行设备当前位姿、方位和电量等信息，对智能助行设备进行状态监测，单纯的目标检测算法不能准确地对智能助行设备在地图中进行定位，所以需要使用视觉和超声波的数据信息来矫正智能助行设备在智能手机所示地图中的位置。同时为了提高系统的自动化程度，使智能手机可以代替智能助行设备的摇杆来进行无接触控制，其中采控制系统将两路信号同时发送给智能手机，智能手机将信息发送给工控机进行归一化数列运算，进行特征提取(具体为小波变换运算)运算获得特征向量数据，再经过模糊分类运算(具体为欧氏距离运算)进行使用者意图模糊综合判断，至此控制智能助行设备导航至使用者设置的目标点。
[0086]
智能助行设备具有与人交互的功能，本实施例中，基于智能手机的智能助行设备可以对轮椅进行无接触的安全导航技术，这种交互功能可以很直观地通过使用者点击屏幕选择目标点来实现。智能助行设备能在陌生环境中构建出环境的地图并且实现自身的定位与自主导航，正是看到这项技术的实用性，使智能助行设备具备移动机器人同步建图与自主导航定位的功能，使其更加智能化。
[0087]
以智能手机作为人机交互接口和客户端处理器的轮椅控制系统，客户端结合智能助行设备嵌入的各类传感器，实现wi
‑
fi通信，智能助行设备路径规划、手机姿势和离线语音识别等控制方式操作以及速度切换操作，并实现地图定位、地图定向、摔倒远程报警等功能。通过将智能助行设备与智能助行设备进行通信对接，实现了智能智能助行设备的远程检测及控制，以及对智能助行设备一定程度上的自主导航，也解决了目前智能助行设备与智能手机对接控制困难的问题。
[0088]
具体的，如图7所示，所述智能助行设备上安装有扶手台，所述扶手台为立柱式，且在靠近顶端的位置固定安装有握把。在所述扶手台的顶端开设有凹槽从而形成终端支架(11)，并且所述凹槽的底部粘贴有防滑垫，在所述防滑垫上印刷有二维码，所述二维码作为
所述智能助行设备的识别标签。
[0089]
本实施例中，智能助行设备具体可以实现为一种电驱动的且能够联网并与手机等智能设备建立通信的轮椅设备，并且这种轮椅设备可以在一定的区域内(比如敬老院、医院等)以“共享模式”进行使用。因此，在所述智能终端向智能助行设备发送初始化命令之前，还包括：
[0090]
所述智能终端扫描终端支架(11)中的二维码，并获取所述智能助行设备的识别标识；所述智能终端向后台服务器发送所述识别标识，所述后台服务器检测所述智能终端是否登录账户，若检测通过则向所述智能终端返回所述初始化命令；其中，根据所述识别标识生成了所述初始化命令。
[0091]
进一步的，所述后台服务器接收到所述智能助行设备的识别标识后，获取所述智能助行设备的位置信息和状态信息；根据所获取的位置信息确定所述智能助行设备当前是否处于正常的区域内，和，根据所获取的状态信息确定所述智能助行设备当前是否运行正常；若所述智能助行设备当前处于正常的区域内且运行正常，则所述后台服务器在检测到所述智能终端已登录账户后，生成所述初始化命令。
[0092]
进一步的，本实施例中还具体设计了集中工作模式，以便于切换使用，包括：所述智能终端根据使用者输入的指令，生成模式切换信息，并将所述模式切换信息向所述智能助行设备发送；所述智能助行设备的工控机根据所述模式切换信息切换当前的工作模式，其中所述工作模式包括：导航模式、避障模式和关闭模式，并可以将这集中模式显示在所述智能终端的操作界面中，以便于使用者手动操作切换模式，如图8所示的。例如：
[0093]
智能助行设备的运动分为三种模式：导航模式，避障模式，关闭模式，其中：导航模式下，通过室内地图选点，控制器自动计算到达目的位置的最优路径并驱动轮椅按路径行驶至目标位置，行驶过程中实时更新地图中的障碍物信息，当出现新障碍物或动态障碍物时可以重新计算导航路线，防止与障碍物发生碰撞；其中，轮椅车遇到路坎应重新调整导航路径，当重新计算的路径和当前规划的路径差别较大时，应提醒用户是否切换路径；避障模式下，用户可以在可视化界面预览地图状态，轮椅的行驶由摇杆控制，不能选点导航，遇到障碍，控制终端会抑制轮椅向障碍物方向行驶，其中，轮椅车遇到路坎应进行减速停止，防止撞到路坎；关闭模式下，使用轮椅自带摇杆来控制轮椅运动。
[0094]
具体如图8所示的，
[0095]
a.当前状态分为导航和建图两种状态(导航状态下使用app选择目标点进行导航，建图状态下使用app实现建图)；
[0096]
b.地图按钮提供复数地图供用户选择；图片按钮提供用户新建地图后用于保存的功能；
[0097]
c.模式按钮提供用户建图或者导航的状态切换；
[0098]
d.单选框实现导航状态下用户自主调整轮椅起点和目标点的功能；
[0099]
e.在导航模式下，用户能自主选择是否一键过门；
[0100]
f.模式单选框可供用户自由切换轮椅三种状态；
[0101]
g.虚拟摇杆实现用户app端控制轮椅运动；
[0102]
h.可视化窗口显示当前导航地图,且用户在导航过程中可以了解周围障碍物情况。
[0103]
这样一来，智能助行设备提供给用户简单便利的操作体验，使用者无需费力费时地操作轮椅运动，而附带的app则提供控制智能助行设备的手机端远程操作，手柄控制、自主导航、紧急避障、一键过门等功能，使用体验更便利。
[0104]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。