导盲机器人的导盲方法、装置及相关设备

1.本发明涉及智能设备控制领域，尤其涉及一种导盲机器人的导盲方法、装置及相关设备。


背景技术：

2.目前，盲人的导盲方式主要是通过导盲犬进行导盲，导盲犬是需要人工进行长久训练后方可进行投放应用。
3.导盲犬由于品种、训练时长等原因，价格都是非常的昂贵，普通的用户很难承担起这么昂贵的费用。另外，导盲犬导盲过程中很容易受到外界干扰而出现不听指令的情况，这样容易使用户发生意外。


技术实现要素：

4.本发明提供一种导盲机器人的导盲方法，以解决上述技术问题。
5.第一方面，本发明提供一种导盲机器人的导盲方法，包括以下步骤：
6.获取用户的语音信息，提取所述语音信息中的目的地信息；
7.根据所述目的地信息，规划基于盲人导航的出行路线；
8.获取用户的行进指令信息，根据所述出行路线行进；
9.实时获取出行路线上的路面状态信息；
10.根据所述路面状态信息，进行行进，并向用户进行实时的路面状态信息提示；
11.实时获取牵引绳的牵引信号；
12.根据所述牵引信号，作出预设的信号反馈动作。
13.优选的，所述实时获取牵引绳的牵引信号的步骤包括：
14.实时获取牵引力的大小；
15.所述根据所述牵引信号，作出预设的信号反馈动作的步骤包括：
16.根据所述牵引力的大小，调节所述导盲机器人的运行速度。
17.优选的，所述实时获取牵引绳的牵引信号的步骤包括：
18.实时获取牵引力的波动信号，且将所述波动信号的波峰值与预设的阈值进行比较；
19.若所述波动信号的波峰值达到所述预设的阈值，则判断该波动信号有效；
20.所述根据所述牵引信号，作出预设的信号反馈动作的步骤包括：
21.根据所述牵引力的波动信号，控制所述导盲机器人的启停动作。
22.优选的，根据所述路面状态信息，进行行进，并向用户进行实时的路面状态信息提示的步骤包括：
23.当判断所述路面状态信息为转弯位置信息时；
24.停止或减小导盲机器人的运行速度；
25.同时根据停止或减小运行速度前的运行速度，逐步收卷所述牵引绳使所述牵引绳
的长度逐步减小；
26.当所述牵引绳的长度达到预设值时，停止收卷所述牵引绳；
27.启动或提升导盲机器人的运行速度。
28.优选的，所述启动或提升导盲机器人的运行速度前还包括步骤：
29.实时获取用户的行进图像信息；
30.判断所述用户是否到达转弯位置，若用户到达所述转弯位置；
31.则启动或提升导盲机器人的运行速度。
32.优选的，所述实时获取出行路线上的路面状态信息的步骤包括：
33.根据实时拍摄的图像信息，识别图像信息中的盲道位置。
34.优选的，所述根据实时拍摄的图像信息，识别图像信息中的盲道位置的步骤包括：
35.基于预设的盲道纹理特征；
36.根据纹理差异区分出盲道位置。
37.第二方面，本发明提供一种导盲机器人的导盲控制装置，所述装置包括：
38.语音识别模块，用于获取用户的语音信息，提取所述语音信息中的目的地信息；
39.地图导航模块，根据所述目的地信息，规划基于盲人导航的出行路线；
40.行进控制模块，获取用户的行进指令信息，根据所述出行路线行进；
41.路面状态获取模块，实时获取出行路线上的路面状态信息；
42.提示模块，根据所述路面状态信息，进行行进，并向用户进行实时的路面状态信息提示；
43.牵引力检测模块，实时获取牵引绳的牵引信号；
44.反馈模块，根据所述牵引信号，作出预设的信号反馈动作。
45.第三方面，本发明提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明提供的导盲机器人的导盲方法中的步骤。
46.第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的导盲机器人的导盲方法中的步骤。
47.本发明中，导盲机器人通过获取用户的语音信息，提取所述语音信息中的目的地信息；根据所述目的地信息，规划基于盲人导航的出行路线；获取用户的行进指令信息，根据所述出行路线行进；实时获取出行路线上的路面状态信息；根据所述路面状态信息，进行行进，并向用户进行实时的路面状态信息提示；实时获取牵引绳的牵引信号；根据所述牵引信号，作出预设的信号反馈动作。牵引信号的提示对于导盲机器人而言，可以避免环境嘈杂带来的语言识别不准或无法识别的情况，能够及时的作出反馈动作，使用户可以安全的得到导航机器人的服务。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
49.图1是本发明实施例提供的一种导盲机器人的导盲方法的流程图；
50.图2是本发明实施例提供的导盲机器人结构简图；
51.图3是本发明实施例提供的一种导盲机器人的导盲装置的结构示意图；
52.图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.请参见图1，图1是本发明实施例提供的一种导盲机器人的导盲方法的流程图，如图2所示，本发明的导盲机器人可以是采用轮式结构运行，导盲机器人具备车身、电池、电机、车轮、摄像头、麦克风、牵引绳等基本结构。导盲机器人在进行导盲行进时，用户根据牵引绳的牵引力变化跟着导盲机器人行进。牵引绳导盲的方式使用户可以摆脱导盲杖，行走更自由、快速，无需通过导盲杖识别路面状态信息。如图1所示，该导盲机器人的导盲方法包括以下步骤：
55.101、获取用户的语音信息，提取所述语音信息中的目的地信息。
56.在本发明实施例中，导盲机器人本身设置有麦克风，可对外部声音进行捕获，特别是，用于捕获用户的语音信息。
57.在本实施例中，导盲机器人的使用环境可能处于各种不同的环境中，例如是家里、街上或者商场中，经常会有来自于不同方面的声音信息的输入。因此，需要对用户唯一的语音信息进行识别，因此，在识别外部声音信息使，还需判断是否是来自于用户的语音信息。
58.具体的，在用户使用前，需录入自身的声音信息进入导盲机器人中，导盲机器人对用户的声纹特征进行识别，并记录。当识别到外部声音信息时，将外部声音信息与预存的声纹特征进行比较，从而可以判断出是否是来自于用户的语音信息。
59.用户的语音信息可以作为一些指令使导盲机器人作出相应的动作，同时，也可以通过语音信息输入目的地信息，导盲机器人识别语音信息中的目的地信息，导盲机器人可以根据目的地信息作出打开基于盲人而设计的导航地图。
60.102、根据所述目的地信息，规划基于盲人导航的出行路线。
61.在本发明实施例中，基于盲人而设计的导航地图主要是考虑到盲人行进方便的可能性，例如路线上是否有便于盲人出行的盲道，路线上是否有导盲机器人无法通过的障碍(如落差较大的路肩)，总之，需考虑盲道、导盲机器人通过性等因素而专门给出的导航建议。
62.在识别到用户的目的地信息后，基于打开的导航地图规划出出行路线，可以通过语音反馈的方式，将出行路线的经过地、便利性播报给用户，用户根据自己的出行需求，选择适合自己的出行路线。并通过语音反馈到机器人确认出行路线。
63.103、获取用户的行进指令信息，根据所述出行路线行进。
64.在本发明实施列中，在规划好行进路线并选定后，基于用户的行进指令信息开始
出发行进，用户的指令信息可以是语音信息，也可以是其它方式的信息，如遥控、牵引绳控制等方式。
65.104、实时获取出行路线上的路面状态信息。
66.在本发明实施例中，实时获取路面状态信息可以是基于多种方式获取，如传感器、摄像机等。传感器可以实时的识别障碍物以及障碍物的距离，摄像机可以实时的拍摄行进路面的图像信息，同样可以实时识别障碍物、盲道等信息。
67.105、根据所述路面状态信息，进行行进，并向用户进行实时的路面状态信息提示。
68.在本发明实施例中，路面的状态信息可以通过语音或声音实时的反馈给用户，提醒用户路面的状态信息。语音方式提醒可以是直接播报前方障碍物情况，声音提醒可以是通过嘀嘀声进行反馈。
69.106、实时获取牵引绳的牵引信号。
70.在本实施例中，导盲机器人导盲的过程是通过牵引绳的牵引力实现，当然，牵引力的大小不是用于拉动人体重量下的用户的，而是在这个牵引力作用下，用户得到一个指引和拉力，使用户在这个指引和拉力的作用下以合适的速度行进。同时，由于行进过程中手臂的摆动，该牵引力的大小是不断的在变化的，但是，由于行进速度变化不大，因此牵引力的变化范围也是在一个相对比较确定的范围值内。导盲机器人实时的获取牵引绳的牵引信号(力信号)，这样可以确定用户的行进状态是否正常。
71.在进一步的实施例中，针对不同的行进速度，手臂摆动的程度以及力度均不同，在此情况下，牵引力的变化范围也是不同的。通过预设不同速度下的牵引力变化范围，以确保导盲机器人可以实时的监控到正确的用户行进信息。
72.当然，对于不同的用户而言，牵引力变化的范围也可能不同，导盲机器人的牵引力变化范围可以通过使用前进行录入校准，以用户实际行进的速度检测到的牵引力变化范围进行录入，为确保范围具备一定的容错性，录入的牵引力变化范围可加上容错值δ，得到最终的检测范围。
73.107、根据所述牵引信号，作出预设的信号反馈动作。
74.本实施例中，出来正常行进状态下的牵引信号外，用户可以通过不同的牵引信号作出相应的反馈动作。
75.可选的，所述实时获取牵引绳的牵引信号的步骤包括：
76.实时获取牵引力的大小；
77.所述根据所述牵引信号，作出预设的信号反馈动作的步骤包括：
78.根据所述牵引力的大小，调节所述导盲机器人的运行速度。
79.具体的，当牵引力的大小突然突破正常行进的大小时，说明该信号是来自于用户主动发出的信号。例如，当牵引力的大小突然变大时(超出正常行进下的最大范围值)，说明用户主动拉扯了一下牵引绳，此时可以判断牵引力的大小，当牵引力达到第一预设值时，降低导盲机器人的运行速度。又如，当牵引力的大小突然变小时，说明用户的速度变慢，此时，也需要降低导盲机器人的运行速度。
80.可选的，所述实时获取牵引绳的牵引信号的步骤包括：
81.实时获取牵引力的波动信号，且将所述波动信号的波峰值与预设的阈值进行比较；
82.若所述波动信号的波峰值达到所述预设的阈值，则判断该波动信号有效；
83.所述根据所述牵引信号，作出预设的信号反馈动作的步骤包括：
84.根据所述牵引力的波动信号，控制所述导盲机器人的启停动作。
85.具体的，牵引力阈值达到第二预设值时，该第二预设值比上述的第一预设值大，此时说明用户用力急拉了一下牵引绳，此时可以确认用户是需要停止。基于该牵引力信号，控制导盲机器人停止。
86.当然，导盲机器人的启动也可以通过牵引力的信号进行控制，在导盲机器人停止状态下，牵引绳的牵引力基本为0，牵引力的大小主要来自于牵引绳的重量本身，可以忽略不计，该牵引绳的重量可以通过预设的校准值进行校准，使检测信号的初始值为0。当检测到牵引力由0突变到第三预设值时，以该信号作为导盲机器人的启动信号，驱动机器人进行前进。
87.可选的，本实施例中，根据所述路面状态信息，进行行进，并向用户进行实时的路面状态信息提示的步骤包括：
88.当判断所述路面状态信息为转弯位置信息时；
89.停止或减小导盲机器人的运行速度；
90.同时根据停止或减小运行速度前的运行速度，逐步收卷所述牵引绳使所述牵引绳的长度逐步减小；
91.当所述牵引绳的长度达到预设值时，停止收卷所述牵引绳；
92.启动或提升导盲机器人的运行速度。
93.具体的，在遇到转弯时，例如直角拐弯的情况，由于运行速度的问题，转弯会导致牵引绳的牵引力发生变化(牵引力变小)，同时，牵引方向也会发生变化，这样容易使用户根据错误的方向前进，以及收到来自机器人错误的信号。因此，停止或减小导盲机器人的运行速度，并通过逐步收卷牵引绳的长度，使牵引绳的牵引力变化保持不变，同时牵引绳长度变短以及机器人行进速度减小或停止的情况下，牵引方向的变化也会减小，从而不会给用户错误的信号。
94.当用户已经到达拐角处时，牵引绳的长度也达到了牵引最小的预设值，此时停止收卷牵引绳，启动或提升机器人的运行速度，用户感知牵引绳的方向变化不会再偏离行走路线，使用户可以安全通过。
95.本实施例中，以直角拐弯的墙角为例，较长的牵引绳会引起错误的牵引方向信号，若机器人先通过拐角，而用户还在后面，则错误的牵引方向信号很可能会使用户直接撞到墙上。因此，本实施例通过控制导盲机器人的运行速度、控制牵引绳的长度实现用户安全通过拐角位置。
96.可选的，所述启动或提升导盲机器人的运行速度前还包括步骤：
97.实时获取用户的行进图像信息；
98.判断所述用户是否到达转弯位置，若用户到达所述转弯位置；
99.则启动或提升导盲机器人的运行速度。
100.可选的的，所述实时获取出行路线上的路面状态信息的步骤包括：
101.根据实时拍摄的图像信息，识别图像信息中的盲道位置。
102.优选的，所述根据实时拍摄的图像信息，识别图像信息中的盲道位置的步骤包括：
103.基于预设的盲道纹理特征；
104.根据纹理差异区分出盲道位置。
105.本发明中，导盲机器人通过获取用户的语音信息，提取所述语音信息中的目的地信息；根据所述目的地信息，规划基于盲人导航的出行路线；获取用户的行进指令信息，根据所述出行路线行进；实时获取出行路线上的路面状态信息；根据所述路面状态信息，进行行进，并向用户进行实时的路面状态信息提示；实时获取牵引绳的牵引信号；根据所述牵引信号，作出预设的信号反馈动作。牵引信号的提示对于导盲机器人而言，可以避免环境嘈杂带来的语言识别不准或无法识别的情况，能够及时的作出反馈动作，使用户可以安全的得到导航机器人的服务。
106.请参见图2，图2为实现本发明实施例导航方法的一个机器人结构示例，该机器人采用轮式运行结构，具备车体1、摄像头2、牵引绳控制装置3(包括牵引绳31)、以及设置在车体上的传感器等设备。车体内置有智能设备，该智能设备具备麦克风、发声模块等，通过麦克风可以识别外部的声音输入，通过发声模块向用户进行声音反馈。牵引绳控制装置3用于释放牵引绳31、收卷牵引绳31、以及检测牵引绳31牵引力信号。
107.请参见图3，图3是本发明实施例提供的一种导盲装置的结构示意图，如图3所示，所述装置包括：
108.语音识别模块201，用于获取用户的语音信息，提取所述语音信息中的目的地信息；
109.地图导航模块202，根据所述目的地信息，规划基于盲人导航的出行路线；
110.行进控制模块203，获取用户的行进指令信息，根据所述出行路线行进；
111.路面状态获取模块204，实时获取出行路线上的路面状态信息；
112.提示模块205，根据所述路面状态信息，进行行进，并向用户进行实时的路面状态信息提示；
113.牵引力检测模块206，实时获取牵引绳的牵引信号；
114.反馈模块207，根据所述牵引信号，作出预设的信号反馈动作。
115.可选的，所述实时获取牵引绳的牵引信号的步骤包括：
116.实时获取牵引力的大小；
117.所述根据所述牵引信号，作出预设的信号反馈动作的步骤包括：
118.根据所述牵引力的大小，调节所述导盲机器人的运行速度。
119.具体的，当牵引力的大小突然突破正常行进的大小时，说明该信号是来自于用户主动发出的信号。例如，当牵引力的大小突然变大时(超出正常行进下的最大范围值)，说明用户主动拉扯了一下牵引绳，此时可以判断牵引力的大小，当牵引力达到第一预设值时，降低导盲机器人的运行速度。又如，当牵引力的大小突然变小时，说明用户的速度变慢，此时，也需要降低导盲机器人的运行速度。
120.可选的，所述实时获取牵引绳的牵引信号的步骤包括：
121.实时获取牵引力的波动信号，且将所述波动信号的波峰值与预设的阈值进行比较；
122.若所述波动信号的波峰值达到所述预设的阈值，则判断该波动信号有效；
123.所述根据所述牵引信号，作出预设的信号反馈动作的步骤包括：
124.根据所述牵引力的波动信号，控制所述导盲机器人的启停动作。
125.具体的，牵引力阈值达到第二预设值时，该第二预设值比上述的第一预设值大，此时说明用户用力急拉了一下牵引绳，此时可以确认用户是需要停止。基于该牵引力信号，控制导盲机器人停止。
126.当然，导盲机器人的启动也可以通过牵引力的信号进行控制，在导盲机器人停止状态下，牵引绳的牵引力基本为0，牵引力的大小主要来自于牵引绳的重量本身，可以忽略不计，该牵引绳的重量可以通过预设的校准值进行校准，使检测信号的初始值为0。当检测到牵引力由0突变到第三预设值时，以该信号作为导盲机器人的启动信号，驱动机器人进行前进。
127.可选的，本实施例中，根据所述路面状态信息，进行行进，并向用户进行实时的路面状态信息提示的步骤包括：
128.当判断所述路面状态信息为转弯位置信息时；
129.停止或减小导盲机器人的运行速度；
130.同时根据停止或减小运行速度前的运行速度，逐步收卷所述牵引绳使所述牵引绳的长度逐步减小；
131.当所述牵引绳的长度达到预设值时，停止收卷所述牵引绳；
132.启动或提升导盲机器人的运行速度。
133.具体的，在遇到转弯时，例如直角拐弯的情况，由于运行速度的问题，转弯会导致牵引绳的牵引力发生变化(牵引力变小)，同时，牵引方向也会发生变化，这样容易使用户根据错误的方向前进，以及收到来自机器人错误的信号。因此，停止或减小导盲机器人的运行速度，并通过逐步收卷牵引绳的长度，使牵引绳的牵引力变化保持不变，同时牵引绳长度变短以及机器人行进速度减小或停止的情况下，牵引方向的变化也会减小，从而不会给用户错误的信号。
134.当用户已经到达拐角处时，牵引绳的长度也达到了牵引最小的预设值，此时停止收卷牵引绳，启动或提升机器人的运行速度，用户感知牵引绳的方向变化不会再偏离行走路线，使用户可以安全通过。
135.本实施例中，以直角拐弯的墙角为例，较长的牵引绳会引起错误的牵引方向信号，若机器人先通过拐角，而用户还在后面，则错误的牵引方向信号很可能会使用户直接撞到墙上。因此，本实施例通过控制导盲机器人的运行速度、控制牵引绳的长度实现用户安全通过拐角位置。
136.可选的，所述启动或提升导盲机器人的运行速度前还包括步骤：
137.实时获取用户的行进图像信息；
138.判断所述用户是否到达转弯位置，若用户到达所述转弯位置；
139.则启动或提升导盲机器人的运行速度。
140.可选的的，所述实时获取出行路线上的路面状态信息的步骤包括：
141.根据实时拍摄的图像信息，识别图像信息中的盲道位置。
142.优选的，所述根据实时拍摄的图像信息，识别图像信息中的盲道位置的步骤包括：
143.基于预设的盲道纹理特征；
144.根据纹理差异区分出盲道位置。
145.本发明实施例提供的导盲控制装置能够实现上述方法实施例中导盲机器人的控制方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
146.参见图4，图4是本发明实施例提供的一种电子设备的结构示意图，如图3所示，包括：存储器302、处理器301及存储在所述存储器302上并可在所述处理器301上运行的导盲机器人的导盲方法的计算机程序，其中：
147.处理器301用于调用存储器302存储的计算机程序，执行如下步骤：
148.获取用户的语音信息，提取所述语音信息中的目的地信息；
149.根据所述目的地信息，规划基于盲人导航的出行路线；
150.获取用户的行进指令信息，根据所述出行路线行进；
151.实时获取出行路线上的路面状态信息；
152.根据所述路面状态信息，进行行进，并向用户进行实时的路面状态信息提示；
153.实时获取牵引绳的牵引信号；
154.根据所述牵引信号，作出预设的信号反馈动作。
155.可选的，处理器301执行的所述实时获取牵引绳的牵引信号的步骤包括：
156.实时获取牵引力的大小；
157.所述根据所述牵引信号，作出预设的信号反馈动作的步骤包括：
158.根据所述牵引力的大小，调节所述导盲机器人的运行速度。
159.可选的，处理器301执行的所述实时获取牵引绳的牵引信号的步骤包括：
160.实时获取牵引力的波动信号，且将所述波动信号的波峰值与预设的阈值进行比较；
161.若所述波动信号的波峰值达到所述预设的阈值，则判断该波动信号有效；
162.所述根据所述牵引信号，作出预设的信号反馈动作的步骤包括：
163.根据所述牵引力的波动信号，控制所述导盲机器人的启停动作。
164.可选的，处理器301执行的根据所述路面状态信息，进行行进，并向用户进行实时的路面状态信息提示的步骤包括：
165.当判断所述路面状态信息为转弯位置信息时；
166.停止或减小导盲机器人的运行速度；
167.同时根据停止或减小运行速度前的运行速度，逐步收卷所述牵引绳使所述牵引绳的长度逐步减小；
168.当所述牵引绳的长度达到预设值时，停止收卷所述牵引绳；
169.启动或提升导盲机器人的运行速度。
170.可选的，处理器301执行的所述启动或提升导盲机器人的运行速度前还包括步骤：
171.实时获取用户的行进图像信息；
172.判断所述用户是否到达转弯位置，若用户到达所述转弯位置；
173.则启动或提升导盲机器人的运行速度。
174.可选的，处理器301执行的所述实时获取出行路线上的路面状态信息的步骤包括：
175.根据实时拍摄的图像信息，识别图像信息中的盲道位置。
176.可选的，处理器301执行的所述根据实时拍摄的图像信息，识别图像信息中的盲道位置的步骤包括：
177.基于预设的盲道纹理特征；
178.根据纹理差异区分出盲道位置。
179.本发明实施例提供的电子设备能够实现上述方法实施例中导盲机器人的导盲方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
180.本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的导盲机器人的导盲方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
181.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存取存储器(random access memory，简称ram)等。
182.以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。