基于感知的盲人导航方法和装置与流程

1.本发明涉及盲人导航技术领域，具体而言，涉及一种基于感知的盲人导航方法和装置。


背景技术：

2.生活中，盲人在出行方面仍存在行走不便的问题。现有的辅助盲人单独出行的方式，虽然可以通过环境图像采集的方式识别出周围的环境信息，但所识别出的环境信息还是通过语音播报的方式提示用户，但由于盲人对于语音提示的环境信息缺乏直观的感知，无法对周围环境形成足以安心行走的认知，存在容易导致错走路线或发生磕碰的问题。


技术实现要素：

3.本发明提供一种基于感知的盲人导航方法和装置，用以克服现有技术中存在的至少一个技术问题。
4.根据本发明实施例的第一方面，提供一种基于感知的盲人导航方法，包括：
5.根据用户初始位置、目的地位置和导航地图数据得到盲人导航路径信息，所述盲人导航路径信息包括行走路线、用于提醒盲人行走需要注意的路况信息和中途转弯信息；
6.根据用户的当前所处位置、朝向及所述盲人导航路径信息，语音引导用户按照所述行走路线前行，并实时采集所述行走路线导航路径上的环境图像和深度信息；
7.基于所述环境图像中识别出的物件信息、所述深度信息和所述行走路线融合得到当前环境场景的映射图像，所述映射图像包含各物件的形状、大小和位置信息；
8.将所述映射图像各物件的形状、大小和位置信息转换为电信号传送至贴设在用户皮肤上的电极片上，以使用户通过触觉感知到当前环境中各物件的形状、大小和位置信息，所述电极片上设置有n行m列电极点。
9.可选的，所述物件包括可作为地点和方向参考的车站、广场、突出建筑物、商场、医院和学校中的至少一种。
10.可选的，所述映射图像的构建及更新方式如下：
11.对所采集的周围环境图像进行预处理后识别得到环境中的物件信息，根据预先设定的比例确定物件的形状、位置和大小；
12.连续采集所述行走路线上的环境图像，对当前环境图像与前一帧环境图像的相似程度进行比较，若连续的两帧图像的相似程度不低于设定阈值，则无需当前环境图像进行物件识别，若连续的两帧图像的相似程度低于所述设定阈值，则对当前环境图像进行物件识别，根据识别出的物件信息和当前所处的行走路线上的位置得到更新的映射图像。
13.可选的，所述相似程度通过以下方式计算：
14.通过滑动窗口将每帧图像按照预设的分区数进行分区，对于每帧图像的任一分区，计算其与另一帧图象对应分区的结构相似度，将两帧图像所有分区的结构相似度的平均值作为该两帧图像的相似程度。
15.可选的，在提示用户转向后，根据方向传感器实时检测用户的旋转角度，当用户旋转至提示的角度后，语音提示用户完成转向并前行。
16.可选的，所述电极片为柔性电极片。
17.根据本发明实施例的第二方面，提供一种基于感知的盲人导航装置，包括：
18.路径规划模块，被配置为根据用户初始位置、目的地位置和导航地图数据得到盲人导航路径信息，所述盲人导航路径信息包括行走路线、用于提醒盲人行走需要注意的路况信息和中途转弯信息；
19.引导模块，被配置为根据用户的当前所处位置、朝向及所述盲人导航路径信息，语音引导用户按照所述行走路线前行，并实时采集所述行走路线导航路径上的环境图像和深度信息；
20.环境映射模块，被配置为基于所述环境图像中识别出的物件信息、所述深度信息和所述行走路线融合得到当前环境场景的映射图像，所述映射图像包含各物件的形状、大小和位置信息；
21.用户感知模块，被配置为将所述映射图像各物件的形状、大小和位置信息转换为电信号传送至贴设在用户皮肤上的电极片上，以使用户通过触觉感知到当前环境中各物件的形状、大小和位置信息，所述电极片上设置有n行m列电极点。
22.可选的，所述映射图像的构建及更新方式如下：
23.对所采集的周围环境图像进行预处理后识别得到环境中的物件信息，根据预先设定的比例确定物件的形状、位置和大小；
24.连续采集所述行走路线上的环境图像，对当前环境图像与前一帧环境图像的相似程度进行比较，若连续的两帧图像的相似程度不低于设定阈值，则无需当前环境图像进行物件识别，若连续的两帧图像的相似程度低于所述设定阈值，则对当前环境图像进行物件识别，根据识别出的物件信息和当前所处的行走路线上的位置得到更新的映射图像。
25.可选的，所述相似程度通过以下方式计算：
26.通过滑动窗口将每帧图像按照预设的分区数进行分区，对于每帧图像的任一分区，计算其与另一帧图象对应分区的结构相似度，将两帧图像所有分区的结构相似度的平均值作为该两帧图像的相似程度。
27.可选的，在提示用户转向后，根据方向传感器实时检测用户的旋转角度，当用户旋转至提示的角度后，语音提示用户完成转向并前行。
28.本发明在根据采集的环境图像识别出需要盲人注意的物件信息后，根据物件的形状、大小和位置生成预设比例的映射图像，进而将映射图像中各物件的形状、大小和位置信息以电信号的形式发送到贴设在用户皮肤上的电极片上，映射图像中各物件的形状、大小和位置信息以电极信号的形式作用在用户的皮肤上，用户可以直观地感知到当前行进路线上环境中各物件的形状、大小和位置信息，从而对当前行进路线的环境形成充分的认知，进而可以根据语音提示更准确地按照规划路线前进，避免因为仅有语音提示无法对当前环境形成直观认知而导致偏离规划路线或出现磕碰的问题。
29.本发明实施例的创新点包括：
30.1、在根据采集的环境图像识别出需要盲人注意的物件信息后，根据物件的形状、大小和位置生成预设比例的映射图像，进而将映射图像中各物件的形状、大小和位置信息
以电信号的形式发送到贴设在用户皮肤上的电极片上，映射图像中各物件的形状、大小和位置信息以电极信号的形式作用在用户的皮肤上，用户可以直观地感知到当前行进路线上环境中各物件的形状、大小和位置信息，从而对当前行进路线的环境形成充分的认知，进而可以根据语音提示更准确地按照规划路线前进，避免因为仅有语音提示无法对当前环境形成直观认知而导致偏离规划路线或出现磕碰的问题，是本发明实施例的创新点之一。
31.2、在提示用户行进中转向时，虽然语音会提示用户转向的具体角度，但由于盲人看不到真实的环境，无法判断自己转向的角度具体是多少；而本发明实施例通过用户携带的方向传感器会在用户的转向角度达到语音提示的转向角度后，自动振动提示用户转向已达到所需要的角度，从而准确地实现行进转向，避免出现转向角度不准确而导致的偏离路线甚至出现磕碰的问题；这是本发明实施例的创新点之一。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为本发明一个实施例的基于感知的盲人导航方法流程图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
36.图1为本发明一个实施例的基于感知的盲人导航方法流程图；如图1所示，该盲人导航方法包括：
37.s110，根据用户初始位置、目的地位置和导航地图数据得到盲人导航路径信息，所述盲人导航路径信息包括行走路线、用于提醒盲人行走需要注意的路况信息和中途转弯信息；
38.s120，根据用户的当前所处位置、朝向及所述盲人导航路径信息，语音引导用户按照所述行走路线前行，并实时采集所述行走路线导航路径上的环境图像和深度信息；
39.s130，基于所述环境图像中识别出的物件信息、所述深度信息和所述行走路线融合得到当前环境场景的映射图像，所述映射图像包含各物件的形状、大小和位置信息；
40.s140，将所述映射图像各物件的形状、大小和位置信息转换为电信号传送至贴设在用户皮肤上的电极片上，以使用户通过触觉感知到当前环境中各物件的形状、大小和位置信息，所述电极片上设置有n行m列电极点。
41.在本发明的一个实施例中，所述物件包括可作为地点和方向参考的车站、广场、突出建筑物、商场、医院和学校中的至少一种。
42.在本发明的一个实施例中，所述映射图像的构建及更新方式如下：
43.对所采集的周围环境图像进行预处理后识别得到环境中的物件信息，根据预先设定的比例确定物件的形状、位置和大小；
44.连续采集所述行走路线上的环境图像，对当前环境图像与前一帧环境图像的相似程度进行比较，若连续的两帧图像的相似程度不低于设定阈值，则无需当前环境图像进行物件识别，若连续的两帧图像的相似程度低于所述设定阈值，则对当前环境图像进行物件识别，根据识别出的物件信息和当前所处的行走路线上的位置得到更新的映射图像。
45.在本发明的一个实施例中，所述相似程度通过以下方式计算：
46.通过滑动窗口将每帧图像按照预设的分区数进行分区，对于每帧图像的任一分区，计算其与另一帧图象对应分区的结构相似度，将两帧图像所有分区的结构相似度的平均值作为该两帧图像的相似程度。
47.在本发明的一个实施例中，在提示用户转向后，根据方向传感器实时检测用户的旋转角度，当用户旋转至提示的角度后，语音提示用户完成转向并前行。
48.在本发明的一个实施例中，所述电极片为柔性电极片。
49.根据本发明实施例的第二方面，提供一种基于感知的盲人导航装置，包括：
50.路径规划模块，被配置为根据用户初始位置、目的地位置和导航地图数据得到盲人导航路径信息，所述盲人导航路径信息包括行走路线、用于提醒盲人行走需要注意的路况信息和中途转弯信息；
51.引导模块，被配置为根据用户的当前所处位置、朝向及所述盲人导航路径信息，语音引导用户按照所述行走路线前行，并实时采集所述行走路线导航路径上的环境图像和深度信息；
52.环境映射模块，被配置为基于所述环境图像中识别出的物件信息、所述深度信息和所述行走路线融合得到当前环境场景的映射图像，所述映射图像包含各物件的形状、大小和位置信息；
53.用户感知模块，被配置为将所述映射图像各物件的形状、大小和位置信息转换为电信号传送至贴设在用户皮肤上的电极片上，以使用户通过触觉感知到当前环境中各物件的形状、大小和位置信息，所述电极片上设置有n行m列电极点。
54.在本发明的一个实施例中，所述映射图像的构建及更新方式如下：
55.对所采集的周围环境图像进行预处理后识别得到环境中的物件信息，根据预先设定的比例确定物件的形状、位置和大小；
56.连续采集所述行走路线上的环境图像，对当前环境图像与前一帧环境图像的相似程度进行比较，若连续的两帧图像的相似程度不低于设定阈值，则无需当前环境图像进行物件识别，若连续的两帧图像的相似程度低于所述设定阈值，则对当前环境图像进行物件识别，根据识别出的物件信息和当前所处的行走路线上的位置得到更新的映射图像。
57.在本发明的一个实施例中，所述相似程度通过以下方式计算：
58.通过滑动窗口将每帧图像按照预设的分区数进行分区，对于每帧图像的任一分区，计算其与另一帧图象对应分区的结构相似度，将两帧图像所有分区的结构相似度的平
均值作为该两帧图像的相似程度。
59.在本发明的一个实施例中，在提示用户转向后，根据方向传感器实时检测用户的旋转角度，当用户旋转至提示的角度后，语音提示用户完成转向并前行。
60.本发明在根据采集的环境图像识别出需要盲人注意的物件信息后，根据物件的形状、大小和位置生成预设比例的映射图像，进而将映射图像中各物件的形状、大小和位置信息以电信号的形式发送到贴设在用户皮肤上的电极片上，映射图像中各物件的形状、大小和位置信息以电极信号的形式作用在用户的皮肤上，用户可以直观地感知到当前行进路线上环境中各物件的形状、大小和位置信息，从而对当前行进路线的环境形成充分的认知，进而可以根据语音提示更准确地按照规划路线前进，避免因为仅有语音提示无法对当前环境形成直观认知而导致偏离规划路线或出现磕碰的问题。
61.本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
62.本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
63.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。