基于人工智能的盲人辅助方法、系统、终端及存储介质与流程

本申请涉及盲人辅助，尤其是涉及一种基于人工智能的盲人辅助方法、系统、终端及存储介质。

背景技术：

1、根据世界健康组织统计，全世界有四千万盲人。盲人损失了正常的视觉，他们的生活在起居、出行等方面都受到了巨大的影响。

2、传统的盲人辅助工具比如盲人手杖，盲人需要反复移动手杖，才能获知面前的情况，既费时也费力。盲人手杖的探测距离有限，只能检测脚边的障碍物，也无法反映远处和空中的状况。随着科学技术的迅速发展，为方便盲人出行，市场上出现了各种电子导盲设备，例如盲人眼镜、智能盲杖、导盲犬等，但智能盲杖只能探测1m以内的地面障碍物，导盲犬虽然可以引导盲人行进，但导盲犬训练周期长，且大部分场所为了安全和方便管理，禁止携带动物入内。

3、因此，现有的电子导盲设备探测范围小、准确性低，对盲人出行辅助效果较差。

技术实现思路

1、为了解决现有的电子导盲设备探测范围小、准确性低，对盲人出行辅助效果较差的问题，本申请提供了一种基于人工智能的盲人辅助方法、系统、终端及存储介质。

2、在本申请的第一方面，提供一种基于人工智能的盲人辅助方法，包括：

3、获取用户面朝方向的图像信息和周围环境的音频信息；

4、提取所述图像信息中的环境信息和用户的动作指令；所述动作指令用于触发交互程序；

5、提取所述音频信息中的唤醒词；

6、根据所述唤醒词或动作指令，调取预设的交互程序；

7、根据所述交互程序和环境信息，输出对应交互程序的语音信息；

8、根据所述环境信息，生成道路导航提示信息。

9、通过采用上述技术方案，先获取用户面朝方向的图像信息和周围环境的音频信息，图像信息中包含的环境信息被用于生成导航信息进行辅助指引，图像信息中的动作指令或音频信息中的唤醒词用于调取交互程序，通过交互程序满足用户的需求，从而提高盲人出行的便捷性。

10、在一种可能的实现方式中，提取所述图像信息中的环境信息和用户的动作指令，包括：

11、识别所述图像信息中用户的手臂；

12、从所述图像信息中提取所述用户的手臂的手臂图像；

13、当所述用户停止移动时，将所述手臂图像与预设的动作库中动作指令图像匹配，得到用户的动作指令。

14、在一种可能的实现方式中，根据所述唤醒词或动作指令，调取预设的交互程序，包括：

15、根据所述唤醒词，调取所述唤醒词对应的交互程序，并语音播报对应的交互程序名；

16、根据所述动作指令，调取所述动作指令对应的交互程序，并语音播报对应的交互程序名。

17、在一种可能的实现方式中，所述交互程序包括识别程序和寻物程序，根据所述交互程序和环境信息，输出对应交互程序的语音信息，包括：

18、当所述交互程序为识别程序时，识别所述环境信息中用户的手中物品；

19、识别成功后，将识别结果以语音方式播报；

20、识别不成功时，语音提示用户翻转手中物品。

21、在一种可能的实现方式中，根据所述交互程序和环境信息，输出对应交互程序的语音信息，包括：

22、当所述交互程序为寻物程序时，从所述环境信息中寻找对应物品；

23、当所述环境信息中未识别到对应物品时，语音提醒用户转身预设角度；

24、当所述用户转身达到360度后且任未识别到对应物品时，语音提示用户寻找失败。

25、在一种可能的实现方式中，根据所述环境信息，生成道路导航提示信息，包括：

26、根据所述环境信息，识别所述环境信息中的道路信息、红绿灯和障碍物，所述道路信息包括可行走的道路；

27、根据所述道路信息、红绿灯和障碍物，分别生成对应的导航提示信息。

28、在一种可能的实现方式中，根据所述道路信息、红绿灯和障碍物，分别生成对应的导航提示信息，还包括：

29、提取所述环境信息中的站台特征数据，根据所述站台特征数据，生成站台对应的前进路线和方向信息并进行语音播报。

30、在本申请的第二方面，提供一种基于人工智能的盲人辅助系统，包括：

31、数据获取模块，用于获取用户面朝方向的图像信息和周围环境的音频信息；

32、信息提取模块，用于提取所述图像信息中的环境信息和用户的动作指令；所述动作指令用于触发交互程序；提取所述音频信息中的唤醒词；

33、指令匹配模块，根据所述唤醒词或动作指令，调取预设的交互程序；

34、功能运行模块，根据所述交互程序和环境信息，输出对应交互程序的语音信息；根据所述环境信息，生成道路导航提示信息。

35、在本申请的第三方面，提供一种终端，具有智能盲人辅助的特点。

36、本申请的上述申请目的三是通过以下技术方案得以实现的：

37、一种终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述基于人工智能的盲人辅助方法的计算机程序。

38、在本申请的第四方面，提供一种计算机存储介质，能够存储相应的程序，具有便于实现智能盲人辅助的特点。

39、本申请的上述申请目的四是通过以下技术方案得以实现的：

40、一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种基于人工智能的盲人辅助方法的计算机程序。

41、综上所述，本申请包括以下有益技术效果：先获取用户面朝方向的图像信息和周围环境的音频信息，图像信息中包含的环境信息被用于生成导航信息进行辅助指引，图像信息中的动作指令或音频信息中的唤醒词用于调取交互程序，通过交互程序满足用户的需求，从而提高盲人出行的便捷性。

技术特征：

1.一种基于人工智能的盲人辅助方法，其特征在于，包括：

2.根据权利要求1所述的基于人工智能的盲人辅助方法，其特征在于，提取所述图像信息中的环境信息和用户的动作指令，包括：

3.根据权利要求2所述的基于人工智能的盲人辅助方法，其特征在于，根据所述唤醒词或动作指令，调取预设的交互程序，包括：

4.根据权利要求3所述的基于人工智能的盲人辅助方法，其特征在于，所述交互程序包括识别程序和寻物程序，根据所述交互程序和环境信息，输出对应交互程序的语音信息，包括：

5.根据权利要求4所述的基于人工智能的盲人辅助方法，其特征在于，根据所述交互程序和环境信息，输出对应交互程序的语音信息，包括：

6.根据权利要求1所述的基于人工智能的盲人辅助方法，其特征在于，根据所述环境信息，生成道路导航提示信息，包括：

7.根据权利要求6所述的基于人工智能的盲人辅助方法，其特征在于，根据所述道路信息、红绿灯和障碍物，分别生成对应的导航提示信息，还包括：

8.一种基于人工智能的盲人辅助系统，其特征在于，包括：

9.一种终端，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

技术总结
本申请涉及一种基于人工智能的盲人辅助方法、系统、终端及存储介质，涉及盲人辅助技术领域，该方法包括：获取用户面朝方向的图像信息和周围环境的音频信息；提取所述图像信息中的环境信息和用户的动作指令；所述动作指令用于触发交互程序；提取所述音频信息中的唤醒词；根据所述唤醒词或动作指令，调取预设的交互程序；根据所述交互程序和环境信息，输出对应交互程序的语音信息；根据所述环境信息，生成道路导航提示信息。本申请具有提高盲人出行便利性的效果。

技术研发人员：智振
受保护的技术使用者：中工互联（北京）科技集团有限公司
技术研发日：
技术公布日：2024/5/10