支持多语言的智能导盲方法、装置、导盲设备及存储介质与流程

本申请涉及导盲，尤其涉及一种支持多语言的智能导盲方法、装置、导盲设备及存储介质。

背景技术：

1、盲人是指视觉有障碍的人。由于视力障碍出行不便，盲人传统出行主要借助导盲棍或导盲犬，随着科技水平的发展，出现了多种智能导盲设备，目前主要产品有智能导盲杖、穿戴式导盲设备、手持式导盲设备等。现有的智能导盲设备仅能支持一种语言，语言功能单一。

技术实现思路

1、有鉴于此，本申请提供一种支持多语言的智能导盲方法、装置、导盲设备及存储介质，用以解决智能导盲设备的语言功能单一的技术问题。

2、本申请的第一方面提供一种支持多语言的智能导盲方法，所述方法包括：

3、获取用户输入的询问语音、所述用户的当前地理位置及所述用户当前所处环境的环境图像；

4、根据所述询问语音确定目标地理位置和目标翻译语言；

5、根据所述当前地理位置和所述目标地理位置生成初始导航路径；

6、利用预先训练完成的障碍物识别模型对所述环境图像进行识别，得到障碍物信息；

7、基于所述初始导航路径及所述障碍物信息生成目标导航路径；

8、使用所述目标翻译语言播放与所述目标导航路径对应的导航语音，以对所述用户进行导盲。

9、在一个可选的实施方式中，所述根据所述询问语音确定目标地理位置和目标翻译语言包括：

10、将所述询问语音转换为询问文本；

11、识别所述询问文本中的地理名称，并将与所述地理名称对应的地理位置确定为所述目标地理位置；

12、识别所述询问文本的语言，并将所述语言确定为所述目标翻译语言。

13、在一个可选的实施方式中，所述根据所述当前地理位置和所述目标地理位置生成初始导航路径包括：

14、以第一预设规划精度基于所述当前地理位置和所述目标地理位置规划第一导航路径；

15、获取所述导盲设备中感测器的感测距离；

16、根据所述感测距离在所述第一导航路径中确定多个第一规划节点；

17、以第二预设规划精度基于每两个相邻的第一规划节点规划第二导航路径，所述第二预设规划精度高于所述第一预设规划精度；

18、基于多个所述第二导航路径生成所述初始导航路径。

19、在一个可选的实施方式中，所述利用预先训练完成的障碍物识别模型对所述环境图像进行识别，得到障碍物信息包括：

20、利用预先训练完成的障碍物识别模型对所述环境图像进行识别，得到多个障碍物及每个所述障碍物在所述环境图像中的坐标；

21、基于所述坐标，利用单目测距算法计算得到对应障碍物的障碍物地理位置；

22、所述障碍物信息包括每个所述障碍物的障碍物地理位置。

23、在一个可选的实施方式中，所述基于所述初始导航路径及所述障碍物信息生成目标导航路径包括：

24、在所述初始导航路径中确定与所述障碍物地理位置对应的第二规划节点；

25、以第三预设规划精度基于每两个相邻的第二规划节点规划第三导航路径，所述第三预设规划精度高于所述第二预设规划精度；

26、基于多个所述第三导航路径生成模拟导航路径；

27、对所述模拟导航路径进行路径平滑处理，得到所述目标导航路径。

28、在一个可选的实施方式中，所述方法还包括：

29、实时获取所述用户与前方障碍物之间的距离，并判断所述距离是否小于预设距离阈值；

30、当所述距离小于或等于所述预设距离阈值时，生成距离提醒信息。

31、在一个可选的实施方式中，所述方法还包括：

32、获取所述用户的多个历史停留点及每个所述历史停留点的停留时长；

33、获取大于预设停留时长阈值的目标停留时长对应的目标历史停留点；

34、判断所述目标历史停留点是否在所述目标导航路径上；

35、当所述目标历史停留点在所述目标导航路径上，在所述用户到达所述目标导航路径上与所述目标历史停留点对应的地理位置时，生成停留通知信息。

36、本申请的第二方面提供一种支持多语言的智能导盲装置，所述装置包括：

37、获取模块，用于获取用户输入的询问语音、所述用户的当前地理位置及所述用户当前所处环境的环境图像；

38、确定模块，用于根据所述询问语音确定目标地理位置和目标翻译语言；

39、生成模块，根据所述当前地理位置和所述目标地理位置生成初始导航路径；

40、识别模块，用于利用预先训练完成的障碍物识别模型对所述环境图像进行识别，得到障碍物信息；

41、所述生成模块，还用于基于所述初始导航路径及所述障碍物信息生成目标导航路径；

42、导盲模块，用于使用所述目标翻译语言播放与所述目标导航路径对应的导航语音，以对所述用户进行导盲。

43、本申请的第三方面提供一种导盲设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的支持多语言的智能导盲方法的步骤。

44、本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现所述的支持多语言的智能导盲方法的步骤。

45、本申请通过获取用户输入的询问语音、所述用户的当前地理位置及所述用户当前所处环境的环境图像，根据所述询问语音确定目标地理位置和目标翻译语言，根据所述当前地理位置和所述目标地理位置生成初始导航路径，利用预先训练完成的障碍物识别模型对所述环境图像进行识别，得到障碍物信息，基于所述初始导航路径及所述障碍物信息生成目标导航路径，使用所述目标翻译语言播放与所述目标导航路径对应的导航语音，以对所述用户进行导盲。本申请能够适应多语言环境，满足不同用户的语言需求，且通过结合障碍物信息生成目标导航路径，提高了导航的安全性。

技术特征：

1.一种支持多语言的智能导盲方法，应用于导盲设备中，其特征在于，所述方法包括：

2.根据权利要求1所述的支持多语言的智能导盲方法，其特征在于，所述根据所述询问语音确定目标地理位置和目标翻译语言包括：

3.根据权利要求1所述的支持多语言的智能导盲方法，其特征在于，所述根据所述当前地理位置和所述目标地理位置生成初始导航路径包括：

4.根据权利要求3所述的支持多语言的智能导盲方法，其特征在于，所述利用预先训练完成的障碍物识别模型对所述环境图像进行识别，得到障碍物信息包括：

5.根据权利要求4所述的支持多语言的智能导盲方法，其特征在于，所述基于所述初始导航路径及所述障碍物信息生成目标导航路径包括：

6.根据权利要求5所述的支持多语言的智能导盲方法，其特征在于，所述方法还包括：

7.根据权利要求1至6中任意一项所述的支持多语言的智能导盲方法，其特征在于，所述方法还包括：

8.一种支持多语言的智能导盲装置，其特征在于，所述装置包括：

9.一种导盲设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的支持多语言的智能导盲方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的支持多语言的智能导盲方法的步骤。

技术总结
本申请涉及导盲技术领域，提供了一种支持多语言的智能导盲方法、装置、导盲设备及存储介质。本申请获取用户输入的询问语音、所述用户的当前地理位置及所述用户当前所处环境的环境图像；根据所述询问语音确定目标地理位置和目标翻译语言；根据所述当前地理位置和所述目标地理位置生成初始导航路径；利用预先训练完成的障碍物识别模型对所述环境图像进行识别，得到障碍物信息；基于所述初始导航路径及所述障碍物信息生成目标导航路径；使用所述目标翻译语言播放与所述目标导航路径对应的导航语音，以对所述用户进行导盲。本申请能够适应多语言环境，满足不同用户的语言需求，且通过结合障碍物信息生成目标导航路径，提高了导航的安全性。

技术研发人员：吴烁
受保护的技术使用者：深圳市昌卓科技有限公司
技术研发日：
技术公布日：2024/2/29