交互式导盲方法、系统及设备与流程

本发明涉及导盲技术领域，更具体地说，涉及一种交互式导盲方法、系统及设备。

背景技术：

现有的盲人导航仪主要有测距、保护盲人行程安全和gps导航等功能，但还需要依靠导盲犬、拐杖等辅助工具来进行导航，且盲人导航仪的导航地图为二维图像，获取的数据并不全面，无法真实有效的对盲人进行导航，功能比较单一，无法达到实时快速的反馈，真正成为盲人的眼。

随着人工智能技术ai3d传感技术、vr技术、ai场景物体识别技术、gps导航技术、语音识别技术、云计算技术、大数据技术等的不断发展，应用领域越来越广泛，但尚未应用到导盲产品中，可采用上述技术同步协作处理导盲场景，在虚拟世界中全方位立体的展现用户所处的现实世界，丰富盲人导航仪的功能，满足用户的需求。

技术实现要素：

本发明要解决的技术问题在于，针对上述导盲技术方案存在的不足，提出一种交互式导盲方法、系统及设备。

本发明实施例解决上述技术问题的技术方案是，提供一种交互式导盲方法，所述方法包括以下步骤：

设置用户的出发地与目的地，生成第一导航路线；

扫描并识别所述用户所处环境的场景信息，生成vr三维场景；

根据所述第一导航路线以及vr三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息；

实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向。

在上述交互式导盲方法中，所述扫描并识别所述用户所处环境的场景信息，生成vr三维场景包括：

将用户所处环境的场景信息上传至云端服务器，所述场景信息包括物品信息；

在所述vr三维场景中标记所述物品信息，并获取所述vr三维场景中用户的当前位置；

获取并识别用户取用目标物品的语音信息，生成所述用户的当前位置到目标物品的第二导航路线及第二导航信息，并语音提示所述用户所述第二导航信息。

在上述交互式导盲方法中，所述根据所述第一导航路线以及vr三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息包括：

添加或删除内置用户，并设置所述内置用户的权限；

获取所述云端服务器中所述场景信息，根据所述内置用户的权限，查看用户所处环境，远程实时监控用户的当前行进路线；

所述内置用户根据用户所处环境以及第一导航路线，实时发送辅助导航信息至用户。

在上述交互式导盲方法中，所述实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向包括：

设置所述用户的当前行进路线与所述第一导航路线的偏移量的阈值；

以激光射线为基准指针，获取当前位置的方向角度数据，实时测量所述用户的当前位置与目的地的距离，计算所述用户的当前行进路线与所述第一导航路线的偏移量；

在所述偏移量大于阈值时，通过语音提示或/和通过设置在所述用户身上的vr感应器振动提示所述用户矫正行进方向。

在上述交互式导盲方法中，所述交互式导盲方法还包括：

添加并定制辅助功能对应的应用程序或小程序；

获取并识别用户需求的辅助功能的语音信息以及用户所处环境的场景信息，并保存至云端服务器；

所述云端服务器启动所述辅助功能对应的应用程序或小程序，按用户的需求匹配相应服务并实时以语音反馈服务信息到用户。

本发明实施例还提供了一种交互式导盲系统，包括gps导航定位模块、头戴设备、导盲模块、vr感应器、物体识别模块，其中：

所述gps导航定位模块，用于设置用户的出发地与目的地，生成第一导航路线；

所述头戴设备，用于扫描所述用户所处环境的场景信息；

所述物体识别模块，用于识别所述用户所处环境的场景信息并生成vr三维场景；

所述导盲模块，用于根据所述第一导航路线以及vr三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息；并通过所述vr感应器获得所述用户当前位置信息，实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向。

在上述交互式导盲系统中，所述交互式导盲系统还包括云端服务器、通信模块以及语音识别模块，其中：

所述通信模块，用于将用户所处环境的场景信息上传至云端服务器，所述场景信息包括物品信息；

所述导盲模块，用于在所述vr三维场景中标记所述物品信息，并获取所述vr三维场景中用户的当前位置；

所述语音识别模块，用于获取并识别用户取用目标物品的语音信息，所述导盲模块根据用户取用目标物品的语音信息生成所述用户的当前位置到目标物品的第二导航路线及第二导航信息，并语音提示所述用户所述第二导航信息。

在上述交互式导盲系统中，所述头戴设备，用于添加或删除内置用户，并设置所述内置用户的权限；

所述通信模块，用于获取所述云端服务器中所述场景信息，根据所述内置用户的权限，查看用户所处环境，远程实时监控用户的当前行进路线；所述内置用户根据用户所处环境以及第一导航路线，实时发送辅助导航信息至用户。

在上述交互式导盲系统中，所述交互式导盲系统还包括辅助功能模块，其中：

所述头戴设备，用于以激光射线为基准指针，获取当前位置的方向角度数据，实时测量所述用户的当前位置与目的地的距离，计算所述用户的当前行进路线与所述第一导航路线的偏移量；

所述导盲模块，用于设置所述用户的当前行进路线与所述第一导航路线的偏移量的阈值；在所述偏移量大于阈值时，通过语音提示或/和通过设置在所述用户身上的vr感应器振动提示所述用户矫正行进方向；

所述辅助功能模块，用于添加并定制辅助功能对应的应用程序或小程序；通过所述语音识别模块获取并识别用户需求的辅助功能的语音信息，并获取用户所处环境的场景信息，通过所述通信模块保存至云端服务器；通过所述云端服务器启动所述辅助功能对应的应用程序或小程序，按用户的需求匹配相应服务并实时以语音反馈服务信息到用户。

本发明实施例还提供了一种交互式导盲设备，包括存储器和处理器，且所述存储器中存储有可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序实现上述任一项所述交互式导盲方法的步骤。

本发明实施例的交互式导盲方法、系统和设备，通过头戴设备获取用户所述环境的场景信息，并识别和生成vr三维场景，结合导航路线实时生成导航信息并语音提示用户导航信息，实现vr三维场景下的实时导盲，提高用户的导盲体验。同时，通过获取识别的用户的语音信息以及所述环境的场景信息，根据用户的需求，实现取用目标物品、内置用户辅助导航、辅助功能服务等增值功能，提高用户的服务体验。

附图说明

图1是本发明实施例交互式导盲方法的流程示意图；

图2是本发明实施例交互式导盲系统的功能模块示意图；

图3是本发明实施例交互式导盲设备的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，本发明的说明书和权利要求书及上述附图中使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

如图1所示，为本发明实施例交互式导盲方法的流程示意图。该交互式导盲方法包括以下步骤：

s1、设置用户的出发地与目的地，生成第一导航路线。

在步骤s1中，用户可通过语音提问的方式口述或者手机设置出发地与目的地，根据设置生成第一导航路线，并在三维地图中显示。

s2、扫描并识别所述用户所处环境的场景信息，生成vr三维场景。用户转动自己的头部佩戴的设备全方位扫描获取所处环境的场景信息，利用ai场景物体识别技术、结合到gps二维与三维视图，通过与云端服务器的云计算，协同处理场景信息，并生成vr三维场景，识别出vr三维场景中的物品和人物，默认识别道路及前方障碍物信息，其他信息需要根据用户语音提问调取，处理后才能反馈到用户。例如门把手在横向80度方向，纵向向下45度方向。ai场景物体识别技术与云端服务器协同处理场景信息，有效提高了数据处理效率，可实时生成vr三维场景。此外，与现有的导盲技术采用的二维场景相比，vr三维场景可展现详细的场景信息，更贴近用户所处的真实环境，提高了导盲的精度，给用户带来更好的导盲体验。

在上述s2步骤中，还包括：

s21、将用户所处环境的场景信息上传至云端服务器，所述场景信息包括物品信息。

具体地，云端服务器是一个大数据与云计算的资源整合，并且与各个应用程序相关联，含gps卫星导航系统，城市所有露天盲人道路，各类百科等等，如地图、路况、天气、股票、购物、旅游、商家信息、书籍、还能细化到某个物件等等，确保用户所处环境的场景信息能被识别并实时以语音的方式反馈到用户和前端设备。云端服务器只提供数据关联和数据处理，并不调取个人账号中的vr三维场景的场景信息，包括人物信息以及物品信息等，从而保证了用户的隐私与数据安全。

在上述s2步骤中，还包括：

s22、在所述vr三维场景中标记所述物品信息，并获取所述vr三维场景中用户的当前位置。

具体地，采用陀螺仪方法，由于生成的是vr三维场景，可以提取物品的坐标，陀螺仪获取横向坐标，激光射线上下摆动的角度获取纵向坐标，

在上述s2步骤中，还包括：

s23、获取并识别用户取用目标物品的语音信息，生成所述用户的当前位置到目标物品的第二导航路线及第二导航信息，并语音提示所述用户所述第二导航信息。

具体地，同样采用陀螺仪方法，以激光射线为基准指针，当用户的头转动时，获取用户当前的方向角度数据，再根据目标物品的坐标，因此可以定位用户与某物品的导航路线，例如某物品在60度方向，当头转到此方向，语音提示方向正确，即可伸手取物。

s3、根据所述第一导航路线以及vr三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息。例如，用户开始转动自己的头，方向正确后语音提示“方向正确，请伸手握住门把手并摆动开门”，开始下楼后，获取楼梯信息，语音提示“现在下楼共18个台阶再往右行走，请靠右扶手栏慢行”，来到路边，获取信息路面信息，语音提示“路上行人较多，请靠右直走慢行”。

在上述s3步骤中，还包括：

s31、添加或删除内置用户，并设置所述内置用户的权限；

s32、获取所述云端服务器中所述场景信息，根据所述内置用户的权限，查看用户所处环境，远程实时监控用户的当前行进路线；

s33、所述内置用户根据用户所处环境以及第一导航路线，实时发送辅助导航信息至用户。

启用内置用户监控及辅助导航功能，内置用户能查看用户当前的vr三维场景，内置用户犹如身临其境，还能设置内置用户是否跟随镜头，由于是vr三维场景，只要是镜头扫过的地方，内置用户都可以自行转头查看，不需要用户转头才能查看到到其他方位的信息，更有效的远程在线辅助用户完成导盲目的。

s4、实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向。

在上述s4步骤中，还包括：

s41、设置所述用户的当前行进路线与所述第一导航路线的偏移量的阈值；

s42、以激光射线为基准指针，获取当前位置的方向角度数据，实时测量所述用户的当前位置与目的地的距离，计算所述用户的当前行进路线与所述第一导航路线的偏移量；

s43、在所述偏移量大于阈值时，通过语音提示或/和通过设置在所述用户身上的vr感应器振动提示所述用户矫正行进方向。

通过与gps导航路线相关联，可以核对用户当前行进方向是否有误，并及时提示用户调整回来。具体地，用户的大腿左右两边各绑一个vr感应器，用于当用户行走即将靠近道路边缘时，以振动的方式来提醒用户矫正行走方向。如果偏左变道路边缘的话，左边的感应器就会振动提醒；如果偏右道路边缘的话，右边的感应器就会振动提醒。由于是处于阈值临界点，用感应器提醒比语音反应速度更快，在vr感应器振动提醒的同时，语音也会给予相应的提醒，双重把关，更能有效的保障用户人身安全。

进一步地，所述导航方法包括：添加并定制辅助功能对应的应用程序或小程序；获取并识别用户需求的辅助功能的语音信息以及用户所处环境的场景信息，并保存至云端服务器；所述云端服务器启动所述辅助功能对应的应用程序或小程序，按用户的需求匹配相应服务并实时以语音反馈服务信息到用户。

具体地，基于大数据与云计算平台，对场景信息进行整合，并把场景信息发送给云端服务器，通过开放api接口以及小程序拓展接口，用户可以根据自己要求设计或定制应用程序或小程序，如美团，微博，58同城等等，实现更多功能。支持android、ios、windows等多种操作系统，方便不同的移动设备和pc设备的用户使用。每个使用头戴设备的用户都可以注册自己的私人账号，每个头戴设备都有内置的激活码，仅支持注册一次，并绑定实名认证手机，解绑需实名手机验证。通过头戴设备获取的场景数据选择性保存在个人账户下，包括人物，物品，行走过的vr三维场景等等，也能删除选定的信息。例如当遇见熟人时，若存储有此人的vr人物信息，会用语音的方式提示用户，前方多少度距离多少米有认识的朋友，名字是某某某。当需要找到用户所需的某个物品时，可以通过vr三维场景中的标记来找到自己的物品。个人账号下可以添加或删除第二、第三、第四等内置用户，并设置他们的权限，内置用户可以远程用手机app或者pc设备登录此账号，该账号与头戴设备相连，可以远程实时监控用户行走路线，查看用户所处环境的场景信息，并辅助用户行走。

基于相同的构思，本发明实施例还提供了一种交互式导盲系统，包括gps导航定位模块21、头戴设备22、导盲模块23、vr感应器24、物体识别模块25，其中：

所述gps导航定位模块21，用于设置用户的出发地与目的地，生成第一导航路线。gps导航定位模块21可生成二维与三维的导航地图。

所述头戴设备22，用于扫描所述用户所处环境的场景信息。优选地，头戴设备22可以是ai3d传感技术双目摄像头，主要由激光测距传感器、泛光感应元件、点阵投影仪和红外镜头、红外机芯组成。通过扫描获取信息，生成vr三维场景，能识别出道路是否平整，脚下是否有台阶，对前方障碍物进行测距以保证用户行走安全，并把获取的信息上传至云数据库。此外，ai3d传感技术双目摄像头通过扫描获取书本上的文字信息，将文字信息识别并转换成语音信息读给用户听，使用户像正常人一样具备看书、读报等阅读能力。ai3d传感技术双目摄像头支持红外，在光线较暗的情况下依然能正常运作。

所述导盲模块23，用于根据所述第一导航路线以及vr三维场景，实时生成第一导航信息，并语音提示所述用户所述第一导航信息；并通过所述vr感应器24获得所述用户当前位置信息，实时计算所述用户的当前行进路线与所述第一导航路线的偏移量，在所述偏移量大于阈值时，提示所述用户矫正行进方向。用户的身上佩戴两个vr感应器24，优选地，在大腿左右两边各绑一个vr感应器24，用于当用户行走即将靠近道路边缘时，以振动的方式来提醒用户矫正行走方向。如果偏左变道路边缘的话，左边的感应器就会振动提醒；如果偏右道路边缘的话，右边的感应器就会振动提醒。由于是处于安全临界点，用感应器提醒比语音反应速度更快，在vr感应器24振动提醒的同时，语音也会给予相应的提醒，双重把关，更能有效的保障盲人安全。

所述物体识别模块25，用于识别所述用户所处环境的场景信息并生成vr三维场景；优选地，物体识别模块可以是ai场景物体识别模块，对获取的信息进行处理，结合到gps导航定位模块21生成的二维或三维的导航地图，生成vr三维场景，通过云端服务器协同处理，识别出vr三维场景中的物件，默认识别道路及前方障碍物信息，其他信息需要根据用户语音提问调取资料，识别处理后才能反馈到用户。

进一步地，所述交互式导盲系统还包括云端服务器26、通信模块27以及语音识别模块28，其中：

所述通信模块27，用于将用户所处环境的场景信息上传至云端服务器26，所述场景信息包括物品信息。

所述导盲模块23，用于在所述vr三维场景中标记所述物品信息，并获取所述vr三维场景中用户的当前位置。

所述语音识别模块28，用于获取并识别用户取用目标物品的语音信息，所述导盲模块23根据用户取用目标物品的语音信息生成所述用户的当前位置到目标物品的第二导航路线及第二导航信息，并语音提示所述用户所述第二导航信息。而且，语音识别模块28能够对语音进行识别转换成文字，反馈给云端服务器，并能把云端服务器反馈的文字，识别转换成语音。

进一步地，所述头戴设备22，用于添加或删除内置用户，并设置所述内置用户的权限。

所述通信模块27，用于获取所述云端服务器中所述场景信息，根据所述内置用户的权限，查看用户所处环境，远程实时监控用户的当前行进路线；所述内置用户根据用户所处环境以及第一导航路线，实时发送辅助导航信息至用户。

进一步地，所述交互式导盲系统还包括辅助功能模块29，其中：

所述头戴设备21，用于以激光射线为基准指针，获取当前位置的方向角度数据，实时测量所述用户的当前位置与目的地的距离，计算所述用户的当前行进路线与所述第一导航路线的偏移量；

所述导盲模块23，用于设置所述用户的当前行进路线与所述第一导航路线的偏移量的阈值；在所述偏移量大于阈值时，通过语音提示或/和通过设置在所述用户身上的vr感应器24振动提示所述用户矫正行进方向；

所述辅助功能模块29，用于添加并定制辅助功能对应的应用程序或小程序；通过所述语音识别模块28获取并识别用户需求的辅助功能的语音信息，并获取用户所处环境的场景信息，通过所述通信模块保存至云端服务器；通过所述云端服务器26启动所述辅助功能对应的应用程序或小程序，按用户的需求匹配相应服务并实时以语音反馈服务信息到用户。

具体地，通过开放api接口以及小程序拓展接口，用户可以根据自己要求设计或定制应用程序或小程序，从而根据用户的具体需求拓展辅助功能模块，如美团，微博，58同城等等，实现更多功能。例如，用户如果需要叫的士，可通过语音提问的方式，把信息反馈给系统，系统会提示需要网上打车软件，还是路边拦车，选择路边拦车的话，系统会语音提示用户站在路边人行道内安全位置。ai3d传感双目摄像头获取来往车辆信息，当前方有的士前排出现空车字样会提前语音提示用户开始招手。若是网上打车的话，系统会提取相关联的打车软件，并按用户的需求预约附近合适的车辆。由于前端头戴设备的gps导航系统和云端服务器关联相关计价软件，当到达目的地时，系统会语音反馈指导价格。当用户需要吃饭，语音反馈给系统，要吃什么食物，什么价格，系统会通过相关的程序，获取附近商家的信息，并对资源进行整合，用语音推荐给用户，当用户确认好后，可直接导航到该商家地址。

本发明实施例还提供了一种交互式导盲设备，包括存储器31和处理器32，该存储器31中存储有可在所述处理器运行的计算机程序，且处理器32执行上述计算机程序时实现如上述交互式导盲方法的步骤。本实施例中的交互式导盲设备与上述图1对应实施例中的方法属于同一构思，其具体实现过程详细见对应的方法实施例，且方法实施例中的技术特征在本设备实施例中均对应适用，这里不再赘述。

本发明实施例的交互式导盲方法、系统和设备，通过头戴设备获取用户所述环境的场景信息，并识别和生成vr三维场景，结合导航路线实时生成导航信息并语音提示用户导航信息，实现vr三维场景下的实时导盲，提高用户的导盲体验。同时，通过获取识别的用户的语音信息以及所述环境的场景信息，根据用户的需求，实现取用目标物品、内置用户辅助导航、辅助功能服务等增值功能，提高用户的服务体验。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明的实施例。

因此，以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，本发明的保护范围应该以权利要求的保护范围为准。