导盲系统的制作方法

本发明涉及数据处理技术领域，尤其涉及一种导盲系统。

背景技术：

当前智能导盲系统或系统大多以车形机器人为主，这种装置提供了声波/红外测距、定位导航、盲人牵引、危险提醒功能。

除了导盲机器人外，当前也有一些可穿戴的装置，比如：导盲头盔、导盲手杖或导盲衣，这些装置有障碍测距、导航信息的播报和危险信息的提醒功能。

基于导盲机器人的车形导盲系统一般体积比较大，出行时不便于携带，同时对于斜坡或楼梯等特殊路况适应能力不足；

基于可穿戴的导盲系统当前以导盲杖、导盲帽和导盲衣等虽然具有导盲的基本功能，但是没有在紧急情况下保护或帮助使用人的功能。

技术实现要素：

本发明实施例的目的是提供一种导盲系统，以解决现有技术中的导盲设备的携带不便、适应能力不足以及不能保护或帮助使用人的问题。

为解决上述问题，本发明提供了一种导盲系统，所述导盲系统包括：

第一图像采集装置，用于采集用户前方的第一环境视频信息；

图像处理模块，用于接收所述第一图像采集装置发送的所述第一环境视频信息，并对所述第一环境视频信息进行处理，确定第一障碍物信息和路况信息；所述第一障碍物信息包括第一障碍物类型和距离；

决策模块，用于接收所述图像处理模块发送的所述第一障碍物类型和距离以及所述路况信息，并对所述第一障碍物类型和距离以及所述路况信息进行处理，得到第一决策结果信息；所述第一决策结果信息包括第一消息类型、第一执行动作和第一提醒消息；

语音合成模块，用于接收所述决策模块发送的所述第一消息类型、第一执行动作和第一提醒消息，并对所述第一消息类型、第一执行动作和第一提醒消息进行处理，生成语音信息；

语音播报模块，用于接收所述语音合成模块发送的语音信息，并根据所述语音信息，进行播放；

第二图像采集装置，用于获取用户后方的第二环境视频信息；

所述图像处理模块还用于，接收所述后置摄像头发送的第二环境视频信息，并对所述第二环境视频信息进行处理，确定第二障碍物类别和距离；

所述决策模块还用于，接收所述图像处理模块发送的所述第二障碍物类别和距离，并对所述第二障碍物类别和距离进行处理，得到第二决策结果信息；所述第二决策结果信息包括警示信息和礼让信息；

第一显示屏，接收所述决策模块发送的警示信息和礼让信息，并根据所述警示信息，点亮警示灯，并根据所述礼让信息，显示礼让文本。

在一种可能的实现方式中，所述导盲系统还包括：麦克风、语音识别模块、高精导航模块和第二显示屏；

所述麦克风，用于采集用户的输入语音信息；

所述语音识别模块，用于接收所述麦克风发送的输入语音信息，并将所述输入语音信息转换为文本信息；

所述决策模块还用于，接收所述语音识别模块发送的文本信息，并对所述文本信息进行处理，确定用户意图，并根据所述用户意图，生成用于启动导航的第一控制指令或者用于进行求助的第一求助信息；

所述高精导航模块，用于接收所述第一控制指令，并根据所述第一控制指令，启动导航，并生成导航文本；

所述语音合成模块，用于接收所述高精导航模块发送的导航文本，并对所述导航文本进行处理，得到导航语音信息；

所述语音播报模块，用于接收所述导航语音信息，并进行播放；

所述第二显示屏，接收决策模块发送的第一求助信息，并对所述第一求助信息进行显示。

在一种可能的实现方式中，所述导盲系统还包括：第二显示屏；

所述决策模块还用于，当所述路况信息符合预设的危险路况信息时，根据所述第一障碍物信息和所述路况信息，生成第二求助信息；

所述第二显示屏，接收所述决策模块发送的所述第二求助信息，并显示所述第二求助信息。

在一种可能的实现方式中，所述装置还包括：求助服务模块；

所述求助服务模块，当被按压时，接收所述决策模块的第一求助信息，并将所述第一求助信息发送给终端。

在一种可能的实现方式中，所述决策模块具体用于：

对所述文本信息进行词法分析，将所述文本信息划分成多个词；

对所述多个词进行句法分析以确定多个词之间的关系，生成句子的句法结构；

利用机器学习，对所述句法结构进行意图分析，确定所述句法结构对应的用户意图。

在一种可能的实现方式中，所述导盲系统为穿戴式外套，所述可穿戴式外套还具有防水层，当所述穿戴式外套状态为穿戴状态时，所述第一图像采集装置设置在用户前面，所述第二图像采集装置设置在用户后面，所述第一显示屏设置在所述第二图像采集装置同侧。

在一种可能的实现方式中，所述第一显示屏为柔性屏。

在一种可能的实现方式中，所述高精导航模块还包括定位模块，用于获取当前位置信息。

在一种可能的实现方式中，所述导盲系统还包括：体征监测模块；

所述体征监测模块用于获取用户的生理数据；

所述决策模块还用于，将所述生理数据与预设的生理数据阈值进行对比，当所述生理数据与所述生理数据阈值的差值大于预设的差值阈值时，生成用于进行生理异常提醒的生理异常警示信息，并将所述生理异常警示信息发送给终端。

在一种可能的实现方式中，所述导盲系统还包括：超声波雷达、激光雷达；

所述超声波雷达和所述激光雷达，分别获取第一环境辅助信息和第二环境辅助信息；

所述决策模块还用于，接收所述超声波雷达发送的所述第一环境辅助信息以及接收所述激光雷达发送的第二环境辅助信息，并根据所述第一障碍物信息、所述路况信息、所述第一环境辅助信息和所述第二环境辅助信息，得到第一决策结果信息。

通过应有本发明实施例提供的导盲系统，在盲人出行前穿戴，解决了车形导盲系统携带不便的问题，也解决导盲头盔或导盲手杖容易丢失、穿戴疲劳及探测范围受限的问题。本申请的背面的第二图像采集装置可以探测到盲人背后的风险车辆，通过背面柔性屏向盲人身后靠近的车辆亮起警示灯和礼让文字，主动保护盲人免受碰撞和惊吓。除此之外，本申请的求助服务模块，在使用人在遇到无法解决问题时通过语音交互实现及时向路人展示求助信息。当路人无响应时，本装置会根据盲人的指令智能拨通亲人、警察电话进行位置和危险情况的通知，从而提高了用户体验。

附图说明

图1为本发明实施例提供的导盲系统结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为本发明实施例提供的导盲系统结构示意图。本申请的导盲系统为可穿戴式外套，该外套可以以纽扣或者拉链或者套头式方式进行穿戴，不仅具有保暖作用，而且可以配合一层防水材料，以便起到防水作用。如图1所示，本申请的导盲系统包括第一图像采集装置101、第二图像采集装置106、第一显示屏107、第二显示屏111、麦克风108和语音播报模块105。示例而非限定，第一图像采集装置101和第二图像采集装置106分别可以是双目摄像头，也可以是全景摄像头，本申请对此并不限制。第一显示屏107和第二显示屏111可以是柔性屏，以便于用户穿戴。当穿戴式外套状态为穿戴状态时，第一图像采集装置101设置在用户前面，第二图像采集装置106设置在用户后面，第一显示屏107设置在第二图像采集装置106同侧。

麦克风108和耳机可以设置在肩部位置，具有可伸缩线，便于用户使用。语音播报模块105可以是耳机。导盲系统为穿戴式外套，导盲系统还包括嵌入式设置的图形处理模块、决策模块103、语音合成模块104、语音识别模块109、高精导航模块110和求助服务模块112。

下面，对本申请的导盲系统进行具体的描述。

第一图像采集装置101，用于采集用户前方的第一环境视频信息。

具体的，第一图像采集装置101可以在穿戴后，位于用户的前方，可以采集用户前方的第一环境视频信息，并将得到的第一环境视频信息发送给图像处理模块102，以便于图像处理模块102确定前方的第一障碍物信息和路况信息。

在一个具体的示例中，由于在导盲中，前方的障碍物最为重要，因此，还可以在第一图像采集装置101同侧设置有超声波雷达和激光雷达等传感器，以便对于前方的障碍物进行更具体的探测，此时，超声波雷达可以得到第一环境辅助信息，激光雷达可以得到第二环境辅助信息。

图像处理模块102，用于接收第一图像采集装置101发送的第一环境视频信息，并对第一环境视频信息进行处理，确定第一障碍物信息和路况信息；第一障碍物信息包括第一障碍物类型和距离。

具体的，第一环境视频信息以视频数据流的方式发送给图形处理模块后，图形处理模块可以对其中的每帧数据进行处理，得到多个障碍物，该些障碍物统称为第一障碍物，第一障碍物的类型可以是动态障碍物和静态障碍物，动态障碍物即运动的障碍物，静态障碍物即静止的障碍物。

第一障碍物的距离，即第一障碍物距离用户的距离，此处的距离，可以是根据图像信息进行计算，得到图像坐标系中的距离，再通过第一图像采集装置101的像素等，得到世界坐标系中的距离。

路况信息包括但不限于滑湿、斜波，又包括上坡和下坡、十字路口、红绿灯显示状况等。

决策模块103，用于接收图像处理模块102发送的第一障碍物类型和距离以及路况信息，并对第一障碍物类型和距离以及路况信息进行处理，得到第一决策结果信息；第一决策结果信息包括第一消息类型、第一执行动作和第一提醒消息。

具体的，决策模块103可以对第一障碍物类型、第一障碍物距离和路况信息进行综合处理，从而得到第一决策结果，第一决策接口可以包括第一执行动作和第一提醒消息，以及第一提醒消息类型。

第一执行动作，比如当前路况信息为上坡时，第一执行动作可以是上坡，十字路口，且绿灯亮时，可以是同行。

第一提醒消息，可以与第一执行动作相对应，当第一执行动作为上坡时，第一提醒消息可以是“现在是上坡，请迈开大步行走”。

第一消息的类型，可以与第一提醒消息相对应。比如此时的第一提醒消息的类型可以是语音类提醒。后续，当通过第一显示屏107或者第二显示屏111提醒时，对应的消息类型可以是相应的显示屏提醒消息。

同时，决策模块103还可以接收超声波雷达和激光雷达的第一环境辅助信息和第二环境辅助信息，并结合第一障碍物类型和距离、以及路况信息，进行处理后，得到第一决策结果信息，从而提高了对障碍物进行探测时的探测精度，保证得到精确度更高的第一决策结果。

语音合成模块104，用于接收决策模块103发送的一消息类型、第一执行动作和第一提醒消息，并对第一消息类型、第一执行动作和第一提醒消息进行处理，生成语音信息。

具体的，对于第一决策结果信息，可以通过语音合成模块104，进行合成。比如上述的第一执行动作为上坡，第一消息类型为语音类提醒消息，第一提醒消息为“现在是上坡，请迈开大步行走”，此时，语音合成模块104可以对第一执行动作、第一提醒消息和第一消息类型进行语音合成，在进行语音合成时，可以进行一些滤重处理等，从而生成语音信息，比如“现在是上坡，通过语音消息提醒您，请您迈开大步行走”，或者，“有一个石墩距离您5米，请绕行”。

语音播报模块105，用于接收语音合成模块104发送的语音信息，并根据语音信息，进行播放。

具体的，语音播报模块105可以是耳机，通过耳机，进行语音信息的播放。从而在不影响其他行人的前提下，实现对用户的提醒。

第二图像采集装置106，用于获取用户后方的第二环境视频信息。

具体的，可以通过用户后面的第二图像采集装置106，进行环境信息的探测，并对后方的车辆或者行人进行警示。

图像处理模块102还用于，接收后置摄像头发送的第二环境视频信息，并对第二环境视频信息进行处理，确定第二障碍物类别和距离。

具体的，图像处理模块102对第二环境视频信息的处理，与对第一环境视频信息的处理方法相同，通过处理，可以得到障碍物类别和距离。

决策模块103还用于，接收图像处理模块102发送的第二障碍物类别和距离，并对第二障碍物类别和距离进行处理，得到第二决策结果信息；第二决策结果信息包括警示信息和礼让信息。

具体的，决策模块103计算用户身后的障碍物与用户的距离，用户身后的障碍物可以统称为第二障碍物，当第二障碍物距离用户距离过近，比如第二障碍物为移动的车辆时，如果第二障碍物距离用户的距离超过预设的安全阈值，则第二决策模块103得到警示信息和礼让信息，其中的礼让信息可以是礼让文本信息。此处的警示信息可以是驱动信号，用于驱动显示屏显示警示颜色。

第一显示屏107，接收决策模块103发送的警示信息和礼让信息，并根据警示信息，点亮警示灯，并根据礼让信息，显示礼让文本。

具体的，第一显示屏107在接收到驱动信号和礼让文本时，点亮显示屏，并显示礼让文本，以便对用户身后的车辆或者行人进行警示，防止身后碰撞的发生。

进一步的，在用户行走的过程中，如果用户想到达a地，可以通过导盲系统进行导航，从而便于快速的为用户规划一条可行驶路径。

具体的，导盲系统还包括：麦克风108、语音识别模块109和高精导航模块110。

麦克风108，用于采集用户的输入语音信息；

语音识别模块109，用于接收麦克风108发送的输入语音信息，并将输入语音信息转换为文本信息；

决策模块103还用于，接收语音识别模块109发送的文本信息，并对文本信息进行处理，确定用户意图，并根据用户意图，生成用于启动导航的第一控制指令或者生成用于进行求助的第一求助信息；

高精导航模块110，用于接收第一控制指令，并根据第一控制指令，启动导航，并生成导航文本；

语音合成模块104，用于接收高精导航模块110发送的导航文本，并对导航文本进行处理，得到导航语音信息；

麦克风108，用于接收导航语音信息，并通过耳机进行播报；

第二显示屏111可以接收决策模块103发送的第一求助信息，并显示第一求助信息。

具体的，决策模块103具体用于对文本信息进行词法分析，将文本信息划分成多个词；然后，对多个词进行句法分析以确定多个词之间的关系，生成句子的句法结构；接着，根据句法结构，得到文本指令；最后，利用机器学习，对句法结构进行意图分析，确定句法结构对应的意图种类；最后，根据意图种类，确定用户意图。

其中，进行词法分析时，利用分词器将句子划分成各个词，主要涉及分词、词性标注等操作。为了提高词法分析的质量，还需要加入实体识别，比如一些固有的地名，人名以及其它专名等。为了确定句子中词汇之间的关系，需用到句法分析，句法分析的输入是一个词串，输出是句子的句法结构。最后采用机器学习的方法实现意图分析，意图分析的工作主要是通过分类的办法将句子分到相应的意图种类，根据意图种类，确定用户的意图，从而提高决策模块103的处理速度。此处的文本指令可以是机器能识别的文本指令，比如，二进制命令等。

在一个示例中，用户想要达到a地，麦克风108采集到用户的语音信息，比如“去市图书馆怎么走”，语音识别模块109将语音信息转换为文本信息后，决策模块103分析用户意图，比如，用户意图是确定去市图书馆的路线，则高精导航模块110中的定位模块，获取当前的位置信息。随后，可以根据当前的位置信息，与市图书馆的位置信息，进行导航，从而对用户进行导航。高精导航模块110还包括定位模块，用于获取当前位置信息。

进一步的，本申请的导盲系统，可以自动根据路况信息，生成第二求助信息，并通过第二显示屏111，显示第二求助信息。或者，决策模块103还可以在得到用户意图后，对用户意图进行处理后，得到第一求助信息，比如如果用户意图为需要寻求其他用户的帮助，则决策模块103将第一求助信息发送给第二显示屏111，以显示求助信息。

具体的，决策模块103还用于，当路况信息符合预设的危险路况信息时，根据第一障碍物信息和路况信息，生成第二求助信息；第二显示屏111，接收决策模块103发送的第二求助信息，并显示第二求助信息。此处的危险路况信息可以是预先设定的一些危险路况。比如，路况信息为楼梯等必须在其他用户帮助下，才可以进行的动作。

在一个示例中，当路况信息为湿滑路面或者楼梯时，决策模块103根据获取的路况信息，调用预设设定好的求助信息，并通过第二显示屏111显示第二求助信息。

在另一个示例中，当决策模块103得到用户意图后，比如用户意图是寻求其他用户帮助，比如，用户意图为“帮我捡手机”，对于用户意图，可以进行处理后，得到第一求助信息，比如“帮我捡一下手机，谢谢”，则第二显示屏111可以将用户意图通过第二显示屏111进行显示，从而显示第一求助信息，以便于其他用户能快速的得到用户的第一求助信息，并迅速反馈，从而加快了用户得到帮助的速度。

在另一个示例中，本申请的导盲系统还包括求助服务模块112，当被按压时，当被按压时，接收决策模块103的求助信息，并将求助信息发送给终端。比如，用户如何在预设时长内没有得到其他用户的帮助，则在求助服务模块112被按压后，用户的求助信息可以发送至终端。

此处的终端，可以是救助机构的终端，比如，用户可以将当前位置信息添加进求助信息后，发送给服务器，服务器根据求助信息中的当前位置信息，确定距离用户最近的救助机构，随后，服务器可以将求助信息发送给此终端，以便于用户在第二显示屏111上的求助信息没有被响应后，还可以继续进行上一级的求助。可以理解的是，此处的终端，还可以是家庭其他成员的终端，比如是家庭其他成员的手机，本申请对此处的终端的具体内容，并不进行限制。

进一步的，导盲系统还包括：体征监测模块；

体征监测模块用于获取用户的生理数据；

决策模块103还用于，将生理数据与预设的生理数据阈值进行对比，当生理数据与生理数据阈值的差值大于预设的差值阈值时，生成用于进行生理异常提醒的生理异常警示信息，并将生理异常警示信息发送给终端。

其中体征监测模块可以是血压监测的血压计、体温监测的体温计等，决策模块103可以进行该些体征数据与usher的生理数据阈值进行比较，从而生成异常警示信息，并发送给终端，或者进行报警提示。

通过应有本发明实施例提供的导盲系统，在盲人出行前穿戴，解决了车形导盲系统携带不便的问题，也解决导盲头盔或导盲手杖容易丢失、穿戴疲劳及探测范围受限的问题。本申请的背面的第二图像采集装置106可以探测到盲人背后的风险车辆，通过背面柔性屏向盲人身后靠近的车辆亮起警示灯和礼让文字，主动保护盲人免受碰撞和惊吓。除此之外，本申请的求助服务模块112，在使用人在遇到无法解决问题时通过语音交互实现及时向路人展示求助信息。当路人无响应时，本装置会根据盲人的指令智能拨通亲人、警察电话进行位置和危险情况的通知，从而提高了用户体验。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。