一种复合导盲系统的制作方法

本发明涉及导盲技术领域，特别是涉及一种复合导盲系统。

背景技术：

视力障碍是一种对人类生活质量影响很严重的疾病。我国目前约有1800万盲人占全世界盲人总数的20％，而且每年还以45万新生盲人的数量递增，这意味着几乎每分钟就会出现一位新的盲人。由于视力缺乏，出行问题一直是困扰盲人或视力障碍人士的重要问题之一。如何能够提供一种有效的导盲方法或导盲系统，为盲人出行提供精确、具体的指引，一直以来是社会中关注的焦点，也是研究人员研究的重点。

传统的导盲方法中，盲人的出行需要旁人或者导盲犬的指引；或者沿着盲道或者固定行迹找到熟悉的位置。这种传统的导盲方法具有较大的局限性，在盲人需要去一个陌生的地方时，无法提供有效的导引，另外增设一个辅助的人，会占用他人时间，不能自由支配出行，或者使用导盲犬但使用费用也较高。

为解决传统导盲方法的缺陷，近年来也有一些基于现代信息技术的导盲方法或系统出现。如基于导盲手杖来实现盲人的室外导盲行走，但是这种导盲手杖需要盲人无时无刻利用手杖对前方障碍物进行探测，安全性不高，并且无法实时播报盲人当前地理位置信息和路况信息，尤其是在交叉路口时无法对交通信号进行识别，因此，即使借助导盲拐杖，盲人在出行中仍避免不了磕磕绊绊，甚至时常会出现生命危险。

也有基于智能图像识别功能的智能眼镜，眼镜基于图形图像的分析算法，计算得到盲人前方障碍物情况，并自动规划路径提醒盲人，但问题是分析算法复杂又要求较高实时性，使得系统必须使用高速处理器，就必然会带来功耗和成本的上升，与此同时，智能算法无法保证可靠的计算结果，障碍物的识别率仍然无法做到100％，盲人出行仍然会出现碰撞的情况。

为此，本申请人之前提出了一种人工导盲系统。它其包括：通过网络进行通信连接的人工坐席、管理服务器和具有图像采集功能的导盲装置。其中，导盲装置用于不断地获取盲人用户行进路过程中的图像信息，通过网络将信息传递至管理服务器；管理服务器用于导盲装置和人工坐席的管理，接受导盲装置的呼叫请求，并指派人工坐席服务，建立导盲装置和人工坐席之间的图像和语音连接；人工坐席，接收管理服务器传递的信息，通过观察导盲装置中的摄像头采集回来的图像信息，根据图像信息分析盲人所处的场景，通过语音与盲人沟通，为盲人提供导盲服务。

但是，在实际使用中我们发现，通过语音(即使用者听觉)提醒盲人用户的方式虽然可以起到一定的导盲效果，但是由于盲人用户对语音提示的反应需要一定时间(包括听清楚语音提示的内容和判断后续行为)，这样一来，识别时间加上语音指令的接收处理时间，加起来时间延迟太久，基本不能正常行走。

其次，若盲人用户所处的环境比较嘈杂，噪音大，则语音提示往往不容易被听清，影响系统使用效果。

技术实现要素：

本发明的目的在于提供一种复合导盲系统，旨在解决现有导盲系统单纯依靠语音(即使用者听觉)提醒盲人用户的方式，由于盲人用户对语音提示的反应需要一定时间(包括听清楚语音提示的内容和判断后续行为)，其延迟太久，基本不能正常行走的问题。

本发明是通过下述技术方案来解决上述技术问题的：

一种复合导盲系统，其包括：通过网络进行通信连接的人工坐席、管理服务器和具有图像采集功能的导盲装置；

该导盲装置用于不断地获取盲人用户行进路过程中的图像信息，通过网络将信息传递至管理服务器；

管理服务器用于导盲装置和人工坐席的管理，接受导盲装置的呼叫请求，并指派人工坐席服务，建立导盲装置和人工坐席之间的图像和语音连接；

人工坐席，接收管理服务器传递的信息，通过观察导盲装置中摄像头采集的图像信息，根据图像信息分析盲人所处的场景，通过语音与盲人沟通，为盲人提供导盲服务；

其特征在于：

该系统还包括盲人用户穿戴的触感装置，该触感装置用于接收通过人工坐席通过管理服务器发出的操作指令做出不同的触觉效果变化状态，盲人用户结合触感装置的触觉效果变化状态来迅速做出判断。

所述的复合导盲系统，其特征在于：该导盲装置与触感装置均佩戴在盲人用户身上，二者之间进行通讯连接。

所述的复合导盲系统，其特征在于：该导盲装置与触感装置之间通过蓝牙/WiFi/Zigbee/Zwave/cable/LoRa/sub-G方式连接。

所述的复合导盲系统，其特征在于：所述导盲装置包括至少一个摄像头、送话器、受话器、电路控制单元、射频单元、天线及处理器，所述处理器分别与摄像头、送话器、受话器及射频单元连接，所述天线与射频单元连接，其中，

摄像头，用于不断获取盲人用户行进路面上的图像信息；

送话器及受话器，用于盲人用户与人工坐席建立语音联系；

电路控制单元，用于为整个导盲装置提供电源及对各个部件电路进行管理；

射频单元，用于调制和发射、接收无线信号；

天线，用于向管理服务器发射盲人周围环境状况的信息和接收人工坐席发送的无线射频语音信号；

处理器，用于接收并处理所述摄像头采集的图像信息，控制所述射频单元、送话器及受话器之间的连接关系，并将处理好的图象信息通过射频单元及天线上传至所述管理服务器，控制送话器和受话器建立盲人和人工坐席的语音联系；

所述的复合导盲系统，其特征在于：所述摄像头水平方向上探测的覆盖角不小于90度，垂直方向上探测的覆盖角不小于80度。

所述的复合导盲系统，其特征在于：所述导盲装置中还设有卫星定位模块或基站定位模块，或者混合定位。

所述的复合导盲系统，其特征在于：所述人工坐席还可以访问设有街景信息的地图系统。

所述的复合导盲系统，其特征在于：所述导盲装置本身可直接处理摄像头图像信息，并将结果直接用语音的方式通知盲人用户或在服务器内设置智能算法代替人工坐席来通知导盲用户。

所述的复合导盲系统，其特征在于：该导盲装置的受话器配合触感装置的触觉效果变化状态对应做出预设的同步语音提示。

所述的复合导盲系统，其特征在于：该触感装置是可进行方位指向的触感装置；该可进行方位指向的触感装置包括装置载体、无线控制器、电机驱动模块、旋转部件、驱动旋转部件旋转的电机和震动电机；所述载体内安装无线控制器、电机驱动模块、旋转部件、驱动旋转部件旋转的电机和震动电机；所述无线控制器的输出接口连接电机驱动模块，将导航信息传递给电机驱动模块；电机驱动模块的两路输出分别连接驱动旋转部件旋转的电机和震动电机，以控制驱动旋转部件旋转的电机的正反转和震动电机的运转。

与现有技术相比，本发明的有益效果：

(1)利用人工坐席时刻提醒盲人用户行进路面的实时状况，指导其安全出行，能够提供与志愿者现场陪伴出行相接近的导盲效果，而且成本低，降低了盲人提出导盲需求的门槛(不限制时间、地点和服务时长)。特别是采用触觉装置结合语音提示的结构和方式，减少了盲人用户的反应时间，确保其出行安全。另外，也克服了单纯语音提示容易受外界嘈杂环境干扰的问题。

(2)通过触觉系统结合预设语音的导盲方式，有效降低后台人工的语音工作时长保护嗓子；并更加准确直观的给盲人向左转，向右转，停止前进等行进过程中的精细方向指导。

(3)导盲装置本身可以直接处理摄像头图像信息，并将结果直接用语音的方式通知盲人，也可以在服务器一侧通过智能算法代替人工坐席来提示，进一步降低了整个系统的运行成本；

(4)在导盲装置中安装卫星定位模块，从而当盲人使用本导盲装置出行时，其他人，如家人，可以在任何地方通过网络确定盲人的位置，以防盲人迷路走丢，可进一步确保盲人安全。而且人工坐席服务时，该人工坐席客户端也可以直接访问带有街景信息的地图(如百度地图)，根据位置信息，对比参考街景信息和摄像头图像，更加精准的提供导盲提示。

附图说明

图1为本发明导盲系统中导盲装置的系统框架图。

图2为本发明导盲系统中加入触感装置的系统框架图。

图3为本发明摄像头视角的俯视图。

图4为本发明摄像头视角的侧视图。

图5为本发明三个摄像头结构示意图。

图6为本发明中一种可进行方位指向的触感装置的系统组成图。

图7为本发明中一种可进行方位指向的触感装置实施例的使用示意图。

图8为本发明中一种可进行方位指向的触感装置实施例的电路示意图。

图9为本发明中一种可进行方位指向的触感装置实施例的蓝牙控制器电路图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

本发明的复合导盲系统包括通过网络进行通信连接的人工坐席、管理服务器和具有图像采集功能的导盲装置，导盲装置用于不断的获取盲人用户行进路面上的图像信息，并通过网络将信息传递至管理服务器；所需提供的网络可以是Wi-Fi、3G、4G或其他网络形式。另外，系统还包括盲人用户穿戴的触感装置，该触感装置用于接收通过人工坐席通过管理服务器发出的操作指令做出不同的触觉效果变化状态，盲人用户结合触感装置的触觉效果变化状态来迅速做出判断。

管理服务器用于接收导盲装置的消息，并进行数据存储、随机分配人工坐席、建立盲人用户和人工坐席之间的语音连接、实现导盲装置和人工坐席之间的视频连接；该服务器可以是云平台或其他的PC终端设备。管理服务器中包含数据存储、计算单元、网络连接。数据存储用于平台运营所需要信息的存储，包含算法软件、用户信息、人工坐席信息等；计算单元，主要用于算法软件执行，建立盲人和人工坐席之间的语音和视频连接。

人工坐席，使用联网的PC或者是其他终端接收管理服务器传递的信息，通过屏幕观察导盲装置中的摄像头采集回来的图像信息，根据图像信息分析盲人所处的场景，通过语音与盲人沟通，为盲人提供导盲服务。本发明中人工坐席类似于呼叫中心的人工客服，人工坐席的数量应根据服务的时长、次数、盲人用户数量等来确定，一般按照同时使用的人数为总人数的1～5％来设置坐席数量，例如用户是1000人，需要配备约10～50个客服人员，这样设定可以确保使用高峰时段满足绝大多数盲人的需求。另外人工坐席的设定，还需要考虑服务时长因素，例如服务时长为7*24小时服务，就需要增加值夜班的人工坐席，一般按照人工坐席总人数的0.1％～0.5％来设置夜班人工坐席。个别时段可能会有服务高峰出现，如上下班高峰期等，可以根据业务呼入的情况适当增加人工坐席的数量。

人工坐席，需要考虑盲人所处区域的方言问题，如粤语、四川话等，可以要求客服人员具有一定的方言能力，同时要求客服人员的视觉能力足以支撑服务盲人用户的需求(如需人工坐席提供过马路看红绿灯的服务，客服人员不可以是红绿色盲)，言语和听力能力正常，可以完成与盲人之间的对话，人工坐席的人员必须是视力及听力较好的人员，其他方面稍有缺陷的人员也可以在该岗位工作。

如图1所示，所述导盲装置包括至少一个摄像头、送话器、受话器、电路控制单元、射频单元、天线及处理器，所述处理器分别与摄像头、送话器、受话器及射频单元连接，所述天线与射频单元连接，其中，

摄像头，用于不断获取盲人用户行进路面上的图像信息，探测周围环境状况、并形成被测物体的位置信息；摄像头型号优选200万像素、F1.8光圈、90度水平视角、80度垂直视角的摄像头，优选带夜视功能(可佩带红外补光灯)，即也可以满足盲人用户晚上出行的使用，进一步的可以选择双目摄像头进一步提供景深识别能力。如图3(盲人佩戴导盲装置后的俯视图)，其中，9代表摄像头，11代表人的头部，10代表人的身体，摄像头9此时佩戴在人的身上，摄像头探测平面的覆盖角(俯视角)2A不小于90度(且与人的中线对称)，如图4(盲人佩戴导盲装置后的侧视图)所示，摄像头侧视角度B不小于80度，且图像的边缘应能采集到人的脚部位置，这样设计有利于保护盲人用户脚不受到损伤。

本发明中摄像头也可以选择其他实施例，为方便人工坐席观察盲人周围景物情况，为了增大视角可以增加摄像头，如水平方向上每个摄像头120度，3个摄像头可以全视角拍摄，摄像头的个数根据导盲用户需求增设，如图5(盲人佩戴多摄像头的俯视图)所示，9代表摄像头，11代表人的头部，10代表人的身体，这种全视角摄像头可以将人的身体10周围环境进行360角度的扫视。

送话器及受话器，用于盲人用户与人工坐席建立语音联系；受话器及送话器，优选骨传导耳机和MIC，也可以选择普通的喇叭和MIC，或者是有线耳机，或者是无线蓝牙耳机，具体情况根据盲人用户需求设定。

电路控制单元，用于为整个导盲装置提供电源及对各个部件电路进行管理；由于电池容量直接决定设备的使用时间，可以根据导盲装置整机耗电情况来选择，优选的方案电池容量1500mAh可提供约6小时的不间断使用时间和24小时的待机时间，具体的，电池的优选方案可以根据导盲装置结构空间、重量的要求选择较大或较小容量型号的电池，甚至可以是可更换的电池如5号、7号电池等。

射频单元，用于调制和发射、接收无线信号；

天线，用于向管理服务器发射盲人周围环境状况的信息和接收人工坐席发送的无线射频语音信号，本发明中天线优选LDS天线，可以缩小结构尺寸，也可以选择成本较低的PCB天线。

处理器，用于接收并处理所述摄像头采集图像信息，控制所述射频单元、送话器及受话器之间的连接关系，并将图象信息通过射频单元及天线上传至所述管理服务器，接收人工坐席反射回来的语音提示信号并在导盲装置上通过受话器形成提示指令，处理器主要用于实现导盲装置内各个模块的控制及信号处理(音视频的编解码压缩、无线射频信号的数字处理)，用于和服务器建立数据通道实现导盲功能。

本发明的技术方案中处理器优选美国高通公司骁龙210型号的处理器，该处理器提供四核CPU，具有全网通网络通讯能力，支持Wi-Fi和蓝牙，支持卫星定位和基站定位。

导盲装置可以有多种表现形态，从安装的位置上区分，优选头部位置，如帽子或者眼镜，也可以是装在胸口或者是肩章；从形态上区分，优选可穿戴类，如帽子或者眼镜，也可以是通过卡扣将设备安装于身上某部位；甚至可以是手机形态。

最为优选实施方案的，导盲装置上还可设置有定位模块(如GPS、北斗等卫星定位模块，也可以使用基站或者WLAN、蓝牙等定位信息)，从而当盲人使用本发明提供的一种导盲系统出行时，其他人，如家人，可以在任何地方通过网络确定盲人的位置，以防盲人迷路走丢，可进一步确保盲人安全。另外，在接通人工坐席后，人工坐席也可以通过这个位置信息提供更精准的导盲服务。

如图2所示，本发明系统中具有盲人用户穿戴的触感装置，该触感装置用于接收通过人工坐席通过管理服务器发出的操作指令做出不同的触觉效果变化状态，盲人用户结合触感装置的触觉效果变化状态来迅速做出判断。

作为优选方式，该导盲装置与触感装置均佩戴在盲人用户身上，二者之间进行通讯连接。该导盲装置与触感装置之间通过蓝牙方式(蓝牙模块)连接。

作为一种可选的实施例，所述的触感装置为一对分别可佩带在盲人用户左、右手的振动手环。使用时，左手手环振动，可以代表提示用户向左转；右手手环振动，可以代表提示用户向右转；左、右手手环同时振动，则可以代表提示用户停止前进。该例中，作为触感装置的左、右手环可以与作为导盲装置的导盲帽通过蓝牙方式进行配对。触感装置的操作指令，可以由人工坐席发出并通过管理服务器、导盲装置最终发送到左、右手环并做出对应的触觉效果变化状态。

作为变化方式，触感信息收发模块包括不限于蓝牙，还可以通过WiFi/Zigbee/Zwave/cable/LoRa/sub-G等通道建立方式。

为了进一步增强使用效果，该导盲装置的受话器配合触感装置的触觉效果变化状态对应做出预设的同步语音提示。比如：在左手手环振动的同时，受话器同时发送预设的语音提示“向左”，以此类推。这样还可以有效降低后台人工的语音工作时长保护嗓子；并更加准确直观的给盲人向左转，向右转，停止前进等行进过程中的精细方向指导。

以下介绍一种较佳的适用于本发的触感装置。

参见图6-9，它是一种可进行方位指向的触感装置的结构示意图。如图所示：它包括载体21，该载体21是盲杖；还包括无线控制器23、电机驱动模块、驱动旋转部件旋转的电机25、震动电机26和旋转部件24。

所述载体21内部挖空腔，安装无线控制器23、电机驱动模块、驱动旋转部件旋转的电机25、震动电机26和旋转部件24。

所述载体21内部空腔位置有孔，用于安装旋转部件24。

所述旋转部件24由驱动旋转部件旋转的电机25驱动。

所述无线控制器23的数据输出接口连接电机驱动模块，将导航信息传递给电机驱动模块，电机驱动模块的两路输出分别连接驱动旋转部件旋转的电机25和震动电机26，控制驱动旋转部件旋转的电机25的正反转和震动电机26的运转。

所述旋转部件24的旋转用于指示转向，顺时针旋转表示向右转，逆时针旋转表示向左转。

上述震动电机26安装在装置载体21内部空腔内，震动运转提示停止前进。

参见图9，上述无线控制器23选用无线通信方式选择蓝牙，模块型号为JDY-10。

参见图8，上述无线控制器23由电源22驱动，电源芯片型号为TP5060，能源由18650电池提供。

参见图8，上述电机驱动模块型号为HG7881，HG7881的两路输出，一路连接驱动旋转部件旋转的电机25，另一路用于驱动震动电机26。

上述电机驱动模块由无线控制器23进行控制，无线控制器23的E5、E6和E7管脚分别连接电机驱动模块的B-1A、A-1B和A-1A管脚，实现驱动旋转部件旋转的电机25的正反转和震动电机26的驱动控制。

上述无线控制器23的信号输入来自手机导航信号或者地面导航点数据。

上述装置载体21为盲杖，盲杖内部空腔位置孔，孔内安装旋转部件24。

上述旋转部件24为旋转钮，也可以采用旋转环。

参见图7，使用过程：当盲人使用导盲杖时，用手握住导盲杖，大拇指压在旋转钮上，当需要转向时，无线控制器23发出指令通过电机驱动模块驱动旋转钮进行顺时针或者逆时针旋转，指导盲人向左转或向右转；当遇到危险需要停止时，无线控制器23发出指令通过电机驱动模块驱动震动电机26，震动电机26带动导盲杖震动，实现危险信息的传达。

作为变化例，所述的驱动旋转部件旋转的电机25可以采用伺服电机、减速电机或步进电机。

作为变化例，所述的载体21还可以是手环、腰带或电极等。

作为变化例，所述的无线控制器23还可以是wifi控制器或bigbee控制器或LoRa控制器或sub-G控制器，所述无线控制器的信号输入可接受来自手机导航信号或者地面导航点数据均可。

通过本发明系统所实施的导盲方法，具体步骤如下：

步骤一，盲人用户出行前或者需要帮助时，佩戴好导盲装置(如导盲帽)和触感装置(如手环)；

步骤二，盲人用户通过导盲装置连线呼叫人工坐席，可以通过语音命令或者按钮的方式接通人工坐席；

步骤三，导盲装置通过无线网络连接到管理服务器；

步骤四，管理服务器自动分配空闲的人工坐席给盲人用户；

步骤五，盲人用户与人工坐席呼叫接通；

步骤六，人工坐席实时观察导盲装置中摄像头拍摄的盲人用户行进方向上的图像信息，并用语音的方式与盲人直接进行沟通，辅助盲人行走；或者由人工坐席通过管理服务器发出的操作指令触感装置做出不同的触觉效果变化状态；

步骤七，根据人工坐席的不断提示，结合语音和触感装置共同辅助盲人用户行走，通过如乘坐指定线路的公交车、红绿灯、躲避障碍物等；

步骤八，辅助盲人用户行走完成后，人工坐席主动断开连线或者盲人自行操作断开连线。

以上的实施方案是最优的，通过平台化的运营，能极大的优化用户体验。但在实际使用中，也可以不使用平台化的运营中心，人工坐席由可提供导盲帮助的家人、朋友或者志愿者替代。当盲人有导盲需求时，导盲终端直接与家人进行连接(如通过IP地址直接建立网络连接)，家人使用可以联网的PC机或者是手机，在屏幕上直接观察导盲终端摄取到的图像信息，通过语音进行提示帮助盲人出行。服务器与人工坐席的功能合并在一起，区别是服务器只有一个人工坐席(不能进行随机分配)，同时这个坐席不为其他的盲人服务。

作为优选实施方案，前述导盲装置是一个穿戴设备，安装于盲人头部(帽子或者眼镜)或者肩膀处(肩章)或其他位置，它本身是一个独立可以运行的单元，独立成为系统。

作为一种实施例，用手机的摄像头也可以完成所有的导盲装置的功能。只是在用户体验上，相比于专用导盲装置导盲效果要差些。

上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。