一种基于增强现实与智能手机的盲人信息服务方法及系统的制作方法
【专利摘要】本发明提供了一种基于增强现实与智能手机的盲人信息服务方法及系统，其中，方法的步骤包括语音信号采集、指令头匹配、指令内容匹配、发送执行指令、发送开启指令、获取数据、实时服务和服务结束，系统包括实时语音采集模块、匹配不成功处理模块、设备开启模块、导航模块、指令头匹配模块、指令内容匹配模块、执行指令发送模块和指令执行模块。本发明的方法及系统通过增强现实技术与智能手机的有效结合，能有效增强盲人对于现实的感知能力，提高盲人生活质量。
【专利说明】一种基于增强现实与智能手机的盲人信息服务方法及系统
【技术领域】
[0001] 本发明涉及一种信息服务方法及系统，尤其是一种针对盲人的信息服务方法及系 统。
【背景技术】
[0002] 随着移动互联网与智能手机的发展，借助位置与无处不在的无线网络，人们使用 智能手机下载移动应用，随时随地享受着导航，购物，娱乐等各种信息化服务，极大丰富了 人们的生活。特别是借助于高速的4G、WIFI等无线通信网络的建设，基于增强现实的眼镜、 头盔、导航，游戏等移动应用也越来越多。通过增强现实与智能手机，将虚拟的信息应用到 真实世界，已经为娱乐、交通、生活等诸多应用领域提供了极大的便利。
[0003] 目前的增强现实应用，大多将虚拟的信息与手机摄像头的拍摄界面合成，然后映 射至手机显示屏上，提供给人们观看。例如在增强现实应用的实景导航应用中，应用基于手 机摄像头所拍摄现实画面，结合GPS、陀螺仪、地磁等手机传感器，判断出目前人所处的位置 与方向；再通过无线网络获取人们所需的导航路径，在街道、路口、商场等区域，通过手机显 示屏在摄像头画面上，叠加显示出左转、右转等导航路径。对于普通人而言，通过观看显示 屏的手段，获取增强现实信息毫无问题。但是对于盲人，老年人等视力有障碍的特殊人群， 他们无法清晰的观看到手机显示屏，因此目前的增强现实应用无法为这类特殊人群提供有 效的支持。
[0004] 中国是全世界盲人最多的国家之一，眼部疾病在中国也是一个主要的公共卫生问 题。中国约有盲人600-700万，占世界盲人总数的18%，另有双眼低视力患者1200万。对 于这类特殊人群，目前针对盲人的应用确局限在导航领域，在已公布基于盲人的导航应用 专利中，大多利用GPS或GPRS定位技术，为盲人提供路径导航的服务。采用GPS或GPRS定 位，在室外的空旷区域精度较高；但在高楼林立的城市中心、或者是室内场所，定位精度低， 且由于城市中心或者是室内场所的路况十分复杂，现有基于GPS或GPRS定位的盲人导航系 统难以得到广泛应用。另外，盲人的生活需求与普通人一样，并不仅仅是交通出行，而现有 的盲人应用无法满足他们生活、娱乐等其它需求。
【发明内容】
[0005] 本发明要解决的技术问题是现有的导盲系统只具有导航功能，还不能满足物品识 别等方面的需求。
[0006] 为了解决上述技术问题，本发明提供了一种基于增强现实与智能手机的盲人信息 服务方法，包括智能手机和服务器，智能手机包括手机处理器、摄像头、麦克风、扬声器、手 机无线通信模块以及GPS/LBS定位模块，摄像头、麦克风、扬声器、手机无线通信模块以及 GPS/LBS定位模块均与手机处理器相连，摄像头正对于盲人用户的正前方，所述服务器包括 控制器、数据库和服务器无线通信模块，手机无线通信模块与服务器无线通信模块无线连 接，具体为如下步骤：
[0007] 步骤1，手机处理器实时接收麦克风采集的语音信号，并按时间先后顺序逐一将语 音信号发送至服务器；
[0008] 步骤2,控制器将接收的语音信号与数据库中预先设定的指令头进行匹配对应，指 令头表明语音信号是否为盲人信息服务指令，若为预先设定的盲人信息服务指令，则进入 步骤4,若不是预先设定的盲人信息服务指令，则由控制器向手机处理器返回匹配不成功信 息，并进人步骤3 ;
[0009] 步骤3,手机处理器在接收到匹配不成功信息后，向扬声器发送匹配不成功的语音 播报指令，并返回步骤1 ;
[0010] 步骤4,控制器将接收的语音信号与数据库中预先设定的指令内容进行匹配对应， 指令内容表明语音信号需要执行的盲人信息服务项目，盲人信息服务项目包括导航、购物 和搜索物品，若为预先设定的盲人信息服务项目，则进一步对语音信号进行识别，提取获得 相应的服务项目关键词，服务项目关键词包括导航的目的地、购物的目的地以及物品的名 称；
[0011] 步骤5,控制器向手机处理器发送相应的执行指令，若盲人信息服务项目为导航项 目或购物项目，则向手机处理器发送开启GPS/LBS定位模块指令，若盲人信息服务项目为 搜索物品项目，则向手机处理器发送开启摄像头指令；
[0012] 步骤6,手机处理器根据执行指令开启GPS/LBS定位模块或摄像头，对当前位置信 息或图像进行采集，并将采集的位置信息或图像发送给控制器；
[0013] 步骤7,控制器根据盲人信息服务项目进行相应处理，若盲人信息服务项目为导航 项目，则控制器根据位置信息和导航的目的地在数据库中查询合适的导航路线，再将导航 路线发送给手机处理器，若盲人信息服务项目为购物项目，则控制器根据位置信息和购物 目的地在数据库中查询合适的购物路线，再将购物路线发送给手机处理器，若盲人信息服 务项目为搜索物品，则控制器首先根据物品名称在数据库中查询对应的物品特征，再将物 品特征与图像进行匹配对应，若图像中存在对应特征的物品，则进一步判断该物品在图像 中的相对位置，再将相对位置发送给手机处理器，若图像中不存在对应特征的物品，则向手 机处理器发送开启摄像头指令，并返回步骤6 ;
[0014] 步骤8,手机处理器接收导航路线、购物路线或物品在图像中的相对位置，并向扬 声器发送语音播报指令，将导航路线、购物路线或物品在图像中的相对位置以语音的形式 播报出来，再结合实时接收的GPS/LBS定位模块或摄像头采集的位置信息或图像，实时更 新导航路线、购物路线或物品在图像中的相对位置，并将更新的导航路线、购物路线或物品 在图像中的相对位置以语音的形式播报出来。
[0015] 采用手机处理器实时接收语音信号，对语音信号进行分析便能够获得相应的指 令，而无需其他辅助触摸便可开启相关功能，更加适合盲人使用，提高了使用的便捷性；采 用图像进行识别物品的相对位置，能够帮助盲人快速搜索到想要得到的物品，增强了使用 的功能性；采用购物路线的导航以及判断物品在图像中的相对位置相结合，能够方便盲人 进行外出购物，提高了盲人的生活质量；该方法的实现只需要一部智能手机即可，实现起来 比较方便且成本也很低。
[0016] 作为本发明的进一步改进方案，还包括步骤9,手机处理器根据实时的导航路线、 购物路线或物品在图像中的相对位置判断是否已到达导航的目的地、购物的目的地或者已 位于物品的正前方，若已到达导航的目的地、购物的目的地或者已位于物品的正前方，则向 扬声器发送语音提示指令。通过向扬声器发送语音提示指令，在已到达导航的目的地、购 物的目的地或者已位于物品的正前方时提示盲人服务项目完成，使盲人能够获知服务已完 成。
[0017] 作为本发明的进一步限定方案，相对位置包括左侧、右侧、上侧、下侧和正前。通过 设置左侧、右侧、上侧、下侧和正前五个相对位置关系，便于准确盲人判断处物品的位置。
[0018] 本发明还提供了一种基于增强现实与智能手机的盲人信息服务系统，包括智能手 机和服务器，智能手机包括手机处理器、摄像头、麦克风、扬声器、手机无线通信模块以及 GPS/LBS定位模块，摄像头、麦克风、扬声器、手机无线通信模块以及GPS/LBS定位模块均 与手机处理器相连，摄像头正对于盲人用户的正前方，服务器包括控制器、数据库和服务器 无线通信模块，手机无线通信模块与服务器无线通信模块无线连接，手机处理器包括实时 语音采集模块、匹配不成功处理模块、设备开启模块和导航模块，控制器包括指令头匹配模 块、指令内容匹配模块、执行指令发送模块和指令执行模块；
[0019] 实时语音采集模块，用于实时接收麦克风采集的语音信号，并按时间先后顺序逐 一将语音信号发送至指令头匹配模块；
[0020] 匹配不成功处理模块，用于在接收到匹配不成功信息后，向扬声器发送匹配不成 功的语音播报指令，并启动实时语音采集模块；
[0021] 设备开启模块，用于根据执行指令开启GPS/LBS定位模块或摄像头，对当前位置 信息或图像进行采集，并将采集的位置信息或图像发送给控制器；
[0022] 导航模块，用于接收导航路线、购物路线或物品在图像中的相对位置，并向扬声器 发送语音播报指令，将导航路线、购物路线或物品在图像中的相对位置以语音的形式播报 出来，再结合实时接收的GPS/LBS定位模块或摄像头采集的位置信息或图像，实时更新导 航路线、购物路线或物品在图像中的相对位置，并将更新的导航路线、购物路线或物品在图 像中的相对位置以语音的形式播报出来；
[0023] 指令头匹配模块，用于将接收的语音信号与数据库中预先设定的指令头进行匹配 对应，指令头表明语音信号是否为盲人信息服务指令，若为预先设定的盲人信息服务指令， 则启动指令内容匹配模块，若不是预先设定的盲人信息服务指令，则向匹配不成功处理模 块返回匹配不成功信息，并启动匹配不成功处理模块；
[0024] 指令内容匹配模块，用于将接收的语音信号与数据库中预先设定的指令内容进 行匹配对应，指令内容表明语音信号需要执行的盲人信息服务项目，盲人信息服务项目包 括导航、购物和搜索物品，若为预先设定的盲人信息服务项目，则进一步对语音信号进行识 另IJ，提取获得相应的服务项目关键词，服务项目关键词包括导航的目的地、购物的目的地以 及物品的名称，并启动执行指令发送模块；
[0025] 执行指令发送模块，用于根据盲人信息服务项目向设备开启模块发送相应的执行 指令，若盲人信息服务项目为导航项目或购物项目，则向设备开启模块发送开启GPS/LBS 定位模块指令，若盲人信息服务项目为搜索物品项目，则向设备开启模块发送开启摄像头 指令；
[0026] 指令执行模块，用于根据盲人信息服务项目进行相应处理，若盲人信息服务项目 为导航项目，则根据位置信息和导航的目的地在数据库中查询合适的导航路线，再将导航 路线发送给导航模块，若盲人信息服务项目为购物项目，则根据位置信息和购物目的地在 数据库中查询合适的购物路线，再将购物路线发送给导航模块，若盲人信息服务项目为搜 索物品，则首先根据物品名称在数据库中查询对应的物品特征，再将物品特征与图像进行 匹配对应，若图像中存在对应特征的物品，则进一步判断该物品在图像中的相对位置，再将 相对位置发送给导航模块，若图像中不存在对应特征的物品，则向设备开启模块发送开启 摄像头指令，并启动设备开启模块。
[0027] 本发明的有益效果在于：（1)采用手机处理器实时接收语音信号，对语音信号进 行分析便能够获得相应的指令，而无需其他辅助触摸便可开启相关功能，更加适合盲人使 用，提高了使用的便捷性；(2)采用图像进行识别物品的相对位置，能够帮助盲人快速搜索 到想要得到的物品，增强了使用的功能性；(3)采用购物路线的导航以及判断物品在图像 中的相对位置相结合，能够方便盲人进行外出购物，提高了盲人的生活质量；(4)本方法的 实现只需要一部智能手机即可，将手机能够获取的实时信息提供语音的形式展现出来，为 盲人提供了 一种增强现实的实现方法，而且实现起来还比较方便且成本也很低。
【专利附图】
【附图说明】
[0028] 图1为本发明的方法流程图；
[0029] 图2为本发明的系统结构示意图。
【具体实施方式】
[0030] 如图1所示，本发明的基于增强现实与智能手机的盲人信息服务方法，具体包括 如下步骤：
[0031] 步骤1，手机处理器实时接收麦克风采集的语音信号，并按时间先后顺序逐一将语 音信号发送至服务器；
[0032] 步骤2,控制器将接收的语音信号与数据库中预先设定的指令头进行匹配对应，指 令头表明语音信号是否为盲人信息服务指令，若为预先设定的盲人信息服务指令，则进入 步骤4,若不是预先设定的盲人信息服务指令，则由控制器向手机处理器返回匹配不成功信 息，并进人步骤3 ;
[0033] 步骤3,手机处理器在接收到匹配不成功信息后，向扬声器发送匹配不成功的语音 播报指令，并返回步骤1 ;
[0034] 步骤4,控制器将接收的语音信号与数据库中预先设定的指令内容进行匹配对应， 指令内容表明语音信号需要执行的盲人信息服务项目，盲人信息服务项目包括导航、购物 和搜索物品，若为预先设定的盲人信息服务项目，则进一步对语音信号进行识别，提取获得 相应的服务项目关键词，服务项目关键词包括导航的目的地、购物的目的地以及物品的名 称；
[0035] 步骤5,控制器向手机处理器发送相应的执行指令，若盲人信息服务项目为导航项 目或购物项目，则向手机处理器发送开启GPS/LBS定位模块指令，若盲人信息服务项目为 搜索物品项目，则向手机处理器发送开启摄像头指令；
[0036] 步骤6,手机处理器根据执行指令开启GPS/LBS定位模块或摄像头，对当前位置信 息或图像进行采集，并将采集的位置信息或图像发送给控制器；
[0037] 步骤7,控制器根据盲人信息服务项目进行相应处理，若盲人信息服务项目为导航 项目，则控制器根据位置信息和导航的目的地在数据库中查询合适的导航路线，再将导航 路线发送给手机处理器，若盲人信息服务项目为购物项目，则控制器根据位置信息和购物 目的地在数据库中查询合适的购物路线，再将购物路线发送给手机处理器，若盲人信息服 务项目为搜索物品，则控制器首先根据物品名称在数据库中查询对应的物品特征，再将物 品特征与图像进行匹配对应，若图像中存在对应特征的物品，则进一步判断该物品在图像 中的相对位置，其中，相对位置包括左侧、右侧、上侧、下侧和正前，再将相对位置发送给手 机处理器，若图像中不存在对应特征的物品，则向手机处理器发送开启摄像头指令，并返回 步骤6 ;
[0038] 步骤8,手机处理器接收导航路线、购物路线或物品在图像中的相对位置，并向扬 声器发送语音播报指令，将导航路线、购物路线或物品在图像中的相对位置以语音的形式 播报出来，再结合实时接收的GPS/LBS定位模块或摄像头采集的位置信息或图像，实时更 新导航路线、购物路线或物品在图像中的相对位置，并将更新的导航路线、购物路线或物品 在图像中的相对位置以语音的形式播报出来；
[0039] 为了进一步使盲人能够获知服务已完成，本发明的方法还包括步骤9,手机处理 器根据实时的导航路线、购物路线或物品在图像中的相对位置判断是否已到达导航的目的 地、购物的目的地或者已位于物品的正前方，若已到达导航的目的地、购物的目的地或者已 位于物品的正前方，则向扬声器发送语音提示指令。
[0040] 采用手机处理器实时接收语音信号，对语音信号进行分析便能够获得相应的指 令，而无需其他辅助触摸便可开启相关功能，更加适合盲人使用，提高了使用的便捷性；采 用图像进行识别物品的相对位置，能够帮助盲人快速搜索到想要得到的物品，增强了使用 的功能性；采用购物路线的导航以及判断物品在图像中的相对位置相结合，能够方便盲人 进行外出购物，提高了盲人的生活质量；该方法的实现只需要一部智能手机即可，实现起来 比较方便且成本也很低。
[0041] 如图2所示，本发明的基于增强现实与智能手机的盲人信息服务系统，包括智能 手机和服务器，智能手机包括手机处理器、摄像头、麦克风、扬声器、手机无线通信模块以及 GPS/LBS定位模块，摄像头、麦克风、扬声器、手机无线通信模块以及GPS/LBS定位模块均 与手机处理器相连，摄像头正对于盲人用户的正前方，服务器包括控制器、数据库和服务器 无线通信模块，手机无线通信模块与服务器无线通信模块无线连接，手机处理器包括实时 语音采集模块、匹配不成功处理模块、设备开启模块和导航模块，控制器包括指令头匹配模 块、指令内容匹配模块、执行指令发送模块和指令执行模块；
[0042] 实时语音采集模块，用于实时接收麦克风采集的语音信号，并按时间先后顺序逐 一将语音信号发送至指令头匹配模块；
[0043] 匹配不成功处理模块，用于在接收到匹配不成功信息后，向扬声器发送匹配不成 功的语音播报指令，并启动实时语音采集模块；
[0044] 设备开启模块，用于根据执行指令开启GPS/LBS定位模块或摄像头，对当前位置 信息或图像进行采集，并将采集的位置信息或图像发送给控制器；
[0045] 导航模块，用于接收导航路线、购物路线或物品在图像中的相对位置，并向扬声器 发送语音播报指令，将导航路线、购物路线或物品在图像中的相对位置以语音的形式播报 出来，再结合实时接收的GPS/LBS定位模块或摄像头采集的位置信息或图像，实时更新导 航路线、购物路线或物品在图像中的相对位置，并将更新的导航路线、购物路线或物品在图 像中的相对位置以语音的形式播报出来；
[0046] 指令头匹配模块，用于将接收的语音信号与数据库中预先设定的指令头进行匹配 对应，指令头表明语音信号是否为盲人信息服务指令，若为预先设定的盲人信息服务指令， 则启动指令内容匹配模块，若不是预先设定的盲人信息服务指令，则向匹配不成功处理模 块返回匹配不成功信息，并启动匹配不成功处理模块；
[0047] 指令内容匹配模块，用于将接收的语音信号与数据库中预先设定的指令内容进 行匹配对应，指令内容表明语音信号需要执行的盲人信息服务项目，盲人信息服务项目包 括导航、购物和搜索物品，若为预先设定的盲人信息服务项目，则进一步对语音信号进行识 另IJ，提取获得相应的服务项目关键词，服务项目关键词包括导航的目的地、购物的目的地以 及物品的名称，并启动执行指令发送模块；
[0048] 执行指令发送模块，用于根据盲人信息服务项目向设备开启模块发送相应的执行 指令，若盲人信息服务项目为导航项目或购物项目，则向设备开启模块发送开启GPS/LBS 定位模块指令，若盲人信息服务项目为搜索物品项目，则向设备开启模块发送开启摄像头 指令；
[0049] 指令执行模块，用于根据盲人信息服务项目进行相应处理，若盲人信息服务项目 为导航项目，则根据位置信息和导航的目的地在数据库中查询合适的导航路线，再将导航 路线发送给导航模块，若盲人信息服务项目为购物项目，则根据位置信息和购物目的地在 数据库中查询合适的购物路线，再将购物路线发送给导航模块，若盲人信息服务项目为搜 索物品，则首先根据物品名称在数据库中查询对应的物品特征，再将物品特征与图像进行 匹配对应，若图像中存在对应特征的物品，则进一步判断该物品在图像中的相对位置，其 中，相对位置包括左侧、右侧、上侧、下侧和正前，再将相对位置发送给导航模块，若图像中 不存在对应特征的物品，则向设备开启模块发送开启摄像头指令，并启动设备开启模块。 [0050] 本系统中智能手机与服务器之间的信息传输都是通过手机无线通信模块与服务 器无线通信模块之间的无线通信完成的。
【权利要求】
1. 一种基于增强现实与智能手机的盲人信息服务方法，包括智能手机和服务器，所述 智能手机包括手机处理器、摄像头、麦克风、扬声器、手机无线通信模块以及GPS/LBS定位 模块，所述摄像头、麦克风、扬声器、手机无线通信模块以及GPS/LBS定位模块均与手机处 理器相连，所述摄像头正对于盲人用户的正前方，所述服务器包括控制器、数据库和服务器 无线通信模块，所述手机无线通信模块与服务器无线通信模块无线连接，其特征在于，具体 为如下步骤： 步骤1，手机处理器实时接收麦克风采集的语音信号，并按时间先后顺序逐一将语音信 号发送至服务器； 步骤2,控制器将接收的语音信号与数据库中预先设定的指令头进行匹配对应，所述指 令头表明语音信号是否为盲人信息服务指令，若为预先设定的盲人信息服务指令，则进入 步骤4,若不是预先设定的盲人信息服务指令，则由控制器向手机处理器返回匹配不成功信 息，并进入步骤3; 步骤3,手机处理器在接收到匹配不成功信息后，向扬声器发送匹配不成功的语音播报 指令，并返回步骤1 ; 步骤4,控制器将接收的语音信号与数据库中预先设定的指令内容进行匹配对应，所述 指令内容表明语音信号需要执行的盲人信息服务项目，所述盲人信息服务项目包括导航、 购物和搜索物品，若为预先设定的盲人信息服务项目，则进一步对语音信号进行识别，提取 获得相应的服务项目关键词，所述服务项目关键词包括导航的目的地、购物的目的地以及 物品的名称； 步骤5,控制器向手机处理器发送相应的执行指令，若盲人信息服务项目为导航项目或 购物项目，则向手机处理器发送开启GPS/LBS定位模块指令，若盲人信息服务项目为搜索 物品项目，则向手机处理器发送开启摄像头指令； 步骤6,手机处理器根据执行指令开启GPS/LBS定位模块或摄像头，对当前位置信息或 图像进行采集，并将采集的位置信息或图像发送给控制器； 步骤7,控制器根据盲人信息服务项目进行相应处理，若盲人信息服务项目为导航项 目，则控制器根据位置信息和导航的目的地在数据库中查询合适的导航路线，再将导航路 线发送给手机处理器，若盲人信息服务项目为购物项目，则控制器根据位置信息和购物目 的地在数据库中查询合适的购物路线，再将购物路线发送给手机处理器，若盲人信息服务 项目为搜索物品，则控制器首先根据物品名称在数据库中查询对应的物品特征，再将物品 特征与图像进行匹配对应，若图像中存在对应特征的物品，则进一步判断该物品在图像中 的相对位置，再将相对位置发送给手机处理器，若图像中不存在对应特征的物品，则向手机 处理器发送开启摄像头指令，并返回步骤6 ; 步骤8,手机处理器接收导航路线、购物路线或物品在图像中的相对位置，并向扬声器 发送语音播报指令，将导航路线、购物路线或物品在图像中的相对位置以语音的形式播报 出来，再结合实时接收的GPS/LBS定位模块或摄像头采集的位置信息或图像，实时更新导 航路线、购物路线或物品在图像中的相对位置，并将更新的导航路线、购物路线或物品在图 像中的相对位置以语音的形式播报出来。
2. 根据权利要求1所述的基于增强现实与智能手机的盲人信息服务方法，其特征在 于，还包括步骤9,手机处理器根据实时的导航路线、购物路线或物品在图像中的相对位置 判断是否已到达导航的目的地、购物的目的地或者已位于物品的正前方，若已到达导航的 目的地、购物的目的地或者已位于物品的正前方，则向扬声器发送语音提示指令。
3. 根据权利要求1或2所述的基于增强现实与智能手机的盲人信息服务方法，其特征 在于，所述相对位置包括左侧、右侧、上侧、下侧和正前。
4. 一种基于增强现实与智能手机的盲人信息服务系统，包括智能手机和服务器，所述 智能手机包括手机处理器、摄像头、麦克风、扬声器、手机无线通信模块以及GPS/LBS定位 模块，所述摄像头、麦克风、扬声器、手机无线通信模块以及GPS/LBS定位模块均与手机处 理器相连，所述摄像头正对于盲人用户的正前方，所述服务器包括控制器、数据库和服务器 无线通信模块，所述手机无线通信模块与服务器无线通信模块无线连接，其特征在于，所述 手机处理器包括实时语音采集模块、匹配不成功处理模块、设备开启模块和导航模块，所述 控制器包括指令头匹配模块、指令内容匹配模块、执行指令发送模块和指令执行模块； 所述实时语音采集模块，用于实时接收麦克风采集的语音信号，并按时间先后顺序逐 一将语音信号发送至指令头匹配模块； 所述匹配不成功处理模块，用于在接收到匹配不成功信息后，向扬声器发送匹配不成 功的语音播报指令，并启动实时语音采集模块； 所述设备开启模块，用于根据执行指令开启GPS/LBS定位模块或摄像头，对当前位置 信息或图像进行采集，并将采集的位置信息或图像发送给控制器； 所述导航模块，用于接收导航路线、购物路线或物品在图像中的相对位置，并向扬声器 发送语音播报指令，将导航路线、购物路线或物品在图像中的相对位置以语音的形式播报 出来，再结合实时接收的GPS/LBS定位模块或摄像头采集的位置信息或图像，实时更新导 航路线、购物路线或物品在图像中的相对位置，并将更新的导航路线、购物路线或物品在图 像中的相对位置以语音的形式播报出来； 所述指令头匹配模块，用于将接收的语音信号与数据库中预先设定的指令头进行匹配 对应，所述指令头表明语音信号是否为盲人信息服务指令，若为预先设定的盲人信息服务 指令，则启动指令内容匹配模块，若不是预先设定的盲人信息服务指令，则向匹配不成功处 理模块返回匹配不成功信息，并启动匹配不成功处理模块； 所述指令内容匹配模块，用于将接收的语音信号与数据库中预先设定的指令内容进行 匹配对应，所述指令内容表明语音信号需要执行的盲人信息服务项目，所述盲人信息服务 项目包括导航、购物和搜索物品，若为预先设定的盲人信息服务项目，则进一步对语音信号 进行识别，提取获得相应的服务项目关键词，所述服务项目关键词包括导航的目的地、购物 的目的地以及物品的名称，并启动执行指令发送模块； 所述执行指令发送模块，用于根据盲人信息服务项目向设备开启模块发送相应的执行 指令，若盲人信息服务项目为导航项目或购物项目，则向设备开启模块发送开启GPS/LBS 定位模块指令，若盲人信息服务项目为搜索物品项目，则向设备开启模块发送开启摄像头 指令；所述指令执行模块，用于根据盲人信息服务项目进行相应处理，若盲人信息服务项目 为导航项目，则根据位置信息和导航的目的地在数据库中查询合适的导航路线，再将导航 路线发送给导航模块，若盲人信息服务项目为购物项目，则根据位置信息和购物目的地在 数据库中查询合适的购物路线，再将购物路线发送给导航模块，若盲人信息服务项目为搜 索物品，则首先根据物品名称在数据库中查询对应的物品特征，再将物品特征与图像进行 匹配对应，若图像中存在对应特征的物品，则进一步判断该物品在图像中的相对位置，再将 相对位置发送给导航模块，若图像中不存在对应特征的物品，则向设备开启模块发送开启 摄像头指令，并启动设备开启模块。
【文档编号】H04M1/725GK104219628SQ201410439132
【公开日】2014年12月17日 申请日期:2014年8月29日 优先权日:2014年8月29日
【发明者】杨前华, 万宇 申请人:南京信息职业技术学院