所示，一种头戴式智能视障辅助系统实现辅助的方法，它包括如下子步骤:
51:图像采集，摄像头采集人视野中的图像；
52:指尖检测，检测视野图像中是否有用户使用指尖指向某个特定物体；
S3:敏感信息检测，检测到指尖后，在指尖周围区域进行敏感信息检测，检测是否存在包括物体、人脸、文字、货币的敏感信息，并分割出敏感信息所在的区域；
54:信息识别，识别模块在敏感区域进行识别任务，不同的敏感信息进入相应的识别模块，得到具体的信息；
55:语音处理，将识别出来的信息通过语音播报出来；
56:云端同步，将识别出来的信息进行保存，同时同步到云端。
[0023]所述的步骤S2指尖检测，首先通过肤色检测获得待选区域，然后通过轮廓匹配的方式检测出指尖。自然场景中的环境复杂多变。如光照、角度、遮挡、抖动等不确定因素都会增加分割难度。针对在自然场景中剧烈光照变化导致指尖检测不稳定，采用归一化的颜色空间YCrCb以减少光照变化对检测的影响，因为肤色在这些归一化的颜色空间里具有较好的分离性。
[0024]所述的步骤S3敏感信息检测包括物体检测、文字检测、人脸检测和标示、标志检测。
[0025]所述的步骤S4信息识别包括货币识别、物体识别、人脸识别、文字识别、颜色识别和标记识别，货币检测采用0RB特征，物体识别结合特征提取模板匹配和深度学习方法，人脸识别采用基于SVM特征分类方法。
[0026]如图3所示，货币识别包括如下步骤:
A.获取标准纸币模板；
B.计算纸币0RB特征点，训练特征点(获取区分度较好的点)；
C.对输入图像做相应的处理得到匹配点；
D.进行点匹配判断特征点是都来自相同的物体，计算匹配度；
E.输出结果。
[0027]语音处理包括语音输出和语音识别，语音输出是将设备识别出来的结果通过语音播报出来，主要采用通过语音播报出来引擎来实现。
【主权项】
1.一种头戴式智能视障辅助系统，其特征在于:它包括眼镜端组件和功能端组件，所述的眼镜端组件包括摄像头、图像驱动单元和音频处理器，摄像头与图像驱动单元连接；所述的功能端组件包括通讯模块、电池及充电管理模块、中央处理模块和按键，图像驱动单元、音频处理器、通讯模块、电池及充电管理模块和按键分别与中央处理模块连接；所述的中央处理模块包括指尖检测模块、敏感信息检测模块、识别模块和语音处理模块； 所述的指尖检测模块检测用户是否使用指尖指向某个物体；所述的敏感信息检测模块检测指尖周围是否存在物体、人脸、文字、货币等敏感信息，并分割出敏感信息所在区域；所述的识别模块在敏感区域进行信息识别；所述的语音处理模块对信息进行处理并进行语音播报。2.根据权利要求1所述的一种头戴式智能视障辅助系统，其特征在于:所述的眼镜端组件还包括耳机扬声器和麦克风，耳机扬声器和麦克风分别与音频处理器连接。3.根据权利要求1所述的一种头戴式智能视障辅助系统，其特征在于:所述的敏感信息检测模块包括物体检测模块、文字检测模块、人脸检测模块和标示、标志检测模块，所述的物体检测模块检测视障人员日常家居生活常见的物体，所述的文字检测模块检测敏感信息区域内的文字，人脸检测模块检测敏感区域内的人脸，标示、标志检测模块检测敏感区域内的标志。4.根据权利要求1所述的一种头戴式智能视障辅助系统，其特征在于:所述的识别模块包括物体识别模块、货币识别模块、文字识别模块、人脸识别模块和标示识别模块，所述的货币识别模块对使用的货币进行识别，所述的标示识别模块对标示进行识别。5.根据权利要求1所述的一种头戴式智能视障辅助系统，其特征在于:所述的摄像头采用小型CMOS高分辨率摄像头，所述的通讯模块为4G、5G通讯模块。6.如权利要求1所述的一种头戴式智能视障辅助系统实现辅助的方法，其特征在于:它包括如下子步骤: S1:图像采集，摄像头采集人视野中的图像； S2:指尖检测，检测视野图像中是否有用户使用指尖指向某个特定物体； S3:敏感信息检测，检测到指尖后，在指尖周围区域进行敏感信息检测，检测是否存在包括物体、人脸、文字、货币的敏感信息，并分割出敏感信息所在的区域； 54:信息识别，识别模块在敏感区域进行识别任务，不同的敏感信息进入相应的识别模块，得到具体的信息； 55:语音处理，将识别出来的信息通过语音播报出来； 56:云端同步，将识别出来的信息进行保存，同时同步到云端。7.根据权利要求6所述的一种头戴式智能视障辅助系统的辅助方法，其特征在于:所述的步骤S2指尖检测，首先通过肤色检测获得待选区域，然后通过轮廓匹配的方式检测出指尖。8.根据权利要求6所述的一种头戴式智能视障辅助系统的辅助方法，其特征在于:所述的步骤S3敏感信息检测包括物体检测、文字检测、人脸检测和标示、标志检测。9.根据权利要求1所述的一种头戴式智能视障辅助系统的辅助方法，其特征在于:所述的步骤S4信息识别包括货币识别、物体识别、人脸识别、文字识别、颜色识别和标记识另IJ，货币检测采用ORB特征，物体识别结合特征提取模板匹配和深度学习方法，人脸识别采用基于SVM特征分类方法。
【专利摘要】本发明公开了一种头戴式智能视障辅助系统，它包括眼镜端组件和功能端组件，眼镜端组件包括摄像头、图像驱动单元和音频处理器，摄像头与图像驱动单元连接；功能端组件包括通讯模块、电池及充电管理模块、中央处理模块和按键，图像驱动单元、音频处理器、通讯模块、电池及充电管理模块和按键分别与中央处理模块连接；中央处理模块包括指尖检测模块、敏感信息检测模块、识别模块和语音处理模块。该系统为轻量化设计的穿戴式硬件系统，功耗低，携带方便，基于嵌入式平台实现各个核心服务模块，包括人脸识别、物体识别、货币识别等，交互设计简单、自然、智能、简单易操作。
【IPC分类】A61H3/06
【公开号】CN105267013
【申请号】CN201510588478
【发明人】程洪, 况逸群, 杨路, 黄殿
【申请人】电子科技大学
【公开日】2016年1月27日
【申请日】2015年9月16日