一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法与流程

文档序号:13211147阅读:来源:国知局
技术特征:
1.一种基于视觉交互面向视障人群的穿戴式辅助系统,其特征在于:它包括摄像头和ARM处理器,所述的ARM处理器包括:手指检测模块:用于接收摄像头传感器采集的图像,并检测图像中手指在图像中的位置T(x,y);ROI提取模块:用于根据手指位置的先验信息结合图像的边界大小确定出ROI位置,及获得兴趣目标的潜在位置,输出至检测识别模块;检测识别模块:并行的多个检测识别模块应对不同的目标检测;综合模块:综合多个检测识别模块的识别结果,分析出用户的使用意图;语音输出模块:把分析的结果通过语音的方式反馈给用户。2.根据权利要求1所述的一种基于视觉交互面向视障人群的穿戴式辅助系统,其特征在于:所述的检测识别模块包括纸币识别模块、场景文字识别模块和家居物品识别模块。3.根据权利要求1所述的一种基于视觉交互面向视障人群的穿戴式辅助系统,其特征在于:所述的语音输出模块将语音通过骨传导耳机反馈给用户。4.一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:包括以下步骤:S1:手指指尖检测,包括以下子步骤:S101:针对不同的场景训练随机回归树来建模不同光照,得到手掌区域检测器;S102:通过手掌区域检测器以及采集的图像I提取手掌轮廓;S103:通过几何约束计算出指尖坐标T(x,y),所述的几何约束包含距离约束和夹角约束;S2:ROI提取,根据步骤S1获得的指尖位置结合图片边界几何约束可以计算出ROI[x0,y0,w0,h0]:x0=x-12*w0y0=y-h0w0=α*Min(x,w-x)h0=β*Min(y,h-y)]]>其中,α,β为ROI大小修正参数,w为图像I的宽,h为图像I的高;S3:检测识别,包括以下子步骤:S301:通过mask操作获得ROI子图,作为识别模块的输入;S302:采用多线程并行的处理方式,把不同功能的检测识别模块放到不同线程中去;S4:综合识别:通过综合步骤S3中各个检测识别模块的识别结果,准确分析处用户的使用意图,通过文本的方式给出结果;S5:语音输出:采用TTS引擎,接受由步骤S4给出的识别结果,然后转化成语音的方式通过骨传导耳机反馈给使用者。5.根据权利要求4所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S101包括以下子步骤:S10101:采集大量不同条件下的手掌肤色样本得到一个肤色训练集,包括正负样本;S10102:对采集来的样本根据HSV各通道的直方图进行k-means聚类ci,类别数目可以根据经验设置为不同的值,其中ci表示不同场景,i=1,2,....k,k为k-means的类别数取经验值;S10103:对于每一个类别ci,学习一个独立的随机回归树P(ci||g),g表示图像I的全局特征;S10104:对于待检测的像素点p(x,y),和给定l,g条件下,属于判定为像素点的概率用如下全概率公式表达:P(p|l,g)=ΣiP(p|l,ci)P(ci|g)]]>其中P(T|l,ci)是给定全局特征条件下属于第i个场景的概率,由步骤S10103中的随机回归树学习得到;P(ci|g)是通过步骤S10103学习过程中聚类步骤中通过统计第i中场景下光照获得;l表示图像I的局部特征;所述的步骤S102包括以下子步骤:比较P(p|l,g)与概率化的阈值μ,得到当前像素p(x,y)是否属于手掌,将所有属于手掌的像素点保留得到手掌轮廓。6.根据权利要求4所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S103包括以下子步骤:S10301:在手掌轮廓上取第i点Ti(x,y),以及Ti(x,y)的前后第k个点分别为Ti+k(x,y),Ti-k(x,y),此处k两点间间隔的像素点为经验值;S10302:依次遍历轮廓上的各像素点,分别计算向量和的点积和叉积:通过判断点积的极值可以检测出手掌轮廓上的凹点以及凸点;S10303:利用叉积结合右手法则分辨出指尖;S10304:在获得过个拟指尖的点后,再通过计算指尖到手掌轮廓中的距离||TC||,以||TC||最大值对应的点即为待求指尖点T(x,y);C表示手掌轮廓的中心点。7.根据权利要求4所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S302包括一个常用物品识别子步骤:在外部PC端进行离线分类器学习,将分类器移植入到嵌入式运算器中进行在线识别。8.根据权利要求4所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S302包括一个纸币识别子步骤:S3020101:采集不同光照条件下标准纸币模板,根据纸币的纹理特征将纸币划分成不同小块;S3020102:对每个小块计算局部特征,然后将每个小块的局部特征组合成一个特征向量作为纸币的特征表达,对所有的模板执行相同操作;S3020103:在识别匹配阶段,用计算纸币特征表达相同的方式来计算待识别目标的特征;S3020104:然后将该特征向量与模板库中特征向量计算相似度,通过阈值化的相似度既可以判断出纸币的币种、面额信息。9.根据权利要求4所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S302包括一个场景文字识别子步骤:S3020201:预处理,包括模糊处理、二值化、边缘检测;S3020202:特征提取,包括字符水平特征、几何相似度特征,用于字符区域检测;S3020203:规则聚链,包括字符方向、字符尺度、颜色,用于将单个字符聚合正单词,单词组合成句子;S3020204:后续处理,包括方向校正、缺失补齐,用于将检测出来的文本作进一步处理成水平二值化分割好的文本区域;S3020205:OCR引擎识别检测结果。10.根据权利要求4所述的一种基于视觉交互面向视障人群的穿戴式辅助系统的使用方法,其特征在于:所述的步骤S5包括以下子步骤:S501:文本分析:对输入文本进行语言学分析,逐句进行词汇的、语法的和语义的分析,并在其中加入所需要的各种发音提示,包括数字、特殊词汇、断句停顿;S502:语音合成:把处理好的文本所对应的单字或短语从语音合成库中提取,把语言学描述转化成言语波形;S503:通过骨传导耳机反馈给使用者。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1