一种电子助视器及其适用的智能手机文本辅助阅读方法与流程

文档序号:24160579发布日期:2021-03-05 16:16阅读:来源:国知局

技术特征:
1.一种适用于电子助视器的智能手机文本辅助阅读方法,其特征在于:所述方法包括以下步骤:步骤1:启动电子助视器,初始化首帧标识符;步骤2:用训练好的视频手势识别网络检测手势,当未识别到手势时进入步骤3,否则重复步骤2;步骤3:抓拍一帧图像并保存在本地,对图像进行预处理,用训练好的分类器对文本进行特征提取,得到文本的检测识别结果,将检测识别结果保存至文件;步骤4:根据首帧标识符判断是否为第一帧图像的文字的识别文本,若是,则将文本输出至语音播放模块进行播放,执行步骤8,否则,以该文本为当前帧的识别文本,进行步骤5;步骤5:将当前帧的识别文本和上一帧的识别文本进行相似文本识别,若不相似,则执行步骤6,否则执行步骤7;步骤6:丢弃当前帧和识别后包含检测识别结果的文本,语音提示用户适当向上滑动,返回步骤2;步骤7:去除当前帧识别文本内容中包含的相似文本内容,将最终的文件传给语音播放模块;步骤8:若收到电子助视器的关闭信息,则程序关闭,否则语音提示当前已播放完毕并提示用户继续滑动页面,返回步骤2。2.根据权利要求1所述的一种适用于电子助视器的智能手机文本辅助阅读方法,其特征在于:所述步骤1中,所述首帧标识符用于识别当前是否已经保存有一帧图像,若为首帧则直接识别播放,否则进行相似度判断。3.根据权利要求1所述的一种适用于电子助视器的智能手机文本辅助阅读方法,其特征在于:所述步骤2包括以下步骤:步骤2.1:对摄像头拍摄到的视频使用光流法提取特征,检测移动对象,通过比较相邻帧之间的运动变化分离移动的物体和背景,得到光流信息数据流;步骤2.2:使用基于聚类的关键帧提取方法,获取视频关键帧;步骤2.3:将步骤2.1得到的光流信息数据流和步骤2.2得到的关键帧的图像数据流输入训练好的手势识别网络中,检测是否有手势出现,以此来判断用户是选择手机自带的无障碍功能还是使用电子助视器来阅读文本,当未识别到手势时,则为使用电子助视器,进入步骤3,否则重复步骤2。4.根据权利要求1所述的一种适用于电子助视器的智能手机文本辅助阅读方法,其特征在于:所述步骤3包括以下步骤:步骤3.1:抓拍一帧图像并保存在本地,将所述图像进行上下边界裁剪;步骤3.2:将裁剪后的图像依次进行直方图均衡化、中值滤波处理和去除前景孤立点的操作,完成图像预处理;步骤3.3:将预处理后的图像输入训练好的图像特征提取网络,提取并融合图像不同维度的特征,得到特征图;步骤3.4:将特征图输入卷积层,基于文本框从小到大,产生不同的文本预测结果,使用基于psenet的渐进尺度扩展方法解决分离相邻文本的问题,得到输入图片的预测的文字检测结果;
步骤3.5:对于预测的文字检测结果,通过最小矩形区域去除无关的文本识别框;步骤3.6:输入图片经过编码网络和解码网络后得到最终的识别结果,将结果保存到文件中。5.根据权利要求4所述的一种适用于电子助视器的智能手机文本辅助阅读方法,其特征在于:所述步骤3.1中,将图像的上下边界各缩进原长的1/20。6.根据权利要求4所述的一种适用于电子助视器的智能手机文本辅助阅读方法,其特征在于:所述步骤3.4包括以下步骤:步骤3.4.1:特征图经过卷积层得到n个从小到大不同的文本预测结果w1,w2,
……
,w
n
;步骤3.4.2:将最小尺寸的预测结果w1按行或文本块分割为不同的文本区域;步骤3.4.3:使用广度优先算法将w1逐像素扩展到w2,再将新得到的w2继续扩展到w3,以此类推,扩展至w
n
,得到最终的文本检测结果。7.根据权利要求1所述的一种适用于电子助视器的智能手机文本辅助阅读方法,其特征在于:所述步骤5包括以下步骤:步骤5.1:对上一帧的识别内容和当前帧的识别内容分别进行分词处理,将一定长度的字符串分割为多个部分得到特征项集合,将各分词中使用频率超过阈值的词和标点符号去除;步骤5.2:将取到的每个特征项运用哈希算法变换为签名值,得到128位hash数字串;步骤5.3:采用tf-idf相似度算法计算每个数字串在文本表示向量中的权值,并利用步骤5.2生成的签名数据,赋予权重后累加,得到128位未降维的simhash值;步骤5.4:将步骤5.3得到的未降维simhash值降维成0和1组成的二进制数,得到simhash签名;步骤5.5:通过比较两个文本签名的汉明距离,得到两个文本的相似度,若相似度超过设定的相似度阈值,则存在相似文本。8.根据权利要求7所述的一种适用于电子助视器的智能手机文本辅助阅读方法,其特征在于:所述步骤5.3中,任一特征项的权值计算方法包括以下步骤:步骤5.3.1:计算所述特征项的tf权重tf
n
,表示所述特征项在文本中出现的频率,其中,l表示所有特征的集合,n为l中的任一特征项,n为n特征项出现的次数;步骤5.3.2:计算idf权重,表示所述特征项在两个文本中出现的频次,idf
n
=log(2/(n+1));步骤5.3.3:所述特征项的权重计算公式为w
n
=tf
n
×
idf
n
。9.根据权利要求1所述的一种适用于电子助视器的智能手机文本辅助阅读方法,其特征在于:所述步骤7包括以下步骤:步骤7.1:将当前文本划分为以段落为单位的多个词集;步骤7.2:将划分好的词集与上一帧文本形成映射关系;步骤7.3:将映射比例大于阈值的段落截取出来,保存到文件中;步骤7.4:使用已有的命令删除当前帧识别内容中相似段落的文本,将最终文本交给语音识别模块。10.一种采用权利要求1~9之一所述的适用于电子助视器的智能手机文本辅助阅读方
法的电子助视器,其特征在于:所述的电子助视器包括助视器本体,配合所述助视器的设有一个或多个摄像头,所述助视器外侧设有按键功能区,配合所述摄像头和按键功能区的助视器内设有控制器:所述控制器包括:一图像预处理单元,对摄像头采集的图像进行预处理;一存储单元,对采集的图像进行缓存,将文字识别后的内容保存到文件中;一手势识别单元,用于检测用户操作手势;一ocr单元,用于文字检测和文字识别;一文本相似度检测单元,用于当前文字识别文本和上一文字识别文本的相似度情况;一语音播放单元,用于将处理后的最终文本识别内容转化为语音播放。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1