基于动态手势识别的手语翻译方法、装置、计算机设备及存储介质与流程

文档序号:24784712发布日期:2021-04-23 09:47阅读:来源:国知局

技术特征:
1.一种基于动态手势识别的手语翻译方法,其特征在于,所述方法包括:接收动态手语手势视频数据,并获取所述动态手语手势视频数据中携带的时间戳信息;基于所述携带的时间戳信息将所述动态手语手势视频数据进行预处理,生成排序的图像序列;加载预先创建的预设图片数据库,并从所述图片数据库中匹配与所述排序的图像序列中各图像对应的图片,生成匹配的图片序列;从所述匹配的图像序列中获取各图片的第一标识,并根据所述各图片的第一标识读取出对应的各项词汇信息;其中,所述第一标识为图片的词汇标识;将所述读取出的各项词汇信息进行语句成分分析,生成各项词汇信息对应的语句成分信息;将所述各项词汇信息和所述生成各项词汇信息对应的语句成分信息输入至预先训练的手语翻译模型中,输出所述动态手语手势视频数据对应的语句。2.根据权利要求1所述的方法,其特征在于,所述基于所述携带的时间戳信息将所述动态手语手势视频数据进行预处理,生成排序的图像序列,包括:基于所述携带的时间戳信息将对所述动态手语手势视频数据进行分割生成图像序列;获取所述图像序列中各图像指示的时间;基于所述各图像指示的时间将所述各图像升序排列,生成排序的图像序列。3.根据权利要求1所述的方法,其特征在于,所述从所述图片数据库中匹配与所述排序的图像序列中各图像对应的图片,生成匹配的图片序列,包括:从所述排序的图像序列中获取排在第一位的图像;计算所述排在第一位的图像与所述图片数据库中各图片之间的相似度,并确定出所述计算的相似度最大的图片;当所述相似度最大的图片对应的相似度大于预设相似度阈值时,确定所述相似度最大的图片为所述排在第一位的图像的目标图像;基于所述排序的图像序列中各图像的先后顺序继续获取图像进行匹配,直到所述排序的图像序列中各图像全部匹配结束后,生成匹配的图片序列。4.根据权利要求1所述的方法,其特征在于,按照以下方法步骤创建预设图片数据库,包括:采集并预处理多种具备不同含义的手语手势动作视频;将所述预处理后的手语手势动作视频切分为多个具备完整词汇含义的手语手势子视频;对所述多个具备完整词汇含义的手语手势子视频分配第一标识、第二标识、第三标识以及第四标识,生成分配标识后的多个手语手势子视频;其中,所述第一标识为所述子视频的词汇信息,所述第二标识为所述子视频所应用的银行业务场景,所述第三标识为所述子视频的子视频序号,所述第四标识为所述子视频对应多种手语手势表达形式;将所述分配标识后的多个手语手势子视频中每一个手语手势子视频转换成对应的图片序列,生成多个图片序列;
针对所述多个图片序列中各序列中的图片进行校验,当所述校验后的结果小于等于最小差异阈值时,将所述多个图片序列保存至图片数据库。5.根据权利要求4所述的方法,其特征在于,所述采集手语手势动作视频的方式包括软件采集方式和/或人工采集方式;所述采集并预处理多种具备不同含义的手语手势动作视频,包括:当使用所述软件采集方式时,采用网络爬虫和/或应用程序编程接口从互联网中采集多种具备不同含义的手语手势动作视频;从所述采集的多种具备不同含义的手语手势动作视频中抽取与银行业务相关的手语手势动作视频;去除所述与银行业务相关的手语手势动作视频中动作模糊的手语手势动作视频,生成预处理后的手语手势动作视频;以及当使用所述人工采集方式时,统计与银行业务相关的多个场景下的语句信息;采用摄像头录制与所述多个场景下的语句信息所对应的手语手势动作视频;去除所述录制的手语手势动作视频中动作模糊的手语手势动作子视频,生成预处理后的手语手势动作视频。6.根据权利要求1所述的方法,其特征在于,按照以下方法步骤生成预先训练的手语翻译模型,包括:采用神经网络算法创建手语翻译模型;将所述预设图片数据库中的图片输入所述手语翻译模型进行训练,输出所述模型的损失值;当所述模型的损失值达到最小预设阈值时,生成预先训练的手语翻译模型。7.根据权利要求6所述的方法,其特征在于,所述当所述模型的损失值达到最小预设阈值时,生成预先训练的手语翻译模型,包括:当所述损失值未达到最小时,基于所述损失值对所述手语翻译模型进行调整,并执行所述将所述预设图片数据库中的图片输入所述手语翻译模型进行训练的步骤。8.一种基于动态手势识别的手语翻译装置,其特征在于,所述方法包括:视频数据接收模块,用于接收动态手语手势视频数据,并获取所述动态手语手势视频数据中携带的时间戳信息;视频数据预处理模块,用于基于所述携带的时间戳信息将所述动态手语手势视频数据进行预处理,生成排序的图像序列;图片数据库加载模块,用于加载预先创建的预设图片数据库,并从所述图片数据库中匹配与所述排序的图像序列中各图像对应的图片生成匹配的图片序列;词汇信息读取模块,用于从所述匹配的图像序列中获取各图片的第一标识,并根据所述各图片的第一标识读取出对应的各项词汇信息;其中,所述第一标识为图片的词汇标识;语句成分分析模块,用于将所述读取出的各项词汇信息进行语句成分分析,生成各项词汇信息对应的语句成分信息;语句输出模块,用于将所述各项词汇信息和所述生成各项词汇信息对应的语句成分信息输入至预先训练的手语翻译模型中,输出所述动态手语手势视频数据对应的语句。9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述
计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项权利要求所述基于动态手势识别的手语翻译方法的步骤。10.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述基于动态手势识别的手语翻译的步骤。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1