文字转换方法、终端和计算机可读存储介质与流程

文档序号:14292459阅读:150来源:国知局

本发明涉及信息处理领域,尤其涉及一种文字转换方法、终端和计算机可读存储介质。



背景技术:

随着终端技术的发展,终端上实现的功能越来越多。现有的终端,可以将不同类型的文字进行转换,例如将中文转换为英文,或者英文转换为中文,也可以将语音转换为文字,但是,转换为文字的只能是语音或文字,转换的类型比较单一。



技术实现要素:

本发明的主要目的在于提供一种文字转换方法、终端和计算机可读存储介质,旨在解决现有的文字转换方式,转换类型比较单一的技术问题。

为实现上述目的,本发明提供一种文字转换方法,所述文字转换方法包括:

通过终端的摄像头拍摄手势动作,得到手势图像;

对手势图像进行特征提取,以提取出手势特征;

将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征;

根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息。

可选地,所述摄像头中内置有影像感测模组,所述通过终端的摄像头拍摄手势动作,得到手势图像的步骤包括:

通过摄像头中内置的影像感测模组摄取手势动作,以将手势动作的光信号转换为电信号;

根据手势动作的电信号得到手势图像。

可选地,所述对手势图像进行特征提取,以提取出手势特征的步骤包括:

对手势图像进行特征检测,以确定手势图像的特征点;

在手势图像中提取出特征点,并根据提取的特征点形成手势特征。

可选地,所述对手势图像进行特征检测,以确定手势图像的特征点的步骤之前,所述方法还包括:

对手势图像进行预处理,其中,预处理方式包括对图像进行平滑处理、变换处理、增强处理、恢复处理和滤波处理。

可选地,所述将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征的步骤包括:

将手势特征对应的特征点与预存手势特征的特征点进行比较;

根据特征点的比较结果,在预存手势图像库中确定与提取的手势特征相似度最高的预存手势特征;

将确定的预存手势特征作为与提取的手势特征匹配的标准手势特征。

可选地,在手势图像包括多帧手势图像时,所述根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息的步骤包括:

按照各帧手势图像的拍摄顺序依次匹配出各帧手势图像的手势特征对应的标准手势特征;

根据标准手势特征与文字信息的对应关系,获取各帧手势图像的手势特征对应的文字信息;

将各帧手势图像的手势特征按照所述拍摄顺序转换成对应的文字信息。

可选地,所述将各帧手势图像的手势特征按照所述拍摄顺序转换成对应的文字信息的步骤之后,所述方法还包括:

按照各帧手势图像的拍摄顺序,对转换后的文字信息进行排序;

根据预设的语法逻辑规则对排序后的文字信息进行整合,得到完整的语句。

可选地,所述根据预设的语法逻辑规则对排序后的文字信息进行整合,得到完整的语句的步骤之后,所述方法还包括:

采用逻辑整合模块对完整的语句进行逻辑判断;

在检测到语句出现语法错误时,对语句的语法进行调整,以得到语法正确的语句。

此外,为实现上述目的,本发明还提供一种终端,所述终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文字转换程序,所述文字转换程序被所述处理器执行时实现如上文所述的文字转换方法的步骤。

此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有文字转换程序,所述文字转换程序被处理器执行时实现如上文所述的文字转换方法的步骤。

本发明提出的文字转换方法,先通过终端的摄像头拍摄手势动作得到手势图像,然后对手势图像进行特征提取,以提取出手势特征,再将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征,最终根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息。本发明实现了手势动作也可以转换为文字信息,相对于现有的文字转换为文字或语音转换为文字,本发明对文字转换的类型更加丰富。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图;

图2为本发明文字转换方法第一实施例的流程示意图;

图3为图2中步骤s10的细化流程示意图;

图4为图2中步骤s20的细化流程示意图;

图5为图2中步骤s30的细化流程示意图;

图6为图2中步骤s40的细化流程示意图;

图7为本发明手势特征转换为文字的示意图;

图8为本发明文字转换方法第三实施例的流程示意图;

图9为本发明对文字信息整合进行的示意图;

图10为本发明文字转换方法第四实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本发明实施例的解决方案主要是:先通过终端的摄像头拍摄手势动作得到手势图像,然后对手势图像进行特征提取,以提取出手势特征,再将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征,最终根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息。以解决现有的文字转换方式,类型较为单一的问题。

如图1所示,图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是智能手机、平板电脑、智能手表等具有显示界面的可移动式终端设备。

如图1所示,该终端可以包括:处理器1001,例如cpu,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard),可选用户接口1003还可以包括标准的有线接口(例如用于连接有线键盘、有线鼠标等)和/或无线接口(例如用于连接无线键盘、无线鼠标)。网络接口1004可选的可以包括标准的有线接口(用于连接有线网络)、无线接口(如wi-fi接口、蓝牙接口、红外线接口、探针接口、3g/4g/5g联网通信接口等,用于连接无线网络)。存储器1005可以是高速ram存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地,终端还可以包括摄像头、rf(radiofrequency,射频)电路,传感器、音频电路、wifi模块等等。

本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

如图1所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及文字转换程序。其中,操作系统是管理和控制终端与软件资源的程序,支持网络通信模块、用户接口模块、文字转换程序以及其他程序或软件的运行;网络通信模块用于管理和控制网络接口1002;用户接口模块用于管理和控制用户接口1003。

在图1所示的终端中,网络接口1004主要用于连接服务器或外接设备,与服务器或外接设备进行数据通信;用户接口1003主要用于连接终端界面;所述终端通过处理器1001调用存储器1005中存储的文字转换程序,以实现以下步骤:

通过终端的摄像头拍摄手势动作,得到手势图像;

对手势图像进行特征提取,以提取出手势特征;

将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征;

根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息。

进一步地,所述摄像头中内置有影像感测模组,所述终端通过处理器1001调用存储器1005中存储的文字转换程序,以实现通过终端的摄像头拍摄手势动作,得到手势图像的步骤:

通过摄像头中内置的影像感测模组摄取手势动作,以将手势动作的光信号转换为电信号;

根据手势动作的电信号得到手势图像。

进一步地,所述终端通过处理器1001调用存储器1005中存储的文字转换程序,以实现对手势图像进行特征提取,以提取出手势特征的步骤:

对手势图像进行特征检测,以确定手势图像的特征点;

在手势图像中提取出特征点,并根据提取的特征点形成手势特征。

进一步地,所述对手势图像进行特征检测,以确定手势图像的特征点的步骤之前,所述终端通过处理器1001调用存储器1005中存储的文字转换程序,以实现以下步骤:

对手势图像进行预处理,其中,预处理方式包括对图像进行平滑处理、变换处理、增强处理、恢复处理和滤波处理。

进一步地,所述终端通过处理器1001调用存储器1005中存储的文字转换程序,以实现将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征的步骤:

将手势特征对应的特征点与预存手势特征的特征点进行比较;

根据特征点的比较结果,在预存手势图像库中确定与提取的手势特征相似度最高的预存手势特征;

将确定的预存手势特征作为与提取的手势特征匹配的标准手势特征。

进一步地,在手势图像包括多帧手势图像时,所述终端通过处理器1001调用存储器1005中存储的文字转换程序,以实现根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息的步骤:

按照各帧手势图像的拍摄顺序依次匹配出各帧手势图像的手势特征对应的标准手势特征;

根据标准手势特征与文字信息的对应关系,获取各帧手势图像的手势特征对应的文字信息;

将各帧手势图像的手势特征按照所述拍摄顺序转换成对应的文字信息。

进一步地,所述将各帧手势图像的手势特征按照所述拍摄顺序转换成对应的文字信息的步骤之后,所述终端通过处理器1001调用存储器1005中存储的文字转换程序,以实现以下步骤:

按照各帧手势图像的拍摄顺序,对转换后的文字信息进行排序;

根据预设的语法逻辑规则对排序后的文字信息进行整合,得到完整的语句。

进一步地,所述根据预设的语法逻辑规则对排序后的文字信息进行整合,得到完整的语句的步骤之后,所述终端通过处理器1001调用存储器1005中存储的文字转换程序,以实现以下步骤:

采用逻辑整合模块对完整的语句进行逻辑判断;

在检测到语句出现语法错误时,对语句的语法进行调整,以得到语法正确的语句。

本发明提出的技术方案,终端通过处理器1001调用存储器1005中存储的文字转换程序,实现以下步骤:先通过终端的摄像头拍摄手势动作得到手势图像,然后对手势图像进行特征提取,以提取出手势特征,再将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征,最终根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息。本发明实现了手势动作也可以转换为文字信息,相对于现有的文字转换为文字或语音转换为文字,本发明对文字转换的类型更加丰富。

基于上述终端硬件结构,提出本发明文字转换方法的各个实施例。

参照图2,图2为本发明文字转换方法第一实施例的流程示意图。

在本实施例中,所述文字转换方法可选应用于终端,所述终端可选为图1所述的终端,所述文字转换方法包括:

步骤s10,通过终端的摄像头拍摄手势动作,得到手势图像;

步骤s20,对手势图像进行特征提取,以提取出手势特征;

步骤s30,将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征;

步骤s40,根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息。

本实施例中,所述步骤s10之前,所述方法包括:

步骤a,在终端界面中启动手势转换文字模式的情况下,终端界面显示悬浮按钮;

步骤b,在悬浮按钮所在区域接收到触控操作(包括点击触控操作或长按触控操作)时,启动摄像头,以便后续根据启动的摄像头拍摄手势动作。

其中,所述手势转换文字模式可事先在终端的设置应用中开启,在启动该模式的情况下,终端的显示界面可实时显示该悬浮按钮,终端的显示界面可以是系统界面,也可以是任一个应用界面,当终端在该悬浮按钮所在区域检测到触控操作时,即可启动摄像头进行手势动作的拍摄。

在本实施例中,当用户对着终端摄像头执行手势动作时,终端通过摄像头拍摄所述手势动作,所述摄像头可选为前置摄像头或后置摄像头,在本实施例中,优选应用场景是终端的使用过程中,开启摄像头进行手势动作的拍摄,因此所述摄像头优选为终端的前置摄像头,下文中提及的摄像头均表示前置摄像头,下文不再一一赘述。所述手势动作可以是单个手势动作,也可以是一套连贯的手势动作,在用户执行一套连贯的手势动作时,终端摄像头拍摄的也是连贯若干帧的手势图像。后续,对手势图像进行特征提取时,也是依次对若干帧手势图像进行特征提取,以在每帧手势图像中提取出手势特征。

以下详细介绍本方案中实现文字转换的具体步骤:

步骤s10,通过终端的摄像头拍摄手势动作,得到手势图像;

在本实施例中,在启动摄像头的情况下,终端通过摄像头拍摄手势动作,以得到拍摄的手势图像,其中,所述摄像头内置有影像感测模组,因此,参照图3,所述步骤s10包括:

步骤s11,通过摄像头中内置的影像感测模组摄取手势动作,以将手势动作的光信号转换为电信号;

步骤s12,根据手势动作的电信号得到手势图像。

即,终端通过摄像头内置的影像感测模组摄取用户的手势动作,所述影像感测模组为3d影像感测模组,由3d影像感测模组摄取光信号,然后将光信号转换为电信号,所述电信号可以是二维的文字或图像,也可以是物理量或逻辑值,在光信号转换为电信号之后,根据所述电信号得到手势图像。

步骤s20,对手势图像进行特征提取,以提取出手势特征;

在通过3d影像感测模组得到手势图像之后,将摄取的手势图像传输至终端内置的图像解析处理模块中,由图像解析处理模块对手势图像进行特征提取,以在手势图像中提取出手势特征,具体地,参照图4,所述步骤s20包括:

步骤s21,对手势图像进行特征检测,以确定手势图像的特征点;

步骤s22,在手势图像中提取出特征点,并根据提取的特征点形成手势特征。

即,在得到手势图像之后,先对手势图像进行特征检测,本实施例中,采用特征点检测算法对手势图像进行特征检测,以确定手势图像的关键特征点,确定手势特征的特征点之后,在手势图像中提取出特征点,并根据提取的特征点形成手势特征。由于用户执行的手势动作可能是连贯的动作,3d影像感测模组摄取的手势图像相应的也包括若干帧图像,那么对各帧手势图像进行特征检测与提取时,可在每一帧图像中提取出手势特征,以得到若干个独立的手势特征。其中,提取手势特征的顺序按照手势图像的摄取顺序进行提取,得到手势特征1,手势特征2,手势特征3,…,手势特征n。

步骤s30,将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征;

在手势图像中提取出手势特征之后,将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征。具体地,参照图5,所述步骤s30包括:

步骤s31,将手势特征对应的特征点与预存手势特征的特征点进行比较;

步骤s32,根据特征点的比较结果,在预存手势图像库中确定与提取的手势特征相似度最高的预存手势特征;

步骤s33,将确定的预存手势特征作为与提取的手势特征匹配的标准手势特征。

即,在手势图像中提取出手势特征之后,将手势特征对应的特征点与预存手势特征的特征点进行比较,以确定进行比较的特征点之间的相似度。

需要说明的是,数据库中存储有标准的单个独立的手势图像库,该手势图像库中的各个预存手势图像都经过图像预处理和特征检测处理,因此每个手势图像都具有特征点,相应的,每个预存手势图像都对应有预存手势特征。那么,将提取的手势特征与预存手势特征进行比较,实际上是将提取的手势特征对应的特征点与预存手势特征的特征点进行比较,以确定与提取的手势特征相似度最高的预存手势特征,其中,在提取的手势特征对应的特征点与预存手势特征的特征点相似度最高时,可确定该预存手势特征是与提取的手势特征相似度最高的预存手势特征,最终将确定的预存手势特征作为与提取的手势特征匹配的标准手势特征。

即,在各个手势特征为手势特征1,手势特征2,手势特征3,…,手势特征n时,按照手势动作的先后顺序与预存手势特征进行特征点比对,以在预存手势图像库中确定与提取的手势特征相似度最高的预存手势特征,例如,与手势特征1,手势特征2,手势特征3,…,手势特征n相似度最高的预存手势特征为预存手势特征1、预存手势特征2,预存手势特征3,…,预存手势特征n,那么即可将各个预存手势特征作为标准手势特征。

步骤s40,根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息。

在本实施例中,预存手势图像库中的各个预存手势特征与文字信息具有对应关系,因此,在预存手势图像库确定与提取的手势特征相匹配的标准手势特征之后,根据标准手势特征与文字信息的对应关系,即可确定提取的手势特征对应的文字信息,最终将手势特征转换为确定的文字信息。

具体地,在手势图像包括多帧手势图像时,参照图6,所述步骤s40包括:

步骤s41,按照各帧手势图像的拍摄顺序依次匹配出各帧手势图像的手势特征对应的标准手势特征;

步骤s42,根据标准手势特征与文字信息的对应关系,获取各帧手势图像的手势特征对应的文字信息;

步骤s43,将各帧手势图像的手势特征按照所述拍摄顺序转换成对应的文字信息。

即,先按照各帧手势图像的拍摄顺序依次匹配出各帧手势图像的手势特征对应的标准手势特征,若各个手势特征为手势特征1,手势特征2,手势特征3,…,手势特征n时,那么按照上述的例子,标准手势特征依次为预存手势特征1、预存手势特征2,预存手势特征3,…,预存手势特征n,在得到各个预存手势特征之后,先确定各个预存手势特征与文字信息的对应关系,例如,预存手势特征1对应“坐”、预存手势特征2对应“船”,由于手势特征1与预存手势特征1匹配,手势特征2与预存手势特征2匹配,即可确定手势特征1对应的文字信息是“坐”,确定手势特征2对应的文字信息是“船”,通过这种方式,即可确定各帧手势图像的手势特征对应的文字信息,最终将从各帧手势图像提取的手势特征转换为对应的各个文字信息。

本实施相当于是从数据库中比对匹配出预存手势特征1,2,3,……,n后,依据数据库中储层的预存手势特征与文字信息的对应关系,按照手势动作的先后顺序转换成文字(1),(2),(3),……,(n),具体可参照图7。

本实施例提出的文字转换方法,先通过终端的摄像头拍摄手势动作得到手势图像,然后对手势图像进行特征提取,以提取出手势特征,再将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征,最终根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息。本发明实现了手势动作也可以转换为文字信息,相对于现有的文字转换为文字或语音转换为文字,本发明对文字转换的类型更加丰富。

进一步地,基于第一实施例提出本发明文字转换方法的第二实施例。

文字转换方法的第二实施例与文字转换方法的第一实施例的区别在于,所述步骤s21之前,所述方法还包括:

步骤c,对手势图像进行预处理,其中,预处理方式包括对图像进行平滑处理、变换处理、增强处理、恢复处理和滤波处理。

在本实施例中,在对手势图像进行特征检测之前,为了提高图像处理的准确性,去除噪声干扰,先对手势图像进行预处理,所述对手势图像进行预处理的方式包括对图像进行平滑处理、变换处理、增强处理、恢复处理和滤波处理,在对手势图像预处理之后,再进行后续的特征检测。

本实施例通过对手势图像的预处理,以降低噪声干扰,提高了后续图像特征检测的准确性。

进一步地,基于第一或第二实施例提出本发明文字转换方法的第三实施例。

文字转换方法的第三实施例与文字转换方法的第一或第二实施例的区别在于,参照图8,所述步骤s43之后,所述方法还包括:

步骤s50,按照各帧手势图像的拍摄顺序,对转换后的文字信息进行排序;

步骤s60,根据预设的语法逻辑规则对排序后的文字信息进行整合,得到完整的语句。

需要说明的是,当手势特征转换为确定的文字信息之后,转换后的文字信息都是零散的文字,本实施例中,先采用语言逻辑整合模块对转换后的文字信息进行排序,具体地:按照各帧手势图像的拍摄顺序对转换后的文字信息进行排序,对文字信息排序之后,再按照逻辑整合模式中内置的语法逻辑规则(可选为语言的顺序语法)对零散的文字进行整合,以整合成完整通顺的语句,最终将整合后的语句进行输出,具体地,在终端界面的信息框中进行输出。本实施例中,语言逻辑整合模块可选为人工智能芯片ai(artificialintelligence),该人工智能芯片将零散的文字按照语法逻辑规则进行整合,以得到清晰流畅的语句。

为更好理解本实施例,举例说明,从数据库中比对出5个单独的文字a,c,e,b,d(a,c,e,b,d分别代表为从标准手势数据中按照手势顺序比对出的文字),经过语言逻辑整合模块的语法调整和处理后,形成文字组合顺序a,b,c,d,e输出,具体可参照图9。

本实施例中,通过语言逻辑整合模块中的语法逻辑规则对文字信息进行整合以得到流畅语句,提高了文字转换的智能性。

进一步地,基于第三实施例提出本发明文字转换方法的第四实施例。

文字转换方法的第四实施例与文字转换方法的第三实施例的区别在于,参照图10,所述步骤s60之后,所述方法还包括:

步骤s70,采用逻辑整合模块对完整的语句进行逻辑判断;

步骤s80,在检测到语句出现语法错误时,对语句的语法进行调整,以得到语法正确的语句。

在本实施例中,在根据逻辑整合模块对文字信息进行整合得到完整的语句之后,可采用逻辑整合模块对完整的语句进行逻辑判断,以检语句是否出现语法错误,例如整合后的语句为“a,c,e,b,d”,通过检测发现该语句的语法出现错误,则采用逻辑整合模块对语句的语法进行调整,形成文字组合顺序a,b,c,f,g,以便输出调整后的语句a,b,c,f,g。

进一步地,对语句的语法进行调整之后,将调整后的语句保存在逻辑整合模块的人工智能芯片ai中,后续接收到同样的手势特征时,直接通过人工智能芯片ai输出a,b,c,f,g组成的语句。

在本实施例中,通过逻辑整合模块对语句的语法进行调整,以得到调整后的语句,提高了文字转换的智能性和准确性,并且在对语句调整后进行保存,以便后续接收到相同的手势特征时,直接输出存储的语句,无须再进行上述的特征比对操作,提高了文字转换的便捷性和准确性。

此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有文字转换程序,所述文字转换程序被处理器执行时实现如下操作:

通过终端的摄像头拍摄手势动作,得到手势图像;

对手势图像进行特征提取,以提取出手势特征;

将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征;

根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息。

进一步地,所述摄像头中内置有影像感测模组,所述文字转换程序被处理器执行时,还实现通过终端的摄像头拍摄手势动作,得到手势图像的步骤:

通过摄像头中内置的影像感测模组摄取手势动作,以将手势动作的光信号转换为电信号;

根据手势动作的电信号得到手势图像。

进一步地,所述文字转换程序被处理器执行时,还实现对手势图像进行特征提取,以提取出手势特征的步骤:

对手势图像进行特征检测,以确定手势图像的特征点;

在手势图像中提取出特征点,并根据提取的特征点形成手势特征。

进一步地,所述对手势图像进行特征检测,以确定手势图像的特征点的步骤之前,所述文字转换程序被处理器执行时,还实现以下步骤:

对手势图像进行预处理,其中,预处理方式包括对图像进行平滑处理、变换处理、增强处理、恢复处理和滤波处理。

进一步地,所述文字转换程序被处理器执行时,还实现将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征的步骤:

将手势特征对应的特征点与预存手势特征的特征点进行比较;

根据特征点的比较结果,在预存手势图像库中确定与提取的手势特征相似度最高的预存手势特征;

将确定的预存手势特征作为与提取的手势特征匹配的标准手势特征。

进一步地,在手势图像包括多帧手势图像时,所述文字转换程序被处理器执行时,还实现根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息的步骤:

按照各帧手势图像的拍摄顺序依次匹配出各帧手势图像的手势特征对应的标准手势特征;

根据标准手势特征与文字信息的对应关系,获取各帧手势图像的手势特征对应的文字信息;

将各帧手势图像的手势特征按照所述拍摄顺序转换成对应的文字信息。

进一步地,所述将各帧手势图像的手势特征按照所述拍摄顺序转换成对应的文字信息的步骤之后,所述文字转换程序被处理器执行时,还实现以下步骤:

按照各帧手势图像的拍摄顺序,对转换后的文字信息进行排序;

根据预设的语法逻辑规则对排序后的文字信息进行整合,得到完整的语句。

进一步地,所述根据预设的语法逻辑规则对排序后的文字信息进行整合,得到完整的语句的步骤之后,所述文字转换程序被处理器执行时,还实现以下步骤:

采用逻辑整合模块对完整的语句进行逻辑判断;

在检测到语句出现语法错误时,对语句的语法进行调整,以得到语法正确的语句。

本发明提出的技术方案,文字转换程序被处理器执行时,实现以下步骤:先通过终端的摄像头拍摄手势动作得到手势图像,然后对手势图像进行特征提取,以提取出手势特征,再将提取的手势特征与预存手势图像库中的预存手势特征进行比较,以在预存手势图像库中确定与提取的手势特征匹配的标准手势特征,最终根据标准手势特征与文字信息的对应关系,确定提取的手势特征对应的文字信息,并将手势图像的手势特征转换为确定的文字信息。本发明实现了手势动作也可以转换为文字信息,相对于现有的文字转换为文字或语音转换为文字,本发明对文字转换的类型更加丰富。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是固定终端,如物联网智能设备,包括智能空调、智能电灯、智能电源、智能路由器等智能家居;也可以是移动终端,包括智能手机、可穿戴的联网ar/vr装置、智能音箱、自动驾驶汽车等诸多联网设备)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1