专利名称：一种基于图像传感模块的字符输入方法、装置及终端的制作方法
技术领域：
本发明涉及移动终端领域，具体而言，涉及一种基于图像传感模块的字符输入方法、装置及终端。
背景技术：
目前，移动通信在进行着突飞猛进的发展，由此，人们对移动终端(例如手机)的人机交互功能的功能要求也随之越来越高。手机作为人们日常生活以及工作中必不可少的通讯工具，目前也越来越多的向着智能化、人性化升级和发展，以不断满足人们日益挑剔的个性化需求。
文字编辑和输入技术，自从其诞生之日起便极大地改变了人们的通信方式，通过该技术，人们可以编辑短信，输入字符等。目前，对于字符的输入方式有多种，但鉴于多种字符输入方法都或多或少的具有一定的局限性或缺陷。最初，字符(或称文本)的输入是靠按键编辑的，在编辑字符的过程中，需要利用大拇指不停的按键，采用该方法，用户需要不断的重复按键动作，输入效率较低，且由于长期的按键，严重时甚至会引发类似于“拇指炎” 健康问题，极大地影响到用户的健康。
另外，由于目前大多数的手持终端配置了电阻屏或电容屏，在输入字符时，借助手指或手写笔在终端的屏幕上进行书写，通过手指或手写笔与屏幕之间的压力或电容感应进行字符的识别以及字符的生成，从而输入相应的字符。但该方法需要用户的终端配置电阻屏或电容屏，而没有配置电阻屏或电容屏的手机则无法采用该方法进行字符输入，因此该方法具有一定的局限性。
除此之外，还有一些手持终端通过控制传感器感应用户做出的各种动作来达到字符输入的目的，例如在用户佩戴了特殊手套的情形下，通过传感器进行目标跟踪，检测用户做出的动作而进行字符输入；或在用户使用特殊装置的荧光笔的情形下进行目标跟踪，检测用户做出的动作而同样的达到字符输入的目的。但是采用这些方法实现字符输入时，都需要使得这些可持终端额外配置相应的硬件，从而使得其成本较高，并且在进行字符输入时由于需要使用额外的设备，因此使得用户的使用极不方便。
为此，如何提供一种个性化、输入快捷化的字符输入方法便逐渐受到了人们的普遍关注。发明内容
本发明的目的在于提供一种基于图像传感模块的字符输入方法、装置及终端，其能够满足用户对于手持终端所提出的个性化需求，同时还能实现字符的快捷、准确的输入。
为了达到本发明的目的，本发明采用以下技术方案
一种基于图像传感模块的字符输入方法，包括
通过图像传感模块获取对象指尖的运行轨迹信息；
依据所述运行轨迹信息查询预先训练出的字符模型库，以将所述运行轨迹信息转化为相应的字符。
优选地，在执行所有步骤之前，所述基于图像传感模块的字符输入方法还包括
通过图像传感模块采集对象手势轮廓图像信息；
依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模型库，获取匹配的手势轮廓模型；
依据所述手势轮廓模型进行对象指尖的跟踪。
优选地，在依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模型库， 以获取匹配的手势轮廓模型之前还包括
对采集到的对象手势轮廓图像信息进行二值化处理；和/或，
对采集到的对象手势轮廓图像信息进行图象锐化处理；和/或，
对采集到的对象手势轮廓图像信息进行图象平滑处理。
优选地，依据所述手势轮廓模型进行对象指尖的跟踪的步骤包括将该参考的手势轮廓模型的指尖粗定位的矩形区域映射到提取的对象手势轮廓图像上，获得对象手势轮廓图像的指尖位置所在的矩形区域；
对所述矩形区域内的手指轮廓进行等间距划分，并计算每段手指轮廓片段的边缘弯曲率；
获取边缘弯曲率最大的手指轮廓片段为对象指尖。
优选地，通过图像传感模块获取对象指尖的运行轨迹信息的方法包括
依据卡尔曼滤波器进行对象指尖的跟踪预测；
从图像传感模块采集的视频帧中获取对象指尖的起始坐标信息，之后平均每隔至少一帧采集一次对象指尖的实时坐标信息；
计算所述实时坐标信息与上一次坐标信息的切线角度θ，并依据所述切线角度的变化获取对象指尖的运行轨迹信息，其中，所述切线角度θ的计算数学式如下t t~\
0 = ^ 「，其中，所述η Η是指对象指尖在上一次t_l时刻的坐标信息，所述(X丨,X)是指对象指尖在实时t时刻的实时坐标信息。
优选地，依据所述运行轨迹信息查询预先训练出的字符模型库，以将所述运行轨迹信息转化为相应的字符的方法包括
依据所述运行轨迹信息查询预先训练出的字符模型库，并将所述运行轨迹信息与所有的字符模型进行匹配；
获取似然值最大的字符模型为目标字符模型，其中，采用Verbit算法计算每个字符模型的似然值；
依据所述目标字符模型将所述运行轨迹信息转化为相应的字符。
一种基于图像传感模块的字符输入装置，包括
图像传感模块，用于采集包含对象指尖的视频帧；
对象指尖运行轨迹信息获取模块，用于通过图像传感模块采集的视频帧获取对象指尖的运行轨迹信息；
字符转化模块，用于依据所述运行轨迹信息查询预先训练出的字符模型库，以将所述运行轨迹信息转化为相应的字符。
优选地，所述基于图像传感模块的字符输入装置还包括
对象手势轮廓图像信息采集模块，用于通过图像传感模块采集对象手势轮廓图像 fn息；
手势轮廓模型获取模块，用于依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模型库，获取匹配的手势轮廓模型，以使得对象指尖运行轨迹信息获取模块能够依据所述手势轮廓模型进行对象指尖的跟踪，获取对象指尖的运行轨迹信息。
优选地，所述基于图像传感模块的字符输入装置还包括
图像处理模块，用于对对象手势轮廓图像信息采集模块采集到的对象手势轮廓图像信息进行如下处理
对采集到的对象手势轮廓图像信息进行二值化处理；和/或，
对采集到的对象手势轮廓图像信息进行图象锐化处理；和/或，
对采集到的对象手势轮廓图像信息进行图象平滑处理。
优选地，所述对象指尖运行轨迹信息获取模块依据所述手势轮廓模型进行对象指尖的跟踪的步骤包括
将该参考的手势轮廓模型的指尖粗定位的矩形区域映射到提取的对象手势轮廓图像上，获得对象手势轮廓图像的指尖位置所在的矩形区域；
对所述矩形区域内的手指轮廓进行等间距划分，并计算每段手指轮廓片段的边缘弯曲率；
获取边缘弯曲率最大的手指轮廓片段为对象指尖。优选地，所述对象指尖运行轨迹信息获取模块通过图像传感模块采集的视频帧获取对象指尖的运行轨迹信息的方法包括
依据卡尔曼滤波器进行对象指尖的跟踪预测；
从图像传感模块采集的视频帧中获取对象指尖的起始坐标信息，之后平均每隔至少一帧采集一次对象指尖的实时坐标信息；
计算所述实时坐标信息与上一次坐标信息的切线角度θ，并依据所述切线角度的变化获取对象指尖的运行轨迹信息，其中，所述切线角度θ的计算数学式如下t t~\
0 = ^ 「，其中，所述η Η是指对象指尖在上一次t-Ι时刻的坐标信息，所述(X丨,X)是指对象指尖在实时t时刻的实时坐标信息。
优选地，所述字符转化模块依据所述运行轨迹信息查询预先训练出的字符模型库，以将所述运行轨迹信息转化为相应的字符的方法包括
依据所述运行轨迹信息查询预先训练出的字符模型库，并将所述运行轨迹信息与所有的字符模型进行匹配；
获取似然值最大的字符模型为目标字符模型，其中，采用Verbit算法计算每个字符模型的似然值；
依据所述目标字符模型将所述运行轨迹信息转化为相应的字符。
一种终端，其包括所述的基于图像传感模块的字符输入装置，所述装置包括
图像传感模块，用于采集包含对象指尖的视频帧；
对象指尖运行轨迹信息获取模块，用于通过图像传感模块采集的视频帧获取对象指尖的运行轨迹信息；
字符转化模块，用于依据所述运行轨迹信息查询预先训练出的字符模型库，以将所述运行轨迹信息转化为相应的字符。
通过上述本发明的技术方案可以看出，本发明提供的基于图像传感模块的字符输入方法、装置及终端依靠终端自带的图像传感模块(例如摄像头装置)采集图像，提取手势轮廓，将手轮廓与已存的手势轮廓模型匹配，识别出手势模型，以对对象指尖进行粗定位， 然后根据手指轮廓的弯曲率对对象指尖进行精确定位。预测对象指尖下一时刻出现的大致位置，捕获指尖的运动轨迹，计算不同时刻的切线角度，将一段时间内的切线角度变化累加，便可得到该时间段内对象指尖运动轨迹。将得到的对象指尖运动轨迹与预存的字符模型库进行匹配，从而生成相应的字符。本发明提供的基于图像传感模块的字符输入方法、装置及终端，能够满足用户对于手持终端所提出的个性化需求，同时还能实现字符的快捷、准确的输入。
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中
图1是本发明一实施例提供的基于图像传感模块的字符输入方法流程示意图2是本发明一较佳实施例提供的基于图像传感模块的字符输入方法详细流程示意图3是本发明一实施例提供的基于图像传感模块的字符输入装置结构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明一实施例提供的一种基于图像传感模块的字符输入方法，包括如下具体步骤
S101、通过图像传感模块获取对象指尖的运行轨迹信息；
在该步骤中，所述图像传感模块用于采集用户的手指的指尖画面信息，并依据所述采集到的直接画面信息提取用户的指尖运行轨迹信息，例如所述图像传感模块为普通手机或智能手机均配置了的摄像头装置。
具体实施时，在该步骤中，包括如下具体步骤
a、通过图像传感模块获取对象手势轮廓图像，对对象手势轮廓图像进行时域和空域联合分割、二值化处理；
b、通过平移、缩放、旋转等方法将手势轮廓与存储的手势轮廓参考模型匹配，选择相似度最大的手势轮廓参考模型，将该参考模型的指尖区域映射到对象模型指尖区域；
C、在该指尖区域内等间隔计算手指轮廓弯曲率，弯曲率最大的作为指尖的精确位置；
d、计算不同时刻的切线角度，将一段时间内的切线角度变化累加，获得对象指尖的运行轨迹信息。
S102、依据所述运行轨迹信息查询预先训练出的字符模型库，以将所述运行轨迹信息转化为相应的字符。
在该步骤中，依据上述采集到的用户的指尖运行轨迹信息与预先建立好的字符模型库进行匹配，在找到对应的字符模型时，以将所述运行轨迹信息翻译成对应的字符信息， 从而为字符输入提供依据。
优选实施方式下，在执行所有步骤之前，还包括
S1001、通过图像传感模块采集对象手势轮廓图像信息，例如所述对象手势轮廓图像信息包括但不限于以下几种只有食指伸直，其他手指握拳；只有中指伸直，其他手指握拳；拇指和食指同时伸直，其他手指握拳等。
S1002、依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模型库，获取匹配的手势轮廓模型；
S1003、依据所述手势轮廓模型进行对象指尖的跟踪。
优选实施方式下，在依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模型库，以获取匹配的手势轮廓模型之前还包括
(1)对采集到的对象手势轮廓图像信息进行二值化处理；和/或，
(2)对采集到的对象手势轮廓图像信息进行图象锐化处理；和/或，
(3)对采集到的对象手势轮廓图像信息进行图象平滑处理。
以同时对采集到的对象手势轮廓图像信息进行二值化处理、图象锐化处理以及图象平滑处理为例，由于灰度图像只有空间采样点的亮度信息，因而可以用一个数值来表示。 而对于彩色图像，包含的内容更丰富，但表示更为复杂。但是在本发明中不关心且没有必要保留图像的色彩信息，因此可以将彩色图像的对象手势轮廓图像信息进行二值化处理，转化为灰度图像，降低复杂度，减少内存资源。同时，为了突出手势轮廓的边缘，可以对对象手势轮廓图像信息进行图象锐化处理，本发明采用Roberts梯度锐化方法增强图像边缘。除此之外，为了降低噪声，还可以可对对象手势轮廓图像信息进行图象平滑处理。
优选实施方式下，在所述步骤S1003中，依据所述手势轮廓模型进行对象指尖的跟踪的步骤包括
S10031、将该参考的手势轮廓模型的指尖粗定位的矩形区域映射到提取的对象手势轮廓图像上，获得对象手势轮廓图像的指尖位置所在的矩形区域；
S10032、对所述矩形区域内的手指轮廓进行等间距划分，并计算每段手指轮廓片段的边缘弯曲率；
S10033、获取边缘弯曲率最大的手指轮廓片段为对象指尖。
在所述步骤SlOl中，通过图像传感模块获取对象指尖的运行轨迹信息的方法具体包括如下步骤
S1011、依据卡尔曼滤波器进行对象指尖的跟踪预测；
S1012、从图像传感模块采集的视频帧中获取对象指尖的起始坐标信息，之后平均每隔至少一帧采集一次对象指尖的实时坐标信息；
S1013、计算所述实时坐标信息与上一次坐标信息的切线角度θ，并依据所述切线角度的变化获取对象指尖的运行轨迹信息，其中，所述切线角度θ的计算数学式如下
权利要求
1.一种基于图像传感模块的字符输入方法，其特征在于，包括 通过图像传感模块获取对象指尖的运行轨迹信息；依据所述运行轨迹信息查询预先训练出的字符模型库，以将所述运行轨迹信息转化为相应的字符。
2.如权利要求1所述的基于图像传感模块的字符输入方法，其特征在于，在执行所有步骤之前，还包括通过图像传感模块采集对象手势轮廓图像信息；依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模型库，获取匹配的手势轮廓模型；依据所述手势轮廓模型进行对象指尖的跟踪。
3.如权利要求2所述的基于图像传感模块的字符输入方法，其特征在于，在依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模型库，以获取匹配的手势轮廓模型之前还包括对采集到的对象手势轮廓图像信息进行二值化处理；和/或， 对采集到的对象手势轮廓图像信息进行图象锐化处理；和/或， 对采集到的对象手势轮廓图像信息进行图象平滑处理。
4.如权利要求2所述的基于图像传感模块的字符输入方法，其特征在于，依据所述手势轮廓模型进行对象指尖的跟踪的步骤包括将该参考的手势轮廓模型的指尖粗定位的矩形区域映射到提取的对象手势轮廓图像上，获得对象手势轮廓图像的指尖位置所在的矩形区域；对所述矩形区域内的手指轮廓进行等间距划分，并计算每段手指轮廓片段的边缘弯曲率；获取边缘弯曲率最大的手指轮廓片段为对象指尖。
5.如权利要求1所述的基于图像传感模块的字符输入方法，其特征在于，通过图像传感模块获取对象指尖的运行轨迹信息的方法包括依据卡尔曼滤波器进行对象指尖的跟踪预测；从图像传感模块采集的视频帧中获取对象指尖的起始坐标信息，之后平均每隔至少一帧采集一次对象指尖的实时坐标信息；计算所述实时坐标信息与上一次坐标信息的切线角度θ，并依据所述切线角度的变化获取对象指尖的运行轨迹信息，其中，所述切线角度θ的计算数学式如下t t-\0=^5^「，其中，所述,η η、是指对象指尖在上一次t-i时刻的坐标信息，所述(‘乂)是指对象指尖在实时t时刻的实时坐标信息。
6.如权利要求1所述的基于图像传感模块的字符输入方法，其特征在于，依据所述运行轨迹信息查询预先训练出的字符模型库，以将所述运行轨迹信息转化为相应的字符的方法包括依据所述运行轨迹信息查询预先训练出的字符模型库，并将所述运行轨迹信息与所有的字符模型进行匹配；获取似然值最大的字符模型为目标字符模型，其中，采用Verbit算法计算每个字符模型的似然值；依据所述目标字符模型将所述运行轨迹信息转化为相应的字符。
7.一种基于图像传感模块的字符输入装置，其特征在于，包括 图像传感模块，用于采集包含对象指尖的视频帧；对象指尖运行轨迹信息获取模块，用于通过图像传感模块采集的视频帧获取对象指尖的运行轨迹信息；字符转化模块，用于依据所述运行轨迹信息查询预先训练出的字符模型库，以将所述运行轨迹信息转化为相应的字符。
8.如权利要求7所述的基于图像传感模块的字符输入装置，其特征在于，还包括 对象手势轮廓图像信息采集模块，用于通过图像传感模块采集对象手势轮廓图像信息；手势轮廓模型获取模块，用于依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模型库，获取匹配的手势轮廓模型，以使得对象指尖运行轨迹信息获取模块能够依据所述手势轮廓模型进行对象指尖的跟踪，获取对象指尖的运行轨迹信息。
9.如权利要求8所述的基于图像传感模块的字符输入装置，其特征在于，还包括图像处理模块，用于对对象手势轮廓图像信息采集模块采集到的对象手势轮廓图像信息进行如下处理对采集到的对象手势轮廓图像信息进行二值化处理；和/或， 对采集到的对象手势轮廓图像信息进行图象锐化处理；和/或， 对采集到的对象手势轮廓图像信息进行图象平滑处理。
10.如权利要求8所述的基于图像传感模块的字符输入装置，其特征在于，所述对象指尖运行轨迹信息获取模块依据所述手势轮廓模型进行对象指尖的跟踪的步骤包括将该参考的手势轮廓模型的指尖粗定位的矩形区域映射到提取的对象手势轮廓图像上，获得对象手势轮廓图像的指尖位置所在的矩形区域；对所述矩形区域内的手指轮廓进行等间距划分，并计算每段手指轮廓片段的边缘弯曲率；获取边缘弯曲率最大的手指轮廓片段为对象指尖。
11.如权利要求8所述的基于图像传感模块的字符输入装置，其特征在于，所述对象指尖运行轨迹信息获取模块通过图像传感模块采集的视频帧获取对象指尖的运行轨迹信息的方法包括依据卡尔曼滤波器进行对象指尖的跟踪预测；从图像传感模块采集的视频帧中获取对象指尖的起始坐标信息，之后平均每隔至少一帧采集一次对象指尖的实时坐标信息；计算所述实时坐标信息与上一次坐标信息的切线角度θ，并依据所述切线角度的变化获取对象指尖的运行轨迹信息，其中，所述切线角度θ的计算数学式如下t t-\0=^5^「，其中，所述,η η、是指对象指尖在上一次t-i时刻的坐标信息，所述(‘乂)是指对象指尖在实时t时刻的实时坐标信息。
12.如权利要求8所述的基于图像传感模块的字符输入装置，其特征在于，所述字符转化模块依据所述运行轨迹信息查询预先训练出的字符模型库，以将所述运行轨迹信息转化为相应的字符的方法包括依据所述运行轨迹信息查询预先训练出的字符模型库，并将所述运行轨迹信息与所有的字符模型进行匹配；获取似然值最大的字符模型为目标字符模型，其中，采用Verbit算法计算每个字符模型的似然值；依据所述目标字符模型将所述运行轨迹信息转化为相应的字符。
13. —种终端，其特征在于，包括如权利要求7-12任一所述的基于图像传感模块的字符输入装置。
全文摘要
本发明公开了一种基于图像传感模块的字符输入方法、装置及终端，所述方法包括通过图像传感模块获取对象指尖的运行轨迹信息；依据所述运行轨迹信息查询预先训练出的字符模型库，以将所述运行轨迹信息转化为相应的字符。本发明提供的基于图像传感模块的字符输入方法、装置及终端，能够满足用户对于手持终端所提出的个性化需求，同时还能实现字符的快捷、准确的输入。
文档编号G06K9/64GK102520790SQ20111037633
公开日2012年6月27日 申请日期2011年11月23日 优先权日2011年11月23日
发明者辛静 申请人:中兴通讯股份有限公司