专利名称：基于视频的笔迹识别系统和方法
技术领域：
本发明概括而言涉及笔迹识别系统和方法，具体涉及用于渗透式(pervasive)装置的笔迹识别系统和方法。
背景技术：
与小型便携式计算装置如个人数字助理(PDA)、智能电话等无线或有线渗透式装置交互的一种最有希望的方法是通过笔迹识别。与打字信件或邮政地址的自动处理不同(离线获取和处理手写体文本图像)，在笔迹识别中，在书写期间(实时)直接捕获笔的运动。不过，为了获得这种“在线”笔迹数据，需要专用输入装置，包括触摸敏感板以及内置智能的专用“智能”笔以获得和处理倾斜信息。
识别处理的质量对于将笔迹识别接受作为输入装置而言极为重要。在某些情况下，不完美的识别质量只会带来麻烦，而在其他情形中会根本阻碍该技术的使用。从而，改进识别质量的任何方法都是受欢迎的。此外，以较低成本提高识别质量的方法是有益的，因为这些装置对于关心成本的消费者更具吸引力。
当今，笔迹识别的一种用途是最常用于零售业应用等中的签名识别。在这种应用中，主要方法是基于相对智能和昂贵的具有智能的书写笔装置，产生诸如倾斜度等的输出参数，这些参数用于渗透式装置所采用的识别算法中。当使用典型渗透式装置如普通PDA时，通常惟一使用的笔为普通的塑料指示笔。假设例如PDA的价格大约为300美元，那么增加例如大约80美元的昂贵的智能笔不具有成本效率。
从而需要提供一种能获得智能笔装置的精确性和识别质量的简单的指示笔装置。
在传统笔迹识别中，例如混合笔迹识别系统，由以下步骤实现响应使用者输入的笔迹，和动态地产生时间有序的笔画信息，用来确定该动态、时间有序的笔画信息所要表示的最可能的字符。在题为“Hybridon-line handwriting recognition and optical character recognitionsystem”的参考文献US 6,011,865中描述了这种系统。
现在参照图1描述当前用于笔迹识别(如用于零售业应用)的示例系统10，图1表示外部智能笔装置15，书写表面18和运行于计算机平台上、用于实现识别处理22的笔迹识别处理模块20。从智能笔和书写表面18提取出笔位置信息以及其他笔信息如倾斜参数信息等，并通过连接线25传输给过程22执行笔迹识别。所用算法属于使用来自笔的动态信息实现在线识别的类型。如上所述，对价格的限制不允许使用相对昂贵的智能笔装置15以及在渗透式平台如PDA上运行的笔迹识别模块20。
如上所述，当前的PDA装置装有不附带智能的塑料指示笔。指示笔的惟一功能是压迫接触敏感PDA显示表面，以产生动态信息。图2表示包含触摸屏32以产生动态指示笔笔迹信息的传统的PDA装置30，该笔迹信息通过内部链路35馈送到笔迹识别模块40中，且笔迹识别模块40与PDA的其余软件运行在同一CPU上。图2中所示系统30的方法一个明显的缺点是，与参照图1所述的系统相比，没有更多的笔信息，如倾斜度。
在其他类型的识别系统中，为了进行识别可使用纯数码相机输入，不过处理和结果可能不够精确。
由于许多渗透式装置正日益进入安装有相对较高分辨率(例如实现VGA)的嵌入式数码相机的市场中，利用数码相机提供这种渗透式装置中用于笔迹识别处理的数字视频数据，是有益的。
从而非常希望提供一种用于渗透式装置的笔迹识别系统和方法，包括低成本数字视频摄像机，用于提供来自于装有该装置的低成本指示笔的更多笔迹信息，并使用该信息与笔位置一起来改善笔迹识别。
发明内容
本发明的一个目的在于提供一种改善在渗透式装置中笔迹识别的低成本解决方法。
本发明的另一目的在于提供一种改善在渗透式装置中的笔迹识别的低成本解决方法，包括利用嵌入该装置的数码相机获得使用期间与装有渗透式装置的简单指示笔的运动相应的实时信息，并利用该信息以及指示笔位置信息改善笔迹识别。
本发明的再一目的在于提供一种渗透式装置，如PDA，智能电话，或者其他无线或有线渗透式装置，该装置包括用于改善笔迹识别的低成本解决方法，并且具体提供一种，使嵌入式数码相机能从书写者所用的指示笔获得更多信息，并使该信息与笔位置一起得到处理，用于在这种渗透式装置的应用中改善笔迹识别的方法和系统。这种渗透式装置具有包括执行识别算法的处理能力，除了通常获得的笔指示位置信息以外，还接收由嵌入该装置的数码相机所得到的数据输入，以改善笔迹识别。
根据本发明第一方面，提供一种用于渗透式装置中的系统和方法，其具有嵌入式数码相机以及简单的指示笔，和用于产生附加信息(如倾斜度等)的处理能力。由能够提取出笔迹识别所需的倾斜度和/或其他参数的特殊算法处理该视频信息。相机的安装方式独特，以便于拍摄垂直于PDA屏幕平面的平面。可利用已知的笔几何形状、数码相机输出和作为笔坐标的触摸屏输出，提取倾斜度。
根据本发明另一方面，提供一种用于渗透式装置中的系统和方法，该渗透式装置具有嵌入式数码相机和简单指示笔以及执行笔迹识别算法的处理能力，其中笔迹识别算法可与零售业应用中所使用的算法相同。惟一的差别在于倾斜信息源，并非由外部笔得到该信息，而是由相机获得。对第一处理相机输出数据，例如低频视频信息，执行图像/模式识别算法，提取出笔倾斜度数据，并将其输入到使用倾斜度改善笔迹识别质量的笔迹识别算法中。
根据本发明再一方面，提供一种包括嵌入式数字(内置)相机和简单指示笔，以及执行笔迹识别算法以提供精确笔迹识别的处理能力的渗透式装置，如PDA。
参照下列描述，所附权利要求和附图，将更好地理解本发明的其他特征、方面和优点，其中图1表示在用于零售业应用的触摸屏上基于传统外部智能笔的笔迹识别系统；图2表示装有用于在触摸屏上笔迹识别的指示笔的传统PDA；图3表示装有嵌入式数码相机、且该嵌入式数码相机用于产生本发明笔迹识别系统和方法中所用信息的PDA装置；图4表示用来自嵌入式相机的附加信息实现笔迹识别系统的流程图；图5表示包括触摸屏，简单指示笔和嵌入式数码相机的PDA装置，嵌入式数码相机用于产生本发明的笔迹识别系统和方法中所使用的信息；图6表示用于产生在计算指示笔倾斜度信息中所用指示笔坐标的几何结构；以及图7表示根据本发明的方法计算倾斜度的处理程序。
具体实施例方式
本发明涉及一种用于改善装有塑料指示笔的PDA装置应用的笔迹识别的系统和方法。
图3和5表示具有数字触摸屏装置52和内置数码相机装置55的PDA装置50，数字触摸屏装置52包括用于简单指示笔59的书写表面53，数码相机55具备产生与使用者在触摸屏表面上控制书写时指示笔运动相应的动态视频数据输出的功能。PDA装置等渗透式装置的处理单元(CPU)接收从数字触摸屏52获得以及从数码相机装置55输出的数据，并基于两种类型的数据实现用于执行笔迹识别的算法。内置数码相机55优选安装在这样一个位置和角度以便沿垂直于触摸屏53平面的平面拍摄视频图像，并且具有获取触摸屏表面上任何位置处笔迹的优点。传统指示笔59在用于书写应用时将位于这样的平面中。
如图5中所示，PDA等渗透式装置50包括能在垂直于屏幕52的平面60内拍摄图像的数码相机55，由此，实现动态计算使用者书写期间与指示笔运动有关的倾斜度信息，并输出该信息以便将其用于笔迹识别算法中。在以下描述中，指示笔倾斜度在笔迹识别中显示为整数。相同设计可以应用于通过数码相机提取且用于笔迹识别算法的其他种类的信息。
如图6中所示，指示笔59从沿如图中所示平面方向的输出视频图像计算有关指示笔倾斜度的倾斜角，例如角度“θ”。具体而言，图6表示所定义的坐标系统，如OXYZ系统75，该坐标系统包括表示PDA接触屏表面53的OYX平面，和“等于”相机图像的ZOX平面。假设指示笔的下端58(L)接触PDA触摸屏表面53，并且具有坐标Lx，Ly，(Lz＝0)，而根据指示笔59的几何形状，指示笔的上端57(U)包括坐标Ux，Uy和Uz，可根据公式(1)计算指示笔的长度，如下指示笔长度＝sqrt((Lx-Ux)^2+(Ly-Uy)^2+(Lz-Uz)^2)(1)由于指示笔的下端L接触PDA屏幕，从而假定Lz＝0，并且可由控制触摸屏数据采集的屏幕控制器装置得到坐标Ly和Lx。另外，通过数字视频摄像机图像的处理，提取出长度Ux和Uz。因此，简单的几何结构表明，如果Uy已知，那么可计算出指示笔倾斜度。根据公式(1)，若给定所有信息，则易于确定Uy。因此，已知Uy，则易于计算出指示笔的倾斜角。
图7表示根据本发明的方法计算倾斜度的处理序列80。为了计算倾斜度，如图7中所示分三个阶段。在第一步82，将来自数码相机装置的信息输入模式识别模块84，在该处执行模式识别任务。模式识别模块84的功能是执行处理以从嵌入式相机所拍摄的视频图像中提取出指示笔图像。为了便于实现该任务，简单的塑料指示笔设有识别增强物质，从而可易于识别出指示笔部分，并且易于提取出数据以备处理。例如，如图5中所示，可将指示笔设计成包括多个着色段42a，42b，以构成模式识别处理模块84的算法已知的一种结构。一旦提取出指示笔图案，则在第三步86如参照图6所示计算指示笔的坐标Ux和Uz。另外，在计算实际指示笔倾斜信息的处理步骤88中，对这些坐标以及触摸屏控制器装置54所生成的指示笔下端58的坐标进行处理。
图4表示用于渗透式装置笔迹识别过程的整个数据流嵌入式且特别安装的数码相机55拍摄指示笔图像，并将其输入处理模块80中，如参照图7所述处理模块80负责倾斜度计算。如上所述，倾斜度计算模块80接收触摸屏控制器54的输入，获得指示笔下端的实时坐标。倾斜度计算模块/方法80的输出与触摸屏控制器54输出的指示笔坐标数据一起，输入又一个处理模块90。处理模块90具有来自相机和触摸屏控制器的输入值，执行实际的笔迹识别任务。
尽管参照本发明优选实施例具体表示和描述了本发明，不过本领域技术人员可知，在不偏离仅由所附权利要求范围限定的本发明精神和范围的条件下，可对本发明的形式和细节进行上述和其他改变。
权利要求
1.一种用于渗透式装置的动态笔迹识别系统，包括触摸屏装置；指示笔装置，使用户在所述触摸屏上进行书写，所述触摸屏产生有关指示笔书写的动态信息；数字图像获取装置，安装在所述渗透式装置中，用于获取当所述用户在所述触摸屏上书写时所述指示笔的图像；用于对所获取的图像进行处理，并提取出与所述用户进行的指示笔操纵有关的与屏幕无关的信息的装置；以及笔迹识别装置，接收所述动态触摸屏信息和从所述处理的图像提取出的与触摸屏无关的信息，用于识别所述用户的笔迹，其中，可使笔迹识别获得改善。
2.如权利要求1所述的动态在线笔迹识别系统，其中，所述提取出的与屏幕无关的信息包括有关指示笔操纵的倾斜度参数。
3.如权利要求1所述的动态笔迹识别系统，其中，所述渗透式装置包括个人数字助理(PDA)装置。
4.如权利要求2所述的动态笔迹识别系统，还包括用于产生所述指示笔在所述触摸屏上书写的坐标的触摸屏控制装置。
5.如权利要求2所述的动态笔迹识别系统，其中，所述数字图像获取装置在与所述触摸屏定义的平面相垂直的平面中获取图像。
6.如权利要求4所述的动态笔迹识别系统，其中，所述渗透式装置实现有模式识别装置，所述模式识别装置用于提取出与触摸屏无关的笔信息。
7.如权利要求6所述的动态笔迹识别系统，其中，所述指示笔装置包括可由所述模式识别装置识别的元件。
8.如权利要求7所述的动态笔迹识别系统，其中，所述能进行模式识别的元件包括所述模式识别装置已知结构中的着色段。
9.一种在渗透式装置中动态执行笔迹识别的方法，该渗透式装置包括触摸屏装置和用户可在所述触摸屏上书写的指示笔装置，所述方法包括以下步骤a)产生与指示笔书写有关的动态信息；b)将数字图像获取装置安装在所述渗透式装置中，该数字图像获取装置可适用获得用户在所述触摸屏上书写时所述指示笔的图像；c)处理所述获得的图像，并提取出与所述用户进行的指示笔操纵有关的与屏幕无关的信息；以及d)利用所述动态触摸屏信息和从所处理图像提取出的与触摸屏无关的信息识别所述用户的笔迹，其中，使笔迹识别获得改善。
10.如权利要求9所述的用于动态执行笔迹识别的方法，其中，所述提取出的与屏幕无关的信息包括有关指示笔操纵的倾斜度参数。
11.如权利要求9所述的用于动态执行笔迹识别的方法，其中，所述渗透式装置包括个人数字助理(PDA)装置。
12.如权利要求10所述的用于动态执行笔迹识别的方法，其中，产生动态信息的步骤a)包括产生在所述触摸屏上进行书写的所述指示笔的坐标的步骤。
13.如权利要求10所述的用于动态执行笔迹识别的方法，其中，安装所述数字图像获取装置，以在垂直于所述触摸屏装置定义平面的平面中获得图像。
14.如权利要求12所述的用于动态执行笔迹识别的方法，其中，所述处理步骤c)包括实现用于提取出与所述与触摸屏无关的笔信息的模式识别装置。
15.如权利要求14所述的用于动态执行笔迹识别的方法，还包括通过模式识别装置便于指示笔识别的步骤。
16.如权利要求15所述的用于动态执行笔迹识别的方法，其中，通过在所述指示笔中包含所述模式识别装置已知的着色段而便于所述指示笔识别。
17.一种渗透式装置，包括触摸屏装置，具有书写表面；指示笔装置，用户可在所述触摸屏表面上进行书写，所述触摸屏装置产生有关指示笔书写的动态信息；数字图像获取装置，安装在所述渗透式装置中，用于获取当所述用户在所述书写表面上书写时所述指示笔的图像；用于处理所获得的图像，并提取出与所述用户进行的指示笔操纵有关的与屏幕无关的信息的装置；以及笔迹识别装置，接收所述动态触摸屏信息和从所述处理的图像提取出的与触摸屏无关的信息，用于识别所述用户的笔迹，其中，可使所述渗透式装置的笔迹识别获得改善。
18.如权利要求17所述的渗透式装置，其中，所述提取出的与屏幕无关的信息包括有关指示笔操纵的倾斜度参数。
19.如权利要求18所述的渗透式装置，还包括用于产生在所述触摸屏上书写的所述指示笔坐标的触摸屏控制装置。
20.如权利要求18所述的渗透式装置，其中，所述数字图像获取装置在与所述触摸屏装置定义的平面相垂直的平面中获得图像。
21.如权利要求20所述的渗透式装置，其中，所述渗透式装置实现有用于提取所述与触摸屏无关的笔信息的模式识别装置。
22.如权利要求21所述的渗透式装置，其中，所述指示笔装置包括所述模式识别装置可识别的元件。
23.如权利要求22所述的渗透式装置，其中，可模式识别的所述元件包括所述模式识别装置已知结构中的着色段。
全文摘要
一种在线笔迹识别的系统和方法，包括可与通过使用内置数码相机获得的其他信息结合使用的屏幕笔数据，如笔倾斜参数信息。该方法和系统提供一种用于消费者平台，如PDA，获得更高笔迹识别质量的低成本解决方案。内置的相机不会增加该解决方案的成本，惟一增加的部件是基于软件的模式识别算法，它提取与屏幕无关的笔信息。
文档编号G06K9/78GK1619581SQ20041009298
公开日2005年5月25日 申请日期2004年11月12日 优先权日2003年11月21日
发明者瓦迪姆·舍伊宁 申请人:国际商业机器公司