基于手写输入状态自适应判断处理的笔式交互方法及系统的制作方法
【技术领域】
[0001]本发明涉及人机交互输入技术领域，特别涉及一种基于手写输入状态自适应判断处理的笔式交互方法及系统。
【背景技术】
[0002]传统的图形用户界面基于桌面隐喻，采用WIMP (Window，Icon, Menu, Pointing)交互范式，以鼠标、键盘作为交互设备实现人机对话。笔式交互基于纸笔的隐喻，通过写字板、触摸屏等输入设备，采集用户基于手写笔或手指的输入轨迹，帮助人们方便地捕捉想法、记录事件、进行抽象思考和形象的描述。因提供自然、便利的操作方式，笔式交互在计算机辅助设计、计算机动画与虚拟现实、可视化对象建模、军事标绘等诸多领域有广泛的应用需求。
[0003]笔式交互的输入包括图形符号输入和文字输入。在图形符号输入的状态下，笔式交互采用草图识别的方法，将用户手绘输入的图形映射至相关专业应用领域的图形符号集中的标准图形符号反馈显示；在文字输入的状态下，笔式交互采用文字识别的方法，将用户手写输入的文字映射成字符集中的任意文字串(包括汉字、英文字母、数字、标点符号等)。由于图形符号的几何特征往往作为草图识别最重要的识别特征，而文字识别主要是基于统计特征实现的，因此，草图识别和文字识别是通过不同的技术途径实现的。由此，在交互过程中如果同时存在草图输入和文字输入，则需要区分草图输入状态和文字输入状态，从而分别调用草图识别分类器和文字识别分类器。但在笔式交互的某些应用领域，如:可视化对象建模、军事标绘等领域，该领域的符号集中包含既有图形又有文字的符号，而纯文字输入既可能作为独立的文字对象输入，也可能作为某些符号的注记输入，部分符号甚至可能有多个注记框，注记更新时还需要进行注记位置判断。
[0004]目前对手写交互方面的研宄有如下的一些方法。如“基于GIS平台和触摸屏设备的快速态势标绘系统及方法”(申请号:201310615706.4)中，提出了一种基于图形触摸绘制的标绘方法，该方法只涉及到简单几何图形的绘制、笔迹保存和图形分离，既不涉及到复杂图形的识别标绘，也不涉及到文字输入标绘。又如“一种基于图形符号草图在线识别的电子标绘方法”(申请号:201218007969.3)中，提出了一种基于军队标号草图识别的电子标绘方法，该方法侧重于基于图形识别的军标图形符号标绘，不涉及文字输入标绘。又如 “Chinese character handwriting recognit1n system”(授权号:US6970599B2)，提出了一种中文手写识别方法，该方法侧重于中文手写识别反馈方法，不涉及到图形的识别反馈。又如 “Handwriting Recognit1n system using multiple path recognit1nframework"(申请号:US 20100163316A1)，提出了一种对手写化学式的识别方法，化学式所涉及的字符集主要包括英文字母、数字、及少量特定意义的符号，该识别方法侧重于字符识别及基于上下文的语义分析，属于字符识别方法的范畴，不涉及图形识别方法及交互反馈机制的设计。
[0005]目前国内外在手写交互方面的研宄，具体存在以下方面的问题:
[0006](I)部分研宄仅限于原始笔迹的保存和复现，不涉及对笔迹的识别；
[0007](2)大部分研宄侧重于只针对草图图形符号的手绘图形交互方法或只针对文字的手写文字交互方法的研宄，对既包含图形交互又包含文字交互的应用领域研宄较少，少数研宄同时涉及到草图手绘输入和文字手写输入，往往采取显式状态区分的方法(如按钮切换状态、设计文字手写专用区域等)来实现草图交互和文字交互状态的判断，并未涉及到对既有图形又有文字的符号输入的判断和处理，不能满足某些笔式交互应用领域的实际需求。
[0008](3)缺乏在保证用户输入连续性的情况下对交互反馈机制的设计，在通过显式状态区分来处理草图输入和文字输入的情况下，存在多个交互反馈焦点，难以真正提高用户的交互效率。
【发明内容】
[0009]为解决现有技术的手写交互输入方法无法对既有图形又有文字的符号输入进行判断和处理的缺陷，提供一种基于手写输入状态自适应判断处理的笔式交互方法及系统。
[0010]一种基于手写输入状态自适应判断处理的笔式交互方法，其包括如下步骤:
[0011]S1、将输入状态标志初始化为草图输入状态；
[0012]S2、在用户输入完一个笔划后，判断当前输入笔划是否为新笔划，如果是新笔划，则启动定时器计时并根据当前输入状态标志判断当前输入状态，如果不是新笔划则直接根据当前输入状态标志判断当前输入状态；在当前输入状态为草图输入状态时，跳转到步骤S3，在当前输入状态为文字输入状态时，跳转到步骤S4，在当前输入状态为图文输入状态时，跳转到步骤S5 ；
[0013]S3、将当前输入笔划的笔迹送入草图识别基元分类器进行识别，判断当前输入笔划是否为文字输入手势，是则跳转到步骤S6，否则跳转到步骤S8 ;
[0014]S4、将当前输入笔划的笔迹送入文字识别分类器识别，反馈当前文字识别结果，跳转到步骤S9 ；
[0015]S5、将当前笔划笔迹送入文字识别分类器识别，判断当前文字识别结果结合文字输入手势输入之前的草图识别结果是否与目标符号集中的任一图文符号相匹配，如果是，反馈当前图文符号识别结果，跳转到步骤S9，否则，跳转到步骤S12 ;
[0016]S6、判断当前输入笔划是否为新笔划，如果是，则将当前输入状态标志变更为文字输入状态，跳转到步骤S12，否则，跳转到步骤S7 ；
[0017]S7、判断截止到上一笔的当前草图识别结果是否与目标符号集中的任一图文符号的图形部分相匹配，如果是，将当前输入状态标志变更为图文输入状态，跳转到步骤S12，否贝U，跳转到步骤S8 ；
[0018]S8、将当前笔划笔迹送入草图识别复合图形分类器识别，反馈当前草图识别结果;
[0019]S9、判断用户是否选取候选识别结果，如果是，跳转到步骤S10，否则，跳转到步骤S12 ；
[0020]S10、判断当前输入状态是否为文字输入状态，如果是，跳转到步骤S11，否则将用户选择的识别结果以标准目标符号的形式输出到显示界面，跳转到步骤S12 ;
[0021]S11、进行文字输入状态判断处理，并根据处理结果进行反馈显示，跳转到步骤S12 ；
[0022]S12、判断定时器是否截止，如果是，将当前输入状态标志变更为草图输入状态，取消定时器，跳转到步骤S13 ;否则，直接跳转到步骤S13 ;
[0023]S13、重复执行步骤S2至S12，进入新的循环，直至用户不再输入新的笔划。
[0024]一种基于手写输入状态自适应判断处理的笔式交互系统，其包括如下模块:
[0025]初始化模块，用于将输入状态标志初始化为草图输入状态；
[0026]综合判断模块，用于在用户输入完一个笔划后，判断当前输入笔划是否为新笔划，如果是新笔划，则启动定时器计时并根据当前输入状态标志判断当前输入状态，如果不是新笔划则直接根据当前输入状态标志判断当前输入状态；在当前输入状态为草图输入状态时，启动草图输入状态处理模块的功能，在当前输入状态为文字输入状态时，启动文字输入状态处理模块的功能，在当前输入状态为图文输入状态时，启动图文输入状态处理模块的功能；
[0027]草图输入状态处理模块，用于将当前输入笔划的笔迹送入草图识别基元分类器进行识别，判断当前输入笔划是否为文字输入手势，是则启动文字输入状态变更条件判断模块的功能，否则启动复合图形识别模块的功能；
[0028]文字输入状态处理模块，用于将当前输入笔划的笔迹送入文字识别分类器识别，反馈当前文字识别结果，启动候选识别结果选择判断模块的功能；
[0029]图文输入状态处理模块，用于将当前笔划笔迹送入文字识别分类器识别，判断当前文字识别结果结合文字输入手势输入之前的草图识别结果是否与目标符号集中的任一图文符号相匹配，如果是，反馈当前图文符号识别结果，启动候选识别结果选择判断模块的功能，否则启动定时器状态判断模块的功能；
[0030]文字输入状态变更条件判断模块，用于判断当前输入笔划是否为新笔划，如果是，则将当前输入状态标志变更为文字输入状态，启动定时器状态判断模块的功能，否则启动图文输入状态变更条件判断模块的功能；
[0031]图文输入状态变更条件判断模块，用于判断截止到上一笔的当前草图识别结果是否与目标符号集中的任一图文符号的图形部分相匹配，如果是，将当前输入状态标志变更为图文输入状态，启动定时器状态判断模块的功能，否则启动复合图形识别模块的功能；
[0032]复合图形识别模块，用于将当前笔划笔迹送入草图识别复合图形分类器识