识别、跟踪一体的算法实现，当 获取目标之后，由该算法进行检测、识别、跟踪。
[0036] TLD只需要较少的先验信息就可以实现对目标的长期在线跟踪，运算速度快，实时 性高，并且能有效地适用于目标被遮挡或者消失的场合以及目标外表在跟踪过程中发生变 化的情况。TLD主要由三个模块组成： 跟踪器：由一个短期自适应跟踪器构成，在帧间运动有限、目标可见的情况下，用来预 测目标在连续帧间的运动。
[0037] 检测器：为一个高效的级联分类器，创建使用了简单有效的图像特征，可以对目标 进行实时的检测，同时在必要的情况下纠正跟踪器。
[0038] 学习模块：用来评估跟踪器和检测器的性能，通过生成有效的训练样本完成检测 器和跟踪器的更新，消除误差。
[0039]TLD算法运行机制： 检测模块和跟踪模块互不干涉的并行进行处理。首先，跟踪模块假设相邻视频帧之间 物体的运动是有限的，且被跟踪目标是可见的，以此来估计目标的运动。如果目标在相机视 野中消失，将造成跟踪失败。检测模块假设每一个视帧都是彼此独立的，并且根据以往检测 和学习到的目标模型，对每一帧图片进行全图搜索以定位目标可能出现的区域。同其它目 标检测方法一样，TLD中的检测模块也有可能出现错误，且错误无非是错误的负样例和错误 的正样例这两种情况。而学习模块则根据跟踪模块的结果对检测模块的这两种错误进行评 估，并根据评估结果生成训练样本对检测模块的目标模型进行更新，同时对跟踪模块的"关 键特征点"进行更新，以此来避免以后出现类似的错误。
[0040] TLD(Tracking-Learning-Detector)算法是一个基于追踪，检测和学习的长时跟 踪未知物体的算法，它将检测器和跟踪器较好地结合在一起，并且能够随时对跟踪结果进 行评估和学习，从而实现更好的长时跟踪。同时，这个算法框架的鲁棒性很强，具备很强的 学习恢复能力。
[0041] 综上所述，本发明用于对用户连续输入的无框（writing-box-free)的多个字符进 行识别，该方法包括步骤：基于不同笔画组合和对齐所包含的笔画进行划分形成的"子笔画 组合"的单字识别结果，计算与输入字符序列的不同笔画组合的单字识别正确度相关的特 征；根据对不同笔画组合所包含的笔画进行划分形成的"子笔画组合"的空间几何关系来确 定不同笔画组合的空间几何特征；基于与单字识别正确度相关的特征和空间几何特征，确 定对输入的字符序列的不同切分方式下各个笔画组合的切分可信度；基于所述切分可信度 确定切分路径；以及向用户呈现：与确定的切分路径相关的字符序列识别结果。
[0042]用于对用户连续输入的无框的字符序列进行识别，该设备包括：手写输入单元，采 集用户连续输入的字符序列；单字识别单元，对字符序列中的不同笔画组合进行识别，得到 单字识别结果；切分单元，基于不同笔画组合和对其所包含的笔画进行划分形成的"子笔画 组合"的单字识别结果，计算与输入字符序列的各种笔画组合的单字识别正确度相关的特 征，并根据其"子笔画组合"的空间几何关系确定不同笔画组合的空间几何特征；根据与单 字识别正确度相关的特征和空间几何特征，确定对输入的字符序列的不同切分方式下各个 笔画组合的切分可信度；基于所述切分可信度确定切分路径：以及显示控制单元，控制显 示屏向用户呈现：与确定的切分路径相关的字符序列识别结果。
[0043]由于采用无框输入，用户可以连续输入包含较多字符的一句话(或英文单词)，提 高用户的手写输入效率。对于传统的需要用户将字符写在手写框（writing-box)中的输入 方法，手写字符之间的停顿常常会打断用户的思路从而影响输入速度，而要求每个字符都 在规定的手写框中（例如：目前手机上常用的两框输入法，要求用户在两个手写框之间来回 切换)页改变了用户的手写习惯，降低了手写输入效率。本发明实施例的方法和设备允许用 户实现连续输入，即时输出或者整体输出识别结果，无需改变书写习惯。
[0044]由于本发明实施例的方法和设备在计算字符序列的切分可信度时，不仅仅考虑了 现有技术中常用的空间几何特征，还充分考虑了笔画组合合并后的单字识别正确度以及子 笔画组合的单字识别正确度，所以对于现有技术比较难以正确切分的情况，例如不同字符 的笔画在空间上部分重叠，或同一个字符所包含的笔画分隔较大，本发明方法都能得到正 确的切分和识别结果。而且，由于本发明实施例的方法和设备在进行字符序列切分时，并不 依赖于用户写每一笔画的输入时间，所以可以适应用户的不同输入习惯，即使某用户输入 字符的时间时快时慢，也不会影响本发明方法的切分正确性。
【主权项】
1. 一种视觉运动跟踪的隔空手写系统，用于用户对准摄像头隔空书写字符，其特征在 于包括： 采集单元部分：通过PC设备自带的摄像头或外置摄像头对移动目标进行动态跟踪以 采集目标的运动图像； 数据处理部分：包括特征提取单元、图像处理单元、轨迹识别单元，所述特征提取单元 为获取并存储该目标的特征点，图像处理单元为生成特征点的轨迹信息，轨迹识别单元为 处理并识别轨迹信息，即对目标运动轨迹数据进行处理； 后期处理部分：对手指尖运动的轨迹进行轨迹重建，经过图像处理、渲染方式，达到用 户需要的结果。2. 根据权利要求1所述的一种视觉运动跟踪的隔空手写系统，其特征在于获取目标的 特征点是获取目标的重心。3. 根据权利要求1所述的一种视觉运动跟踪的隔空手写系统，其特征在于生成特征点 的轨迹信息，包括确定特征点运动轨迹内的离散点，将空间离散点转化为同一平面内的点， 再对离散点进行拟合，形成完整的轨迹信息。4. 根据权利要求3所述的一种视觉运动跟踪的隔空手写系统，其特征在于所述同一平 面是与采集单元部分中摄像头所在平面间隔一定距离的面，这个平面相对于摄像头所在平 面，为倾斜面、错位面或变形面。5. 根据权利要求3所述的一种视觉运动跟踪的隔空手写系统，其特征在于所述离散点 是多幅图像中特定目标运动的特征点。6. 根据权利要求1所述的一种视觉运动跟踪的隔空手写系统，其特征在于所述图像处 理部分包括： 离散模块：确定特定目标特征点运动轨迹内的离散点； 转化模块：将空间离散点转化为同一平面内的点，即将多幅图像中特定目标的特征点 转化为与采集单元部分中摄像头所在平面间隔一定距离的面，这个平面相对于摄像头所在 平面，为倾斜面、错位面或变形面； 拟合模块：对平面内的离散点进行拟合，形成完整轨迹信息。
【专利摘要】本发明公开了一种视觉运动跟踪的隔空手写系统，包括：采集目标图像，获取并存储该目标的特征点，生成特征点的轨迹信息，处理并识别轨迹信息；利用摄像头拍摄到的书写轨迹信息来识别用户所写的字符，代替传统的触摸屏、电磁感应屏、手写板、鼠标等装置，可以通过挥动手指的方式来书写出相应的字符，而不用走到计算机或者有触摸介质所在的位置进行操作。
【IPC分类】G06K9/68
【公开号】CN104992192
【申请号】CN201510238271
【发明人】陈添丁, 陈英旦, 徐先力, 陈兆文
【申请人】浙江工商大学
【公开日】2015年10月21日
【申请日】2015年5月12日