追踪到的移动轨迹信息来识别用户书写的字符，代替传统的触摸屏、电磁感应屏、手写板、 鼠标等装置。通过挥动手指的方式书写出相应的字符，而不用走到计算机或者有触摸介质 所在的位置进行操作； 2. 不需要任何介质即可实现人机交互，传统的方式用户需要手持鼠标、写字笔或者接 触相应的介质以便计算机获得手写轨迹信息。利用视觉运动跟踪的隔空手写系统只需摄像 头能够拍摄到用户的手写轨迹即可识别文字； 3. 不受空间的限制，传统的方式往往要求用户在所规定的区域内书写文字，而本发明 在摄像头所拍摄的区域内任何位置都可识别，由于摄像头拍摄的范围较传统的接触屏使用 范围大很多，悬空书写无任何空间限制，书写的字体大小也无限制，方便用户的使用。
[0020] 4.成本较低，只需市面上的普通摄像头或者PC设备自带的摄像头即可达到识别 的效果；
【附图说明】
[0021] 图1为指尖检测流程图； 图2为指尖定位流程部； 图3为指尖粗定位抽样轮廓图； 图4为指尖粗略位置的候选点图； 图5为指尖粗略位置图； 图6为指尖精确定位方法图； 图7为指尖模块图。
[0022] 图8为不同的手部姿态指尖定位
【具体实施方式】
[0023] 以下结合说明书附图来进一步说明本发明的具体技术方案。
[0024] 本发明硬件方面：图像数据处理系统，连接摄像头和PC机，主要功能是对从摄像 头采集视频图像数据，对数据进行存储、加密等处理，后通过USB等通信接口连接PC机。软 件方面：图像后期处理系统，基于C++语言设计的软件，主要功能是对数据采集仪传过来的 视频图像数据进行解密，将各帧检测到的指尖位置顺序连接起来，恢复出书写的轨迹，并对 获取的手指运动轨迹进行细线化、水墨渲染等后期处理。
[0025] 本发明一种视觉运动跟踪的隔空手写系统，结合软硬件，通过视觉前端采集摄像 头，运用TLD算法(跟踪-学习-检测为一体）检测识别手指区域，并对手指指尖的运动进 行跟踪，以空间位置所在的数据进行保存，将空间三维图像数据转化为二维图像数据，继而 对字符进行手指运动比划轨迹的重构，实现隔空手写字符轨迹的转换与输入，通过网络连 接PC机，对手指运动轨迹进行重构显示，实现手写即显示效果，再经细线化等处理方式处 理字符，方便后期正体字和艺术字处理，最后经图像算法处理实现印刷正体字和艺术字显 示(不仅针对字体输入，还可进行字母，绘画线条输入)。该发明价格低廉，操作简单，无需接 触设备，可远距离隔空操作，适合儿童练字，可远离屏幕保护视力，书法练字，虚拟键盘隔空 输入，游戏体感操作，手势控制系统，电脑绘图系统等应用，无需近距离操作，不使用接触式 设备。
[0026] 指尖检测，见图1。
[0027] 手指前景分割：一种改进的高斯背景模型来分割前景：
式中：z是当前帧中像素的索引，z=〇~图像像数的最大索引值；和^4^分别是通 过和上一帧比较得到的当前帧中全体像素灰度值变化的平均值和最大值；％(4是t时刻 背景模型中像素x的灰度值，初始化#%〇〇 = |/;(；<)|，并用式子更新
N为背景模型学习阶段所用的无前景的图像帧数(一般N=20~40)，/(2)是t时刻索 引值为z的像素灰度值。在上式中，手部区域是指由指尖位置开始的一个前景连通域，更新 区域是除了手部区域外的区域，确定了背景模型，可以利用式子来进行前景分割。
[0028] 式中：B(x)=0表示像素^背景，B(x)=l表示像素^前景，(-般为1. 5~ 1. 8)和(-般为0. 2~0. 3)分别为平均变化值和最大变化值的加权系数，T为常数(一般为25~28)。
[0029] 指尖定位 指尖定位是对手部形态进行分析，进而捕捉指尖位置，为下一步的字符识别提供信息。 不同的手部姿态，指尖定位分属于两种模式，"正指模式"与"侧指模式"。"正指模式"是指 当前指尖摄像头而言是正指向前方的，如图8中间五个图所示。"侧指模式"是指当前指尖 相对于摄像头而言是指向侧面而非指向前方，如图8外环8个图所示。
[0030] 指尖定位包括粗略定位和精确定位。粗略定位是确定一个包含指尖位置的区域， 精确定位是在确定区域内准确定位指尖的位置，见图2。
[0031] 由于手指在不断的运动，因此常规的指尖粗略定位方法主要采用预测器来预测指 尖的粗略位置。但针对多用户系统不同用户书写的速度不同，即使是同一个人书写，由于汉 字的复杂性，其书写速度的变化也很明显，所以预测器(如卡尔曼滤波器）不能给出较好的 预测结果，因此采用指尖粗定位方法得到指尖粗略位置。
[0032] 指尖粗定位 如图3-5为了获得手的轮廓，运用梯度算子在前景图像中进行边缘检测。得到手的 轮廓后，采用基于网络抽样的方法来定位指尖的粗略位置。假定摄像头捕捉的图像大小为 320X240,首先在轮廓图像中绘制大小为10X10的网格，然后将每一个在轮廓图像中网格 映射成为抽样轮廓图像中的一个像素，构成手轮廓的像素点设置为黑色，其余设置为白色。 网格抽样后，原来图像中一个10X10的区域只用一个像素点来表示，轮廓的大小缩小为原 来的1/10,这将减少分析轮廓会有断电和变形，在网格抽样后，轮廓会变得连续和光滑。在 抽样轮廓图像中进行轮廓跟踪，最长的闭合轮廓被认为是手的轮廓。在单手指的交互系统 中，指尖的粗略位置一定是轮廓样本在4个方向的顶点之一。因此这4个顶点被认为是指 尖粗略位置的候选点。为了从候选点中找到指尖的粗略位置，采用一种局部手指轮廓形状 策略。该策略基于如下事实：人手指大概的形状可以用一个圆筒和一顶半球的帽子逼近，且 圆筒的宽度是几乎相同的。在抽样后的手轮廓上从每一个候选点开始分别逆时和顺时针方 向选择4个样本像素构成4个像素对，计算每个候选点周围4对样本像素的距离方差，方差 最小的候选点被认为是指尖的粗略位置。
[0033] 精确定位 如图6-7,在手指交互系统中，手指在不同帧中可能有不同的指向。此时传统模板匹配 方法的定位精度不高。多模板匹配方法虽然定位精度高，但存在怎样选择模板和计算量增 多等问题。引入环形特征的概念并用来精确定位指尖。首先在指尖中心画不同边长的正方 形，将每个正方形经过的前景像素数目定义为环形特征的一维。例如，要计算下图中'X'像 素的环形特征（白色表示背景)，那么其环形特征第二维是图中环形线所经过的白色像素的 数目，即为7。如果指尖模板大小，15X15,那么特征维数将从15X15降到15,且它是旋转 不变的。
[0034] 从数学上，像素(VJo)的第k维环形特征可以由下式计算出：
式中：
；D((!,j)，(iq,j〇))为(U)和1**)间的棋盘距离； 特征正维数t/l〇，max(XA-i〇Kw-义別，h和w分别表不|旲板的尚和宽；(U)为UP周围 的像素。进行精确定位时，把指尖粗略位置为中心的10X10像素的区域作为匹配区域，然 后在这个区域里计算每一个表示轮廓的像素的环形特征，并把这些环行特征和模板的环形 特征进行比较，从而精确地定位指尖位置。
[0035] 指尖跟踪 通过运用TLD(Tracking-Learning-Detection)检测、