专利名称：一种改善计算机视觉体感输入设备高延迟的方法及系统的制作方法
技术领域：
本发明涉及计算机视觉领域、多媒体领域，尤其涉及一种改善计算机视觉体感输入设备高延迟的方法及系统。
背景技术：
随着网络、多媒体等技术的发展，在传统终端上实现繁多的网络及多媒体应用是一种趋势，在人机交互中，更好的交互体验对控制的形式和控制的舒适程度都有更高的要求，在这种情况下，将光标类控制加入到传统电脑终端之外的电视机、机顶盒、手机等终端设备中便有了广泛的需求。在现今众多的产品中，常见的包括在现有遥控器上增设鼠标功能，游戏手柄、乒乓球拍等各种各样的体感输入游戏设备，利用的技术涵盖了红外遥控技术、重力芯片、蓝牙技术等。在这些技术中，均需要操作者接触一定的设备，例如遥控器、乒乓球拍等，为操作带来了一定的限制。微软公司开发的基于视觉的游戏设备能够给玩家带来全新的体验，玩家无需接触任何设备，既可以对游戏中角色进行近乎完美的控制，其利用了红外传感技术、3D技术、模式识别技术等，所建立的模型也比较复杂，设备成本较高。开发通用的基于计算机视觉的输入方式能为更广泛的用户带来更人性化的操作体验，有利于技术的创新和推广。计算机视觉技术大多会消耗许多的计算资源和存储资源，同时会有较大的延迟，降低用户体验。尤其是利用计算机视觉进行手势识别来模拟光标移动操作时，当计算复杂度高的情况 下，会产生较大的延迟，使光标在屏幕上卡顿、跳跃，而不是连续移动，此时用户体验极差。
发明内容
本发明的目的在于，为克服计算机视觉技术因计算复杂度高、占用计算资源多而产生的较大延迟导致的光标移动卡顿、跳跃的现象，开发出一种改善计算机视觉体感输入设备高延迟的方法及系统。为实现上述目的，本发明提供一种改善计算机视觉体感输入设备高延迟的方法，该方法可用于屏蔽手势输入控制的光标在显示终端屏幕上出现的卡顿和跳跃现象，使光标输出轨迹连续平滑，所述方法包含:步骤1，读取和存储通过计算机视觉处理后生成的延时离散控制信号。步骤2，根据读取的延时离散控制信号，采用预测算法得到预测控制信号。步骤3，轨迹预测模块根据已有控制轨迹和预测控制信号计算得到新一段的预测控制轨迹。步骤4，读取新一段的预测控制轨迹，该新一段的预测控制轨迹与已有控制轨迹形成该光标最新的连续的控制轨迹。上述技术方案中，所述延时离散控制信号和预测控制信号，包括:
能够转换为屏幕光标位置坐标的标识；或能够转换为屏幕上非光标类受控运动物体的位置坐标的标识。所述已有控制轨迹和新一段预测控制轨迹，包括实际屏幕光标移动轨迹；或实际屏幕上非光标类受控运动物体的移动轨迹。所述延时离散控制信号和预测控制信号，还包括可以含有与此信号相关的时间标识。所述预测控制信号为依据延时离散控制信号，产生的一个或若干个预测控制信号。基于上述系统本发明还提供一种改善计算机视觉体感输入设备高延迟的系统，该系统可用于屏蔽手势输入控制的光标在显示终端屏幕上出现的卡顿和跳跃现象，使光标输出轨迹连续平滑，所述系统包括信号采集模块，采集至少一个利用计算机视觉生成的延时离散控制信号。信号预测模块，依据信号预测算法，根据信号采集模块收集的延时离散控制信号，得到预测控制信号。轨迹预测模块，依据轨迹预测算法，根据已有控制轨迹和预测控制信号结合算法产生新一段的预测控制轨迹；和轨迹输出模块，按照某种时间间隔，在下一个延时离散控制信号到来之前，输出新一段的预测控制轨迹，该新一段的预测控制轨迹与已有控制轨迹形成连续的光标控制轨迹。所述信号采集模块与轨迹输出模块分别设置有存储单元，所述信号采集模块存储用来预测的输入的延时离散控制信号，所述轨迹输出模块存储部分或全部已有控制轨迹。所述信号预测算法采用线性插值算法或拉格朗日插值算法进行外插值；所述轨迹预测算法采用线性插值算法或拉格朗日插值算法进行内插值。与现有技术相比本发明的优点在于1、本发明方法可以使基于计算机视觉的控制光标在较大延迟范围的情况下仍能有实时响应效果。2、光标连续运动，无卡顿、跳跃的现象，运动平滑，收敛迅速，对控制精度影响较小。3、信号预测和轨迹预测对算法依赖小，简单的拉格朗日插值，甚至线性插值即可满足要求。
图1本发明实现的提升基于计算机视觉的高延迟体感输入设备实时体验系统的组成框图；图2是本发明的提升基于计算机视觉的高延迟体感输入设备实时体验的方法实施流程图；图3本发明实现的提升基于计算机视觉的高延迟体感输入设备实时体验的方法一个具体实施例预测轨迹图。
具体实施例方式下面结合附图对本发明的内容进一步详细描述。本发明提供一种改善基于计算机视觉的体感输入设备高延迟体验的方法，整体构成如图1所示，主要可以产生以下应用效果1.可以解决较大延迟下的控制轨迹用户体验恶劣问题2.光标或其他受控物体运动连续,不卡顿。3.加快光标或其他受控物体响应速度，使用户获得实时体验。一种改善基于计算机视觉的体感输入设备高延迟体验的方法，具体模块作用如下1、将经过计算机视觉技术产生的具有一定延迟的离散控制信号传输给信号采集模块，信号采集模块保存至少一个延时离散控制信号。2、信号预测模块可以一直保持工作，也可以通过时间触发或事件触发或者上述两种触发方式组合触发。3、信号预测模块利用信号采集模块获得的离散延时控制信号数据，预测出信号采集模块保存的已有延时离散的控制信号对应的预测控制信号。其中，所述预测可以但不局限于采用，线性插值算法，拉格朗日插值算法。4、轨迹预测模块可以一直保持工作，也可以通过时间触发或事件触发或者上述两种触发方式组合触发。5、轨迹预测模块利用已有控制轨迹和信号预测模块最近一次得到的预测控制信号，生成新一段的预测控制轨迹描述，其中，所述信号预测模块接收的延时离散控制信号可以不在此处生成的控制轨迹上而在该轨迹附近。6、轨迹输出模块在实际的延时离散控制信号到来之前，在固定或非固定的时间间隔点上，离散输出利用轨迹预测模块产生的新一段预测控制轨迹，同时可以存储部分或全部已有控制轨迹。如图1所示，该图为本发明提出一种改善基于计算机视觉的体感输入设备高延迟体验的方法及系统。本发明提出的系统包括信号采集模块、信号预测模块、轨迹预测模块和轨迹输出模块。其中，信号采集模块与轨迹输出模块应具有适当的存储功能，信号采集模块需要存储用来预测的输入的延迟信号，轨迹输出模块需要存储输出的轨迹或适当数量的离散输出信号。信号预测模块根据需要，可采用线性插值，拉格朗日插值等算法外插值进行预测。轨迹预测模块根据需要，可采用线性插值，拉格朗日插值等算法内插值进行预测。信号预测模块输出的预测信号106应包含平面或空间坐标，也可以包含此信号起作用的时间，若包含时间，此时间不必要与信号采集模块预计接收到下一个延迟信号的时间有关系。轨迹预测模块输出的预测轨迹应该是有限长度的，或者轨迹输出模块的输出过程可以被合理打断。以免延迟信号接收失败时，预测轨迹偏差过大。如图2所示，该图为本发明提供的一种改善基于计算机视觉的体感输入设备高延迟体验的方法的流程图；步骤101，将经过计算机视觉技术产生的具有一定延迟的离散控制信号传输给信号采集模块，信号采集模块保存至少一个离散控制信号。其中，所述信号预测模块可以一直保持工作，也可以通过时间触发或事件触发或者上述两种触发方式组合触发。
步骤102，信号预测模块利用信号采集模块获得的离散控制信号数据，应用预测算法，预测出信号采集模块保存的离散的控制信号的对应的预测控制信号。其中，所述预测算法可以采用线性插值，拉格朗日插值等算法外插值进行预测，轨迹预测模块可以一直保持工作，也可以通过时间触发或事件触发或者上述两种触发方式组合触发。步骤103，轨迹预测模块利用已有控制轨迹和信号预测模块最近一次得到的的预测控制信号，应用线性插值，拉格朗日插值等算法内插值进行预测，生成新一段的预测控制轨迹描述，其中，所述信号预测模块接收的离散控制信号可以不在此处生成的控制轨迹上而在该轨迹附近。步骤104，轨迹输出模块利用轨迹预测模块产生的新一段的预测控制轨迹，在实际的延时离散控制信号到来之前，在固定或非固定的时间间隔点上，将新一段的预测控制轨迹离散输出，产生相应的控制效果，同时存储部分或全部控制轨迹。实施例基于上述系统本发明提供的方法实施流程如图3所示，具体包含如下步骤(300)假设已经存在的信号包括输入的延时离散控制信号101，102 ;预测信号103 ;已有轨迹及实际输出的离散帧104。此时延时离散控制信号105到来。(301)利用102、105或者更多的已输入延时离散控制信号，应用线性插值，拉格朗曰插值等算法进行外插值，得到预测控制信号106。(302)利用已有控制轨迹，和预测出的控制信号106，应用线性插值，拉格朗日插值等算法内插值得到有限长度的新一段预测控制轨迹107。(303)以某种时间间隔，离散输出控制轨迹点108、109、110、111，使输出的控制轨
迹点在新一段预测控制轨迹上、满足实时要求和满足平滑要求。(304)延时离散控制信号112到来，进行新一轮的预测过程，与300 303类似。上面提到的有延时的输入控制信号可以包括接收到信号的时间或接收到相邻信号的时间差。以上实施例仅用以说明本发明的技术方案而非对其限制，并且在应用上可以延伸到其他的修改、变化、应用和实施例，同时认为所有这样的修改、变化、应用、实施例都在本发明的范围内。例如，流程图中信号实际位置以及相关预测位置均可以变化，其中一些步骤(或轨迹点)可以从流程图中删除或增加。
权利要求
1.一种改善计算机视觉体感输入设备高延迟的方法，该方法可用于屏蔽手势输入控制的光标在显示终端屏幕上出现的卡顿和跳跃现象，使光标输出轨迹连续平滑，所述方法包含: 步骤1，读取和存储通过计算机视觉处理后生成的延时离散控制信号； 步骤2，根据读取的延时离散控制信号，采用预测算法得到预测控制信号； 步骤3，轨迹预测模块根据已有控制轨迹和预测控制信号计算得到新一段的预测控制轨迹； 步骤4，读取新一段的预测控制轨迹，该新一段的预测控制轨迹与已有控制轨迹形成该光标最新的连续的控制轨迹。
2.根据权利要求1所述的改善计算机视觉体感输入设备高延迟的方法，其特征在于，所述延时离散控制信号和预测控制信号，包括: 能够转换为屏幕光标位置坐标的标识；或 能够转换为屏幕上非光标类受控运动物体的位置坐标的标识。
3.根据权利要求1所述的改善计算机视觉体感输入设备高延迟的方法，其特征在于，所述已有控制轨迹和新一段预测控制轨迹，包括: 实际屏幕光标移动轨迹；或 实际屏幕上非光标类受控运动物体的移动轨迹。
4.根据权利要求1 所述的改善计算机视觉体感输入设备高延迟的方法，其特征在于，所述延时离散控制信号和预测控制信号，还包括可以含有与此信号相关的时间标识。
5.根据权利要求1所述的改善计算机视觉体感输入设备高延迟的方法，其特征在于，所述预测控制信号为依据延时离散控制信号，产生的一个或若干个预测控制信号。
6.一种改善计算机视觉体感输入设备高延迟的系统，该系统可用于屏蔽手势输入控制的光标在显示终端屏幕上出现的卡顿和跳跃现象，使光标输出轨迹连续平滑，所述系统包括: 信号采集模块，采集至少一个利用计算机视觉生成的延时离散控制信号； 信号预测模块，依据信号预测算法，根据信号采集模块收集的延时离散控制信号，得到预测控制信号； 轨迹预测模块，依据轨迹预测算法，根据已有控制轨迹和预测控制信号结合算法产生新一段的预测控制轨迹；和 轨迹输出模块，按照某种时间间隔，在下一个延时离散控制信号到来之前，输出新一段的预测控制轨迹，该新一段的预测控制轨迹与已有控制轨迹形成连续的光标控制轨迹。
7.根据权利要求6所述的改善计算机视觉体感输入设备高延迟的系统，其特征在于， 所述信号采集模块与轨迹输出模块分别设置有存储单元，所述信号采集模块存储用来预测的输入的延时离散控制信号，所述轨迹输出模块存储部分或全部已有控制轨迹。
8.根据权利要求6所述的改善计算机视觉体感输入设备高延迟的系统，其特征在于， 所述信号预测算法采用线性插值算法或拉格朗日插值算法进行外插值； 所述轨迹预测算法采用线性插值算法或拉格朗日插值算法进行内插值。
全文摘要
本发明提供了一种改善计算机视觉体感输入设备高延迟的方法及系统，该方法可用于屏蔽手势输入控制的光标在显示终端屏幕上出现的卡顿和跳跃现象，使光标输出轨迹连续平滑，所述方法包含步骤1，读取和存储通过计算机视觉处理后生成的延时离散控制信号；步骤2，根据读取的延时离散控制信号，采用预测算法得到预测控制信号；步骤3，轨迹预测模块根据已有控制轨迹和预测控制信号计算得到新一段的预测控制轨迹；步骤4，读取新一段的预测控制轨迹，该新一段的预测控制轨迹与已有控制轨迹形成该光标最新的连续的控制轨迹。所述系统包括信号采集模块，信号预测模块，轨迹预测模块和轨迹输出模块。本发明改善较大延迟导致的光标移动卡顿、跳跃问题。
文档编号G06F3/01GK103076874SQ201110329550
公开日2013年5月1日 申请日期2011年10月26日 优先权日2011年10月26日
发明者张辉, 王健飞, 桓自强, 李长路, 郭志川 申请人:中国科学院声学研究所