专利名称：3g移动终端上的视觉跟踪交互界面设计方法
技术领域：
3G移动终端上的视觉跟踪交互界面设计方法，属于计算机应用技术领域中机器视 觉技术方向。本发明涵盖了计算机视觉中的图像、视频处理技术与增强现实中的3D交互技 术。
2.
背景技术：
目前，手机的视频处理子系统设计方案已经较为成熟，但对于复杂的视觉处理算 法仍然略显不足，无法在移动终端应用中获得实时性交互效果。美国TI公司2008年推出 的TMS320DM6467是基于达芬奇技术的数字媒体处理器，该芯片集成了 ARM9内核、C64x+DSP 内核、高清晰度视频/影像协处理器(HD-VICP)、视频数据转换引擎和目标视频端口接口， 其主旨在于解决商业和消费类市场(包括媒体网关、多点控制单元、数字媒体适配器、用于 安全市场的数字视频服务器、录像机和IP机顶盒)面临的各种HD代码转换的难题，是适 用于范围极为广泛的数字视频终端设备，其性能是原处理器的10倍，但价格却只有原来的 1/10。本发明通过采用基于双核的TMS3 20DM6467芯片分担视觉运动跟踪识别算法的开 销，在移动平台上获得了交互的实时性。
3.
发明内容
3G移动终端上的视觉跟踪交互界面设计方法的主要难点包括TMS320DM6467的 接口设计、用户肢体视觉运动跟踪的实现、用户肢体交互语义的识别、应用实例的交互语义 驱动，以及视觉交互算法开销在多核处理器上的任务划分等几个方面。技术方案基于视觉的用户肢体运动跟踪交互技术，利用移动平台上的摄像头等 设备获取肢体运动的图像序列，通过视觉算法提取肢体静态或动态特征、识别肢体的姿态 或动作，从而理解用户的意图实现人机交互。其中，运动跟踪过程基于自适应背景减除算法 实现，由于有运动物体出现的区域与背景图像的亮度差较大，因此不用处理色度信号，利用 图像的亮度信息就已足够，这样就提高了系统处理速度，此过程运行于DSP/ARM之一内核 上；运动轨迹提取采用图像处理方法，以延时神经网络TDNN在时域上进行运动分类，同时， 提取轨迹特征点并作为匹配对象在特征库中检索，获取的检索结果将指向预定义的交互语 义，此过程将运行于ARM/DS P之一内核上。通过上述处理，缓存中的数据处理速度将得到 极大提高。有益效果利用人肢体的运动、姿势与3G手机进行交互更为自然，本发明通过采 用基于DSP+ARM9双核的TMS 320DM6467芯片分担视觉运动跟踪识别算法的开销，在移动平 台获得了交互的实时性。本发明在3G移动终端智能交互、娱乐游戏和穿戴计算等领域有广 泛的应用前景。
4.
如图1为3G移动终端上的视觉跟踪交互界面硬件设计原理示意图，如图2为3G移动终端上的视觉跟踪交互界面软件算法处理过程示意图，其处理过程划分为两个阶段， 分别运行于DSP/AR M上。
5.
具体实施例方式结合示图做详细说明如下。如图1硬件原理设计图，手机视频处理子系统设计过程中，参照TMS320DM6467接 口说明设计好缓存、DMA、中断间的电路，然后移植Symbian或Window Mobile操作系统以 及应用程序，比如OpenG L ES和OpenCV。参照如图2，建立对应的应用程序，并将对应功能 函数建立多进程或多线程。整个运动跟踪识别过程可基于OpenCV建立，并运行于后台，前 台程序可基于OpenGL ES建立三维场景应用，通过调用由后台获取的运动交互语义可驱动 三维场景交互如漫游、抓取虚拟对象等，由此可判断本发明的有效性。若后台程序由OpenG L ES建立虚拟对象，前台程序由Ope nCV建立现实场景，并将后台程序中的虚拟对象渲染 叠加至前台现实场景中则为增强现实应用，同样可判断本发明的有效性。此外，在二维应用 中，如加解锁、开关机等交互过程可直接调用运动跟踪得到的视觉语义信号作为交互媒介。
权利要求
3G移动终端上的视觉跟踪交互界面设计方法其特征在于，3G移动终端视频处理子系统中的数字信号处理器，采用多核处理器以实现复杂交互算法的实时性。
2.根据权利要求1所述的3G移动终端上的视觉跟踪交互界面设计方法，其特征在于对 于实时视频的处理算法，将其划分为多个阶段性计算任务分散到多核处理器上。
3.根据权利要求1所述的3G移动终端上的视觉跟踪交互界面设计方法，其特征在于 3G移动终端上的交互主体以肢体语言作为交互输入信号。
4.根据权利要求1所述的3G移动终端上的视觉跟踪交互界面设计方法，其特征在于 3G移动终端上的交互客体以识别出的肢体语言作为交互语义指令输出到被驱动应用实例。
全文摘要
3G移动终端上的视觉跟踪交互界面设计方法是机器视觉技术在3G移动终端上的应用。利用人肢体的运动和姿势与3G手机进行交互是很自然的，但传统PC平台上的视觉算法计算开销大，无法在移动终端应用中获得实时性交互效果，本发明通过采用基于双核的TMS3 20DM6467芯片分担视觉运动跟踪识别算法的开销，在移动平台获得了交互的实时性。基于视觉的用户肢体运动跟踪交互技术利用移动平台上的摄像头等设备，获取肢体运动的图像序列，通过视觉算法提取肢体静态或动态特征、识别肢体的姿态或动作，从而理解用户的意图实现人机交互。本发明在3G移动终端智能交互、娱乐游戏和穿戴计算等领域有广泛的应用前景。
文档编号G06F3/01GK101888431SQ20091001550
公开日2010年11月17日 申请日期2009年5月13日 优先权日2009年5月13日
发明者王政 申请人:山东省计算中心