专利名称：在视频压缩编码过程中实现目标轨迹跟踪的方法
技术领域：
本发明涉及人机交互领域，特别涉及一种在视频压缩编码过程中实现目标轨迹跟 踪的方法。
背景技术：
人机交互，作为沟通人与设备之间的桥梁，已广泛应用于视频会议、虚拟现实、医 疗监控等多个领域。传统的人机交互设备包括键盘、鼠标、手写板、触摸板等，但是这些交互 模式还停留在二维阶段，例如在进行视频会议时，只能在固定位置通过白板完成会议文字 的交互，并且对白板的操作还处于比较原始的鼠标和键盘阶段。而随着传感器技术的发展 (如微电子机械技术的日益成熟)以及传感器价格的下降，加速度计、陀螺仪等传感设备已 经从传统的专用领域(如国防，航空，航天等领域)向其它领域渗透。传感器技术在人机交 互领域同样得到了应用，这使得人机交互从传统的二维空间向三维空间发展。这种新的人 机交互方式不仅为使用者解除空间和线缆的束缚，并且能够支持输入各种形状图案和文字 数字信息，以增加会议双方的信息互动。传感器技术应用在人机交互领域中所带来的变革之一是新型的空中轨迹输入方 式。空中轨迹输入的关键是如何能够尽快准确检测出被跟踪目标(比如输入笔)的轨迹， 目标轨迹跟踪是行为识别、文字识别的基础。目前传统的目标轨迹跟踪主要有2种方式(1)、首先利用专门的目标识别算法检测出图像中的特定目标，例如基于视觉的色 度直方图方法，然后对视频序列中的所有图像分别操作以形成最终的跟踪轨迹。(2)、除视频编码系统外另加一套轨迹跟踪系统，由该轨迹跟踪系统专门检测和跟 踪特定目标，例如基于传感器的惯性导航系统。在第一种方式中，仅仅利用摄像机所获取的视频序列中的图像信息实现目标轨迹 跟踪，但该方式中所采用的基于视觉的轨迹跟踪算法的复杂度普遍较高，为了达到较高的 识别率，通常采用全局搜索的方法在图像中匹配被跟踪目标，由于所要搜索的范围过大，因 而实时性较差，对硬件性能的要求也较高。在第二种方式中，不需要利用摄像机所获取的视 频序列中的图像信息，而是直接利用了轨迹跟踪系统所提供的信息，该方式虽然可以直接 实现目标轨迹跟踪，提高了实时性，但同时增加了系统的硬件设备，加大了系统的复杂度与 成本。
发明内容
本发明的目的是克服现有的目标轨迹跟踪方法复杂度高、实时性差，或者系统复 杂度高、成本高的缺陷，从而提供一种在视频压缩编码过程中实现目标轨迹跟踪的方法，被 跟踪目标上安装有能够捕获实时三维运动数据的运动传感器；该方法包括步骤1)、提取待压缩编码的视频序列的全局参数，计算被跟踪目标的实时三维运 动数据；其中，所述全局参数为与所述视频序列整体有关的参数；所述三维运动数据为被 跟踪目标在空间三个方向的转动角度以及被跟踪目标的大致运动位移；
步骤2)、对所述视频序列中的非关键图像进行压缩编码，在压缩编码的同时根据 所述全局参数、被跟踪目标的实时三维运动数据以及压缩编码参数计算出被跟踪目标在所 述非关键图像中的大致位置与重点搜索区域，根据所述大致位置与重点搜索区域搜集所述 非关键图像的宏块中与被跟踪目标的准确位置相关的块；其中，所述非关键图像为需要参 考前帧或后帧图像才能进行编解码的图像；步骤3)、由所述与被跟踪目标的准确位置相关的块计算出被跟踪目标在所述非关 键图像中的准确位置。 上述技术方案中，还包括计算被跟踪目标在所述视频序列的关键图像中的准确位 置的步骤；以及将被跟踪目标在所述视频序列中所有关键图像与非关键图像中的准确位置连接 起来，形成被跟踪目标的运动轨迹的步骤；其中，所述关键图像为能够利用本帧图像中的信息进行编解码的图像。上述技术方案中，所述的全局参数包括摄像头到目标输入平面的距离d、摄像头俯 仰角P、摄像头捕获图像的水平分辨率w和垂直分辨率h、所述运动传感器的转动半径1、与 搜索范围相关的感知数据误差ε、被跟踪目标在前一参考图像中的准确位置PLpra;所述三 维运动数据包括被跟踪目标沿输入平面两个坐标的转动角β γ和β P，以及被跟踪目标的大 致运动位移S= (Sx, Sy)；其中，
权利要求
一种在视频压缩编码过程中实现目标轨迹跟踪的方法，其特征在于，被跟踪目标上安装有能够捕获实时三维运动数据的运动传感器；该方法包括步骤1)、提取待压缩编码的视频序列的全局参数，计算被跟踪目标的实时三维运动数据；其中，所述全局参数为与所述视频序列整体有关的参数；所述三维运动数据为被跟踪目标在空间三个方向的转动角度以及被跟踪目标的大致运动位移；步骤2)、对所述视频序列中的非关键图像进行压缩编码，在压缩编码的同时根据所述全局参数、被跟踪目标的实时三维运动数据以及压缩编码参数计算出被跟踪目标在所述非关键图像中的大致位置与重点搜索区域，根据所述大致位置与重点搜索区域搜集所述非关键图像的宏块中与被跟踪目标的准确位置相关的块；其中，所述非关键图像为需要参考前帧或后帧图像才能进行编解码的图像；步骤3)、由所述与被跟踪目标的准确位置相关的块计算出被跟踪目标在所述非关键图像中的准确位置。
2.根据权利要求1所述的在视频压缩编码过程中实现目标轨迹跟踪的方法，其特征在 于，还包括计算被跟踪目标在所述视频序列的关键图像中的准确位置的步骤；以及将被跟踪目标在所述视频序列中所有关键图像与非关键图像中的准确位置连接起来， 形成被跟踪目标的运动轨迹的步骤；其中，所述关键图像为能够利用本帧图像中的信息进行编解码的图像。
3.根据权利要求1或2所述的在视频压缩编码过程中实现目标轨迹跟踪的方法，其特 征在于，所述的全局参数包括摄像头到目标输入平面的距离d、摄像头俯仰角^、摄像头捕 获图像的水平分辨率w和垂直分辨率h、所述运动传感器的转动半径1、与搜索范围相关的 感知数据误差ε、被跟踪目标在前一参考图像中的准确位置PLpra;所述三维运动数据包括 被跟踪目标沿输入平面两个坐标的转动角β γ和β P，以及被跟踪目标的大致运动位移S = (Sx，Sy)；其中，
4.根据权利要求3所述的在视频压缩编码过程中实现目标轨迹跟踪的方法，其特征在 于，所述的步骤2)包括步骤2-1)、依次提取非关键图像中的宏块，对每一个宏块执行以下步骤； 步骤2-2)、对当前宏块进行压缩编码，在压缩编码过程中由当前宏块切分而成的各个 块的编码参数中提取中间数据；所述中间数据包括当前块在所在图像的水平位置i和垂 直位置j、搜索范围r、当前块的搜索区域SW、当前块运动估计后的运动矢量MV ；步骤2-3)、根据所述的全局参数、实时三维运动数据以及所述中间数据计算出被跟踪 目标在当前非关键图像的大致位置AL和重点搜索区域KA ； AL =
5.根据权利要求1或2所述的在视频压缩编码过程中实现目标轨迹跟踪的方法，其特 征在于，所述的步骤3)包括将同一幅非关键图像中相邻的与被跟踪目标的准确位置相关的块拼接起来，形成若 干个块组，取面积最大的块组所形成的区域作为被跟踪目标在所述非关键图像中的准确位 置。
全文摘要
本发明提供一种在视频压缩编码过程中实现目标轨迹跟踪的方法，被跟踪目标上安装有能够捕获实时三维运动数据的运动传感器；该方法包括提取待压缩编码的视频序列的全局参数，计算被跟踪目标的实时三维运动数据；对所述视频序列中的非关键图像进行压缩编码，在压缩编码的同时根据所述全局参数、被跟踪目标的实时三维运动数据以及压缩编码参数计算出被跟踪目标在所述非关键图像中的大致位置与重点搜索区域，根据所述大致位置与重点搜索区域搜集所述非关键图像的宏块中与被跟踪目标的准确位置相关的块；由所述与被跟踪目标的准确位置相关的块计算出被跟踪目标在所述非关键图像中的准确位置。本发明实时性高、适用范围广；实现简单；可靠性强。
文档编号H04N7/26GK101986242SQ20101053468
公开日2011年3月16日 申请日期2010年11月3日 优先权日2010年11月3日
发明者胡明清, 邢云冰, 陈益强, 黄启友 申请人:中国科学院计算技术研究所