专利名称：一种交互式的视频运动物体消除方法
技术领域：
本发明涉及多媒体应用和视频数据处理领域，尤其涉及一种交互式的视频 运动物体消除方法。
背景技术：
从摄像机运动状态下拍摄的视频序列中消除运动物体在军事和民用领域都 有广泛的应用，人们能够从真实场景中排除运动物体的干扰，快速获取周围环 境信息。目前还不存在一个通用的算法可以有效做到从视频序列中消除运动物 体，但随着多媒体及视频处理技术的发展，出现了许多新的方法。
根据运动消除算法中用到的视频序列运动信息的不同可以将视频运动消除 算法分为两类以空间同性为准则的运动消除算法的大致步骤是先用形态学滤 波器或其他滤波器对图像作预处理，然后对该图像的亮度、色度或其他信息作 空间上的分离并对区域作边缘检测，之后通过KLT等光流方法作运动估计，并 合并相似的运动区域以得到最终的分离结果；以变化检测为准则的运动消除算 法主要通过计算帧差来检测图像上的变化区域和不变区域，将运动物体与静止 背景进行分离。为降低噪声的干扰，通常利用相邻两帧检测变化区域。
根据算法中用到的时空信息的不同可以将视频运动物体消除算法分为时域 分离，空间分离，时空联合分离等。时域分离是利用前、后帧的图像信息进行 分离。因为背景通常具有与前景不同的运动，通过变化检测。即可得到运动对 象的大致区域。然而，由于运动信息的复杂性，时间分离往往只能得到大致准 确的对象边界；空间分离则可以得到准确的对象边界，但很难自动得到语义对 象区域。分水岭算法是一种常见的空间分离技巧。但它有一个内在的缺陷对 梯度噪声非常敏感，通常导致过分离；时空分离的融合是当前的研究热点之一。 常见的方法是对多个特征采用马尔可夫模型建模，然后进行优化求解，其缺点 是需要的计算量大。时空联合分离方法强调利用空间信息来修正和增强时域分 离结果，由于它既利用了帧间时域上的强相关性信息，又利用了帧内空间上的 特征，能够取得较好的分离效果。
静态图像修复作为一项用来修复局部损坏图像的技术，在最近几年受到了 很多关注。静态图像修复在很多领域有广泛的应用，比如从图像或视频帧中去 除字幕或商标，扫描移除图像划痕或污点并添加人工修复效果等。大多数的图 像修复算法是这样工作的首先用手工的方式选择需要修复的图像区域，然后通过各种方法使得图像颜色信息从要修复的区域边界向里传递，例如将已有的 图像信息填充到缺失的区域中。为了能够产生视觉真实的重建效果，图像修复 技术应该尽量使重建区域中的等照线(相等灰度的线)平滑连续。换句话说， 重建区域修复后我们可以根据修复的图像灰度和梯度值推测区域外面的灰度和
梯度值。常见的图像修复算法有Tdea算法等。
发明内容
本发明的目的是解决从摄像机运动状态下拍摄的普通视频中消除运动物体 的问题，提供一种交互式的视频运动物体消除方法。 交互式的视频运动物体消除方法包括以下步骤
1) 采用人机交互的方式标注视频运动信息，标注视频中运动物体的矩形包 围盒，把要消除的运动物体信息从视频序列中分离出来；
2) 通过计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄 像机的运动补偿；
3) 将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像 素覆盖；
4) 采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图 像修复处理，得到最终运动消除后的视频帧结果。
所述计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像 机的运动补偿步骤程序自动选择代表视频背景图像特征的点作为光流跟踪算 法的跟踪点，通过光流算法得到特征点在两帧视频图像间的位置对应关系，通 过设定光流平均值的偏差阈值将奇异光流值去除，然后通过插值方法得到视频 帧图像每个点的光流大小，将所有视频帧的背景都统一到当前帧的位置，从而 实现摄像机的运动补偿。
所述将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景 像素覆盖步骤假设要消除第K帧视频图像的运动物体，对该帧每个运动物体 维护一个像素矩阵记录该位置的背景像素值，初始化为-1，选取从第K+1和K-1 帧开始的6-8帧图像，通过检测摄像机运动补偿后的视频帧中对应位置是否在标 注的矩形包围盒内判断该像素是否是背景，如果像素矩阵中的位置还没有被相 应位置的背景像素填充，则将背景像素值填充到像素矩阵中。
所述采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图 像修复处理当运动物体相对于背景位移不明显时，步骤3)中填充背景像素的
方法不能将像素矩阵全部填满，得到的是一张部分背景像素缺失的图像，可以根据图像缺损的位置标记和缺损图像周围已知的像素值修复图像，将完整的背 景图像恢复出来，从而得到运动物体消除后的视频帧。
本发明解决了普通视频中运动物体消除的问题。该方法不同于其他运动消 除算法不要求摄像机在拍摄视频过程中固定，拍摄视点和视角是可以变化的； 加入人机交互，从视频序列中初步分离出运动物体，提高了计算摄像机运动补 偿结果的稳定性；加入静态图像修复算法，克服了由于背景信息不充分导致的 运动物体部分内容无法消除的缺点。该方法适合于消除背景信息丰富的视频运 动物体。
图1是人机交互方式标注视频运动物体矩形包围盒；
图2是本发明的效果图，图中l是输入的原始视频帧，2是运动物体消除后 的视频帧，3是静态图像修复算法之前的消除结果，4是静态图像修复算法之前 未被消除的运动物体的位置标记。
具体实施例方式
交互式的视频运动物体消除方法包括以下步骤-
1) 采用人机交互的方式标注视频运动信息，如图1所示，标注视频中运动 物体的矩形包围盒，把要消除的运动物体信息从视频序列中分离出来，由于一 开始就把要消除的运动物体信息从视频序列中分离出来，去除了运动物体对背 景图像配准过程的影响，提高了计算摄像机运动补偿结果的稳定性。
2) 通过计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄 像机的运动补偿，程序自动选择代表视频背景图像特征的点作为光流跟踪算法 的跟踪点，通过光流算法得到特征点在两帧视频图像间的位置对应关系，因为 背景光流的存在是由摄像机的全局运动产生的，光流值应该在方向和数值上趋 于一致，本方法通过设定光流平均值的偏差阈值将奇异光流值去除，然后通过 插值方法得到视频帧图像每个点的光流大小，将所有视频帧的背景都统一到当 前帧的位置，从而实现摄像机的运动补偿。
3) 将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像 素覆盖，(如图2中的3和4)。假设要消除第K帧视频图像的运动物体，对该 帧每个运动物体维护一个像素矩阵记录该位置的背景像素值，初始化为-1，选取 从第K+l和K-l帧开始的6-8帧图像，通过检测摄像机运动补偿后的视频帧中 对应位置是否在标注的矩形包围盒内判断该像素是否是背景，如果像素矩阵中 的位置还没有被相应位置的背景像素填充，则将背景像素值填充到像素矩阵中。
54)采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图 像修复处理，得到最终运动消除后的视频帧结果。当运动物体相对于背景位移 不明显时，步骤3)中填充背景像素的方法不能将像素矩阵全部填满，得到的是 一张部分背景像素缺失的图像，可以根据图像缺损的位置标记和缺损图像周围 已知的像素值修复图像，将完整的背景图像恢复出来，从而得到运动物体消除 后的视频帧。
实施例
本发明可以用来从摄像机运动状态下拍摄的普通视频中消除运动物体。下
面详细说明该实例实施的具体步骤，如下
1) 采用人机交互的方式标注视频运动信息
将拍摄的视频以图片的格式载入系统，手工标注物体运动信息，即运动物 体矩形包围盒信息(如图1)。
2) 通过计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄
像机的运动补偿。选择使用KLT光流算法来实现步骤2)。首先根据KLT光流 算法的原理自动选择代表视频背景图像特征的点作为算法的跟踪点，通过KLT 光流算法计算得到特征点在两帧视频图像间的位置对应关系。因为背景光流的 存在是由摄像机的全局运动产生的，它们应该在方向和数值上趋于一致，该方 法通过设定光流平均值的偏差阈值将奇异光流值去除，然后通过插值方法得到 视频帧图像每个点的光流大小，即视频帧之间背景位置的对应关系。将所有视 频帧的背景都统一到当前帧的位置，便实现了摄像机的运动补偿。在该步骤中 需要设置特征点选取参数，光流算法参数，光流奇异值去除的阈值参数，光流 插值参数等。
3) 将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像 素覆盖。初始化视频帧中运动物体包围盒中的像素值为-l，按照最近优先的原则， 依次用相邻帧的对应背景像素覆盖运动物体(如图2中的3和4)。
4) 采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图 像修复处理，得到最终运动消除后的视频帧结果。选择Telea图像修复算法修复 步骤3)中未能消除的运动物体，通过设置Tdea算法的相关参数，运行该算法 得到最后的运动物体消除视频帧结果(如图2中的2)。
权利要求
1.一种交互式的视频运动物体消除方法，其特征在于包括以下步骤1)采用人机交互的方式标注视频运动信息，标注视频中运动物体的矩形包围盒，把要消除的运动物体信息从视频序列中分离出来；2)通过计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像机的运动补偿；3)将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像素覆盖；4)采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图像修复处理，得到最终运动消除后的视频帧结果。
2. 根据权利要求1所述的一种交互式的视频运动物体消除方法，其特征在 于，所述计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像 机的运动补偿步骤程序自动选择代表视频背景图像特征的点作为光流跟踪算 法的跟踪点，通过光流算法得到特征点在两帧视频图像间的位置对应关系，通 过设定光流平均值的偏差阈值将奇异光流值去除，然后通过插值方法得到视频 帧图像每个点的光流大小，将所有视频帧的背景都统一到当前帧的位置，从而 实现摄像机的运动补偿。
3. 根据权利要求1所述的一种交互式的视频运动物体消除方法，其特征在 于，所述将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景 像素覆盖步骤假设要消除第K帧视频图像的运动物体，对该帧每个运动物体 维护一个像素矩阵记录该位置的背景像素值，初始化为-1，选取从第K+1和K-1 帧开始的6-8帧图像，通过检测摄像机运动补偿后的视频帧中对应位置是否在标 注的矩形包围盒内判断该像素是否是背景，如果像素矩阵中的位置还没有被相 应位置的背景像素填充，则将背景像素值填充到像素矩阵中。
4. 根据权利要求1所述的一种交互式的视频运动物体消除方法，其特征在 于，所述采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图 像修复处理当运动物体相对于背景位移不明显时，步骤3)中填充背景像素的 方法不能将像素矩阵全部填满，得到的是一张部分背景像素缺失的图像，根据 图像缺损的位置标记和缺损图像周围已知的像素值修复图像，将完整的背景图 像恢复出来，从而得到运动物体消除后的视频帧。
全文摘要
本发明公开了一种交互式的视频运动物体消除方法。本发明采用人机交互方式标注视频运动信息，通过计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像机的运动补偿；将运动补偿后的视频帧里的运动物体用相邻帧对应位置的背景图像替换，同时结合静态图像修复算法，解决了普通视频中运动物体消除的问题。该方法不同于其他运动消除算法不要求摄像机在拍摄视频过程中固定，拍摄视点和视角是可以变化的；加入人机交互，从视频序列中初步分离出运动物体，提高了计算摄像机运动补偿结果的稳定性；加入静态图像修复算法，克服了由于背景信息不充分导致的运动物体部分内容无法消除的缺点。该方法适合于消除背景信息丰富的视频运动物体。
文档编号G06T7/20GK101321241SQ20081006301
公开日2008年12月10日 申请日期2008年7月4日 优先权日2008年7月4日
发明者飞 吴, 庄越挺, 王叶钧, 郭同强, 铭 陈 申请人:浙江大学