视频匹配方法、装置及系统的制作方法

专利名称：视频匹配方法、装置及系统的制作方法
技术领域：
本发明涉及视频领域，特别是涉及一种视频匹配方法、装置及系统。
背景技术：
立体(3D)视频基于人的双目视差原理，通过双摄像机获取同一场景但略 有差异的两幅图像，分别显示给人的左眼和右眼，形成双目视差，从而使人 获得场景深度信息并体验到立体感。立体视频技术可以提供符合立体视觉原 理的深度信息，从而能够真实地重现客观世界景象，表现出场景的纵深感、 层次感和真实性，是当前视频技术发展的重要方向。立体视频技术早在七八 十年代就开始有研究，但由于技术不成熟，显示设备昂贵和缺乏标准等原因 一直没有大规模应用。但随着相关技术的完善、设备成本的大幅降低及相关 编解码标准的出台，立体视频技术已越来越接近实用。立体匹配技术，即对 左图像和右图像的匹配，是立体视频的关键技术之一。通过立体匹配建立场 景中的目标在不同图像中成像点之间的对应关系，并结合摄像机的内外参数 和相对位置关系，可以得到场景中目标的深度图。基于场景深度图和原有图 像，立体视频可以合成虚拟视点视图，使用户在观看立体视频时，从不同视 点可以观看到不同的视频内容，并且这些视频内容与从真实场景中对应的观 看视点观看到的内容一致，从而使用户获得更好的真实感和临场感。
目前，用于普通立体图像匹配的立体匹配技术虽然通过部分算法已经可 以获得较准确的场景深度图，但该部分算法较为复杂，难以满足立体视频匹 配的实时匹配需求，基于普通立体图像匹配技术重构的虚拟视点图像视频闪 烁问题也较为严重。为了解决上述视频闪烁问题，用于匹配立体视频的现有 技术利用背景信息作为参考信息，仅对前景计算深度，用以降低视频重构中的视频闪烁，但是，在实现本发明的过程中，发明人发现该现有技术至少存
在以下问题
该现有技术仅对背景不变的场景有效，当背景发生变化时，利用原有的
背景深度信息重构的虛拟视点图像将发生错误；并且，该现有技术需要提取 完整的前景目标轮廓，处理比较复杂，从而增加了现有技术实现立体视频匹 配的难度。

发明内容
本发明实施例提供一种视频匹配方法、装置及系统，可用于背景变化或
不变化的场景，易于实现视频的快速匹配。
本发明第一方面通过一些实施例提供了一种视频匹配方法，包括 选取视频图像序列中已计算出完整图像深度图的 一个帧作为参考帧； 获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第
二图像相对于参考帧第二图像的变化区域；
匹配并计算当前帧第 一图像变化区域与当前帧第二图像变化区域的深度图。
本发明第 一 方面实施例的视频匹配方法中，利用视频的图像序列之间的 相关性，选择已对完整图像进行匹配和深度图计算的帧作为参考帧，通过检 测当前帧图像相对于参考帧图像的变化区域，仅对当前帧该变化区域重新进 行相应的图像匹配和深度图计算，由于当前帧图像相对于参考帧图像的变化 区域小于完整的当前帧图像，因此明显缩短了当前帧图像的匹配时间，从而 提高视频的匹配速度，实现视频的快速匹配；此外，由于不需要设置原始背 景信息作为参考信息，不需要提取完整的前景目标轮廓，因此，本发明实施 例不仅适用于背景不变的场景，还适用于背景变化的场景，具有易于实现视 频快速匹配的优点。
本发明第二方面通过一些实施例提供了 一种视频匹配装置，包括生成模块，用于选取视频图像序列中已计算出完整图像深度图的 一 个帧 作为参考帧；
检测模块，用于获取当前帧第一图像相对于参考帧第一图像的变化区域， 以及当前帧第二图像相对于参考帧第二图像的变化区域；
匹配与深度图计算模块，用于匹配并计算当前帧第一图像变化区域与当 前帧第二图像变化区域的深度图。
本发明第二方面实施例视频匹配装置中，通过生成模块选择已对完整图 像进行匹配和深度图计算的帧作为参考帧，检测模块检测当前帧图像相对于 参考帧图像的变化区域，匹配与深度图计算模块仅对当前帧该变化区域重新 进行相应的图像匹配和深度图计算，由于当前帧图像相对于参考帧图像的变 化区域小于完整的当前帧图像，因此明显缩短了当前帧图像的匹配时间，从
而提高视频的匹配速度，实现视频的快速匹配；此外，由于不需要设置原始
背景信息作为参考信息，不需要提取完整的前景目标轮廓，因此，本发明实 施例不仅适用于背景不变的场景，还适用于背景变化的场景，具有易于实现 视频快速匹配的优点。
本发明第三方面通过一些实施例提供了 一种视频匹配系统，包括 图像采集装置，用于采集场景成像物体各帧的图像信息； 视频匹配装置，用于根据所述图像采集装置采集的图像信息，选取视频 图像序列中已计算出完整图像深度图的一个帧作为参考帧；获取当前帧第一 图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧 第二图像的变化区域；匹配并计算当前帧第一图像变化区域与当前帧第二图 像变化区域的深度图。
本发明第三方面实施例视频匹配系统中，通过视频匹配装置对图像采集 装置釆集的图像信息进行视频匹配，在视频匹配装置对视频图像序列各帧对 应的图像进行匹配时，仅对当前帧该变化区域重新进行相应的图像匹配和深 度图计算，由于当前帧图像相对于参考帧图像的变化区域小于完整的当前帧图像，因此明显缩短了当前帧图像的匹配时间，从而提高视频的匹配速度，
实现视频的快速匹配；此外，由于不需要设置原始背景信息作为参考信息，
不需要提取完整的前景目标轮廓，因此，本发明实施例不仅适用于背景不变 的场景，还适用于背景变化的场景，具有易于实现视频快速匹配的优点。


图1为本发明视频匹配方法第一实施例的流程图2为本发明视频匹配方法第二实施例的流程图3为本发明视频匹配方法第二实施例变化区域确定方法流程图4为本发明视频匹配装置第一实施例的结构示意图5为本发明视频匹配装置第二实施例的结构示意图6为本发明视频匹配装置第三实施例的结构示意图7为本发明视频匹配系统实施例的结构示意图。
具体实施例方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。 下列各详述实施以视频序列特别是立体视频序列为例说明本发明实施例 的技术方案，其中，立体视频图像序列由二个图像序列(第一图像序列和第 二图像序列)组成，第一图像序列的一个图像帧和第二图像序列对应的一个 图像帧组成立体视频图像序列的 一个复合帧，该复合帧即为本发明实施例中 的一个帧。本发明第一方面实施例提出了一种视频匹配方法。图1为本发明 视频匹配方法第一实施例的流程图。本实施例中，立体视频图像序列每一帧 的图像都包括二幅图像，即参考帧图像包括参考帧第一图像和参考帧第二 图像；当前帧图像包括当前帧第一图像和当前帧第二图像。如图1所示，本 实施例包括
步骤11 、选取立体视频图像序列中计算出完整图像的深度图的 一个帧作为参考帧，即对某一帧第一图像和第二图像完成完整图像的匹配和深
度图计算，得到该帧完整图像深度图的帧可被选取作为参考帧；
步骤12、获取当前帧第一图像相对于参考帧第一图像的变化区域，以
及当前帧第二图像相对于参考帧第二图像的变化区域；
步骤13、匹配并计算当前帧第一图像变化区域和当前帧第二图像变化
区域的深度步骤14、当前帧第一图像非变化区域的深度图继承参考帧图像第一图 像相应区域的深度图；当前帧第二图像非变化区域的深度图继承参考帧图 像第二图像相应区域的深度图。
本实施例利用立体视频的图像序列之间的相关性，选择已对完整图像 进行匹配和深度图计算的帧作为参考帧，通过检测当前帧图像相对于参考 帧图像的变化区域，仅对当前帧该变化区域重新进行相应的图像匹配和深 度图计算，由于当前帧图像相对于参考帧图像的变化区域小于完整的当前 帧图像，因此明显缩短了当前帧图像的匹配时间，从而提高立体视频的匹 配速度，实现立体视频的快速匹配；此外，当前帧图像的非变化区域的深 度图直接从参考帧图像相应的区域继承得到，在立体视频重构时，可显著 降低虚拟视点视频的闪烁问题。由于不需要设置原始背景信息作为参考信 息，不需要提取完整的前景目标轮廓，因此，本实施例不仅适用于背景不 变的场景，还适用于背景变化的场景，具有易于实现立体视频快速匹配的 优点。显然，本领域技术人员也可调整步骤13或步骤14的执行顺序，即 非变化区域的深度图继承参考帧的深度图，可以发生在对变化区域的深度 图进行匹配之前，也可以发生在之后。
图2为本发明^L频匹配方法第二实施例的流程图。本实施例中，当前帧 的左图像和右图像即为本发明当前帧的第一图像和第二图像，参考帧的左图 像和右图像即为本发明参考帧的第一图像和第二图像；或者，当前帧的左图 像和右图像即为本发明当前帧的第二图像和第一图像，参考帧的左图像和右
9图像即为本发明参考帧的第二图像和第一图像。如图2所示，本实施例包括 步骤21、采集立体视频图像序列的第1帧图像，匹配第1帧的左图像和
右图像，计算第1帧的左图像和右图像的深度图； 步骤22、令〗=2，其中，i表示当前帧的序数；
步骤23、选取第i-l帧为参考帧，采集第i帧左图像和右图像，检测第i 帧的左图像相对于第i-l帧左图像的变化区域；其中，i表示当前帧的序数； i-l表示当前帧的前一帧的序数，即为参考帧的序数；
步骤24、根据第i帧左图像和右图像之间的预设最大视差确定与第i帧 的左图像的变化区域相应的第i帧的右图像的变化区域；
步骤25、判断第i帧的左图像的变化区域是否大于预设的门限变化区域， 是则执行步骤28,否则执行步骤26;
步骤26、匹配第i帧左图像的变化区域和第i帧的右图像的变化区域， 计算第i帧左图像该变化区域和第i帧右图像该变化区域的深度步骤27、更新第i-l帧左图像和右图像对应区域的深度图获得第i帧左图 像和右图像的深度图，执行步骤29;
步骤28、匹配第i帧左图像和右图像，计算第i帧左图像和右图像的 深度图，即计算第i帧图像的完整深度步骤29、判断i是否等于n，是则执行步骤211，否则执行步骤210，其 中，i为当前帧的序数，n为立体视频图像序列包含的帧的总数；
步骤210、 i=i+l,执行步骤23;
步骤211、获得各帧左图像和右图像的深度图，完成立体视频匹配流程。 本实施例步骤23中检测当前帧左图像相对于参考帧左图像的变化区域
的方法如图3所示，具体包括
步骤231、将当前帧(第i帧)左图像与参考帧(第i-l帧)左图像分割
成小的子区域，系统检测当前帧左图像与参考帧左图像相应的子区域的灰度
差值；步骤232、判断各子区域的灰度差值是否大于预设门限差值，是则执 行步骤234,否则执行233;
步骤233、系统认可当前帧左图像该子区域相对于参考帧左图像子区 域不产生灰度变化，执行步骤235;
步骤234、系统认可当前帧左图像该子区域相对于参考帧左图像子区 域产生灰度变化；
步骤235、根据当前帧左图像相对于参考帧左图像产生灰度变化的子 区域位置确定当前帧左图像相对于参考帧左图像的变化区域。
在检测当前帧图像相对于参考帧图像的变化区域过程中，用于系统判定 子区域灰度值是否发生变化的门限差值的大小对系统检测变化区域的准确性 具有重要影响。例如如果门限差值设置较大，系统检测到的当前帧左图像 相对于参考帧右图像的变化区域较实际变化区域的范围小；反之，如果门限 差值设置较小，系统检测到的当前帧左图像相对于参考帧右图像的变化区域 较实际变化区域的范围大。优选地，对于8位位深的图像，门限差值可设置 为25。当然，本领域技术人员也可根据实际需要通过实验确定门限差值的最 佳值。
此外，在本实施例技术方案的基础上，本领域技术人员也可根据立体视 频图像序列之间的相关性采用其他方法获得当前帧图像相对参考帧图像的变 化区域。例如对当前帧之前的所有帧各左图像各相应像素点进行像素变化 (该像素变化可具体为像素点的灰度变化、色度变化等变化)求均值处理， 获得当前帧之前的所有帧各左图像对应的均值左图像；并对当前帧之前的所 有帧各左图像的各相应像素点的像素变化进行求均方差处理，求出当前帧之 前的所有帧各左图像像素变化的均方差。此时，系统检测当前帧左图像相对 于均值左图像各相应像素点的像素变化，当当前帧左图像相对于均值左图像 相应像素点的像素变化大于像素变化的均方差时，认为当前帧左图像该像素 点相对于均值左图像相应的像素点发生了变化。采用同样的方法，以当前帧
ii之前的所有帧各左图像像素变化的均方差作为本发明的预设门限差值，系统 可检测出当前帧左图像相对于均值左图像发生变化的各像素点，从而确定当 前帧左图像相对于参考帧左图像的变化区域。当当前帧发生变化时，新当前 帧之前的所有帧各左图像对应的均值左图像进行更新处理，新当前帧之前的 所有帧各左图像像素变化的均方差进行相应的修正。该方法以当前帧之前的 所有帧各左图像像素变化的均方差作为本发明的预设门限差值，来检测当前 帧左图像相对于参考帧左图像的变化区域，从而弱化人为设定门限差值亏1入 的经验误差。当然，本领域技术人员也可采用其他惯常使用的方法确定当前 帧图像相对参考帧图像的变化区域。
本实施例步骤24中根据当前帧的左图像的变化区域确定当前帧的右图 像的相应的变化区域时需要考虑左图像和右图像存在视差的因素，对右图像 的相应的变化区域进行调整匹配。而左图像和右图像的最大视差可根据采集 摄像机的相对位置和拍摄的场景范围预先确定(即确定本发明的预设最大视
差)。例如对于双目平行采集系统，极线矫正后左图像和右图像仅存在水 平视差，不存在垂直视差，并且由于左图像相对于右图像的视差总为正，因 此与左图像变化区域相对应的右图像的变化区域为左图像变化区域中各像素 点向左平移一个最大视差范围后，即为左图像变化区域与右图像的可能匹配 区域，将右图像的相应区域确定为右图像的变化区域。
本实施例步骤25中门限变化区域的设定影响到对当前帧图像进行匹配 和深度计算的复杂度及得到的深度图的实际效果。例如如果门限变化区域 设置较大，则立体视频图像序列的多数帧图像将仅对其相对于参考帧的变化 区域匹配并计算深度图，降低图像匹配和深度计算的算法的复杂性，但是当 场景变化较大时，由于门限变化区域的预设值较大，当前帧图像仅对变化区 域进行匹配和深度计算，降低计算的复杂性；同时当前帧图像中的部分区域 虽然相对参考帧图像已发生了变化，但由于当前区域的颜色一致而无法被检 测出来，该部分区域则通过直接继承参考帧的深度图作为该部分区域的深度图，因此会造成深度图的准确性降低。如果门限变化区域设置较小，当前帧 图像相对参考帧图像的略微变化都会被系统检测出来，使得立体视频图像序 列的多数帧图像需要计算完整图像的匹配和深度计算，导致计算的复杂性， 降低了立体视频匹配的速度。优选地，门限变化区域可设置为图像大小的1/2
至2/3。当然，本领域技术人员也可根据实际需要设定门限变化区域的合理范围。
本实施例利用立体视频的图像序列之间的相关性，选择对完整图像进 行匹配和深度图计算的当前帧的前 一 帧作为参考帧，通过4企测当前帧图像 相对于参考帧图像的变化区域，如果当前帧图像的变化区域小于预设的l'， 限变化区域时，仅对当前帧该变化区域重新进行相应的图像匹配和深度图 计算，而当前帧其他区域的深度图直接通过继承参考帧相应区域的深度图 获得，由于本实施例在该情形下不需要对立体视频图像序列所有帧的完整 图像均进行完整图像的匹配和深度计算，因此减小了需匹配和深度计算的
区域，明显缩短了匹配时间，提高了匹配速度，实现立体视频的快速匹配； 此外，当前帧图像的非变化区域的深度图直接从参考帧图像相应的区域继 承得到，在立体视频重构时，可显著降低虚拟视点视频的闪烁问题。如果 当前帧图像的变化区域大于预设的门限变化区域时，对当前帧完整图像进 行匹配和深度计算；由于本实施例在该情形下当前帧图像的深度信息没有 利用参考帧图像的深度信息，因此，提高了深度图的准确性，特别是当背 景发生变化的场景时提高了立体视频图像的深度图的准确性，使得本实施 例适用于背景变化或背景不变的场景，易于实现立体视频的快速匹配。
在参考帧的选取上，本实施例选取了当前帧的前一帧作为参考帧，由于 立体视频图像序列之间存在相关性，通常当前帧图像和当前帧的前一帧图像 之间的相关性最强，因此选用当前帧的前一帧作为参考帧有利于减小需要匹 配和深度计算的变化区域，提高匹配速度，从参考帧继承得到的深度图也较 为准确。此外，本领域技术人员也可在选用立体视频图像序列的已对完整图像进行匹配并计算深度图后的初始帧或当前帧之前的其他帧作为参考帧的替 代技术方案，其实现立体视频快速匹配的方法与本实施例相似，不再赘述。
在检测当前帧图像相对于参考帧图像的变化区域上，本实施例采用了检 测当前帧左图像相对于参考帧左图像的变化区域，并根据该变化区域确定当 前帧右图像的相对应的变化区域，此外，本领域技术人员还可通过系统检测 立体视频图像序列中当前帧右图像相对于参考帧右图像的变化区域，并根据 该变化区域确定当前帧左图像的相对应的变化区域的替代技术方案，或者， 通过系统分别检测立体视频图像序列中当前帧左图像相对于参考帧左图像的 变化区域、以及当前帧右图像相对于参考帧右图像的变化区域，其实现立体 视频快速匹配的方法与本实施例相似，不再赘述。
立体视频匹配是实现立体视频的一项关键技术。立体视频的重构需要得 到场景目标物体的三维信息，该三维信息中的深度信息需要通过多幅图像中 提取。通过立体视频匹配获取深度信息的关键就是需要找到场景目标点在多 幅图像中的对应成像点，根据场景目标点在多幅图像中的对应成像点坐标求
出奇在空间中的坐标，从而获得该场景目标点的深度信息。
以平行双目摄像机采集系统为例，根据本发明实施例视频匹配方法，从
二幅图像中提取深度信息的原理如下
在平行双目摄像机采集系统中，左摄像机和右摄像机分别拍摄场景目标
某一 帧的左图像和右图像，场景目标点M在左图像和右图像相应点的视差满 足公式(1 ):
X X f
dv(m,,mr) = ~L = ~!~ =— X, xr z
其中，m,、 m,分别为场景目标点M在左图像中的相应点和右图像中的相 应点；x,、 Xf分别为场景目标点M在左图像中的相应点m,和右图像中的相 应点mr的坐标；X,、 Xf分别为x,、 Xf坐标变换后的世界坐木亍；dx(m,，mr)为场 景目标点M在左图像相应点mi和右图像相应点的视差；f为左摄像机和右
14摄像机的焦距；Z为场景目标点M到成像平面之间的距离。
对公式(1 )进行变换，可得公式(2):
其中，B为左摄像机和右摄像机光心的间距。目标场景点M的深度信息 通过公式(3 )进行计算
dx(mpmr)
其中，《(m,，m》可通过匹配场景目标点M的左图像和右图像确定。确定 了dx(m,，mr)后，考虑平行双目摄像机采集系统的系统参数，可根据公式(3) 得到匹配场景目标点M的深度信息。
基于上述原理对立体视频图像序列的某 一 帧图像中的所有点进行图像匹 配和深度计算，可得该帧对应的完整图像的深度图。计算立体视频图像序列 的所有帧对应的图像的深度图后，即可获得该立体视频的场景深度图。基于 该场景深度图和原有图像，立体视频可以合成虚拟视点视图。
下面以基于灰度的窗口匹配算法为例说明采用本发明实施例坤见频匹配方 法从二幅图像中提取深度信息的实现算法
基于灰度的窗口匹配算法的基本思想使将图像分割成小的子区域，以其 灰度值作为模板在其他图像中找到与其最相似灰度值分布的子区域，如果二 个子区域满足相似性要求，则认为该二个子区域中的点是匹配的，否则不匹 配。在匹配过程中，通常使用相关函数衡量二个区域的相似性，基于灰度的 匹配的窗口匹配算法一般都能得到图像的密集的深度图。
设f,(x, y)和f;(x, y)为平行双目摄像系统中左摄像机和右摄像机采集的二 副图像，(x,，y,)为f,(x,y)的一个成像点。以(x,，y,)为中心设定一个大小为mxn的 子区域T，以该子区域T为模板T，在f;(x,y)中平移该模板T。设该模板T在 fr(x,y)中沿水平方向平移Ax ,沿垂直方向平移Ay后，才莫+反T在fF(x,y)中^隻盖的第k个区域为Sk，则Sk和T的相关性可用公式(4)相关函数D(Sk,T)衡量
D(sk ,T)=g [sk (i, j) - T(i,》]2=[sk &加-2$ sk (i, j)T(i, j)+g [iu加
其中,l;l;[T(i,j)]2为子区域T或模板T的能量，为常数;誌[Sk(^)f为
区域的能量，该能量随模板T的变化而变化。
当模板T在ff(x,y)中移动覆盖的多个区域中，如果第k个区域S,与区域T 的相关函数的值最小，即当D(Sk,T)达到最小时，则可设定区域Sk和区域T达 到最佳匹配。如果区域Sk和区域T完全相同，则D(Sk，T"0。如果区域S,和区
域t不完全相同，但变化范围较小，；^l;[Sk(i，j)]2也近似为常量，此时为使得
D(Sk,T)的值最小，则应该取l;l;Sk(i,j)T(i,j)为最大值。
在实际匹配过程中，亮度差异会引起误匹配。此处采用归一化交叉相关
算法(Normalized Cross Correlation, NCC )消除亮度差异引起的误匹配，区 域S,和区域T的相关函数可表示为公式(5):
f;力Sk(i,j)-E(Sk)||T(i,j) —E(T)| 提^ [Sk (i, j) - E(Sk )]2 # $ [T(i, j) — E(T)]2
其中，E(SJ和E(T)分别子区域Sk和子区域T的平均灰度值。Ax和Ay分 别为二副图像f,(x, y)和fF(x, y)之间的水平视差和垂直视差。当模板T在f;(x， y) 中移动覆盖的多个区域中，如果第k个区域Sk与区域T的相关函数C(Ax,Ay)的 值最小，则可认为f,(x,y)中成^象点(x,，y,)与fr(X,y)中成像点(x,+Ax ,y,+Ay)匹 配。
针对于平行双目摄像系统，由于垂直视差近似为0，水平视差可以表示 为AFd,(m,，rrv卜竺，从而可以求出某个场景目标点对应的的深度信息为Z= ffl =且。 dx (m,, mr) Ax
通过上述原理分析和算法举例可知，采用本发明实施例-现频匹配方法对 图像进行匹配后进行深度计算可以获得立体视频图像各帧对应的图像完整区
域深度信息；或者，对图像进行匹配后进行深度计算获得各帧对应的图像局 部的变化区域深度信息，非变化区域的深度信息直接继承相应参考帧中相应 区域的深度信息，从而获得各帧对应的图像的深度图，实现立体视频的匹酉己。 由于立体视频图像序列中多数帧对应的图像需要进行匹配和深度计算的变化 区域小于完整图像，因此明显缩短了匹配时间，提高匹配速度，实现立体视 频的快速匹配。其次，当前帧非变化区域的深度信息直接继承参考帧相应区 域的深度信息，显著降低立体视频在重构时虚拟视点视频的闪烁问题。
本发明第二方面实施例提出了一种视频匹配装置。图4为本发明视频匹 配装置第一实施例的结构示意图。如图4所示，本实施例包括生成模块201、 检测模块202和匹配与深度图计算模块203,其中，
生成模块201用于选取视频图像序列中计算出完整图像的深度图的一 个帧作为参考帧；
检测模块202用于获取当前帧第 一图像相对于参考帧第 一图像的变化 区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；
匹配与深度图计算模块203用于匹配并计算当前帧第一图像变化区域 与当前帧第二图像变化区域的深度图。
本实施例通过生成模块选择已对完整图像进行匹配和深度图计算的帧 作为参考帧，检测模块获取当前帧图像相对于参考帧图像的变化区域，匹
配与深度图计算模块仅对当前帧该变化区域重新进行相应的图像匹配和 深度图计算，由于当前帧图像相对于参考帧图像的变化区域小于完整的当 前帧图像，因此明显缩短了当前帧图像的匹配时间，从而提高立体视频的 匹配速度，实现立体^L频的快速匹配。
17图5为本发明视频匹配装置第二实施例的结构示意图。如图5所示，本 实施例与本发明视频匹配装置第一实施例的区别在于，本实施例中，匹配与 深度图计算才莫块203具体包括判断单元2031、完全匹配单元2032和局部 匹配单元2033，其中
判断单元2031用于判断检测模块202获得的变化区域是否大于预设 的门限变化区域，当该变化区域大于门限变化区域时向完全匹配单元2032 输出完全匹配的控制命令；反之，当该变化区域小于或等于门限变化区域 时向局部匹配单元2033输出局部匹配的控制命令；
完全匹配单元2032用于当接收到判断单元2031输出的完全匹配的控 制命令时，匹配并计算当前帧第一图像与当前帧第二图像的深度图，即匹 配并计算当前帧完整图像的深度局部匹配单元2033用于当接收到判断单元2031输出的局部匹配的控 制命令时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区 域的深度图；当前帧第 一 图像非变化区域的深度图继承参考帧图像第 一 图 像相应区域的深度图，和/或当前帧第二图像非变化区域的深度图继承参考 帧图像第二图像相应区域的深度图。
本实施例通过判断单元比较当前帧图像相对于参考帧图像的变化区 域与预设的门限变化区域的大小，根据比较结果指示完全匹配单元进行完 整图像的匹配和深度计算；或者指示局部匹配单元对变化区域对应的图像 进行匹配和深度计算，非变化区域对应的当前帧图像的深度信息通过继承 参考帧图像相应区域的深度信息获得。由于本实施例充分利用立体视频图 像序列连续帧之间的相关性，根据当前帧相对参考帧变化的程度结合采取 了完整图像或局部图像的匹配。在本实施例进行局部匹配时，减少了需匹 配和深度计算的区域，明显缩短了匹配时间，提高了匹配速度，实现立体 视频的快速匹配；此外，对当前帧图像的非变化区域的深度图直接从参考 帧图像相应的区域继承得到，因此在立体视频重构时，可显著降低虚拟视点视频的闪烁问题。由于本实施例当前帧图像相对参考帧图像变化范围较 大时，采用完整匹配的方式对完整图像进行匹配和深度计算，使得本实施 例提高了背景发生变化大的场景的深度图的准确性，使得本实施例适用于 背景变化或背景不变的场景，易于实现立体视频的快速匹配。
图6为本发明视频匹配装置第三实施例的结构示意图。在常见的图像釆
集系统，如双目平行摄像系统中，立体视频图像序列中的某一帧对应的图 像包括二幅图像第一图像和第二图像，其中，第一图像和第二图像可分别 为左摄像机拍摄的左图像和右摄像机拍摄的右图像；或者，第一图像和第二 图像可分别为右摄像机拍摄的右图像和左摄像机拍摄的左图像。如图6所示， 本实施例与本发明视频匹配装置第二实施例的区别在于，本实施例中，检测 模块202包括第 一单元2021 、第二单元2022、第三单元2023和第四单元2024, 其中
第一单元2021用于检测当前帧第一图像与参考帧第一图像相应的子区 域的灰度差值；
第二单元2022用于根据第一单元2021检测的灰度差值确定当前帧第一 图像中相对参考帧第 一 图像产生灰度变化的子区域位置；
第三单元2023用于根据第二单元2022检测的灰度变化的子区域位置确 定当前帧第一图像相对于参考帧第一图像的变化区域；
第四单元2024用于根据当前帧第一图像和当前帧第二图像的预设最大 视差确定第三单元2023确定的当前帧第一图像的变化区域相应的当前帧第 二图像的变化区域后，将当前帧第一图像和第二图像的相对变化区域的信息 发送给判断单元2031。
本实施例选取当前帧图像中的第一图像与参考帧第一图像进行子区域灰 度差值的计算，通过灰度差值发生变化的子区域的位置确定当前帧第 一图像 相对于参考帧第 一 图像的变化区域，有利于当该变化区域在预设的门限变化 区域的范围内时，采取对该变化区域对应的当前帧图像的匹配和深度计算，减少了需匹配和深度计算的区域，明显缩短了匹配时间，易于实现立体视频 的快速匹配。
本发明第三方面实施例提出了一种视频匹配系统。图7为本发明视频匹 配系统实施例的结构示意图。如图7所示，本实施例包括图像采集装置1和
视频匹配装置2，其中
图像采集装置1用于采集场景成像物体各帧的图像信息； 视频匹配装置2用于根据图像采集装置1采集的各帧的图像信息进行立 体视频匹配。视频匹配装置2具体用于选取视频图像序列中计算出完整图 像的深度图的一个帧作为参考帧；获取当前帧第一图像相对于参考帧第一 图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区 域；匹配并计算当前帧第 一 图像变化区域与当前帧第二图像变化区域的深 度图。
本实施例通过视频匹配装置对图像采集装置采集的图像信息进行立体视 频匹配，在视频匹配装置对立体视频图像序列各帧对应的图像进行匹配时， 仅对当前帧该变化区域重新进行相应的图像匹配和深度图计算，由于当前 帧图像相对于参考帧图像的变化区域小于完整的当前帧图像，因此明显缩 短了当前帧图像的匹配时间，从而提高立体视频的匹配速度，实现立体视 频的快速匹配；此外，由于不需要设置原始背景信息作为参考信息，不需 要提取完整的前景目标轮廓，因此，本发明实施例不仅适用于背景不变的 场景，还适用于背景变化的场景，具有易于实现立体视频快速匹配的优点。
此外，在本实施例技术方案的基础上，关于视频匹配装置1包含的模块 的进一步功能描述可参本发明视频匹配装置第一实施例至第三实施例的文字 描述以及图4至图6的记载，不再赘述。
本领域普通技术人员可以理解实现上述方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读 取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括ROM、 RAM、磁碟或者光盘等各种可以存储程序代码的介 质。
最后应说明的是以上实施例仅用以说明本发明的技术方案，而非对其 限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解其依然可以对前述实施例所记载的技术方案进行修改，或者 对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术 方案的本质脱离本发明实施例技术方案的精神和范围。
权利要求
1、一种视频匹配方法，其特征在于，包括选取视频图像序列中已计算出完整图像深度图的一个帧作为参考帧；获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。
2、 根据权利要求1所述的视频匹配方法，其特征在于，所述选取视 频图像序列中已计算出完整图像的深度图的一个帧作为参考帧之前，还包 括匹配并计算所述参考帧第一图像和参考帧第二图像的深度图。
3、 根据权利要求1所述的视频匹配方法，其特征在于，所述获取当 前帧第二图像相对于参考帧第二图像的变化区域之后，还包括当前帧第 一 图像非变化区域的深度图继承参考帧图像第 一 图像相应区域的深度图，和/或当前帧第二图像非变化区域的深度图继承参考帧图像 第二图像相应区域的深度图。
4、 根据权利要求1所述的视频匹配方法，其特征在于，所述获取当 前帧第二图像相对于参考帧第二图像的变化区域之后，还包括在当前帧第一图像变化区域或当前帧第二图像变化区域大于门限变 化区域时，匹配并计算当前帧第一图像与当前帧第二图像的深度图。
5、 根据权利要求l-4所述的任一视频匹配方法，其特征在于，所述获 取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图 像相对于参考帧第二图像的变化区域包括检测所迷当前帧第一图像与所述参考帧第一图像相应的子区域的灰 度差值；根据所述灰度差值获取所述当前帧第 一 图像中相对所述参考帧第一 图像产生灰度变化的子区域位置；根据灰度变化的子区域位置获取所述当前帧第 一 图像相对于所述参考帧第一图像的变化区域；根据所述当前帧第 一 图像和当前帧第二图像的预设最大视差确定所 述当前帧第 一 图像的变化区域相应的所述当前帧第二图像的变化区域。
6、 根据权利要求5所述的视频匹配方法，其特征在于，所述根据所 述灰度差值获取所述当前帧第一图像中相对所述参考帧第一图像产生灰 度变化的子区域位置具体为分别比较各子区域的灰度差值与预设门限差 值的大小，将灰度差值大于预设门限差值的子区域作为当前帧第 一 图像相 对于参考帧第一图像产生灰度变化的子区域，获取当前帧第一图像产生灰 度变化的子区域位置。
7、 一种视频匹配装置，其特征在于，包括生成模块，用于选取视频图像序列中已计算出完整图像深度图的 一个 帧作为参考帧；检测模块，用于获取当前帧第 一图像相对于参考帧第 一图像的变化区 域，以及当前帧第二图像相对于参考帧第二图像的变化区域；匹配与深度图计算模块，用于匹配并计算当前帧第一图像变化区域与 当前帧第二图像变化区域的深度图。
8、 根据权利要求7所述的视频匹配装置，其特征在于，所述检测模 块包括第 一单元，用于检测所述当前帧第一图像与所述参考帧第 一 图像相应 的子区域的灰度差值；第二单元，用于根据所述第一单元检测的灰度差值获取所述当前帧第 一图像中相对所述参考帧第一图像产生灰度变化的子区域位置；第三单元，用于根据所述第二单元检测的灰度变化的子区域位置获取 所述当前帧第 一 图像相对于所述参考帧第 一 图像的变化区域；第四单元，用于根据所述当前帧第 一图像和当前帧第二图像的预设最 大视差获取所述第三单元确定的当前帧第一图像的变化区域相应的所述当前帧第二图像的变化区域后，将相应的变化区域的信息发送给所述匹配 与深度图计算模块。
9、 根据权利要求7或8所述的视频匹配装置，其特征在于，所述匹 配与深度图计算模块包括判断单元，用于判断所述检测模块获取的变化区域是否大于门限变化 区域，根据判断结果输出完全匹配和局部匹配的控制命令；完全匹配单元，用于当接收到所述判断单元的完全匹配的控制命令 时，匹配并计算当前帧第一图像与当前帧第二图像的深度图；局部匹配单元，用于当接收到所述判断单元的局部匹配的控制命令 时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深 度图；当前帧第 一 图像非变化区域的深度图继承参考帧图像第 一 图像相应 区域的深度图，和/或当前帧第二图像非变化区域的深度图继承参考帧图像 第二图像相应区域的深度图。
10、 一种视频匹配系统，其特征在于，包括图像采集装置，用于采集场景成像物体各帧的图像信息； 视频匹配装置，用于根据所述图像采集装置采集的图像信息，选取视 频图像序列中已计算出完整图像深度图的一个帧作为参考帧；获取当前帧 第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于 参考帧第二图像的变化区域；匹配并计算当前帧第一图像变化区域与当前 帧第二图像变化区域的深度图。
全文摘要
本发明涉及一种视频匹配方法，包括选取视频图像序列中已计算出完整图像深度图的一个帧作为参考帧；获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。本发明还涉及一种视频匹配装置及系统。本发明利用视频图像特别是视频图像序列之间的相关性，选择已对完整图像对进行匹配和深度图计算的帧作为参考帧，通过检测当前帧图像相对于参考帧图像的变化区域，仅对当前帧该变化区域重新进行相应的图像匹配和深度图计算，因此明显缩短了当前帧图像的匹配时间，从而提高视频的匹配速度，实现视频的快速匹配。
文档编号G06T7/00GK101516040SQ20081005790
公开日2009年8月26日 申请日期2008年2月20日 优先权日2008年2月20日
发明者源 刘, 平 方, 凯 李, 静 王, 嵩 赵 申请人:深圳华为通信技术有限公司