专利名称：一种用于重新生成视频流的数字图像的背景的方法
技术领域：
本发明涉及自动处理数字图像的领域，更具体地，涉及从多个帧中恢复静止背景或静态图像。
背景技术：
通过摄像机或电影摄影机捕获帧，所述摄像机或电影摄影机可以被集成到通信对象(电话、个人数字助理等)中，在下文中被用通用词“相机”称呼。假设相机是静止的，场景拍摄具有至少ー个静止的背景，例如与静止的主题(物体、建筑物、人物等)相对应，并且优选地，当进行拍照时，光基本上是一致的。相对于这样静止的背景正在移动的物体被称为前景。已知用于重新生成视频流的数字图像的背景的方法，该视频流由固定相机产生并 且包括多个时序单元图像，并且例如，该方法能够追踪移动的物体以用于安全应用或数字编辑，以分解(down-break)该移动或消除前景中不期望的移动主題。然而，这种方法通常需要在前景中捕获无干扰的背景图像，例如參照文献US2003/0194131，但这并非总是可以的。此外，这些方法大多数仅仅基于时间相关性，这意味着它们具有处理缺陷，尤其是场景在前景中包括部分静止的物体时。事实上，该物体的静止部分被认为与背景为一体，这破坏了重新生成的背景图像。
发明内容
本发明g在改进现有的技木。为了这个目的，按照第一目标，本发明涉及一种用于重新生成视频流的数字图像的背景的方法，该视频流由固定相机产生并且包括多个时序帧，每ー时序帧包括相应的单元图像，所述方法包括以下的步骤-将初始背景图像设定在存储器中，-将所述视频流的单元图像分割成具有至少ー个像素的块b(i，j, t)，和-将所述背景图像分割成对应的块Bo(i，j, t)，所述块Bo (i，j, t)具有与所述单元图像的块相同的尺寸和相同的坐标(i，j)。根据本发明，所述方法的基本特征在于，其还包括以下的步骤-选择至少ー个块b (i,j,t)、—b (i, j, t-a)、块 Bo (i, j, t_a)和块 Bo (i, j,t),和-计算块b (i,j,t)、—b (i, j, t-a)、块 Bo (i, j, t_a)和块 Bo (i,j,t)之间的空间相关性，所述空间相关性在于计算 在时间(t)时的所述帧图像的特定块b (i，j，t)，和 在时间(t)时的所述背景图像的接近于所述块Bo (i，j, t)的至少ー个块Bo(i±x* 6 i, j土y* 8 j, t),和 / 或 在另ー时间(t-a)时的所述背景图像的接近于所述块Bo (i, j, t_a)的至少ー个块 Bo (i ±x* 5 i, j 土y* 6 j, t_a),和/或 在时间(t)时的所述帧图像的接近于所述块b (i，j, t)的至少ー个块b(i±x* 3 i, j 土y* 3 j, t)之间的空间相关性(Corr_spat_mes_b, Corr_spat_mes_b_Bo),和/或在时间(t)时的所述背景图像的特定块Bo (i，j，t)，和 在时间(t)时的所述背景图像的接近于所述块Bo (i，j, t)的至少ー个块Bo(i±x* 6 i, j土y* 8 j, t),和 / 或 在另ー时间(t-a)时的所述背景图像的接近于所述块Bo (i, j, t_a)的至少ー个块 Bo (i ±x* 5 i, j 土y* 6 j, t_a),和/或
在时间(t)时的所述帧图像的接近于所述块b (i，j, t)的至少ー个块b(i±x* 3 i，j 土y* S j, t)之间的空间相关性(Corr_spat_mes_Bo, Corr_spat_mes_Bo_b),以及-根据所述空间相关性的计算更新所述背景图像。因此，考虑混合的时空像素值相关性标准，所提议的解决方案捜索背景块如果背景像素块的像素值非常相似(时间上相关)于以前扫描的序列帧中的井置的先前像素块，并且，如果他们高度相似(空间上相关)于背景地图中的邻近像素块，则更新该背景像素块。优选地，背景图像的更新包括以下的步骤通过在块b (i，j，t)、.b (i，j，t_a)、块Bo (i，j，t_a)或块Bo (i，j，t)当中选择具有最小的空间相关性的块，来用块b (i，j，t)、块 b (i, j, t-a)、块 Bo (i, j, t-a)或块 Bo (i,j,t)代替块 Bo (i,j,t)。优选地，通过测量所考虑的块之间的绝对差的和(SAD)来计算所述空间相关性，因此本发明考虑基于SAD而作用于像素域的空间相关性。在一个实施例中，特定块(b(i, j, t), Bo (i, j, t))和ー组块(b (i±x*3i，j土y* S j，t), Bo (i±x* 5 i，j±y* S j，t))(其中{x, y} G {I ；2 ；…；A }2)之间的空间相关性沿特定方向设定，沿所述特定方向的每ー个方向的绝对差的和(SAD)的最小值被作为所述空间相关性的測量。在一个实施例中，所述方法还包括以下的步骤-计算在时间(t)时的图像的特定块b(i，j，t)和在先前时间(t-a)时的ー个图像或几个图像的相同块b (i, j, t-a)之间的时间相关性(Corr_temp_mes_b),和/或，-计算在时间(t)时的图像的特定块Bo(i，j，t)和在先前时间(t-a)时的ー个图像或几个图像的相同块Bo (i, j, t-a)之间的时间相关性(Corr_temp_mes_Bo),和，-还根据所述的时间相关性更新背景图像。在一个实施例中，对至少两个帧測量与时间相关性的测量结合的空间相关性(suml),其中，空间相关性的权重通过取决于时间X(t)的參数\来加权,使得Suml=Corr_temp_mes_b (i，j，tノ + 入(tノ. Corr_spat_mes_b_B° (i i±x* 6 i，j : j + y* o j，t: t)，对至少两个帧测量与时间相关性的测量结合的空间相关性(sum2)，其中，空间相关性的权重通过取决于时间\ (t)的參数\来加权,使得Sum2=Corr_temp_mes_Bo (i, j,t) +入(t) Corr_spat_mes_Bo (i : i ±x氺 3 i，j : j 氺 5 j，t_a: t)，和
通过选择两个值(Suml, Sum2)的最小值来更新块Bo (i,j,t)的值。在一个实施例中，至少在第一方向和第二方向上扫描块b (i，j)的每个帧或块Bo(i，j)的背景图像，使得在所述第一方向上执行第一系列的相关性计算和在第二方向上执行第二系列的相关性计算。例如，在第一方向上块b (i，j)的尺寸或块Bo (i，j)的尺寸与在第二方向上块b(i，j)的尺寸或块Bo (i，j)的尺寸不同。在一个实施例中，根据本发明的方法先前还包括以下的步骤计算对于在时间(t)时的帧的块b (i，j, t)的组的稳定性的测量的和，和-将该稳定性的测量的和与第一阈值(Tl)进行比较，且-如果所述和低于所述第一阈值(Tl)，则所述帧不被考虑用于空间相关性计算； 和/或-将稳定性的测量的和与第二阈值(T2)进行比较，且-如果所述和高于所述第二阈值(T2)，则所述帧不被考虑用于空间相关性计算。在一个实施例中，根据本发明的方法还包括以下的步骤-计算背景图像的收敛速度，-将计算出的速度与阈值进行比较，和-如果该速度低于所述阈值，则停止扫描背景图像的块Bo(i，j)。根据另一目标，本发明还涉及ー种计算机程序，所述计算机程序包括程序代码指令，当计算机执行所述程序时，所述程序代码指令用于执行上述限定的方法的步骤。由于本发明，背景图像被实时更新，这使得在任何时间可以得到背景图像并且可以显示背景图像，这与需要所有帧的现有技术相比，改进了延迟。同样地，由于本发明的背景图像的渐进建设，本发明可以优化存储器资源，而现有技术却需要存储整个视频。另ー优点在于所提议的解决方案为单个地图的背景重建该方案只将ー个背景图像保存在存储器中，该背景图像的像素块随着序列帧扫描而被更新。该解决方案还以背景地图来开始背景重建过程，该背景地图可能包含错误背景元素(该错误背景元素在背景块检索期间将被更新)并且因此被完全填充。
阅读作为说明性示例而非限制性示例给出的下列描述并參照附图后，本发明的其他特征和其他优点将更清晰地呈现，其中，-图I示出将每个视频帧分割成块和将背景图像分割成相应的块；-图2示出相同块在不同时间之间的时间相关性；-图3示出根据本发明的方法的一个实施例；-图4示出根据本发明的方法的一个实施例；-图4’示出根据本发明的方法的一个实施例；-图4”示出根据本发明的方法的一个实施例；-图4”’示出根据本发明的方法的一个实施例；-图5示出根据本发明的方法的一个实施例；-图5’示出根据本发明的方法的一个实施例。
具体实施例方式根据本发明，假设相机在曝光时间段中是固定的。第一歩骤在于捕获场景的多个时序单元图像。另ー步骤在于设定初始背景图像。视频流的每ー单元图像对应于在时间t时播送的帧，将所述每ー单元图像分割成具有至少ー个像素的规则的块b (i，j，t)(图I)。同样地，将背景图像分割成对应的规则的块Bo (i，j, t)，S卩，背景图像的ー个块Bo (i，j)与帧图像的块b (i，j)具有相同的坐标。在一个实施例中，将每ー图像分成N个块。例如N=40。优选地，块的尺寸取决于图像分辨率和/或前景中移动物体的尺寸。 參照图2，从所述块看出在时间(t)时的图像的特定块b (i，j, t)和在另ー时间(t-a)时的ー个或几个图像的相同块b (i,j, t-a)之间的时间相关性Corr_temp_mes_b (i,j,t:t_a),和/或在时间(t)时的背景图像的特定块Bo (i, j,t)和在另ー时间(t-a)时的ー个或几个背景图像的相同块Bo (i, j, t-a)之间的时间相关性Corr_temp_mes_Bo (i, j,
t: t_a) o根据本发明，时间(t-a)可以在时间t之前(a>0)或之后(a〈0)。可以选择两个连续的帧或两个不连续的帧，使得如果两个连续的帧由帧间间隔St隔开，则|a|是St的倍数。优选地，块b (i，j, t)和相同块b (i，j，t-a)之间的时间相关性是在两个连续的帧之间确定的，这缩短了计算时间。则a= St。块b (i，j, t)或块Bo (i，j, t)的时间相关性的该测量也被称作稳定性的测量。该测量的结果保存在存储器中。按下文所述，测量并利用Corr_temp_mes_b (i, j,t:t_a)、Corr_temp_mes_Bo(i, j, t: t_aノ。优选地，根据本发明的方法还包括步骤计算在时间t时的ー个帧的所有块b (i，j，t)的稳定性的测量的和。接着,将针对特定巾贞的和Corr_temp_mes_b (E I, E j,t:t_a)与第一阈值Tl进行比较。如果该和低于该阈值Tl，则不考虑该帧。事实上，稳定性的水平过高(对应于稳定性的测量过低)可能干扰根据本发明的计算。同样地，根据本发明的方法还可以包括步骤将针对特定的帧的和C0rr_temp_mes_b (E I, E j, t: t-a)与第二阈值T2进行比较。如果该和高于第二阈值T2，则也不考虑该帧。事实上，稳定性水平过低(对应于稳定性的测量过高)可意味着在前景中的物体的数目和/或移动性过高并且干扰计算。优选地，阈值Tl和阈值T2的相应值取决于图像的尺寸(S卩，图像中的像素的数目)或甚至取决于块的尺寸。场景的初始背景图像也称作静态图像，被保存在存储器中。初始背景图像可以为单元图像中的ー个，例如第一个单元图像或显示最少运动的单元图像，或者专门从如上文所述的的时间相关性测量中构建的背景图像。在任ー时间t，同时将帧分割成块b (i，j, t)并且将对应的背景图像分割成块Bo(i，j，t)，块Bo (i，j, t)的值是最小值，等于在先前时间t-S t时的背景图像的块Bo (i，的值。因此，该背景图像被实时(on the fly)更新，并且在任何时间可以得到。接着，根据在时间t或另ー时间t-a时的块Bo (i，j)和块b (i，j)的相应值，可以在时间t更新背景图像，如下文所描述。根据本发明，该方法还包括步骤确定相互接近的块、优选地相邻的块之间的空间相关性。例如，当块的形状为方形或矩形吋，两个相邻的块具有共有的边和/或角(即共有对角线)。更一般地，如果包括KXK个像素的两个块的压カ(baric)中心至多间隔K个像素，尤其是如果该两个块具有相邻的边，或者如果该两个块具有共有的角则间隔2的平方根的K倍，则所述两个块是接近的。接着，如下所述，可以在下列之间确定空间相关性-在时间(t)时的帧的特定块b (i，j，t)与相同帧的至少另ー块b (i+6 i, j+6 j,t)之间；和/或-在时间(t)时的帧的特定块b(i，j, t)与对应的背景图像的至少ー个块Bo(i+ 6 i, j+ 6 j, t)(优选地不同于块Bo (i, j, t))之间；和/或-在时间(t)时的背景图像的特定块Bo(i，j, t)与背景图像的至少另ー块Bo(i+ 5 i，j+ 6 j, t)之间。为了这个目的，參照图3，在一个实施例中，计算在时间(t)时的ー个图像的特定块b (i, j, t)与相同巾贞的、至少ー个优选地相邻的块b (i±x* 8 i, j土y* 8 j, t)之间的空间相关性 Corr_spat_mes_b (i : i ± x* 5 i, j : j 土 y* 5 j, t: t)的和。为了简要阐明图3，仅示出块b (i，j，t)与块b (i，j+2S j，t)之间的空间相关性Corr_spat_mes_b (i : i, j : j+2 3 j，t: t)以及块 b (し」，1:)与块ゎ(i_ S i，j，t)之间的空间相关性 Corr_spat_mes_b (i : i, j : j- 6 j, t: t)。同样地，根据本发明，图3中还示出了，对应于在时间t时的图像的所述特定块b(i，j，t)的、在时间(t)时的背景图像的块Bo (i，j, t-a)与在相同时间(t)时的背景图像的至少ー个接近的且优选地相邻的块Bo (i±x* 8 i, j土y* 8 j, t_a)之间的空间相关性Corr_spat_mes_B° (i : i ±x* 3 i, j : j 土y* 3 j, t-a: t-a)的和，a 可以等于 0。优选地，X和y的相应值低，以保持接近的概念，例如x=y=2。为了简要阐明图3，仅示出块Bo (i，j，t_a)和块Bo (i，j+2 S j，t_a)之间的空间相关性 Corr_spat_mes_Bo (i : i, j : j+2 5 j, t_a: t_a)以及块 Bo (i,j,t)和块 Bo (i-5i,j，t-a)之间的空间相关性 Corr_spat_mes_b (i:i, j : j-3 j，t_a: t_a), a 可以等于 0。接着,通过在块b (i,j,t)和块Bo (i, j, t)之中选择ー个块来更新块Bo (i, j,t)的值,所选的块的坐标具有下述两个和的最小值Bo (i, j, t) Omin[Corr_spat_mes_b(i : i ±x* 6 i, j : j + y* 8 j，t: t) ; Corr_spat_mes_B° (i i ±x* 6 i, j : j + y* 8 j，t_a: t_a)]在另ー实施例中，可以计算帧的块和背景图像的至少ー个相应相邻的块之间的空间相关性。为了这个目的，參照图4，计算在时间(t)时的图像的特定块b (i，j，t)与在相同时间(t)时的背景图像的至少ー个块Bo (i±x* S i，j±y* 6 j, t)之间的空间相关性Corr_spat_mes_b_Bo (i:i±x*3i, j:j±y*Sj, t: t)的和，所述至少一个块 Bo (i±x*3i，j土y* S j，t)优选地不同于所述块Bo (i, j, t)、接近于且优选地相邻于块Bo (i,j,t)。 还如图4所示，还测量了在时间(t)时的背景图像的块Bo (i，j，t)与在相同时间(t)时的背景图像的至少ー个接近的且优选地相邻的块Bo (i±x* 8 i, j±y* 6 j, t)之间的空间相关性 Corr_spat_mes_Bo (i : i ±x* 5 i, j : j 土y* 5 j, t: t)的和，该块 Bo (i, j, t)对应于在时间t时的图像的所述特定块b (i，j，t)。为了简要阐明图4，仅示出了块Bo (i，j，t)和块Bo (i，j+2S j，t)之间的空间相关性 Corr_spat_mes_Bo (i : i, j : j+2 3 j, t: t),以及块 Bo (i,j,t)和块 Bo (i- 5 i, j, t)之间的空间相关性 Corr_spat_mes_Bo (i : i, j : j- 6 j，t: t)。接着,通过在块b (i,j,t)和块Bo (i, j, t)之中选择ー个块来更新块Bo (i, j,t)的值，所选的块的坐标具有下述两个和的最小值Bo (i, j, t) <=>min[Corr_spat_mes_b_B° (i : i ±x* 3 i, j : j 土y* 5 j, t: t) ;Corr_spat_mes_B° (i i ±x* 6 i，j : j + y* 5 j，t: t)]。同样地，在图4’中示出的另ー实施例中，计算了在时间(t)时的图像的特定块b (i, j, t)和在相同时间t时的背景图像的至少ー个块Bo (i±x* 8 i, j土y* 8 j, t)之间的空间相关性 Corr_spat_mes_b_Bo (i:i±x*Si, j:j土y*S j, t:t)的和，所述至少一个块Bo (i±x* S i，j±y* S j，t)优选地不同于块Bo (i, j, t),接近于且优选地相邻于所述块Bo (i, j, t)。还如图4’所示，还测量了在时间(t)时的帧图像的块b (i，j, t)和在相同时间(t)时的帧图像的、接近于且优选地相邻于所述块b (i，j, t)的至少ー个块b (i±x* S i，j土y* 8 j, t)之间的空间相关性 Corr_spat_mes_b (i:i±x* 6 i, j: j土y* 6 j, t:t)的和。为了简要阐明图4’，仅示出块b (i，j，t)~.b (i，j+2S j，t)之间的空间相关性 Corr_spat_mes_b (i : i, j : j+2 6 j, t: t)以及块 b (し」，1:)与块ゎ(i_ S i，j，t)之间的空间相关性 Corr_spat_mes_b (i : i, j : j- 8 j, t: t)。接着,通过在块b (i,j,t)和块Bo (i, j, t)之中选择ー个块来更新块Bo (i, j,t)的值，所选的块的坐标具有下述两个和的最小值Bo (i, j, t)<=>min[Corr_spat_mes_b_Bo (i : i ±x* 3 i, j : j 土y* 5 j, t: t) ; Corr_spat_mes_b (i : i ±x* 6 i，j : j + y* 5 j，t: t)]同样地，在图4”所示的另ー实施例中，计算了在时间(t)时的背景图像的特定块Bo (i, j, t)和在相同时间t时的视频巾贞的图像的至少ー个块b (i±x* 8 i, j土y* 8 j, t)之间的空间相关性 Corr_spat_mes_Bo_b (i:i±x* 8 i, j: j土y* 6 j, t: t)的和，所述至少一个块b (i±x*Si，j±y*S j，t)优选地不同于块b (i，j，t)、接近于且优选地相邻于所述块 b (i, j, t)。还如图4”所示，还测量了在时间(t)时的帧图像的块b (i，j，t)和在相同时间t时的巾贞图像的至少一个块b (i±x*5 i, j土y*8 j, t)之间的空间相关性Corr_spat_mes_b(i:i±x* 3 i, j: j土y* 3 j, t:t)的和，所述至少ー个块 b (i ±x* 5 i, j 土y* 3 j，t)接近于并且优选地相邻于所述块b (i，j，t)。为了简要阐明图4”，仅示出了块b (i，j，t^P.b (i，j+2S j，t)之间的空间相关性 Corr_spat_mes_b (i : i, j : j+2 6 j, t: t)以及块 b (し」，1:)和块ゎ(i_Si，j，t)之间的空间相关性 Corr_spat_mes_b (i : i, j : j- 8 j, t: t)。接着,通过在块b (i,j,t)和块Bo (i, j, t)之中选择ー个块来更新块Bo (i, j,t)的值，所选的块的坐标具有下述两个和的最小值
Bo (i, j, t) <=>min[Corr_spat_mes_B°_b (i : i ±x* 3 i, j : j 土y* 5 j, t: t) ;Corr_spat_mes_b (i : i ±x* 6 i，j : j + y* 5 j，t: t)]同样地，在图4”’示出的另ー实施例中，计算了在时间(t)时的背景图像的特定块Bo (i, j, t)与在相同时间t时的视频巾贞图像的至少ー个块b (i±x* S i，j±y* S j，t)之间的空间相关性 Corr_spat_mes_Bo_b (i:i±x* 8 i, j: j土y* 6 j, t: t)的和,所述至少一个块b (i±x*Si，j±y*S j，t)优选地不同于块b (i，j，t)、接近于且优选地相邻于所述块
b (i, j, t) o还如图4”’所示，还测量了在时间(t)时的帧图像的块Bo (i，j，t)和在相同时间(t)时的背景图像的至少ー个接近的且优选地相邻的块Bo (i±x* 8 i, j±y* 6 j, t)之间的空间相关性 Corr_spat_mes_Bo (i:i±x* 8 i, j: j土y* 6 j, t:t)的和。为了简要阐明图4”’，仅示出了块Bo (i，j，t)和块Bo (i，j+2S j，t)之间的空间相关性 Corr_spat_mes_Bo (i:i, j : j+2 6 j, t: t)以及块 Bo (i, j, t)和块 Bo (i-5i, j, t)之间的空间相关性 Corr_spat_mes_Bo (i:i, j : j- 6 j, t:t)。接着,通过在块b (i,j,t)和块Bo (i, j, t)之中选择ー个块来更新块Bo (i, j,t)的值，所选的块的坐标具有下述两个和的最小值Bo (i, j, t) <=>min[Corr_spat_mes_B°_b (i : i ±x* 3 i, j : j 土y* 5 j, t: t) ;Corr_spat_mes_Bo (i : i ±x* 6 i，j : j + y* 5 j，t: t)]根据本发明，參照图5，图4至图4”’中任一个示出的空间相关性的測量还可以与关于帧和/或背景图像的时间相关性的测量结合。在一个实施例中，以和图4中示出的方式相同的方式，计算在时间(t)时的ー个图像的特定块b (i, j, t)和在时间t时的背景图像的至少ー个块Bo (i±x* S i，j±y* S j，t)之间的空间相关性 Corr_spat_mes_b_Bo (i : i ±x* 5 i, j : j 土y* 8 j, t: t)的和，优选地，所述至少ー个块Bo (i±x* S i，j±y* S j，t)不同于所述块Bo (i, j, t)、接近于且优选地相邻于所述块Bo (i，j，t)。还如图5所示,还计算了与在时间(t-a)时的图像的所述特定块b (i, j,t_a)相对应的、在时间(t-a)时的背景图像的块Bo (i，j, t-a)和在时间t时的背景图像的至少一个块 Bo (i±x*8i，j土y*5 j, t)之间的空间相关性 Corr_spat_mes_Bo (i:i±x*8i，j : j 土y* S j，t-a: t)的和,所述至少ー个块Bo (i ±x* S i，j ±y* S j，t)接近于且优选地相邻于块 Bo (i, j, t)o为了简要阐明图5的右侧部分，仅示出了块Bo (i，j，t_a)和块Bo (i，j+Sj，t)之间的空间相关性 Corr_spat_mes_Bo (i:i, j : j+ 8 j, t_a:t)、块 Bo (i, j, t-a)和块 Bo(i- 6 i, j+ 6 j, t)之间的空间相关性 Corr_spat_mes_Bo (i:i_ S i, j: j+ 6 j, t_a:t)、以及块 Bo (i, j, t_a)和块 Bo (i_ S i, j, t)之间的空间相关性 Corr_spat_mes_Bo (i : i- 8 i,
j : j, t-a:t 入然后,通过选择对应于下述和的最小值的块来更新块Bo (i, j, t)的值Bo (i,j, t)、=ノmin[Corr_spat_mes_b_Bo (i:i ±x* 6 i, j:j + y* o j, t: t) ;Corr_spat_mes_Bo(i:i,j:j+ 6 j,t-a:t) ;Corr_spat_mes_Bo (i:i_3 i，j:j+5j，t_a:t) ;Corr_spat_mes_Bo(i:i-6i, jj, t-a:t)]如图5’所示，可以计算与在时间(t)时的图像的所述特定块b (i，j, t)相对应的、在时间(t)时的背景图像的块Bo (i, j, t)和在时间(t-a)时的背景图像的至少ー个块 Bo (i ± X* 8 i，j 土 y* 5 j, t_a)之间的空间相关性 Corr_spat_mes_Bo (i : i ± x* 8 i，j: j±y* 6 j, t: t-a)的和,所述至少ー个块Bo (i±x* S i，j±y* 6 j, t-a)接近于且优选地相邻于块Bo (i，j，t)。为了简要阐明图5’的右侧部分，仅示出了ー些空间相关性，即块Bo (i，j, t-a)和块 Bo (i, j+ 8 j, t)之间的空间相关性 Corr_spat_mes_Bo (i:i±x*5i, j:j±y*Sj,
t: t_a) o然后,通过选择对应于这些和的最小值的块来更新块Bo (i,j,t)的值。-在其他未示出的实施例中，可计算在时间(t)时的视频帧的图像的块b( i，j，t)和在时间(t-a)时的背景图像的至少ー个块b (i±x* S i，j±y* 6 j, t_a)之间的空间相关 性 Corr_spat_mes_b (i : i ±x* 3 i, j : j 土y* S j, t: t_a)的和，所述至少一个块 b (i ±x* 3 i，j±y*S j，t-a)接近于且优选地相邻于块b (i，j, t)。还可计算在时间(t-a)时的视频中贞的图像的块b (i, j, t-a)和在时间(t)时视频巾贞的图像的至少ー个块b (i:i±x*Si，j: j土y* 6 j，t)之间的空间相关性 Corr_spat_mes_b (i:i±x* 6 i, j: j土y* 6 j，t_a:t)的和，所述至少ー个块b (i:i±x* S i，j: j±y* 6 j，t)接近于且优选地相邻于块b (i,j,t)。不论任何实施例,优选地,选择两个连续的帧,使得a= S t。可以通过测量所考虑的块b (i，j)或块Bo (i，j)与在相同帧中、在另ー时间的相同帧中、在同一背景图像上、或在另ー时间的背景图像上选择的接近的块之间的绝对差的和(SAD)，来计算空间相关性。例如，在块b(i, j,t)和ー组块 b(i±x* 3 i，j土y* 5 j，t)( {x,y} G {1;2;...;A}2)之间，根据特定的方向(即分别为右、左、下、上)，可以设定以下-droite_SADA [b (i, j, t) ] =SAD[b (i，j，t)，b (i_l，j，t) ]+...+SAD[b (i, j,t), b (i-A，j, t)]-gauche_SAD A [b (i, j, t) ] =SAD[b (i, j, t), b (i+1, j, t) ]+...+SAD[b (i, j,t), b (i+A，j, t)]_bas_SAD A [b (i, j, t) ] =SAD[b (i，j，t)，b (i，j_l，t) ]+…+SAD[b (i，j，t)，b (i,j-A，t)]_haut_SAD A [b (i, j, t) ] =SAD[b (i, j, t), b (i, j+1, t) ]+…+SAD[b (i, j, t),b (i,j+A，t)]这些和SAD的最小值作为在时间(t)时的图像的特定块b (i, j, t)和相同帧的至少一个优选地相邻块b (i±x* 8 i, j土y* 8 j, t)之间的空间相关性Corr_spat_mes_b(i:i±x* 8 i, j: j土y* 6 j, t:t)的测量。执行同样的原则以计算在时间(t)时的背景图像的块Bo (i，j, t)和在相同时间(t)时的背景图像的至少ー个块Bo (i±x*Si，j土j，t)之间的空间相关性Corr_spat_mes_Bo (i : i ±x* 6 i，j : j + y* 5 j，t: t)，和计算在时间(t_a)时的背景图像的块Bo (i, j，t_a)和在时间(t)时的背景图像的至少一个块Bo (i ± X* 5 i, j 土 y* 5 j, t)之间的空间相关性Corr_spat_mes_Bo(i : i±x* 8 i, j j土y* 8 j, t_a: t),该至少ー个块 Bo (i±x* 8 i, j土y* 8 j, t)接近于且优选地相邻于块Bo (i，j，t)。
或者，计算在时间(t)时ー个图像的特定块b (i，j，t)与时间t时的背景图像的至少一个块Bo (i ± X* S i, j 土 y* 5 j, t)之间的空间相关性Corr_spat_mes_b_Bo(i:i±x* 8 i, j: j土y* 6 j, t: t),优选地,所述至少ー个块 Bo (i±x* 8 i, j土y* 8 j, t)不同于块Bo (i，j，t)、接近于且优选地相邻于块Bo (i，j，t)。因此,空间相关性计算的通用函数被命名为Corr_spat_mes。在一个实施例中，首先对至少两个帧測量与时间相关性测量结合的空间相关性suml o为了这个目的，參照图5，按如上所述，測量在时间(t)时的图像的特定块b ( i，j，t)与在另ー时间(t-a)时的图像的相同块b (i, j, t-a)之间的时间相关性Corr_temp_mes_
b (i, j, t) o为了计算suml，还可以通过參数入加权空间相关性的权重，參数入可取决于时间 入(t)，使得，Sum I =Corr_t emp_me s_b (i, j, t) + A (t) Corr_spat_mes_b_Bo (i:i±x*3i，j j±y* 8 j, t:t)例如入=Si，而5i=5j,即入=2。同样地，对至少两个背景图像测量与时间相关性测量结合的空间相关性sum2。为了这个目的，按如上所述，測量在时间(t)时的背景图像的特定块Bo (i，j, t)与在另ー时间(t-a)时的背景图像的相同块Bo (i, j, t-a)之间的时间相关性Corr_temp_mes_Bo 11, j, t)。还测量了在时间(t-a)时的背景图像的块Bo (i，j, t-a)与在时间(t)时的背景图像的至少ー个相邻的块Bo (i土 6 i, j + 6 j, t)之间的空间相关性Corr_spat_mes_Bo(i : i±x* 6 i, j j 土y* 8 j, t_a: t),所述块Bo (i, j, t_a)对应于在时间(t)时的图像的所述特定块b (i, j, t) o为了计算sum2，还可以通过參数入加权空间相关性的权重，參数入可取决于时间入(t)，使得，Sum2=Corr_temp_mes_B° (i，j t) + A (t) . Corr_spat_mes_B° (i:i±x*3i，
j : j ± y* 6 j, t-a: t)接着,通过选择这两个值的最小值来更新块Bo (i,j,t)的值Bo (i, j, t) =min[suml ；sum2]因此，背景图像的块Bo (i，j，t)可以是块 Bo (i，j，t-a)_—b (i，j，t)。例如，通过测量所考虑的块的像素的亮度值的差异对时间相关性或空间相关性进行測量。优选地，通过测量所考虑的块的像素的色度值的差异对时间相关性或空间相关性进行进ー步测量。在一个实施例中，通过测量块b (i，j，t)和多个帧上的同一块b (i，j，t±z*St)之间的绝对差的和(SAD)并且通过选择绝对和最小的块来确定时间相关性或空间相关性。为了简化计算，优选地，选择两个连续的巾贞t和巾贞t_l,从而使a= S t (z=l)o根据本发明，对背景图像进行实时更新。因此，用于空间相关性计算的背景图像的块Bo (i，j)可以在先前的循环(iteration)期间已更新。有利地，在第一方向和在第二方向上对块b (i，j)的每个帧进行扫描，即从帧的左上部的第一块b (1，1)开始到该帧的右下部的最后块b (N，M)进行第一系列的相关性计算；然后从该帧的右下部的最后块b (N，M)开始到该帧的左上部的第一块b (1，I)进行第二系列的相关性计算。同样地，可以进行对分(dichotomized)的操作，使得以块尺寸的梯度对块b (i，j )的每个帧进行反复扫描，毎次可以为先在第一方向上、接着在第二方向上。例如，循环1=2，以块b (i，j)的等于N1*M1的尺寸执行第一次扫描；然后以块b(i，j)的等于N2*M2的尺寸执行第二次扫描，使得N2〈N1且M2〈M1。优选地，仅仅对第一次扫描期间确定的其空间和/或时间相关性高于阈值的块b(i，j)执行以块的第二尺寸的第二次扫描。
此外，随着背景图像被实时更新，其可以显示给用户，例如以预览的模式。在ー个实施例中，用户可以在其想要的任何时间根据显示的背景图像停止执行该方法。根据本发明，还可以提供计算背景图像的收敛速度的步骤。将计算出的速度与阈值进行比较，如果该速度低于所述阈值，则停止扫描该背景图像的块Bo (i，j)。例如，可以通过相对于帧图像的块b (i，j)的总数计算更新的块Bo (i，j)的数目，来计算收敛速度，其中该帧图像的块b (i，j)的总数等于背景图像的块Bo (i，j)的总数。根据本发明，还可以提供检查稳定性的步骤。为了该目的，如果背景图像的块Bo(i，j)的稳定性、或帧的块Bo (i,j)的稳定性高于阈值，则相邻的块Bo (i+S i，j+S j)代替块 Bo (i，j)。
权利要求
1.一种用于重新生成视频流的数字图像的背景的方法，该视频流由固定相机产生并且包括多个时序帧，每ー时序帧包括相应的单元图像，所述方法包括以下的步骤 -将初始背景图像设定在存储器中； -将所述视频流的单元图像分割成具有至少ー个像素的块b (i，j，t)，和-将所述背景图像分割成对应的块Bo (i，j, t)，所述块Bo (i，j, t)具有与所述单元图像的块相同的尺寸和相同的坐标(i，j)， 其特征在于，所述方法还包括以下的步骤 -选择至少ー个块 b (i, j,t)、块 b (i, j, t_a)、块 Bo (i, j, t_a)和块 Bo (i, j, t),和 -计算块 b (i,j,t)、—b (i, j, t_a)、块 Bo (i, j, t_a)和块 Bo (i,j,t)之间的空间相关性，所述空间相关性在于计算 在时间(t)时的所述帧图像的特定块b (i，j, t)，和 在时间(t)时的所述背景图像的接近于所述块Bo (i，j, t)的至少ー个块Bo(i±x* 6 i, j土y* 8 j, t),和 / 或 在另ー时间(t-a)时的所述背景图像的接近于所述块Bo (i，j, t-a)的至少ー个块Bo (i±x* 6 i, j土y* 8 j, t_a)之间的空间相关性(Corr_spat_mes_b, Corr_spat_mes_b_Bo)，和/或 在时间(t)时的所述背景图像的特定块Bo (i，j, t)，和 在时间(t)时的所述背景图像的接近于所述块Bo (i，j, t)的至少ー个块Bo(i±x* 6 i, j土y* 8 j, t),和 / 或 在另ー时间(t-a)时的所述背景图像的接近于所述块Bo (i，j, t-a)的至少ー个块Bo (i±x* 5 i, j土y* 6 j, t_a),和/或 在时间(t)时的所述巾贞图像的接近于所述块b (i, j,t)的至少ー个块b (i±x*Si，j土y* 5 j, t)之间的空间相关性(Corr_spat_mes_Bo, Corr_spat_mes_Bo_b), 其中，(i± S i，j± S j)为与具有坐标(i，j)的块相邻的块的坐标，并且X和y为整数，和 -根据所述空间相关性的计算更新所述背景图像。
2.根据权利要求I所述的方法，其中，所述更新所述背景图像包括以下的步骤 通过在块 b (i,j,t)、—b (i, j, t-a)、块 Bo (i, j, t_a)或块 Bo (i, j,t)之中选择具有最小空间相关性的块，来用块b (i，j, t)、块b (i，j, t-a)、块Bo (i，j, t-a)或块Bo(i，j，t)代替所述块 Bo (i, j, t)。
3.根据前述权利要求中任一项所述的方法，其中，通过测量所考虑的块之间的绝对差的和(SAD)来计算所述空间相关性。
4.根据权利要求3所述的方法，其中， 沿特定的方向设定特定块(b (i, j,t)，Bo (i, j,t))与ー组块(b (i±x* 8 i，j±y* 6 j,t), Bo (i±x* S i，j±y* S j，t))之间的所述空间相关性,其中{x, y} G {1;2;…；A}2， 其中，沿着所述特定方向的每一方向的所述绝对差的和(SAD)的最小值被作为所述空间相关性的測量。
5.根据前述权利要求中任一项所述的方法，还包括以下的步骤-计算在时间(t)时的图像的特定块b (i，j, t)与在先前时间(t-a)时的ー个图像或几个图像的相同块b (i, j, t-a)之间的时间相关性(Corr_temp_mes_b),和/或 -计算在时间(t)时的图像的特定块Bo (i，j，t)与在先前时间(t-a)时的ー个图像或几个图像的相同块Bo (i, j, t-a)之间的时间相关性(Corr_temp_mes_Bo),和-根据所述时间相关性更新所述背景图像。
6.根据权利要求5所述的方法，其中 对至少两个帧測量与所述时间相关性的测量结合的所述空间相关性(suml)，其中，所述空间相关性的权重通过取决于时间、(t)的參数\来加权，使得 Suml=Corr_temp_mes_b (i，j，t)+八 11) Corr_spat_mes_b_Bo (i:i±x*oi，j: j土y* 6j，t:t)， 其中， 对至少两个帧測量与所述时间相关性的测量结合的所述空间相关性(sum2)，其中，所述空间相关性的权重通过取决于时间、(t)的參数\来加权，使得 Sum2=Corr_temp_mes_Bo Li, j, t) +入(tノ Corr_spat_mes_Bo ki:i±x*oi,j: j土y* 6 j, t-a:t),和其中， 通过选择两个值(Suml, Sum2)的最小值来更新所述块Bo (i, j, t)的值。
7.根据前述权利要求中任一项所述的方法，其中， 至少在第一方向和在第二方向上扫描块b (i，j)的每个帧或块Bo (i，j)的背景图像，使得在所述第一方向上执行第一系列的相关性计算，并且在所述第二方向上执行第二系列的相关性计算。
8.根据权利要求6所述的方法，其中，在第一方向上所述块b(i，j)的尺寸或所述块Bo (i，j)的尺寸与在第二方向上所述块b (i，j)的尺寸或所述块Bo (i，j)的尺寸不同。
9.根据前述权利要求中任一项所述的方法，先前还包括以下的步骤计算对于在时间(t)时的帧的块b (i，j, t)的组的稳定性的测量的和，和 -将所述稳定性的测量的和与第一阈值(Tl)进行比较，且 -如果所述和低于所述第一阈值(Tl)，则所述帧不被考虑用于所述空间相关性计算；和/或 -将所述稳定性的测量的和与第二阈值(T2)进行比较，且 -如果所述和高于所述第二阈值(T2)，则所述帧不被考虑用于所述空间相关性计算。
10.根据前述权利要求中任一项所述的方法，还包括以下的步骤 -计算所述背景图像的收敛速度， -将计算出的速度与阈值进行比较，和 -如果该速度低于所述阈值，则停止扫描所述背景图像的块Bo (i，j)。
11.根据权利要求5到10中任一项所述的方法，其中，所述空间相关性还在于计算在时间(t)时的所述帧图像的特定块b (i，j，t)与在时间(t)时的所述帧图像的接近于所述块b (i, j, t)的至少一个块 b (i±x* 8 i, j土y* 8 j, t)之间的空间相关性(Corr_spat_mes_b, Corr_spat_mes_b_Boノ。
12.—种计算机程序，所述计算机程序包括程序代码指令，当计算机执行所述程序吋，所述程序代码指令用于执行根据前述权利要求中任一项所述的方法的步骤 。
全文摘要
本发明涉及一种用于重新生成视频流的数字图像的背景的方法，所述方法包括以下的步骤设定初始背景图像；将所述视频流的单元图像分割成块b(i，j，t)、并且将所述背景图像的单元图像分割成对应的块Bo(i，j，t)。所述方法的基本特征在于，所述方法还包括以下的步骤选择所述背景图像的一个块Bo和/或所述帧图像的一个块b，以及计算关于以下块的空间相关性在时间(t)时和/或另一时间(t-a)时的所述背景图像的至少一个块Bo、和/或在时间(t)时和/或另一时间(t-a)时的所述帧图像的至少一个块b；和/或根据所述空间相关性的计算更新所述背景图像。
文档编号G06T7/20GK102822868SQ201080064321
公开日2012年12月12日 申请日期2010年12月17日 优先权日2009年12月21日
发明者埃斯特尔·莱瑟里尔 申请人:意法爱立信(法国)有限公司, 意法爱立信有限公司