一种视频图像帧序列的浓缩方法及装置制造方法
【专利摘要】本发明公开了一种视频图像帧序列的浓缩方法及装置。通过比较待浓缩的视频图像帧序列与预先设置的背景模型，确定只包含每个运动目标的图像帧构成的图像帧序列，此外，还确定每个运动目标在其所在的图像帧中的位置以及其首次在视频图像帧序列中出现的时刻；根据确定出的位置和时刻，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠；并根据上述判断结果、时刻和各图像帧序列以及背景模型，生成浓缩视频图像帧序列。
【专利说明】一种视频图像帧序列的浓缩方法及装置
【技术领域】
[0001]本发明涉及视频处理领域，尤其涉及一种视频图像帧序列的浓缩方法及装置【背景技术】
[0002]随着数字智能化的普及，城市中的视频监控设备越来越多，它涉及到交通路口、银行、小区等多种场景，随之而来的就是每天产生大量的视频数据，但当这些存储的视频数据中查找某一特定目标时，需要调出连续几天的多个视频监控设备记录的视频数据进行人工查询筛选，查询的覆盖面越广，时间越长，排查工作就会越困难。为解决上述问题，传统的视频图像压缩技术提出可以将原始记录的视频进行压缩，即对无前景目标的图像帧进行剔除，然后再将所有存在运动目标的图像帧重新形成视频图像，从而缩短原始记录视频的播放时间。其中，“前景目标”是相对于背景模型而言的，通常指代相对于背景模型的运动目标。但是这种视频图像压缩技术只是将无前景目标的图像帧删除来缩短原始视频的长度，并由于没有利用视频场景中的空间信息，导致最终处理后形成的视频长度依然很长，因此，如何在保留原始视频中运动目标间的时间逻辑关系的同时大幅度缩短原始视频长度成为目前迫切需要解决的问题。
【发明内容】
[0003]本发明实施例提供一种视频图像帧序列的浓缩方法，用以解决现有技术中存在的如何在保留原始视频中运动目标间的时间逻辑关系的同时大幅度缩短原始视频长度的问题。
[0004]本发明实施例采用以下技术方案:
[0005]一种视频图像帧序列的浓缩方法，包括:
[0006]根据待浓缩的视频图像帧序列与预先设置的背景模型，确定所述视频图像帧序列中出现的全部运动目标；其中，所述运动目标包括:在所述视频图像帧序列中没有与其他运动子目标重叠的运动子目标，以及具有重叠关系的多个运动子目标；
[0007]基于所述视频图像帧序列、所述背景模型和运动目标跟踪技术，生成分别包含确定出的各运动目标的各图像巾贞序列；并
[0008]分别确定所述各运动目标在其所在的图像帧序列所包含的各个图像帧中的位置和在所述视频图像帧序列中的首次出现时刻；并
[0009]根据确定出的上述位置和所述首次出现时刻，针对视频图像帧序列中出现的除最早出现的运动目标外的其他每个运动目标，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像巾贞序列所包含的图像巾贞中是否有重置；并
[0010]根据针对除最早出现的运动目标外的其他每个运动目标所得到的各个判断结果、所述首次出现时刻、背景模型和各图像帧序列，生成浓缩视频图像帧序列。
[0011]一种视频图像帧序列的浓缩装置，包括:
[0012]运动目标确定单元，用于根据待浓缩的视频图像帧序列与预先设置的背景模型，确定所述视频图像帧序列中出现的全部运动目标；其中，所述运动目标包括:在所述视频图像帧序列中没有与其他运动子目标重叠的运动子目标，以及具有重叠关系的多个运动子目标；
[0013]图像帧序列生成单元，用于基于所述视频图像帧序列、所述背景模型和运动目标跟踪技术，生成分别包含确定出的各运动目标的各图像帧序列；
[0014]位置与时刻确定单元，用于分别确定各运动目标在其所在的所述图像帧序列生成单元生成的图像帧序列所包含的各个图像帧中的位置和在所述视频图像帧序列中的首次出现时刻；
[0015]判断单元，用于根据所述位置与时刻确定单元确定出的所述位置和所述首次出现时刻，针对所述视频图像帧序列中出现的除最早出现的运动目标外的其他每个运动目标，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠；
[0016]浓缩视频图像帧序列生成单元，用于根据背景模型、所述判断单元针对除最早出现的运动目标外的其他每个运动目标所得到的各个判断结果和所述位置与时刻确定单元确定首次出现时刻以及所述图像帧序列生成单元确定的各图像帧序列，生成浓缩视频图像帧序列。
[0017]本发明的有益效果如下:
[0018]本发明实施例提供的视频图像帧序列的浓缩方案通过以不同运动目标在相应的图像帧中的重叠程度，以及每个运动目标在视频图像帧序列中的首次出现时刻作为浓缩依据，从而不仅利用了视频场景中的空间信息，还考虑了各个运动目标在待浓缩的视频图像帧序列中出现的时间顺序，因此本发明实施例提供的视频图像帧序列的浓缩方法在保留原始视频中运动目标间的时间逻辑关系的同时大幅度缩短原始视频的长度。
【专利附图】
【附图说明】
[0019]图1为本发明实施例提供的一种视频图像帧序列浓缩方法的方法流程图；
[0020]图2为本发明实施例提供的又一种视频图像帧序列浓缩方法的方法流程图；
[0021]图3为本发明实施例提供的一种视频图像帧序列浓缩装置的结构图。
【具体实施方式】
[0022]为解决现有技术存在的为保留原始视频中运动目标间的时间逻辑关系的同时不能大幅度的压缩原始视频的长度的问题，本发明实施例提供了一种视频图像帧序列的浓缩方法及装置。视频图像帧序列的浓缩可以理解为是对视频内容的一个简单概括，提取运动目标并将不同的目标拼接到一个共同的背景场景中。本发明实施例提供的一种视频图像帧序列的浓缩方法是通过以不同运动目标在相应的图像帧中的重叠程度，以及每个运动目标在视频图像帧序列中的首次出现时刻作为浓缩依据，从而在实现对待浓缩视频图像帧序列的浓缩处理时，不仅利用了视频场景中的空间信息，还考虑了各个运动目标在待浓缩的视频图像帧序列中出现的时间顺序，因此本发明实施例提供的视频图像帧序列的浓缩方法在保留原始视频中运动目标间的时间逻辑关系的同时大幅度缩短原始视频的长度。
[0023]以下结合说明书附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限制本发明。并且在不冲突的情况下，本说明中的实施例及实施列中的特征可以互相结合。
[0024]实施例1
[0025]基于上述基本思想，本发明实施例提供的一种视频图像帧序列的浓缩方法的流程图如图1所示，具体包括以下步骤:
[0026]步骤11、根据待浓缩的视频图像帧序列与预先设置的背景模型，确定视频图像帧序列中出现的全部运动目标。其中，该运动目标包括:在视频图像帧序列中没有与其他运动子目标重叠的运动子目标，以及具有重叠关系的多个运动子目标。
[0027]对于运动目标的确定，可以先将待浓缩的视频图像帧序列中出现的各个运动的物体都看成运动子目标，然后将没有与其他运动子目标重叠的运动子目标确定为运动目标，并将与其他运动子目标有重叠关系的多个运动子目标共同确定为一个运动目标。其中，多个运动子目标之间有重叠关系一般是指该些运动子目标在视频图像帧序列所包含的一帧或多帧视频图像中出现了相互遮挡。其中，若运动子目标甲与运动子目标乙在某帧视频图像中出现了相互遮挡，则甲和乙有重叠关系；若乙与另一运动子目标丙又在某帧视频图像中出现了相互遮挡，则可以进一步确定甲、乙与丙有重叠关系。例如，假设待浓缩的视频图像帧序列里有两个运动子目标:运动子目标A与运动子目标B。如果运动子目标A与运动子目标B在待浓缩的视频图像帧序列中有相互遮挡，比如，在待浓缩的视频图像帧序列中的某一帧或某几帧图像中，运动子目标A与运动子目标B有部分出现了重合，那么就将运动子目标A和运动子目标B共同看成一个运动目标。如果运动子目标A与运动子目标B在待浓缩的视频图像帧序列中没有发生相互遮挡，则将运动子目标A确定为一个运动目标，并将运动子目标B确定为一个运动目标。
[0028]步骤12、基于所述视频图像帧序列、所述背景模型和运动目标跟踪技术，生成分别包含确定出的各运动目标的各图像帧序列。
[0029]对于包含了多个运动子目标的运动目标而言，通过执行视频图像帧序列与背景模型的差分运算以及利用运动目标跟踪技术实现对运动目标的跟踪处理，可以保留各个运动子目标间的时间逻辑关系。举例来说，假设运动子目标A与运动子目标B由于在视频图像帧序列中有重叠关系而被看成一个运动目标，且A和B满足:A在视频图像帧序列中第I帧图像中首次出现；经过50帧图像后，B在视频图像帧序列中首次出现；在第100帧至第150帧图像中，A与B出现了重叠；在第151帧图像中，A与B不再重叠，在第200帧图像中，A消失了 ；在第220帧图像中，B消失了。那么，通过执行视频图像帧序列与背景模型的差分运算以及对运动子目标A和运动子目标B的跟踪处理获得的包含运动子目标A与运动子目标B的运动目标的图像帧序列就包含从第I帧图像至第220帧图像的所有图像帧，这样既保留了运动子目标A与运动子目标B的相对位置关系，也保留了运动子目标A与运动子目标B在视频图像巾贞序列中的时间逻辑关系。
[0030]需要说明的是，由于运动目标跟踪技术已是现有技术中比较成熟的一种技术，并且其并非是本发明对于现有技术的改进之处，因此本发明实施例中对该技术不再赘述。
[0031]步骤13、分别确定上述各运动目标在其所在的图像帧序列所包含的各个图像帧中的位置和在视频图像帧序列中的首次出现时刻。
[0032]具体地，对于包含了多个运动子目标的运动目标而言，依据该运动目标包含的各运动子目标在视频图像帧序列中的各个视频图像帧中的位置坐标信息，确定该运动目标在图像帧序列中的各个图像帧中的位置坐标信息；依据该运动目标包含的各运动子目标在视频图像巾贞序列中的首次出现时刻，确定该运动目标在视频图像巾贞序列中的首次出现时刻，通常情况，会将最早出现的那个运动子目标在视频图像帧序列中的首次出现时刻确定为该运动目标在视频图像巾贞序列中的首次出现时刻。
[0033]可选地，在确定了运动目标后，针对各个运动目标在视频图像帧序列中首次出现的先后顺序，对确定的运动目标分别分配不同的目标标识，例如为第一个出现的运动目标分配标识“I号目标”，为第二个出现的运动目标分配标识“2号目标”，以此类推。一般地，分配的目标标识可以采用能体现运动目标出现顺序的一些标识，比如“I号目标”和“2号目标”就是这样的标识。同时对应于各个目标标识，可以对应记录该运动目标在视频图像帧序列中的首次出现时刻。对于包含了多个运动子目标的运动目标来讲，也可以为其运动子目标分配子目标标识，例如，假设2号运动目标包含了 2个运动子目标，那么依据各个运动子目标在视频图像帧序列中首次出现的先后顺序，为这2个运动子目标分别分配不同的子目标标识，例如2.1号子目标，2.2号子目标。
[0034]步骤14、根据通过执行步骤13而确定出的位置和首次出现时刻，针对视频图像帧序列中出现的除最早出现的运动目标外的其他每个运动目标，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠。
[0035]其中，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠，具体可以按下述步骤执行:
[0036]基于该运动目标所在的第一图像帧序列和在该运动目标之前出现的各个运动目标分别所在的各第二图像帧序列，通过执行依次对应比较第一图像帧序列中的各个图像帧与各第二图像帧序列中的各个图像帧的操作，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠。
[0037]其中，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠的判断标准有很多种情况，例如用一个矩形框代表一个运动目标，可以将两个矩形框的部分重叠作为判断重叠的标准，可以将两个矩形框的完成重合作为判断重叠的标准，还可以将两个矩形框的相碰撞作为判断重叠的标准。不同的重叠判断标准会影响最终获得的视频图像帧序列的浓缩效果。
[0038]步骤15、根据针对除最早出现的运动目标外的其他每个运动目标所得到的各个判断结果、通过执行步骤12而确定出的各个运动目标对应的各图像帧序列、通过执行步骤13而确定出的各个运动目标在视频图像帧序列中首次出现时刻以及背景模型，生成浓缩视频图像帧序列。
[0039]步骤15的具体实现过程可以包括下述子步骤:
[0040]首先，针对除最早出现的运动目标外的其他每个运动目标，根据相应的判断结果，确定在相应的图像帧中与该运动目标有重叠的重叠运动目标，以及在相应的图像帧中与该运动目标没有重叠的非重叠运动目标。
[0041]其次，通过合成背景模型和基于视频图像帧序列中最早出现的运动目标所生成的图像帧序列，生成基准图像帧序列；
[0042]然后，根据通过执行步骤13而确定出的各个运动目标在视频图像帧序列中的首次出现时刻，确定除最早出现的运动目标外的其他运动目标的出现顺序。可选地，当采用的是能体现运动目标出现顺序的目标标识时，可以根据各个运动目标的目标标识确定各个运动目标的出现顺序。
[0043]最后，基于基准图像帧序列、确定的各个运动目标的出现顺序、预设的图像合成规则和除最早出现的运动目标所在的图像帧序列外的其他图像帧序列，生成浓缩视频图像帧序列。
[0044]可选的，预设的图像合成规则可以为:
[0045]针对重叠运动目标，根据重叠运动目标在视频图像帧序列中的出现顺序，分别确定各个重叠运动目标在浓缩视频图像帧序列中的第一出现时刻；并合成各个重叠运动目标所在的图像巾贞序列和基准图像巾贞序列；以及
[0046]针对非重叠运动目标，根据非重叠运动目标在视频图像帧序列中的出现顺序，分别确定各个非重叠运动目标在浓缩视频图像帧序列中的第二出现时刻；并合成各个非重叠运动目标所在的图像巾贞序列和基准图像巾贞序列；
[0047]其中，确定出的各个第一、第二出现时刻均满足:使得浓缩视频图像帧序列中的不同运动目标之间不会有重叠，且不同运动目标在浓缩视频图像帧序列中的出现顺序与其在所述视频图像帧序列中的出现顺序一致。
[0048]具体地，假设确定了两个运动目标:1号运动目标和2号运动目标，且I号运动目标和2号运动目标分别只包含一个运动子目标。再假设每个运动目标都用一个矩形框表示。如果经过步骤14的判断获得用于表征2号运动目标的矩形框的与用于表征I号运动目标的矩形框在相应的图像帧序列所包含的图像帧中有碰撞，则将2号运动目标在浓缩视频图像帧序列中的首次出现时刻以I号运动目标在待浓缩视频图像帧序列中的首次出现时刻为起始点进行时间上的偏移，直至用于表征2号运动目标的矩形框与用于表征I号运动目标的矩形框在相应的图像帧序列所包含的图像帧中不再有碰撞时则停止偏移，并把该此时所对应的时刻确定为2号运动目标在浓缩视频图像帧序列中的首次出现时刻。如果经过步骤14的判断获得用于表征2号运动目标的矩形框的与用于表征I号运动目标的矩形框在相应的图像帧序列所包含的图像帧中没有碰撞，则可以将I号运动目标在待浓缩视频图像帧序列中的首次出现时刻确定为2号运动目标在浓缩视频图像帧序列中的首次出现时刻，即在浓缩视频图像帧序列中可能会看到2号运动目标和I号运动目标同时出现。但根据运动目标的目标标识(即I号、2号)可知，I号运动目标在待浓缩视频图像帧序列中首次出现时刻是早于2号运动目标的首次出现时刻。
[0049]进一步地，假设确定了两个运动目标:1号运动目标和2号运动目标，其中I号运动目标只包含一个运动子目标，2号运动目标包含2.1号运动子目标和2.2号运动子目标。并且每个运动子目标都用一个矩形框表示。如果经过步骤14的判断获得用于表征2.1号运动子目标的矩形框或用于表征2.2号运动子目标的矩形框与用于表征I号运动目标的矩形框在相应的图像帧序列所包含的图像帧中有碰撞，则将2号运动目标在浓缩视频图像帧序列中的首次出现时刻以I号运动目标在待浓缩视频图像巾贞序列中的首次出现时刻为起始点进行时间上的偏移，直至用于表征2.1号运动子目标的矩形框和用于表征2.2号运动子目标的矩形框与用于表征I号运动目标的矩形框在相应的图像帧序列所包含的图像帧中都不再有碰撞时则停止偏移，并把该此时所对应的时刻确定为2号运动目标在浓缩视频图像帧序列中的首次出现时刻，即把该此时所对应的时刻确定为2.1号子目标在浓缩视频图像帧序列中的首次出现时刻。如果经过步骤14的判断获得用于表征2.1号运动子目标的矩形框和用于表征2.2号运动子目标的矩形框与用于表征I号运动目标的矩形框在相应的图像帧序列所包含的图像帧中都没有碰撞，则可以将I号运动目标在待浓缩视频图像帧序列中的首次出现时刻确定为2号运动目标在浓缩视频图像帧序列中的首次出现时刻，即在浓缩视频图像帧序列中可能会看到2.1号运动子目标和I号运动目标同时出现。但根据(子)目标标识可知，I号运动目标在待浓缩视频图像帧序列中的首次出现时刻是早于2.1号运动子目标在待浓缩视频图像帧序列中的首次出现时刻。由此可见，本发明实施例在实现对待浓缩视频图像帧序列进行时间上压缩的同时，不仅考虑了各个运动目标在待浓缩的视频图像帧序列中出现的时间顺序，还利用了空间信息，从而达到了在保留原始视频中运动目标间的时间逻辑关系的同时大幅度缩短原始视频的长度的效果。
[0050]可选地，若待浓缩的视频图像帧序列包含具备不同背景图像信息的视频图像帧，则上述方法还包括以下步骤:
[0051]依次针对待浓缩的视频图像帧序列中的每个视频图像分别执行指定操作，直至通过对该待浓缩的视频图像帧序列中的每个视频图像帧与背景模型的分别比较，而保存了每个确定出的待保存的背景图像帧后，根据保存的背景图像帧，生成浓缩背景图像帧序列。
[0052]上述指定操作包括:比较该视频图像帧与预先设置的背景模型，并根据比较结果更新背景模型，得到更新的背景模型；在判断出当前时刻为根据预设时间间隔确定出的背景图像帧保存时刻时，确定更新的背景模型为待保存的背景图像帧并对其进行保存；以及将更新的背景模型作为预先设置的背景模型。
[0053]通过执行上述更新背景模型的操作，可以避免只基于固定不变的背景模型生成浓缩视频图像帧序列，而不考虑待浓缩的视频图像帧序列中背景图像变化，会造成最终生成的浓缩视频图像帧序列中的背景图像与待浓缩的视频图像帧序列中的背景图像相差太远而出现的浓缩视频图像序列不够真实的问题。
[0054]需要说明的是，不同视频图像帧的背景图像信息不同具体可以但不限于体现为:不同视频图像帧的亮度信息不同(例如由于光线的变化引起的视频图像帧的亮度信息不同)，或不同视频图像帧的背景图像中的物体阴影的面积有所不同等。
[0055]综上所述，本发明实施例提供的一种视频图像帧序列的浓缩方法，通过比较待浓缩的视频图像帧序列与预先设置的背景模型，确定只包含每个运动目标的图像帧构成的图像帧序列和每个运动目标在其所在的图像帧中的位置以及在视频图像帧序列中的首次出现时刻；根据确定出的位置和首次出现时刻，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠；并根据针对除最早出现的运动目标外的其他每个运动目标所得到的各个判断结果、上述首次出现时刻、各图像帧序列以及背景模型生成浓缩视频图像帧序列。可见，本发明实施例在实现对待浓缩视频图像帧序列进行时间上压缩的同时，不仅考虑了各个运动目标在待浓缩的视频图像帧序列中出现的时间顺序，还利用了空间信息，从而达到了在保留原始视频中运动目标间的时间逻辑关系的同时大幅度缩短原始视频的长度的效果。
[0056]实施例二
[0057]本发明实施例二提供的一种视频图像帧序列的浓缩方法，在实施例一的基础上实现了背景模型的更新，从而使得最终生成的浓缩视频图像帧序列真实。具体的方法流程图如图2所示。
[0058]步骤21、设置背景模型。
[0059]根据待浓缩视频图像帧序列中起始的连续多帧图像，建立背景模型，通常情况下背景模型的建模方法有单高斯背景建模和混合高斯背景建模。需要说明的是，背景模型可以对应一个背景图像帧，也可以对应由多个背景图像帧组成的背景图像帧序列。在本发明实施例中，假设背景模型对应为一个背景图像帧。
[0060]步骤22、确定运动目标。
[0061]具体地，在背景模型设置完成后，利用背景差分的方法，将待浓缩视频图像帧序列的视频图像帧与背景模型相比较，统计所有差分结果大于指定阈值的像素点为前景像素点，该些前景像素点组成的图像包含了运动目标。其中，该运动目标可以为在视频图像帧序列中没有与其他运动子目标重叠的运动子目标，也可以为由具有重叠关系的多个运动子目标共同构成的一个运动目标。假设本发明实施例二中的运动目标为在视频图像帧序列中没有与其他运动子目标重叠的运动子目标。
[0062]步骤23、跟踪运动目标。
[0063]待运动目标确定后，需要对背景模型确定的场景中出现的运动目标进行跟踪处理，即可以为各个进入到由背景模型确定的场景中的运动目标分配目标标识，例如I号运动目标、2号运动目标、3号运动目标等，其中2号运动目标是在I号运动目标之后进入场景，3号运动目标是在2号运动目标之后进入场景，依次类推。这样各个运动目标从进入场景到离开场景都分别对 应着目标标识。假设一个运动目标从进入场景到离开场景所形成的运动目标序列定义为一个事件，那么每个事件的标识对应该事件中的运动目标的标识。
[0064]针对各个目标标识，跟踪记录各个运动目标在待浓缩视频图像帧序列中的相应的视频图像帧的坐标位置信息、对应各个视频图像帧的视频图像信息以及在待浓缩视频图像帧序列中的首次出现时刻和最后一次出现时刻。
[0065]步骤24、提取目标信息。
[0066]针对确定出的每个运动目标，在待浓缩的视频图像帧序列中提取只包含该运动目标的图像帧构成的图像帧序列，即每个图像帧序列对应一个事件。根据图像帧序列对应的目标标识获取步骤23跟踪记录的各个运动目标的坐标位置信息、视频图像帧信息以及首次出现时刻和最后一次出现时刻。
[0067]步骤25、确定各个事件在浓缩视频图像帧序列的发生时刻。
[0068]假设利用Ti= (tOTi—s1，Lri e1; tsyp—s1，tsyp—e1)和 Tj= (tori_sJ, tori eJ; tsyp_sJ, tsyp eJ)分别表示事件i和事件j在待浓缩视频图像帧序列中所对应的起始和结束时刻以及在浓缩视频图像帧序列中对应的起始和结束时刻。假设事件i在事件j前发生，则以事件i为基准，将事件j偏移到与事件i相同的起始时刻，判断事件i对应的运动目标Mi与事件j对应的运动目标Mi是否相互遮挡，如果没有相互遮挡，则事件j在浓缩视频图像帧序列中所对应的起始时刻为tsyp—^ = tsyp—s\结束时刻为tsyp—? = tsyp_sJ+ (tori eJ-tori_sJ);如果有相互遮挡,则将事件j的起始时刻向后偏移shift (shift > 0)，直至偏移后的事件j对应的运动目标Mi与事件i对应的运动目标Mi不再发生相互遮挡，此时事件j在浓缩视频图像帧序列中所对应的起始时刻为 U = tsyp—J+shift,结束时刻为 tsyp—J = tsyp_sJ+ (tori eJ-tori_sJ)。上述执行过程的目的就在于确保在浓缩视频图像帧序列中事件j仍然在事件i之后发生。
[0069]针对上述描述，举一实例说明。假设在待浓缩的视频图像帧序列中前后出现了三个运动目标，I号运动目标、2号运动目标和3号运动目标，且每个运动目标分别对应一个大小相等的矩形框，则根据I号运动目标对应的矩形框在在待浓缩的视频图像帧序列中的各个视频图像帧中的坐标位置信息以及在待浓缩的视频图像帧序列中的首次出现时刻和最后一次出现的时刻，确定事件I ;根据2号运动目标对应的矩形框在在待浓缩的视频图像帧序列中的各个视频图像帧中的坐标位置信息以及在待浓缩的视频图像帧序列中的首次出现时刻和最后一次出现时刻，确定事件2 ;根据3号运动目标对应的矩形框在在待浓缩的视频图像帧序列中的各个视频图像帧中的坐标位置信息以及在待浓缩的视频图像帧序列中的首次出现时刻和最后一次出现的时刻，确定事件3。
[0070]根据上述假设，由于I号运动目标在待浓缩的视频图像帧序列中的首次出现时刻早于2号运动目标的首先出现时刻，则以事件I为基准判断事件，将事件2的起始时刻偏移至与事件I的起始时刻相同的时刻，对应比较事件2中包含的矩形框是否与事件I中包含的矩形框发生碰撞，假设比较结果为否，则将事件I在待浓缩视频图像帧序列的起始时刻确定为事件2在浓缩的视频图像帧序列中的起始时刻。然后将事件3的起始时刻偏移至与事件2在浓缩的视频图像帧序列中的起始时刻相同的时刻，分别比较事件3中包含的矩形框是否与事件I和事件2中包含的矩形框发生碰撞，假设比较结果为是，则将事件3的起始时刻以事件2在浓缩的视频图像帧序列中的起始时刻为起始点进行时间上的偏移，直至事件3中包含的矩形框不再与事件I和事件2中包含的矩形框发生碰撞时停止偏移，并把偏移后对应的时刻确定为事件3在浓缩的视频图像帧序列中的起始时刻。
[0071]由上述例子可见，对确定的待浓缩视频图像帧序列中出现的所有运动目标的处理过程可以总结为:选定在待浓缩视频图像帧序列中最先出现的运动目标对应的事件作为浓缩视频中的基准判断事件，后续出现的事件仅与其前面发生的事件做时间上的偏移判断，从而实现在时间和空间上压缩原始视频的同时保证了事件间的原始时间逻辑关系。
[0072]步骤26、更新背景模型，并按预设时间间隔选择背景图像帧形成浓缩背景图像帧序列。
[0073]具体的，假设浓缩的视频图像帧序列中包含了 100个视频图像帧，步骤21确定的背景模型记为背景模型1，则更新背景模型的过程可以描述为:将待浓缩的视频图像帧序列中的第I个视频图像帧与背景模型I对应的背景图像帧进行比较，并根据比较结果更新背景模型，得到更新的背景模型，并该更新的背景模型记为背景模型2 ;再将待浓缩的视频图像帧序列中的第2个视频图像帧与背景模型2进行比较，根据比较结果继续更新背景模型，得到更新的背景模型，并该更新的背景模型记为背景模型3，依次类推，直至完成待浓缩的视频图像帧序列中第100个视频图像帧与背景模型100的比较，并获得背景模型101时，结束对背景模型的更新。
[0074]其中，每当对背景模型完成一次更新(即获得一次更新的背景模型)，都需要判断当前时刻是否为根据预设时间间隔确定出的背景图像帧保存时刻，如果判断结果为是，则将更新的背景模型对应的背景图像帧进行保存。直至获得背景模型101从而结束对背景模型的更新后，根据保存的背景图像帧，生成浓缩背景图像帧序列。
[0075]举例来说，要将早上7点至9点的一段视频图像帧序列进行浓缩，预设背景模型为早上7点的视频图像帧所对应的背景图像，为了使最终获得的浓缩的视频图形帧序列更真实，可以每隔2分钟保存一次当前通过更新而得到的更新的背景模型对应的背景图像帧，也可以每隔I分钟保存一次当前通过更新而得到的更新的背景模型对应的背景图像帧。如果每隔I分钟保存一次(假设不对初始时刻的背景图形帧进行保存)，则针对7点至9点这段视频图像帧序列，最终一共保存了 120个背景图像帧，这120个背景图像帧就组成了浓缩背景图像帧序列。
[0076]步骤27、生成浓缩视频图像帧序列。
[0077]按照步骤25确定各个事件在浓缩视频图像帧序列的发生时刻，将各个事件拼接至步骤26确定的浓缩背景图像帧序列中，从而生成浓缩视频图像帧序列。
[0078]具体的，假设待拼接的所有事件持续的总时长为12分钟，则针对在步骤26中所举的实例，在生成浓缩视频图像帧序列时，将第I个背景图像帧所对应的图像作为浓缩视频图像序列中第I秒至第6秒浓缩视频图像帧背景图像，将第2个背景图像帧所对应的图像作为浓缩视频图像序列中第7秒至第12秒浓缩视频图像帧的背景图像，依此类推，最终实现将各个事件拼接至通过执行步骤26所获得的浓缩背景图像帧序列中，从而生成浓缩视频图像帧序列。可见，利用上述方式形成的浓缩背景图像帧序列体现了待浓缩视频图像序列中背景图像的变化(例如光线的变化)，这样，将原始数小时的视频浓缩至几分钟实现时可以适度地保持原视频的真实性。
[0079]综上所述，本发明实施例提供的一种视频图像帧序列的浓缩方法在实现对待浓缩视频图像帧序列进行时间上压缩的同时，不仅利用了空间信息，还考虑了各个运动目标在待浓缩的视频图像帧序列中出现的时间顺序，从而达到了保留原始视频中运动目标间的时间逻辑关系的同时缩短原始视频的长度的效果。
[0080]对应于本发明实施例提供的一种视频图像帧序列的浓缩方法，本发明实施例还提供一种视频图像帧序列的浓缩装置如图3所示，用以解决现有技术存在的为保留原始视频中运动目标间的时间逻辑关系的同时不能大幅度的压缩原始视频的长度的问题。该装置的具体结构可以包括:
[0081]运动目标确定单元31，用于根据待浓缩的视频图像帧序列与预先设置的背景模型，确定待浓缩的视频图像帧序列中出现的全部运动目标；其中，所述运动目标包括:在所述视频图像帧序列中没有与其他运动子目标重叠的运动子目标，以及具有重叠关系的多个运动子目标。
[0082]图像帧序列生成单元32，用于基于所述视频图像帧序列、所述背景模型和运动目标跟踪技术，生成分别包含确定出的各运动目标的各图像帧序列。
[0083]位置与时刻确定单元33，用于分别确定各运动目标在其所在的图像帧序列所包含的各个图像帧中的位置和在视频图像帧序列中的首次出现时刻。
[0084]判断单元34，用于根据位置与时刻确定单元33确定出的位置和首次出现时刻，针对视频图像帧序列中出现的除最早出现的运动目标外的其他每个运动目标，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否
有重叠；
[0085]浓缩视频图像帧序列生成单元35，用于根据背景模型、判断单元34针对除最早出现的运动目标外的其他每个运动目标所得到的各个判断结果和位置与时刻确定单元33确定的首次出现时刻以及图像帧序列生成单元32确定的各图像帧序列，生成浓缩视频图像帧序列。
[0086]可选的，若待浓缩的视频图像帧序列包含具备不同背景图像信息的视频图像帧，则上述视频图像帧序列的浓缩装置还可以包括:
[0087]浓缩背景生成单元36，用于依次针对待浓缩的视频图像帧序列中的每个视频图像分别执行指定操作，直至通过对该待浓缩的视频图像帧序列中的每个视频图像帧与背景模型的分别比较，而保存了每个确定出的待保存的背景图像帧后，根据保存的背景图像帧，生成浓缩背景图像帧序列；
[0088]上述指定操作包括:比较该视频图像帧与预先设置的背景模型，并根据比较结果更新所述背景模型，得到更新的背景模型；在判断出当前时刻为根据预设时间间隔确定出的背景图像帧保存时刻时，确定更新的背景模型为待保存的背景图像帧并对其进行保存；以及将更新的背景模型作为预先设置的背景模型；则
[0089]浓缩视频图像帧序列生成单元35，具体用于根据浓缩背景生成单元36确定的浓缩背景图像帧序列、判断单元34获得的各个判断结果、位置与时刻确定单元33确定的首次出现时刻以及图像帧序列生成单元32确定的各图像帧序列，生成浓缩视频图像帧序列。
[0090]进一步地,判断单元34具体用于:
[0091]根据位置与时刻确定单元33确定出的位置和首次出现时刻，针对视频图像帧序列中出现的除最早出现的运动目标外的其他每个运动目标，基于该运动目标所在的第一图像帧序列和在该运动目标之前出现的各个运动目标分别所在的各第二图像帧序列，通过执行依次对应比较第一图像帧序列中的各个图像帧与各第二图像帧序列中的各个图像帧的操作，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠。
[0092]浓缩视频图像帧序列生成单元35具体包括:
[0093]运动目标区分子单元351，用于针对除最早出现的运动目标外的其他每个运动目标，根据判断单元34确定的相应的判断结果，确定在相应的图像帧中与该运动目标有重叠的重叠运动目标，以及在相应的图像帧中与该运动目标没有重叠的非重叠运动目标；
[0094]基准序列生成子单元352，用于通过合成浓缩背景图像帧序列和基于视频图像帧序列中最早出现的运动目标所生成的图像巾贞序列，生成基准图像巾贞序列；
[0095]顺序确定子单元353，用于根据位置与时刻确定单元确定出的首次出现时刻，确定除最早出现的运动目标外的其他运动目标的出现顺序；
[0096]序列合成子单元354，用于基于基准序列生成子单元352确定的基准图像帧序列、顺序确定子单353元确定的出现顺序、预设的图像合成规则和除最早出现的运动目标所在的图像帧序列外的其他图像帧序列，生成浓缩视频图像帧序列。
[0097]其中，图像合成规则可以包括:
[0098]针对重叠运动目标，根据重叠运动目标在所述视频图像帧序列中的出现顺序，分别确定各个重叠运动目标在浓缩视频图像帧序列中的第一出现时刻；并合成各个重叠运动目标所在的图像巾贞序列和基准图像巾贞序列；以及
[0099]针对非重叠运动目标，根据非重叠运动目标在所述视频图像帧序列中的出现顺序，分别确定各个非重叠运动目标在浓缩视频图像帧序列中的第二出现时刻；并合成各个非重置运动目标所在的图像巾贞序列和基准图像巾贞序列；
[0100]其中，确定出的各个第一、第二出现时刻均满足:使得浓缩视频图像帧序列中的不同运动目标之间不会有重叠，且不同运动目标在浓缩视频图像帧序列中的出现顺序与其在所述视频图像帧序列中的出现顺序一致。
[0101]综上所述，本发明实施例提供的一种视频图像帧序列的浓缩装置，通过比较待浓缩的视频图像帧序列与预先设置的背景模型，确定只包含每个运动目标的图像帧构成的图像帧序列和每个运动目标在其所在的图像帧中的位置以及在视频图像帧序列中的首次出现时刻；根据确定出的位置和首次出现时刻，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠；并根据针对除最早出现的运动目标外的其他每个运动目标所得到的各个判断结果、上述首次出现时刻和各图像帧序列，充分利用背景模型的空间信息生成浓缩视频图像帧序列。
[0102]可见，本发明实施例在实现对待浓缩视频图像帧序列进行时间上压缩的同时，不仅考虑了各个运动目标在待浓缩的视频图像帧序列中出现的时间顺序，还利用了空间信息，从而达到了在保留原始视频中运动目标间的时间逻辑关系的同时大幅度缩短原始视频的长度的效果。
[0103]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【权利要求】
1.一种视频图像帧序列的浓缩方法，其特征在于，包括: 根据待浓缩的视频图像帧序列与预先设置的背景模型，确定所述视频图像帧序列中出现的全部运动目标；其中，所述运动目标包括:在所述视频图像帧序列中没有与其他运动子目标重叠的运动子目标，以及具有重叠关系的多个运动子目标； 基于所述视频图像帧序列、所述背景模型和运动目标跟踪技术，生成分别包含确定出的各运动目标的各图像帧序列；并 分别确定所述各运动目标在其所在的图像帧序列所包含的各个图像帧中的位置和在所述视频图像帧序列中的首次出现时刻；并 根据确定出的所述位置和所述首次出现时刻，针对所述视频图像帧序列中出现的除最早出现的运动目标外的其他每个运动目标，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重置；并 根据针对除最早出现的运动目标外的其他每个运动目标所得到的各个判断结果、所述首次出现时刻、背景模型和各图像帧序列，生成浓缩视频图像帧序列。
2.如权利要求1所述的方法，其特征在于，所述待浓缩的视频图像帧序列包含具备不同背景图像信息的视频图像帧；则 所述方法还包括: 依次针对待浓缩的视频图像帧序列中的每个视频图像分别执行指定操作，直至通过对该待浓缩的视频图像帧序列中的每个视频图像帧与背景模型的分别比较，而保存了每个确定出的待保存的背景图像帧后，根据保存的背景图像帧，生成浓缩背景图像帧序列； 所述指定操作包括:比较该视频图像帧与预先设置的背景模型，并根据比较结果更新所述背景模型，得到更新的背景模型；在判断出当前时刻为根据预设时间间隔确定出的背景图像帧保存时刻时，确定更新的背景模型为待保存的背景图像帧并对其进行保存；以及将更新的背景模型作为预先设置的背景模型；则 根据所述各个判断结果、所述首次出现时刻、背景模型和各图像帧序列，生成浓缩视频图像帧序列，具体包括: 根据所述各个判断结果、所述首次出现时刻、浓缩背景图像帧序列和各图像帧序列，生成浓缩视频图像帧序列。
3.如权利要求2所述的方法，其特征在于，根据所述各个判断结果、所述首次出现、浓缩背景图像帧序列和各图像帧序列，生成浓缩视频图像帧序列，具体包括: 针对除最早出现的运动目标外的其他每个运动目标，根据相应的所述判断结果，确定在相应的图像帧中与该运动目标有重叠的重叠运动目标，以及在相应的图像帧中与该运动目标没有重叠的非重叠运动目标； 通过合成浓缩背景图像帧序列和基于所述视频图像帧序列中最早出现的运动目标所生成的图像帧序列，生成基准图像帧序列； 根据所述首次出现时刻，确定除最早出现的运动目标外的其他运动目标的出现顺序；基于所述基准图像帧序列、所述出现顺序、预设的图像合成规则和除最早出现的运动目标所在的图像帧序列外的其他图像帧序列，生成浓缩视频图像帧序列。
4.如权利要求1所述的方法，其特征在于，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠，具体包括:基于该运动目标所在的第一图像帧序列和在该运动目标之前出现的各个运动目标分别所在的各第二图像帧序列，通过执行依次对应比较第一图像帧序列中的各个图像帧与各第二图像帧序列中相应的各个图像帧的操作，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠。
5.如权利要求3所述的方法，其特征在于，所述图像合成规则包括: 针对重叠运动目标，根据重叠运动目标在所述视频图像帧序列中的出现顺序，分别确定各个重叠运动目标在浓缩视频图像帧序列中的第一出现时刻；并合成各个重叠运动目标所在的图像帧序列和基准图像帧序列；以及 针对非重叠运动目标，根据非重叠运动目标在所述视频图像帧序列中的出现顺序，分别确定各个非重叠运动目标在浓缩视频图像帧序列中的第二出现时刻；并合成各个非重叠运动目标所在的图像帧序列和基准图像帧序列； 其中，确定出的各个第一、第二出现时刻均满足:使得浓缩视频图像帧序列中的不同运动目标之间不会有重叠，且不同运动目标在浓缩视频图像帧序列中的出现顺序与其在所述视频图像帧序列中的出现顺序一致。
6.一种视频图像帧序列的浓缩装置，其特征在于，包括: 运动目标确定单元，用于根据待浓缩的视频图像帧序列与预先设置的背景模型，确定所述视频图像帧序列中出现的全部运动目标；其中，所述运动目标包括:在所述视频图像帧序列中没有与其他运动子目标重叠的运动子目标，以及具有重叠关系的多个运动子目标； 图像帧序列生成单元，用于基于所述视频图像帧序列、所述背景模型和运动目标跟踪技术,生成分别包含确定出的各运动目标的各图像帧序列； 位置与时刻确定单元，用于分别确定各运动目标在其所在的图像帧序列所包含的各个图像帧中的位置和在所述视频图像帧序列中的首次出现时刻； 判断单元，用于根据所述位置与时刻确定单元确定出的所述位置和所述首次出现时亥IJ，针对所述视频图像帧序列中出现的除最早出现的运动目标外的其他每个运动目标，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠； 浓缩视频图像帧序列生成单元，用于根据背景模型、所述判断单元针对除最早出现的运动目标外的其他每个运动目标所得到的各个判断结果、所述位置与时刻确定单元确定的首次出现时刻以及所述图像帧序列生成单元确定的各图像帧序列，生成浓缩视频图像帧序列。
7.如权利要求6所述的装置，其特征在于，所述待浓缩的视频图像帧序列包含具备不同背景图像信息的视频图像帧；则 所述装置还包括: 浓缩背景生成单元，用于依次针对待浓缩的视频图像帧序列中的每个视频图像分别执行指定操作，直至通过对该待浓缩的视频图像帧序列中的每个视频图像帧与背景模型的分别比较，而保存了每个确定出的待保存的背景图像帧后，根据保存的背景图像帧，生成浓缩背景图像帧序列； 所述指定操作包括:比较该视频图像帧与预先设置的背景模型，并根据比较结果更新所述背景模型，得到更新的背景模型；在判断出当前时刻为根据预设时间间隔确定出的背景图像帧保存时刻时，确定更新的背景模型为待保存的背景图像帧并对其进行保存；以及将更新的背景模型作为预先设置的背景模型；则 所述浓缩视频图像帧序列生成单元，具体用于根据所述浓缩背景生成单元确定的浓缩背景图像帧序列、所述判断单元获得的各个判断结果和所述位置与时刻确定单元确定的首次出现时刻以及所述图像帧序列生成单元确定的各图像帧序列，生成浓缩视频图像帧序列。
8.如权利要求7所述的装置，其特征在于，浓缩视频图像帧序列生成单元具体包括: 运动目标区分子单元，用于针对除最早出现的运动目标外的其他每个运动目标，根据所述判断单元确定的相应的判断结果，确定在相应的图像帧中与该运动目标有重叠的重叠运动目标，以及在相应的图像帧中与该运动目标没有重叠的非重叠运动目标； 基准序列生成子单元，用于通过合成浓缩背景图像帧序列和基于所述视频图像帧序列中最早出现的运动目标所生成的图像帧序列，生成基准图像帧序列； 顺序确定子单元，用于根据所述首次出现时刻，确定除最早出现的运动目标外的其他运动目标的出现顺序； 序列合成子单元，用于基于所述基准序列生成子单元确定的基准图像帧序列、所述顺序确定子单元确定的出现顺序、预设的图像合成规则和除最早出现的运动目标所在的图像帧序列外的其他图像帧序列，生成浓缩视频图像帧序列。
9.如权利要求6所述的装置，其特征在于，判断单元具体用于: 根据所述位置与时刻确定单元确定出的位置和首次出现时刻，针对所述视频图像帧序列中出现的除最 早出现的运动目标外的其他每个运动目标，基于该运动目标所在的第一图像帧序列和在该运动目标之前出现的各个运动目标分别所在的各第二图像帧序列，通过执行依次对应比较第一图像帧序列中的各个图像帧与各第二图像帧序列中的各个图像帧的操作，判断该运动目标与在该运动目标之前出现的各个运动目标在相应的图像帧序列所包含的图像帧中是否有重叠。
10.如权利要求8所述的装置，其特征在于，所述图像合成规则包括: 针对重叠运动目标，根据重叠运动目标在所述视频图像帧序列中的出现顺序，分别确定各个重叠运动目标在浓缩视频图像帧序列中的第一出现时刻；并合成各个重叠运动目标所在的图像帧序列和基准图像帧序列；以及 针对非重叠运动目标，根据非重叠运动目标在所述视频图像帧序列中的出现顺序，分别确定各个非重叠运动目标在浓缩视频图像帧序列中的第二出现时刻；并合成各个非重叠运动目标所在的图像帧序列和基准图像帧序列； 其中，确定出的各个第一、第二出现时刻均满足:使得浓缩视频图像帧序列中的不同运动目标之间不会有重叠，且不同运动目标在浓缩视频图像帧序列中的出现顺序与其在所述视频图像帧序列中的出现顺序一致。
【文档编号】H04N19/172GK103888768SQ201210564152
【公开日】2014年6月25日 申请日期:2012年12月21日 优先权日:2012年12月21日
【发明者】黄虎, 潘晖, 郑韬, 潘石柱, 张兴明, 傅利泉, 朱江明, 吴军, 吴坚 申请人:浙江大华技术股份有限公司