判断改变区域的内容的方法和装置的制造方法
【技术领域】
[0001] 本发明主要涉及图像处理和视频分析领域，尤其涉及一种用于判断视频中的改变 区域的内容的方法。
【背景技术】
[0002] 在现在的安全监控系统中广泛使用视频照相机。因此，当今视频内容的自动分析 变得日益重要。它们通常寻找不是正常预期的场景的一部分的异常活动。在许多情况下， 异常活动涉及诸如人跑步、人的古怪行为等运动事件。常用的检测运动事件的方法是背景 减法。其能够分割运动前景和静态背景。但是，在一些实际应用中，还需要对运动前景的内 容进行分析和处置。例如，诸如机场或者咖啡厅的公共场所中的丢弃的物体是需要尽可能 快地检测和解决的潜在威胁。另外，无人看管的场所中的财产盗窃是现在的安全系统的另 一个重要任务。
[0003] 图1示出了两个视频场景。在图1A中，物体被丢弃。在图1B中，物体被移除。丢 弃物体事件和移除物体事件可能产生相同的改变区域（R0C)。背景减法方法无法区分送两 种情况。通过背景减法得到的检测是相同的。
[0004] 为了应对送种情形，美国专利第8422791号公报提出了一种检测丢弃物体和移除 物体的方法。在该现有技术中，公开了一种将检测到的视频顿的R0C分类为丢弃物体事件 和物体移除事件的方法，其中，多个边界块限定R0C的边界。对于一组边界块中的每一个， 该方法确定所述边界块的预测边缘特性和观察边缘特性。然后，该方法基于所述边界块的 所述预测边缘特性和所述边界块的所述观察边缘特性，确定所述边界块的单个块分数。一 旦对该组边界块中的全部进行了处理，则该方法基于所述边界块的所述单个块分数，确定 所述R0C的全局分数。然后，该方法基于所述全局分数与阔值如何相关来将R0C分类为丢 弃物体事件和物体移除事件。然而，上述方法高度依赖于检测到的R0C的边界。如果例如 由于噪声、阴影或者照明的改变，边界未正确地勾勒出物体边界的轮廓，则现有技术仍然需 要进一步的改进。
[0005] 下面的示例示出了导致现有技术将移除的物体错误地分类为丢弃的物体的不准 确地检测到的边界。
[0006] 图2A示出了照相机位于背景框架中的支架上。图2B示出了在当前框架中移除了 照相机，仅留下支架。图2中的形状21和22指示通过现有技术检测到的R0C的边界。图 2中的矩形23指示R0C的地面真实位置。由于在照相机后面的支架上存在阴影区域，因此 检测到的R0C的边界未被正确地检测到。反而，检测到的R0C的边界包围比真实的改变区 域大得多的区域。检测R0C的边界时的误差传播到边缘特性的计算和R0C的内容判断。
[0007] 因此，期望能够提供一种对于阴影和噪声稳健的、用于判断检测到的R0C的内容 是丢弃的物体还是移除的物体的方法及其装置。
【发明内容】
[0008] 鉴于上述问题中的至少一个提出了本发明。
[0009] 在一个方面，提供了一种判断检测到的改变区域的内容的方法，其中，基于视频序 列的当前顿和场景模型检测所述改变区域，并且所述方法包括：区域对确定步骤，用于确定 来自所述R0C的内部和外部的至少一个区域对；第一差分计算步骤，用于计算所述场景模 型中所述至少一个区域对的至少一个特征的第一差分；第二差分计算步骤，用于计算所述 当前顿中所述至少一个区域对的所述至少一个特征的第二差分；判断步骤，用于根据所述 第一差分和所述第二差分，判断所述R0C是否是丢弃的物体，或者判断所述R0C是否是移除 的物体。
[0010] 在一个实施方式中，使用背景减法来获取所述R0C。
[0011] 在一个实施方式中，所述视频序列由彩色图像顿或者灰色图像顿构成。
[0012] 在一个实施方式中，在所述第一差分计算步骤之前添加对所述场景模型和/或所 述当前顿的预处理步骤，其中，所述预处理步骤是离散余弦变换、傅立叶变换或小波变换。
[0013] 在一个实施方式中，所述至少一个区域对中的各个由图像像素或者图像块构成。
[0014] 在一个实施方式中，所述区域对确定步骤还包括：提取所述R0C的边界；获得沿所 述R0C的所述边界的候选区域对；从所述候选区域对中移除至少一个无效区域对。
[0015] 在一个实施方式中，所述至少一个特征表示亮度和/或颜色和/或纹理。
[0016] 在一个实施方式中，在所述区域对确定步骤中，其中，所述至少一个区域对满足W 下标准：要配对的内部区域和外部区域与所检测到的R0C的同一边界区域相邻。
[0017] 在一个实施方式中，在所述第一差分计算步骤和所述第二差分计算步骤中，对所 述至少一个特征中的至少一部分进行加权。
[0018] 在一个实施方式中，所述判断步骤还包括：在从所述第一差分到所述第二差分的 转变是从较小差分到较大差分的情况下，判断所述改变区域为丢弃的物体；或者在从所述 第一差分到所述第二差分的转变是从较大差分到较小差分的情况下，判断所述改变区域是 移除的物体。
[0019] 在一个实施方式中，所述判断步骤还包括：计算从所述第一差分到所述第二差分 的转变分数；将所述转变分数与预先设置的阔值进行比较；在所述分数大于所述阔值的情 况下，判断所述改变区域为丢弃的物体，或者在所述分数小于所述阔值的情况下，判断所述 改变区域为移除的物体。
[0020] 在另一方面，提供了一种被配置为判断R0C的内容的装置，其中，通过将视频序列 的当前顿与场景模型进行比较来检测所述R0C。所述装置包括：区域对确定单元，其被配 置为确定来自所述R0C的内部和外部的至少一个区域对；第一差分计算单元，其被配置为 计算所述场景模型中的所述至少一个区域对的至少一个特征的第一差分；第二差分计算 单元，其被配置为计算所述当前顿中的所述至少一个区域对的所述至少一个特征的第二差 分；判断单元，其被配置为根据所述第一差分和所述第二差分，判断所述改变区域是否是丢 弃的物体，或者判断所述改变区域是否是移除的物体。
[0021] 在一个实施方式中，所述装置还包括预处理单元，所述预处理单元被配置为实现 对所述场景模型和所述当前顿的离散余弦变换、傅立叶变换或小波变换。
[0022] 在一个实施方式中，所述区域对确定单元还包括；提取子单元，其被配置为提取所 述R0C的边界；获取子单元，其被配置为获取沿所述R0C的所述边界的候选区域对；W及移 除子单元，其被配置为从所述候选区域对中移除至少一个无效区域对。
[0023] 在一个实施方式中，所述判断单元还包括：在从所述第一差分到所述第二差分的 转变是从较小差分到较大差分的情况下，判断所述改变区域为丢弃的物体；或者在从所述 第一差分到所述第二差分的转变是从较大差分到较小差分的情况下，判断所述改变区域为 移除的物体。
[0024] 在一个实施方式中，所述判断单元还包括；计算子单元，其被配置为计算从所述第 一差分到所述第二差分的转变分数；比较子单元，其被配置为将所述转变分数与预先设置 的阔值进行比较；判断子单元，其被配置为在所述分数大于所述阔值的情况下，判断所述改 变区域为丢弃的物体，或者在所述分数小于所述阔值的情况下，判断所述改变区域为移除 的物体。
[00巧]在另一方面，提供一种照相机系统。所述照相机系统包括；镜头系统；照相机模 块，其被禪合到所述镜头系统W捕获输入视频序列；根据上述装置中的任一个所述的装置。
【附图说明】
[0026] 包含在说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与 文字描述一起用于解释本发明的原理。
[0027] 图1示意性地示出了物体被丢弃和物体被移除的两个视频场景；
[0028] 图2示例性地示出了现有技术的缺点。
[0029] 图3示意性地示出了本发明的原理。
[0030] 图4A是根据能够实现本发明的实施例的第一示例性系统配置的示意性框图。
[0031] 图4B是根据能够实现本发明的实施例的第二示例性系统配置的示意性框图。
[0032] 图5是示出图4A和图4B中的计算设备420的示例性硬件配置的框图。
[0033] 图6是示出根据本发明的R0C内容判断方法的通用流程图。
[0034] 图7是示出根据本发明的区域对确定步骤中的处理的流程图。
[0035] 图8示出了按照行搜索检测到的R0C的最小和最大块索引的处理。
[0036] 图9示出了按照列搜索检测到的R0C的最小和最大块索引的处理。
[0037] 图10示出了R0C的边界块和相应的候选区域对的位置。
[0038] 图11示出了图9的图像坐标系。
[0039] 图12示出了无效区域对的一个示例。
[0040] 图13示出了无效区域对的另一个示例。
[0041] 图14是示出根据本发明的第一差分计算步骤中的处理的流程图。
[0042] 图15是示出根据本发明的第二差分计算步骤中的处理的流程图。
[0043] 图16是示出根据本发明的内容判断步骤中的处理的流程图。
[0044] 图17是根据本发明的R0C内容判断装置的功能配置。
【具体实施方式】
[0045] 下面，参照附图详细描述本发明的示例性实施例。应注意，下面的描述在本质上仅 是说明性和示例性的，而绝不旨在限制本发明及其应用或者使用。除非另外具体说明，在实 施例中描述的部件和步骤、数字表示和数值的相对布置不限制本发明的范围。另外，不详细 讨论本领域技术人员已知的技术、方法和设备，但