专利名称：图像监视系统和检测对象是被留下还是被带走的方法
技术领域：
与示例性实施例一致的设备和方法涉及通过分析由固定相机获得的输入图像来检测留下或被带走的对象的图像监视。
背景技术：
已经对通过如在监视系统中使用的固定相机一样地使用固定相机来对背景进行 建模并检测对象的区域的技术进行了研究。另外，随着恐怖主义对公共设施的危险增加，需要开发用于检测这些危险的监视系统。检测被留下之后在预定时间段内没有移动的对象或者已被带走过了预定时间段的对象的现有技术的方法可被用于诸如预定等级的光照和其它移动对象的数量有限时的环境。由于使用所述现有技术的方法的环境变得更加复杂，所以现有技术的方法的性能会显著降低。可根据在给定区域中的移动对象的数量、光照和天气的改变以及噪声的存在来确定环境复杂度的等级。这些现有技术的方法具有如下的问题，即，不能检测留下或带走的对象，或者增加在光照的改变发生和很多其它对象移动的复杂环境中的很多错误警报。
发明内容
一个或多个示例性实施例提供一种即使在复杂的环境中检测被留下或带走的对象的方法和系统。根据示例性实施例的一方面，提供了一种图像监视系统，所述图像监视系统可包括前景检测单元，基于背景图像与当前输入图像之间的像素信息之差，检测前景区域；静止区域检测单元，通过对前景区域的前景像素进行分簇来检测候选静止区域，并确定该候选静止区域是错误地检测的静止区域还是真静止区域；对象检测单元，基于关于真静止区域的边缘信息确定对象是留下还是被带走。静止区域检测单元可包括候选静止区域检测单元，将在预定时间段期间被检测为前景像素的像素设置为静止像素的一个，并对静止像素进行分簇以检测候选静止区域；错误检测确定单元，确定候选静止区域是否满足用于确定候选静止区域是否被错误地检测的多个条件中的至少一个，其中，所述多个条件使用以下各项中的至少一个相对于候选静止区域的面积的前景区域的面积、在预定时间段内的前景区域的面积的变化、前景区域的坐标的变化、候选静止区域被检测为候选静止区域的持续时间段，候选静止区域的大小、候选静止区域的移动、候选静止区域的暗度变化以及候选静止区域的平均像素值与对应于候选静止区域的背景图像的背景区域的平均像素值之间的关系，其中，如果候选静止区域满足所述多个条件中的至少一个，则静止区域检测单元将该候选静止区域确定为真静止区域。
关于候选静止区域的信息可包括候选静止区域的左上像素和右下像素的坐标、候选静止区域的大小、候选静止区域的平均像素值、与候选静止区域对应的背景区域的平均像素值和候选静止区域被检测为候选静止区域的持续时间段，其中，基于先前输入图像的候选静止区域更新当前输入图像的候选静止区域。错误检测单元可应用局部二进制模式(LBP)来去除由于暗度的改变而错误地检测的静止区域。如果候选静止区域与背景区域之间的平均像素值之差等于或大于第二阈值，则候选静止区域被确定为真静止区域。对象检测单元可包括边界区域提取单元，对通过对真静止区域进行扩大(dilate)产生的扩大区域和通过对真静止区域进行缩小(erode)和反转(reverse)产生的反转缩小区域进行异或逻辑(XOR)计算，以提取在当前输入图像中的真静止区域的边界区域；边缘提取单元，提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息；确定单元，基于当前输入图像中的 真静止区域的边缘强度与先前输入图像中的背景图像的边缘强度之间的变化，来确定对象是被留下还是被带走。如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度增加，则对象检测单元确定对象被留下，其中，如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度降低，则确定单元确定对象被带走。根据另一示例性实施例，提供了一种在图像监视系统中检测对象是被留下还是被带走的方法。所述方法可包括基于背景图像与当前输入图像之间的像素信息之差检测前景区域；通过对前景区域的前景像素进行分簇来检测候选静止区域，并确定该候选静止区域是错误地检测的静止区域还是真静止区域；基于关于真静止区域的边缘信息确定对象是被留下还是被带走。检测前景区域的步骤可包括获得并存储预定数量的图像帧中的各个像素的像素值，通过使用存储的像素值中的对于每个像素最频繁地获得的像素值来产生背景图像，并使用预定数量的图像帧更新背景图像；将背景图像与当前输入图像之间的像素值之差等于或大于第一阈值的像素确定为前景像素中的一个；基于关于前景像素的色相信息和亮度信息从如景像素去除阴影像素。确定对象是被留下还是被带走的步骤可包括将在预定时间段期间被检测为前景像素的像素设置为静止像素中的一个；对静止像素进行分簇以检测候选静止区域；确定候选静止区域是否满足用于确定候选静止区域是否被错误地检测的多个条件中的至少一个，其中，所述多个条件使用以下各项中的至少一个相对于候选静止区域的面积的前景区域的面积、在预定时间段内的前景区域的面积的变化、前景区域的坐标的变化、候选静止区域被检测为候选静止区域的持续时间段、候选静止区域的大小、候选静止区域的移动、候选静止区域的暗度变化以及候选静止区域的平均像素值与对应于候选静止区域的背景图像的背景区域的平均像素值之间的关系，其中，如果候选静止区域满足所述多个条件中的至少一个，则该候选静止区域被确定为真静止区域。关于候选静止区域的信息可包括候选静止区域的左上像素和右下像素的坐标、候选静止区域的大小、候选静止区域的平均像素值、与候选静止区域对应的背景区域的平均像素值和候选静止区域被检测为候选静止区域的持续时间段，其中，基于先前输入图像的候选静止区域更新当前输入图像的候选静止区域。所述方法还可包括应用局部ニ进制模式(LBP)来去除由于暗度的改变而错误地检测的静止区域。如果候选静止区域与背景区域之间的平均像素值之差等于或大于第二阈值，则该候选静止区域被确定为真静止区域。确定对象是被留下还是被带走的步骤可包括对通过对真静止区域进行扩大(dilate)产生的扩大区域和通过对真静止区域进行缩小(erode)和反转(reverse)产生的反转缩小区域进行异或逻辑(XOR)计算，以提取当前输入图像中的真静止区域的边界区域；边缘提取単元，提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息；基于当前输入图像中的真静止区域的边缘强度与先前输入图像中的背景图像的边缘强度之间的变化，来确定对象是留下还是被带走。确定对象是被留下还是被带走的步骤可包括如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度増加，则确定对象被留下；如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度降低，则确定对象被带走。
通过參照附图详细描述示例性实施例，上述和其它方面将变得更加清楚，其中图I和图2A至图2D是根据示例性实施例的用于解释在图像监视系统中检测留下或带走的对象的方法的流程图和ー组图像； 图3是根据示例性实施例的图I的产生背景图像和检测前景区域的操作的流程图；图4A和图4B示出根据示例性实施例的用于解释产生背景图像的操作的ー组图像；图5是根据示例性实施例的用于解释从前景区域去除阴影的方法的图形；图6A至图6C是根据示例性实施例的用于解释去除阴影的方法的一组图像；图7是根据示例性实施例的參照图I描述的检测静止区域的方法的流程图；图8是示出根据示例性实施例的候选静止图像的二次移动的ー组图像；图9是根据示例性实施例的用于解释局部ニ进制模式(LBP :local binarypattern)方法的示图；图10是根据示例性实施例的图I的检测被留下或带走的对象的方法的流程图；图IlA至图IlD是根据示例性实施例的用于解释图10的检测被留下或带走的对象的方法的示图；图12是根据示例性实施例的用于检测被留下或带走的对象的图像监视系统的示意性框图。
具体实施例方式以下，參照附图来描述示例性实施例。图I和图2A至图2D分别是根据示例性实施例的用于解释在图像监视系统中检测被留下或带走的对象的方法的流程图和ー组图像；參照图I和图2A至图2D，根据本示例性实施例的方法包括使用输入图像的色彩信息产生背景图像并检测前景区域(图2A和图2B);基于前景区域检测静止区域(图2C);通过提取边缘信息来确定对象是被带走还是被留下(图2D)。图像监视系统使用预定数量的输入图像的RGB彩色图像来产生背景图像(操作S101)。图像监视系统使用背景图像与当前输入图像之间的RGB色彩信息之差来检测前 景区域(操作S103)。图像监视系统从前景区域检测满足预定条件的静止区域(操作S105)。图像监视系统通过对前景区域的前景像素进行分簇以检测候选静止区域并确定是否错误地检测了候选静止区域，来确定真静止区域。图像监视系统通过分析从静止区域提取的边缘信息的变化(a change indevelopment)来确定对象是被带走还是被留下(操作S107)。图3是根据示例性实施例的图I的产生背景图像和检测前景区域的操作的流程图。图4A和图4B示出根据示例性实施例的用于解释产生背景图像的操作的ー组图像。图5是根据示例性实施例的用于解释从前景区域去除阴影的方法的图形。图6A至图6C是根据示例性实施例的用于解释去除阴影的方法的ー组图像。如图4A所示，对于预定数量的图像帧(I至N帧)的各个像素，图像监视系统获得并存储色彩信息(例如，作为RGB強度的RGB值)(操作S301)。图像监视系统对于各个像素从存储的RGB值中选择最高频数的RGB值(即，最频繁获得的RGB值)，并基于对于各个像素选择的RGB值产生背景图像(操作S303)。例如，对于像素A (X，y)，对O至255的RGB值的频数进行计数。当对于像素A (x，y)，255的RGB值的频数最高时，对于像素A(x，y)选择255。下面的等式(I)示出在背景图像中的位置(X，y)处的像素B(X，y)。这里，Cl (X，y)是对于像素(x，y)的RGB值“I”的频数。B{x,y)RGB = argmaxc j(x,y)\RGB I = ο,... ,255(I)根据示例性实施例，在图像序列中获得目标区域的图像以产生背景图像，并且RGB信息累计计数方法用于各个像素。因此，如图4Β所示，考虑了出现并且持续了充分的时间段(持续了预定数量的帧)的移动对象，并准确地产生背景图像。图像监视系统通过对于各个像素使用背景图像与当前输入图像之间的RGB值之差，来检测前景像素(操作S305)。当对于目标像素的当前输入图像与背景图像之间的RGB平均值之差等于或大于阈值(例如，THl = 5)，或对于目标像素的背景图像与当前输入图像之间的R、G和B值之差中的任意ー个等于或大于阈值(TH2 = 13)吋，图像监视系统将目标像素设置为前景像素F (X，Y)。如以下的等式(2)中示出，前景像素F (X，y)可被设置为具有255的值。如果I Davg > THl I 或者 I De/g/b > TH2 |，则 F (x，y) = 255 (2)
图像监视系统基于色相(hue)信息和亮度信息从检测的前景像素去除阴影(操作S307)。当阴影被投射到背景之上时，由于整个暗度(darkness)被改变，所以像素的RGB信息(例如，RGB值)被改变，并且阴影可被检测为前景区域。因此，使用关于每个像素的色相信息和亮度信息来去除阴影。与先前背景图像相比，投射了阴影的区域具有相似的色相信息，但是具有不同的亮度信息；与先前背景图像相比，关于移动对象区域的信息具有非常不同的色相信息。图像监视系统根据下面的等式(3)使用这些特征从前景区域去除阴影。如果
权利要求
1.ー种图像监视系统，包括 前景检测单元，基于关于背景图像的像素信息与关于当前输入图像的像素信息之差检测前景区域； 静止区域检测单元，通过对前景区域的前景像素进行分簇来检测候选静止区域，并确定该候选静止区域是错误地检测的静止区域还是真静止区域； 对象检测单元，基于关于真静止区域的边缘信息确定对象是留下还是被带走。
2.根据权利要求I所述的图像监视系统，其中，前景检测单元包括 背景产生单元，获得并存储预定数量的图像帧中的各个像素的像素值，通过使用存储的像素值中的对于每个像素最频繁地获得的像素值，来产生背景图像； 前景区域检测单元，将背景图像与当前输入图像之间的像素值之差等于或大于第一阈值的像素确定为前景像素中的ー个； 阴影去除单兀，基于关于如景像素的色相イ目息和売度イ目息从如景像素去除阴影像素。
3.根据权利要求I所述的图像监视系统，其中，静止区域检测单元包括 候选静止区域检测单元，将在预定时间段期间被检测为前景像素的像素设置为静止像素中的ー个，并对静止像素进行分簇以检测候选静止区域； 错误检测确定単元，确定候选静止区域是否满足用于确定候选静止区域是否被错误地检测的多个条件中的至少ー个， 其中，所述多个条件使用以下各项中的至少ー个相对于候选静止区域的面积的另一前景区域的面积、在预定时间段内的前景区域的面积的变化、前景区域的坐标的变化、候选静止区域被检测为候选静止区域的持续时间段，候选静止区域的大小、候选静止区域的移动、候选静止区域的暗度变化以及候选静止区域的平均像素值与对应于候选静止区域的背景图像的背景区域的平均像素值之间的关系， 其中，如果候选静止区域满足所述多个条件中的至少ー个，则静止区域检测单元将该候选静止区域确定为真静止区域。
4.根据权利要求3所述的图像监视系统，其中，关于候选静止区域的信息包括候选静止区域的左上像素和右下像素的坐标、候选静止区域的大小、候选静止区域的平均像素值、与候选静止区域对应的背景区域的平均像素值以及候选静止区域被检测为候选静止区域的持续时间段， 其中，基于关于先前输入图像的候选静止区域的信息更新关于当前输入图像的候选静止区域的信息。
5.根据权利要求3所述的图像监视系统，其中，对象检测单元包括 边界区域提取单元，对通过对真静止区域进行扩大产生的扩大区域和通过对真静止区域进行缩小和反转产生的反转缩小区域进行异或逻辑计算，以提取当前输入图像中的真静止区域的边界区域； 边缘提取単元，提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息； 确定单元，基于当前输入图像中的真静止区域的边缘强度与先前输入图像中的背景图像的边缘强度之间的变化，来确定对象是被留下还是被带走。
6.根据权利要求3所述的图像监视系统，其中，如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度増加，则确定単元确定对象被留下， 其中，如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度降低，则确定单元确定对象被带走。
7.根据权利要求I所述的图像监视系统，其中，静止区域检测单元包括 候选静止区域检测单元，将在预定时间段期间被检测为前景像素的像素设置为静止像素中的ー个，并对静止像素进行分簇以检测候选静止区域； 错误检测确定単元，确定候选静止区域是否满足用于确定候选静止区域是否被错误地检测的多个条件， 其中，所述多个条件使用以下各项相对于候选静止区域的面积的另一前景区域的面积、在预定时间段内的前景区域的面积的变化、前景区域的坐标的变化、候选静止区域被检测为候选静止区域的持续时间段、候选静止区域的大小、候选静止区域的移动、候选静止区域的暗度变化以及候选静止区域的平均像素值与对应于候选静止区域的背景图像的背景区域的平均像素值之间的关系， 其中，如果候选静止区域满足所有的所述多个条件，则静止区域检测单元将该候选静止区域确定为真静止区域。
8.根据权利要求7所述的图像监视系统，其中，如果候选静止区域与背景区域之间的平均像素值之差等于或大于第二阈值，则该候选静止区域被确定为真静止区域。
9.根据权利要求I所述的图像监视系统，其中，对象检测单元包括 边界区域提取单元，对通过对真静止区域进行扩大产生的扩大区域和通过对真静止区域进行缩小和反转产生的反转缩小区域进行异或逻辑计算，以提取当前输入图像中的真静止区域的边界区域； 边缘提取単元，提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息； 确定单元，基于当前输入图像中的真静止区域的边缘强度与先前输入图像中的背景图像的边缘强度之间的变化，来确定对象是被留下还是被带走。
10.根据权利要求9所述的图像监视系统，其中，如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度増加，则确定単元确定对象被留下， 其中，如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度降低，则确定单元确定对象被带走。
11.一种图像监视系统，包括 前景检测单元，基于关于背景图像的像素信息与关于当前输入图像的像素信息之差检测多个前景区域； 静止区域检测单元，从所述多个前景区域中检测多个候选静止区域，并通过从所述多个候选静止区域中去除错误地检测的静止区域，来选择真静止区域； 对象检测单元，基于关于真静止区域的边缘信息确定对象是被留下还是被带走。
12.根据权利要求11所述的图像监视系统，其中，静止区域检测单元包括 候选静止区域检测单元，将在预定时间段期间被检测为前景区域的前景像素的像素设置为静止像素中的ー个，并对静止像素进行分簇以检测所述多个候选静止区域； 错误检测确定単元，基于多个条件中的至少ー个来确定所述多个候选静止区域是否被错误地检测，其中，所述多个条件使用以下各项相对于每个候选静止区域的面积的每个前景区域的面积、在预定时间段内的每个前景区域的面积的变化、每个前景区域的坐标的变化、每个候选静止区域被检测为候选静止区域的持续时间段、每个候选静止区域的大小、每个候选静止区域的移动、每个候选静止区域的暗度变化以及每个候选静止区域的平均像素值与对应于每个候选静止区域的背景图像的背景区域的平均像素值之间的关系， 其中，如果至少一个候选静止区域满足所述多个条件中的至少ー个，则静止区域检测单元将所述至少一个候选静止区域确定为真静止区域。
13.根据权利要求11所述的图像监视系统，其中，对象检测单元包括 边界区域提取单元，对通过对真静止区域进行扩大产生的扩大区域和通过对真静止区域进行缩小和反转产生的反转缩小区域进行异或逻辑计算，以提取当前输入图像中的真静止区域的边界区域； 边缘提取単元，提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息； 确定单元，基于当前输入图像中的真静止区域的边缘强度与先前输入图像中的背景图像的边缘强度之间的变化，来确定对应于真静止区域的对象是被留下还是被带走。
14.ー种使用图像监视系统来检测对象是被留下还是被带走的方法，所述方法包括如下步骤 基于关于背景图像的像素信息与关于当前输入图像的像素信息之差检测前景区域；通过对前景区域的前景像素进行分簇来检测候选静止区域，并确定该候选静止区域是错误地检测的静止区域还是真静止区域； 基于关于真静止区域的边缘信息确定对象是被留下还是被带走。
15.根据权利要求14所述的方法，其中，检测前景区域的步骤包括 获得并存储预定数量的图像帧中的各个像素的像素值，通过使用存储的像素值中的对于每个像素最频繁地获得的像素值来产生背景图像； 将背景图像与当前输入图像之间的像素值之差等于或大于第一阈值的像素确定为前景像素中的ー个； 基于关于前景像素的色相信息和亮度信息从前景像素去除阴影像素。
16.根据权利要求14所述的方法，其中，确定对象是被留下还是被带走的步骤包括 将在预定时间段期间被检测为前景像素的像素设置为静止像素中的一个； 对静止像素进行分簇以检测候选静止区域； 确定候选静止区域是否满足用于确定候选静止区域是否被错误地检测的多个条件中的至少ー个， 其中，所述多个条件使用以下各项中的至少ー个相对于候选静止区域的面积的另一前景区域的面积、在预定时间段内的前景区域的面积的变化、前景区域的坐标的变化、候选静止区域被检测为候选静止区域的持续时间段、候选静止区域的大小、候选静止区域的移动、候选静止区域的暗度变化以及候选静止区域的平均像素值与对应于候选静止区域的背景图像的背景区域的平均像素值之间的关系， 其中，如果候选静止区域满足所述多个条件中的至少ー个，则该候选静止区域被确定为真静止区域。
17.根据权利要求16所述的方法，其中，关于候选静止区域的信息包括候选静止区域的左上像素和右下像素的坐标、候选静止区域的大小、候选静止区域的平均像素值、与候选静止区域对应的背景区域的平均像素值以及候选静止区域被检测为候选静止区域的持续时间段， 其中，基于关于先前输入图像的候选静止区域的信息更新关于当前输入图像的候选静止区域的信息。
18.根据权利要求16所述的方法，其中，如果候选静止区域与背景区域之间的平均像素值之差等于或大于第二阈值，则该候选静止区域被确定为真静止区域。
19.根据权利要求14所述的方法，其中，确定对象是被留下还是被带走的步骤包括 对通过对真静止区域进行扩大产生的扩大区域和通过对真静止区域进行缩小和反转产生的反转缩小区域进行异或逻辑求和计算，以提取当前输入图像中的真静止区域的边界区域； 提取关于当前输入图像中的真静止区域的边界区域的边缘信息以及关于先前输入图像中的背景图像的边界区域的边缘信息； 基于当前输入图像中的真静止区域的边缘强度与先前输入图像中的背景图像的边缘強度之间的变化，来确定对象是被留下还是被带走。
20.根据权利要求14所述的方法，其中，确定对象是被留下还是被带走的步骤包括 如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度増加，则确定对象被留下；如果相比于先前输入图像中的背景图像的边缘强度，当前输入图像中的真静止区域边缘强度降低，则确定对象被带走。
全文摘要
公开了一种图像监视系统和检测对象是被留下还是被带走的方法。所述图像监视系统包括前景检测单元，基于背景图像的像素信息与当前输入图像之间的像素信息之差检测前景区域；静止区域检测单元，通过对前景区域的前景像素进行分簇来检测候选静止区域，并确定该候选静止区域是错误地检测的静止区域还是真静止区域；对象检测单元，基于关于真静止区域的边缘信息确定对象是被留下还是被带走。
文档编号H04N7/18GK102693537SQ20121002320
公开日2012年9月26日 申请日期2012年1月17日 优先权日2011年1月17日
发明者具滋映, 林廷恩, 金大镇, 金知晚 申请人:三星泰科威株式会社, 浦项工科大学校产学协力团