一种遗弃物自动检测方法与流程

本发明涉及图像处理技术领域，特别是涉及一种遗弃物自动检测方法。

背景技术：

随着社会经济的发展，人们对安全防范的需求也越来越大。例如，机场、地铁、候车厅等人多密集的重要场所，容易被恐怖分子等利用，通常具有很大的安全隐患，因此需要进行实时监测。目前国内的多数机场等场所的遗弃物检测由人工巡检实现，耗费人力，漏检较多，效率低下。而传统的监控系统基本只能用于事后证据呈现，却不能够实时检测异常事件发生。所以人们期待一种智能化的技术用于安全防范，为此出现了遗弃物智能视频监控系统。

传统的遗弃物检测方法主要是靠背景差分的方法获取前景目标。背景差分法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。背景差分法首先选取背景中的一幅或几幅图像的平均作为背景图像，然后把以后的序列图像当前帧和背景图像相减，进行背景消去。若所得到的像素数大于某一阈值，则判定被监控场景中有运动物体，从而得到运动目标。在复杂气候、复杂交通场景下背景差分法并不能精确识别出前景目标和遗弃物。

因此，如何在复杂气候、复杂交通场景下准确识别出前景目标和遗弃物，提高公共场合的安全系数已成为本领域技术人员亟待解决的问题之一。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种遗弃物自动检测方法，用于解决现有技术中遗弃物检测不精确的问题。

为实现上述目的及其他相关目的，本发明提供一种遗弃物自动检测方法，所述遗弃物自动检测方法至少包括：

利用高斯混合模型法提取前景像素点；

对各前景像素点进行形态学图像处理，然后去除单个离散像素点，合并聚集在一起的像素点使之成为团块；

计算各团块静置的时间，若团块的静置时间超出设定时间，则判定团块为遗弃物。

优选地，利用高斯混合模型法提取前景像素点的方法进一步包括：

建立图像中每一个像素点的高斯混合模型，各高斯混合模型包括多个分量的单高斯分布函数；

根据每一帧图像中新的像素值更新各高斯混合模型，以使各高斯混合模型贴近像素值的分布规律；

将每一个像素点对应的多个单高斯分布函数按权值和方差的比值从大到小排列，当存在前第一数量b个高斯分布函数的权值和大于背景最小阈值，则判定当前像素点为背景，否则该像素点为前景，其中，第一数量b为小于所述高斯混合模型的分量数量的整数。

更优选地，所述高斯混合模型基于ycbcr格式建立。

更优选地，所述高斯混合模型满足如下关系：

其中，xt为t时刻的像素值，m为分量的个数，ωi,t为t时刻所述高斯混合模型中第i个分量的权值，μi,t为t时刻所述高斯混合模型中第i个分量的均值，σ²i,t为t时刻所述高斯混合模型中第i个分量的方差，η(xt,μi,t,σ²i,t)为t时刻所述高斯混合模型中第i个分量的单高斯分布函数。

更优选地，更新各高斯混合模型的方法具体包括：检查每一帧图像中新像素值是否匹配原高斯混合模型，满足如下关系式：

若匹配，则增加对应单高斯分布函数的权值，并更新相应方差和均值，满足如下关系式：

ωi,t+1＝(1-α)ωi,t+α，

μi,t+1＝(1-a)μi,t+axt+1，

其中，a＝αη(xt+1,μi,t,σ²i,t)，

若不匹配，则降低对应单高斯分布函数的权值，并以新建单高斯分布函数替换原高斯混合模型中权值最小的一个单高斯分布函数，所述新建单高斯分布函数以新像素值为均值，满足如下关系式：

ωi,t+1＝(1-α)ωi,t，

其中，xt+1为t+1时刻的像素值，μi,t+1为t+1时刻所述高斯混合模型中第i个分量的均值，μi,t为t时刻所述高斯混合模型中第i个分量的均值，σ²i,t+1为t+1时刻所述高斯混合模型中第i个分量的方差，σ²i,t为t时刻所述高斯混合模型中第i个分量的方差，λ为常数，ωi,t+1为t+1时刻所述高斯混合模型中第i个分量的权值，ωi,t为t时刻所述高斯混合模型中第i个分量的权值，α为权值更新率，η(xt,μi,t,σ²i,t)为t时刻所述高斯混合模型中第i个分量的单高斯分布函数。

更优选地，所述第一数量满足如下关系式：

其中，ωi,t为t时刻所述高斯混合模型中第i个分量的权值，t为背景最小阈值，用于判定背景的最小阈值。

优选地，所述形态学图像处理方法包括腐蚀、膨胀、开、闭、击中、击不中、细化、粗化或骨架化。

优选地，所述遗弃物自动检测方法还包括在形成团块后增加去除误检测的步骤。

更优选地，所述去除误检测的方法包括：尺寸滤波、倒影检测、人检测或高光检测。

更优选地，所述尺寸滤波具体包括：将团块的长宽比或团块的面积与设定阈值进行比较，超出设定阈值范围则判定为误检。

更优选地，所述倒影检测具体包括：利用正则相关性对检测到的团块及团块所在位置的背景进行关联度评价，若关联度大于关联度阈值，则判定为存在倒影。

更优选地，检测到的团块及团块所在位置的背景的关联度满足如下公式：

其中，xi为检测到的团块，xj为团块所在位置的背景，e为均值。

更优选地，所述人检测具体包括：将图像在水平方向上划分为多个区域，当团块在各区域的高度大于对应区域的高度时，则判定为行人。

更优选地，所述人检测具体包括：对图像中进行“ω”形特征检测，若检测到“ω”形，则判定符合人体头肩部形状，团块为行人。

更优选地，所述人检测具体包括：基于方向梯度直方图对图像中的行人进行检测，若检测到行人，则判定为误检。

更优选地，所述高光检测具体包括：计算团块所在区域的灰度直方图，计算灰度值大于灰度阈值的像素的数量，若灰度大于所述灰度阈值的像素的数量超过第一限定数量，则判定该团块为高光区域。

优选地，在累计各团块静置时间的过程中，若团块被遮挡，则分别提取遮挡前后的团块，分别将遮挡前后的团块分解为多个子块，将遮挡后的团块的子块与遮挡前的团块的对应子块进行匹配，若匹配的子块数量超过第二限定数量，判定团块被遮挡，静置时间继续累计；反之，静置时间中断。

优选地，所述遗弃物自动检测方法还包括在检测到遗弃物后增加报警的步骤。

如上所述，本发明的遗弃物自动检测方法，具有以下有益效果：

本发明的遗弃物自动检测方法能快速和准确地检测出监控场景中的遗弃物品，检测出旅客丢失的物品、可疑或危险的物品，防止恐怖事件发生，提高公共场所的安全性。

附图说明

图1显示为本发明的遗弃物自动检测方法的流程示意图。

图2显示为本发明的人检测的流程示意图。

图3显示为本发明的高度检测的原理示意图。

图4显示为本发明的高光检测的流程示意图。

图5显示为本发明的遮挡处理的流程示意图。

图6显示为本发明的报警策略的原理示意图。

元件标号说明

s1～s5步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1～图6。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1～图6所示，本发明提供一种遗弃物自动检测方法，所述遗弃物自动检测方法至少包括：

步骤s1：利用高斯混合模型法提取前景像素点。具体包括以下步骤：

步骤s11：建立图像中每一个像素点的高斯混合模型，各高斯混合模型包括多个分量的单高斯分布函数。

具体地，在静态背景目标检测过程中，可以简单假设一段时间内视频序列图像中每一个像素点的变化服从均值为μ，方差为σ²的高斯分布。如果静止场景中发生了光照改变或物体运动，则图像中对应于该物体未移动前位置的像素点将被归类为前景点。因此，只有高斯模型在每帧的物体运动中响应这些变化，即利用每帧图像提供的信息对高斯模型的参数进行更新，才能保证图像背景相对于当前帧的有效性。

在光照不变的单模态背景中，像素点的单高斯模型就可以有效的估计出图像背景。但当发生光照变化，或存在树木晃动、水面反射的多模态背景时，固定位置的像素值在不断改变中显示出非单峰分布的特点，此时简单假设的单峰模型就不能准确的模拟背景变化。因此，考虑到背景像素值在一段时间内的分布是多峰的，则可以借助于单模型的思想，利用多个单模型的集合来模拟场景中单个像素值的变化，即高斯混合模型目标检测算法。

假设η(x,μ,σ)为均值μ，协方差矩阵σ的高斯分布概率密度函数，像素序列为{x1,...,xt,...,xk}，用来描述每个像素点分布的单高斯函数可表示为下式：

η(xt,μi,t,σi,t)i∈[1,m](1)，

共可能存在m种不同的高斯分布，其中，t表示当前帧数，xt为当前帧像素点值。

为了计算方便，假设协方差矩阵σ满足下式：

其中，i为图像矩阵。

假设每个像素点的rgb值是相互独立的，且分别服从单高斯分布η(xt,μi,t,σi,t)，则当前像素值xt的分布概率为：

其中，m作为高斯分布的个数，体现了像素多峰分布的峰的个数，算法选择m＝4，分别表示ycbcr格式的4个分量：y1，y2，cb，cr。表示t时刻混合模型中第i个高斯分布的权值，μi,t和是其均值和方差，当取m＝4时，可分别利用ycbcr各颜色空间值对各像素进行初始化。μi,t体现为像素变化单峰的中心，为此单模型的单峰分布的宽度大小，其值越大体现像素值变化越剧烈。为了使多模型能不断贴近当前像素值的分布规律，需要依照每一帧新的像素值更新这个模型的参数。

步骤s12：根据每一帧图像中新的像素值更新各高斯混合模型，以使各高斯混合模型贴近像素值的分布规律。

具体地，参数更新方法采用以下两个步骤：

步骤s121：检查每一帧的新像素值是否匹配于原高斯混合模型，满足如下关系：

其中，λ为常数，用于调节两者的相似程度，xt+1为t+1时刻的像素值，μi,t+1为t+1时刻所述高斯混合模型中第i个分量的均值，σi,t+1为t+1时刻所述高斯混合模型中第i个分量方差的平方根。

步骤s122：针对前一步骤可能产生的两种情况分别采用不用的参数更新方法。

针对匹配新像素值xt+1的已有单高斯分布函数，对其权值进行更新：

ωi,t+1＝(1-α)ωi,t+α(5)

其中，ωi,t+1为t+1时刻所述高斯混合模型中第i个分量的权值，ωi,t为t时刻所述高斯混合模型中第i个分量的权值，α是与背景更新快慢相关联的权值更新率，取值在[0，1]之间。当α值较小时，背景更新速度较慢，同时背景噪声也相对较小。依照这种更新方法，当一个新的像素值与原始分布中某一个或几个高斯模型相匹配时，说明此模型较为符合当前像素值的变化分布，因此增大其权值，使整个高斯混合模型的分布与当前像素变化更为接近。同时，需要更新与此新像素值匹配的高斯模型的均值和方差，以保证当前估计的概率分布能够保持正确性：

μi,t+1＝(1-a)μi,t+axt+1(6)

a＝αη(xt+1,μi,t,σ²i,t)(8)

其中，xt+1为t+1时刻的像素值，μi,t+1为t+1时刻所述高斯混合模型中第i个分量的均值，μi,t为t时刻所述高斯混合模型中第i个分量的均值，σ²i,t+1为t+1时刻所述高斯混合模型中第i个分量的方差，σ²i,t为t时刻所述高斯混合模型中第i个分量的方差，λ为常数，ωi,t+1为t+1时刻所述高斯混合模型中第i个分量的权值，ωi,t为t时刻所述高斯混合模型中第i个分量的权值，α为权值更新率，η(xt,μi,t,σ²i,t)为t时刻所述高斯混合模型中第i个分量的单高斯分布函数。

反之，其他与新的像素值xt+1不匹配的高斯分布的权值将被降低：

ωi,t+1＝(1-α)ωi,t(9)

当此像素对应的高斯混合模型中没有与新像素值相匹配的单高斯分布函数时，说明已有的分布模型已经不适合新的像素变化，因此需要加入新的单高斯分布函数，同时去除已有模型集合中权值最小的一个单高斯分布函数。新建单高斯分布函数以新像素值xt+1为均值，给定某一固定较大常数为初始方差，并赋予此新模型较小的初始权值，新建单高斯分布函数的初始方差和初始权值可根据实际需要设定，在次不一一限定。完成新高斯混合模型创建后再对所有m个单高斯分布函数的权值进行归一化处理。

步骤s13：将每一个像素点对应的多个单高斯分布函数按权值和方差的比值从大到小排列，当存在前第一数量b个高斯分布函数的权值和大于背景的最小阈值，则判定当前像素点为背景，否则该像素点为前景，其中，第一数量b为小于所述高斯混合模型的分量数量的整数。

具体地，步骤s12保证了建立的高斯混合模型能够较为正确的对像素值变化进行模拟，此后如果要判断当前帧此像素点属于目标区域还是背景区域，还需要考虑以下两个方面的因素：高斯混合模型中是否存在单高斯分布函数的1)权值ω较大；2)方差σ²足够小。由于不能定量的决定以上两个因素的重要性，因此在本实施例中，只需考虑以上二者的相对大小，即采用相对值ω/σ的大小决定多个高斯分布满足以上条件的前后次序。当将此m个单高斯分布函数按照以上条件从高到低排列后，取前第一数量b个高斯分布函数使之满足：

其中，t为背景最小阈值，即当存在第一数量b(b<m)个单高斯分布函数的权值和大于所述背景最小阈值t时，当前帧此像素点为背景，否则为前景。由此可知，所述背景最小阈值t的大小影响了算法对前、背景判别的敏感度，如果所述背景最小阈值t选取较小，背景模型通常对应单模态变化；所述背景最小阈值t选取较大，则此模型更适用于描述背景重复变化造成的多模态情况。这对估计同一像素上具有两个甚至更多不同颜色的背景有明显的效果，可根据实际需要限定所述背景最小阈值t的数值。

步骤s2：对各前景像素点进行形态学图像处理，然后去除单个离散像素点，合并聚集在一起的像素点使之成为团块。

具体地，利用高斯混合模型法提取前景目标后得到的是大量离散的像素点，对这些像素点进行形态学图像处理方法，去除单个离散点，合并聚集或靠近的像素点使其成为团块，以完成目标检测。所述形态学图像处理方法包括但不限于腐蚀、膨胀、开、闭、击中、击不中、细化、粗化或骨架化。在本实施例中，采用腐蚀、膨胀的方法进行形态学图像处理。

步骤s3：对检测到的团块进行误检测操作。

在拥挤的场景中对遗弃物检测面临着许多挑战，例如，场景中可能存在一定变化(如光照的变化)，场景中有一些人处于静止状态，这些人也将对遗弃物检测产生干扰。去除误检测的方法包括但不限于：尺寸滤波、倒影检测、人检测及高光检测。

具体地，所述尺寸滤波具体包括：利用目标团块的长宽比或面积去除一部分误检测，满足以下条件1或者条件2的为误检：

条件1：其中，height为团块的长度，width为团块的宽度，t1为第一阈值，t2为第二阈值。

条件2：area<t3，其中，area为团块的面积，t3为第三阈值。

具体地，所述倒影检测具体包括：利用正则相关性(ncc，normalizedcrosscorrelation)对检测到的团块及团块所在位置的背景进行关联度评价，以此判断当前像素属于背景或属于前景像素，两者关联度满足如下关系式：

其中，xi为检测到的团块，xj为团块所在位置的背景，e为均值。

若则团块为倒影，其中，th为关联度阈值。

具体地，长时间静止的人会被当作遗弃物品而引发误检，具体方法包括但不限于：高度检测、“ω”形状检测及hog(方向梯度直方图)检测。如图2所示，在本实施例中，依次利用这三种方法来去除此类误检，以提高检测的准确性。在实际使用中，各种方法可以选择性地采取一种或几种的组合，且执行的顺序也不限于本实施例所列举。

更具体地，通场情况下，物品的高度低于人的高度，可以通过限定尺寸来去除一部分人引起的误检，如图3所示，在本实施例中，将图像在水平方向划分为5个区域，各区域的高度从上到下依次为：0.1h，0.15h，0.2h，0.25h，0.3h，其中，h为图像的高度。当团块在各区域的高度大于对应区域的高度时，则判定目标为行人，是误检。

更具体地，人的头肩部符合“ω”形状，利用这一特征可以检测到行人，避免误检。所述“ω”形状检测具体包括：对图像中进行“ω”形特征检测，若检测到“ω”形，则判定符合人体头肩部形状，团块为行人。

更具体地，所述hog检测具体包括：基于方向梯度直方图对图像中的行人进行检测，若检测到行人，则判定为误检。

具体地，如图4所示，场景中存在一些高光区域，会产生误检，高光区域的像素的亮度信息会比较高，利用该特性，统计检测区域的灰度直方图，然后计算灰度值大于设定的灰度阈值的像素的数量n，如果灰度值大于设定的灰度阈值的像素的数量n超过第一限定数量th1，则判定该区域为高光区域。

步骤s4：计算各团块静置的时间，若团块的静置时间超出设定时间，则判定团块为遗弃物。

具体地，场景中有可能存在遮挡(如移动人群将物体遮挡)，当物品被遮挡时，影响累加时间，从而影响触发报警的灵敏度。如图5所示，在本实施例中，增加遮挡处理，具体包括：在累计各团块静置时间的过程中，若团块被遮挡，则分别提取遮挡前后的团块，分别将遮挡前后的团块分解为多个子块，在本实施例中，分解为8*8的子块，将遮挡后的团块的子块与遮挡前的团块的对应子块进行匹配，在本实施例中，采用正则相关性对子块的相似度进行评价，具体方法参见上文，在此不一一赘述。若匹配的子块数量超过第二限定数量th2，判定团块被遮挡，静置时间继续累计；反之，静置时间中断。

步骤s5：如图6所示，当判定团块为遗弃物后启动报警策略，以对遗弃物采取措施，确保公共环境的安全性。

本发明的遗弃物自动检测方法能快速和准确地检测出监控场景中的遗弃物品，检测出旅客丢失的物品、可疑或危险的物品，防止恐怖事件发生，提高公共场所的安全性。

综上所述，本发明提供一种遗弃物自动检测方法，包括：用高斯混合模型法提取前景像素点；对各前景像素点进行形态学图像处理，然后去除单个离散像素点，合并聚集在一起的像素点使之成为团块；计算各团块静置的时间，若团块的静置时间超出设定时间，则判定团块为遗弃物。本发明的遗弃物自动检测方法能快速和准确地检测出监控场景中的遗弃物品，检测出旅客丢失的物品、可疑或危险的物品，防止恐怖事件发生，提高公共场所的安全性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。