一种基于数字图像处理的占道现象实时检测方法与流程

本发明涉及道路检测技术领域，具体涉及一种基于数字图像处理的占道现象实时检测方法。

背景技术：

数字图像处理(digitalimageprocessing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于20世纪60年代初期，随着视频监控系统的应用，已经基本覆盖了人们生活和工作的方方面面，无数摄像头被用来进行数据收集以及和监控可疑人物、事件和行为。政府机构、学校、医院、公司乃至各个超市和农贸市场，都在场景关键区域布置了大量的摄像头，并且对这些摄像头进行组网，从而对目标区域进行实时监控，可以实现对可疑目标的识别、跟踪乃至报警。据marketsandmarkets预测，全球视频监控市场在2020年将增加到的420.6亿美元。面对如此巨大的市场空间，全球一些主要的电子、it跨国公司均涉足电子安防产品的生产和销售。

而目前民用和商用摄像头很多仍然处于人工监控以及录像保存的原始状态，尤其是农贸市场等场景，未能有智能算法协助工作人员以减少其工作量，而由于人流量大而存在占道物品时对流通极为不方便，因此需要大量巡逻人员以及视频监控人员无时不刻的对存在占道经营现象进行及时发现与处理。而解决“占道”这一现状的技术目前主要分为两大类，一类是如专利“占道/停车行为检测方法与装置”中，提供一套基于传感器进行数据采集的系统装置，从而判断所检测区域是否存在占道/停车信息；另一类是使用图像处理的方法，对目标提取特征，根据算法进行判别是否存在占道。在实际应用中，人头攒动、流量大且管制较为麻烦的农贸市场、超市等场所，采用安设传感器这种方法进行占道经营监测，显然是不合理不适用的，使用随处可见的摄像头可以实现功能的同时节约成本。而目前，使用数字图像处理技术进行农贸市场等场景占道经营现象检测还处于空白阶段。

目前，在超市、农贸市场或菜市场等场景中，存在摆摊或者是占道物品对人行道和过道堵塞，或者是小摊贩在人行道进行摆摊经营等不合法经营的问题。实际生活中，一般为超市管理人员、市场保安或城市管理委员会对这些现象进行视频监控，或者现场巡逻进行处理，但一方面传统方法处理需要投入大量人力进行巡查和在监控室监察，另一方面在人流量较大的场景一旦存在占道经营，人工不能在第一时间发现并且及时处理。

技术实现要素：

本发明要解决的技术问题是提供一种基于数字图像处理的占道现象实时检测方法，其能够实时准确的对存在占道信息的区域做出定位，解放劳动力，减少人员的投入，增加工作效率。

为了解决上述技术问题，本发明提供了一种基于数字图像处理的占道现象实时检测方法，包括以下步骤：

步骤一、选取背景图，将所述背景图转换成灰度图；

步骤二、从实时监控视频中提取视频帧，并缓存所述视频帧；

步骤三、将所述视频帧中的过道作为感兴趣区域，并将视频帧的非感兴趣区域进行掩膜屏蔽，并将视频帧转换成灰度图；将背景图的灰度图的过道作为感兴趣区域，并将背景图的非感兴趣区域进行掩膜屏蔽；

步骤四、采用背景图不更新高斯混合模型对上一步获得的视频帧进行前景提取，保存获得的二值前景图；

步骤五、对所述二值前景图进行检测融合，获得前景融合后的图像；

步骤六、对所述前景融合后的图像进行去噪处理，获得去噪后的二值前景图；

步骤七、将上一步获得的去噪后的二值前景图在所述实时图像帧中标注出，进行预示示警。

作为优选的，所述步骤四，具体包括：s41、建立高斯混合模型，设定所述高斯混合模型的背景不更新；其中，所述背景采用步骤一中得到的背景图，所述背景固定；s42、将所述视频帧输入所述高斯混合模型进行运算，得到对应的二值前景图。

作为优选的，所述步骤五具体包括：采用滑动窗口对所述二值前景图进行相与操作，获得占道物品的粗轮廊，即获得前景融合后的图像。

作为优选的，所述步骤六具体包括：对所述前景融合后的图像做图像膨胀处理和腐蚀操作，获得去噪后的二值前景图。

作为优选的，所述将所述视频帧中的过道作为感兴趣区域，并将视频帧的非感兴趣区域进行掩膜屏蔽，具体包括：s31、采用鼠标交互的方法，在所述视频帧中圈出来需要进行监测的过道区域，作为感兴趣区域；s32、保留所述感兴趣区域，将所述视频帧中非感兴趣区域进行掩膜屏蔽，非感兴趣区域的像素设置为0，获得掩膜屏蔽后的视频帧。

作为优选的，所述步骤六和步骤七之间还包括：设定前景面积阈值；计算所述去噪后的二值前景图的各区域的面积值；滤除所述面积值小于面积阈值的二值前景图的区域。

作为优选的，所述步骤一具体包括：选取过道干净无杂物的图像作为背景图，将所述背景图转换成灰度图。

作为优选的，完成步骤七之后返回步骤二，进行循环检测。

与现有技术相比，本发明的有益效果是：本发明在提供了一种自动运行检测是否存在占道经营或者存在物品占道的方法，一方面可以实时准确的对存在占道信息的区域做出定位，另一方面可以在一定程度上解放劳动力，减少人员的投入，增加工作效率；本发明方法简单，运算量小，检测灵敏，精度高。

附图说明

为了更清楚的说明本发明实施例技术中的技术方案，下面将对实施例技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其他的附图。

图1为本发明的背景图转换成的灰度图；

图2为本发明视频帧掩膜处理后的图像；

图3为做高斯混合差分的示意图，其中(a)为掩膜屏蔽后的视频帧；(b)为掩膜屏蔽后的背景图；(c)为高斯混合差分后的前景图，即获得二值前景图；

图4为滑动检测原理图；

图5为本发明获得的前景融合后的图像；

图6所示为本发明膨胀操作后的图像；

图7为本发明腐蚀操作后的图像；

图8为实时标注占道物品的图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

参照图1～图8所示，本发明公开了一种基于数字图像处理的占道现象实时检测方法，包括以下步骤：

步骤一、选取背景图，将所述背景图转换成灰度图。

该步骤具体包括：选取过道干净无杂物的图像作为背景图，将所述背景图转换成灰度图。背景图选取的目的是为了之后和后续视频帧进行差分，因此要求背景图片干净无杂物，不存在任何非场景固有物品，方便后续方法使用。在本方法中，需要选取干净无杂物的当前场景图片作为背景，并且将背景图置为灰度图进行保存。图1为本发明的背景图转换成的灰度图。

步骤二、从实时监控视频中提取视频帧，并缓存所述视频帧。

对于实时监控视频，每隔几秒截取视频帧进行缓存。此处截取的视频帧取决于场景需求与计算机性能，间隔越短越精确，但是计算量越大，需要根据实际情况做选取。

步骤三、将所述视频帧中的过道作为感兴趣区域，并将视频帧的非感兴趣区域进行掩膜屏蔽，并将视频帧转换成灰度图；将背景图的灰度图的过道作为感兴趣区域，并将背景图的非感兴趣区域进行掩膜屏蔽。

由于不同场景的光线变化、场景复杂度不同，同时减少计算机运行时产生的计算量，因此只需要针对感兴趣区域进行图像实时性分析。该步骤具体包括：s31、采用鼠标交互的方法，在所述视频帧中圈出来需要进行监测的过道区域，作为感兴趣区域；s32、保留所述感兴趣区域，将所述视频帧中非感兴趣区域进行掩膜屏蔽，非感兴趣区域的像素设置为0，获得掩膜屏蔽后的视频帧。

即通过建立感兴趣区域将非关键区域使用掩膜屏蔽，得到合适的感兴趣区域的图像。采用鼠标交互的方法，直接在视频中圈出来合适形状的感兴趣区域建立掩膜，对视频进行掩膜处理，只保留要进行监测的过道区域，去其他部分区域像素置为0。图2为本发明视频帧掩膜处理后的图像。

步骤四、采用背景图不更新高斯混合模型对上一步获得的视频帧进行前景提取，保存获得的二值前景图。

该步骤具体包括：s41、建立高斯混合模型，设定所述高斯混合模型的背景不更新；其中，所述背景采用步骤一中得到的背景图，所述背景固定；s42、将所述视频帧输入所述高斯混合模型进行运算，得到对应的二值前景图。即使用高斯混合差分，将掩膜屏蔽后的视频帧进行前景提取，图3为做高斯混合差分的示意图。其中(a)为掩膜屏蔽后的视频帧；(b)为掩膜屏蔽后的背景图；(c)为高斯混合差分后的前景图，即获得二值前景图。

步骤四的理论基础为，对于时间t内截取的的视频帧，使用高斯混合模型(gmm，gaussianmixedmodel)为基础的背景/前景分割算法进行前景提取。用gmm对背景建模的基本思想是视频图像的像素值在时间轴上服从高斯分布，用多个高斯分布对每个像素值进行背景建模，并通过对高斯模型的参数的更新来适应场景中背景的变化。在实际使用高斯混合模型时，具体如下：

①模型建立

假设在某段时间内，某一个像素点的像素值依次变化为分别为{x1，x2，…，xt}，根据这些历史的像素值，可以使用k个高斯分布对该像素点的像素值分布情况进行描述。在t时刻，像素值xt属于背景的概率为：

式(1)中k为高斯混合模型的个数，一般取值为3～5，可以根据电脑的计算能力决定。ωi，t是t时刻的第i个高斯模型对应的权值，满足0≤ωi，t≤1且满足η(xt，μi，t，∑i，t)是第t时刻第i个高斯分布概率函数，其定义如下式(2)所示：

其中μi，t为均值，∑i，t是第i个高斯分布在t时刻的协方差矩阵。背景模型初始化时将读入第一帧图像的像素值作为均值，方差取一个较大的值σ0，权值取一个较小的值ω0。

②模型匹配与更新

在读入新的像素点xt时，一次将其与k个高斯分布进行匹配，匹配条件如下公式(3)：

|xt-μi，t|≤2.5σi，t-1(3)

使用以下公式(4)～(6)按照匹配结果更新高斯模型各个参数：

ωi，t＝(1-α)ωi，t-1+αmi，t(4)

μi，t＝(1-β)μi，t-1+βxi，t(5)

其中α是整个检测过程的学习率，mi，t的值是不断变化的，取值取决于1或者0，由像素与模型之间是否匹配决定。β是第二个学习率，有公式(7)决定，其中k是迭代次数。

③前景检测与背景估计

对于背景和前景的检测，采用对高斯模型优先级从高到低进行排序，满足背景的b个高斯模型能与所检测的像素点xt任意一个匹配，则该像素点属于背景，否则属于前景。

理论上，对背景不断更新可以增强算法的效果，采用以上自适应算法更新，在背景变化的时候也可以使算法对前景提取得到很好的效果。但是对于占道物品如果在原背景中停留时间过长，会被gmm算法认为是背景，不断更新中把占道物品置为背景，从而无法分辨占道物品。本方法为了增加算法的可行性以及减少计算量，采用背景不更新、实时更新前景的gmm方法。由于在步骤(1)中预先建立好背景图，在使用gmm算法时，将学习速率置为0即可。通过以上背景不更新的gmm算法可获得二值前景图。

步骤五、对所述二值前景图进行检测融合，获得前景融合后的图像。

该步骤具体包括：采用滑动窗口对所述二值前景图进行相与操作，获得占道物品的粗轮廊，即获得前景融合后的图像。

对一个含有t秒前景图像的滑动窗口，将窗口中的所有图像做与运算，即可将如行人、暂留物置为黑色过滤出去，只留存一直保留在前景中的物品。而滑动窗口大小t参数由判断标准决定，即占道物体静止多少帧后，则将其判断为占道物品。相邻两个滑动窗口重叠时间t表明相邻两个滑动窗口之间重叠多少帧图像，此参数决定了检测的精度，重叠越大精度越高，但处理时间变长，可以根据计算机计算性能和需求进行调节。图4为滑动检测原理图。图5为本发明获得的前景融合后的图像。即使用设定好的滑动窗口方法，对在滑动窗口范围内的二值图进行检测融合，获得融合后的图像；删除不在滑动窗口时间内的历史缓存。

步骤六、对所述前景融合后的图像进行去噪处理，获得去噪后的二值前景图。该步骤具体包括：对所述前景融合后的图像做图像膨胀处理和腐蚀操作，获得去噪后的二值前景图。

对于进行融合后的前景，仍然存在一定的误检与噪声点。针对这一问题可以做膨胀处理与图像形态学腐蚀。膨胀操作可以使轮廓更加完善，图像更加饱满方便后续标记。如图6所示为本发明膨胀操作后的图像。腐蚀操作是为了去除噪声点，如图7为本发明腐蚀操作后的图像。

步骤七、将上一步获得的去噪后的二值前景图在所述实时图像帧中标注出，进行预示示警。如图8为实时标注占道物品的图像。过道处的占道物品被标注出来。此后，完成步骤七之后返回步骤二，进行循环检测。

对于步骤六中融合的前景存在一定的误检，比如背景中的小阴影、占道物品的小阴影以及人移动中的小阴影，有小概率会被标记为占道物品。为了解决这个问题可以引入约束条件，计算融合前景二值图中的各白色区域面积ai，取合适阈值误检的小面积滤除，判断为非占道物品。即在步骤六和步骤七之间还包括：(a)设定前景面积阈值；(b)计算所述去噪后的二值前景图的各区域的面积值；(c)滤除所述面积值小于面积阈值的二值前景图的区域。

本发明提出了一种基于数字图像处理的占道实时检测方法，该方法主要解决超市、农贸市场或菜市场等场景中，存在摆摊或者是占道物品对人行道和过道堵塞，或者是小摊贩在人行道进行摆摊经营等不合法经营的问题。实际生活中，一般为超市管理人员、市场保安或城市管理委员会对这些现象进行视频监控，或者现场巡逻进行处理，但一方面传统方法处理需要投入大量人力进行巡查和在监控室监察，另一方面在人流量较大的场景一旦存在占道经营，人工不能在第一时间发现并且及时处理。本发明通过一种视频处理算法，对过道监控视频进行实时性监察，可以在第一时间发现占道经营现象，并且在第一时间内报警通知相关工作人员，从而实现对人力资源的合理应用和对劳动力成本的节约。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理能够在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖点相一致的最宽的范围。