一种用于通道堵塞判别的动态递归建模和融合跟踪方法与流程

文档序号:15115890发布日期:2018-08-07 20:08阅读:185来源:国知局

本发明属于计算机视觉技术领域,具体涉及一种用于通道堵塞判别的动态递归建模和融合跟踪方法。



背景技术:

随着社会的进步,人们不断追求更加舒适、宽裕的住宅和工作空间,导致越来越多疏散通道、安全出口被占用,一旦有火灾发生,严重影响人员疏散和消防抢救,造成大量人员伤亡和财产损失,引起越来越多人的关注。然而,通道堵塞检测,单靠人工排查根本无法实现,虽然,目前有关部门在相应关键通道路口布置摄像头监控,但最终还是需要人工根据监控录像去判断通道是否堵塞,没有从根本上解决通道堵塞检测问题。

目前,人们在通道堵塞检测中取得了一定的成就。一种基于图像匹配的消防通道障碍物检测方法技术,只需将背景图像与实时监测图像在指定区域内进行匹配,判断指定区域内是否存在障碍物堵塞,实现起来简单,但是背景图像无法时时更新,不能很好适应消防通道复杂环境的变化;一种基于自适应背景学习的消防通道安全检测方法,该方法采用hog特征的前景目标检测和自适应背景更新策略,能很好适应通道复杂环境的变化,提高物体检测的准确率和鲁棒性,但是没有考虑短时间出现在通道物体,并不属于堵塞的情况;还有一种基于多传感器信息融合的障碍物检测方法技术,该技术结合毫米波雷达和计算机视觉技术,大大提高了通道障碍物检测的可靠性,但是该方法技术实施成本大,不利于大规模的推广。



技术实现要素:

本发明的目的是为了克服现有技术的不足,提出一种可用于通道堵塞判别的动态递归建模和融合跟踪方法,对通道高斯背景模型采取一种动态局部条件检测和更新方法,融合物体颜色和位置特征的跟踪算法跟踪前景目标,结合跟踪物体在通道的滞留时间和宽度占比判断物体是否造成堵塞,实现通道堵塞自动检测。

本发明提出的可用于通道堵塞判别的动态递归建模和融合跟踪方法,包括以下步骤:

步骤1、对通道背景n帧图像动态递归背景建模,将实时监控图像像素与背景模型对比,分割出通道行人、堆积物等动态和静态物体;

步骤2、提取所跟踪物体位置特征信息,判断跟踪物体是处于运动还是静止状态,针对不同的状态采取背景模型局部条件更新策略;

步骤3、对分割出的通道物体,采用结合物体颜色和位置特征的跟踪算法,实时跟踪通道物体;

步骤4、计算步骤2跟踪物体在通道的滞留时间和宽度占比,判断是否为堵塞物体,并根据堵塞的程度,发出相应的报警警示。

步骤(1)中,对通道高斯背景模型采取一种动态局部条件检测和更新方法,检测出通道背景模型和前景模型,对分别满足前景和背景模型的像素值二值化,分割出通道前景物体。

步骤(2)中,计算跟踪物体前后两帧的质心位置的距离,若小于预设的阈值,则对物体范围内的像素停止步骤(1)背景模型的更新,反之,则正常更新。

步骤(3)中,所述采用结合物体颜色和位置特征的跟踪算法,即把camshift算法和kalman滤波跟踪算法线性地组合在一起,camshift算法用于预测物体质心位置,kalman滤波跟踪算法用于不断修正物体预测的质心位置。

步骤(4)中,滞留时间是指物体从进入通道到离开通道的时间,宽度占比是指物体接触通道地表面的宽度占通道宽度的比例;只有在规定时间内,检测到物体都满足通道堵塞的宽度占比,才会被认为是通道堵塞。

下面对各步骤的操作进一步介绍。

步骤1:采用动态递归背景建模算法,检测通道背景和前景信息,分割出通道行人、堆积物等动态和静态物体,步骤2:提取所跟踪物体位置特征信息,判断跟踪物体是处于运动还是静止状态,针对不同的状态采取背景模型局部条件更新策略;具体流程如下:

(1)假定视频中某像素点在t时刻前的采样值为xt=[x(t),x(t-1),...,x(t-t)],对样本集xt建立高斯混合模型,即:

其中,分别代表第m个高斯模型的权值,均值,方差和高斯函数;b,f分别代表背景和前景模型,m代表高斯模型个数;

(2)对新出现像素xi同当前m个模型依次比较,比较方法为:如果有|xi,t-μji,t-1|<2.5σji,t-1,则认为像素xi符合当前背景模型,就被视为背景像素,否则视为前景像素;其中,xi,t表示在第t帧图像中像素点i的像素值,μji,t-1,σji,t-1分别表示在t-1帧图像训练后像素点i的混合高斯模型中的第j个高斯模型的均值和标准差;

(3)一旦某个高斯模型匹配成功,则该高斯模型采用像素值xi更新,其他高斯模型保持不变,更新公式为:

其中,是变化的学习速率,取值范围为即当静止或运动缓慢的物体时,物体范围内背景模型学习速率局部停止更新,其他范围背景模型正常更新;

(4)对m个高斯模型的权值归一化并按大小顺序排列,从中选取前b个高斯模型作为背景模型,剩下(m-b)个高斯模型作为前景模型,其中背景判别式b表示满足背景判别式第b个高斯背景模型的最小整数取值,ψ表示背景占的比例,在本实施中取值为0.9;

(5)根据前景和背景模型,对图像进行二值化处理,即满足前景和背景模型的象素值分别设置为1和0,对前景二值图像进行连通域分析,将连成的区域归并、分割为一类,即为物体对象oi(i=1,2,...n),并提取其边界位置信息,得到每个物体对象oi的轮廓ri。

步骤3、对得到通道前景物体oi,采取融合物体颜色和位置特征的跟踪算法,跟踪前景目标oi,提取物体oi位置特征信息,具体流程如下:

(1)选取初始化搜索框,对oi的轮廓ri进行反向投影操作,设(x,y)为ri中的一点,i(x,y)是颜色概率图(x,y)处的概率值,分别计算ri的零阶矩m00和一阶矩m10、m01:

由此可得ri的质心位置:mi(xi,yi)=(m01/m00,m10/m00);

(2)把ri的质心位置mi(xi,yi)输入到kalman滤波器状态方程mk,i=amk-1,i+w,测量方程zk,i=hmk,i+v,修正方程m'k,i=mk,i+kk(zk,i-hmk,i),得到更精确的目标位置。

其中,mk-1,i和mk,i分别表示第i个物体,在k-1和k时刻质心坐标状态量,zk,i和m'k,i分别代表第i个物体,在k时刻质心坐标测量值和修正值,a是kalman滤波状态量转移矩阵,h是kalman滤波状态变量到测量变量的转化矩阵,kk是kalman滤波增益矩阵,随机变量w,v分别表示系统噪声矩阵和测量噪声矩阵;

(3)根据视频时刻k-1和k两帧oi质心坐标mk-1,i(xk-1,i,yk-1,i),mk,i(xk,i,yk,i)判断通道物体位置状态;设两点质心欧式距离di:

假如,di<dset,此时认为第i个物体静止或者移动缓慢,则采用背景局部条件更新,即在ri范围内背景停止更新,其他范围背景正常更新,其中dset表示预设的两点质心欧式距离值,优选在1~10像素之间取值;

(4)根据质心调整搜索框的大小,如果移动距离大于预设的固定值,不断搜索,直到搜索框的中心和质心坐标的距离小于预设的固定值,或者运算次数达到最大值停止计算。

步骤4:根据跟踪的物体在通道的滞留时间和宽度占比,判断是否为堵塞物体,滞留时间是指物体从进入通道到离开通道的时间,宽度占比是指物体接触通道地表面的宽度占通道宽度的比例,具体流程如下:

(1)设通道宽度wa,第i个物体oi在τ时刻的贴地宽度wi(τ);在时间t内每隔ts抽取物体贴地宽度样本数据,计算其平均贴地宽度再计算n个物体总平均贴地宽度占通道宽度的比例voopr:

(2)根据t和voopr大小把堵塞情况分成三个等级:在时间t内,跟踪一直出现在通道的物体,一旦物体离开通道,则排除此物体对通道堵塞的影响,当voopr在50%~70%,视为黄色堵塞;voopr在70%~90%,视为橙色堵塞;voopr超过90%以上,视为红色堵塞。

本发明提供的通道堵塞判别的方法与现有技术相比较,具有如下优势:

本发明对通道高斯混合背景模型,采取一种动态局部条件检测和更新方法,克服背景模型对光照等外界条件敏感和前景消融问题;采取一种融合物体颜色和位置特征的跟踪算法跟踪前景目标,提高跟踪的成功率和鲁棒性;通过计算跟踪物体在通道的滞留时间和宽度占比,判断物体是否造成通道堵塞,排除短时间出现在通道物体造成的堵塞现象,准确合理地实现通道堵塞的自动检测。除此之外,本发明的技术方法还具有开发成本低,利于大规模的推广应用。

附图说明

图1为本发明实现的流程框图。

图2为特征融合跟踪示意图。

图3为通道通畅效果图。

图4为通道轻微堵塞效果图。

图5为通道堵塞效果图。

图6为通道严重堵塞效果图。

具体实施方式

下面结合实施步骤及附图对本发明作进一步的详细描述,但本发明的实施方式不限于此。

本发明提出的可用于通道堵塞判别的动态递归建模和融合跟踪方法,如图1所示,具体实施步骤如下:

步骤1:采用动态递归背景建模算法,检测通道背景和前景信息,分割出通道行人、堆积物等动态和静态物体,具体流程如下:

(1)假定视频中某像素点在t时刻前的采样值为xt=[x(t),x(t-1),...,x(t-t)],对样本集xt建立高斯混合模型,即:

其中,分别代表第m个高斯模型的权值,均值,方差和高斯函数;b,f分别代表背景和前景模型,m代表高斯模型个数;

(2)对新出现像素xi同当前m个模型依次比较,比较方法为:如果有|xi,t-μji,t-1|<2.5σji,t-1,则认为像素xi符合当前背景模型,就被视为背景像素,否则视为前景像素,其中,xi,t表示在第t帧图像中像素点i的像素值,μji,t-1,σji,t-1分别表示在t-1帧图像训练后像素点i的混合高斯模型中的第j个高斯模型的均值和标准差;

(3)一旦某个高斯模型匹配成功,则该高斯模型采用像素值xi更新,其他高斯模型保持不变,更新公式为:

其中,是变化的学习速率,取值范围为即当静止或运动缓慢的物体时,物体范围内背景模型学习速率局部停止更新,其他范围背景模型正常更新;

(4)对m个高斯模型的权值归一化并按大小顺序排列,从中选取前b个高斯模型作为背景模型,剩下(m-b)个高斯模型作为前景模型,其中背景判别式b表示满足背景判别式第b个高斯背景模型的最小整数取值,ψ表示背景占的比例,在本实施中取值为0.9;

(5)根据前景和背景模型,对图像进行二值化处理,即满足前景和背景模型的象素值分别设置为1和0,对前景二值图像进行连通域分析,将连成的区域归并、分割为一类,即为物体对象oi(i=1,2,...n),并提取其边界位置信息,得到每个物体对象oi的轮廓ri;

步骤2:由步骤1得到通道前景物体oi,采取融合物体颜色和位置特征的跟踪算法跟踪前景目标oi,提取物体oi位置特征信息,具体流程如下:

(1)选取初始化搜索框,对oi的轮廓ri进行反向投影操作,设(x,y)为ri中的一点,i(x,y)是颜色概率图(x,y)处的概率值,分别计算ri的零阶矩m00和一阶矩m10、m01:

由此可得ri的质心位置:mi(xi,yi)=(m01/m00,m10/m00);

(2)把ri的质心位置mi(xi,yi)输入到kalman滤波器状态方程mk,i=amk-1,i+w,测量方程zk,i=hmk,i+v,修正方程m'k,i=mk,i+kk(zk,i-hmk,i),得到更精确的目标位置。

其中,mk-1,i和mk,i分别表示第i个物体,在k-1和k时刻质心坐标状态量,zk,i和m'k,i分别代表第i个物体,在k时刻质心坐标测量值和修正值,a是kalman滤波状态量转移矩阵,h是kalman滤波状态变量到测量变量的转化矩阵,kk是kalman滤波增益矩阵,随机变量w,v分别表示系统噪声矩阵和测量噪声矩阵;

(3)根据视频时刻k-1和k两帧oi质心坐标mk-1,i(xk-1,i,yk-1,i),mk,i(xk,i,yk,i)判断通道物体位置状态;设两点质心欧式距离di:

假如,di<dset,此时认为第i个物体静止或者移动缓慢,则采用背景局部条件更新,即在ri范围内背景停止更新,其他范围背景正常更新,其中dset表示预设的两点质心欧式距离值,优选在1~10像素之间取值,本实施例中取值为5像素;

(4)根据质心调整搜索框的大小,如果移动距离大于预设的固定值,不断搜索,直到搜索框的中心和质心坐标的距离小于预设的固定值,或者运算次数达到最大值停止计算;

步骤3:根据跟踪的物体在通道的滞留时间和宽度占比,判断是否为堵塞物体,滞留时间是指物体从进入通道到离开通道的时间,宽度占比是指物体接触通道地表面的宽度占通道宽度的比例,具体流程如下:

(1)设通道宽度wa,第i个物体oi在τ时刻的贴地宽度wi(τ);在时间t内每隔ts抽取物体贴地宽度样本数据,计算其平均贴地宽度再计算n个物体总平均贴地宽度占通道宽度的比例voopr:

(2)根据t和voopr大小把堵塞情况分成三个等级:在时间t内,跟踪一直出现在通道的物体,一旦物体离开通道,则排除此物体对通道堵塞的影响,当voopr在50%~70%,视为黄色堵塞;voopr在70%~90%,视为橙色堵塞;voopr超过90%以上,视为红色堵塞。

根据上述具体实施步骤进行通道堵塞实验测试,针对通道通畅、轻微堵塞、堵塞和严重堵塞四种情况,检测数据如表1所列,实验结果如图3-6所示:

表1给出了,在时间6分钟内,每隔1分钟对通道物体进行检测,可以计算在通道宽度wa=600(pixel)下,当voopr为58.30%,通道发生轻微堵塞,当物体宽度不断增大,voopr达到72.80%,通道堵塞,当物体宽度继续增加,voopr达到92.92%,通道严重堵塞。

表1通道堵塞实验结果测试

为了进一步形象说明本发明提供方法的效果,如图3-6所示:

图3表示通道通畅,第一列为通道视频监控示意图,第二列为通道堵塞物体前景示意图,第三列为通道跟踪物体示意图;

图4表示通道轻微堵塞,第一列为通道视频监控示意图,第二列为通道堵塞物体前景示意图,第三列为通道跟踪物体示意图;

图5表示通道堵塞,第一列为通道视频监控示意图,第二列为通道堵塞物体前景示意图,第三列为通道跟踪物体示意图,此时行人通过困难。

图6表示通道严重堵塞,第一列为通道视频监控示意图,第二列为通道堵塞物体前景示意图,第三列为通道跟踪物体示意图,此时行人根本无法通过。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1