专利名称：一种基于随机更新策略的全景式运动目标监视方法
技术领域：
本发明主要涉及运动目标监视方法领域。涉及一种基于随机更新策略的全景式运动目标监视方法。
背景技术：
在智能视频监控、智能交通控制等项目中，运动目标检测是其中一项核心技 术。如1997年卡梅隆大学、麻省理工学院等院校参与的视觉监控重大项目VSAM(VisualSurveillance And Monitoring),主要研究用于战场和普通民用环境的自动视频理解技术；1999年马里兰大学开发的W4系统；2004年IBM开发的Smart系统。常见的运动目标监视方法有(I)帧差分法利用视频序列中连续两帧或几帧图像间的差异进行运动目标检测，帧差分法计算简单，实时性好，但不能完整提取运动目标信息，无法得到运动目标轮廓，运动目标内部容易产生空洞现象。(2)背景差分法利用当前视频帧与已有的背景帧作比较，得到的不同部分作为运动目标的信息，最简单的背景建模方法就是将第一帧空场景的图像直接作为背景帧，这种方法不能适应场景的环境变化，容易导致错误的分割。(3)中(均)值滤波法建立一个视频流滑窗来缓存L帧视频图像，然后把缓存中所有视频帧同位置像素平均值或中值作为背景来该处的值。一种改进的方法就是滑动平均算法(runningaverage)，其核心想法就是引入一个学习率a来体现背景图像对场景变化的响应，a通常取值O. 003 O. 05，a越小，则前景的变化越不会影响背景；其优点是计算量少，但是不适宜大且速度慢的运动目标，易产生空洞现象。(4)混合高斯法基本思想是用混合高斯模型描述像素过程，根据混合高斯模型的权值和方差，来决定哪个高斯分布对应背景颜色，不符合背景分布的像素被认为是运动目标；当这个像素满足的分布有充足、连续的证据支持时，再将其纳入到背景中去，它的优点是能够适应环境的变化，但是只能适应背景的缓慢变化并对其更新，当背景发生突然变化时，该方法不能及时更新背景，从而导致检测出现错误。而且该方法编程较为复杂，不易实现。另外，现有的现场监视一般针对某一角度的现场，而非全景式的现场监视，某一角度的现场具有多个不足，一是容易漏掉许多信息，监视效率不高，另外，如果要对尽可能大的范围进行监视，需要超广角镜头，因此在监视时需要考虑超广角镜头带来的图像畸变，为目标监视带来诸多不便。
发明内容
本发明所有解决的技术问题是提供一种基于随机策略进行目标检测的方法，该方法利用了像素点的灰度信息、空间及时间信息，从而能够有效减少计算复杂度及内存消耗，能够有效提高运动目标检测精度，对场景中光照变化、背景变化、运动目标引起场景变化等有较强适应性。本发明的技术构思在于采用全景式视频，并通过视频序列第一帧完成背景模型的建立及快速初始化，建立特定的运动点与背景点判定准则；在背景模型更新过程中包括对当前像素点及其邻域像素点的样本序列的随机更新。发明的技术方案如下一种基于随机更新策略的全景式运动目标监视方法，包括以下步骤步骤I :获取全景式视频帧；
通过4台摄像机分别获取现场4个方向像场的视频；将4段视频在任一时刻对应的视屏帧拼接成全景视屏帧；4台摄像机均设置在同一个支架上，4台摄像机中的第一摄像机与第二摄像机镜头方向垂直，4台摄像机中的第三摄像机与第四摄像机镜头方向垂直，且第一摄像机与第三摄像机的镜头方向相反，第二摄像机与第四摄像机的镜头方向相反；步骤2 :为全景视频帧中的每一个像素点建立一个基于灰度值特征的数据序列Isi (a，b) Ii = 1，. . . . .N}，建立全景视频帧的背景模型；其中，每一个元素Si (a，b)用于储存图像灰度值，N = 20 ；所述的数据序列，若当前像素点属于全景视屏帧的第一帧时，且非边界像素点，其数据序列的取值范围为当前像素点的灰度值及其8邻域的对应灰度值，即xt = 1(a+l，b)，xt=! (a-1, b), xt = ! (a, b+1), xt = ! (a, b_l), xt = ! (a+1, b+1), xt = ! (a+1, b_l), xt = ! (a-1, b+1),Xt = Ja-I, b-1)，和Xt = Ja, b)，若不是全景视屏帧的第一帧的像素点，且非边界像素点，则数据序列的取值范围为当前像素点及其8邻域像素点在前一巾贞的灰度值，即Xpt—Ja+l,b), xt = η (a-1, b), xt = η (a, b+1), xt = (a, b-1), xt = (a+1, b+1), xt = (a+1, b-1), xt =t-! (a-1, b+1), xt = η (a-1, b-1),和 xt = (a, b)；如果像素点为上下左右四个顶点,其数据序列的取值范围为当前像素点的灰度值及其3邻域的对应灰度值；如果像素点为除顶点外的边界点,其数据序列的取值范围为当前像素点的灰度值及其5邻域的对应灰度值；背景模型为所有像素点的数据序列总和，基于第一帧图像对背景模型进行初始化；从全景视屏帧的第二帧图像开始，执行以下步骤步骤3 :对当前视屏帧中的当前像素点进行运动点或背景点的判断，xt (a, b)为像素点(a, b)的灰度值(I)将当前像素点xt(a，b)与其对应的数据序列中的N个元素Si (a，b)依次比较，若两者差值的绝对值小于灰度值阈值!；，则令ri(a，b，t)为1，否则rja’b’t)为O ;Γ々，b，t)为xt (a, b)与Si (a, b)差值的绝对值与Tv的相比较的判断结果值；(2)求|> ，0，若|^>人0大于设定的阈值1；，则当前像素点判断为背景点，
/=1 /=1否则为运动点；(3)若判断为运动点，则将其显示，再进行下一个像素点的检测，即将下一个像素点置为当前像素点，返回步骤3，若判断为背景点，则转至步骤4 ；步骤4 :背景模型的随机更新(I)随机更新当前像素点的数据序列中的某一元素的存储值从当前像素点的数据序列中的随机选择一个元素，用当前像素点的灰度值替换其所选元素存储的灰度值；(2)随机更新当前像素点的某一个邻域点的数据序列中的某一元素的存储值随机选择当前像素点的一个邻域点，从选中的邻域点的数据序列中随机选择一个元素，用当前像素点的灰度值替换其所选元素的灰度值，随机更新当前像素点的I个邻域点的背景模型； 背景模型的上述两次更新操作均为随机更新，过程如下预先设定随机取值参数Ts,并从0，Ts中任意选取一个整数Tsl ；每一次更新前，从0，Ts中随机取一个整数值T' s，若T,,与！^相同，则执行本次更新操作，否则不进行更新操作；步骤5 :对当前帧的下一个像素点重复步骤3与步骤4，直到当前帧的所有像素点处理完毕；完成视频序列中当前帧图像的运动目标检测，输出当前帧图像对应的运动目标检测图；步骤6 :将下一全景视屏帧的第一个像素点作为当前像素点，并返回步骤3 ;直到最后一帧处理完毕，完成全景式运动目标的监视。步骤3中所述灰度阈值Tv取值范围为15 45，次数Tn取值为2，随机取值参数Ts取值为8。对T' 3的判断以减缓背景模型的更新速度。有益效果本发明采用随机策略进行背景模型的初始化和背景模型的更新，能够较好抑制阴影、幻影、空洞等现象的发生，能够适应环境的变化，编程较易实现。相比于已有技术，本发明的优点在于(I)编程实现相对容易，计算复杂度低，内存消耗量低，运算速度快。因为本发明没有使用复杂的公式与定理，只是使用简单的判断、循环、随机取值与赋值，所以使得本发明较容易应用于实际项目。(2)通常情况下运动目标检测主要存在以下难点①现实情况中，由于光照条件的影响，不可避免的存在阴影的现象，而阴影与真正运动目标实体之间的区分是一个的难题。②运动目标进入场景后，经过一段时间停止运动后，应该逐渐转变为背景。③运动目标从静止变为运动时，或者以较低速度前行时，要避免出现幻影现象，也就是运动目标离开之处应当迅速融入背景。④要能够适应场景中诸如光照条件逐渐变化，随风飘动的树叶等情况变化。本发明能有效克服上述难点，从而能有效提高运动目标检测效果①因为阴影区域像素点与周围背景像素点灰度值差异相对较小；在更新过程中，阴影区域周边的背景像素点灰度值快速融入阴影点的样本点序列，根据本发明对当前像素点的判断准则，阴影点被判定为背景点的概率变大，在被判定为背景点后，这个阴影像素点灰度值又不断进入它周围的阴影像素点样本点序列，通过不断的扩散，最终阴影区域将快速融入背景。而运动目标实体边界像素点与周围背景点的灰度值相差较大，即使周围背景像素点灰度值扩散运动点样本序列，但是根据本发明内容的判断准则，由于与背景点灰度值差异大，仍然会被判定为运动点，这样使得真正运动目标区域的像素点的样本点序列并未被背景点所侵蚀，相当于起了一层保护膜的作用。通过这种机制，能够对阴影区域进行有效抑制。②运动目标如果在一段时间内的保持静止状态，应该被处理为背景，而不再是运动点。在本方法中由于运动目标边界区域像素点的样本点序列不断被背景点的灰度值侵蚀，当停留时间较长时，存在运动目标边界像素点被判定为背景点的可能性，加上运动目标区域内部不可避免的出现噪声点，这些噪声点灰度值也会扩散到运动点的样本点序列，根据前述的判断准则 ，这些位置的运动点可能会被判定为背景点；这些被判定为背景点的像素点，不断向周围进行扩散侵蚀，长时间停留的运动目标区域可以被完全侵蚀成为背景。③当运动目标离开后，原来所停留的区域由于灰度值与周围背景点的灰度值近似，整个区域都被背景点所环绕，所以背景点对所留下的幻影区域能够进行快速的侵蚀，使得整个区域迅速变为背景；对于低速运动的目标，通过采用本发明提出的方法，能够达到抑制幻影的效果。④对于场景中的光照条件变化、树叶的摇摆等情况，处理过程与阴影、幻影的处理过程类似，也是通过周围背景点灰度值扩散到运动点的样本序列，从而达到抑制场景变化对运动目标检测所带来不利影响的效果。另外，采用全景式(即360°全场景)目标监视，整个视场无盲区，克服了超广角镜头带来的畸变，因而监视效果更好。
图I是本发明运动目标检测流程2为全景视屏获取装置的结构示意图(俯视图)；图中标号说明1_第一摄像机,2-第二摄像机，3-第二摄像机，4-第四摄像机，5-支架。
具体实施例方式本发明的基于随机更新策略的全景式运动目标监视方法对应的流程图如图I所
/Jn o一种基于随机更新策略的全景式运动目标监视方法，包括以下步骤步骤I :获取全景式视频帧；通过4台摄像机分别获取现场4个方向像场的视频；将4段视频在任一时刻对应的视屏帧拼接成全景视屏帧；步骤2 :为全景视频帧中的每一个像素点建立一个基于灰度值特征的数据序列Isi (a，b) |i = 1，. . . . .N}，建立全景视频帧的背景模型；其中，每一个元素Si (a，b)用于储存图像灰度值，N = 20 ；所述的数据序列，若当前像素点属于全景视屏帧的第一帧时，且非边界像素点，其数据序列的取值范围为当前像素点的灰度值及其8邻域的对应灰度值，即xt = 1(a+l，b)，xt=! (a-1, b), xt = ! (a, b+1), xt = : (a, b_l), xt = : (a+1, b+1), xt = : (a+1, b_l), xt = : (a-1, b+1),Xt = Ja-I, b-1)，和Xt = Ja, b)，若不是全景视屏帧的第一帧的像素点，且非边界像素点，则数据序列的取值范围为当前像素点及其8邻域像素点在前一巾贞的灰度值，即Xpt—Ja+l,b), xt = H (a-1, b), xt = H (a, b+1), xt = t_: (a, b_l), xt = t_: (a+1, b+1), xt = t_: (a+1, b_l), xt =t-! (a-1, b+1), xt = H (a-1, b-1),和 xt = t_: (a, b)；如果像素点为上下左右四个顶点,其数据序列的取值范围为当前像素点的灰度值及其3邻域的对应灰度值；如果像素点为除顶点外的边界点,其数据序列的取值范围为当前像素点的灰度值及其5邻域的对应灰度值；背景模型为所有像素点的数据序列总和，基于第一帧图像对背景模型进行初始化；从全景视屏帧的第二帧图像开始，执行以下步骤步骤3 :对当前视屏 帧中的当前像素点进行运动点或背景点的判断，xt (a, b)为像素点(a, b)的灰度值(I)将当前像素点xt(a，b)与其对应的数据序列中的N个元素Si (a，b)依次比较，若两者差值的绝对值小于灰度值阈值1，则令ri(a，b，t)为1，否则ri(a，b，t)为0 ;ri(a，b，t)为xt (a, b)与Si (a, b)差值的绝对值与Tv的相比较的判断结果值；(2)求；|> ，0，若f r>，M)大于设定的阈值Tn，则当前像素点判断为背景点，
/=1 /=1
否则为运动点；(3)若判断为运动点，则将其显示，再进行下一个像素点的检测，即将下一个像素点置为当前像素点，返回步骤3，若判断为背景点，则转至步骤4 ；步骤4 :背景模型的随机更新(I)随机更新当前像素点的数据序列中的某一元素的存储值从当前像素点的数据序列中的随机选择一个元素，用当前像素点的灰度值替换其所选元素存储的灰度值；(2)随机更新当前像素点的某一个邻域点的数据序列中的某一元素的存储值随机选择当前像素点的一个邻域点，从选中的邻域点的数据序列中随机选择一个元素，用当前像素点的灰度值替换其所选元素的灰度值，随机更新当前像素点的I个邻域点的背景模型；背景模型的上述两次更新操作均为随机更新，过程如下预先设定随机取值参数Ts,并从0，Ts中任意选取一个整数Tsl ；每一次更新前，从0，Ts中随机取一个整数值T' s，若T, 3与1^相同，则执行本次更新操作，否则不进行更新操作；步骤5 :对当前帧的下一个像素点重复步骤3与步骤4，直到当前帧的所有像素点处理完毕；完成视频序列中当前帧图像的运动目标检测，输出当前帧图像对应的运动目标检测图；步骤6 :将下一全景视屏帧的第一个像素点作为当前像素点，并返回步骤3 ;直到最后一帧处理完毕，完成全景式运动目标的监视。步骤3中所述灰度阈值Tv取值范围为30，次数Tn取值为2，随机取值参数Ts取值为8。对T' 3的判断以减缓背景模型的更新速度。另外，全景视屏获取装置的结构如图2所示，4台摄像机均设置在同一个支架上，4台摄像机中的第一摄像机与第二摄像机镜头方向垂直，4台摄像机中的第三摄像机与第四摄像机镜头方向垂直，且第一摄像机与第三摄像机的镜头方向相反，第二摄像机与第四摄像机的镜头方向相反。任一台摄像机的视角为95-120°，将4段视频在任一时刻对应的视屏帧拼接成全景视屏帧的技术为现有成熟技术，由DSP实现。所采取的视频为室外视频序列，建议的电脑配置如下CPU为Intel的P7350，处理速度2GHz，内存2G，编程环境为VC++6. 0结合OpenCV。实验表明相同条件下，通过与其他方法(改进的混合高斯法、滑动平均法、混合高斯处理方法等)对比，改进的混合高斯法背景能够完成初始化，但检测结果中有较明显的白色噪声点。本发明在对第二帧进行检测时，只有零星的孤立点，没有成片的斑点，初始化效果改善明显。相对于其他方法，采用本发明的方法，运动后再停止的物体更容易融入背景，即对环 境的适应性更强，反应更灵敏。
权利要求
1.一种基于随机更新策略的全景式运动目标监视方法，其特征在于，包括以下步骤步骤I:获取全景式视频帧； 通过4台摄像机分别获取现场4个方向像场的视频；将4段视频在任一时刻对应的视屏中贞拼接成全景视屏巾贞; 4台摄像机均设置在同一个支架上，4台摄像机中的第一摄像机与第二摄像机镜头方向垂直，4台摄像机中的第三摄像机与第四摄像机镜头方向垂直，且第一摄像机与第三摄像机的镜头方向相反，第二摄像机与第四摄像机的镜头方向相反； 步骤2 :为全景视频帧中的每一个像素点建立一个基于灰度值特征的数据序列Isi (a，b)I i = 1，..... N}，建立全景视频帧的背景模型；其中，每一个元素Si (a，b)用于储存图像灰度值，N = 20 ； 所述的数据序列，若当前像素点属于全景视屏帧的第一帧时，且非边界像素点，其数据序列的取值范围为当前像素点的灰度值及其8邻域的对应灰度值，即xt = 1(a+l，b)，xt =I (a-1, b), xt = ! (a, b+1), xt = ! (a, b_l), xt = ! (a+1, b+1), xt = ! (a+1, b_l), xt = ! (a-1, b+1),Xt = Ja-I, b-1)，和Xt = Ja, b)，若不是全景视屏帧的第一帧的像素点，且非边界像素点，则数据序列的取值范围为当前像素点及其8邻域像素点在前一巾贞的灰度值，即xt = ^ (a+1,b), xt = η (a-1, b), xt = η (a, b+1), xt = (a, b-1), xt = (a+1, b+1), xt = (a+1, b-1), xt =t-! (a-1, b+1), xt = η (a-1, b-1),和 xt = (a, b)； 如果像素点为上下左右四个顶点，其数据序列的取值范围为当前像素点的灰度值及其3邻域的对应灰度值； 如果像素点为除顶点外的边界点，其数据序列的取值范围为当前像素点的灰度值及其5邻域的对应灰度值； 背景模型为所有像素点的数据序列总和，基于第一帧图像对背景模型进行初始化；从全景视屏帧的第二帧图像开始，执行以下步骤 步骤3 :对当前视屏帧中的当前像素点进行运动点或背景点的判断，xt (a, b)为像素点(a, b)的灰度值 (1)将当前像素点xt(a，b)与其对应的数据序列中的N个元素Si(a，b)依次比较，若两者差值的绝对值小于灰度值阈值Tv，则令rja’b’t)为1，否则rja’b’t)为Ojja’b，t)为xt (a, b)与Si (a, b)差值的绝对值与Tv的相比较的判断结果值； (2)求|> ，0，若|^>人0大于设定的阈值1；，则当前像素点判断为背景点， /=1 /=1 否则为运动点； (3)若判断为运动点，则将其显示，再进行下一个像素点的检测，即将下一个像素点置为当前像素点，返回步骤3，若判断为背景点，则转至步骤4; 步骤4 :背景模型的随机更新 (1)随机更新当前像素点的数据序列中的某一元素的存储值从当前像素点的数据序列中的随机选择一个元素，用当前像素点的灰度值替换其所选元素存储的灰度值； (2)随机更新当前像素点的某一个邻域点的数据序列中的某一元素的存储值随机选择当前像素点的一个邻域点，从选中的邻域点的数据序列中随机选择一个元素，用当前像素点的灰度值替换其所选元素的灰度值，随机更新当前像素点的I个邻域点的背景模型；背景模型的上述两次更新操作均为随机更新，过程如下预先设定随机取值参数Ts，并从O，Ts中任意选取一个整数Tsl ； 每一次更新前，从O，Ts中随机取一个整数值T' s’若T,,与！^相同，则执行本次更新操作，否则不进行更新操作； 步骤5 :对当前帧的下一个像素点重复步骤3与步骤4，直到当前帧的所有像素点处理完毕；完成视频序列中当如巾贞图像的运动目标检测，输出当如巾贞图像对应的运动目标检测图。
步骤6 :将下一全景视屏帧的第一个像素点作为当前像素点，并返回步骤3 ;直到最后一帧处理完毕，完成全景式运动目标的监视。
2.根据权利要求I所述的基于随机更新策略的全景式运动目标监视方法，其特征在于，其特征在于，步骤3中所述灰度阈值Tv取值范围为15 45，次数Tn取值为2，随机取值参数Ts取值为8。
全文摘要
本发明公开了一种基于随机更新策略的全景式运动目标监视方法，包括以下步骤步骤1获取全景式视频帧；步骤2建立全景视频帧的背景模型；步骤3对当前视屏帧中的当前像素点进行运动点或背景点的判断，确定前景点和背景点；步骤4背景模型的随机更新；步骤5对当前帧的下一个像素点重复步骤3与步骤4，直到当前帧的所有像素点处理完毕；步骤6将下一全景视屏帧的第一个像素点作为当前像素点，并返回步骤3；直到最后一帧处理完毕，完成全景式运动目标的监视。本发明的运动目标监视方法检测精度高，计算复杂度低，且占用内存小，环境适应性强，能实现全景监视。
文档编号H04N7/18GK102665068SQ20121012567
公开日2012年9月12日 申请日期2012年4月26日 优先权日2012年4月26日
发明者贺超英 申请人:中南林业科技大学