专利名称：一种车辆行为的智能分析方法及系统的制作方法
技术领域：
本发明涉及一种车辆行为的智能分析方法及系统，属于交通视频监控技术领域。
背景技术：
目前车辆行为分析领域的大部分技术都是侧重于静态背景下的车辆行为分析，SP基于固定监控视频的车辆行为分析，相应的方法主要包括基于固定监控视频的车辆检测方法、基于Kalman滤波和MeanShift算法的车辆跟踪方法等。其中，基于固定监控视频的车辆检测方法是利用背景不变或变化缓慢等先验知识提取出监控场景中的背景信息，然后利用背景差等方法实现移动物体的提取，最后在提取的移动物体区域进行车辆判断，但该方法受限于监控视频，首先监控场景必须是固定不变或变化缓慢，无法应用于动态场景中，其次受光照、遮挡和阴影等影响，导致运动区域的分 割并不理想。在基于Kalman滤波和MeanShift算法的车辆跟踪方法中,Kalman滤波是在时序中通过预测、修正两个步骤不断迭代更新，使得系统噪声、观测噪声等引起的误差逐渐减少，以获得最佳的状态参数，MeanShift算法是采用颜色直方图等方法对所选择的目标区域进行建模，通过计算特征空间中每个特征值的概率来建立目标模型，然后在后续帧中可能存在目标的区域再计算特征空间的每个特征值，用相似性度量函数计算当前帧候选目标和目标候选模型的相似程度，经过有限次的迭代计算均值漂移向量，在当前帧中目标最终会收敛到真实位置，但MeanShift无法在跟踪过程中对目标模型进行更新，而对于动态视频，在背景不断变化，车载不断运动的场景中，Kalman滤波就会失效。
发明内容
本发明为解决现有的车辆行为分析技术中存在的对于复杂的场景或动态的视频无法实现车辆跟踪的问题，进而提供了一种车辆行为的智能分析方法及系统。为此，本发明提供了如下的技术方案一种车辆行为的智能分析方法，包括收集包含车辆的样本集和不包含车辆的背景样本集，并选择预定的Haar矩形特征通过AdaBoost算法进行离线训练，获得能够从复杂背景中检测出车辆的级联分类器；获取视频资源，通过所述级联分类器对所述视频资源进行检测标识出图像中的车辆；将所述标识的车辆作为有标识的正样本构造车辆检测器，然后通过光流法实现对每个车辆的跟踪，同时利用所述车辆检测器检测得到可能的车辆区域，通过所述跟踪和检测的结果确定车辆区域，再通过所述车辆区域更新所述车辆检测器，并确定每个车辆的位置，从而得到每个车辆的运动轨迹；检测出所述视频资源中的交通标志，并结合所述交通标志对所述车辆的运动轨迹进行分析，确定所述车辆是否存在违规行为。一种车辆行为的智能分析系统，包括
预处理模块，用于收集包含车辆的样本集和不包含车辆的背景样本集，并选择预定的Haar矩形特征通过AdaBoost算法进行离线训练，获得能够从复杂背景中检测出车辆的级联分类器；车辆检测模块，用于获取视频资源，通过所述级联分类器对所述视频资源进行检测标识出图像中的车辆；车辆匹配跟踪模块，用于将所述标识的车辆作为有标识的正样本构造车辆检测器，然后通过光流法实现对每个车辆的跟踪，同时利用所述车辆检测器检测得到可能的车辆区域，通过所述跟踪和检测的结果确定车辆区域，再通过所述车辆区域更新所述车辆检测器，并确定每个车辆的位置，从而得到每个车辆的运动轨迹；车辆行为分析模块，用于检测出所述视频资源中的交通标志，并结合所述交通标志对所述车辆的运动轨迹进行分析，确定所述车辆是否存在违规行为。本发明提供的技术方案通过对车辆和背景的训练，并对车辆进行检测、匹配及跟 踪，获得车辆的运动轨迹，再结合道路交通标志分析车辆行为，判断车辆行为是否违规，以实现在复杂的场景以及动态的视频中对车辆的运动轨迹进行跟踪，并确定车辆的行驶是否存在违规行为。
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图I是本发明的具体实施方式
提供的车辆行为的智能分析方法的流程示意图；图2是本发明的具体实施方式
提供的基于半监督学习的车辆跟踪流程图；图3是本发明的具体实施方式
提供的包括记录违规车辆的相关信息步骤的车辆行为的智能分析方法的流程示意图；图4是本发明的具体实施方式
提供的车辆行为的智能分析系统的结构示意图；图5是本发明的具体实施方式
提供的包括违规车辆记录单元模块的车辆行为的智能分析系统的结构示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明的具体实施方式
提供了一种车辆行为的智能分析方法，如图I所示，包括步骤11，收集包含车辆的样本集和不包含车辆的背景样本集，并选择预定的Haar矩形特征通过AdaBoost算法进行离线训练，获得能够从复杂背景中检测出车辆的级联分类器。具体的，本步骤属于离线训练过程，首先整理包含车辆的样本集和不包含车辆的背景样本集(其中正样本图像中只包含车辆，要求车辆位于图像中央，四周可留少量其它场景，负样本中不能包含任何车辆，一般情况下负样本集合中元素数目要大于正样本数目)，选择特定的Haar矩形特征通过AdaBoost算法进行离线训练，最终获得能够从复杂背景中检测出车辆的级联分类器。步骤12，获取视频资源，通过级联分类器对视频资 源进行检测标识出图像中的车辆。具体的，本步骤属于在线检测过程，首先获取视频资源，相应的视频资源包括固定的静态监控视频或动态监控视频；然后利用步骤11训练得到的级联分类器，对视频资源中的车辆进行检测。通过级联分类器对视频图像的检测，可以标识出图像中的车辆区域。基于机器学习的车辆检测，不仅可以应用于背景静止的固定监控视频，而且可以应用于场景不断变化的动态视频。步骤13，将标识的车辆作为有标识的正样本构造车辆检测器，然后通过光流法实现对每个车辆的跟踪，同时利用车辆检测器检测得到可能的车辆区域，通过所述跟踪和检测的结果确定车辆区域，再通过所述车辆区域更新所述车辆检测器，并确定每个车辆的位置，从而得到每个车辆的运动轨迹。具体的，首先将步骤12中得到的车辆单独作为有标识的正样本构造车辆检测器，然后通过光流法实现对每辆车的跟踪，同时利用车辆检测器检测得到可能的车辆区域，再通过跟踪区域和检测区域的比较，从中选定车辆区域，并获取车辆位置等信息，进一步利用车辆区域更新检测器(属于在线训练过程)；最后通过不断重复上述过程得到每个车辆的运动轨迹。本步骤是实现车辆行为分析的关键，其中基于半监督的学习方法的使用有效地实现了车辆的匹配和跟踪，解决了车辆之间相互遮挡或车辆短时消失时匹配跟踪失效等问题。基于半监督的学习过程如图2所示，分别实现对步骤12中检测得到的每一辆车的匹配跟踪，首先利用检测得到的车辆作为有标识的正样本，初始化检测器，然后具体包括跟踪结合前一帧车辆区域，利用光流法实现对当前帧车辆的跟踪，得到的区域记为跟踪区域，并使用检测器计算该跟踪区域与跟踪车辆的匹配度；检测利用检测器对当前帧图像进行检测，获取与跟踪车辆匹配度较高的区域，记为检测区域；更新比较跟踪区域和检测区域的匹配度，其中匹配度较高的区域作为当前帧的车辆区域，该区域中心位置作为车辆运动轨迹上的点，并将车辆区域作为正样本对检测器更新。通过以上过程不断重复操作，最终得到车辆的运动轨迹。步骤14，检测出视频资源中的交通标志，并结合交通标志对车辆的运动轨迹进行分析，确定车辆是否存在违规行为。具体的，首先检测出道路的相关交通标志，如公交车道专用线，道路双黄线等，然后利用步骤13中得到的车辆的运动轨迹，并结合道路交通规则，实现车辆行为的分析，判断车辆是否存在违规行为。其中的违规行为包括车辆的违规变道、违规逆行、压黄线、违规占道、违规调头和违规停靠等。可选的，如图3所示，本具体实施方式
还可以包括步骤15，根据车辆的运动轨迹的分析结果，对违规的车辆进行抓拍，并根据抓拍的图像记录相应的车辆信息。具体的，作为车辆行为智能分析的结果，记录违规车辆的相关信息也是需要的。首先根据步骤14中车辆行为的分析，及时对违规车辆进行抓拍，然后对抓拍得到的图像作进一步的分析，获得相应的车辆信息，其中车辆信息包括车型的判断、车牌的定位和识别等。采用本具体实施方式
提供的技术方案，通过对车辆和背景的训练，并对车辆进行检测、匹配及跟踪，获得车辆的运动轨迹，再结合道路交通标志分析车辆行为，判断车辆行为是否违规，以实现在复杂的场景以及动态的视频中对车辆的运动轨迹进行跟踪，并确定车辆的行驶是否存在违规行为。需要说明的是，本领域普通技术人员可以理解实现上述各方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。本发明的具体实施方式
还提供了一种车辆行为的智能分析系统，如图4所示，包·括预处理模块41，用于收集包含车辆的样本集和不包含车辆的背景样本集，并选择预定的Haar矩形特征通过AdaBoost算法进行离线训练，获得能够从复杂背景中检测出车辆的级联分类器；车辆检测模块42，用于获取视频资源，通过级联分类器对视频资源进行检测标识出图像中的车辆；车辆匹配跟踪模块43，用于将标识的车辆作为有标识的正样本构造车辆检测器，然后通过光流法实现对每个车辆的跟踪，同时利用车辆检测器检测得到可能的车辆区域，通过所述跟踪和检测的结果确定车辆区域，再通过所述车辆区域更新所述车辆检测器，并确定每个车辆的位置，从而得到每个车辆的运动轨迹；车辆行为分析模块44，用于检测出视频资源中的交通标志，并结合交通标志对车辆的运动轨迹进行分析，确定车辆是否存在违规行为。可选的，如图5所示，该系统还可以包括违规车辆记录单元45，用于根据车辆行为分析模块的分析结果，对违规的车辆进行抓拍，并根据抓拍的图像记录相应的车辆信息。可选的，在车辆匹配跟踪模块43中可以包括跟踪子模块，用于结合前一帧图像中的车辆区域，利用光流法实现对当前帧车辆的跟踪，得到的区域记为跟踪区域，并使用车辆检测器计算跟踪区域与跟踪车辆的匹配度，其中所述跟踪车辆即所述车辆检测器中的正样本；检测子模块，用于利用车辆检测器对当前帧图像进行检测，获取与跟踪车辆匹配度较高的区域，记为检测区域；更新子模块，用于比较跟踪区域和检测区域的匹配度，其中匹配度高于预定值的区域作为当前帧的车辆区域，车辆区域的中心位置作为车辆运动轨迹上的点，并将车辆区域作为正样本对车辆检测器进行更新。上述车辆行为的智能分析系统中包含的各模块的处理功能的具体实现方式在之前的方法实施例中已经描述，在此不再重复描述。采用本具体实施方式
提供的技术方案，通过对车辆和背景的训练，并对车辆进行检测、匹配及跟踪，获得车辆的运动轨迹，再结合道路交通标志分析车辆行为，判断车辆行为是否违规，以实现在复杂的场景以及动态的视频中对车辆的运动轨迹进行跟踪，并确定车辆的行驶是否存在违规行为。需要注意的是，上述系统的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。以上所述，仅为本发明较佳的具体实施方式
，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。·
权利要求
1.一种车辆行为的智能分析方法，其特征在于，包括 收集包含车辆的样本集和不包含车辆的背景样本集，并选择预定的Haar矩形特征通过AdaBoost算法进行离线训练，获得能够从复杂背景中检测出车辆的级联分类器； 获取视频资源，通过所述级联分类器对所述视频资源进行检测标识出图像中的车辆； 将所述标识的车辆作为有标识的正样本构造车辆检测器，然后通过光流法实现对每个车辆的跟踪，同时利用所述车辆检测器检测得到可能的车辆区域，通过所述跟踪和检测的结果确定车辆区域，再通过所述车辆区域更新所述车辆检测器，并确定每个车辆的位置，从而得到每个车辆的运动轨迹； 检测出所述视频资源中的交通标志，并结合所述交通标志对所述车辆的运动轨迹进行分析，确定所述车辆是否存在违规行为。
2.根据权利要求I所述的方法，其特征在于，该方法还包括 根据所述车辆的运动轨迹的分析结果，对违规的车辆进行抓拍，并根据抓拍的图像记录相应的车辆信息。
3.根据权利要求I所述的方法，其特征在于，将所述标识的车辆作为有标识的正样本构造车辆检测器，然后通过光流法实现对每个车辆的跟踪，同时利用所述车辆检测器检测得到可能的车辆区域，通过所述跟踪和检测的结果确定车辆区域，再通过所述车辆区域更新所述车辆检测器，并确定每个车辆的位置，从而得到每个车辆的运动轨迹包括 结合前一帧图像中的车辆区域，利用光流法实现对当前帧车辆的跟踪，得到的区域记为跟踪区域，并使用所述车辆检测器计算所述跟踪区域与跟踪车辆(即所述车辆检测器中的正样本)的匹配度； 利用所述车辆检测器对当前帧图像进行检测，获取与跟踪车辆匹配度较高的区域，记为检测区域； 比较所述跟踪区域和所述检测区域的匹配度，其中匹配度高于预定值的区域作为当前帧的车辆区域，所述车辆区域的中心位置作为车辆运动轨迹上的点，并将所述车辆区域作为正样本对所述车辆检测器进行更新。
4.一种车辆行为的智能分析系统，其特征在于，包括 预处理模块，用于收集包含车辆的样本集和不包含车辆的背景样本集，并选择预定的Haar矩形特征通过AdaBoost算法进行离线训练，获得能够从复杂背景中检测出车辆的级联分类器； 车辆检测模块，用于获取视频资源，通过所述级联分类器对所述视频资源进行检测标识出图像中的车辆； 车辆匹配跟踪模块，用于将所述标识的车辆作为有标识的正样本构造车辆检测器，然后通过光流法实现对每个车辆的跟踪，同时利用所述车辆检测器检测得到可能的车辆区域，通过所述跟踪和检测的结果确定车辆区域，再通过所述车辆区域更新所述车辆检测器，并确定每个车辆的位置，从而得到每个车辆的运动轨迹； 车辆行为分析模块，用于检测出所述视频资源中的交通标志，并结合所述交通标志对所述车辆的运动轨迹进行分析，确定所述车辆是否存在违规行为。
5.根据权利要求4所述的装置，其特征在于，该系统还包括 违规车辆记录单元模块，用于根据车辆行为分析模块的分析结果，对违规的车辆进行抓拍，并根据抓拍的图像记录相应的车辆信息。
6.根据权利要求4所述的装置，其特征在于，在所述车辆匹配跟踪模块中包括 跟踪子模块，用于结合前一帧图像中的车辆区域，利用光流法实现对当前帧车辆的跟踪，得到的区域记为跟踪区域，并使用所述车辆检测器计算所述跟踪区域与跟踪车辆的匹配度； 检测子模块，用于利用所述车辆检测器对当前帧图像进行检测，获取与跟踪车辆匹配度较高的区域，记为检测区域； 更新子模块，用于比较所述跟踪区域和所述检测区域的匹配度，其中匹配度高于预定值的区域作为当前帧的车辆区域，所述车辆区域的中心位置作为车辆运动轨迹上的点，并将所述车辆区域作为正样本对所述车辆检测器进行更新。
全文摘要
本发明提供了一种车辆行为的智能分析方法及系统，相应的方法包括收集包含车辆的样本集和不包含车辆的背景样本集，并选择预定的Haar矩形特征通过AdaBoost算法进行离线训练，获得能够从复杂背景中检测出车辆的级联分类器；获取视频资源，通过级联分类器对视频资源进行检测标识出图像中的车辆；将标识的车辆作为有标识的正样本构造车辆检测器，通过光流法实现对每个车辆的跟踪，得到每个车辆的运动轨迹；检测出视频资源中的交通标志，并结合交通标志对车辆的运动轨迹进行分析，确定车辆是否存在违规行为。本发明能够实现在复杂的场景以及动态的视频中对车辆进行跟踪，并确定车辆的行驶是否存在违规行为。
文档编号G06K9/62GK102902955SQ201210315258
公开日2013年1月30日 申请日期2012年8月30日 优先权日2012年8月30日
发明者董兰芳, 王建富 申请人:中国科学技术大学