专利名称：基于多智能体mafs的视频多目标检测、跟踪方法
技术领域：
本发明属于视频监控技术领域，涉及一种基于多智能体MAFS的视频多 目标检测、跟踪方法。
背景技术：
视频监控系统具有视频信息量丰富、易于获取，抗干扰能力强以及其独 特的空间特性和结构特性、不能为其它任何信息代替等特点，已广泛地应用 在银行、电力、交通、仓储、建筑以及军事设施等场合。然而，目前我国视 频监控系统智能化水平相当低，人财物浪费严重，通常是专人日夜连续监看、 现场录像事后人工分析，无法对异常情况实时主动反映等。本发明将视频目 标检测跟踪技术及行为分析技术运用于视频监控系统，实现在不需要人为干 预情况下，利用计算机视觉和视频分析的方法对摄像机拍录的图像序列进行 自动分析，实现对动态场景中目标的定位、识别和跟踪，并在此基础上分析 和判断目标的行为，提高视频监控系统的自动化、智能化水平。
发明内容
本发明的目的是在于克服现有技术中的不足，通过研究视频目标检测跟 踪技术和多Agent智能体间并发协作技术，提供一种基于多智能体MAFS的 视频多目标检测、跟踪方法，包括预处理、目标检测、目标识别、目标跟踪 四个部分；增加一个MAFS协作协议模块，控制目标检测、目标识别、目标 跟踪三个部分，所述MAFS协作协议模块的构建方式如下
一、构建适应不同的底层网络的MAFS-NAL (网络适配层)，其为上层应 用提供一个透明的通信服务环境，MAFS-NAL提供一个MAFSSession对象，会 话(Session)定义为一个Agent从加入MAFS协作网络到退出MAFS协作网 络之间的所有活动， 一次会话中可以包括一个或多个Agent节点，对于任一 个节点来说，会话的过程如下
(1)设置MAFSSession参数MAFSSessionParams和传输层参数MAFSTransmissionPaxams等；
(2) 根据设置的会话参数及传输层参数，创建MAFSSession对象；
(3) 接收和发送有关数据；
(4) 退出会话；
二、 构建MAFS协作协议模型的MAFS-ACL (Agent协作层)，MAFS-ACL 提供Agent之间的交互及管理，支持任务分割、邻居发现操作，用于实现 Agent之间以及与管理者之间的松散耦合和Agent自动发布、查找机制；
三、 构建MAFS协作协议模型的MAFS-SL (语义层)，为视频应用提供统 一的基于XML语言的描述，包括空间标定、空间坐标、全局时间、跟踪物体 特征，所述物体特征包括几何特征、空间特征、行为特征；
当某个Agent节点中MAFS-ACL层后台处理线程接收到一个邻居节点状 态更新信息后，处理程序根据需要去查询获取该邻居节点的有关数据，包括 当前跟踪目标列表、跟踪目标的空间信息、目标的几何特征、颜色特征；上 述操作是通过MAFS-ACL原语Agent, query来 完成的， 一个 query原语包含 请求和应答两个过程，分别对应为两个XML文件。
与现有技术相比，本发明的有益效果是
1、 低的带宽要求和高的带宽利用率。MAFS-NAL层提供了透明于底层网 络的传输服务，将有关传输过程抽象为会话。 一次会话中可以包括一个或多 个Agent节点。接收和发送的数据是以Pakect为单位，数据的发送较为简 单，以固定的时间间隔发送数据，对于有多个发送源的，底层处理线程会将 接收到的Packet按Timepstamp的大小排序，存储在接收缓冲区，从而有效 地提高了宽带的利用率，降低了传输中对带宽的要求。
2、 支持节点的自动发现和配置。MAFS-ACLAgent协作层则在网络适配 层基础上，为上层应用提供了面向Agent交互协作的操作原语，实现Agent 自动发布、查找等机制。
图1是本发明的MAFS协作协议模型示意图2是本发明的MAFS框架下的运动目标检测、跟踪流程
具体实施方式
下面结合附图和
具体实施方式
对本发明进行详细说明。
基于多智能体MAFS的视频多目标检测、跟踪方法提供一个运动目标检
测、识别和跟踪的协作协议模型，其构建一个对底层通信基础网络透明的多
Agent交互环境，使得各节点可以动态、自适应地获得系统拓扑结构、邻居 等信息实现各目标跟踪板之间的信息交互。
对运动目标检测、识别和跟踪的协作模型有关要求如下
(1) 能支持不同的底层网络。在不同的监控场合，各传感器及跟踪器 件之间的网络互联方式可能因成本、可靠性、带宽等不同约束条件而不同，
如100M以太网、GPRS、 802. 11或FDDI等线路，提出的协作模型必须能适应 不同的带宽、丢包率、介质访问方式线路参数，不能依赖于特定的底层网络 特性。
(2) 低的带宽要求和高的带宽利用率。要求尽可能多地在本地完成有 关目标跟踪任务，尽量避免原始采集的图像数据在节点之间传递。
(3) 时间及空间同步机制。为各节点提供时间同步机制和统一的空间 坐标系，这样各节点可以将本地局部数据与其他节点数据在时空上联系起 来。
(4) 统一的语义表示。每个Agent所在的地理位置、镜头、传感器灵 敏度、精度等参数的不同，使不同Agent所观测的结果有所差异，这种差异 主要表现在坐标系、运动目标特征的不同。因此协作模型必须要提供统一的 语义表示，来描述观测结果，即本地观测结果必须要转换为一个统一的语义 表示，才能为其他Agent所利用。
(5) 支持节点的自动发现和配置。协作模型应为每个节点加入和退出 协作系统提供方便的机制，使得各节点可以动态、自适应地获得系统拓扑结 构、邻居等信息，无需复杂的配置管理。
根据上述要求以及目标跟踪任务特点，基于多智能体MAFS的视频多目 标检测、跟踪方法根据目标跟踪任务的流程提出了由MAFS-NAL (网络适配 层)、MAFS-ACL (Agent协作层)、MAFS-SL (语义层)组成的三层MAFS协作 协议模型，如图1所示，MAFS-NAL主要是适应不同的底层网络，为上层应用 提供一个透明的通信服务环境。MAFS-ACL主要提供Agent之间的交互及管 理，支持任务分割、邻居发现等操作，用于实现Agent之间以及与管理者之 间的松散耦合。MAFS-SL层为视频应用提供统一的基于XML语言的描述，包括空间标定、空间坐标、全局时间、跟踪物体特征，包括几何特征、空间特
征、行为特征，使不同的Agent之间的理解、协作成为可能。
基于多智能体MAFS的视频多目标检测、跟踪方法在运动目标跟踪过程 中，将任务分解为目标检测、识别、跟踪三个部分，并在这三个跟踪装置中 增加一个MAFS协作协议模块，通过该模块与其他跟踪装置及中央控制单元交 换数据，并将有关信息传送至相应处理单元及感兴趣的节点，实现在背景中 发现运动目标、提取有关特征参数并进行识别、并根据目标的运动特点预测 目标运动轨迹等功能，从而达到目标跟踪等目的，并为进一歩的目标行为分 析提供依据。其具体的实施步骤如下
(1) 预处理通常被观测的图像中包含有各种各样的噪声或畸变，对 图像进行预处理，可以使图像的这些劣化因素得以减少或消除，从而使图像 中有用的信息或特征更容易提取，为进一步的图像分析识别以及目标跟踪工 作提供良好基础。
(2) 目标检测通过运动检测，对摄像头采集到的视频监控图像进行
分析，可以得到目标在视频图像中的位置、方向、大小等信息，为后续处理 中进行目标的识别、跟踪做基础。
(3) 目标识别目标识别结果的好坏直接影响着后面的跟踪效果。由
于动态环境中捕捉的图像受到多方面的影响，比如光照条件的变化、背景的 混乱干扰等，快速准确的运动目标识别是个相当重要但又比较困难的问题。
(4) 目标跟踪是在目标识别的基础上，对分割出的运动目标进行跟 踪，得到该对象的运动范围。
其中MAFS协作协议模型的构建方式如下
一、构建适应不同的底层网络的MAFS-NAL (网络适配层)，其为上层应 用提供一个透明的通信服务环境，MAFS-NAL提供一个MAFSSession对象，会 话(Session)定义为一个Agent从加入MAFS协作网络到退出MAFS协作网 络之间的所有活动， 一次会话中可以包括一个或多个Agent节点，对于任一 个节点来说，会话的过程如下
(1)设置MAFSSession参数MAFSSessionParams和传输层参数
(2) 根据设置的会话参数及传输层参数，创建MAFSSession对象;
(3) 接收和发送有关数据；(4)退出会话；
二、 构建MAFS协作协议模型的MAFS-ACL (Agent协作层)，MAFS-ACL 提供Agent之间的交互及管理，支持任务分割、邻居发现操作，用于实现 Agent之间以及与管理者之间的松散耦合和Agent自动发布、査找机制；
1、 面向Agent交互协作的操作原语主要包括 Agent. Registration: agent注册 Agent. Login: agent登录
Agent. Logout: agent退出
Agent. SendTo: 单播发送
Agent. RecvFrom: 接收
Agent. GetNeigbour:获得邻居列表
Agent. SendNeigbour:发送给令卩居
Agent. FloodAll
Agent. Query; 查询
2、 Agent自动发布、查找的实现机制
MAFS-ACL层运行着一个独立的线程，该线程每隔固定的时间间隔向网络 上其他邻居节点报告自身状态(LinkState)，如节点健康程度、是否有数据 或其他资源更新、是否要终止会话等。同时MAFS-ACL还维护着一个邻居列 表，该表中每项都有一个TTL (Time to Live)值，该值随时间的增长不断 减小。反应了最近一段时间来该表项的活跃程度，当该值为0时，将删除表 中对应节点。当接收到某个节点的状态(LinkState)时，MAFS-ACL管理器 将TTL置位。
另外，为了使Agent之间的逻辑拓扑结构独立于底层物理网络拓扑结构， 如两个节点尽管处于不同的广播网段，但在空间上是相邻的，每个Agent必 须要调用Agent. Registration原语，来报告自己的实际的地理空间信息， 该信息将会被扩散到所有网段上的其他节点。其他先注册的节点将比较其位 置来决定是否将其加入邻居列表，如果视其为邻居，则更新邻居列表，同时 向该节点发送一个应答消息。注册节点通过此种方式就可以获得所有邻居节 点信息。
三、 构建MAFS协作协议模型的MAFS-SL (语义层)，为视频应用提供统 一的基于XML语言的描述，包括空间标定、空间坐标、全局时间、跟踪物体
7特征，所述物体特征包括几何特征、空间特征、行为特征；
当某个Agent节点中MAFS-ACL层后台处理线程接收到一个邻居节点状 态更新信息后，处理程序根据需要去査询获取该邻居节点的有关数据，包括 当前跟踪目标列表、跟踪目标的空间信息、目标的几何特征、颜色特征；上 述操作是通过MAFS-ACL原语Agent, query来完成的， 一个query原语包含 请求和应答两个过程，分别对应为两个XML文件。 请求过程发送的数据
〈7xml version=〃l. 0〃 encoding=〃utf_8〃7〉 〈ArrayOfQuery xmlns="http://mafs. zjgsu. edu. cn厂〉 <Query queryld二， 1， >
getObject 〈/action〉 〈params〉
〈param name=，， id"
1
〈/paxam>
</Query〉 〈/Array0fQuery〉
应答过程返回的数据
〈7xml version二〃1. 0〃 encoding二〃utf-8〃7> <ArrayOfQueryResult xmlns="http://mafs. zjgsu. edu. cn/"〉 〈QueryResult action=， getObject， qeuryld二， 1， > 〈0bject id二" 1"〉 〈Location> 〈x value二， 100， /> 〈y value二' 100' /〉 <z value=， 100' />
〈area type = 'circle， value=， 10，<FeatureList>
〈Featureld〉
color
</FeatureId〉
〈/FeatureList〉
〈/object〉
〈/QueryResult>
〈/ArrayOfQueryResult〉 最后，还需要注意的是，以上列举的仅是本发明的具体实施例子。显然， 本发明不限于以上实施例子，还可以有许多变形。本领域的普通技术人员能 从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保 护范围。
权利要求
1、基于多智能体MAFS的视频多目标检测、跟踪方法，包括预处理、目标检测、目标识别、目标跟踪四个部分；其特征在于，增加一个MAFS协作协议模块，控制目标检测、目标识别、目标跟踪三个部分，所述MAFS协作协议模块的构建方式如下一、构建适应不同的底层网络的MAFS-NAL(网络适配层)，其为上层应用提供一个透明的通信服务环境，MAFS-NAL提供一个MAFSSession对象，会话(Session)定义为一个Agent从加入MAFS协作网络到退出MAFS协作网络之间的所有活动，一次会话中可以包括一个或多个Agent节点，对于任一个节点来说，会话的过程如下(1)设置MAFSSession参数MAFSSessionParams和传输层参数MAFSTransmissionParams等；(2)根据设置的会话参数及传输层参数，创建MAFSSession对象；(3)接收和发送有关数据；(4)退出会话；二、构建MAFS协作协议模型的MAFS-ACL(Agent协作层)，MAFS-ACL提供Agent之间的交互及管理，支持任务分割、邻居发现操作，用于实现Agent之间以及与管理者之间的松散耦合和Agent自动发布、查找机制；三、构建MAFS协作协议模型的MAFS-SL(语义层)，为视频应用提供统一的基于XML语言的描述，包括空间标定、空间坐标、全局时间、跟踪物体特征，所述物体特征包括几何特征、空间特征、行为特征；当某个Agent节点中MAFS-ACL层后台处理线程接收到一个邻居节点状态更新信息后，处理程序根据需要去查询获取该邻居节点的有关数据，包括当前跟踪目标列表、跟踪目标的空间信息、目标的几何特征、颜色特征；上述操作是通过MAFS-ACL原语Agent.query来完成的，一个query原语包含请求和应答两个过程，分别对应为两个XML文件。
全文摘要
本发明通过研究视频目标检测跟踪技术和多Agent智能体间并发协作技术，提供一种基于多智能体MAFS的视频多目标检测、跟踪方法，包括预处理、目标检测、目标识别、目标跟踪四个部分；增加一个MAFS协作协议模块，控制目标检测、目标识别、目标跟踪三个部分，所述MAFS协作协议模块的构建方式如下一、构建适应不同的底层网络的MAFS-NAL(网络适配层)，其为上层应用提供一个透明的通信服务环境；二、构建MAFS协作协议模型的MAFS-ACL(Agent协作层)，MAFS-ACL提供Agent之间的交互及管理，支持任务分割、邻居发现操作，用于实现Agent之间以及与管理者之间的松散耦合和Agent自动发布、查找机制；三、构建MAFS协作协议模型的MAFS-SL(语义层)，为视频应用提供统一的基于XML语言的描述。
文档编号H04N7/18GK101527045SQ20091009743
公开日2009年9月9日 申请日期2009年4月2日 优先权日2009年4月2日
发明者刘东升, 怡 周, 冰 王, 蓓 王, 琚春华, 亮 肖, 郑丽丽, 陈沛帅 申请人:浙江工商大学