专利名称：自动化识别的视频监控方法
技术领域：
本发明涉及的是一种射频技术领域的监控方法，具体是一种自动化识别的视 频监控方法。
背景技术：
射频技术是一种自动化的识别技术，广泛应用于物体跟踪、供应链管理、安 全控制和动物识别等领域中。射频阅读器在其读写的范围内能够自动地探测到标 有射频电子标签的物体，并读写存在电子标签中的信息。然而射频的应用要求是 被监测的物体必须要事先戴上电子标签，而视频监控系统中监控的物体多是不确 定得，特别是在安全监控中，根本无法事先用电子标签标识物体，因此鲜有关于 射频应用到视频监控系统的研究。
另一方面，视频监控系统大多是基于摄像机或数码相机的方式来实现得。这 种系统有四大缺点首先，它要求有操作员实时监控摄像机或数码相机等监控设 备收集到的视频，监控设备成本高，且要承担人力成本开支，否则就丧失了实时 监控的预警功能。其次，商用视频监控系统的清晰度不高，监控的范围非常有限。 即使旋转摄像头，其监控的范围依然有限。再者，对于一些特殊的应用，如工厂 车间的轨迹跟踪、银行、地铁、停车场等公共场合中顾客一般行为的调查分析等， 因为成本的要求和隐私的限制，也不太适合商用视频监控系统。最后，视频监控 设备在空间中的位置比较显著，极容易遭到破坏。
现有技术中很少有关于射频技术和视频监控系统两者的研究，因为射频技术
2003年下半年以后才由全球最大的零售商Wal-Mart和美国国防部DoD的大力推 动才开始流行，而且其主要应用领域是物流系统。
经对现有技术文献的检索发现，Lionel M. Ni等在《IEEE International Conference on Pervasive Computing and Comraunications》(国际普适计算与 通迅会议)(2003, pp. 407-415)上发表的"LANDMARC: Indoor Location Sensing Using Active射频"(LANDMARC:使用有源射频室内定位感知)。该文中提出一种自动化识别的室内定位方法，具体方法为将射频阅读器和参考标签布置成 圆形，利用阅读器读取范围的重叠和参考标签的位置，来定位标有电子标签的物 体的位置。其不足之处在于l.要求被跟踪的物体必须带有电子标签，但是视频 监控系统中物体大多是不确定得，无法事先用电子标签标识物体。2.该方法通过 不断地调整射频阅读器的功率来扫描所有的电子标签，速度慢，延迟大。3.该方 法使用得是有源标签， 一是能耗大，二是成本贵。因此，这种方法不适用于视频 监控系统，但是这种方法证明了射频技术可以用于室内定位。检索中还发现， Yunhao Liu等在《IEEE International Conference on Pervasive Computing and Communications》(国际普适计算与通迅会议)(2007， pp. 37-46)上发表的
Frequency Tag Arrays"(使用射频阵列找出行为监控中的频繁轨迹)，该文中提 出使用射频阵列来寻找频繁轨迹，具体方法为将有源标签和阅读器布置成阵 列，根据电子标签的信号强度变化来进行轨迹跟踪。但是，该文仅仅是理论上的 探讨，尚不能直接应用到实际视频监控系统中，具体表现为没有提供实时监控 功能，也就无从谈起如何实时监控；时间复杂度高，系统执行缓慢而且准确率不 高；使用有源电子标签，不仅成本高，而且能量消耗大，忽视了环保的要求。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种自动化识别的视频监控 方法。相比于商业视频监控系统，本发明不仅提供了准确率，更提供了实时监控 的功能。本发明使用无源标签等设备，成本低廉，而且本发明无人值守自动化作 业，不仅省去了商用视频监控系统中的人力资源成本，也节省了商用视频监控系 统中视频识别技术的成本。因此，本发明可以作为轨迹跟踪、群体行为调査之类 的视频监控系统的理想的替代方案。
本发明是通过以下技术方案实现的，本发明包括以下步骤-首先用无源电子标签和射频阅读器建立参考标签阵列，标签阵列中每隔固定 的标签数量就布置一个参考标签，其中参考标签是有源标签。同时多个射频阅读 器布置在参考标签阵列的不同方位上，确保射频阅读器的读取范围能够全面地覆 盖标签阵列。
然后，当物体从每个标签旁边经过时，该标签的信号强度就会有比较大的振动。记录所有标签包括参考标签在整个监控过程中的信号强度，并通过补充丢失 项和去除异常值形成信号强度序列。接着，转化信号强度序列成轨迹集合，并从轨迹集合中产生频繁轨迹集合。最后，在实时监控中，系统通过检测过程来判断目前的行为是不是系统许可 的活动。如若不是，系统就会给管理者发出警告信息，指出潜在的威胁。所述的参考标签阵列的建立，是指电子标签的阵列的建立和阅读器位置的布 置。首先将电子标签排成m x n的阵列，每k个电子标签中布置一个参考标签， 除参考标签是有源标签外，其它标签均是无源标签。在整个阵列的多个方向上放 置射频阅读器，每个阅读器覆盖阵列的一部分，所有阅读器的读取范围可以完全 覆盖整个阵列。同时，每个阅读器都与控制系统连接起来。这样， 一个参考标签 阵列就建立完成了。所述的形成信号强度序列，就是产生任意一时刻的四元组〈time， Si， SSI, readerID〉，其中time表示时刻t, Si表示无源标签，SSI表示无源标签Si在时刻 t时的信号强度，readerID代表射频阅读器。本过程主要由两大步骤完成第一步，在取样时间内(没有物体经过参考标签阵列)，测试每个电子标签 Si信号强度的均值Ei。接着，在另外一个取样时间内，测试当物体经过参考标签 阵列时每个电子标签信号强度的变化范围，统计分析后得出信号强度阈值入。 设S为频繁轨迹阈值，代表某条轨迹至少出现了 S次。然后，统计每个电子标 签Si在监控过程中信号强度的最大值Maxi，最小值Mi"以及出现的次数G。再判 断MaXi-Mirii与A的关系，以及Ci与S的关系。如果Max「Mirii的差大于A并 且Ci也大于S ，这样的电子标签就标记为受影响的电子标签，加入tagArr列表 中。第二步，对于每个时间段t，几倍于所使用的射频产品的工作频率，考察 tagArr中的每个电子标签。根据它们在时间段t中信号强度与其均值E,的关系， 来判断这些标签是不是在时间段t内发生变化。这样，电子标签在其受影响的时 间段内的信号强度都被记录下来，产生了信号强度序列rst，那些没有加入到rst 中的值组成集合con。所述的补充缺失项，是指在信号强度序列中加入那些也检测到物体经过，但 是其信号强度没有正常变化的电子标签在某时间段内其信号强度的值。理想的情况下，物体经过时，电子标签和阅读器均能正确无误地识别出物体的移动。然而， 射频技术设计上的缺陷导致射频阅读器和电子标签都有程度不同的不稳定，具体 表现是当物体经过时，电子标签不能每次都准确地反射信号强度；而阅读器则 不能每次都准确无误地直接读取到相应的电子标签。这些最终导致所收集到的信 号强度中有许多异常值，而且还遗失了许多值。本发明通过计算在每个时间段t 内，集合con中所有在tagArr中出现过的电子标签Si与参考标签r,的相似度 sim(&，rj)，并且取相似度最大的那个参考标签来定位，并把此时的Si通过 邻pend操作添力口到rst中。所述的去除异常值，是指去除信号强度序列rst中的异常值。这些值也是因 为射频标签和阅读器的本质缺陷造成得。去除异常值，包括两个方面。首先，构 造整个参考标签阵列的邻接矩阵adjMatrix,对两个相邻的结点 Si，Sj，adjMatrix[i， j]的值设为1 ，否则为0。然后，对于信号强度序列rst中 的每个电子标签Si，考察在各个时间段t内时，它的邻居结点是不是也在rst中。 如果它的大多数邻居(本发明默认是3/4，可调整)都不在rst中，则意味着此 时Si的信号强度Sl (t)是异常值，这时rst通过remove (Si (t))操作移除异常值。所述的转化信号强度序列，是指将信号强度序列按时间先后顺序排序后，并 对于任意一时刻t的信号强度序列，首先依邻居关系将这些受影响的电子标签分 组，若s,不与任何结点相邻，就移除Sl。然后计算每组中受影响的电子标签所 组成的图形的形心坐标G(t)。如此，G(t)就表示在时刻t时物体的物理位置。 当处理完所有时刻时，就产生轨迹集合RS。所述的产生频繁轨迹集合，是指从轨迹集合RS中寻找物体经常遍历轨迹FS， 即频繁轨迹。所有的频繁轨迹代表着监控系统许可的行动。本发明采用频繁项挖 掘算法从RS中产生轨迹长度为1的轨迹，长度为2的轨迹，依次下去，直至产 生轨迹长度为n的频繁轨迹，形成频繁轨迹集合FS。所述的检测过程，是指通过计算这条路径与频繁轨迹FS中路径的相关度 来判断某条轨迹是不是在频繁轨迹FS中的过程。因为测试误差以及射频技术本 质的缺陷，系统在实现过程中设定两条路径如果有90% (系统默认，可调整)以 上的部分相同，就认为这两条路径相同。本发明能够获得较高的准确率和非常快的速度。本发明利用射频技术实现了轨迹跟踪，相比于商用的视频监控系统具有以下特点
1. 具有实时监控的功能。本发明不须人工干预，可以无间断地全天候工作， 即能够实时监控。而且，射频技术能够工作在恶劣环境中，因此本实时监控系统 能够适应大多数视频监控的环境。
2. 具有极高的准确度。对于单人轨迹，本发明可以达到99%的准确；对于 两人轨迹，可以达到96%以上的准确度；对于三人轨迹，本发明的准确度大约为 90%;对于四人轨迹，可以达到84%左右的准确度；对于五人以上的轨迹，准确
度在70%左右。
3. 成本低廉。对于同等规模的监控环境而言，本发明的成本相当低廉。首 先，本发明所使用的主要设备是无源电子标签，价格低；其次，本发明是无人值 守作业，全天候自动化运行，省去了视频监控中的人力资源成本。再次，本发明 中也节省了视频监控系统中实时视频处理技术的成本。
图l是参考标签阵列图示意图
图中A, B， C， D， E是普通被动标签，即无源标签，Rl， R2, R3, R4是参考 标签，即有源标签。两个相邻标签的距离是固定得，每9个标签中有一个参考标 签，参考标签的工作范围正好覆盖这9个标签，而每个标签的工作范围则仅仅覆 盖以A到R1的距离为半径的圆，阵列的上、下、左、右四个方向布置了四个射 频阅读器，通过调整阅读器的功率，可以使每个阅读器负责读写参考标签阵列中 的部分电子标签，四个阅读的读取范围完全覆盖整个阵列，当物体从E经过时， 标签E和参考标签R2都会信号强度变化。
具体实施例方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案 为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护 范围不限于下述的实施例。
本实施例采用的标签和阅读器都来源于美国Alien公司的产品，工作在 433Mhz频率，电子标签的芯片经过修改后增加存储一些额外信息。整个实现过 程如下
1.布置参考标签阵列将81个电子标签，其中含有9个参考标签即有源标签和72个无源标签。先将81个电子标签布置成9x9的阵列，每9个标签中有一 个参考标签。行和列中标签的间距都是2m。接着，将4个阅读器放在阵列的上、 下、左、右四个位置，并调整阅读器的功率，使每个阅读器的工作范围覆盖整个 阵列的一部分，所有阅读器的工作范围能够覆盖整个阵列。如图1所示。
2. 统计Ei和A。首先将标签阵列放置半个小时，这段时间内不允许物体穿 过阵列，记录阵列中所有标签的信号强度值，计算出各个标签的信号平均值E,。 接着，将物体依次经过阵列中的每个标签，统计所有标签的信号强度变化范围， 得出一个信号强度的阈值A。
3. 产生受影响的标签列表tagArr。进行监控，四人同时以不同的速度穿过 阵列，行走速度的范围0.5m/s到6m/s。先记录下整个监控过程中所有的信号强 度序列，然后将信号强度序列依时间顺序升序排序。接着，扫描整个信号强度序 列，计算每个电子标签信号强度的最大值Max,，最小值Min,和出现次数C,。再 扫描所有的电子标签，判断MaXi—Mirii与A的关系以及Ci与S的关系，这里S为 11。如果都大于，则将(Si， MaXl， Mirii， C》加入到受影响的电子标签集合tagArr 中。
4. 计算轨迹集合rst。对于每个时间间隔t，这里为3秒，判断tagArr中 受影响的标签，在时间间隔t内，是不是其信号强度发生了变化。如果发生了变 化，并且与其信号强度均值之差的绝对值大于A，这里为2，就将Si(t)加入到 rst中，否则加入rst的补集con中。
5. 补充丢失项。对于con集合中出现的每个时间段t,依然是3秒，计算 tagArr中Si与参考标签r」的相似度。取其中最大的相似度，将此时的Si(t)加入 到轨迹集合rst中。
6. 去除异常值。首先针对参考标签阵列，构造邻接矩阵adjMatrix，相邻 的电子标签结点Si， Sj值设为l，否则设为0。然后对于rst集合的任一时刻t 时的电子标签s,，判断此时它的邻居是不是也在rst中。如果它的大多数邻居不 在rst中(这里采用3/4作为大多数)，就移去&(t)。
7. 转化信号强度序列。对于任一时刻t的信号强度序列〈t，L,U…，Lk〉， 这里Li表示标签&的坐标。首先将、S2，…，Sk依邻居关系分组，对于每组都分 别计算组中各点所组成图形的几何形心，作为物体在时刻t的位置。如此，轨迹集合就产生。
8. 在线检测。首先通过频繁项挖掘算法产生频繁轨迹集合，然后检测新出 现的轨迹， 一旦发现新轨迹不在频繁轨迹集合中，就产生预警。这里，以轨迹 90%以上相似，就认为是相同的轨迹。
9. 测试结果对于单人遍历轨迹的准确度为100%，对于两人的轨迹，准
确度为98.92% (轨迹没有重叠)，96. 35%(轨迹有重叠)，对于三人的轨迹(有重 叠)，准确度在93.21%。
权利要求
1. 一种自动化识别的视频监控方法，其特征在于，包括如下步骤首先用电子标签和射频阅读器建立参考标签阵列，标签阵列中每隔固定的标签数量就布置一个参考标签，同时多个射频阅读器布置在参考标签阵列的各方位上，确保射频阅读器的读取范围能够全面地覆盖标签阵列；然后，当物体从每个标签旁边经过时，该标签的信号强度就有会振动，记录所有标签包括参考标签在整个监控过程中的信号强度，并通过补充丢失项和去除异常值形成信号强度序列；接着，转化信号强度序列成轨迹集合，并从轨迹集合中产生频繁轨迹集合；最后，在实时监控中，系统通过检测过程来判断目前的行为是否是系统许可的活动，如若不是，系统就会给管理者发出警告信息，指出潜在的威胁。
2、 根据权利要求l所述的自动化识别的视频监控方法，其特征是所述的 参考标签阵列的建立，是指电子标签的阵列的建立和阅读器位置的布置，首先将 电子标签排成mxn的阵列，每k个电子标签中布置一个参考标签，除参考标签 是有源标签外，其它标签均是无源标签，在整个阵列的不同方向，放置射频阅读 器，调整每个阅读器的功率，使其读取范围覆盖阵列的一部分，所有阅读器的读 取范围完全覆盖整个阵列，同时，每个阅读器都与控制系统通过有线或者无线的 方式连接起来，这样， 一个参考标签阵列就建立完成了。
3、 根据权利要求1所述的自动化识别的视频监控方法，其特征是所述的 形成信号强度序列，就是产生任意时刻的四元组〈time, Si, SSI， readerID〉， 其中time表示时刻t， Si表示无源标签，SSI表示无源标签Si的信号强度， readerID代表射频阅读器。
4、 根据权利要求1或3所述的自动化识别的视频监控方法，其特征是所 述的形成信号强度序列，主要由两大步骤完成第一步，在取样时间内，测试每个电子标签s,信号强度的均值Ei，接着， 在另外的取样时间内，测试当物体经过参考标签阵列时每个电子标签信号强度的 变化范围，统计分析后得出信号强度阈值A ，设S为频繁轨迹阈值，代表本条轨迹出现了多少次，然后，统计每个电子标签Si在监控过程中的信号强度的最大值MaXi，最小值Mirii以及出现的次数d，再判断MaXi-Mim与A的关系，以及 G与S的关系，如果Mai-Mini的差大于A并且Ci也大于S，这样的电子标签 就标记为受影响的电子标签，加入到tagArr列表中；第二步，对于每个时间段t，检査tagArr中的每个电子标签，根据它们在 时间段t中的信号强度与它们均值E,的关系，来判断这些标签是否在时间段内t 产生变化，这样，电子标签在其受影响的时间段内的信号强度都被记录下来，产 生了信号强度序列rst，那些没有加入到rst中的值组成集合con。
5、 根据权利要求1所述的自动化识别的视频监控方法，其特征是所述的 补充缺失项，是指在信号强度序列中加入检测到物体经过的，其信号强度却没有 正常变化的电子标签在某时间段的值，在每个时间段t内，计算集合con中所有 在tagArr中出现过的电子标签Si与参考标签r」的相似度sim(Si， r」)，并且取相 似度最大的那个参考标签来定位，并把此时的Si通过append操作添加到rst 中。
6、 根据权利要求1所述的自动化识别的视频监控方法，其特征是所述的 去除异常值，是指去除信号强度序列rst中的异常值，包括两个方面首先，构 造整个阵列的邻接矩阵adjMatrix，对两个相邻的结点Si， Sj， adjMatrix[I, j]的 值设为1 ，否则为0;然后，对于信号强度序列rst中的每个电子标签Si，检査 在各个时间段t内时，它的邻居结点是否也在rst中，如果它的3/4邻居都不在 rst中，则意味着此时Si的信号强度Si (t)是异常值，这时rst通过remove (Si (t)) 操作移除异常值。
7、 根据权利要求l所述的自动化识别的视频监控方法，其特征是所述的 转化信号强度序列，是指首先将信号强度序列按时间先后顺序排序后，接着， 对于任意一时刻t的信号强度序列，依据邻居关系将这些受影响的标签分组，若 Si不与任何结点相邻，就移除s,，然后计算每组电子标签所组成的图形的形心坐 标G(t)，这样，G(t)就表示在时刻t时物体的物理位置，当处理完所有时刻时， 就产生了轨迹集合RS。
8、 根据权利要求1所述的自动化识别的视频监控方法，其特征是所述的 产生频繁轨迹集合，是指从轨迹集合RS中寻找频繁轨迹集合FS，所有的频繁轨 迹代表着监控系统许可的行动，采用频繁项挖掘算法从RS中产生轨迹长度为 1，2，…，n的频繁轨迹集合FS。
9、根据权利要求1所述的自动化识别的视频监控方法，其特征是所述的 检测过程，是指分析某条路径与频繁轨迹FS中路径的相关度来判断某条轨迹 是不是频繁轨迹FS中的过程，设定两条路径如果有90%以上的部分相同，就认 为这两条路径相同。
全文摘要
一种自动化识别的视频监控方法，步骤为首先建立参考标签阵列，调整射频阅读器的功率确保其读取范围能够全面地覆盖标签阵列；接着，计算参考标签阵列中每个电子标签信号强度的均值，和每个标签在物体经过时的信号强度变化范围，统计分析得出信号强度阈值；然后，记录所有标签包括参考标签在整个监控过程中的信号强度，并通过补充丢失项和去除异常值形成信号强度序列；再转化信号强度序列成轨迹集合，并从轨迹集合中产生频繁轨迹集合；最后，通过检测过程来判断目前的行为是不是系统许可的活动。本发明不仅提供了与现有技术相似的准确率，更提供了实时监控的功能，节省人力资源成本和视频实时识别技术的成本。
文档编号G06K17/00GK101281676SQ20081003817
公开日2008年10月8日 申请日期2008年5月29日 优先权日2008年5月29日
发明者周憬宇, 唐飞龙, 张大强, 虎 管, 过敏意 申请人:上海交通大学