专利名称：可疑行为检测系统及方法
技术领域：
本发明特别涉及使用摄像机等的光学传感器的可疑行为检测系统。
背景技术：
近年，开发出了利用由摄像机拍摄的影像(动画)来监视可疑者等的监视系统。在监视系统中，提出了各种方式，例如，提案了使用基于立体
高阶局部自相关(Cubic Higher-order Local Auto Correlation)的特征量的方式的系统(例如，参照专利文献l)。
专利文献1:日本特开2006-79272号公报
以往的监视系统，虽然能够在由摄像机拍摄的画面内，检测出异常动作，但是不能从多个人中确定并识别出正在进行异常行为的可疑者。
发明内容
本发明的目的在于提供一种能够确定并识别出正在进行异常行为的可疑者的可疑行为检测系统。
基于本发明的观点的可疑行为检测系统，具备传感器单元，用于检测监视对象的移动位置；移动轨迹取得单元，根据上述传感器单元的输出，取得上述监视对象的移动轨迹信息；行为识别单元，使用通过学习与移动轨迹对应的行为而取得的学习信息，根据由上述移动轨迹取得单元取得的移动轨迹信息，识别上述监视对象的行为状态；判定单元，根据由上述行为识别单元识别出的行为状态，自动地实时地判定上述监视对象的可疑行为。
图1是表示本发明的实施方式的可疑行为检测系统的主要部分的框图。图2是用于说明本实施方式的系统的具体结构的图。图3是用于说明本实施方式的移动轨迹合并部及行为识别部的具体结构的框图。
图4是用于说明在本实施方式的行为识别部中的学习方法的图。图5是用于说明在本实施方式的行为识别部中的学习方法的图。图6是用于说明在本实施方式的行为识别部中的步行轨迹的指定方法的图。
图7是用于说明本实施方式的可疑行为检测系统的处理顺序的流程图。
具体实施例方式
参照下面的
本发明的实施方式。(系统的基本结构)
图1是表示本实施方式的可疑行为检测系统的主要部分的框图。如图1所示，系统l由多台立体摄像机(Stereo Camera) 10、可疑行为检测装置20构成。立体摄像机IO作为传感器进行动作，该传感器用于检测作为监视对象的人的移动位置。立体摄像机10由配置在包含上下或左右的不同的视点的多个摄像机组合而成，将拍摄的影像传送到可疑行为检测装置20。这里的多台摄像机也可以是在分开的位置上配置的两台摄像机。
另外，作为传感器，除了立体摄像机10之外，也可以使用红外线传感器ll、激光传感器12等光学传感器。
可疑行为检测装置20由计算机系统构成，具有由CPU及软件实现的移动轨迹取得部21及行为识别部22的功能要素。移动轨迹取得部21，具有对从立体摄像机10传送来的影像进行图像处理(立体图像处理)的功能，根据该图像处理结果生成表示监视对象的人的移动轨迹的移动轨迹信息。这里，人的移动轨迹如后面所述的那样，相当于人在步行移动时的步行轨迹。
移动轨迹取得部21根据从多个立体摄像机10传送来的影像而生成移动轨迹信息，该移动轨迹信息是合并了与立体摄像机10的拍摄范围(监视区域)对应的各个移动轨迹后的移动轨迹信息。在该合并后的移动轨迹信息中，如下所述，含有表示连结(连接)了各个监视区域及非监视区域的移动轨迹的信息。
行为识别部22存储有预先通过对应移动轨迹进行学习从而取得的学习信息，使用该学习信息，根据从移动轨迹取得部21发送来的移动轨迹信息，判定监视对象的人的可疑行为。(系统的具体结构及作用效果)
图2是用于说明应用本实施方式的系统的具体例的图。
这里，假设将本实施方式的可疑行为检测系统1应用于监视建筑物内通道的监视系统的情况。该系统中，如图2所示，将通道设定为由4台立体摄像机10-1 10-4进行监视的监视区域200、 210、 220、 230。
此外，通道被分成区域A和区域B，还存在连结各区域的非监视区域240。关于该非监视区域240的处理，后面再作叙述。另外，如上所述，作为传感器，除了立体摄像机10之外，也能使用红外线传感器ll或激光传感器12，并且，也能采用通过多个种类的传感器监视同一区域A、 B等的多种方式。但是，在本实施方式中，对由4台立体摄像机10-l 10-4进行监视的方法进行说明。
图3是用于说明可疑行为检测装置20所包含的移动轨迹取得部21及行为识别部22的具体功能要素的框图。
移动轨迹取得部21具有多个步行轨迹获得部30，所述步行轨迹获得部30对来自各个立体摄像机10-1 10-4的影像进行立体图像处理，获得表示监视对象的人的步行轨迹的步行轨迹信息。另外，移动轨迹取得部21具有步行轨迹合并部31，所述步行轨迹合并部31合并由多个步行轨迹获得部30获得的步行轨迹信息，或者执行根据前后的步行轨迹补充非监视区域的步行轨迹的补充处理。另外，步行轨迹合并部31，执行如下二者之一来自多个监视区域的步行轨迹信息的合并，还执行通过由在同一监视领域区域的多种的传感器(例如，立体摄像机和红外线传感器等)获得的步行轨迹信息的合并。
行为识别部22包括多个识别器，具有行为合并部45，所述行为合并部45输出对上述多个识别器的识别结果进行合并后的识别结果(判定结果)来作为最终输出结果。行为合并部45，通过如下方法来输出识别结果
6(判定结果)，例如多数决定、逻辑积等的方法，或者执行基于规则的判别处理作为预处理，在其结果存在过与不足的情况下执行由学习机械来进行的识别处理的方法。
具体而言，行为识别部22通过应用例如SVM(Support Vector Machine:
支持向量机)这样的图案识别方法而构成，对监视对象的步行轨迹信息(移动轨迹数据)的特性进行数学分析。由此，通过学习指示出人的正常图案、异常图案，从而进行可疑行为的判别。
作为多个识别器，设有性别识别器40、年龄范围识别器41、正常/异常识别器42、停留/行走识别器43及徘徊识别器44等。各个识别器存储预先通过进行与步行(移动)轨迹相对应的学习而取得的学习信息，使用该学习信息执行识别处理。
具体的地讲，例如年龄范围识别器41存储人的属性信息中所包含的年龄范围信息、表示游移不定地步行的步行轨迹的信息来作为学习信息，根据来自移动轨迹取得部21的步行轨迹信息，如果正在游移不定的步行者的年龄范围是高龄者，就则识别为徘徊老人。此外，识别器41，如果年龄范围是儿童，则年龄范围识别器41识别为迷路儿童。这里，学习信息中包含例如不同年龄范围的身高、步速或步调等的信息。
此外，停留/行走识别器43根据通常步行者的步行轨迹，将什么样的步行轨迹代表停留、什么样的步行轨迹代表行走作为学习信息来进行存储。另外，正常/异常识别器42根据通道中的步行者的步行轨迹，将表示可判定为正常的步行轨迹(前进或转弯等)的信息、表示在例如门前等位置由于不稳定的步行而被判定为异常的步行轨迹(方向不定、停止一定时间以上等)的信息作为学习信息来进行存储。
另外，行为合并部45也可以对来自各个识别器的识别结果执行敏感/迟钝的选择处理。例如，对于正常/异常识别器42，在夜间设定为执行敏感处理，从而进行相对严密的正常和异常的识别，在白天设定为执行迟钝处理，从而放宽正常和异常的判断基准。
下面，参照图4到图7，说明本实施方式的系统的作用效果。图7，是表示应用于图2所示的通道的情况下的可疑行为检测系统的处理步骤的流程图。
首先，如图2所示，系统输入由通道中配置的各个立体摄像机10-1 10-4拍摄的影像(步骤S1)。移动轨迹取得部21的各步行轨迹获得部30 在执行了立体图像处理之后，获得该监视区域200、 210、 220、 230内的 步行轨迹信息(移动轨迹信息)(步骤S2、 S3)。步行轨迹信息具体来讲 就是如图4 (A)所示的表示各种步行轨迹的信息。
这里，步行轨迹合并部31合并并输出来自该监视区域200、 210、 220、 230的步行轨迹信息。此外，如后面所述，联合步行轨迹合并部31和各个 立体摄像机10-1 10-4，执行根据前后的步行轨迹来补充非监视区域240 的步行轨迹的补充处理。
行为识别部22根据从移动轨迹取得部21输出的步行轨迹信息，识别 作为监视对象的正在通道中步行的人100的行为(步骤S4)。具体来讲， 如上所述，通过各个识别器40 44来执行识别行为的处理。
在此，对正常/异常识别器42进行详细说明。
各个识别器40 44使用根据学习处理取得的学习信息，执行识别行 为的处理。这里，作为学习方法，大致分为如图4所示的无教师学习方法 和如图5所示的有教师的学习方法。在无教师的学习方法中，如图4 (B)、 4 (C)所示，将步行轨迹分类成多个种类，得到在各个步行种类上附加了 正常/异常的标号的学习信息。
正常/异常识别器42根据来自步行轨迹合并部31的步行轨迹信息，使 用该学习信息，识别所获得的步行轨迹的步行种类，按照附加的标号识别 为正常/异常。具体地讲，正常/异常识别器42根据图4 (B) 、 4 (C)所 示的学习信息，将图2所示的监视区域200中的步行轨迹识别为异常。
此外，图5 (A) 、 5 (B)所示的有教师的学习中，得到在人的步行 轨迹上附加了正常/异常标号50、 51的学习信息，正常/异常识别器42根 据来自歩行轨迹合并部31的步行轨迹信息，使用该学习信息，判定获得 的步行轨迹是正常步行轨迹或异常步行轨迹中的一种，图2所示的监视区 域200的步行轨迹被识别为异常。
图6是说明用于学习的步行轨迹数据的指定和选定方法的图。g卩，各 个识别器40 44通过指定各种条件，在存储的步行轨迹信息中检索相应 的轨迹60 62。例如，场所的指定是对通过某一区域的人、从某一场所移 动到另一场所的人等的指定。时间的指定是对在特定日通过的人、在特定 的时间内通过的人等的指定。轨迹的指定是通过在画面上(GUI)上描画轨迹来指定轨迹。作为用于学习的步行轨迹，使用连续的位置坐标、速度 或方向转换次数等的被抽象化的特征量、获得步行轨迹的连续图像以及能 够从连续图像获得的特征量。
艮P，各个识别器40 44适用所谓的逐步学习方法，在逐步学习时， 根据任意的条件(时间带、场所、人的属性信息)，从存储的步行轨迹信 息的数据组中定期并且自动地选定所使用的步行轨迹信息(移动轨迹数 据)。此外，操作员也可从终端指定或选定任意的步行轨迹信息(移动轨 迹数据)。
行为识别部22的行为合并部45合并正常/异常识别器42的识别结果 和其他识别器的识别结果，最终判定正在进行可疑行为的人(步骤S5)。 这里，行为合并部45在监视区域200中，取出和通常的步行轨迹不同的 步行轨迹，在由正常/异常识别器42识别为异常的情况下，判定该人110 的行为可疑(步骤S5:是)。
系统在从行为识别部22输出判定为可疑的判定结果的情况下，执行 对存在有正在进行可疑行为的人110进行发报的处理(步骤S6)。
但是，在宽阔的通道的情况下，有可能不能在各个监视区域进行是否 可疑的判定处理(步骤S5:否)。这种情况下，系统的步行轨迹合并部 31，如前所述，联合各个立体摄像机10-1 10-4，并连结监视区域210、 220、 230、 240的步行轨迹(步骤S7:是；S8)。此外，系统在非监视区 域240，也执行根据前后的步行轨迹来补充步行轨迹的补充处理，然后连 结所有的步行轨迹并输出合并后的步行轨迹信息。
即使对宽阔的通道，行为识别部22也能够根据连结并合并所有的步 行轨迹后的步行轨迹信息，最终判定表现出异常步行轨迹的人是否正在进 行可疑的行为。
另外，本实施方式的系统中，也可以含有如下装置在行为识别部22 的行为合并部45最终判定出正在进行可疑行为的人的情况下，控制设置 的摄像机10-1 10-4的跟踪/变焦拍摄功能，在画面上对该可疑者进行特 写(close-up)的装置。
根据如上所述的本实施方式，能够根据作为监视对象的人的步行轨迹 (移动轨迹)，使用学习信息来识别行为，最终判定正在进行异常行为的 可疑者。因此，如果将本实施方式的系统应用于例如建筑物内的监视系统等，则能够自动确定可疑者，从而实现有效的监视功能。
另外，本发明不仅限于上述实施方式，在实施阶段中可以在不脱离其 精神的范围内对构成要素进行变形及具体化。此外，对上述实施方式所公 开的多个构成要素进行适当的组合，也能够形成多种发明。例如，也可从 实施方式中所公开的所有结构要素中删掉几个结构要素。另外，也可在不 同的实施方式之间适当地组合结构要素。 工业实用性
本发明由于能够实现可疑行为检测系统，该可疑行为检测系统能够确 定并识别正在进行异常行为的可疑者，因此，能够应用于例如建筑物内的 监视系统。
权利要求
1.一种可疑行为检测系统，其特征在于，具备传感器单元，用于检测监视对象的移动位置；移动轨迹取得单元，根据上述传感器单元的输出，取得上述监视对象的移动轨迹信息；行为识别单元，使用通过学习与移动轨迹对应的行为而取得的学习信息，根据由上述移动轨迹取得单元取得的移动轨迹信息，识别上述监视对象的行为状态；以及判定单元，根据由上述行为识别单元识别出的行为状态，自动且实时地判定上述监视对象的可疑行为。
2. 如权利要求l所述的可疑行为检测系统，其特征在于， 上述传感器单元包括立体摄像机、单目摄像机、或者除此之外的光学传感器中的任意一种或多种。
3. 如权利要求l所述的可疑行为检测系统，其特征在于， 上述传感器单元具有立体摄像机，拍摄上述监视对象；图像处理单元，对从上述立体摄像机输出的影像信号进行处理。
4. 如权利要求l所述的可疑行为检测系统，其特征在于， 上述移动轨迹取得单元，具有传感器单元，具有多个摄像机，用于在与该各个摄像机的摄像范围对 应的多个监视区域内，检测上述监视对象的移动位置；以及生成单元，合并上述传感器单元的输出，生成合并后的移动轨迹信息， 该合并后的移动轨迹信息表示贯穿上述多个监视区域的上述监视对象的移 动轨迹。
5. 如权利要求4所述的可疑行为检测系统，其特征在于， 作为上述传感器单元中的多个摄像机，包括立体摄像机、单反摄像机、或者除此之外的光学传感器中的任意一种或多种。
6. 如权利要求4所述的可疑行为检测系统，其特征在于，上述移动轨迹取得单元具有补充单元，该补充单元在未包含在各个摄 像机的拍摄范围内的非监视区域，根据上述传感器单元的输出来执行连结 上述监视对象的移动轨迹的补充处理，生成包含上述非监视区域的上述移动轨迹信息o
7. 如权利要求6所述的可疑行为检测系统，其特征在于， 上述补充单元根据包括上述监视对象的高度、模样的特征量的属性信息，执行上述补充处理。
8. 如权利要求l所述的可疑行为检测系统，其特征在于， 上述行为识别单元通过图案识别方法而构成，通过对监视对象的上述移动轨迹信息的特性进行数学分析，指示出正常图案及异常图案这二者中 的其一或二者作为学习信息，从而输出用于进行可疑行为的判别的信息。
9. 如权利要求l所述的可疑行为检测系统，其特征在于， 上述行为识别单元具有如下单元，该单元作为取得上述学习信息的方法，根据所存储的移动轨迹信息的数据组中的任意条件(时间带、场所、 人的属性信息等)，执行定期地自动地选定的逐步学习动作。
10. 如权利要求l所述的可疑行为检测系统，其特征在于， 上述行为识别单元包括多种的行为识别单元，该多种的行为识别单元使用特性不同的学习信息作为上述学习信息，根据由上述移动轨迹取得单 元取得的移动轨迹信息，识别特性不同的行为状态。
11. 如权利要求l所述的可疑行为检测系统，其特征在于， 具备如下单元，该单元控制上述传感器单元所包括的摄像机的跟踪/变焦拍摄功能，对由上述判定单元判定为可疑行为的监视对象进行特写。
12. —种可疑行为检测方法，适用于可疑行为检测系统，该可疑行为 检测系统使用了用于检测监视对象的移动位置的传感器单元，该可疑行为 检测方法的特征在于，执行如下步骤根据上述传感器单元的输出，取得上述监视对象的移动轨迹信息的步骤；使用通过学习与移动轨迹对应的行为而取得的学习信息，根据上述移 动轨迹信息识别上述监视对象的行为状态的步骤；以及根据由上述步骤识别出的行为状态，自动判定上述监视对象的可疑行 为的步骤。
全文摘要
本发明提供一种能够确定并识别正在进行异常行为的可疑者的可疑行为检测系统。可疑行为检测系统(1)是利用立体摄像机(10)的影像来检测监视对象的可疑行为的系统。可疑行为检测系统(1)具有取得监视对象的移动轨迹信息的移动轨迹取得部(21)和根据移动轨迹信息识别监视对象的行为状态，自动判定监视对象的可疑行为的行为识别部(22)。
文档编号G08B25/00GK101542549SQ200880000339
公开日2009年9月23日 申请日期2008年3月5日 优先权日2007年3月6日
发明者丰岛伊知郎, 板仓丰和, 榎原孝明, 铃木美彦, 马场贤二, 高桥雄介 申请人:株式会社东芝