异常检测装置以及异常检测程序的制作方法

专利名称：异常检测装置以及异常检测程序的制作方法
技术领域：
本发明涉及一种使用由摄像装置拍摄的摄像数据对监视对象的异常 进行检测的异常检测装置及异常检测程序。10背景技术为了应付犯罪发生率增加等的社会不稳定现象，以监视可疑人员和可 疑车辆等为目的的摄像机的设置台数正在增加。在使用众多的摄像机进行监视时，需要用于由较少的监视人员有效地对监视区域进行监视的监视支 援技术。15 作为上述监视支援技术，例如在专利文献1 (特开2006-79272号公报)中公开了一种检测技术，其提取被称为立体高次局部自相关特征的图像特 征量，使用该特征量对图像中的人的正常活动进行学习，并将从学习到的 正常行动中偏离的行动检测为异常行动。此外，在专利文献2 (特开平7-78239号公报)中公开了一种检测技20术，其将工厂设备正常运转时的图像作为正常状态进行学习，并将从学习 到的正常状态中偏离的状态检测为异常状态。在该检测技术中，在检测到 异常状态时，通过与事先学习到的多种异常状态的模式进行对照，对异常 状态的种类进行识别。专利文献1特开2006-79272号公开25 专利文献2特开平7-78239号公开在专利文献1所公开的检测技术中，对于将正常行动误检测为异常行 动的误报，通过将该图像进行追加学习并对正常行动的范围进行更新就能 够进行应对。但是，在专利文献1所公开的检测技术中存在以下问题，艮P， 30对于不能检测异常行动从而将异常行动误检测为正常行动的漏报，即使对正常行动的图像进行追加学习，也无法使漏报减少。此外，在专利文献2所公开的检测技术中，除了能够采用与专利文献 1所公开的检测技术相同的方法进行异常状态的检测以外，还能够在检测到异常状态时对异常状态的种类进行识别。但是，专利文献2所公开的检测技术与专利文献1所公开的检测技术一样，是将从事先学习到的正常状 态偏离的状态作为异常状态进行检测的技术，所以存在即使对正常状态的 图像进行追加学习，也无法使漏报减少的问题。发明内容本发明是为了解决上述问题而作出的，本发明的目的在于提供一种异常检测装置和异常检测程序，其能够通过学习来减少将异常的监视对象误 检测为正常的监视对象的漏报。为了实现上述目的，本发明的异常检测装置的特征在于，g卩，该异常检测装置具有获取监视对象的摄像数据的摄像数据获取部；正常学习数据存储部，其存储对正常的所述监视对象事先进行学习而获得的正常学习 数据；正常判断部，其根据所述摄像数据以及所述正常学习数据，判断所 述摄像数据中所包含的监视对象是否正常；异常学习数据存储部，其存储 对异常的所述监视对象事先进行学习而获得的异常学习数据；异常判断 部，其根据所述摄像数据以及所述异常学习数据，判断所述摄像数据中所包含的监视对象是否异常；和综合判断部，其根据所述正常判断部的判断结果以及所述异常判断部的判断结果，判断所述摄像数据中所包含的监视 对象是正常还是异常。此外，为了实现上述目的，本发明的异常检测程序的特征在于，即，使电子计算机作为如下各部发挥功能获取监视对象的摄像数据的摄像数据获取部；正常判断部，其根据事先存储的对正常的所述监视对象事先进 行学习而获得的正常学习数据以及所述摄像数据，来判断所述摄像数据中所包含的监视对象是否正常；异常判断部，其根据事先存储的对异常的所述监视对象事先进行学习而获得的异常学习数据以及所述摄像数据，来判断所述摄像数据中所包含的监视对象是否异常；以及综合判断部，其根据所述正常判断部的判断结果以及所述异常判断部的判断结果，来判断所述摄像数据中所包含的监视对象是正常还是异常。因而，根据本发明，能够通过学习，减少将异常的监视对象误检测为 正常的监视对象的漏报。

图1是表示具有本发明的第1实施方式所涉及的异常检测装置的异常 检测系统的框图。图2是表示图1的正常判断部的详细框图。 图3是表示图1的异常判断部的详细框图。io 图4(a)是摄像数据的说明图。图4(b)特征量的计算对象的说明图。图5是表示计算立体高次局部自相关特征时使用的掩模图案的例示图。图6是表示用于生成正常学习数据的正常学习数据生成装置的框图。 15 图7是在主分量分析中得到的各个主分量的累积贡献率的说明图。图8是由正常度计算部所进行的正常度的计算处理的说明图。 图9是表示用于生成异常学习数据的异常学习数据生成装置的框图。 图IO是由异常度计算部所进行的异常度的计算处理的说明图。 图11是表示图1的综合判断部的详细框图。 20 图12(a)和(b)是综合判断表的示例说明图。图13是对图1的异常检测装置的动作例进行说明的流程图。 图14是对正常判断部的动作例进行说明的流程图。 图15是对异常判断部的动作例进行说明的流程图。 图16是对特征量计算部的动作例进行说明的流程图。 25 图17是对正常学习数据生成装置的动作例进行说明的流程图。图18是对异常学习数据生成装置的动作例进行说明的流程图。 图19是表示本发明的第2实施方式所涉及的异常检测装置的框图。 图20是表示本发明的第3实施方式所涉及的异常检测装置主要部分 的框图。30 图21是表示本发明的第3实施方式所涉及的异常检测装置主要部分的框图。图22是表示本发明的第4实施方式所涉及的异常检测装置主要部分 的框图。图中20A、 20B、 20C、 20D 异常检测装置 21摄像数据获取部22A、22B、22C1、 22C2正常学习数据存储部23A、23B、23C正常判断部24A、22B、22CK 22C2异常学习数据存储部io 25A、25B、25C异常判断部26A、26D综合判断部具体实施方式
以下参照适当附图对本发明的实施方式进行说明。对相同的部分赋予15 相同的符号，并省略重复说明。本发明的异常检测装置所检测的异常包含从多个帧(图像)中检测到的 异常行动以及从单个帧中检测到的异常状态这两个概念。在以下的实施方 式中，以检测异常行动的情况为例进行说明，但其并不构成对本发明的技 术范围的任何限制。此外，本发明的监视对象中包含有人、动物以及车辆 20 等。<第1实施方式〉 《异常检测系统》图1是表示具有本发明的第1实施方式所涉及的异常检测装置的异常 检测系统的框图。如图1所示，该异常检测系统具有摄像装置10、异常行25动检测装置20A以及外部装置30。摄像装置10是对监视对象进行摄像的装置(例如摄像机等)。通过摄像 所得到的摄像数据被输出到异常检测装置20A中。此外，异常检测系统可 以使用图像再生装置(例如录像机等)来代替摄像装置10。在使用了图像再 生装置时，从图像再生装置向异常检测装置20A输出摄像数据。在使用实30时图像时优选使用摄像装置10;在使用过去所蓄积的图像时优选使用图像再生装置。异常检测装置20A是具有例如CPU、 RAM、 ROM及输入输出电路， 且使用摄像数据来检测监视对象异常的装置。在本实施方式中，异常检测 装置20A对监视对象的异常活动进行检测。在检测到异常行动时，其检测 5结果被输出到外部装置30中。外部装置30是用来输出异常检测装置20A的检测结果的装置(例如扬 声器和显示器等)。此外，外部装置30还可以构成为进一步具备将向保安 人员通知检测结果的保安人员用终端、根据检测结果对电梯的移动进行限 制的电梯控制装置以及根据检测结果限制自动门动作的自动门控制装置 io等。也就是说，通过异常检测装置20A将检测结果通报给电梯控制装置或 者自动门控制装置，就能够限制电梯或者自动门的动作从而防止作为监视 对象的人即可疑人员侵入。 《异常检测装置20A的详细结构》以下对异常检测装置20A的详细结构进行说明。如图1所示，异常检 15测装置20A具有摄像数据获取部21、正常学习数据存储部22A、正常判 断部23A、异常学习数据存储部24A、异常判断部25A、综合判断部26A 以及通报部27作为其功能部。摄像数据获取部21获取从摄像装置IO输出的摄像数据。所获取的摄 像数据被输出到正常判断部23A以及异常判断部25A。 20 正常学习数据存储部22A存储监视对象的正常行动的事先学习结果即正常学习数据。正常判断部23A根据从摄像数据获取部21输出的摄像数据以及从正 常学习数据存储部22A中读取的正常学习数据来判断摄像数据中所包含 的监视对象的行动是否为正常行动。在此，在监视对象的行动不是正常行 25动的情况下(非正常行动)，正常判断部23A将监视对象的行动判断为异常 行动。判断结果被输出到综合判断部26A中。异常学习数据存储部24A存储监视对象的异常行动的事先学习结果 即异常学习数据。异常判断部25A根据从摄像数据获取部21输出的摄像数据以及从异 30常学习数据存储部24A中读取的异常学习数据来判断摄像数据中所包含的监视对象的行动是否为异常行动。在此，在监视对象的行动不是异常行动的情况下(非异常行动)，异常判断部25A将监视对象的行动判断为正常 行动。判断结果被输出到综合判断部26A中。综合判断部26A根据正常判断部23A的判断结果以及异常判断部25A 5的判断结果，综合性地判断摄像数据中所包含的监视对象的行动是正常行 动还是异常行动。判断结果被输出到通报部27中。通报部27在根据综合判断部26A的判断结果而判断监视对象的行动 为异常行动的情况下，将通知该异常行动的通报数据输出到外部装置30。 《正常判断部23A的详细结构》 io 第1实施方式所涉及的正常判断部23A例如使用日本特开2006-79272号公报中所公开的判断方法来判断监视对象的行动是否为正常行动。此 时，正常学习数据存储部22A中所存储的正常学习数据为线性变换矩阵、 分布中心(重心)以及方差协方差矩阵的逆矩阵。关于这些在后文中进行说 明。15 图2是表示图1的正常判断部的详细框图。如图2所示，正常判断部23A具有运动提取部23a、特征量计算部23b、特征量变换部23c、正常度 计算部23d、正常度阈值存储部23e以及正常度判断部23f。运动提取部23a从由摄像数据获取部21获取的摄像数据中提取有运 动的部分。这是为了删除与判断无关的静止部分(例如背景等)的摄像数据20 而进行的。为了提取有运动的部分，运动提取部23a可以使用日本特开 2005-92346号公报中所公幵的画像处理方法，例如，单纯地提取2个帧之 间的差分的方法以及在实施了边缘提取处理后提取2个帧之间的差分的方 法等。运动提取部23a在提取有运动的部分后，为了除去由于照明变更等 而引起的杂波的影响，对于有运动的部分实施二值化处理，以取得像素值25为0或者1的值。提取了有运动的部分并实施二值化处理后的摄像数据被 输出到特征量计算部23b中。特征量计算部23b对有运动的部分的特征量进行计算。特征量计算部 23b能够使用日本特开2006-92346号公报中所公开的立体高次局部自相关 特征作为特征量。立体高次局部自相关特征是将由3个连续帧的图像组成30的三维像素数据(voxel data)的几何学特征作为251维的特征向量进行计算的方法。关于该特征量的计算方法将在后文中进行说明。计算出来的特征量即特征向量被输出到特征量变换部23c中。特征量变换部23c使用正常学习数据存储部22中所存储的变换矩阵 对由特征量计算部23b计算出的特征量、即特征向量进行坐标变换(线性变 5 换)。该变换用于提取在特征向量中包含的正常行动的分量。在此，将由特 征量计算部23b计算出的特征向量设定为x，将正常学习数据存储部22 中所存储的变换矩阵设定为A，将由特征量变换部23c变换后的特征向量 设定为x'时，该变换由公式(l)表示。x，-Ax …公式(1)io 变换矩阵A是通过主分量分析等的多变量解析而计算出的矩阵。关于 该变换矩阵A的计算方法将在后文中进行说明。将高次局部自相关特征即 251维的特征向量x作为摄像数据的特征量使用时，变换矩阵A是大小为 nX251(n=l， 2，， 251)的矩阵。此外，由变换矩阵A线性变换后的特 征向量x'成为n维的向量。变换后的特征量即特征向量x'被输出到正常度15 计算部23d中。正常度计算部23d使用通过特征量变换部23c进行了变换的特征向量 x，计算用于表示与事先学习到的正常行动的类似程度的正常度。在此，正 常度为标量，该值越小就表示正常度越高；该值越大就表示正常度越低， 即表示其为异常。关于正常度的具体计算方法将在后文中进行说明。计算20出的正常度被输出到正常度判断部23f中。正常度阈值存储部23e用来存储正常度阈值。正常度判断部23f根据通过正常度计算部23d计算出的正常度，判断 监视对象的行动是否为正常行动。正常度判断部23f将存储在正常度阈值 存储部23e中的正常度阈值作为判断标准使用。当正常度在正常度阈值以 25 下时，正常度判断部23f判断监视对象的行动为正常行动。另一方面，在 正常度超过了正常度阈值时，正常度判断部23f判断监视对象的行动不是 正常行动(非正常行动)即异常行动。判断结果被输出到综合判断部26中。 《异常判断部25A的详细结构》第1实施方式所涉及的异常判断部25A例如使用日本特开2006-79272 30号公报中所公开的判断方法来判断监视对象的行动是否为异常行动。此时，异常学习数据存储部24A中所存储的异常学习数据是线性变换矩阵、分布中心(重心)以及方差协方差矩阵(分散共分散行列)的逆矩阵。关于 这些将在后文中进行说明。图3是表示图1的异常判断部的详细框图。如图3所示，异常判断部 525A具有运动提取部25a、特征量计算部25b、特征量变换部25c、异常度 计算部25d、异常度阈值存储部25e以及异常度判断部25f。运动提取部25a从通过摄像数据获取部21而获得的摄像数据中提取 有运动的部分。这是为了删除背景等与判断无关的静止部分的摄像数据而 进行的。为了提取有运动的部分，运动提取部25a可以使用日本特开 io 2005-92346号公报中所公开的画像处理方法，例如，单纯地提取2个帧之 间的差分的方法以及在实施了边缘提取处理后提取2个帧之间的差分的方 法等。运动提取部25a在提取有运动的部分后，为了除去由于照明变更等 而引起的杂波的影响，对于有运动的部分行实施二值化处理，以取得像素 值为0或者1的值。提取了有运动的部分并实施二值化处理后的摄像数据 15 被输出到特征量计算部25b中。特征量计算部25b对有运动的部分的特征量进行计算。特征量计算部 25b能够使用日本特开2006-92346号公报中所公开的立体高次局部自相关 特征作为特征量。立体高次局部自相关特征是将由3个连续帧的图像组成 的三维像素数据的几何学特征作为251维的特征向量进行计算的方法。关 20于该特征量的计算方法将在后文中进行说明。计算出来的特征量即特征向 量被输出到特征量变换部25c中。特征量变换部25c使用正常学习数据存储部22中所存储的变换矩阵 对通过特征量计算部25b计算出的特征量即特征向量进行坐标变换(线性 变换)。该变换用于提取在特征向量中包含的异常行动的分量。在此，当将 25 通过特征量计算部25b计算出的特征向量设定为y，将异常学习数据存储 部24中所存储的变换矩阵设定为B，将通过特征量变换部25c进行了变 换的特征向量设定为y'时，该变换由公式(2)表示。 y，=By …公式(2)变换矩阵B是通过主分量分析等的多变量解析而计算出的矩阵。关于 30该变换矩阵B的计算方法将在后文中进行说明。将高次局部自相关特征即251维的特征向量y作为摄像数据的特征量进行使用时，变换矩阵B是大 小为nX251(n-l， 2，， 251)的矩阵。此外，由变换矩阵B进行了线性 变换的特征向量y'成为n维的向量。变换后的特征量即特征向量y，被输出 到异常度计算部25d中。 5 异常度计算部25d使用由特征量变换部25c变换后的特征向量y'计算用于表示与事先学习到的异常行动的类似程度的异常度。在此，异常度为 标量，该值越小就表示异常度越高；该值越大就表示异常度越低，即表示 其为正常。关于异常度的具体计算方法将在后文中进行说明。计算出的异 常度被输出到异常度判断部25f中。10 异常度阈值存储部25e用来存储异常度阈值。异常度判断部25f根据通过异常度计算部25d计算出的异常度，判断 监视对象的行动是否为异常行动。异常度判断部25f将存储在异常度阈值 存储部25e中的异常度阈值作为判断标准进行使用。当异常度在异常度阈 值以下时，异常度判断部25f判断监视对象的行动为异常行动。另一方面，15在异常度超过了异常度阈值时，异常度判断部25f判断监视对象的行动不 是异常行动(非异常行动)即正常行动。判断结果被输出到综合判断部26 中。《特征量的计算方法》以下对特征量计算部23b,25b进行特征量计算时的计算方法进行详细 20说明。并且，由于特征量计算部23b和特征量计算部25b的计算方法相同， 所以以下只对特征量计算部23b的计算方法进行说明。图4(a)是摄像数据 的说明图，图4(b)是特征量的计算对象的说明图。如图4(a)所示，特征量的计算对象是图像(动画图像)即在时序上连续 的帧(图像)组。为了计算本实施方式所涉及的立体高次局部自相关特征， 25需要至少3个帧。例如，在帧编号为m的帧Fm被给定的情况下，由位于 该帧前后位置的帧编号为m—l的帧Fm—,以及帧编号为m+l的帧Fm+1 以及Fm这3个帧组成1个帧组GF，且该帧组Gp作为特征量的计算对象。 在此，当帧的分辨率为纵向h像素且横向w像素时，帧组GF构成h XwX3的三维像素的3维帧。特征量计算部23b，针对3维帧的三维像素 30的全部要素，顺次移动并使用3X3X3的掩模图案MP，由此提取立体高次局部自相关特征。并且，在本实施方式中，以连续的3个帧F『!、 Fm 、 Fm+,组成的帧 组GF作为处理对象，但也可以将由任意的f个帧组成的帧组作为处理对象。此时，hXwXf的三维像素的3维帧成为处理对象，并计算出f个帧5的图像的平均特征量。图5是表示计算立体高次局部自相关特征时使用的掩模图案的例示 图。掩模图案MP用于计算三维像素的局部相关特征，在本实施方式中， 掩模图案MP由3 X 3 X 3三维像素构成。第1掩模图案MP1是用于在顺次扫描相对于输入图像的三维像素数 io据时，对中心的三维像素Bcl为1时的数进行计数的掩模图案。第2掩模模式MP2是用于对除中心的三维像素Bcl外当位于三维像 素Bcl之上的三维像素Bc2也成为1时的数进行计数的掩模图案。在与2值图像相对的立体高次局部自相关特征中存在有251个掩模图 案MP(MP1,MP2，…，MP251)，通过对满足各个掩模图案MP时的数进行计 15数，就能够将输入图像的特征作为251维的特征向量提取出来。也就是说，满足第i掩模图案MP时的数，成为特征向量的第i要素。 《正常学习数据生成装置40》接着，对用于生成正常学习数据存储部22A中所存储的正常学习数据 的正常学习数据生成装置进行说明。图6是表示用于生成正常学习数据的 20正常学习数据生成装置的框图。如图6所示，正常学习数据生成装置40 具有学习用摄像数据获取部41、运动提取部42、特征量计算部43、主分 量分析部44以及部分空间计算部45作为其功能部。学习用摄像数据获取部41获取对摄像装置或者图像再生装置所输出 的正常行动进行学习所需的学习用摄像数据。该学习用摄像数据中包含有 25 监视对象的正常行动。并且，当希望在短时间内获取大量的学习用摄像数 据时，学习用摄像数据获取部41只要从事先记录了大量学习用摄像数据 的记录介质(DVD等)中获取学习用摄像数据即可。所获取的学习用摄像数 据被输出到运动提取部42中。运动提取部42从学习用摄像数据中提取有运动的部分。运动提取部 30 42的动作与运动提取部23a相同。提取了有运动的部分并实施二值化处理后的学习用摄像数据被输出到特征量计算部43中。特征量计算部43对有运动的部分的特征量进行计算。特征量计算部 43的动作与特征量计算部23b相同。计算出的特征量即特征向量，被输出 到主分量分析部44中。5 主分量分析部44对计算出的特征向量的集合进行主分量分析。主分量分析是一种多变量解析方法，其以相互之间不相关的方式从若干个变量 生成合成变量(被称为主分量)，由此能够将多个变量所具有的信息进行汇 集。该主分量分析法广泛用于多变量数据的解析，由于例如在石村贞夫著 的「卞《b力、3多変量解析」東京図書(《简单易懂的多变量解析》io 1992年IO月由东京图书出版)中有详细的说明，所以在此不进行详细的 说明。在本实施方式中，通过主分量分析部44对251维的特征向量的集 合进行主分量分析，由此计算出251个主分量即固有向量以及固有值。所 计算出的251个主分量被输出到部分空间计算部45中。部分空间计算部45根据计算出的主分量而计算对正常行动的贡献率15 较低的部分空间。然后，部分空间计算部45计算将特征向量投影到该部 分空间的矩阵。所计算出的矩阵被存储在正常学习数据存储部22A中。此 夕卜，部分空间计算部45计算部分空间中的特征向量的集合的中心(重心) 以及部分空间中的特征向量的集合的方差协方差矩阵的逆矩阵。所计算出 的重心以及方差协方差矩阵的逆矩阵被存储在正常学习数据存储部22A20 中。《部分空间的计算处理》以下对由部分空间计算部45进行的部分空间的计算处理进行详细说 明。图7是在主分量分析中得到的各个主分量的累积贡献率的说明图。累 积贡献率通过从大到小依序对各主分量的贡献率进行叠加而得到，其是一25 种指标性数据，表示到此为止的主分量能够对分析对象的数据本来具有的信息量进行何种程度的说明。在图7的示例中，到第三大的主分量为止的累积贡献率为90%，其意 味着将最大的主分量到第三大的主分量加起来的合计，表示本来的数据的 信息量的90%。另一方面，从第四大的主分量到最小的主分量为止的合计 30只表示了本来的数据的信息量的10%。如上所述，可以认为由最大的主分量到第三大的主分量构成的部分空 间对正常行动的贡献率大。此外，还可以认为，由第四大的主分量到最小 的主分量构成的部分空间对正常行动的贡献率小。如此，以累积贡献率为 判断标准，能够计算出对正常行动的贡献率小的部分空间。此外，关于按 5 照哪个百分比的累积贡献率来进行划分这一事项，则已事先进行了存储。 《正常度的计算处理》
以下详细说明由正常度计算部23d所进行的正常度的计算处理。图8 是由正常度计算部所进行的正常度的计算处理的说明图。正常度的计算在 对正常度的贡献率较小的部分空间中实行。这是因为在该部分空间中，正
io常行动的特征量的分散较小，而非正常行动即异常行动的特征量的分散较 大的缘故。在本实施方式中，使用由主分量的大小在第k+l大的主分量以 下的主分量构成的部分空间对正常度进行计算。
该部分空间是251—k维的部分空间，但为了便于说明，在图8中选 择第k+l大的主分量以及第k+2大的主分量这2个轴来进行表示。
15 特征量的集合Cl是根据用于学习的正常行动的特征量画出的部分空
间。在对正常行动的贡献率较小的部分空间中，特征量分布在以集合Cl 的重心xc为中心的附近区域。因此，当与正在进行评价的摄像数据有关 的特征向量x，位于重心xc附近时，判断监视对象的行动为正常行动；当 特征向量x，远离重心xc时，将监视对象的行动判断为不是正常行动(非正
20 常行动)即异常行动。
在此，将与正在进行评价的摄像数据有关的特征向量x'和重心xc之
间的距离定义为正常度。该正常度可以作为计算成本较小的欧几里得距离
来进行计算，但在本实施方式中，考虑到集合C1的分散情况，而作为马 25 氏(Mahalanobis)距离来进行计算。
在此，将特征量的集合C1的方差协方差矩阵的逆矩阵设定为Sx"时， 马氏距离D1由下述公式(3)表示。
<formula>formula see original document page 16</formula> …公式(3)
当如此算出的马氏距离D1在正常阈值T1以下时，正常度判断部23f 30判断监视对象的行动为正常行动。另一方面，当马氏距离D1大于正常度阈值T1时，正常度判断部23f将监视对象的行动判断为不是正常行动(非 正常行动)即异常行动。在此，图8中所示的正常度阈值Tl是从集合Cl 的各个特征量与重心xc之间的马氏距离中选出的最大值。 《异常学习数据生成装置50》 5 以下对用于生成异常学习数据存储部24A中所存储的异常学习数据
的异常学习数据生成装置进行说明。图9是表示用于生成异常学习数据的 异常学习数据生成装置的框图。如图9所示，异常学习数据生成装置50 具有学习用摄像数据获取部51、运动提取部52、特征量计算部53、主分 量分析部54以及部分空间计算部55作为其功能部。
io 学习用摄像数据获取部51获取对摄像装置或者图像再生装置所输出
的异常行动进行学习所需的学习用摄像数据。该学习用摄像数据中包含有 监视对象的异常行动。并且，当希望在短时间内获取大量的学习用摄像数 据时，学习用摄像数据获取部51只要从事先记录了大量学习用摄像数据 的记录介质(DVD等)中获取学习用摄像数据即可。所获取的学习用摄像数
15据被输出到运动提取部52中。
运动提取部52从学习用摄像数据中提取有运动的部分。运动提取部 52的动作与运动提取部25a相同。提取了有运动的部分并实施二值化处理 后的学习用摄像数据被输出到特征量计算部53中。
特征量计算部53对有运动的部分的特征量进行计算。特征量计算部
2053的动作与特征量计算部25b相同。计算出的特征量即特征向量，被输出 到主分量分析部54中。
主分量分析部54对计算出的特征向量的集合进行主分量分析。主分 量分析是一种多变量解析方法，其以相互之间不相关的方式从若干个变量 生成合成变量(被称为主分量)，由此能够将多个变量所具有的信息进行汇
25集。该主分量分析法广泛用于多变量数据的解析，由于例如在石村贞夫著 的「t《^力^3多変量解析」東京図書(《简单易懂的多变量解析》 1992年10月由东京图书出版)中有详细的说明，所以在此不迸行详细的 说明。在本实施方式中，通过主分量分析部54对251维的特征向量的集 合进行主分量分析，由此计算出251个主分量即固有向量以及固有值。所
30计算出的251个主分量被输出到部分空间计算部55中。部分空间计算部55根据计算出的主分量来计算对异常行动的贡献率 较高的部分空间。然后，部分空间计算部55计算将特征向量投影到该部 分空间的矩阵。所计算出的矩阵被存储在异常学习数据存储部24A中。此 夕卜，部分空间计算部55计算部分空间中的特征向量的集合的中心(重心) 5以及部分空间中的特征向量的集合的方差协方差矩阵的逆矩阵。所计算出 的重心以及方差协方差矩阵的逆矩阵被存储在异常学习数据存储部24A 中。
《部分空间的计算处理》
接下来，部分空间计算部55能够以图7所示的累积贡献率为判断标 io准而计算出对异常行动的贡献率较大的部分空间。此外，关于按照哪个百 分比的累积贡献率来进行划分这一事项，则已事先进行了存储。 《异常度的计算处理》
以下详细说明由异常度计算部25d所进行的异常度的计算处理。图10
是由异常度计算部所进行的异常度的计算处理的说明图。异常度的计算在 15对异常度的贡献率较大的部分空间中实行。这是因为在该部分空间中，异
常行动的特征量的分散较小，而非异常行动即正常行动的特征量的分散较
大的缘故。在本实施方式中，使用由主分量的大小在第k大的主分量以上
的主分量构成的部分空间对异常度进行计算。
该部分空间是k维的部分空间，但为了便于说明，在图10中选择第 20 —大的主分量(第1主分量)以及第二大的主分量(第2主分量)这2个
轴来进行表示。
特征量的集合C2是根据用于学习的异常行动的特征量画出的部分空 间。在对异常行动的贡献率较小的部分空间中，特征量分布在以集合C2 的重心yc为中心的附近区域。因此，当与正在进行评价的摄像数据有关 25 的特征向量y，位于重心yc附近时，判断监视对象的行动为异常行动；当 特征向量y，远离重心yc时，将监视对象的行动判断为不是异常行动(非异 常行动)即正常行动。
在此，将与正在进行评价的摄像数据有关的特征向量y'和重心yc之 间的距离定义为异常度。该异常度可以作为计算成本较小的欧几里得距离 30 来进行计算，但在本实施方式中，考虑到集合C2的分散而作为马氏距离D2来进行计算。
在此，将特征量的集合C2的方差协方差矩阵的逆矩阵设定为S/1时， 马氏距离D2由下述公式(4)表示。
D22=(y，一yc)tSy"(y，一yc)…公式(4) 5 当如此算出的马氏距离D2在异常阈值T2以下时，异常度判断部25f
判断监视对象的行动为异常行动。另一方面，当马氏距离D2大于异常度 阈值T2时，异常度判断部25f将监视对象的行动判断为不是异常行动(非 异常行动)即正常行动。在此，图10中所示的异常度阈值T2是从集合C2 的各个特征量与重心yc之间的马氏距离中选出的最大值。 io 《综合判断部26A的详细结构》
以下对综合判断部26A的详细结构进行说明。图11是表示图1的综 合判断部的详细框图。如图II所示，综合判断部26A具有综合判断表存 储部26a以及正常/异常判断部26b。
综合判断表存储部26a用于存储正常判断部23A的判断结果以及异常 15判断部25A的判断结果和综合判断结果建立关联后的综合判断表。
正常/异常判断部26b参照在综合判断表存储部26a中存储的综合判 断表，根据正常判断部23A的判断结果以及异常判断部25A的判断结果， 来判断监视对象的行动是正常行动还是异常行动。该判断结果被输出到通 报部27中。 20 《综合判断表的示例》
以下对综合判断表的示例进行说明。图12(a)和(b)是综合判断表的示 例说明图。
在图12(a)所示的综合判断表26al中，在正常判断部23A的判断结果 以及异常判断部25A的判断结果都为正常时，将综合判断结果判断为正 25常，在正常判断部23A的判断结果以及异常判断部25A的判断结果中的 至少一个判断结果为异常时，将综合判断结果判断为异常。
在图12(b)所示的综合判断表26a2中，在正常判断部23A的判断结果 以及异常判断部25A的判断结果中至少一个判断结果为正常时，将综合判 断结果判断为正常，在正常判断部23A的判断结果以及异常判断部25A 30的判断结果都为异常时，将综合判断结果判断为异常。综合判断表26al的重点放在减少漏报上，而综合判断表26a2的重点 放在减少误报上。 《异常检测装置20A的动作例》
以下对本发明的第1实施方式所涉及的异常检测装置20A的动作例进 5行说明。图13是对图1的异常检测装置的动作例进行说明的流程图。以 下适当参照图1至图12对动作例进行说明。
首先，由图像获取部21将成为处理对象的摄像数据作为数字数据而 获取(步骤S1)。接下来，由正常判断部23A根据正常学习数据判断摄像数 据中所包含的监视对象的行动是否正常(步骤S2)。此外，异常判断部25A io根据异常学习数据判断摄像数据中所包含的监视对象的行动是否异常(步 骤S3)。此外，附带说一下，步骤S2和步骤S3可以颠倒顺序进行，也可 以并列进行。
接下来，由综合判断部26A根据正常判断部23A的判断结果以及异 常判断部25A的判断结果，对摄像数据中所包含的监视对象的行动是正常
15还是异常进行综合性判断(步骤S4)。综合判断的结果是正常时(在步骤S5 中为No时)，通报部27将存在行动异常的监视对象这一情况向外部装置 30进行通报(步骤S6)。上述一连串的处理以规定的频度反复进行，直到异 常检测装置20A的用户输入结束指令为止(步骤S7)。在此，规定的频度是 指例如与摄像数据的帧频相同(l秒钟30次)的频度等。
20《正常判断部23A的动作例》
以下对步骤S2的子步骤即正常判断部23A的动作例进行说明。图14 是对正常判断部的动作例进行说明的流程图。
首先，运动提取部23a从通过摄像数据获取部21而获取的摄像数据 中提取有运动的部分并进行二值化处理(步骤S21)。接下来，在特征量计
25算部23b中对提取了有运动的部分并进行二值化处理后的摄像数据的特征 量进行计算(步骤S22)。之后，由特征量变换部23c使用正常学习数据存 储部22A的变换矩阵对所计算出的特征量即特征量向量进行坐标变换，以 生成进行了特征向量变换的新的特征向量(步骤S23)。此后，由正常度计 算部23d计算用于表示进行了坐标变换的特征向量与正常行动之间的相似
30程度的正常度(步骤S24)。然后，由正常度判断部23f根据正常度阈值以及正常度来判断监视对象的行动是否为正常行动(步骤S25)。 《异常判断部25A的动作例》
以下对步骤S3的子步骤即异常判断部25A的动作例进行说明。图15 是对异常判断部的动作例进行说明的流程图。 5 首先，由运动提取部25a从通过摄像数据获取部21而获取的摄像数
据中提取有运动的部分并进行二值化处理(步骤S31)。接下来，在特征量 计算部25b中对提取了有运动的部分并进行二值化处理后的摄像数据的特 征量进行计算(步骤S32)。之后，由特征量变换部25c使用异常学习数据 存储部24A的变换矩阵对所计算出的特征量即特征量向量进行坐标变换， io以生成进行了特征向量变换的新的特征向量(步骤S33)。此后，由异常度 计算部25d计算用于表示进行了坐标变换的特征向量与异常行动之间的相 似程度的异常度(步骤S34)。然后，由异常度判断部25f根据异常度阈值以 及异常度来判断监视对象的行动是否为异常行动(步骤S35)。 《特征量计算部23a，25a的动作例》 15 以下对步骤S22,S32的子步骤即特征量计算部23a,25a的动作例进行
说明。由于特征量计算部23a和特征量计算部25a的动作例是相同的，所 以，在此以特征量计算部23a为例来进行说明。图16是对特征量计算部
的动作例进行说明的流程图。
首先，特征量计算部23a对特征向量vn(n-l，， 251)进行初始化(步 20 骤S101)。接下来，由特征量计算部23a判断与第i个掩模图案MP相对的 三维像素是否全部为l(步骤SI02)。当与第i个掩模图案MP相对的三维 像素全部为1时(在步骤S102中为Yes时)，由特征量计算部23a在与第i 个掩模图案MP相对的特征向量的要素中加上l(步骤S103)。步骤S102和 S103的处理对所有的掩模图案i进行(循环处理1)，并且对处理对象的帧 25组的所有三维像素进行(循环处理2)。
通过上述一连串的处理，特征量计算部23a能够计算出基于立体高次 局部自相关的251维的特征向量vn。 《正常学习数据生成装置40的动作例》
以下对正常学习数据生成装置40的动作例进行说明。图17是对正常 30 学习数据生成装置的动作例进行说明的流程图。首先，通过运动提取部42从由学习用摄像数据获取部41获取的学习 用摄像数据中提取有运动的部分并进行二值化处理(步骤Slll)。接下来， 由特征量计算部43对有运动的部分的特征量进行计算(步骤S112)。对学 习正常行动用的所有学习用摄像数据进行步骤S111和S112的处理(循环处 5理3)。之后，由主分量分析部44对与学习用摄像数据有关的所有特征量 进行主分量分析(步骤S113)。然后，由部分空间计算部45根据主分量分 析的结果计算对正常行动的贡献率较低的部分空间，并计算将特征向量投 影到该部分空间的矩阵(步骤S114)。 《异常学习数据生成装置50的动作例》 io 以下对异常学习数据生成装置50的动作例进行说明。图18是对异常
学习数据生成装置的动作例进行说明的流程图。
首先，通过运动提取部52从由学习用摄像数据获取部51获取的摄像 数据中提取有运动的部分并进行二值化处理(步骤S121)。接下来，由特征 量计算部53对有运动的部分的特征量进行计算(步骤S122)。对学习异常 15 行动用的所有学习用摄像数据进行步骤S121和S122的处理(循环处理4)。 之后，由主分量分析部54对与学习用摄像数据有关的所有特征量进行主 分量分析(步骤S123)。然后，由部分空间计算部55根据主分量分析的结 果计算对异常行动的贡献率较高的部分空间，并计算将特征向量投影到该
部分空间的矩阵(步骤S124)。 20 由于第1实施方式所涉及的异常检测装置20A不仅使用根据异常学习
数据作出的判断结果，而且还使用根据异常学习数据作出的判断结果进行
综合性的判断，所以不仅能够减少将正常的监视对象误检测为异常的监视
对象的误报，而且还能够减少将异常的监视对象误检测为正常的监视对象
的漏报。 25 <第2实施方式>
以下针对第2实施方式所涉及的异常检测装置，以与第1实施方式所
涉及的异常检测装置20A相异点为重点进行说明。图19是表示本发明的
第2实施方式所涉及的异常检测装置的框图。
如图19所示，第2实施方式所涉及的异常检测装置20B具有正常学 30习数据存储部22B、正常判断部23B、异常学习数据存储部24B以及异常判断部25B，来代替正常学习数据存储部22A、正常判断部23A、异常学 习数据存储部24A以及异常判断部25A。
正常学习数据存储部22B具有多个正常学习数据存储单元22-1和
22- 2。多个正常学习数据存储单元22-1和22-2中分别存储种类不同的正 5常学习数据。
正常判断部23B具有多个正常判断单元23-1和23-2。多个正常判断 单元23-1和23-2分别具有与正常判断部23A相等的功能。正常判断单元
23- 1根据正常学习数据存储单元22-1中所存储的正常学习数据来进行判 断，正常判断单元23-2根据正常学习数据存储单元22-2中所存储的正常
io学习数据来进行判断。
异常学习数据存储部24B具有多个异常学习数据存储单元24-1和
24- 2。多个异常学习数据存储单元24-1和24-2分别存储种类不同的异常 学习数据。
异常判断部25B具有多个异常判断单元25-1和25-2。多个异常判断 15单元25-1和25-2分别具有与异常判断部25A相等的功能。异常判断单元
25- 1根据异常学习数据存储单元24-1中所存储的异常学习数据来进行判 断，而异常判断单元25-2根据异常学习数据存储单元24-2中所存储的异 常学习数据来进行判断。
第2实施方式所涉及的综合判断部26A的正常/异常判断部26b(参照 20 图11)，在多个正常判断单元23-l和23-2的判断结果中的至少一个判断结 果为正常时，将正常判断部23B的判断结果判断为正常，而在多个正常判 断单元23-1和23-2的判断结果全部为异常时，将正常判断部23B的判断 结果判断为异常。如此，由于多个正常判断单元23-1和23-2将正常行动 以外的行动间接地检测为异常行动，所以，当多个正常判断单元23-1和 25 23-2的判断结果全部是异常时，综合判断部26A的正常/异常判断判断部 26b将正常判断部23B的判断结果判断为异常比较妥当。
此外，正常/异常判断部26b，在多个异常判断单元25-1和25-2的 判断结果中的至少一个判断结果为异常时，将异常判断部25B的判断结果 判断为异常，而在多个异常判断单元25-1和25-2的判断结果全部为正常 30时，将异常判断部25B的判断结果判断为正常。如此，由于多个异常判断单元25-1和25-2直接检测异常行动，所以，当多个异常判断单元25-l和 25-2的判断结果中的至少一个判断结果是异常时，综合判断部26A的正常 /异常判断部26b将异常判断部25B的判断结果判断为异常比较妥当。 由于第2实施方式所涉及的异常检测装置20B具有将按照正常行动以 5及异常行动的种类分类(clustering)而独立学习的结果进行存储的存储单 元，所以能够有效地按照不同的种类构成部分空间，因此能够提高判断精 度。<第3实施方式〉以下针对第3实施方式所涉及的异常检测装置，以与第1实施方式所 io涉及的异常检测装置20A相异点为重点进行说明。图20以及图21是表示 本发明的第3实施方式所涉及的异常检测装置主要部分的框图。如图20以及图21所示，第3实施方式所涉及的异常检测装置20C具 有多个正常学习数据存储部22C1和22C2、正常判断部23C、多个异常学 习数据存储部24C1和24C2以及异常判断部25C，来代替正常学习数据存 15储部22A、正常判断部23A、异常学习数据存储部24A以及异常判断部 25A。此外，异常检测装置20C还具有告知时刻的时钟部28。多个正常学习数据存储部22C1和22C2分别存储不同的正常学习数据。正常判断部23C还具有正常学习数据选择部23g。正常学习数据选择 20部23g根据从时钟部28中读取的时刻，从多个正常学习数据存储部22C1 和22C2中选择在特征量计算部23b以及特征量变换部23c中使用的正常 学习数据。多个异常学习数据存储部24C1和24C2分别存储不同的异常学习数据。25 异常判断部25C还具有异常学习数据选择部25g。异常学习数据选择部25g根据从时钟部28中读取的时间，从多个异常学习数据存储部24C1 和24C2中选择在特征量计算部25b以及特征量变换部25c中使用的异常 学习数据。由于第3实施方式所涉及的异常检测装置20C根据时刻来切换判断用 30的学习数据，所以，例如在办公大楼等监视对象的使用形态在很大程度上与时间有关的场合，也能够得到良好的综合判断结果。 <第4实施方式〉以下针对第4实施方式所涉及的异常检测装置，以与第1实施方式所涉及的异常检测装置20A相异点为重点进行说明。图22是表示本发明的 5第4实施方式所涉及的异常检测装置的主要部分的框图。如图22所示，第4实施方式所涉及的异常检测装置20D具有综合判 断部26D,来代替综合判断部26A。此外，异常检测装置20D还具有为了 告知时刻的时钟部28。综合判断部26D具有综合判断表选择部26c。此外，本实施方式所涉 io及的综合判断表存储部26a中存储了多个综合判断表26al和26a2。综合 判断表选择部26c根据从时钟部28中读取的时刻，从多个综合判断表26al 和26a2中选择在正常/异常判断部26b中所使用的综合判断表。由于第4实施方式所涉及的异常检测装置20D根据时刻来切换综合判 断表，所以，例如在办公大楼等监视对象的使用形态在很大程度上与时间 15有关的场合，也能够得到良好的综合判断结果。以上对本发明的实施方式进行了说明，但本发明并不仅限于上述实施 方式，而能够在不脱离本发明宗旨的范围内适当地进行设计变更。例如， 能够对各个实施方式所涉及的异常检测装置20A，20B,20C，20D进行适宜的组合。此外，也能够将正常学习数据生成装置40以及异常学习数据生成 20 装置50与异常检测装置20A组合成一体。而且，各个选择部23g，"g，26c 可以被设置成不根据时刻进行选择，而根据例如由用、户输入的选择指令进 行选择。此外，本发明还能够具体实现使电子计算机作为所述异常检测装 置发挥功能的异常检测程序。
权利要求
1.一种异常检测装置，具有摄像数据获取部，其获取监视对象的摄像数据；正常学习数据存储部，其存储对正常的所述监视对象事先进行学习而获得的正常学习数据；正常判断部，其根据所述摄像数据以及所述正常学习数据，判断所述摄像数据中所包含的监视对象是否正常；异常学习数据存储部，其存储对异常的所述监视对象事先进行学习而获得的异常学习数据；异常判断部，其根据所述摄像数据以及所述异常学习数据，判断所述摄像数据中所包含的监视对象是否异常；和综合判断部，其根据所述正常判断部的判断结果及所述异常判断部的判断结果，判断所述摄像数据中所包含的监视对象是正常还是异常。
2 .如权利要求1所述的异常检测装置，其特征在于，在所述正常判断部的判断结果为正常并且所述异常判断部的判断结果为非异常时，所述 综合判断部判断所述摄像数据中所包含的监视对象为正常；在所述正常判 断部的判断结果为非正常或者所述异常判断部的判断结果为异常时，所述 综合判断部判断所述摄像数据中所包含的监视对象为异常。 20
3.如权利要求1所述的异常检测装置，其特征在于，在所述正常判断部的判断结果为正常或者所述异常判断部的判断结果为非异常时，所述 综合判断部判断所述摄像数据中所包含的监视对象为正常；在所述正常判 断部的判断结果为非正常并且所述异常判断部的判断结果为异常时，所述 综合判断部判断所述摄像数据中所包含的监视对象为异常。 25
4.如权利要求l所述的异常检测装置，其特征在于，所述正常学习数据存储部具有将正常学习数据按照种类进行存储的 多个正常学习数据存储单元，所述正常判断部具有与所述多个正常学习数据存储单元相对应，并且 根据该正常学习数据存储单元中所存储的正常学习数据的种类，来判断所 30 述摄像数据中所包含的监视对象的行动是正常还是异常的多个正常判断单元，所述综合判断部在所述多个正常判断单元的判断结果全部为非正常 时，判断所述正常判断部的判断结果为非正常。
5. 如权利要求1所述的异常检测装置，其特征在于， 5 所述异常学习数据存储部具有将异常学习数据按照种类进行存储的 多个异常学习数据存储单元，所述异常判断部具有与所述多个异常学习数据存储单元相对应，并且 根据该异常学习数据存储单元中所存储的异常学习数据的种类，来判断所 述摄像数据中所包含的监视对象是异常还是正常的多个异常判断单元， 10 所述综合判断部在所述多个异常判断单元的判断结果中的至少1个为异常时，判断所述异常判断部的判断结果为异常。
6.如权利要求l所述的异常检测装置，其特征在于， 具有多个所述正常学习数据存储部，所述正常判断部从多个所述正常学习数据存储部中选择1个用于判 15 断。
7. 如权利要求6所述的异常检测装置，其特征在于，所述正常判断部基于时刻从多个所述正常学习数据存储部中选择1个。
8. 如权利要求1所述的异常检测装置，其特征在于，具有多个所述异常学习数据存储部， 20 所述异常判断部从多个所述异常学习数据存储部中选择1个用于判断。
9. 如权利要求8所述的异常检测装置，其特征在于，所述异常判断部基于时刻从多个所述异常学习数据存储部中选择1个。
10. 如权利要求1所述的异常检测装置，其特征在于， 25 所述综合判断部具有综合判断表存储部，其存储将所述第1判断部的判断结果以及所述第 2判断部的判断结果与该综合判断部的判断结果建立关联后的综合判断 表；和正常/异常判断部，其根据所述第1判断部的判断结果、所述第2判 30 断部的判断结果及所述综合判断表，来判断所述摄像数据中所包含的监视对象是正常还是异常。
11. 如权利要求10所述的异常检测装置，其特征在于， 所述综合判断表存储部具有多个所述综合判断表，还具有综合判断表选择部，其从所述多个综合判断表中选择1个， 所述正常/异常判断部使用由所述综合判断表选择部选择的综合判断表进行判断。
12. 如权利要求11所述的异常检测装置，其特征在于，所述综合判 断表选择部基于时刻从所述多个综合判断表中选择1个。
13. —种异常检测程序，使计算机作为如下各部发挥功能 摄像数据获取部，其获取监视对象的摄像数据；正常判断部，其根据事先存储的对正常的所述监视对象事先进行学习 而获得的正常学习数据以及所述摄像数据，来判断所述摄像数据中所包含的监视对象是否正常；异常判断部，其根据事先存储的对异常的所述监视对象事先进行学习而获得的异常学习数据以及所述摄像数据，来判断所述摄像数据中所包含的监视对象是否异常；以及综合判断部，其根据所述正常判断部的判断结果以及所述异常判断部 的判断结果，来判断所述摄像数据中所包含的监视对象是正常还是异常。
全文摘要
提供一种异常检测装置，其能够通过学习来减少将异常的监视对象误检测为正常的监视对象的漏报。异常检测装置(20A)具有获取监视对象的摄像数据的摄像数据获取部(21)；正常学习数据存储部(22A)，其存储对正常的监视对象事先进行学习而获得的正常学习数据；正常判断部(23A)，其根据摄像数据以及正常学习数据，判断监视对象是否正常；异常学习数据存储部(24A)，其存储对异常的监视对象事先进行学习而获得的异常学习数据；异常判断部(25A)，其根据摄像数据以及异常学习数据，判断监视对象是否异常；和综合判断部(26A)，其根据正常判断部(23A)的判断结果以及异常判断部(25A)的判断结果，判断监视对象是正常还是异常。
文档编号G06K9/64GK101271529SQ200810008509
公开日2008年9月24日 申请日期2008年1月23日 优先权日2007年3月23日
发明者三好雅则, 伊藤诚也, 大贯朗, 山口伸一朗, 正岛博 申请人:株式会社日立制作所;株式会社日立建筑系统