图像识别装置的制作方法

专利名称：图像识别装置的制作方法
技术领域：
本发明涉及一种根据摄像机等的拍摄探测搭乘自动扶梯或自动人行 道等的乘客用运送系统的乘客和乘客的异常动作的图像识别技术，特别 是，涉及一种应用于根据使用该图像识别的唤起注意与自动扶梯控制来确 保乘客的安全并提供安全感的图像监视系统的技术。
背景技术：
在从影像中探测对象物体的图像处理中，以往使用了以背景差分为基 准的方法。这是一种记住未写入探测对象的背景图像并进行输入图像与背 景图像的差分，抽出有变化的像素来检测对象物体的方法。由于该方法以 固定的背景为前提条件而工作，因此存在也检测了天气的变动、照明的变 动、存在于背景中的各种树木或树叶的摆动等的问题。
因此，为了在不探测这样的背景的变动的情况下探测对象，例如，如 作为现有技术记载在非专利文献1中所示，具有在时间方向上观测图像中 的各像素的亮度值并制作亮度值的柱状图的技术。由于各种树木或树叶的 摆动进行周期的反复运动，因此在时间方向上观测某一像素位置的亮度、 生成亮度值的柱状图时，观测以某一亮度为中心的分布。这既有单一的情 况，也存在多个分布的情况。以混合正态分布模型化这些分布，输入影像 的亮度值为从这些正态分布(构成混合正态分布的各正态分布)脱离的值 时，当作存在与背景不同的物体，进行对象物体的检测。
非专禾U文献1: Stauffer, C. and Grimson, W.E丄.，"Adaptive background mixture models for real-time tracking," Vol.2, Computer Vision and Pattern Recognition, 1999 (CVPR1999).正EE Computer Society.
在所述现有技术中，输入接近于以正态分布近^^了的背景模型的亮度 值时，存在即使其为对象物体也会作为背景来进行判定的问题。这是因为 只考虑到作为差分处理的基础的像素的亮度值和时间的变动。另外，如自动态变化背景的场景的像素的亮度值随 时间大幅变化，且从所述亮度值的柱状图不能正确求出正态分布，存在不 能以很好的精度检测对象物体(包括搭乘在乘客用运送系统的乘客)的问 题。

发明内容
因此，本发明的目的在于提高搭乘在自动扶梯或自动人行道等乘客用 运送系统的乘客的探测和探测乘客的异常动作的图像识别的精度。
为了该目的，本发明的特征在于，在进行从拍摄装置获得的运动图像 的图像识别、该拍摄装置拍摄承载乘客并进行运送的运送系统的图像识别 装置中，具有存储部，从所述运送系统中无乘客的状态下拍摄到的由所 述拍摄装置获得的运动图像进行计算，使用由空间方向和时间方向上对该 像素的亮度值进行微分得到的时空间亮度梯度所表现的时空间特征矢量， 存储用1以上的正态分布近似所述时空间特征矢量的发生概率而构成的背 景模型；和控制部，从某一时刻拍摄到的所述拍摄装置获得的运动图像进
行计算，计算由空间方向和时间方向上对该像素的亮度值进行微分得到的 时空间亮度梯度所表现的时空间特征矢量是否属于构成所述背景模型的 所述正态分布，若不属于所述正态分布，则判定在该运动图像中所拍摄到 的所述运送系统中存在前景。
这样，本发明在乘客用运送系统的监视区域中，在整体区域或在每一 分割为区域块的局部区域块中，计算从输入运动图像(输入图像)获得的 亮度值的空间方向与时间方向的微分值(亮度梯度)，并计算称作格拉姆
(Gram)矩阵的时空间信息。计算该时空间信息的帧数最低是1帧，根据 检测的人物的动作特征而增加。从该时空间信息用后述的方法做出的时空 间特征矢量的维数最低是6，能够将此连接在时间方向上并作为6的整数 倍的时空间特征矢量。这样，用正态分布近似时间、空间上扩张的时空间 特征矢量的分布，将此作为背景模型，若从某一输入运动图像计算出的时 空间特征矢量远离该背景模型时、即不属于正态分布时，判定具有背景中 不存在的前景，进行对象物体的检测或检测该探测区域的异常动作。
本发明移动式变动的背景根据所述格拉姆(Gram)矩阵能够同时表现和学习动态变动的背景的拍摄到背景的场景的结构、颜色、亮度的模式和 运动。由此，即使输入了在非专利文献l中记载的方法中成为问题的、与 背景相似的亮度值，也能根据结构等信息分离背景与前景。而且，即使在 非专利文献l中记载的方法中成为问题的、背景在动态变动的场景的对象 物体的检测中，由于模型化该背景的运动本身，因此也能够探测人物或物 体。
另外，将在后面详细叙述解决方法。 (发明效果)
根据本发明，能够提高搭乘在自动扶梯或自动人行道等乘客用运送系 统中的乘客的探测和探测乘客的异常动作的图像识别的精度。


图1是使用附带摄像机的可动式保护板的自动扶梯图像监视系统的整 体结构图。
图2是图像识别装置的功能框图。
图3是探测乘客的危险搭乘时的处理区域设定的图。
图4是进行异常动作探测和动作种类识别的处理的流程图。
图5是求出混合正态分布的处理的流程图。
图6是检测自动扶梯的台阶上的人物的处理的示意图。
图7是使用混合正态分布来进行前景与背景之间的分离的处理的说明图。
图8是表示探测乘客向扶手探出身体的例子的图。 图9是使用检测框的人物区域探测例子的图。
图10是表示进行异常动作探测和动作种类判定时的区域设定的变化 的图。
图11是进行基于BOM (Bag of Motions)的异常动作探测和动作种类 识别的处理的流程图。
图中101—自动扶梯的台阶；102—自动扶梯的扶手；103 —摄像机；
104 —扬声器；105— (可动式保护板的)支架(jig) ; 106 —可动式保护
板；107—图像识别装置；108 —影像录制装置；109 —乘客；110 —顶棚；
6201 —图像输入部；202 —图像存储器；203 —无人状态判定部；204—异常动作探测部；205 —参数输入设备；206—图像发送控制部；207 —碰撞探测部；208 —报警信号发送部；209—图像发送部；301 —台阶；302 —扶手;
303 —外侧板；304 —乘客；305 —图像处理区域；601 —学习用背景运动图像；602 —输入运动图像；603 —每一局部区域块的结构与动作；604_时空间信息的混合正态分布模型；605 —背景差分图像；701—背景学习时；702—输入影像评价；703 —图像处理区域；704—局部区域块；705 —局部
区域块；706 —柱状图；707 —无变动区域块；708 —有变动区域块；709 —
混合正态分布；901—检测框；902—输入图像；IOOI —图像整体区域；1002一前景区域块；1003 —检测框；1004—前景区域块；1005 —前景区域块；1006 —部分区域；1007—部分区域。
具体实施例方式
以下，说明本发明的实施方式。进行说明时，参照适当附图。将基于本发明的图像识别装置的人物与异常动作探测方法的实施方
法作为图1所示的向自动扶梯的探出身体探测系统的应用例子来进行说明。
(构成)
图1是使用附带摄像机可动式保护板的自动扶梯图像监视系统的整体
结构图。在图1中，101是自动扶梯的台阶，102是自动扶梯的的扶手。103是影像监视用摄像机(拍摄装置)，监视台阶101上的乘客的搭乘状态。104是唤起注意播放用扬声器，乘客作出异常搭乘或危险搭乘时进行唤起注意，使乘客认识到危险。105是可动式保护板的支架，106是乘客碰撞防止用的可动式保护板，构成为乘客碰撞时摇晃的结构。
107是图像识别装置，处理由摄像机103拍摄到的图像(有时也称作运动图像或影像)，探测异常搭乘或危险搭乘等异常动作。108是影像录制装置，平时进行录制，将由图像识别装置107探测到的异常动作作为触发信号，只录制异常动作前后的影像。向自动扶梯控制装置(未图示)发送从图像识别装置107输出的触发信号，发生异常动作时能够停止或缓慢停止自动扶梯。另外，从图像识别装置107输出的触发信号用于经由有线
7或无线因特网作为报警信号发送给监视室，从而提高在其中的监视员的监
视效率。另外，在影像录制装置108存储的影像数据中保存这样的触发信 号、报警信号，在影像数据中作为元数据由其它文件附加这些信号，用于 为了检证事故而在脱机状态下事后检索影像的场合。110是某一层的顶棚 (或上层的底板)。
在图1中，自动扶梯的乘客109身体探出扶手102时，图像识别装置 107探测发生了异常动作，影像录制装置108录制其前后的影像。
下面利用图2说明图像识别装置107的内部功能。图2是图像识别装 置的功能模块图。所谓计算机的图像识别装置107作为其硬件结构，具有: 有输入端口的输入部；有输出端口的输出部；作为CPU (Central Processing Unit)等而实现的控制部；由作为外部存储装置的HDD (Hard Disk Drive) 等实现的存储部；由有展开读写的数据的存储区域的RAM (Random Access Menory)等实现的存储器。由这些装置执行有关本发明处理时，在 存储器中加载保存在各装置的存储部中的程序，通过由CPU (控制部)执 行，实现具体化在构成因特网的各装置上的各处理部。另外，各程序也可 以预先保存在存储部中，也可以在必要时通过其它存储介质或通信介质 (因特网或在因特网中传播的载波)导入。
首先，图像输入部201获得从安装在图1的可动式保护板106上的摄 像机103输入的图像的图像数据。在图像存储器202中只保存输入的图像 数据的固定帧数，探测到异常动作时，向图像发送控制部206发送。
之后，输入的图像数据在无人状态判定部203中识别摄像机视野内是 否存在乘客。之后，在异常动作探测部204中，在乘客碰撞可动式保护板 106之前，预先探测乘客的异常动作。在这里，识别乘客是否身体探出扶 手102。另外，在异常动作探测部204中，除了身体探出扶手102以外， 还探测在台阶101上的逆行、失足、跌倒等异常动作，由扬声器104唤起 注意。
从参数输入设备(205;例如，具有作为硬件结构的输入部、输出部、 控制部、存储部的计算机)输入用于由异常动作探测部204进行的图像处 理的处理区域设定(后述)与参数设定(后述)。另外，也可以经由因特 网从外部向图像识别装置107发送。碰撞探测部207通过图像识别来探测乘客与可动式保护板106碰撞并且摄像机103的影像摇晃的情况。由异常 动作探测部204与碰撞探测部207探测出异常搭乘或乘客碰撞到可动式保 护板106等(异常动作)时，向图像发送控制部206发送该探测信号，在 图像发送部209中对保存在图像存储器202中的异常动作前后的影像(数 帧的图像数据)进行适当编码，发送到影像录制装置108。另一方面，向 图像发送控制部206发送所述探测信号时，生成向自动扶梯控制装置发送 的设备控制信号，进行自动扶梯的停止或缓慢停止等的运行控制。
而且，由异常动作探测部204与碰撞探测部207探测出异常搭乘或乘 客碰撞到可动式保护板106等时，在报警信号发送部208中生成适当形式 的报警信号。该报警信号例如发送给扬声器104，进行唤起注意播放，或 发送给自动扶梯控制设备，进行自动扶梯的停止或缓慢停止等的运行控 制。
参照图3说明探测乘客的危险搭乘时的处理区域设定。图3图示从摄 像机103拍摄时的图像。从参数输入设备205或经由因特网的其它的PC (Personal Computer)上指定包括台阶301、扶手302、外侧板303的图像 处理区域305。图像处理区域305是由摄像机103拍摄到的图像中判定乘 客304的探出身体状况的区域。另外，为了方便说明，有时也将图像处理 区域称作指定区域或处理区域。 (动作)
下面，参照图4的进行异常动作探测和动作种类识别的处理的流程图， 详细说明应用本实施方式的人物与异常动作探测方法的图2的无人状态判 定部203与异常动作探测部204的处理。
首先，相对于图像识别装置107，输入从摄像机103输入的图像数据 构成的影像(S401)。
之后，在输入的影像(S401)中，指定进行异常动作探测和动作种类 识别的图像处理区域(S402)。指定的区域的形状是任意的，例如，如图 3的图像处理区域305 (虚线所示)那样指定区域。另外，也可以将拍摄 到的区域整体范围作为指定的区域。
然后，从处理区域内的运动图像(影像帧)的像素的亮度值计算由 作为时空间微分值的时空间亮度梯度所表现的格拉姆(Gram)矩阵(时空间信息)(S403)。此时，格拉姆(Gmm)矩阵可以从指定区域305整体 计算，也可以将指定区域305分割为多个局部区域块，在每一区域块中计 算格拉姆(Gram)矩阵。如下进行格拉姆(Gram)矩阵的计算S403。
首先，从当前的帧与前一次的帧进行帧间差分处理，对差分结果迸行 阈值处理。根据该处理，从输入运动图像抽出移动物体的边缘信息(决定 物体的轮廓的信息)。之后，计算运动边缘的位置的空间方向与时间方向 的亮度梯度(时空间亮度梯度)。用以下数学式表示该时空间亮度梯度v P。
(数学式1)
<formula>formula see original document page 10</formula>(1)
这里p是构成帧的像素的亮度值(矢量)，是由二维图像的一个方向
(x方向)和与其正交的方向(y方向)构成的位置x、 y和时间t的函数。 另外，Px、 Py、 Pt是关于亮度值P的x、 y和t的偏微分值。
然后，从数学式(1)的值求出由如下数学式表示的时空间亮度梯度 VP的协方差矩阵M。 M也被称作格拉姆(Gram)矩阵。 (数学式2)
X /
Pf
《2
(2)
从1帧的图像整体或指定区域中的所有的像素计算数学式(2)的总 和。另外，在时间方向上进行该总和，例如，区域的大小为纵横7像素、 帧数为7帧时，针对数学式(2)的矩阵的各要素计算在7X7X7像素的 三维区域内判断为运动边缘的像素的时空间亮度梯度的总和。数学式(2) 是时空间亮度梯度的某一时空间的三维区域中的方差(对角分量)与协方 差(非对角分量)，表示数学式(1)的绘图偏差情况。区域中的移动大 小与方向偏离时，数学式(2)的等级、即格拉姆(Gmm)矩阵M的非零 特征值的个数增多(最多为3个)。数学式(2)的等级变动的方法对应
www
尸 / D,;4
3 J 丄
cC尸，
2 c 尸 p
10于人物的动作，利用该信息进行动作种类识别或异常动作探测。将在后面 详细叙述该方法。
之后，利用从数学式(2)生成的时空间特征矢量(后述)生成背景 模型(由除了人物等的检测对象的影像构成的混合正态分布模型(有时也 称作背景模型))(S405)，比较该混合正态分布模型与输入影像，区别 指定区域或分割了该指定区域的局部区域块是前景还是背景(S404)。另 外，在图像识别装置107的存储部中存储(学习)作成的背景模型。
在这里，首先参照图5的流程图说明混合正态分布模型的生成。直到 相对于输入影像(S501)指定处理区域(S502)，与图4的(S401)、 (S402) 相同。
下面，说明相当于时空间亮度梯度计算(S503)且用于从数学式(2) 生成时空间特征矢量的参数指定的方法(S506)。在(S506)中，例如， 由参数输入设备205指定的参数(时空间亮度梯度计算用参数)是计算数 学式(2)的区域的大小，即所述的纵横方向的像素数与帧数。使用处理 区域整体时只指定帧数。而且在此指定数学式(2)的格拉姆(Gram)矩 阵M连接几帧。只使用1帧时，纵向排列从格拉姆(Gram)矩阵M除去 对称分量的6个要素(上三角分量)，将由下列数学式表示的6维矢量作 为时空间特征矢量。为了便于记载，在数学式(3)中横向排列要素来表 示。
(数学式3)
^dx加，加,i:(加,2x),.. (3)
N帧连接数学式(3)时(N:自然数)，设时刻t的m为mt，修改 时空间特征矢量m并由以下数学式表示。 (数学式4)
附二(附,，附卜1,W卜2,…，附"AT-1) . . . (4)
此时，时空间特征矢量m变成6XN维矢量。也可以直接使用该6X N维矢量，但是表示周期性长的动作特征时，有时N变大，时空间特征矢 量的维数也会变大。因此，将6XN维的时空间特征矢量例如根据主分量分析(PCA: Principal Component Analysis)或线性判别分析进行维度压縮 并投影到低维部分空间，能够使时空间特征矢量的维数变小。该维度压縮 的指定也作为时空间亮度梯度计算用参数(S506)来追加并指定。
然后，对进行如上所述得到的时空间特征矢量的集合进行向混合正态 分布的应用(匹配)(S504)，推定该参数。具体而言，进行如下的处理。 混合正态分布是组合预备的多个正态分布的概率模型。设数据X (矢量) 的概率密度分布p (5C)为C个概率密度分布
{p (X|i) ; i=l，…，C} 的加权线性结合，用以下数学式表示p (X)。 (数学式5)
C
(5)
这里，od是加权系数，满足以下条件。 (数学式6)
! =1 ■
pi (xlCi)是正态分布，用以下数学式来表示, (数学式7)
I C,') = A(义I A) = AO I A，2,,)
(6)
1
(7)
此时，M是时空间特征矢量的维数(注意与格拉姆(Gram)矩阵的 M的不同点)，0i表示为0—(lU， 2i}， ui是平均、Si是协方差矩阵。 另外，T意味着倒置。这样，在混合正态分布中，在每一正态分布中需要 3个参数。
(1) 平均Hi (正态分布的中心)
(2) 协方差矩阵(分布的宽度)(3)加权系数(xi (正态分布所占的比例)
在如混合正态分布的复杂的模型中，由于不能一次求出这些参数，因 此根据EM算法推定各参数。对于观测到的特征量的离散概率分布(柱状 图)，在图7的706与709中表示应用混合正态分布的例子。
混合正态分布的应用中有直接应用数学式(4)的6XN维矢量的柱状 图分布的情况，有在每一6XN维矢量的部分维度中应用的情况。在后者 的情况下，最大求出6XN个1维矢量空间的混合正态分布。有对正态分 布的个数C预先提供固定数的情况，有在混合正态分布的计算过程中自动 决定的情况。这些处理的切换标志位也与时空间亮度梯度计算用参数 (S506)指定时同时指定。
由以上的处理得到的混合正态分布(S505)作为背景模型，过度到图 4的混合正态分布(S405)，在(S404)中用于与输入影像间的比较。
下面，利用图7说明从输入影像计算出的时空间特征矢量与混合正态 分布模型的比较(S404)。在这里，设包括在图3中指定的扶手302的图 像处理区域305的外接矩形区域为处理区域(也可以将该外接矩形区域改 称为图像处理区域305)。而且，分割该外接矩形区域为多个局部区域块， 在每一局部区域块中进行输入影像与混合正态分布模型之间的比较，显示 进行前景与背景的分离的例子。
背景学习时701，在所述每一局部区域块中求出时空间特征矢量的概 率密度。这通过量子化时空间特征矢量的矢量要素并求出多维柱状图而得 到。这里，在图7的706中表示1维时空间特征矢量(称作时空间特征量) 的概率密度分布例子。
然后，相对于该概率密度分布匹配(应用)由数学式(5)表示的混 合正态分布模型，求出所述的(1)平均ui (正态分布的中心)、(2) 协方差矩阵2i(分布的宽度)、G)加权系数(xi(正态分布所占的比例)。 在图7的709中表示此时的匹配结果例子。另外，针对局部区域块704与 705，由706上的A标记表示每一局部区域块的时空间特征量与柱状图706 的哪一位置对应的例子。
然后，输入影像评价时702，由混合正态分布709上的A标记表示从 这些局部区域块计算的时空间特征矢量(由于是1维，所以是时空间特征量)的混合正态分布上的位置。在这里，作为示例，设对应局部区域块704 的局部区域块(707:无变动区域块)没有物体的入侵，具有与背景相同 的时空间特征量。此时，向表示混合正态分布模型的数学式(5)代入输 入影像的时空间特征矢量时，返回值变大。因此，若该返回值为某一阈值 以上时，判定在该局部区域块区域中没有物体侵入。即，由于表示大的返 回值的时空间特征矢量属于混合正态分布，因此无前景的存在，判定为背
學
另一方面，对应区域块705的区域块(708:有变动区域块)区域中 有物体或人物侵入时，向表示混合正态分布模型的数学式(5)代入输入 影像的时空间特征矢量时，返回值反而变小。这是因为输入影像时，.空间 特征矢量基本不属于混合正态分布。此时，根据阈值处理判定该区域块中 存在前景物体或人物。
以上，假设时空间特征矢量为1维，但是在如数学式(4)所示的6 XN维的矢量中，处理也相同。但是，由于在6XN维的多维柱状图中匹 配数学式(5)的混合正态分布时，若N变大则计算成本会变高，因此分 割6XN维的时空间特征矢量为多个低维部分空间矢量，向各个低维矢量 分布匹配混合正态分布模型并能够生成背景模型。此时，前景与背景的分 离的做法中具有几个方法，例如，能够使用获得多个混合正态分布模型的 前景与背景的判定结果的多数决定的方法，或从多个混合正态分布模型内 至少判定出一个前景并优先该判定结果等的方法。
在图6表示以上的根据时空间信息的混合正态分布模型的匹配进行前 景与背景的分离的处理概要。图6是检测自动扶梯的台阶上的人物的处理 的示意图。
从作为学习用背景动画的学习用背景运动图像601求出在每一局部区 域块(图6中的粗线所围的框)中表示时空间特征矢量的数学式(4)、 或数学式(5) (603)。在603中，作为例子，表示3个根据时空间特征 矢量表现的物体的结构和运动。第一个是包括扶手的进行向下的小运动的 复杂结构，第二个是有关台阶的进行向上的大运动的周期结构，第三个是 包括地板或广告牌的无运动的单纯结构。这样，针对具有多样的结构与运 动的模式的局部区域块分别求出时空间信息的混合正态分布模型(604)。另外，所述模式中其它还包括物体的颜色、亮度。
而且，进行该混合正态分布模型604与作为被输入的影像的输入运动 图像602之间的差分计算时，获得在每一局部区域块中前景与背景分离了 的背景差分图像605。但是，在该时间点上，只是在每一局部区域块中进 行了前景与背景的分离，不知道在拍摄场景中或设定的处理区域中是否有 物体或人物存在。因此，在作为下一个处理台阶的探出身体探测(S406) 与人物区域探测(S407)中使用这样得到的每一区域块的前景与背景的判 定结果。
首先，说明图4中的探出身体探测(S406)。该处理非常单纯，在处 理区域305内，若判定为前景的局部区域块的数量为某一阈值个数以上时， 判定处理区域内有物体或人物存在。在图8中表示包括自动扶梯的扶手的 区域内的处理结果例子。在例中采用由摄像机103拍摄到的图像。人物身 体探出扶手时，判定为前景的局部区域块数增加(由图8中的正方形表示)， 判定为人物探出身体。另外，例如作为时空间亮度梯度计算用参数来追加 并指定关于局部区域块数的阈值。
此时，在处理区域内，背景中移动的人物或映射在自动扶梯的外侧板 等上的影子的存在成为问题，但是能够根据在学习用背景运动图像中学习 到的混合正态分布模型适当判断。即，对于在背景中移动的与摄像机103 离得较远的人物而言，假设即使探出身体，判定为前景的局部区域块的数 量也为阈值以下，存在无法作为异常动作而被检测出的隐患。但是，由于 该局部区域块的时空间特征矢量表现来源于该人物的结构，因此作为从混 合正态分布模型远离的时空间特征而使用，能够判定为引起异常动作的前
學
另外，由于映射在自动扶梯的外侧板的影子并不是作为原来前景而应 判定的部分，因此存在因为未探出身体的人物的影子侵入而导致在某一程 度上时空间特征产生变化且判定为前景的局部区域块的数量变成阈值以 上，作为异常动作而被检测出的隐患。但是基于影子的结构非常小，且由 于该局部区域块的时空间特征矢量也表现这样的结构，因此作为属于混合 正态分布模型的时空间特征来使用，能够判定为不构成前景的背景。
这样，本实施方式的方法对干扰能够返回稳定的判定结果。200910166245.0
下面，在图4中说明人物区域探测407。这里，在分割的局部区域块 内使用判定为前景的局部区域块具有的时空间信息来进行人物探测。如图 9所示，对此准备具有人物轮廓的长宽比的检测框901，变更尺寸并在输 入图像902上进行扫描(scan)。然后在扫描的每一位置上判定是否为人 物。设用于判定的特征量是判定为所述的前景的局部区域块具有的时空间 信息，是具有(数学式(3)或数学式(4)的时空间特征矢量维数)X (判 定为前景的区域块数)维数的特征矢量。通过例如向支持向量机(SVM: Support vector machine)或AdaBoost等识别器输入该特征矢量来判定是否 为人物(乘客)。基本上，判定轮廓与检测框卯l大致一致的前景为自动 扶梯的乘客(人物)。但是，也可以根据乘客的体格、位置等适当变更检 测框901的尺寸、长宽比。
下面，在探测到的人物区域内，进行人物的动作种类识别或异常动作 探测的处理。在这里，计算从数学式(2)的格拉姆(Gram)矩阵算出的 连续等级增量(S408)。由于格拉姆(Gram)矩阵的特征值计算因噪声等 影响数学式(2)的特征值很少会变成零，因此作为指定区域中的异常动 作的指标，使用以下数学式所示的连续等级增量Ar。 (数学式8)
▲ A， * /I;
V乂2 …(8)
这里，A 2、入3是格拉姆(Gram)矩阵M的特征值(升顺)， (数学式9)
。

A,、 …(9)
是格拉姆(Gmm)矩阵M的左上2X2矩阵的特征值(升顺)。连续 等级增量Ar的取值范围是0 1.0,越接近0，则指定区域内的运动越相干 (coherent)，越接近于1.0，则表示在指定区域内存在多个运动。
例如，在自动扶梯的台阶上，产生跌倒或逆行等异常动作时，包括该 异常动作的局部区域内存在多个运动分量，通过观察连续等级增量Ar的 值来判定指定区域内是否存在异常动作。用于判定异常动作或动作种类的指定区域中具有几种变化，利用图IO来说明。另外，作为时空间亮度梯 度计算用参数(S506)而指定使用哪一个变化。另外，也作为时空间亮度 梯度计算用参数(S506)而指定连续等级增量Ar的阈值，若连续等级增 量Ar为该阈值以上，则判定具有异常动作。
第一，是如图像整体区域1001所示，将图像整体作为判定区域的方 法(a)。这是应探测的人物区域比较大时使用的方法，具有省略叫做处 理区域的设定的工序使用方便的优点。对利用单机(stand-alone)工作、 编入图像识别处理的IP (InternetProtocol)因特网摄像机等有效。
第二，是使用由混合正态分布模型(S404)判定为前景的局部区域块 (1002:前景区域块)的方法(b)。使用该区域时，由于根据使用图像 整体而能够降低存在于背景中的噪声的影响，因此能提高异常动作的检测 精度或动作种类的识别精度，但是需要在每一局部区域块中进行前景和背 景的判定，所以与使用图像整体区域1001时相比，计算成本上升。
第三，是从前景区域块1002的集合由人物区域探测(S407)探测出 的人物区域内进行异常动作探测和动作种类识别的方法(c)。作为根据 由图IO中的粗框表示的检测框(1003:参照图9)探测出的人物区域，只 使用存在于其中(画阴影线的)的前景区域块1004，暂且在作为前景区域 块的异常动作检测和动作种类识别中不使用探测框之外(白色表示的)的 区域块1005。这成为图4的流程图中的默认处理。使用前景区域块1002 的集合时，在判定为前景区域的区域块中混有影子或背景的移动等，但是 通过详细限定如1004的人物区域，能够提高异常动作检测和动作种类判 定的精度。但是，由于改变检测框1003的尺寸，并且进行整画面扫描， 因此具有计算成本变高的缺点。
最后第四，是在检测框1003中探测出的人物区域内作为部分1006、 1007选择假定特别容易发生异常动作的区域、并进行异常动作检测和动作 种类判定的方法(d)。在该方法中，能够进行在每一部分区域1006、 1007 中计算出的异常动作检测和动作种类判定的结果的统计判定。例如，多个 判定结果的多数决定判定。另外，部分区域1006相当于人物的手臂的可 动区域，部分区域1007相当于人物的脚的可动区域。这些部分区域1006、 1007也可以从与检测框1003的相对的位置关系自动设定，也可以由外部
17的计算机操作并设定。
以上的处理是根据由人物区域探测(S407)的结果的等级增量计算 (S408)的异常动作检测和动作种类判定。这是有关在用于进行异常动作 检测和动作种类判定的空间的分割中的方法，也是时间分割动作、根据这 些的统计处理进行异常动作检测和动作种类判定的处理。这是图4中的 BoM (S409)，利用图11说明该处理流程。另外，设该处理的主体为图 像识别装置107的控制部。
BoM是Bag of Motions的縮写，是在文件解析处理中使用的概念Bag ofWords的类推。按照以下顺序进行BoM。在学习的第一阶段中，首先获 得输入运动图像(S1101)，在获得的输入运动图像中从任意的时间位置 和时间长度的帧组计算数学式(3) 、 (4)的时空间特征矢量(S1102)。 根据需要，由主分量分析(PCA) (SU03)进行维度压縮，对这些矢量 组进行K平均聚类处理。作为其处理结果，生成作为输入运动图像中的物 体(主要是人物(乘客))的动作要素的动作码(motion word) (SI 104)。 在图像识别装置107的存储部中存储生成的动作码。
在学习的第二阶段中，作为与(S1101)不同的处理，获得输入运动
图像的连续镜头(学习用连续镜头所述帧组的全部或一部分帧组)作为 学习用(S1105)，与(S1102)同样地从获得的学习用连续镜头计算时空 间特征矢量(S1106)。同样地，(S1103)根据需要由PCA进行维度压 縮(S1107)。之后，搜索该时空间特征矢量对应登录了在(S1104)中作 成的动作码的目录中的哪一个动作要素(S1108)，生成动作码的柱状图 (例如，作为时空间特征矢量的(各分量的)发生概率而表示的柱状图) (S1109)。在每一动作种类中计算该动作码的柱状图，例如，使用支持 向量机(SVM)或AdaBoost等识别器对物体的动作进行学习(S1110)。 在图像识别装置107的存储部中存储基于该学习的学习结果(S1111)。
在识别阶段中，首先，获得成为对象的输入运动图像(S1112)，从 获得的输入运动图像计算时空间特征矢量(S1113)。与(S1103)同样地， 根据需要由PCA进行维度压縮(S1114)。之后，将该时空间特征矢量作 为检索码，与(S1108)同样地，通过从登陆了动作码的目录(S1104)中 搜索对应的动作要素(S1115)，来确定对应于成为检索码的时空间特征矢量的动作码，与(S1109)同样地，生成确定的动作码的柱状图(S1116)。 在每一动作种类中计算该动作码的柱状图，向读入学习结果(S1111)的 识别器输入该计算结果(S1U7)，输出识别结果并返回(S1118)。通过 比较该识别结果与学习结果，判定识别阶段中的物体(包括乘客等的人物) 的动作。
该方法通过将在时间上分割人物动作的结果作为特征量，能够高精度 地检测并识别在时间上变化的人物举动。另外，通过缩短生成动作码时的 时间长度，也能够同时探测如自动扶梯的台阶上的跌倒等突发事件。 (总结)
根据本实施方式的人物与异常动作探测方法，在自动扶梯的台阶或自 动人行道的人行道面移动的情景中能够有效检测出人物，通过解析检测到 的区域内的时空间信息，能够进行人物的异常动作或动作种类的识别。根 据该识别，防止乘客的事故于未然，能够确保乘客的安全。能够降低监视 自动扶梯等的监视员的疲劳或自动扶梯监视系统的设置成本。
另外，由于与红外线传感器或振动探测传感器不同，即使是远方，只 要看到乘客就能进行图像识别，因此，对设置场所的限制少。即，由于摄 像机即使是远方，也能够探测异常搭乘或危险搭乘的异常动作的征兆，因 此能够减少设置摄像机数量，能够降低系统构筑的成本。
在本实施方式中，不需要其它物理传感器，由于仅通过向己设的图像 录制装置追加图像识别功能就能够构筑自动扶梯图像监视系统，因此能够 减少设置成本。例如，想用红外线传感器探测乘客的扶手的探出身体时， 不得不沿着扶手按固定间隔设置红外线传感器，但是若为图像传感器，能 够从保护板的位置用一台摄像机监视扶手区域。毫米波雷达时，与红外线 传感器不同，能够进行比较远距离和广视角的监视，但是框架大，设置场 所受到限制。但是，在本发明的图像监视系统中并用现有的物理传感器， 能够更高精度地检测自动扶梯乘客的异常动作状态。 (其它)
另外，所述实施方式是用于实施本发明的最佳方式，但是该实施方式 并不仅限于此。因此，在不变更本发明的要旨的范围中，能够将该实施方 式变形为各种各样的方式。例如，在本实施方式中，生成背景模型时，也可以具备任意决定构成 背景模型的正态分布数或者从拍摄场面的结构、颜色、亮度模式、移动的 复杂度来自动决定该分布数的最佳值的功能。另外，也可以具备任意决定 该时空间特征矢量的维数或者从乘客的检测率自动决定最佳数的功能。另 外，求背景模式的分布时，也可以具备将时空间信息作为一个特征矢量并 作为一个模型来生成背景模型或者分割特征矢量为多个矢量生成多个背 景模型后、统计判定利用该多个背景模型的多个人物检测结果并进行人物 检测的功能。
另外，在本实施方式中，也可以具备即使变化摄像机的配置，通过运 送系统的扶手位置和台阶的信息，例如从张数、速度、位置计算摄像机的 设置高度与俯角而进行图像的俯瞰变换，通常向摄像机的配置前的学习图 像的位置与形状匹配输入图像，使用一次生成的背景模型的功能。
另外，在本实施方式中，也可以在进行使用BoM的处理时，进行实 验，并从成为乘客的人物协助得到各种各样的动作，事先生成并存储学习 第一阶段的动作码和学习第二阶段的柱状图后，在现场执行识别阶段。另 外，作为其它方法，也可以最初在现场配置摄像机103、图像识别装置107 等，并从第一阶段开始执行处理，拍摄到足够的数据后执行识别阶段，也 可以依次处理学习第一阶段、学习第二阶段、识别阶段。
另外，在不超出本发明的宗旨的范围内能够适当变更硬件、软件、各 程序等具体的构成。
权利要求
1、一种图像识别装置，进行从拍摄装置获得的运动图像的图像识别，该拍摄装置拍摄承载乘客并进行运送的运送系统，其特征在于，具有存储部，从所述运送系统中无乘客的状态下拍摄到的由所述拍摄装置获得的运动图像进行计算，使用由空间方向和时间方向上对该像素的亮度值进行微分得到的时空间亮度梯度所表现的时空间特征矢量，存储用1以上的正态分布近似所述时空间特征矢量的发生概率而构成的背景模型；和控制部，从某一时刻拍摄到的所述拍摄装置获得的运动图像进行计算，计算由空间方向和时间方向上对该像素的亮度值进行微分得到的时空间亮度梯度所表现的时空间特征矢量是否属于构成所述背景模型的所述正态分布，若不属于所述正态分布，则判定在该运动图像中的所拍摄到的所述运送系统中存在前景。
2、 根据权利要求l所述的图像识别装置，其特征在于，所述控制部从连接到的能够通信的计算机至少获得决定从所述拍摄 装置获得的运动图像的帧数的时空间亮度梯度计算用参数，所述控制部参照获得的所述时空间亮度梯度计算用参数，将所述时空 间特征矢量的维数作为与所述帧数对应的维数。
3、 根据权利要求2所述的图像识别装置，其特征在于， 所述控制部将成为所述图像识别的对象的区域的全部或一部分分割为多个局部区域块，在各个分割的所述局部区域块中判定是否存在所述前旦 牙、，所述控制部参照决定了与所述局部区域块的个数相关的阈值的所述 时空间亮度梯度计算用参数，若判定为存在所述前景的局部区域块的个数 是所述阈值以上，则判定所述运送系统的乘客进行了异常动作。
4、 根据权利要求l所述的图像识别装置，其特征在于， 所述控制部通过使用具有人物轮廓的长宽比的检测框来扫描成为所述图像识别的对象的区域，判定与所述检测框与轮廓大致一致的所述前景 为所述运送系统的乘客。
5、 根据权利要求4所述的图像识别装置，其特征在于， 所述控制部通过计算所述时空间亮度梯度的格拉姆矩阵的固有值，计算使用了所述固有值的连续等级增量，所述控制部根据所述连续等级增量的值判定所述乘客的动作。
6、 根据权利要求5所述的图像识别装置，其特征在于， 所述控制部将成为所述图像识别的对象的区域的全部或一部分分割为多个局部区域块，在各个分割的所述局部区域块中判定是否存在所述运 送系统的乘客，并且在判定为存在所述乘客的局部区域块内，选择假定易 发生异常动作的乘客的局部区域块，在所述选择的局部区域块中判定所述 乘客的动作。
7、 一种图像识别装置，进行从拍摄装置获得的运动图像的图像识别， 该拍摄装置拍摄承载乘客并进行运送的运送系统，其特征在于，具有-存储部，在某一时间长度的帧组中，从所述运送系统上有乘客的状态 下拍摄到的所述拍摄装置获得的运动图像进行计算，对应并存储由空间 方向和时间方向上对该像素的亮度值进行微分得到的时空间亮度梯度所 表现的时空间特征矢量；使用所述时空间特征矢量通过进行K平均聚类处 理而生成的乘客的动作要素；生成所述动作要素的柱状图并通过向识别器 输入所述柱状图从而所述识别器对乘客的动作进行学习时的学习结果；和控制部，从持续某一时间长度拍摄到的所述拍摄装置获得的运动图像 进行计算，由空间方向和时间方向上对该像素的亮度值进行微分得到的时 空间亮度梯度所表现的时空间特征矢量，通过参照所述存储部来确定动作 要素，向所述识别器输入所述动作要素的柱状图，通过比较从所述识别器 输出的识别结果与所述学习结果，来判定乘客的动作。
全文摘要
本发明提供一种图像识别装置，能够提高搭乘在自动扶梯或自动人行道等乘客用运送系统中的乘客的探测和探测乘客的异常动作的图像识别的精度。本发明根据从时空间亮度梯度计算出的格拉姆矩阵，能同时表现和学习动态变动的背景的结构和运动。由此，既使输入了与背景相似的亮度值，也能由结构的信息分离背景与前景。而且，即使背景在动态变动的场景的对象物体的检测中，由于模型化该背景的运动本身，因此也能探测人物或物体。另外，利用探测到的人物区域能够提高异常动作探测或动作种类识别的精度。背景的模型作为表示由格拉姆矩阵的时空间特征矢量的分量的概率密度的混合正态分布模型而构成，输入的时空间特征矢量不属于该正态分布时判定存在前景。
文档编号B66B25/00GK101665210SQ20091016624
公开日2010年3月10日 申请日期2009年8月20日 优先权日2008年9月3日
发明者三好雅则, 主税雅裕, 数井诚人, 藤吉弘亘 申请人:株式会社日立制作所;株式会社日立建筑系统