专利名称：自动扶梯监视系统的制作方法
技术领域：
本发明涉及采用拍摄装置对使用自动扶梯的乘客进行监视的自动扶梯监视系统。
背景技术：
设置在大楼、车站内的自动扶梯(也可称为人员输送机)，通常在没有监视人员的场 所自动运行。因此，可能会忽略那些乘客从扶手将身体探出到外侧等危险的状态。又，即 使在乘客摔倒的时候，其联络到达监视人员也较耗时，会造成对应太晚这样的问题。
在现有技术中，为了解决这样的问题，例如在日本的特开2000-34088号公报和特开平 5-319762号公报中，提出了在自动扶梯附近设置拍摄装置、使用该拍摄装置拍摄到的图像 检测乘客探出或逆行等举动的自动扶梯监视系统。
在这样的自动扶梯监视系统中，基本上是通过一般使用一台拍摄装置的单眼图像处理 进行人物检测。即，对由一台拍摄装置拍摄到的二维图像进行解析处理，以检测使用自动 扶梯的乘客。
本发明所要解决的问题
自动扶梯和升降电梯不同，是进深相当长的乘坐工具，对于使用拍摄装置的监视，该 路径的信息为必要的。但是，在现有的自动扶梯监视系统中还存在这样的问题由于如上 所述，采用一台拍摄装置进行监视，从该拍摄装置拍摄到的二维图像得到与进深相关的详 细信息非常困难，因此，乘客的检测精度也非常低。
艮P，使用二维图像，只能在平面上获取自动扶梯和乘客。因此，例如当自动扶梯的扶 手附近有乘客时，由于拍摄装置的拍摄角度的关系，有时无法正确判定乘客是否探出扶手 的外侧，或是是否正确乘坐于扶手内侧。
又，当乘客摔倒时，由于无法正确地确定自动扶梯进深方向的地点，故造成对应延迟 这样的问题。
进一步的，如果在拥挤时乘客和乘客重叠的状态(这称为"遮挡")下进行拍摄，则 难以根据该拍摄图像正确检测各个乘客，因此即便遇到事故也会有漏看的可能。本发明鉴于上述几点而做成，其目的在于提出一种自动扶梯监视系统，其能够使用拍 摄装置进行监视，从而正确检测使用自动扶梯的乘客，并能够通过对该乘客的危险举动进 行警告，来预先防止事故的发生。
发明内容
本发明涉及的自动扶梯监视系统，具有设置在能够监视自动扶梯整体的地方的至少 两台拍摄装置；三维信息取得部，其根据所述至少两台拍摄装置拍摄到的各图像取得三维 信息；乘客检测部，其解析由所述三维信息取得部得到的三维信息，并检测使用所述自动 扶梯的乘客的包括拍摄范围的进深方向在内的位置。
又，本发明涉及的自动扶梯监视系统进一步包括举动检测部，其基于所述自动扶梯的 运行信息，检测通过所述乘客检测部检测到的乘客的举动。
所述举动检测部进行"探出检测"。
艮P，所述自动扶梯的运行信息包括有关预先设定的探出危险区域的信息，所述举动检 测部，检测由所述乘客检测部检测到的乘客正在所述探出危险区域从设置于所述自动扶梯 上的扶手向外侧探出规定量以上的状态。
所述举动检测部进行"超越检测"。
艮口，所述自动扶梯的运行信息包括有关所述自动扶梯的运转方向的信息，所述举动检 测部，检测由所述乘客检测部检测到的乘客正在所述自动扶梯的运转方向以规定速度以上 的速度移动并超越前面的乘客的状态。
所述举动检测部进行"穿越检测"。
艮P，所述自动扶梯的运行信息包括有关所述自动扶梯的运转方向的信息，所述举动检 测部，检测由所述乘客检测部检测到的乘客正在所述自动扶梯的运转方向上以规定速度以 上的速度移动并在前面的乘客和乘客之间穿越的状态。
所述举动检测部进行"摔倒检测"。
艮P，所述自动扶梯的运行信息包括有关所述自动扶梯的运转方向的信息，所述举动检 测部，根据由所述乘客检测部检测到的乘客正在所述自动扶梯的运转方向上移动时的头部 高度的时间变动来检测摔倒了的状态。
所述举动检测部进行"滞留检测"。
艮口，所述自动扶梯的运行信息包括有关预先设定的滞留危险区域的信息，所述举动检 测部，检测由所述乘客检测部检测到的乘客正在所述自动扶梯的滞留危险区域内滞留规定时间以上的状态。
所述举动检测部进行"滞留检测(包括滞留人数)"。即，所述举动检测部检测在所述 自动扶梯滞留危险区域内滞留规定时间以上的乘客的人数。 所述举动检测部进行"淘气检测"。
艮P，所述自动扶梯的运行信息包括有关预先设定的淘气提醒区域的信息，所述举动检 测部，检测由所述乘客检测部检测到的乘客在所述自动扶梯的淘气提醒区域停止规定时间 以上的状态。
所述举动检测部进行"淘气检测(包括小孩)"。
艮P,所述举动检测部以由所述乘客检测部检测到的乘客的头部高度在规定值以下的人 物为对象，检测其在所述自动扶梯的淘气提醒区域内停止规定时间以上的状态。
又，本发明涉及的自动扶梯监视系统进一步包括警告部，其根据通过所述举动检测部 检测到的乘客的举动进行警告处理。所述警告部根据所述举动检测部所检测到的乘客的举 动改变警告等级来进行警告。
又，本发明涉及的自动扶梯监视系统进一步包括信息测定部，其基于由所述乘客检测 部检测到的乘客的位置的时序信息和所述自动扶梯的运行信息，测定该乘客的移动速度、 加速度、移动方向、移动路线、存在时间的信息；和乘降状态检测部，其基于所述信息测 定部的测定结果，检测乘降数、乘降时间、滞留时间、移动状态中的至少一个。
图1是显示本发明的实施例涉及的自动扶梯监视系统的结构的示意图。
图2是显示同一实施例的自动扶梯监视系统中设置的图像处理装置的功能结构的框图。
图3是显示由所述自动扶梯监视系统的图像处理装置得到的三维信息(x、 y、 z)的分 布例的示意图。
图4是说明所述自动扶梯监视系统的图像处理装置所实施的各图像间的人物追踪处理 的示意图。
图5是对由所述自动扶梯监视系统的图像处理装置得到的与乘客乘降动作相关的各种 信息进行说明的示意图。
图6是对检测乘降时间的检测方法进行说明的示意图，乘降时间是由自动扶梯监视系 统的图像处理装置得到的与乘客乘降动作关联的各种信息的一种。
6图7是显示通过自动扶梯监视系统的图像处理装置对多个乘客进行检测的情况的一例 的示意图。
图8是对所述自动扶梯监视系统的图像装置所进行的"探出检测"进行说明的示意图。 图9是说明现有技术中的单眼图像所进行的"探出检测"的问题点的示意图。 图10是显示所述自动扶梯监视系统的图像处理装置所进行的"探出检测"的处理动 作的流程图。
图11是对所述自动扶梯监视系统的图像处理装置所进行的"超越检测"进行说明的示 意图。
图12是对所述自动扶梯监视系统的图像处理装置所进行的"穿越检测"进行说明的 示意图。
图13是显示所述自动扶梯监视系统的图像处理装置所进行"超越检测"的处理动作 的流程图。
图14是显示所述自动扶梯监视系统的图像处理装置所进行"穿越检测"的处理动作 的流程图。
图15是对所述自动扶梯监视系统的图像处理装置所进行的"摔倒检测"进行说明的 示意图。
图16是显示所述自动扶梯监视系统的图像处理装置所进行的"摔倒检测"的处理动 作的流程图。
图17是对所述自动扶梯监视系统的图像处理装置所进行的"滞留检测"进行说明的 示意图。
图18是显示所述自动扶梯监视系统的图像处理装置所进行的"滞留检测"的处理动 作的流程图。
图19是对所述自动扶梯监视系统的图像处理装置所进行的"淘气检测"进行说明的 示意图。
图20是显示所述自动扶梯监视系统的图像处理装置所进行的"淘气检测"的处理动 作的流程图。
符号说明 ll'自动扶梯 12踏板13栏杆面板
14扶手带
15三角部护板
21立体拍摄单元
22a、 22b拍摄装置
23传输电缆
24图像处理装置
25控制装置
26扬声器
27显示装置
28驱动装置
31获取处理部
32三维信息取得部
33乘客检测部
34人物抽取部
35人物追踪部
36举动检测部
37警告部
38信息测定部
39乘降状态检测部
51探出危险区域
52a、 52b滞留危险区域
53a、 53b、 53c、 53d淘气提醒区域
具体实施例方式
下面参考附图对本发明的实施例进行说明。
图1是显示本发明实施例的自动扶梯监视系统的结构的示意图。图中11为作为监视对 象的自动扶梯。
自动扶梯11包括多个踏板12、和设置在这些踏板12两侧的一对栏杆面板13。各踏板
812，可以是由例如铝模铸件形成的阶梯状的乘坐台，通过图未示的桁架以具有规定的倾斜 角度地被支承的状态在乘降口之间循环运行。
又，所述一对栏杆面板13，可以由例如透明的玻璃或丙烯酸材料等形成，在该栏杆面 板13的周边部巻绕有由橡胶等覆盖周边的手扶带14。该手扶带14与上述各踏板12同步 地移动。
进一步的，与自动扶梯11交叉的天花板等的下端部，安装有三角部护板15。该三角 部护板15用来防止乘客10从扶手带14探出时夹在扶手带14与天花板之间的事故。
此处，作为监视用的拍摄装置，立体拍摄单元21设置在能够监视自动扶梯整体的地 方(例如自动扶梯11旁边的天花板面)。该立体拍摄单元21中，相隔规定的空间配置有两 台拍摄装置22a、 22b,并将这些拍摄装置22a、 22b所拍摄的各图像通过传输电缆23依次 传输至图像处理装置24。
图像处理装置24是本系统的主要构成部分。该图像处理装置24由具有CPU、 ROM、 RAM等的一般的PC (个人电脑)或者图像处理板等构成。该图像处理装置24具有以下 功能通过对上述拍摄装置22a、 22b所拍摄的各图像进行三维解析处理，检测使用自动扶 梯的乘客10的包括拍摄范围的进深方向的位置，同时检测该乘客10的举动等。
控制装置25控制自动扶梯11的运动，由与图像处理装置24不同的PC构成。该控制 装置25接收从图像处理装置24输出的各种信号来控制扬声器26和显示装置27，控制自 动扶梯11的驱动装置28。
扬声器26设置在自动扶梯11附近，在对乘客10进行某些警告时使用。显示装置27 设置在监视室等中，进行拍摄图像的监视器显示、警告等级的显示等。
图2是显示设置在自动扶梯监视系统中的图像处理装置24的功能构成的框图。
以功能性显示本系统的图像处理装置24的话，其具有获取处理部31、三维信息取得 部32、乘客检测部33、举动检测部36、警告部37、测定部38和乘降状态检知部39。
获取处理部31获取由设置在立体拍摄单元21的二台拍摄装置22a、22b连续拍摄到的 各图像。又，获取到的各图像和时间信息一起存储在图像处理装置24内的图未示的图像 存储器中。
三维信息取得部32根据通过获取处理部31获取的各图像取得拍摄范围的三维信息 (x,y,z)。
乘客检测部33对通过三维信息取得部32取得的三维信息进行解析，检测使用自动扶 梯11的乘客10的包括拍摄范围的进深方向的位置。该乘客检测部33包括人物抽取部34和人物追踪部35。
人物抽取部34对由三维信息取得部32取得的三维信息(x,y,z)的分布状态进行解析， 从拍摄图像中抽取使用自动扶梯11的乘客10。人物追踪部35在各图像间追踪由人物抽取 部33抽取的乘客10。
举动检测部36基于自动扶梯11的运行信息，检测由乘客检测部33检测到的乘客10 的举动。
作为上述举动，有"探出"、"超越"、"穿越"、"摔倒"、"滞留"、"淘气"等。所述运 行信息中包括有关自动扶梯11的运转方向、运转速度、还有后述的探出危险区域、滞留危 险区域、淘气提醒区域等的信息。
警告部37根据由举动检测部36判断了的乘客10的举动，通过声音或者显示进行警 告处理。
又，信息测定部38基于通过乘客检测部33检测到的乘客10的位置的时序信息和作 为自动扶梯ll的运行信息的运转方向、运转速度，测定乘客10的移动速度、加速度、移 动方向、移动路线、存在时间，并基于这些信息检测乘降数、乘降时间、滞留时间、移动 状态(停止/跑行/步行/逆行)中的至少一个并输出至控制装置25。
下面，对该自动扶梯监视系统的动作进行详细说明。
又，包括后面叙述的乘客检测，区域判定或距离、高度等的判定都是通过使用上述两 台拍摄装置22a、 22b的立体图像处理对各图象进行三维解析处理来进行的。 (乘客检测)
首先，着眼于使用自动扶梯11的一个乘客10，对本系统的图像处理装置24进行的"乘 客检测"进行说明。
如图2所示，本系统所使用的图像处理装置24依次获取由两台拍摄装置22a、 22b连 续拍摄到的各图像，并根据这些图像获得拍摄范围的x方向、y方向、z方向的三维信息。 然后，对这些三维信息的分布状态进行解析，从拍摄图像中抽取相当于乘客10的部分。
图3中显示三维信息(x,y，z)的分布例。图中的黑点显示每次拍摄获得的三维信息的 位置。从这样的三维信息的分布状态中抽取与人物形状相近的集合将其作为与乘客10相 当的部分。
接着，图像处理装置24在由时序得到的各图像间追踪上述所抽取的乘客10。具体来 说，如图4所示，利用三维信息等特征量对在时间T0拍摄到的图像中抽取的人物和在时 间Tl拍摄到的图像中抽取的人物进行匹配处理。然后，将相关度高的组合特定为同一人物，并对该人物进行追踪。
通过使用这样两台拍摄装置22a、 22b的立体图像处理，能够正确地检测包括拍摄范围 的进深方向在内的乘客10的位置。又，虽然在此仅对一个乘客10进行说明，但即使是在 多名乘客10使用自动扶梯11的情况下，也能够通过上述立体图像处理正确地检测各个乘 客10的位置。
(各种信息的测定和乘降状态的检测)
下面，对本系统的图像处理装置24所进行的各种信号的测定和乘降状态的检测进行 说明。
如图5所示，基于由上述乘客检测处理得到的乘客10的位置的时序信息(xO、 y0、 z0、 t0) ...(xn、 yn、 zn、 tn)和作为自动扶梯11的运行信息得到的运行方向De、运转速度Ve, 能够测定乘客10的移动速度、加速度、移动方向、移动路线、存在时间等信息。
又，移动路线是通过将乘客10的位置的时序信息以线连接而得到的。图中的L1表示 移动路线。
又，基于这些信息，能如下所述的那样检测乘降数、乘降时间、滞留时间、移动状态 (停止/跑行/步行/逆行)等与乘降动作相关的状态。
(1) 乘降数
所谓乘降数是指单位时间内乘客1Q乘降自动扶梯11的乘降次数。其通过对在时间 tO tn内通过自动扶梯11的乘梯口和下梯口的人数进行计数获得。
(2) 乘降时间
所述乘降时间如图6所示，是指乘客IO从自动扶梯11的乘梯口到下梯口的通过时间。 此时，乘客10的移动路线U和自动扶梯11的乘梯口线L2交差时，判断乘客10通过了 自动扶梯ll的乘梯口。又，乘客10的移动路线L1和自动扶梯11的下梯口线L3交差时， 判断乘客IO通过了自动扶梯11的下梯口。
乘客10通过乘梯口的时间为跨过乘梯口线L2的时间。在图6的实例中，由于在时间 ta到时间tb之间跨过，因此时间tb作为通过乘梯口的通过时间。同样的，乘客10通过下 梯口的时间为跨过了下梯口线L3的时间。在图6的实例中，由于在时间tc到时间td之间 跨过，因此时间td作为下梯口的通过时间而得到。这样，乘降时间通过"td—tb"求得。
(3) 滞留时间
滞留时间是指乘客IO在同一地方的站立时间。此时，将乘客10的位置(x,y)的时间 变动较少的状态作为滞留状态。这样，乘客10开始止步的时间为tl，开始运动的时间为t2，则滞留时间根据"t2-tl"求得。(4)移动状态
移动状态是指乘客10移动的状态，包括停止/跑行/步行/逆行。如图6所示，根据从时间tb开始到时间td为止的移动时间和距离求得乘客10的移动速度Vp。该移动速度Vp如果和自动扶梯11的运转速度Ve相同的话(Vp=Ve)，则判断为是乘客IO在自动扶梯11的踏板12上站立的状态即停止状态。
另一方面，如果乘客10的移动速度Vp比自动扶梯ll的运转速度Ve快，且在步行的基准值V0以内的范围的话(Ve<Vp《V0)，则判断为是乘客IO在自动扶梯11的踏板12上走路的状态即步行状态。如果乘客10的移动速度Vp比所述步行的基准值V0快的话(V0<Vp)，则判断为是乘客10在自动扶梯11的踏板12上跑动的状态即跑行状态。
又，如果乘客10的移动方向与自动扶梯11的运转方向De为相反方向的话，则判断为是乘客IO在自动扶梯11的踏板12上以相反方向移动的状态即逆行状态。
又，以上是着眼于一个乘客10的实例，但是在多名乘客10使用自动扶梯11的状态下也是一样，通过以上述立体图像处理对各乘客10进行检测，从而能够获取各乘客io的相关信息。
进一步的，还可利用各乘客10的相关信息，如图7所示，检测乘坐自动扶梯ll的移动中的人数，和等在自动扶梯的乘梯口的人数。(探出检测)
接着，对本系统的图像处理装置24所作的举动检测中的一种"探出检测"进行说明。"探出检测"是指检测乘客IO从自动扶梯11的扶手带14探出到外侧的状态。
现在，如图8所示，设扶手带14到三角部护板15的距离为a，乘客10的探出量为b，从乘客10的位置到三角部护板15的距离为c，能够根据距离c和运转速度Ve计算乘客lO被夹在自动扶梯ll的交差部为止的时间。
在检测到乘客10的探出的情况下，对该状况进行警告。此时，可以根据距离a、探出量b、距离c的关系，进行如下的警告等级变换。
c》能停止距离^提醒c〈能停止距离^警告
又，可根据三维形状判断乘客10探出哪一部位，或者判断是否是货物。此时可进行如下的警告等级变换。
探出部位为货物-提醒探出部位为腕部/头部=>警告
又，可根据乘客10的位置或移动速度等，判断扶手带14的附近的集合形状的图像是否是由于乘客10的探出而导致产生的，是否有干扰混入等。此时，以作为干扰存在于自动扶梯11背面的人物10，为例进行说明。
如图9所示，单眼图像中，扶手带14附近的集合形状为乘客10的探出所导致的，还是在自动扶梯背面的人物10'的映入造成的，两者无法区别。因此，在本系统中，能够基于从各图像中得到三维信息(x, y， z)正确检测是否是自动扶梯11的背面的人物10'。
下面，参照图IO对本系统的"探出检测"的处理动作进行详细的说明。
图10是显示本系统的图像处理装置24所进行的"探出检测"的处理动作的流程图。又，该流程图所显示的处理，通过搭载于图像处理装置24上的图未示的CPU读取存储在ROM等存储器中的规定的程序来执行。
首先，作为初始化处理，将立体拍摄单元21 (拍摄装置22a、 22b)和自动扶梯ll的位置关系预先设定在图像处理装置24中，同时在图像处理装置24中预先设定探出危险区域51的相关信息(步骤All)。探出危险区域51，如图8所示，是包括安装有三角部护板15的自动扶梯11的交差部在内的从该交差部至其稍许跟前为止的区域。
图像处理装置24通过对由拍摄装置22a、 22b所拍摄的各图像进行解析处理，检测使用自动扶梯11的乘客10 (步骤A12)，求得从自动扶梯11的交差部到乘客10为止的距离(步骤A13)。结果，在从自动扶梯11的交差部到乘客10的距离比预先设定的阈值长的情况下(步骤A14为否)，图像处理装置24判断为乘客10没有进入探出危险区域51，因此不需要采取什么措施，只要这样继续监视。
另一方面，如果自动扶梯11的交差部到乘客10的距离在预先设定的阈值以下的情况下(步骤A14为是)，则图像处理装置24判断为乘客10进入探出危险区域51，并求出该探出危险区域51内的乘客10的探出量(步骤A15)。结果，如果探出量在预先设定的阈值以上(步骤A16为是)，则图像处理装置24进行敦促乘客10注意的警告处理(步骤A17)。
具体来说，通过从图像处理装置24对控制装置25输出警告信号，将例如"危险，请勿将身体探出"这样的消息通过扬声器26声音输出。
又，警告方法不限于声音，例如可以预先在自动扶梯11的交差部附近设置图未示的显示器，并在该显示器上显示探出提醒的消息。又，也可以与到交差部的距离和探出量相对应阶段性地变换警告等级，或者可以使自动扶梯11的运转减速或停止。
又，此处虽然对在探出危险区域51内乘客10从扶手带14探出规定量以上的情况进行了说明，但是也可以和探出危险区域51无关，在乘客10从扶手带14探出规定量以上的情况下发出警告。
又，在检测到乘客IO探出的情况下，也可以将该检测信号输出至控制装置25，以暂时降低自动扶梯11的运行速度，或者使自动扶梯11停止运行。(超越/穿越检测)
下面，对本系统的图像处理装置的举动检测之一的"超越/穿越检测"进行说明。
图11是显示超越的实例的示意图。图中的Pa、 Pb、 Pc表示自动扶梯11上的乘客。超越检测通过按照时序监视这些乘客Pa、 Pb、 Pc的排列顺序来进行。
艮P，设自动扶梯11上的排列顺序如下所述那样随时间发生变化。通过对拍摄装置22a、22b按照时序拍摄这样的排列顺序变化而得到的拍摄图像进行解析，能够检测到乘客Pc在时间Tl超过了乘客Pb，在时间T2超过了乘客Pa。
时间T0: Pa-Pb-Pc
时间T1: Pa-Pc-Pb
时间T2: Pc-Pa-Pb
图12是显示穿越的实例的示意图。图中的Pa、 Pb、 Pc、 Pd表示自动扶梯11上的乘客。穿越和超越一样，通过按照时序监视这些乘客的排列顺序来检测。
艮P,设在自动扶梯ll上的排列顺序如下所示随时间进行变化。通过对拍摄装置22a、22b按照时序拍摄这样的排列顺序变化而得到的拍摄图像进行解析，能够检测到乘客Pc在时间T2穿越乘客Pa和Pd之间。
时间T0: (Pa， Pd) -Pb-Pc
时间Tl: (Pa， Pd) -Pc-Pb
时间T2: Pc- (Pa， Pd) —Pb
又，作为判定超越/穿越的标准，除了各乘客的排列顺序之外，也可以将移动路线作为标准。
下面，参考图13对本系统的"超越检测"的处理动作进行详细说明。图13是显示本系统的图像处理装置24所进行的"超越检测"处理动作的流程图。又，该流程图所显示的处理通过装载于图像处理装置24的图未示的CPU读取存储在ROM等存
14储器中的规定程序来执行。
首先，作为初始化处理，在将立体拍摄单元21 (拍摄装置22a、 22b)和自动扶梯ll的位置关系预先设定在图像处理装置24中的同时，在图像处理装置24中预先设定与自动扶梯ll的运转方向De、运转速度Ve相关的信息(步骤Bll)。
图像处理装置24通过对由拍摄装置22a、 22b所拍摄的各图像进行解析处理，检测使用自动扶梯11的乘客10 (步骤B12)时，判断该乘客10是站立还是步行(步骤B13)。
此时根据多个拍摄图像求得乘客10的移动速度，如果该移动速度和自动扶梯11的运转速度Ve相同，则判断为乘客站立于踏板12上。又，如果乘客10的移动速度大于自动扶梯ll的运转速度Ve的话，则判断为乘客在自动扶梯ll的运转方向De步行(或跑行)。在判断为乘客10站立在踏板12上的情况下(步骤B14为否)，图像处理装置24不采取任何措施，就这样继续监视。
另一方面，在判断为乘客10正在步行(或者跑行)的情况下(步骤B14为是)，图像处理装置24计算与在自动扶梯11上的其他乘客之间的相对位置，并根据该相对位置求得该乘客10的排列顺序(步骤B15)。然后，图像处理装置24通过按照时序监视乘客10的排列顺序，在与前方乘客交换位置的情况下判定为超越(步骤B16为是)，并进行敦促乘客10注意的警告处理(步骤B17)。
具体来说，通过从图像处理装置24对控制装置25输出警告信号，将例如"危险，请勿在自动扶梯上行走"这样的消息通过扬声器26输出声音。通过扬声器26以声音提醒乘客IO注意。
又，警告方法不限于声音，例如可以通过在自动扶梯11的交差部附近预先设置图未示显示器，并在该显示器上显示探出提醒的消息。
这里虽然说明了超越的实例，但是在穿越的情况下，也同样可以根据着眼的乘客的移动速度和排列顺序来进行判断。但是，如图14的流程图所示，以该乘客超越前方的乘客和乘客之间为条件(步骤Cll)，判断为穿越(步骤C12)。
又，在检测到乘客10的超越和穿越的情况下，将该检测信号输出到控制装置25，可暂时降低自动扶梯11的运转速度，或者使自动扶梯11停止运转。(摔倒检测)
接着，对本系统的图像处理装置24的举动检测之一的"摔倒检测"进行说明。"摔倒检测"是通过监视乘客的头部位置的高度变动进行的。即，如图15所示，例如在短时间T0 T3内，如果乘客10的头部高度从1. 75m变化为0. 30m的情况下，则视为摔倒。
又，加上时间要素，在检测开始时乘客10的头部高度在1.75m，从某一时刻开始头部高度变为0.30m，并且在头部高度0.30m持续规定时间以上的情况下，也可视为摔倒。
下面，参考图16对本系统的"摔倒检测"的处理动作进行详细说明。
图16是显示本系统的图像处理装置24所进行的摔倒检测的处理动作的流程图。又，该流程图所显示的处理通过装载于图像处理装置24的图未示的CPU读取存储在ROM等存储器中的规定程序来执行。
首先，作为初始化处理，在将立体拍摄单元21 (拍摄装置22a、 22b)和自动扶梯ll的位置关系预先设定在图像处理装置24中的同时，在图像处理装置24中预先设定有关自动扶梯ll的运转方向De、运转速度Ve的信息(步骤Dll)。
图像处理装置24通过对拍摄装置22a、 22b所拍摄的各图像进行的解析处理，检测{吏用自动扶梯11的乘客IO (步骤D12),基于自动扶梯11的运转方向De、运转速度Ve求得乘客10的头部高度的时间变动(步骤D13)。其结果，如果乘客10的头部高度的时间变动在阈值以下(步骤D14为否)，则图像处理装置24不采取任何特别的措施，继续这样监视。
另一方面，当乘客10的头部高度的时间变动超过阈值，即变动大的情况下(步骤D14为是)，图像处理装置24判断为乘客10摔倒了，并进行敦促周围的人和监视人员注意的警告处理(步骤D15)。
具体来说，通过从图像处理装置24对控制装置25输出警告信号，通过扬声器26声音输出例如"有人摔倒"这样的消息。通过扬声器26以声音敦促乘客10注意。
又，警告方法不限于声音，例如可以通过在自动扶梯11的交差部附近设置图未示的显示器，并在该显示器上显示探出提醒消息。
又，也可输出"有人摔倒，安全起见停止运行自动扶梯"这样的警告消息，并通过控制装置25停止自动扶梯11的运转。(滞留检测)
接着，对本系统的图像处理装置的举动检测之一的"滞留检测"进行说明。"滞留检测"如图17所示，通过监视自动扶梯11的乘降口附近的乘客10的动作进行。BP，当乘客10在乘降口附近站立了一定时间以上，则判断为滞留状态。此时，如果滞留人数多，乘降口无法通过时，则发出警告。
下面，参考图18对本系统的图像处理装置24所进行"摔倒检测"处理动作进行详细说明。
16图18是显示本系统的图像处理装置24的摔倒检测的处理动作的流程图。又，该流程 图所显示的处理通过装载于图像处理装置24上的图未示的CPU读取储存在ROM等存储器 中的规定程序来执行。
首先，作为初始化处理，将立体拍摄单元21 (拍摄装置22a、 22b)和自动扶梯ll的 位置关系预先设置在图像处理装置24中，同时将自动扶梯ll的乘降口附近作为滞留危险 区域52a、 52b预先设定在图像处理装置24中(步骤Ell).
图像处理装置24通过对拍摄装置22a、 22b所拍摄的各图像进行解析处理，检测使用 自动扶梯11的乘客10 (步骤E12),判断该乘客10是否在滞留危险区域52a或52b (步骤 E13)。结果，当乘客没有在滞留危险区域52a、 52b中的某一个时(步骤E14为否)，图像 处理装置24，不对其采取任何措施，继续这样监视。
另一方面，当乘客10在滞留危险区域52a或52b的时候(步骤E14为是)，图像处 理装置24求得乘客10的移动速度，并判断乘客10是否正站立在那(步骤E15)。其结果， 当乘客10的移动速度比规定速度慢时(步骤E16为是)，图像处理装置24判断为乘客10 正站立，并监视在那的时间(步骤E17)。这样，当检测到乘客10站立规定时间以上时(步 骤E18为是)，图像处理装置24判断为乘客10正滞留在乘降口附近。
此处，对于其他乘客10，同样对他们的滞留状态进行检测(步骤E19),如果在相同 地点滞留人数在规定人数以上的话(步骤E20为是)，图像处理装置24判断为危险，并进 行敦促站立的乘客10注意的警告处理(步骤E21).
又，上述步骤E20中的规定人数是指人无法容易地通过这样程度的人数，例如，如果 是一个踏板上能乘坐两人的自动扶梯的话，那么在两人以上滞留在同一地点的情况下则发 出警告。
具体来说，通过从图像处理装置24对控制装置25输出警告信号，通过扬声器26声 音输出例如"站立在乘降口的话，危险"这样的消息。通过扬声器26以声音敦促乘客10 注意。
又，作为警告方法，不限于声音，例如可在自动扶梯11的交差部附近预先设置图未 示的显示器，并在该显示器上显示提醒探出提醒的消息。
此处虽然是对在滞留危险区域(乘降口附近)滞留规定人数以上的情况下发出警告进 行了说明，但是也可以与人数无关，在检测到正在滞留危险区域(乘降口附近)滞留的状 态的情况下发出警告，也可根据人数来改变警告等级。
又，此处，将乘降口附近设定为滞留危险区域，但也可以将其他地点设置为滞留危险区域，与上述相同地对其上的滞留进行检测并发出警告。
又，也可在检测到乘客IO滞留的情况下，将该检测信号输出至控制装置25，并暂时 降低自动扶梯11的运转速度，或者停止其运转。 (淘气检测)
接着，对本系统的图像处理装置24的举动检测之一的"淘气检测"进行说明。 "淘气检测"以自动扶梯11的入口 (扶手带的进入口)附近的淘气为对象。又，将 作为检测对象的人物设为小孩子。即，如图19所示，将自动扶梯ll的入口附近的四个地 方定为淘气提醒区域53a、 53b、 53c、 54d，'并当头部高度在阈值以下的乘客10在这些地 方站立时间超过规定时间的情况下判断为小孩正在淘气，并进行警告。
下面，参照图20对本系统的"淘气检测"的处理动作进行详细说明。
图20是显示本系统的图像处理装置24所进行的"淘气检测"的处理动作的流程图。 又，该流程图所显示的处理通过装载在图像处理装置24上的图未示的CPU读取存储于ROM 等存储器中的规定程序来执行。
首先，作为初始化处理，立体拍摄单元21 (拍摄装置22a、 22b)和自动扶梯ll的位 置关系预先设定在图像处理装置24中，同时将自动扶梯11的入口附近作为淘气提醒区域 53a、 53b、 53c、 53d预先设定于图像处理装置24中(步骤Fll)。
图像处理装置24通过对拍摄装置22a、 22b所拍摄的各图像进行解析处理，检测使用 自动扶梯11的乘客10 (步骤F12)，并判断该乘客10是否在淘气提醒区域53a、 53b、 53c、 53d中的某一个(步骤F13)。其结果，如乘客10没有在淘气提醒区域53a、 53b、 53c、 53d 中的任何一个时(步骤F14为否)，图像处理装置24不采取任何措施，继续这样监视。
另一方面，如果乘客10在淘气提醒区域53a、 53b、 53c、 53d中的某一个的话(步骤 F14为是)，则图像处理装置24求得该乘客10的头部高度(步骤F15)。其结果，如果乘 客10的头部高度在规定值以下(步骤F16为是)，图像处理装置24继续求得乘客10的移 动速度，判断其是否站立于那里(步骤F17)。
又，上述步骤F16中的规定值是以例如小学生以下的小孩的平均身高为基准确定的。
如果乘客10的移动速度比规定速度要慢(步骤F17为是)，图像处理装置24判断为 乘客10正站立，并监视在那的时间(步骤E17)。这样，如果检测到乘客IO站立规定时间 以上的话(步骤F18为是)，图像处理装置24判断为小孩子正在入口附近淘气(步骤F19)。 这样，如果检测到乘客10正在淘气的状态，则图像处理装置24进行敦促该乘客10注意 的警告处理(步骤F21)。具体来说，通过从图像处理装置24对控制装置25输出警告信号，通过扬声器26声 音输出例如"危险，请勿靠近扶手带的入口处"这样的消息。通过扬声器26利用声音敦 促乘客IO注意。
又，警告方法不限于声音，例如可以在自动扶梯11的交差部附近预先设置图未示的 的显示器，在该显示器上显示探出提醒信息。
又，此处，说明的是以小孩子为对象的淘气检测的情况，但是也可以与小孩无关，在 检测到正在淘气提醒区域(入口附近)站立的状态的情况下发出警告。
又，在周围有大人的情况下，也可视为淘气。周围是否有大人可通过检测正在淘气提 醒区域内站立的乘客10的规定距离内的头部高度在规定值以上的其他的乘客10来判断。 但是，即使大人在附近，由于入口附近危险，因此与是否有大人或小孩子的状况没有关系， 只要入口附近有站立的人，则马上发出警告，这样在安全上更为理想。
又，此处虽然将入口附近设为淘气提醒区域，但是也能够构成为将其他地点设定为淘 气提醒区域，并与上述相同地对这些地方的淘气进行检测并发出警告。
又，也可在检测到乘客10正在淘气提醒区域淘气时，将该检测信号输出至控制装置 25并使自动扶梯ll停止运转。
基于上述的系统，由于使用两台拍摄装置22a、 22b对自动扶梯ll进行监视，因此能 够不大受拍摄装置22a、 22b的设置地点的影响，能正确地检测包括拍摄范围的进深方向 在内的乘客10的位置。从而，例如当乘客在自动扶梯11的扶手带14的附近时，能够正 确判断乘客10是探出扶手带14的外侧，还是在扶手带14的内侧正确乘坐，并采取相应 的措施。
又，当乘客10摔倒等情况下，能够在自动扶梯ll的进深方向上正确地判定其位置， 并采取相应的措施。
又，即使在严重拥挤的环境即发生阻塞(才夕々一^3乂)的环境下，能根据拍摄图 像正确地检测各乘客10的位置，并在事故已发生的情况下进行详细的检证。
又，通过与自动扶梯11的运行信息一起对乘客IO进行监视，可实时检测"探出"、"超 越"、"穿越"、"摔倒"、"滞留"、"淘气"这些举动，并能够通过对危险的举动发出警告将 事故防患于未然。
又，上述实施例中，虽然采用两台拍摄装置22a、 22b对自动扶梯ll进行监视，但是 也可采用三台以上的拍摄装置对自动扶梯11进行监视。但是，如果拍摄装置台数增加， 则设置设备相应变大，成本也相应变高，处理图像还需要花费时间，因此最理想的还是如
19上述实施例那样采用两台拍摄装置22a、 22b进行监视。
又，在上述实施例中，虽然如图l所示图像处理装置24和控制装置25分开构成，f旦 是也能够使控制装置25具有图像处理装置24所具有的功能，从而仅构成控制装置25即 可。
简言之，本发明不限定于上述的实施例，在实施阶段只要在不脱离发明主旨的前提下 可对构成要素进行变形并具体化。又，还可对上述实施例所揭示的多个构成要素进行适当 的组合，形成种种其他的实施例。例如，可省略上述实施例中所示的所有构成要素中的几 个。进一步的，可将不同实施例的构成要素进行适当的组合。
发明的效果
根据本发明，可正确检测使用自动扶梯的乘客，并对该乘客的危险举动发出警告，将 事故防患于未然。
权利要求
1.一种自动扶梯监视系统，其特征在于，包括设置在能够监视自动扶梯整体的地方的至少两台拍摄装置；三维信息取得部，其根据所述至少两台拍摄装置拍摄到的各图像取得三维信息；乘客检测部，其解析由所述三维信息取得部得到的三维信息，并检测使用所述自动扶梯的乘客的包括拍摄范围的进深方向在内的位置。
2. 如权利要求l所述的自动扶梯监视系统，其特征在于，其进一步包括 举动检测部，其基于所述自动扶梯的运行信息，检测通过所述乘客检测部检测到的乘客的举动。
3. 如权利要求2所述的自动扶梯监视系统，其特征在于， 所述自动扶梯的运行信息包括有关预先设定的探出危险区域的信息，所述举动检测部，检测由所述乘客检测部检测到的乘客正在所述探出危险区域从设置 于所述自动扶梯上的扶手向外侧探出规定量以上的状态。
4. 如权利要求2所述的自动扶梯监视系统，其特征在于，所述自动扶梯的运行信息包括有关所述自动扶梯的运转方向的信息， 所述举动检测部，检测由所述乘客检测部检测到的乘客正在所述自动扶梯的运转方向 上以规定速度以上的速度移动并超越前面的乘客的状态。
5. 如权利要求2所述的自动扶梯监视系统，其特征在于，所述自动扶梯的运行信息包括有关所述自动扶梯的运转方向的信息， 所述举动检测部，检测由所述乘客检测部检测到的乘客正在所述自动扶梯的运转方向 上以规定速度以上的速度移动并在前面的乘客和乘客之间穿越的状态。
6. 如权利要求2所述的自动扶梯监视系统，其特征在于， 所述自动扶梯的运行信息包括有关所述自动扶梯的运转方向的信息， 所述举动检测部，根据由所述乘客检测部检测到的乘客正在所述自动扶梯的运转方向上移动时的头部高度的时间变动来检测摔倒了的状态。
7. 如权利要求2所述的自动扶梯监视系统，其特征在于， 所述自动扶梯的运行信息包括有关预先设定的滞留危险区域的信息， 所述举动检测部，检测由所述乘客检测部检测到的乘客正在所述自动扶梯的滞留危险区域内滞留规定时间以上的状态。
8. 如权利要求7所述的自动扶梯监视系统，其特征在于，所述举动检测部检测在所述自动扶梯滞留危险区域内滞留规定时间以上的乘客的人数。
9.如权利要求2所述的自动扶梯监视系统，其特征在于， 所述自动扶梯的运行信息包括有关预先设定的淘气提醒区域的信息， 所述举动检测部，检测由所述乘客检测部检测到的乘客在所述自动扶梯的淘气提醒区 域内停止规定时间以上的状态。
10. 如权利要求9所述的自动扶梯监视系统，其特征在于，所述举动检测部以由所述 乘客检测部检测到的乘客的头部高度在规定值以下的人物为对象，检测其在所述自动扶梯 的淘气提醒区域停止规定时间以上的状态。
11. 如权利要求2到10中任意一项所述的自动扶梯监视系统，其特征在于，进一步包 括-警告部，其根据通过所述举动检测部检测到的乘客的举动进行警告处理。
12. 如权利要求ll所述的自动扶梯监视系统，其特征在于，所述警告部根据所述举动 检测部所检测到的乘客的举动改变警告等级来进行警告。
13. 如权利要求l所述的自动扶梯监视系统，其特征在于，进一步包括 信息测定部，其基于由所述乘客检测部检测到的乘客的位置的时序信息和所述自动扶梯的运行信息，测定该乘客的移动速度、加速度、移动方向、移动路线、存在时间的信息;乘降状态检测部，其基于所述信息测定部的测定结果，检测乘降数、乘降时间、滞留 时间、移动状态中的至少一个。
全文摘要
本发明提供一种自动扶梯监视系统，在能监视自动扶梯(11)整体的地点至少设置两台拍摄装置(22a、22b)，将通过该拍摄装置(22a、22b)拍摄到的各图像传送到图像处理装置(24)。在图像处理装置(24)中，根据上述各图像获取三维信息，解析这些三维信息，检测使用自动扶梯(11)的乘客(10)的包括拍摄范围的进深方向的位置，同时，基于自动扶梯(11)的运行信息，检测该乘客(10)的举动。
文档编号B66B29/00GK101670973SQ20091016051
公开日2010年3月17日 申请日期2009年7月20日 优先权日2008年9月9日
发明者榎原孝明, 泽田彰, 田中正巳, 马场贤二 申请人:东芝电梯株式会社