群集监视装置和群集监视系统的制作方法

本发明涉及预测群集流动的群集监视装置和群集监视系统。

背景技术：

以往，公知有估计拥挤度或人流等的技术。

例如，在专利文献1中公开了如下技术：在车站站台或广场等中，不仅考虑固定的空间信息，还考虑铁道的时刻表信息、车站的进站出站历史信息等传感器之间的动态因果关系，估计拥挤度或人流等。

现有技术文献

专利文献

专利文献1：日本特开2013-116676号公报

技术实现要素：

发明要解决的课题

但是，在专利文献1所公开的技术中，例如，需要事前建立对拥挤度与车站的进站出站历史信息等之间的因果关系进行结构化的人流的历史的数据库，在室外或室内的事件会场等、很难事前建立人流的历史的数据库的环境下，存在有时很难估计人流这样的课题。

本发明是为了解决上述课题而完成的，其目的在于，提供能够在无法预先掌握拥挤度或群集流动的环境下估计拥挤度或群集流动的群集监视装置和群集监视系统。

用于解决课题的手段

本发明的群集监视装置具有：参数导出部，其根据表示由传感器检测到的目标群的、被赋予了以实际空间为基准的空间特征量的信息的传感器数据，导出状态参数，该状态参数表示该传感器数据所表示的目标群的状态特征量；以及群众状态预测部，其根据参数导出部导出的状态参数，生成预测了目标群的状态的预测数据。

发明效果

根据本发明，能够在无法预先掌握拥挤度或群集流动的环境下估计拥挤度或群集流动。

附图说明

图1是具有本发明的实施方式1的群集监视装置的警备辅助系统的结构图。

图2是构成实施方式1的警备辅助系统的传感器的结构图。

图3是说明实施方式1中、图像解析部的详细结构的图。

图4是本发明的实施方式1的群集监视装置的结构图。

图5是说明实施方式1中、传感器的动作的流程图。

图6是说明图5的步骤st502中的第1图像解析处理的动作的一例的流程图。

图7是示出实施方式1中、比例尺估计部进行输入图像上的目标的比例尺估计的结果的图形的一例的图。

图8是说明图5的步骤st503中的第2图像解析处理的动作的一例的流程图。

图9是示出实施方式1中、图案解析部进行图7中例示的输入图像上的编码图案的解析的结果的图形的一例的图。

图10是示出实施方式1中、显示空间编码图案(codepattern)pnx的显示设备的一例的图。

图11是示出实施方式1中、图案解析部估计目标(object)的测位信息的结果的图形的一例的图。

图12是示出实施方式1中、空间描述符的格式的例子的图。

图13是示出实施方式1中、空间描述符的格式的例子的图。

图14是示出实施方式1中的gnss信息的描述符、即地理描述符的格式的例子的图。

图15是示出实施方式1中的gnss信息的描述符、即地理描述符的格式的例子的图。

图16是说明本发明的实施方式1的群集监视装置的动作的流程图。

图17是用于说明实施方式1中、群众参数导出部确定群众的区域的动作的一例的图。

图18是说明实施方式1中、群众状态预测部的时间群众状态预测部预测未来的群众状态而生成“时间预测数据”的方法的一例的图。

图19a、图19b是说明使外部设备的显示装置显示由状态提示部生成的视觉数据的图形的一例的图。

图20a、图20b是说明使外部设备的显示装置显示由状态提示部生成的视觉数据的图形的另一例的图。

图21是说明实施方式1中、使外部设备的显示装置显示由状态提示部生成的视觉数据的图形的又一例的图。

图22a、图22b是示出本发明的实施方式1的群集监视装置的硬件结构的一例的图。

图23a、图23b是示出本发明的实施方式1的图像处理装置的硬件结构的一例的图。

图24是本发明的实施方式2的群集监视装置的结构图。

图25是说明实施方式3中、时间群众状态预测部设“群众行动的种类”检测为“对向流”的群众的移动方向为2个方向的一例的图。

图26是说明实施方式3中、计算通过人数的区域的一例的图。

图27是示出实施方式3中、摄像图像内的流量计算区域和流量计算区域内的规定线的图形的一例的图。

图28是说明实施方式3中、设为具有在规定线向“in”方向移动的流来计数的像素数与群众的密度的关系的一例的图。

图29a、图29b是用于说明实施方式3中、摄像图像内得到的像素数与群众的密度的关系的一例的图。

图30是示出实施方式3中、所计数的像素数除以每一人的像素数而得到的值与“in”方向的流量的关系的一例的图。

图31是实施方式3中、针对一个影像帧执行的群集流量计算处理的处理流程。

图32是示出实施方式3中、作为群集的位置关系的模型而使人物呈格子状排列的状态的一例的图。

图33是用于说明实施方式3中、根据格子状模型相对于照相机光轴方向的倾斜而使前景区域的外观、面积变动的例子的图。

图34是用于说明实施方式3中、根据格子状模型相对于照相机光轴方向的倾斜而使前景区域的外观、面积变动的例子的图。

图35是用于说明实施方式3中、用户手动指定用于利用平面对计测对象区域的路面进行近似的参数的例子的图。

图36是用于说明实施方式3中、照相机影像里侧的人物区域被近前的人物遮挡的人物区域的图。

图37是说明图像处理装置能够蓄积描述符的信息的结构的一例的图。

具体实施方式

下面，参照附图对本发明的实施方式进行详细说明。

实施方式1

图1是具有本发明的实施方式1的群集监视装置10的警备辅助系统1的结构图。

这里，作为一例，作为应用本发明的实施方式1的群集监视装置10的群集监视系统，下面以警备辅助系统1为例进行说明。

该实施方式1中的警备辅助系统1例如能够将存在于设施内部、事件会场或市区等场所的群众、和该场所配置的警备负责人作为利用对象而加以运用。

在设施内部、事件会场和市区等成群的多人即包含警备负责人在内的群众聚集的场所，有时常常产生拥挤。拥挤损害该场所的群众的舒适性，此外，过密的拥挤成为踩踏群众的事故的原因，因此，通过适当的警备来避免拥挤是极其重要的。此外，迅速发现受伤的人、身体状况不好的人、交通弱者和采取危险行动的人物或集体并进行适当的警备，在群众的保安中是很重要的。

在该实施方式1中的警备辅助系统中，例如，群集监视装置10根据基于从作为传感器401、402、…、40p的摄像装置取得的图像数据估计出的状态，向用户提示表示群众的状态的信息和适当的警备计划作为对警备辅助有用的信息。

另外，在该实施方式1中，关于用户，例如假设为群众或监视对象区域的警备员。另外，在该实施方式1中，对象区域是指作为监视群众的对象的范围。

如图1所示，警备辅助系统1具有群集监视装置10、传感器401、402、…、40p、服务器装置501、502、…、50n、外部设备70。

传感器401、402、…、40p和群集监视装置10经由通信网络nw1连接。

在图1中，传感器401、402、…、40p为3台以上，但是，这只不过是一例，也可以是1台或2台传感器经由通信网络nw1而与群集监视装置10连接。

此外，服务器装置501、502、…、50n和群集监视装置10经由通信网络nw2连接。

在图1中，服务器装置501、502、…、50n为3台以上，但是，这只不过是一例，也可以是1台或2台服务器装置经由通信网络nw2而与群集监视装置10连接。

作为通信网络nw1、nw2，例如举出有线lan或无线lan等内部通信网、对据点之间进行连接的专用线路网或互联网等广域通信网。另外，在该实施方式1中，构成为通信网络nw1、nw2相互不同，但是不限于此。通信网络nw1、nw2也可以构成一个通信网络。

传感器401、402、…、40p分散配置在一个或多个对象区域内，传感器401、402、…、40p分别以电气或光学方式检测对象区域的状态而生成检测信号，对该检测信号实施信号处理，由此生成传感器数据。该传感器数据包含已处理数据，该已处理数据表示对由检测信号表示的检测内容进行抽象化或紧凑化的内容。

传感器401、402、…、40p经由通信网络nw1向群集监视装置10发送所生成的传感器数据。

在该实施方式1中，作为一例，传感器401、402、…、40p是照相机等摄像装置，但是不限于此，作为传感器401、402、…、40p，能够使用各种传感器。

传感器401、402、…、40p的种类大致分成设置在固定位置的固定传感器、以及搭载于移动体中的移动传感器这2种。作为固定传感器，例如能够使用光学照相机、激光测距传感器、超声波测距传感器、拾音麦克风、热感照相机、暗视照相机和立体照相机。另一方面，作为移动传感器，除了与固定传感器相同种类的传感器以外，例如还能够使用测位计、加速度传感器、生物传感器。移动传感器主要能够用于如下用途：与作为检测对象的群众、即作为传感对象的目标群一起移动并进行感测，由此，直接感测该目标群的动作和状态。此外，也可以，由人观察目标群的状态，利用受理表示该观察结果的主观数据输入的设备作为传感器的一部分。这种设备例如能够通过该人持有的智能手机或可穿戴设备等移动通信终端提供该主观数据作为传感器数据。

另外，这些传感器401、402、…、40p可以仅由一种传感器构成，或者，也可以由多种传感器构成。

传感器401、402、…、40p分别设置在能够以电气或光学方式检测对象区域的状态的位置、即这里为能够检测群众的位置，在警备辅助系统1动作的期间内，能够根据需要传输检测群众的结果。固定传感器例如设置在路灯、电线杆、天花板或墙壁上。移动传感器由警备员携带，或者搭载于警备机器人或巡逻车等移动体上。此外，也可以使用附属于成为群众的各个人或警备员持有的智能手机或可穿戴设备等移动通信终端的传感器作为该移动传感器。该情况下，优选预先在成为作为警备对象的群众的各个人或警备员持有的移动通信终端中构筑传感器数据收集的框架，以使得预先安装传感器数据收集用的应用或软件。

服务器装置501、502、…、50n发布sns(socialnetworkingservice/socialnetworkingsite)信息和公共信息等公开数据。sns指twitter(注册商标)或facebook(注册商标)等实时性较高、且利用者的投稿内容一般被公开的交流服务或交流网站。sns信息是这种交流服务或交流网站中一般被公开的信息。此外，作为公共信息，例如举出由自治体等行政单位、公共交通机关或气象局提供的交通信息或气象信息、服务提供商等提供的面向智能手机的应用利用者的位置信息等。

群集监视装置10根据从分散配置在一个或多个对象区域内的传感器401、402、…、40p发送的传感器数据，掌握或预测对象区域内的群众的状态。

此外，群集监视装置10在取得从通信网络nw2上的服务器装置501、502、…、50n发布的公开数据的情况下，根据该取得的传感器数据和公开数据掌握或预测对象区域内的群众的状态。

此外，群集监视装置10根据所掌握或预测的对象区域内的群众的状态，通过运算来导出加工成用户容易理解的形式的表示群众的过去、当前或未来的状态的信息以及适当的警备计划，向外部设备70发送该表示过去、当前或未来的状态的信息和警备计划，作为对警备辅助有用的信息。

外部设备70例如是专用的监视器设备、通用的pc(personalcomputer)、平板终端或智能手机等信息终端、或不确定的多人能够视听的大型显示器和扬声器等。

外部设备70输出从群集监视装置10发送的包含表示过去、当前或未来的状态的信息和警备计划在内的对警备辅助有用的信息。关于外部设备70输出对警备辅助有用的信息的输出方法，例如，如果外部设备70是监视器设备，则可以作为影像显示在画面中，如果外部设备70是扬声器，则可以作为声音进行输出，如果外部设备70是信息终端，则可以通过振动器使信息终端进行振动，能够结合外部设备70的形式而采用适当的输出方法。

警备员或群众通过确认从外部设备70输出的信息，能够掌握对象区域内的群众的当前或未来的状态、警备计划等。

图2是构成实施方式1的警备辅助系统1的传感器401的结构图。

首先，对该实施方式1中的传感器401的结构进行说明。

另外，如上所述，在该实施方式1中，作为一例，设传感器是照相机等摄像装置。在图2中，图示了传感器401、402、…、40p中的传感器401的结构，但是，在该实施方式1中，设传感器402、…、40p是与图2所示的传感器401相同的结构。

在该实施方式1中，传感器401、402、…、40p对对象区域进行摄像，对摄像图像进行解析，检测该摄像图像中出现的目标，生成表示该检测到的目标的空间特征量、地理特征量和视觉特征量的描述符数据，将其与图像数据一起发送到群集监视装置10。

如图2所示，传感器401搭载图像处理装置20，具有摄像部101和数据传输部102。

另外，这里，如图2所示，设图像处理装置20搭载于传感器401上，但是不限于此，图像处理装置20也可以设置在传感器401的外部，经由网络而与传感器401的摄像部101和数据传输部102连接。

摄像部101对对象区域进行摄像，将进行摄像而得到的摄像图像的图像数据(图2的vd)输出到图像处理装置20。另外，摄像部101进行摄像并输出的图像数据包含静态图像数据或动态图像数据。

摄像部101具有形成存在于对象区域内的被摄体的光学像的摄像光学系统、将该光学像转换为电信号的固体摄像元件、将该电信号作为静态图像数据或动态图像数据进行压缩编码的编码器电路。作为固体摄像元件，例如使用ccd(charge-coupleddevice)或cmos(complementarymetal-oxidesemiconductor)元件即可。

摄像部101在将固体摄像元件的输出作为图像数据进行压缩编码的情况下，例如能够按照mpeg-2ts(movingpictureexpertsgroup2transportstream)、rtp/rtsp(real-timetransportprotocol/realtimestreamingprotocol)、mmt(mpegmediatransport)或dash(dynamicadaptivestreamingoverhttp)等流方式，生成压缩编码后的动态图像流。另外，该实施方式1中使用的流方式不限于mpeg-2ts、rtp/rtsp、mmt和dash。但是，在任意的流方式中，需要使能够利用图像处理装置20唯一分离动态图像流中包含的动态图像数据的标识符信息在该动态图像流内进行复用。

图像处理装置20对从摄像部101取得的图像数据进行图像解析，将表示解析结果的空间描述符或地理描述符(图2的dsr)与图像数据关联起来输出到数据传输部102。

图像处理装置20的详细结构在后面叙述。

数据传输部102将摄像部101输出的图像数据和图像处理装置20输出的描述符相互关联起来并进行复用，作为传感器数据经由通信网络nw1发送到群集监视装置10。

对图像处理装置20的详细结构进行说明。

如图2所示，图像处理装置20具有图像解析部21和描述符生成部22。

图像解析部21从摄像部101取得图像数据，进行图像解析。图像解析部21将解析结果输出到描述符生成部22。具体而言，图像处理装置20具有输入接口装置(图示省略)，输入接口装置受理从摄像部101输出的图像数据，将该受理的图像数据输出到图像解析部21。即，图像解析部21经由输入接口装置取得从摄像部101输出的图像数据。

描述符生成部22根据图像解析部21输出的解析结果，生成表示该解析结果的空间描述符或地理描述符。此外，描述符生成部22具有如下功能：除了生成空间描述符或地理描述符以外，例如还生成表示目标的颜色、纹理、形状、运动和面部等特征量的视觉描述符等、基于mpeg标准的已知描述符。该已知描述符例如中mpeg-7中有所规定，因此省略详细说明。

描述符生成部22将所生成的描述符的信息输出到数据传输部102。具体而言，图像处理装置20具有输出接口装置(图示省略)，输出接口装置将描述符生成部22生成的描述符的信息输出到数据传输部102。即，描述符生成部22经由输出接口装置将描述符的信息输出到数据传输部102。

图3是说明实施方式1中、图像解析部21的详细结构的图。

如图3所示，图像解析部21具有图像识别部211、图案存储部212、解码部213。

图像识别部211由目标检测部2101、比例尺估计部2102、图案检测部2103、图案解析部2104构成。

解码部213取得摄像部101输出的图像数据，按照摄像部101中使用的压缩编码方式，对压缩后的图像数据进行解码。解码部213将解码后的图像数据作为解码数据输出到图像识别部211。

图案存储部212例如存储表示行人等人体、信号灯、标识、汽车、自行车和建造物等多种多样的目标的平面形状、立体形状、大小和颜色等特征的图案。图案存储部212存储的图案是预先决定的。

图像识别部211的目标检测部2101对从解码部213取得的解码数据所表示的一个或多个输入图像进行解析，检测该输入图像中出现的目标。具体而言，目标检测部2101对由解码数据表示的输入图像和图案存储部212中存储的图案进行比较，由此检测输入图像中出现的目标。

目标检测部2101将检测到的目标的信息输出到比例尺估计部2102、图案检测部2103。

图像识别部211的比例尺估计部2102估计由目标检测部2101检测到的目标的、以实际的摄像环境即实际空间为基准的空间特征量作为比例尺信息。作为目标的空间特征量，优选估计表示该实际空间中的目标的物理尺寸的量。下面，将表示实际空间中的目标的物理尺寸的量简称为“物理量”。目标的物理量例如是目标的高度或横宽、或者目标的高度或横宽的平均值。

具体而言，比例尺估计部2102参照图案存储部212，取得由目标检测部2101检测到的目标的物理量。例如，在目标是信号灯和标识等的情况下，信号灯和标识等的形状和尺寸已知，因此，例如作为用户的警备员事前将信号灯和标识等的形状和尺寸的数值存储在图案存储部212中。此外，例如，在目标是汽车、自行车和行人等的情况下，汽车、自行车和行人等的形状和尺寸的数值的偏差收敛在一定范围内，因此，例如作为用户的警备员事前将汽车、自行车和行人等的形状和尺寸的平均值存储在图案存储部212中。

此外，比例尺估计部2102例如还能够估计目标朝向的方向等目标的姿态作为空间特征量之一。

在传感器401具有立体照相机或测距照相机等的三维图像生成功能的情况下，摄像部101进行摄像且在解码部213中进行解码的图像不仅包含目标的强度信息，还包含该目标的深度(depth)信息。该情况下，比例尺估计部2102针对由目标检测部2101检测到的目标，还能够取得目标的深度信息作为物理量之一。

图像识别部211的图案检测部2103和图案解析部2104估计由目标检测部2101检测到的目标的地理信息。地理信息例如是表示目标在地球上的位置的测位信息。

图案检测部2103检测解码部213解码后的图像数据所表示的图像中的编码图案。在目标检测部2101检测到的目标的附近检测编码图案，该编码图案例如是二维码等空间编码图案、或者使光按照规定的规则进行闪烁的图案等时间序列的编码图案。或者，也可以是空间编码图案和时间序列的编码图案的组合。图案检测部2103将检测到的编码图案输出到图案解析部2104。

图案解析部2104对从图案检测部2103取得的编码图案进行解析，检测测位信息。图案解析部2104将检测到的测位信息输出到描述符生成部22。

接着，对本发明的实施方式1的群集监视装置10的结构进行说明。

图4是本发明的实施方式1的群集监视装置10的结构图。

如图4所示，群集监视装置10具有传感器数据接收部11、公开数据接收部12、参数导出部13、群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17。

参数导出部13具有群众参数导出部131、132、…、13r。

群众状态预测部14具有空间群众状态预测部141和时间群众状态预测部142。

传感器数据接收部11接收从传感器401、402、…、40p发送的传感器数据。传感器数据接收部11将接收到的传感器数据输出到参数导出部13。

公开数据接收部12接收从服务器装置501、502、…、50n经由通信网络nw2公开的公开数据。公开数据接收部12将接收到的公开数据输出到参数导出部13。

参数导出部13取得从传感器数据接收部11输出的传感器数据，根据所取得的传感器数据导出表示由传感器401、402、…、40p检测到的群众的状态特征量的状态参数。此外，参数导出部13在取得了从公开数据接收部12输出的公开数据的情况下，根据从传感器数据接收部11取得的传感器数据和从公开数据接收部12取得的公开数据，导出表示由传感器401、402、…、40p检测到的群众的状态特征量的状态参数。

参数导出部13的群众参数导出部131、132、…、13r分别对从传感器数据接收部11输出的传感器数据或从公开数据接收部12输出的公开数据进行解析，导出表示群众的状态特征量的r种(r为3以上的整数)状态参数。另外，这里，如图4所示，群众参数导出部131～13r设为3个以上，但是不限于此，群众参数导出部也可以是1个或2个。参数导出部13将导出的状态参数输出到群众状态预测部14、警备计划导出部15和状态提示部16。

群众状态预测部14根据从参数导出部13输出的当前或过去的状态参数，预测群众状态。

群众状态预测部14的空间群众状态预测部141根据从参数导出部13输出的状态参数，预测未设置传感器的区域的群众状态。空间群众状态预测部141将表示未设置传感器的区域的群众状态的预测结果的数据输出到警备计划导出部15和状态提示部16。这里，将表示未设置传感器的区域的群众状态的预测结果的数据称为“空间预测数据”。

群众状态预测部14的时间群众状态预测部142根据从参数导出部13输出的状态参数，预测未来的群众状态。时间群众状态预测部142将表示未来的群众状态的预测结果的数据输出到警备计划导出部15和状态提示部16。这里，将表示未来的群众状态的预测结果的数据称为“时间预测数据”。

警备计划导出部15根据从参数导出部13输出的状态参数和从群众状态预测部14输出的未来的群众状态的信息，导出警备计划方案。警备计划导出部15将导出的警备计划方案的信息输出到计划提示部17。

状态提示部16根据从参数导出部13输出的状态参数和从群众状态预测部14输出的群众状态的信息，生成以用户容易理解群众的过去的状态、当前的状态和未来的状态的格式表示的视觉数据或音频数据。另外，当前的状态包含实时变化的状态。

此外，状态提示部16向外部设备71、72发送所生成的视觉数据或音频数据，作为影像或声音进行输出。

计划提示部17取得从警备计划导出部15输出的警备计划方案的信息，生成以用户容易理解所取得的信息的格式表示的视觉数据或音频数据。

此外，计划提示部17向外部设备73、74发送所生成的视觉数据或音频数据，作为影像或声音进行输出。

另外，这里，设群集监视装置10具有公开数据接收部12，但是不限于此，群集监视装置10也可以不具有公开数据接收部12。

对动作进行说明。

首先，对构成该实施方式1的警备辅助系统1的传感器401、402、…、40p经由通信网络nw1向群集监视装置10发送传感器数据的动作进行说明。

图5是说明实施方式1中、传感器401的动作的流程图。另外，这里，以传感器401的动作为代表进行说明，传感器402～40p的动作与传感器401的动作相同，因此省略重复的说明。

摄像部101对对象区域进行摄像，将进行摄像而得到的摄像图像的图像数据输出到图像处理装置20的图像解析部21(步骤st501)。

图像解析部21执行第1图像解析处理(步骤st502)。

这里，图6是说明图5的步骤st502中的第1图像解析处理的动作的一例的流程图。

图像解析部21的解码部213取得图5的步骤st501中从摄像部101输出的图像数据，按照摄像部101中使用的压缩编码方式，对压缩后的图像数据进行解码(步骤st601)。解码部213将解码后的图像数据作为解码数据输出到图像识别部211。

图像识别部211的目标检测部2101对从解码部213取得的解码数据所表示的一个或多个输入图像进行解析，检测该输入图像中出现的目标(步骤st602)。具体而言，目标检测部2101对由解码数据表示的输入图像和图案存储部212中存储的图案进行比较，由此检测输入图像中出现的目标。

这里，作为目标检测部2101检测的目标的检测对象，例如优选为信号灯或标识等的大小和形状已知的目标、或者汽车、自行车和行人等的以各种方式的变形出现在动态图像内且其平均尺寸与已知的平均尺寸以充分精度一致的目标。此外，也可以检测该目标相对于画面的姿态和深度信息。目标检测部2101将检测到的目标的信息与从解码部213取得的解码数据一起输出到比例尺估计部2102、图案检测部2103。

图像识别部211的比例尺估计部2102根据步骤st602中目标检测部2101检测到的目标的信息，判定是否检测到目标的空间特征量的估计即比例尺信息的估计所需要的目标(步骤st603)。另外，比例尺信息的估计也称为“比例尺估计”。“比例尺估计”的详细情况在后面叙述。

在步骤st603中判定为未检测到比例尺估计所需要的目标的情况下(步骤st603的“否”的情况下)，返回步骤st601。此时，比例尺估计部2102对解码部213输出解码指示，在解码部213中，当取得该解码指示后，从摄像部101新取得图像数据，进行图像数据的解码。

在步骤st603中判定为检测到比例尺估计所需要的目标的情况下(步骤st603的“是”的情况下)，比例尺估计部2102针对从目标检测部2101取得的目标进行比例尺估计(步骤st604)。这里，作为一例，比例尺估计部2102估计每1个像素的物理尺寸作为目标的比例尺信息。

在通过目标检测部2101检测到目标时，比例尺估计部2102取得目标检测部2101检测到的目标的信息，首先，进行所取得的目标的形状和图案存储部212中存储的目标的形状的比对，确定图案存储部212中存储的目标中的、与所取得的目标的形状一致的目标。接着，比例尺估计部2102针对所确定的目标，从图案存储部212取得与该目标相关联地存储在图案存储部212中的物理量。

然后，比例尺估计部2102根据所取得的物理量和解码数据，估计目标检测部2101检测到的目标的比例尺信息。

具体而言，例如，设为在由解码数据表示的输入图像中以正对着传感器401即摄像装置的形式映出圆形的标识，该标识的直径在由解码数据表示的图像上相当于100像素。此外，设为在图案存储部212中存储有该标识的直径0.4m这样的信息作为物理量。首先，目标检测部2101通过形状的比对来检测该标识，取得0.4m这样的值作为物理量。

比例尺估计部2102针对目标检测部2101检测到的标识，根据该标识在输入图像上相当于100像素这样的信息以及图案存储部212中存储的该标识的直径0.4m这样的信息，在输入图像上，将该标识的比例尺估计为0.004m/像素。

图7是示出实施方式1中、比例尺估计部2102进行输入图像上的目标的比例尺估计的结果的图形的一例的图。

在图7中，设为在由解码数据表示的输入图像上、即摄像部101进行摄像而得到的摄像图像上检测到建筑物的目标301、302、构造物的目标303、背景的目标304。

示出如下内容：关于建筑物的目标301的比例尺信息，比例尺估计部2102的比例尺估计的结果是估计为1m/像素，关于另一个建筑物的目标302的比例尺信息，比例尺估计部2102的比例尺估计的结果是估计为10m/像素，关于构造物的目标303的比例尺信息，比例尺估计部2102的比例尺估计的结果是估计为1cm/像素。此外，示出关于背景的目标304，从摄像部101到背景的距离在实际空间中视为无限远，因此，比例尺估计部2102将背景的目标304的比例尺信息估计为无限大。另外，关于背景，在图案存储部212中预先存储有尺寸信息设为无限大的信息即可。

此外，例如，在由目标检测部2101检测到的目标是汽车或行人等在地面上移动的移动体的情况下、或者是护栏这样的存在于地面上且配置在从地面起大致一定的位置的物体的情况下，这种目标所在的区域是该移动体能够移动的区域、且约束在特定平面上的区域的可能性较高。由此，比例尺估计部2102能够根据该约束条件检测汽车或行人等移动的平面，并且根据该汽车或行人等目标的物理尺寸的估计值和汽车或行人等的平均尺寸的信息导出与该平面之间的距离。由此，在无法估计输入图像中出现的全部目标的比例尺信息的情况下，没有特别的传感器也能够检测映出目标的地点的区域、或作为取得比例尺信息的对象的重要道路等的区域。

如上所述，通过解码部213、图像识别部211的目标检测部2101、比例尺估计部2102进行第1图像解析处理。

另外，这里，在未检测到比例尺估计所需要的目标的情况下(步骤st603的“否”的情况下)，返回步骤st601，反复进行以后的处理，但是不限于此，也可以返回步骤st601，判定是否检测到比例尺估计所需要的目标(步骤st603)，在判定为经过一定时间也未检测到比例尺估计所需要的目标的情况下，即，反复进行步骤st601～步骤st603的处理而经过了一定时间的情况下，结束第1图像解析处理。

返回图5的流程图。

在上述第1图像解析处理(步骤st502)完成后，图像识别部211执行第2图像解析处理(步骤st503)。

这里，图8是说明图5的步骤st503中的第2图像解析处理的动作的一例的流程图。

图案检测部2103从解码部213取得解码数据(参照图5的步骤st501)，检索由所取得的解码数据表示的输入图像，从该图像中检测编码图案(步骤st801)。

图案检测部2103将检测到的编码图案的信息输出到图案解析部2104。

图案解析部2104根据从图案检测部2103取得的编码图案的信息，判定是否检测到编码图案(步骤st802)。

在步骤st802中判定为未检测到编码图案的情况下(步骤st802的“否”的情况下)，返回图5的步骤st502。

例如，图案检测部2103在步骤st801中无法检测编码图案的情况下，将不存在编码图案这样的信息输出到图案解析部2104。该情况下，在图案解析部2104中判定为未检测到编码图案。

在步骤st802中判定为检测到编码图案的情况下(步骤st802的“是”的情况下)，图案解析部2104对从图案检测部2103取得的编码图案的信息进行解析，估计测位信息(步骤st803)。图案解析部2104将估计出的测位信息输出到描述符生成部22。

图9是示出实施方式1中、图案解析部2104进行图7中例示的输入图像上的编码图案的解析的结果的图形的一例的图。

在图9中，设为在由解码数据表示的输入图像上、即摄像部101进行摄像而得到的摄像图像上检测到编码图案pn1、pn2、pn3。

图案解析部2104得到各编码图案所表示的纬度和经度这样的绝对坐标信息，作为编码图案pn1、pn2、pn3的解析结果。图9中点状所示的编码图案pn1、pn2、pn3是二维码这样的空间图案、或光的闪烁图案这样的时间序列的图案、或它们的组合。图案解析部2104对输入图像中出现的编码图案pn1、pn2、pn3进行解析，检测测位信息。

图10是示出实施方式1中、显示空间编码图案pnx的显示设备40的一例的图。图10所示的显示设备40具有如下功能：接收全球导航卫星系统(globalnavigationsatellitesystem、gnss)的导航信号，根据该导航信号对自己的当前位置进行测位，在显示画面41中显示表示该测位信息的编码图案pnx。通过在目标的附近配置这种显示设备40，如图11所示，图案检测部2103能够检测编码图案，图案解析部2104能够根据图案检测部2103检测到的编码图案检测目标的测位信息。

另外，基于gnss的测位信息也称为gnss信息。作为gnss，例如能够利用美国运用的gps(globalpositioningsystem)、俄罗斯联邦运用的glonass(globalnavigationsatellitesystem)、欧盟运用的galileo系统或日本运用的准天顶卫星系统。

如上所述，通过图像识别部211的图案检测部2103、图案解析部2104进行第2图像解析处理。

另外，这里，在判定为未检测到编码图案的情况下(步骤st802的“否”的情况下)，返回图5的步骤st502，反复进行以后的处理，但是不限于此，也可以返回步骤st502，判定是否检测到编码图案(步骤st802)，在判定为经过一定时间也未检测到编码图案的情况下，即，反复进行步骤st502～步骤st802的处理而经过了一定时间的情况下，结束第2图像解析处理。

返回图5的流程图。

在上述第2图像解析处理(步骤st503)完成后，描述符生成部22生成表示第1图像处理中比例尺估计部2102估计出的比例尺信息的空间描述符(图2所示的dsr)、以及表示第2图像处理中图案解析部2104估计出的测位信息的地理描述符(图2所示的dsr)(步骤st504)。然后，描述符生成部22将所生成的描述符数据和摄像部101进行摄像而得到的图像数据关联起来输出到数据传输部102。

数据传输部102向群集监视装置10发送与从描述符生成部22输出的描述符数据相关联的图像数据。

这里，通过数据传输部102向群集监视装置10发送的图像数据和描述符数据存储在群集监视装置10中，但是，此时，优选以能够双向进行高速访问的形式进行存储。此外，描述符生成部22也可以生成表示图像数据与描述符数据的对应关系的索引表，将该表输出到数据传输部102，数据传输部102向群集监视装置10发送该表。而且，在群集监视装置10中，也可以通过该表构成数据库。例如，描述符生成部22在给出构成图像数据的特定图像帧的位置的情况下，能够附加索引信息，以使得能够高速确定与该位置对应的描述符数据在数据库上的存储位置。此外，也可以生成索引信息，以使得容易进行与其相反的访问。

图像处理装置20的控制部(图示省略)判定是否继续进行处理(步骤st506)。具体而言，判定图像处理装置20的输入受理部(图示省略)是否受理了图像处理结束的指示。

例如，警备员等用户在不需要监视对象区域而断开摄像装置的开关的情况下等，图像处理装置20的输入受理部受理该信息作为图像处理结束的指示。

在步骤st506中判定为继续进行处理的情况下(步骤st506的“是”的情况下)，即，输入受理部未受理图像处理结束的指示的情况下，返回步骤st502，进行以后的处理。

由此，继续向群集监视装置10发送与描述符数据相关联的图像数据。

在步骤st506中判定为不继续进行处理的情况下(步骤st506的“否”的情况下)，即，输入受理部受理了图像处理结束的指示的情况下，结束处理。

这里，关于图5的步骤st504中描述符生成部22生成的空间描述符和地理描述符，举例进行详细说明。

图12和图13是示出实施方式1中、空间描述符的格式的例子的图。

在图12和图13的例子中，示出针对将摄像部101进行摄像而得到的摄像图像在空间上分割成格子状而得到的各网格的描述符。如图12所示，标志“scaleinfopresent”是表示是否存在将检测到的目标的尺寸和该目标的物理量关联起来的比例尺信息的标志。摄像图像在空间方向上被分割成多个图像区域即网格。

“gridnumx”示出表示目标的特征的图像区域特征所在的网格的纵向的个数，“gridnumy”示出表示目标的特征的图像区域特征所在的网格的横向的个数。“gridregionfeaturedescriptor(i，j)”是表示各网格的目标的部分的特征即网格内特征的描述符。

图13是示出图12所示的描述符“gridregionfeaturedescriptor(i，j)”的内容的图。参照图13，“scaleinfopresentoverride”是按照不同网格、即不同区域示出是否存在比例尺信息的标志。

“scalinginfo[i][j]”是表示第(i，j)个网格(i是网格的纵向的编号；j是网格的横向的编号)中存在的比例尺信息的参数。这样，能够针对摄像图像中出现的目标的各网格定义比例尺信息。另外，还存在无法取得比例尺信息、或不需要比例尺信息的区域，因此，能够通过“scaleinfopresentoverride”这样的参数指定是否以网格单位进行记述。

接着，图14和图15是示出实施方式1中、gnss信息的描述符、即地理描述符的格式的例子的图。

参照图14，“gnssinfopresent”是表示是否存在作为gnss信息而测位出的位置信息的标志。

“numgnssinfo”是表示位置信息的个数的参数。

“gnssinfodescriptor(i)”是第i个位置信息的描述符。通过输入图像中的点区域定义位置信息，因此，通过参数“numgnssinfo”送出位置信息的个数后，记述该个数的gnss信息描述符“gnssinfodescriptor(i)”。

图15是示出图14所示的描述符“gnssinfodescriptor(i)”的内容的图。参照图15，“gnssinfotype[i]”是表示第i个位置信息的类别的参数。作为位置信息，能够记述gnssinfotype[i]＝0的情况下的目标的位置信息、以及gnssinfotype[i]＝1的情况下的目标以外的位置信息。关于目标的位置信息，“object[i]”是用于定义位置信息的目标的id(标识符)。此外，关于各目标，记述表示纬度的“gnssinfo_latitude[i]”和表示经度的“gnssinfo_longitude[i]”。

另一方面，关于目标以外的位置信息，图15所示的“groundsurfaceid[i]”是定义作为gnss信息测位出的位置信息的假想地平面的id(标识符)，“gnssinfolocinimage_x[i]”是表示定义位置信息的图像内的横向的位置的参数，“gnssinfolocinimage_y[i]”是表示定义位置信息的图像内的纵向的位置的参数。关于各地平面，记述表示纬度的“gnssinfo_latitude[i]”和表示经度的“gnssinfo_longitude[i]”。位置信息是在目标被约束在特定平面中的情况下、能够将该画面上映出的该平面映射到地图上的信息。因此，记述gnss信息所在的假想地平面的id。此外，还能够针对图像内映出的目标来记述gnss信息。这是假设为了进行地标等的检索而使用gnss信息的用途。

另外，图12～图15所示的描述符是例子，能够对它们进行任意的信息的追加或删除、以及其顺序或结构的变更。

如以上说明的那样，在构成实施方式1的警备辅助系统1的传感器401、402、…、40p中，能够将摄像图像中出现的目标的空间描述符与图像数据关联起来，向群集监视装置10发送该图像数据。在群集监视装置10中，通过利用空间描述符作为检索对象，能够以高准确度且低处理负荷进行多个摄像图像中出现的、处于空间或时空上接近的关系的多个目标之间的对应。由此，例如，在多台传感器401、402、…、40p从不同方向对同一对象区域进行摄像的情况下，通过计算从传感器401、402、…、40p发送的描述符之间的相似度，能够以高准确度进行传感器401、402、…、40p的摄像图像中出现的多个目标之间的对应。即，不管是从各种方向进行摄像而得到的摄像图像中的什么样的摄像图像，都能够掌握一个摄像图像内的多个目标之间的关系。即，能够检测一个摄像图像内的多个目标作为目标群。

此外，在该实施方式1中，如上所述，传感器401、402、…、40p还能够将摄像图像中出现的目标的地理描述符与图像数据关联起来发送到群集监视装置10。在群集监视装置10中，通过与空间描述符一起利用地理描述符作为检索对象，能够以更高准确度且低处理负荷进行多个摄像图像中出现的多个目标之间的对应。

因此，在传感器401、402、…、40p是摄像装置的情况下，通过在传感器401、402、…、40p中搭载图像处理装置20，由此，在群集监视装置10中，例如，能够高效地进行特定物体的自动识别、三维图的生成或图像检索。

接着，对该实施方式1的群集监视装置10的动作进行说明。

图16是说明本发明的实施方式1的群集监视装置10的动作的流程图。

传感器数据接收部11接收从传感器401、402、…、40p发布的传感器数据(步骤st1601)。这里，设传感器401、402、…、40p是图2所示的摄像装置，因此，传感器数据接收部11取得由摄像装置进行摄像而得到的、与描述符对应的图像数据作为传感器数据。传感器数据接收部11将接收到的传感器数据输出到参数导出部13。

公开数据接收部12接收从服务器装置501、502、…、50n经由通信网络nw2公开的公开数据(步骤st1602)。公开数据接收部12将接收到的公开数据输出到参数导出部13。

参数导出部13取得步骤st1601中从传感器数据接收部11输出的传感器数据和步骤st1602中从公开数据接收部12输出的公开数据，根据所取得的传感器数据和公开数据，导出表示由传感器401、402、…、40p检测到的群众的状态特征量的状态参数(步骤st1603)。这里，传感器401、402、…、40p是图2所示的摄像装置，如上所述，对摄像图像进行解析，检测该摄像图像中出现的目标群，向群集监视装置10发送表示该检测到的目标群的空间特征量和地理特征量的描述符数据。另外，此时，附加地还发送表示视觉特征量的描述符数据。

关于步骤st1603的动作，具体而言，参数导出部13的群众参数导出部131、132、…、13r分别对从传感器数据接收部11输出的传感器数据和从公开数据接收部12输出的公开数据进行解析，导出表示群众的状态特征量的r种(r为3以上的整数)状态参数。参数导出部13将导出的状态参数输出到群众状态预测部14、警备计划导出部15和状态提示部16。

另外，这里，群集监视装置10具有公开数据接收部12，参数导出部13还使用公开数据接收部12接收到的公开数据导出状态参数，但是，群集监视装置10也可以不具有公开数据接收部12。该情况下，参数导出部13根据从传感器数据接收部11输出的传感器数据导出状态参数。

这里，对参数导出部13即群众参数导出部131、132、…、13r导出的状态参数进行详细说明。

作为状态参数的种类，例如举出“群众区域”、“群众行动的种类”、“群众密度”、“群众的移动方向和速度”、“流量”、“特定人物的提取结果”和“特定范畴人物的提取结果”。

“群众区域”例如是确定在传感器401、402、…、40p的对象区域内存在的群众的区域的信息。

如图17所示，群众参数导出部131、132、…、13r对摄像图像内的目标群的运动的特征进行聚类(clustering)，根据聚类后的区域内的运动的状态判定目标群是群众还是车流等，确定群众的区域。

此外，群众参数导出部131、132、…、13r针对判断为是群众的区域的目标群确定“群众行动的种类”。作为“群众行动的种类”，例如举出群众向一个方向流动的“单向流”、对向方向的流动交错的“对向流”、停留在该场所的“滞留”。此外，“滞留”还能够分类成表示由于群众密度过高而使该群众无法运动的状态等的“未被控制的滞留”、以及该群众按照组织者的指示进行站立而产生的“被控制的滞留”这样的种类。

此外，群众参数导出部131、132、…、13r针对判断为“群众行动的种类”是“单向流”或“对向流”的目标群而计算“流量”。“流量”例如定义为对通过规定的区域的人数的每单位时间的值乘以该区域的长度而得到的值(单位：人数·m/s)。

“特定人物的提取结果”是表示传感器401、402、…、40p的对象区域内是否存在特定人物的信息、以及存在特定人物的情况下追踪该特定人物的结果所得到的轨迹的信息。这种信息能够用于生成表示在警备辅助系统1整体的感测范围内是否存在作为找寻对象的特定人物的信息，例如是迷路儿童的找寻中有用的信息。

“特定范畴人物的提取结果”是表示传感器401、402、…、40p的对象区域内是否存在属于特定范畴的人物的信息、以及存在属于特定范畴的人物的情况下追踪该特定人物的结果所得到的轨迹的信息。这里，属于特定范畴的人物例如举出幼儿、老年人、轮椅使用者和拐杖使用者等“特定年龄和性别的人物”、“交通弱者”和“采取危险行动的人物或集体”等。这种信息是判断针对该群众是否需要特别的警备体制时有用的信息。

此外，群集监视装置10具有公开数据接收部12，在公开数据接收部12取得公开数据的情况下，群众参数导出部131、132、…、13r还能够根据从服务器装置501、502、…、50n提供的公开数据，导出“主观的拥挤度”、“主观的舒适性”、“事故产生状况”、“交通信息”和“气象信息”等状态参数。

群众参数导出部131、132、…、13r可以根据从一个传感器得到的传感器数据导出上述状态参数，或者，可以统合利用从多台传感器得到的多个传感器数据而导出上述状态参数。此外，在利用从多台传感器得到的传感器数据的情况下，发送用于导出状态参数的传感器数据的传感器可以是由相同种类的传感器构成的传感器群，或者也可以是混合存在有不同种类的传感器的传感器群。群众参数导出部131、132、…、13r在统合利用多个传感器数据的情况下，与利用一个传感器数据的情况相比，能够期待高精度的状态参数的导出。

返回图16的流程图。

群众状态预测部14根据步骤st1603中从参数导出部13输出的当前或过去的状态参数，预测群众状态(步骤st1604)。

具体而言，空间群众状态预测部141根据从参数导出部13输出的状态参数群，预测未设置传感器的区域的群众状态，生成“空间预测数据”，将其输出到警备计划导出部15和状态提示部16。

此外，时间群众状态预测部142根据从参数导出部13输出的状态参数群，预测未来的群众状态，生成“时间预测数据”，将其输出到警备计划导出部15和状态提示部16。

时间群众状态预测部142能够估计确定未设置传感器的区域的群众的状态或未来的群众状态的各种信息。例如，能够生成与由参数导出部13导出的状态参数相同种类的参数的未来的值作为“时间预测数据”。另外，能够根据警备辅助系统1的系统要件，任意地定义能够预测哪种程度的未来的群众状态。同样，空间群众状态预测部141针对未设置传感器的区域的群众状态，能够计算与由参数导出部13导出的状态参数相同种类的参数的值作为“空间预测数据”。

图18是说明实施方式1中、群众状态预测部14的时间群众状态预测部142预测未来的群众状态而生成“时间预测数据”的方法的一例的图。

如图18所示，设为在行人路径path中的对象区域pt1、pt2、pt3内分别配置传感器401、402、…、40p中的任意一方。群众从对象区域pt1、pt2朝向对象区域pt3移动。

参数导出部13导出对象区域pt1、pt2各自的群众的流量(单位：人数·m/s)，将这些流量作为状态参数值输出到群众状态预测部14。时间群众状态预测部142根据从参数导出部13取得的流量，导出群众要朝向的对象区域pt3的流量的预测值。例如，设为时刻t1的对象区域pt1、pt2的群众向图18所示的箭头a方向移动，对象区域pt1、pt2各自的流量为f。此时，时间群众状态预测部142在假设群众的移动速度今后不变这样的群众举动模型、并且从对象区域pt1、pt2到对象区域pt3的群众的移动时间均为t的情况下，将未来的时刻t+t的对象区域pt3的流量预测为2×f。然后，时间群众状态预测部142生成未来的时刻t+t的对象区域pt3的流量2×f的数据作为“时间预测数据”。

返回图16的流程图。

警备计划导出部15根据步骤st1603中从参数导出部13输出的状态参数、步骤st1604中从群众状态预测部14输出的未来的群众状态的信息、即“时间预测数据”和“空间预测数据”，导出警备计划方案(步骤st1605)。警备计划导出部15将导出的警备计划方案的信息输出到计划提示部17。

具体而言，例如，预先生成并存储状态参数、预测状态数据的典型图案、与该典型图案对应的警备计划方案的数据库，警备计划导出部15使用该数据库导出警备计划方案。

例如，警备计划导出部15在从参数导出部13和群众状态预测部14取得了表示某个对象区域处于“危险状态”的状态参数群和预测状态数据的情况下，如果数据库上与“危险状态”这样的状态参数以及与所取得的预测状态数据一致的预测状态数据对应的警备计划方案是“提出用于对对象区域中的群众的滞留进行整理的警备员的派遣或警备员的增员”，则导出提出用于对处于“危险状态”的某个对象区域中的群众的滞留进行整理的警备员的派遣或警备员的增员的警备计划方案。

在该实施方式1中，作为“危险状态”，例如举出检测到群众的“未被控制的滞留”或“采取危险行动的人物或集体”的状态、或“群众密度”超过容许值的状态。

状态提示部16根据步骤st1603中从参数导出部13输出的状态参数、步骤st1604中从群众状态预测部14输出的群众状态的信息、即“时间预测数据”和“空间预测数据”，生成以用户容易理解群众的过去的状态、当前的状态和未来的状态的格式表示的视觉数据或音频数据(步骤st1606)。另外，这里，以用户容易理解的格式表示的视觉数据例如是影像和文字信息，以用户容易理解的格式表示的音频数据例如是声音信息。

状态提示部16向外部设备71、72发送所生成的视觉数据或音频数据，从外部设备71、72作为影像或声音进行输出。

外部设备71、72接收从状态提示部16输出的视觉数据或音频数据，作为影像、文字和声音从输出部(图示省略)进行输出。输出部例如是显示器等显示装置或扬声器等声音输出装置等。

图19a、图19b是说明使外部设备71、72的显示装置显示状态提示部16生成的视觉数据的图形的一例的图。

在图19b中显示表示感测范围的地图信息m4。在该地图信息m4中示出道路网rd、分别对对象区域ar1、ar2、ar3进行感测的传感器snr1、snr2、snr3、作为监视对象的特定人物ped、以及该特定人物ped的移动轨迹(图19上黑箭头线所示)。

在图19a中分别示出对象区域ar1的影像信息m1、对象区域ar2的影像信息m2和对象区域ar3的影像信息m3。

如图19b所示，特定人物ped跨越对象区域ar1、ar2、ar3进行移动。因此，如果用户仅观察影像信息m1、m2、m3，则只要不理解传感器snr1、snr2、snr3的配置，就很难掌握地图上特定人物ped在哪个路径上移动。

因此，状态提示部16根据传感器snr1、snr2、snr3的位置信息，生成将影像信息m1、m2、m3中出现的状态映射到图19b的地图信息m4并进行提示的视觉数据。这样，生成以地图形式对对象区域ar1、ar2、ar3的状态进行映射并进行提示的视觉数据，使外部设备71、72的显示装置进行显示，由此，用户能够直观地理解特定人物ped的移动路径。

图20a、图20b是说明使外部设备71、72的显示装置显示状态提示部16生成的视觉数据的图形的另一例的图。

在图20b中显示表示感测范围的地图信息m8。在该地图信息m8中示出道路网、分别对对象区域ar1、ar2、ar3进行感测的传感器snr1、snr2、snr3、以及表示监视对象的群众密度的浓度分布信息。

在图20a中分别示出利用浓度分布表示对象区域ar1中的群众密度的地图信息m5、利用浓度分布表示对象区域ar2中的群众密度的地图信息m6和利用浓度分布表示对象区域ar3中的群众密度的地图信息m7。在该例子中，示出由地图信息m5、m6、m7表示的图像中的格子内的颜色越亮，则密度越高，颜色越暗，则密度越低。该情况下，状态提示部16根据传感器snr1、snr2、snr3的位置信息，生成将对象区域ar1、ar2、ar3的传感结果映射到图20b的地图信息m8并进行提示的视觉数据。由此，用户能够直观地理解群众密度的分布。

除了上述例子以外，状态提示部16例如能够生成利用曲线图形式表示状态参数的值的时间推移的视觉数据、利用图标图像通知产生“危险状态”的视觉数据、利用警告音通知产生“危险状态”的音频数据、利用时间线形式表示从服务器装置501、502、…、50n取得的公开数据的视觉数据，从外部设备71、72进行输出。

此外，状态提示部16还能够根据从群众状态预测部14输出的未来的群众状态的时间预测数据，生成表示群众的未来的状态的视觉数据，使外部设备71、72进行输出。

图21是说明实施方式1中、使外部设备71、72的显示装置显示状态提示部16生成的视觉数据的图形的又一例的图。

图21示出并列配置图像窗口w1和图像窗口w2的图像信息m10。在图21上，在右侧的图像窗口w2中显示未来的群众状态的信息，作为在时间上比左侧的图像窗口w1中显示的信息靠前的群众状态。

另一方面，在图21上，在左侧的图像窗口w1中显示状态提示部16根据从参数导出部13输出的状态参数生成的、表示过去的群众状态和当前的群众状态的视觉数据。

用户通过外部设备71、72的gui(图形用户界面)调整滑块sld1的位置，由此，能够在图像窗口w1中显示当前或过去的指定时刻的群众状态。在图21所示的例子中，指定时刻设定为零，因此，在图像窗口w1中实时显示当前的群众状态，并且显示“live(实时)”的文字标题。

在另一个图像窗口w2中，如上所述显示未来的群众状态的信息。

用户通过gui调整滑块sld2的位置，由此，能够在图像窗口w2中显示未来的指定时刻的群众状态。具体而言，例如，当外部设备71、72受理了来自用户的滑块sld2操作时，状态提示部16取得该受理的操作信息，根据操作信息生成表示通过滑块sld2操作而指定的时刻的状态参数的值的视觉数据，使外部设备71、72的显示装置进行显示。在图21所示的例子中，指定时刻设定为10分钟后，因此，在图像窗口w2中示出10分钟后的状态，显示“prediction(预测)”的文字标题。即，状态提示部16生成表示10分钟后的状态参数的值的视觉数据并进行显示。另外，图像窗口w1、w2中显示的状态参数的种类和显示格式相互相同。

这样，状态提示部16根据从参数导出部13输出的状态参数和从群众状态预测部14输出的未来的群众状态的信息，生成表示过去的群众状态、当前的群众状态和未来的群众状态的视觉数据，使外部设备71、72进行显示，因此，用户通过确认外部设备71、72的显示装置中显示的信息，能够直观地理解当前的状态以及当前的状态变化的状况。

另外，在图21中，示出图像窗口w1和图像窗口w2是不同窗口的例子，但是不限于此，也可以统合图像窗口w1、w2而构成一个图像窗口，状态提示部16在该一个图像窗口内显示表示过去、当前或未来的状态参数的值的视觉数据。该情况下，优选状态提示部16构成为，用户利用滑块切换指定时刻，由此用户能够确认该指定时刻的状态参数的值。具体而言，例如，当外部设备71、72受理来自用户的时刻指定时，状态提示部16取得该受理的信息，生成表示指定时刻的状态参数的值的视觉数据，使外部设备71、72的显示装置进行显示。

返回图16的流程图。

计划提示部17取得步骤st1605中从警备计划导出部15输出的警备计划方案的信息，生成以用户容易理解的格式表示所取得的信息的视觉数据或音频数据(步骤st1607)。另外，以用户容易理解的格式表示的视觉数据例如是影像和文字信息，以用户容易理解的格式表示的音频数据例如是声音信息。

此外，计划提示部17向外部设备73、74发送所生成的视觉数据或音频数据，作为影像或声音进行输出。

外部设备73、74接收从计划提示部17输出的视觉数据或音频数据，作为影像、文字和声音从输出部(图示省略)进行输出。输出部例如是显示器等显示装置或扬声器等声音输出装置等。

作为警备计划的提示方法，例如能够采取对全部用户提示相同内容的警备计划的方法、对特定对象区域的用户提示对象区域单独的警备计划的方法、或按照个人提示单独的警备计划的方法。

即，计划提示部17可以使全部外部设备73、74直接输出所取得的警备计划方案的信息，例如，可以按照每个外部设备73、74预先设定作为输出对象的警备计划方案的种类，计划提示部17根据该预先设定的种类，对输出所取得的警备计划方案的信息的外部设备73、74进行控制。此外，例如，也可以预先设定持有外部设备73、74的用户id和向该用户提供的警备计划，计划提示部17根据该预先设定的信息，对输出所取得的警备计划方案的信息的外部设备73、74进行控制。

另外，计划提示部17在使外部设备73、74输出表示警备计划方案的视觉数据等时，为了使用户能够即时识别进行了提示，例如，优选从外部设备73、74输出声音，或者，如果外部设备73、74是便携终端等可携带设备，则使其进行振动，由此，一并生成能够主动向用户进行通知的音频数据等。

如上所述，群集监视装置10根据基于从作为传感器401、402、…、40p的摄像装置取得的影像数据预测出的状态，使外部设备70输出表示过去、当前和未来的群众状态的信息和适当的警备计划作为对警备辅助有用的信息。

另外，在以上的说明中，设为警备计划导出部15导出警备计划方案，但是不限于此，例如，在用户即警备计划负责人能够确认状态提示部16使外部设备71、72输出的表示过去的群众状态、当前的群众状态和未来的群众状态的视觉数据或音频数据的情况下，警备计划负责人也可以根据由外部设备71、72输出的信息，自己生成警备计划方案。

此外，在以上的说明中，设为按照步骤st1601、步骤st1602的顺序进行处理，但是不限于此，步骤st1601和步骤st1602的处理也可以按照相反顺序进行，也可以同时进行。

此外，在以上的说明中，设为按照步骤st1604、步骤st1605的顺序进行处理，但是不限于此，步骤st1604和步骤st1605的处理也可以按照相反顺序进行，也可以同时进行。

此外，在以上的说明中，设为按照步骤st1606、步骤st1607的顺序进行处理，但是不限于此，步骤st1606和步骤st1607的处理也可以按照相反顺序进行，也可以同时进行。

图22a、图22b是示出本发明的实施方式1的群集监视装置10的硬件结构的一例的图。

在本发明的实施方式1中，参数导出部13、群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17的各功能通过处理电路2201实现。即，群集监视装置10具有处理电路2201，该处理电路2201根据接收到的传感器数据和公开数据，预测对象区域的群众的状态，用于进行输出预测出的状态的数据或基于预测出的状态的警备计划的数据的生成的控制。

处理电路2201可以如图22a所示是专用硬件，也可以如图22b所示是执行内存2204中存储的程序的cpu(centralprocessingunit)2206。

在处理电路2201是专用硬件的情况下，处理电路2201例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、asic(applicationspecificintegratedcircuit)、fpga(field-programmablegatearray)或它们的组合。

在处理电路2201是cpu2205的情况下，参数导出部13、群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17的各功能通过软件、固件或软件与固件的组合实现。即，参数导出部13、群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17通过执行hdd(harddiskdrive)2202、内存2204等中存储的程序的cpu2205、系统lsi(large-scaleintegration)等处理电路实现。此外，hdd2202、内存2204等中存储的程序也可以说是使计算机执行参数导出部13、群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17的步骤和方法。这里，内存2204例如是ram(randomaccessmemory)、rom(readonlymemory)、闪存、eprom(erasableprogrammablereadonlymemory)、eeprom(electricallyerasableprogrammableread-onlymemory)等非易失性或易失性半导体内存、磁盘、软盘、光盘、高密度盘、迷你盘、dvd(digitalversatiledisc)等。

另外，关于参数导出部13、群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17的各功能，也可以利用专用硬件实现一部分，利用软件或固件实现一部分。例如，关于参数导出部13，利用作为专用硬件的处理电路2201实现其功能，关于群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17，处理电路读出并执行内存2204中存储的程序，由此能够实现其功能。

公开数据接收部12、传感器数据接收部11是与传感器401、402、…、40p、服务器装置501、502、…、50n等外部设备进行通信的输入接口装置2203。

图23a、图23b是示出本发明的实施方式1的图像处理装置20的硬件结构的一例的图。

在本发明的实施方式1中，图像解析部21和描述符生成部22的各功能通过处理电路2301实现。即，图像处理装置20具有处理电路2301，该处理电路2301用于进行如下的生成控制，即，取得摄像装置进行摄像而得到的图像数据，对该图像数据进行解析而生成描述符。

处理电路2301可以如图23a所示是专用硬件，也可以如图23b所示是执行内存2303中存储的程序的cpu(centralprocessingunit)2306。

在处理电路2301是专用硬件的情况下，处理电路2301例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、asic(applicationspecificintegratedcircuit)、fpga(field-programmablegatearray)或它们的组合。

在处理电路2301是cpu2304的情况下，图像解析部21和描述符生成部22的各功能通过软件、固件或软件与固件的组合实现。即，图像解析部21和描述符生成部22通过执行hdd(harddiskdrive)2302、内存2303等中存储的程序的cpu2304、系统lsi(large-scaleintegration)等处理电路实现。此外，hdd2302、内存2303等中存储的程序也可以说是使计算机执行图像解析部21和描述符生成部22的步骤和方法。这里，内存2204例如是ram(randomaccessmemory)、rom(readonlymemory)、闪存、eprom(erasableprogrammablereadonlymemory)、eeprom(electricallyerasableprogrammableread-onlymemory)等非易失性或易失性半导体内存、磁盘、软盘、光盘、高密度盘、迷你盘、dvd(digitalversatiledisc)等。

另外，关于图像解析部21和描述符生成部22的各功能，也可以利用专用硬件实现一部分，利用软件或固件实现一部分。例如，关于图像解析部21，利用作为专用硬件的处理电路2301实现其功能，关于描述符生成部22，处理电路读出并执行内存2303中存储的程序，由此能够实现其功能。

此外，图像处理装置20具有受理摄像图像的输入接口装置和输出描述符的信息的输出接口装置。

另外，在该实施方式1的警备辅助系统1中，设参数导出部13、群众状态预测部14、警备计划导出部15、状态提示部16和计划提示部17如图4所示包含在一个群集监视装置10内，但是不限于此。也可以将参数导出部13、群众状态预测部14、警备计划导出部15、状态提示部16和计划提示部17分散配置在多个装置内，由此构成警备辅助系统。该情况下，这些多个功能块通过有线lan或无线lan等内部通信网、连接据点之间的专用线路网或互联网等广域通信网相互连接即可。

此外，在该实施方式1的警备辅助系统1中，传感器401、402、…、40p的感测范围的位置信息是重要的。例如，输入到群众状态预测部14的流量等状态参数是根据哪个位置取得的参数是重要的。此外，在状态提示部16中，在进行图20a、图20b和图21所示的地图上的映射的情况下，状态参数的位置信息也是必须的。

此外，该实施方式1的警备辅助系统1假设根据大规模事件的召开而临时且在短期间内构成的情况。该情况下，需要在短期间内设置大量的传感器401、402、…、40p，并且取得感测范围的位置信息。由此，优选容易取得感测范围的位置信息。

作为容易取得感测范围的位置信息的手段，能够使用由图像处理装置20生成且经由数据传输部102发送的空间描述符和地理描述符。在光学照相机或立体照相机等能够取得影像的传感器的情况下，通过使用搭载于该传感器中的图像处理装置20生成的空间描述符和地理描述符，能够容易地导出感测结果对应于地图上的哪个位置。例如，通过图15所示的参数“gnssinfodescriptor”，在某个照相机的取得影像中的属于同一假想平面的最少4点的空间位置与地理位置的关系已知的情况下，通过执行射影转换，能够导出该假想平面的各位置对应于地图上的哪个位置。

如上所述，根据该实施方式1，不需要事前建立人流的历史的数据库，根据包含从一个或多个对象区域内分散配置的传感器401、402、…、40p取得的描述符数据的传感器数据，能够容易地掌握和预测该对象区域内的群众状态。

此外，能够根据所掌握或预测的状态，导出加工成用户容易理解的形式的表示过去、当前和未来的群众状态的信息和适当的警备计划，向用户即警备负责人或群众提示这些信息和警备计划作为对警备辅助有用的信息。

实施方式2

在实施方式1中，设为图像处理装置20搭载于传感器401、402、…、40p中。即，设为图像处理装置20设置在群集监视装置10的外部。

在该实施方式2中，对群集监视装置10a具有图像处理装置20的实施方式进行说明。

另外，在该实施方式2中，与实施方式1同样，作为一例，设群集监视装置10a应用于警备辅助系统1。

此外，在该实施方式2的警备辅助系统1中，与实施方式1同样，例如，群集监视装置10a根据基于从作为传感器401、402、…、40p的摄像装置取得的影像数据预测出的群众状态，向用户提示表示过去、当前和未来的群众状态的信息和适当的警备计划作为对警备辅助有用的信息。

具有该实施方式2的群集监视装置10a的警备辅助系统1的结构与实施方式1中使用图1说明的结构相同，因此省略重复的说明。该实施方式2的警备辅助系统1的结构的不同之处仅在于将群集监视装置10置换为群集监视装置10a。

图24是本发明的实施方式2的群集监视装置10a的结构图。

图24所示的群集监视装置10a与实施方式1中使用图4说明的群集监视装置10的不同之处仅在于搭载图像处理装置20以及传感器数据接收部11a的动作，其他结构与实施方式1的群集监视装置10相同，因此，对相同结构标注相同标号并省略重复的说明。

传感器数据接收部11a具有与实施方式1的传感器数据接收部11相同的功能，而且，在从传感器401、402、…、40p发送的传感器数据中存在包含摄像图像的传感器数据的情况下，提取该摄像图像并将其输出到图像处理装置20的图像解析部21。

这里，作为一例，设传感器401、402、…、40p是摄像装置，但是，如实施方式1中说明的那样，传感器401、402、…、40p例如能够使用光学照相机、激光测距传感器、超声波测距传感器、拾音麦克风、热感照相机、暗视照相机、立体照相机、测位计、加速度传感器、生物传感器等各个种类的传感器。因此，在该实施方式2中，传感器数据接收部11a具有如下功能：在从包含摄像装置和摄像装置以外的传感器的各个种类的传感器取得了传感器数据的情况下，确定从摄像装置发送的传感器数据，将摄像图像输出到图像解析部21。

该实施方式2的群集监视装置10a的公开数据接收部12、参数导出部13、群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17的动作与实施方式1中说明的群集监视装置10的公开数据接收部12、参数导出部13、群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17的动作相同，因此省略重复的说明。

群集监视装置10a搭载的图像处理装置20的结构与实施方式1中使用图2、图3说明的结构相同，因此省略重复的说明。

图像处理装置20的动作与实施方式1中说明的图像处理装置20的动作相同。即，在该实施方式2中，图像解析部21从传感器数据接收部11a取得摄像图像，进行摄像图像的解析，描述符生成部22生成空间描述符和地理描述符、以及基于mpeg标准的已知描述符，将表示这些描述符的描述符数据(图24中dsr所示)输出到参数导出部13。参数导出部13根据由图像处理装置20的描述符生成部22生成的描述符数据，生成状态参数。

该实施方式2的群集监视装置10a的硬件结构与实施方式1中使用图22a、图22b说明的结构相同，因此省略重复的说明。另外，传感器数据接收部11a具有与参数导出部13、群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17相同的硬件结构。

该实施方式2的图像处理装置20的硬件结构与实施方式1中使用图23a、图23b说明的结构相同，因此省略重复的说明。

如上所述，根据该实施方式2，与实施方式1同样，不需要事前建立人流的历史的数据库，根据包含从一个或多个对象区域内分散配置的传感器401、402、…、40p取得的描述符数据的传感器数据、以及从通信网络nw2上的服务器装置501、502、…、50n取得的公开数据，能够容易地掌握和预测该对象区域内的群众状态。

此外，能够根据所掌握或预测的群众状态，导出加工成用户容易理解的形式的表示过去、当前和未来的群众状态的信息和适当的警备计划，向用户即警备负责人或群众提示这些信息和警备计划作为对警备辅助有用的信息。

实施方式3

在实施方式1中，作为状态预测部14的时间群众状态预测部142预测“流量”的方法的一例，说明了如下方法：时间群众状态预测部142根据移动方的对象区域的群众的流量假设群众举动模型，计算未来的移动目的地的对象区域的流量(参照图18等)。

在该实施方式3中，对时间群众状态预测部142计算未来的流量的另一个方法进行说明。

具有该实施方式3的群集监视装置10的警备辅助系统1、群集监视装置10以及群集监视装置10的硬件结构分别与实施方式1中使用图1、图4、图22说明的结构相同，因此省略重复的说明。

此外，该实施方式3的群集监视装置10的传感器数据接收部11、公开数据接收部12、群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17的动作与实施方式1中说明的群集监视装置10的传感器数据接收部11、公开数据接收部12、群众状态预测部14、警备计划导出部15、状态提示部16、计划提示部17的动作相同，因此省略重复的说明。

在该实施方式3中，仅示出参数导出部13的时间群众状态预测部142利用与实施方式1中说明的“流量”的预测方法不同的方法预测“流量”的例子，因此，仅对与实施方式1中例示的动作不同的、时间群众状态预测部142的动作的一例进行说明。

在该实施方式3中，参数导出部13在导出“流量”作为表示由传感器401、402、…、40p检测到的群众的状态特征量的状态参数的情况下(参照实施方式1中的图16的步骤st1603)，在针对存在于传感器401、402、…、40p的对象区域内的群众区域提取出的“群众行动的种类”是“单向流”或“对向流”的情况下，高精度且高速计算群众的“流量”。

图25是说明实施方式3中、时间群众状态预测部142设“群众行动的种类”检测为“对向流”的群众的移动方向为2个方向的一例的图。

在该实施方式3中，将对向的移动方向分别称为“in”“out”。另外，可以设任意一方为“in”或“out”。在图25中，设朝向远离作为传感器的摄像装置的方向、即图25上朝向右侧移动的群众的移动方向为“in”。

使用图25对计算检测为“对向流”的群众的例如“in”方向的流量的方法进行说明。

如实施方式1中定义的那样，根据通过规定的区域的人数计算“流量”。

一般而言，可知在某个空间内的群众的密度为某种一定以上的拥挤状况下，每个人的自由步行被限制，无法超越前面的人，因此，空间内的密度均匀。在该实施方式3中，时间群众状态预测部142通过利用该性质，计算针对检测为“对向流”的群众区域的一部分区域的通过人数，由此，能够高精度地估计检测为“对向流”的区域整体的通过人数。

如图26所示，时间群众状态预测部142设定计算通过人数的区域作为流量计算区域(图26的x)。流量计算区域是设定在地面上的矩形区域。该矩形的长度方向的直线例如与穿过检测为“in”方向的群众区域的重心(图26的g)的群众移动方向的直线垂直。

下面，在该实施方式3中，对时间群众状态预测部142计算“流量”的具体方法进行说明。

作为计算摄像图像内的流量计算区域的“in”方向的流量的方法，针对流量计算区域内的各像素计算光流，将具有在流量计算区域内的规定线向“in”方向移动的流的像素数作为意味着向“in”方向移动的人物的区域的像素数而进行计数。

图27是示出实施方式3中、摄像图像内的流量计算区域和流量计算区域内的规定线的图形的一例的图。

图28是说明实施方式3中、设为具有在规定线向“in”方向移动的流来计数的像素数与群众的密度的关系的一例的图。

例如，如图29a所示，在群众的密度较低的情况下，在摄像图像内以人物彼此不会重合的状态进行摄像，因此，如图28的区间(a)所示，计数出的像素数与密度成为大致成比例的关系。另外，将摄像图像内的人物彼此的重叠称为遮挡。

另一方面，伴随着群众的密度的增加，如图29b所示，摄像图像内的人物彼此产生重叠，因此，计数出的像素数的变化率减少，差不多成为0。进而，伴随着密度的增加，群众的移动速度降低，因此，计数出的像素数的变化率成为负值。(参照图28的(b))

因此，时间群众状态预测部142计算在某个帧之间具有在“in”方向上跨越流量计算区域内的规定线而移动的流的像素的数量除以考虑遮挡的每一个人物的像素数而得到的值，由此计算在该帧之间向“in”方向移动的人数，设为其他每个时间向“in”方向移动的人数、即朝向“in”方向的群集流量。这里，对假设没有遮挡时的每一个人物的像素数乘以考虑遮挡的系数，由此计算考虑遮挡的群集每一人的像素数。

图30中示出所计数出的像素数除以每一人的像素数而得到的值、即假设没有遮挡时的向“in”方向移动的人数与“in”方向的流量的关系的一例。

在图30中，a示出所计数出的像素数除以每一人的像素数而得到的值，b示出流量。

另外，时间群众状态预测部142能够同样计算“out”方向的流量。此外，时间群众状态预测部142在被检测为“对向流”的群众的移动方向为3个方向以上的情况下，通过对各方向应用上述方法，能够按照不同方向计算流量。

此外，在该实施方式3中，关于时间群众状态预测部142，说明了检测为“对向流”的群众的不同移动方向的“流量”的计算方法，但是，针对“单向流”，也能够通过同样的方法进行计算。

下面，示出时间群众状态预测部142计算“流量”的具体计算手段的例子。

图31是针对一个影像帧执行的群集流量计算处理的处理流程。

首先，时间群众状态预测部142对所输入的图像进行校正(步骤st1)。在该校正中包含仅切出处理对象区域的处理、用于高精度地实施后级的光流估计的处理的图像的亮度值/对比度等的校正、消除图像的射影变形的射影转换、或消除其他变形的几何转换等。

接着，时间群众状态预测部142使用紧前的影像帧和作为处理对象的影像帧，导出意味着2个帧之间的图像内目标的移动的光流(步骤st2)。以像素单位取得光流。此外，仅在预先设定为流量解析位置的规定线的周边取得光流即可。

另外，以像素单位取得的光流意味着表示群集的前景区域和该区域的移动量。由此，本步骤的处理可以置换为基于背景差分或帧间差分等处理的前景提取方法、通过任意的运动估计方法求出该前景区域的移动量的处理。此外，作为运动估计方法，也可以不是使用图像进行解析的方法。例如，在以mpeg-2、h.264/avc和hevc等混合编码方式对输入图像进行了压缩的情况下，通过直接使用该压缩流中包含的运动矢量信息或者对其进行加工而使用，也可以进行运动估计。以后，以使用通过光流导出像素单位的流的处理为前提进行说明。

接着，时间群众状态预测部142对具有跨越规定线的流的像素进行计数(步骤st3)。分别对向“in”方向跨越的像素数pnin和向“out”方向跨越的像素数pnout进行单独计数。

接着，时间群众状态预测部142导出不具有跨越规定线周边的规定线的流的像素数png(步骤st4)。具有跨越所述规定线的流的像素意味着人物区域的像素，不具有跨越规定线的流的像素意味着背景区域的像素。在跨越规定线的流(“in”方向和“out”方向)的与规定线垂直的成分的范数长度平均为n[pixel]、规定线的长度为l[pixel]的情况下，能够通过下式进行计算。

png＝n*l-(pnin+pnout)(1)

接着，时间群众状态预测部142根据基于pnin、pnout、png计算的、人物区域在规定线附近区域中的比例of[％]，来估计群集密度d[人/m²](步骤st5)。利用以下式子计算of[％]。

qf＝{(pnin+pnout)/(pnin+pnout+png)}*100(2)

此时，关于pnin、pnout、png的值，预先记录过去多个帧中取得的值，根据各自的累计来求出of[％]，由此，可以估计稳定且高精度的群集密度d。预先取得of与d的关系式。of与d的关系式在后面叙述。

接着，时间群众状态预测部142根据群集密度d[人/m²]和比例尺信息s[pixel/m]，导出每一个人物的像素数pped(步骤st6)。预先取得d与pped的关系式。d、s、pped的关系式在后面叙述。

最后，时间群众状态预测部142通过用pnin、pnout除以pped，从而按照“in”方向、“out”方向分别导出该帧中的规定线的通过人数(步骤st7)。时间群众状态预测部142根据帧之间的经过时间的信息，取得每单位时间的通过人数即群集流量的参数。

通过以上的处理，能够按照“in”“out”方向分别取得通过规定线的群集的流量。

下面，对所述of与d的关系式进行详细说明。

群集的密度越高，则看到位于群集后方的背景区域的比例越小。由此，预想到群集密度d越高，则of即前景区域在某个区域中所占的比例越大。

但是，在照相机影像中如何映出群集是根据群集每一个人的形状/尺寸、照相机的俯角、以及相对于照相机如何配置群集而不同的，因此，需要预先确定这些信息。

各个信息如以下那样定义。

首先，群集每一个人的形状/尺寸使用人物的平均模型。例如，可以根据成人的平均身高h和平均最大半径r定义为高度h、半径r的圆柱形，或者，也可以利用除此以外的简易形状近似地表现。或者，也可以更加严格地使用平均尺寸的人物的3d模型。此外，考虑群集的形状、尺寸根据作为对象的群集的国籍、年龄层、与观测时的天气/气候对应的服装的变化等而不同，因此，具有多个模型，或者能够对使模型的尺寸/形状变化的参数进行变更，可以根据状况进行模型的选择和调整。

关于照相机的俯角θ，在固定照相机的情况下，能够使用设置时预先测定的值。或者，可以通过对所拍摄的影像进行解析来导出。在后者的情况下，具有在移动照相机的情况下也能够应用这样的优点。

关于群集相对于照相机的配置方式，群集彼此的位置关系存在各种图案，因此使用规定的模型。

例如，作为群集的位置关系的模型，如图32所示，假设呈格子状排列人物的状态。人物具有如上所述确定的形状/尺寸，在该例子中，近似为高度h[m]、半径r[m]的圆柱。此外，图32是在使格子从照相机光轴方向起倾斜ω的状态下从俯角θ的位置的照相机观察呈格子状排列的4个人物的图。该情况下，相对于群集密度d[人/m²]，当设纵向或横向排列的人物的中心之间的距离为d[m]时，d与d处于以下关系。

此外，针对某一人，最近的区域是以该人物为中心的d×d的正方形区域，设该区域为每一个人物的区域rp。

如上所述进行定义后，设of为本格子状模型中、从照相机向里侧存在的相对于每一个人物的区域rp的面积的rg内的前景区域rf(rp内的黑色表示的区域)的面积。此外，对图33、图34进行比较可知，前景区域rf的外观、面积根据该格子状模型相对于照相机光轴方向的倾斜ω而变动，因此，优选针对各种ω计算of，将取其平均的百分率表现作为最终的of。

根据该模型，相对于密度d和照相机俯角θ，唯一确定of。通过按照不同照相机俯角θ求出密度d与前景区域面积比of的关系，能够根据所给出的照相机俯角θ和计算出的of估计群集密度d。

接着，对所述d与pped的关系式进行详细说明。

在设比例尺信息s恒定的情况下，群集的密度越高，则群集内的某一个人物的像素数pped越小。这是因为，密度越高，则群集之间的距离越小，照相机里侧的人物被其近前的人物遮挡的比例越高。

在求出d与pped的关系式的情况下，与求出所述of与d的关系式的情况同样，需要群集每一个人的形状/尺寸、照相机的俯角、单位长度的物体在照相机影像内的像素数(比例尺信息)、以及群集相对于照相机的配置状态的信息。这些信息与求出所述of与d的关系式时使用的定义相同。

此外，除了这些信息以外，如上所述，还需要表示作为照相机影像内的1个像素所对应的物理量的长度的比例尺信息。

根据人物与照相机之间的距离、照相机的视场角、照相机的分辨率、照相机的镜头失真等，根据在照相机影像内的哪个位置映出人物而使比例尺信息变动。可以利用实施方式1所示的单元导出比例尺信息，也可以测定意味着照相机的镜头失真的内部参数以及意味着照相机与周边地形的距离和位置关系的外部参数，由此导出比例尺信息。此外，如图35所示，也可以由用户手动指定用于利用平面对计测对象区域的路面进行近似的参数，由此求出比例尺信息。在附图的例子中，指定图像坐标与物理坐标的组point1～4，使用这4点进行射影转换，由此，能够将图像内的任意坐标置换为经过这4点的平面上的物理坐标。或者，也可以检测影像内映出的人物或物理尺寸已知的目标，根据该目标在影像内的像素数自动估计比例尺信息。或者，越是远离照相机的目标，影像内的每单位时间的移动量越小，因此，也可以根据假设具有一样速度的多个影像内目标的流的大小关系，估计这些目标与照相机之间的距离，进行比例尺信息的估计。在假设的一样速度已知的情况下，能够估计绝对比例尺信息，在假设的一样速度未知的情况下，能够估计每个目标的相对比例尺信息。高密度的群集具有在宽范围内移动速度恒定的特征，因此，通过该集体，能够高精度地估计比例尺信息。

在该模型中，如图36所示，在设照相机影像里侧的、被近前的人物遮挡的人物区域(图35的网格区域)为rfo的情况下，例如设比例尺信息s为s0[m/pixel]的情况下的rfo的像素数为rped。此外，rfo的外观、面积根据该格子状模型相对于照相机光轴方向的倾斜ω而变动，因此，优选针对各种ω计算rped，将取其平均的值作为最终的rped。

根据该模型，相对于密度d和照相机俯角θ，唯一确定rped。通过按照不同照相机俯角θ求出密度d与rped的关系，能够根据所给出的照相机俯角θ和估计出的d，导出考虑了遮挡的每一个人物的像素数rped[pixel]。此外，该rped是比例尺信息为s0的情况，因此，使用实际的比例尺信息s与s0之比对rped进行校正，由此计算流量。

如上所述，根据该实施方式3，参数导出部13能够高精度且高速地计算群众的“流量”。

在以上的实施方式1～3中说明的图像处理装置20中，描述符生成部22在生成空间描述符或地理描述符后，经由输出接口装置向例如数据传输部102或参数导出部13等外部设备输出该描述符的信息，但是不限于此，图像处理装置20还能够蓄积描述符生成部22生成的描述符的信息。

图37是说明图像处理装置20能够蓄积描述符的信息的结构的一例的图。

如图37所示，图像处理装置20a除了具有实施方式1中使用图2说明的结构以外，还具有数据记录控制部31、存储器32、db(database)接口部33。

数据记录控制部31将经由输入接口装置从作为摄像装置的传感器取得的图像数据和描述符生成部22生成的描述符数据相互关联起来存储在存储器32中。

存储器32将图像数据和描述符数据关联起来进行存储。

作为存储器32，例如使用hdd或闪存等大容量记录介质即可。

此外，存储器32具有蓄积图像数据的第1数据记录部321和蓄积描述符数据的第2数据记录部322。另外，在图37中，第1数据记录部321和第2数据记录部322设置在同一存储器32内，但是不限于此，也可以分别分散设置在不同存储器中。

此外，在图37中，设为存储器32具有图像处理装置20a，但是不限于此。例如，也可以设存储器32为配置在通信网络上的一个或多个网络存储器装置，数据记录控制部31访问外部的网络存储器装置，蓄积图像数据和描述符数据。

db接口部33访问存储器32内的数据库。

图像处理装置20a将db接口部33访问存储器32而取得的描述符的信息经由输出接口输出到例如数据传输部102或参数导出部13等外部设备。

另外，在以上的实施方式1～3的警备辅助系统1中，构成为将群众这样的目标群作为感测对象，但是不限于此。例如，也可以将野生动物或昆虫等生命体、或者车辆等人体以外的移动体的群体作为传感对象的目标群。

此外，在以上的实施方式1～3中，作为一例，作为应用群集监视装置10的群众监视系统，以警备辅助系统1为例，群集监视装置10根据基于从传感器401、402、…、40p取得的传感器数据预测出的状态，向用户提示表示群众的状态的信息和适当的警备计划作为对警备辅助有用的信息，但是，应用群集监视装置10的群众监视系统不限于警备辅助系统1。

例如，群集监视装置10也可以应用于研究车站利用者数量的系统，从设置在车站内部的传感器取得传感器数据，预测利用车站的人的状态，提供与该预测出的状态有关的信息，群集监视装置10能够利用于根据传感器数据群监视、预测移动体的状态的所有场面。

此外，在实施方式1中，群集监视装置10设为图4所示的结构，但是，群集监视装置10、10a通过具有参数导出部13和群众状态预测部14，得到上述效果。

此外，在实施方式2中，群集监视装置10a设为图24所示的结构，但是，群集监视装置10a通过具有目标检测部2101、比例尺估计部2102、参数导出部13、群众状态预测部14，得到上述效果。

此外，本申请发明能够在其发明范围内进行各实施方式的自由组合、或各实施方式的任意结构要素的变形、或各实施方式中的任意结构要素的省略。

产业上的可利用性

本发明的群集监视装置构成为能够在无法预先掌握拥挤度或群集流动的环境下估计拥挤度或群集流动，因此，能够应用于预测群集流动的群集监视装置和群众监视系统等。

标号说明

1：警备辅助系统；10、10a：群集监视装置；11、11a：传感器数据接收部；12：公开数据接收部；13：参数导出部；14：群众状态预测部；15：警备计划导出部；16：状态提示部；17：计划提示部；20：图像处理装置；21：图像解析部；22：描述符生成部；31：数据记录控制部；32：存储器；33：db接口部；70～74：外部设备；101：摄像部；102：数据传输部；131～13r：群众参数导出部；141：空间群众状态预测部；142：时间群众状态预测部；211：图像识别部；212：图案存储部；213：解码部；321：第1数据记录部；322：第2数据记录部；2101：目标检测部；2102：比例尺估计部；2103：图案检测部；2104：图案解析部；2201、2301：处理电路；2202、2302：hdd；2203：输入接口装置；2204、2303：内存；2205、2304：cpu。