图像处理装置、图像处理系统和图像处理方法与流程

本发明涉及用于生成或利用表示图像数据的内容的描述符的图像处理技术。

背景技术：

近年来，伴随拍摄图像(包含静态图像和动态图像)的摄像设备的普及、因特网等通信网的发达和通信线路的宽带化，图像发布服务的普及及其大规模化不断发展。以该情况为背景，在面向个人和面向事业者的服务和产品中，用户能够访问的图像内容的数量庞大。这种状况下，为了使用户访问图像内容，图像内容的检索技术不可或缺。作为这种检索技术之一，存在如下方法：设检索查询为图像本身，取得该图像与检索对象图像的匹配。检索查询是用户输入到检索系统的信息。但是，在该方法中存在如下问题：检索系统的处理负荷可能非常大，并且，在向检索系统传输检索查询的图像和检索对象图像时的传输数据量较大的情况下，对通信网造成的负荷增大。

为了避免该问题，存在如下技术：对图像附加或关联描述该图像内容的视觉描述符(visualdescriptors)并设为检索对象。在该技术中，根据图像内容的分析结果预先生成描述符，能够与该图像主体不同地传输或蓄积该描述符的数据。如果利用该技术，则检索系统能够将附加给检索查询的图像的描述符与附加给检索对象图像的描述符进行匹配，由此进行检索处理。通过使描述符的数据大小比图像主体的数据大小小，能够减轻检索系统的处理负荷，并且减轻对通信网造成的负荷。

作为与这种描述符有关的国际标准，公知有非专利文献1("mpeg-7visualpartofexperimentationmodelversion8.0")中公开的mpeg-7visual。在mpeg-7visual中，假设图像的高速检索等用途，规定有用于描述图像的颜色和纹理以及图像中出现的目标的形状和运动等信息的格式。

另一方面，存在使用动态图像数据作为传感器数据的技术。例如，在专利文献1(日本特表2008-538870号公报)中公开有能够进行由摄像机得到的动态图像中出现的监视对象物(例如人)的检测或追踪、或者监视对象物的滞留检测的视频监视系统。如果使用所述mpeg-7visual的技术，则能够生成表示这种动态图像中出现的监视对象物的形状和运动的描述符。

现有技术文献

专利文献

专利文献1：日本特表2008-538870号公报

非专利文献

非专利文献1：a.yamada,m.pickering,s.jeannin,l.cieplinski,j.-r.ohm,andm.editors,eds.:mpeg-7visualpartofexperimentationmodelversion8.0iso/iecjtc1/sc29/wg11/n3673,oct.2000.

技术实现要素：

发明要解决的课题

在利用图像数据作为传感器数据的情况下，多个摄像图像中出现的目标间的对应是重要的。例如，在表示同一对象物的目标出现在多个摄像图像中的情况下，如果利用上述mpeg-7visual的技术，则能够将表示摄像图像中出现的目标的形状、颜色和运动这样的特征量的视觉描述符与各摄像图像一起记录到存储器中。然后，通过该描述符之间的相似度的计算，能够从摄像图像群中找出处于相似度较高的关系的多个目标，将这些目标相互对应起来。

但是，例如在多台摄像机从不同方向拍摄到同一对象物的情况下，有时这些摄像图像中出现的同一对象物的目标的特征量(例如形状、颜色和运动)在摄像图像之间大幅不同。这种情况下，通过使用上述描述符的相似度计算，存在这些摄像图像中出现的目标之间的对应失败这样的课题。并且，在由一台摄像机拍摄外观形状变化的对象物的情况下，有时多个摄像图像中出现的该对象物的目标的特征量在摄像图像之间也会大幅不同。这种情况下，通过使用上述描述符的相似度计算，有时这些摄像图像中出现的目标之间的对应也会失败。

鉴于上述情况，本发明的目的在于，提供能够以较高可靠性进行多个摄像图像中出现的目标之间的对应的图像处理装置、图像处理系统和图像处理方法。

用于解决课题的手段

本发明的第1方式的图像处理装置的特征在于，所述图像处理装置具有：图像分析部，其对输入图像进行分析，检测该输入图像中出现的目标，估计该检测到的目标的以实际空间为基准的空间特征量；以及描述符生成部，其生成表示该估计出的空间特征量的空间描述符。

本发明的第2方式的图像处理系统的特征在于，所述图像处理系统具有：所述图像处理装置；参数导出部，其根据所述空间描述符，导出表示由该检测到的目标的群体构成的目标群的状态特征量的状态参数；以及状态预测部，其根据该导出的状态参数，通过运算来预测所述目标群的未来状态。

本发明的第3方式的图像处理方法的特征在于，所述图像处理方法具有以下步骤：对输入图像进行分析，检测该输入图像中出现的目标；估计该检测到的目标的以实际空间为基准的空间特征量；以及生成表示该估计出的空间特征量的空间描述符。

发明效果

根据本发明，生成表示输入图像中出现的目标的以实际空间为基准的空间特征量的空间描述符。通过利用该空间描述符作为检索对象，能够以较高可靠性且低处理负荷进行多个摄像图像中出现的目标之间的对应。并且，通过对该空间描述符进行分析，能够以低处理负荷检测该目标的状态和举动。

附图说明

图1是示出本发明的实施方式1的图像处理系统的概略结构的框图。

图2是示出实施方式1的图像处理步骤的一例的流程图。

图3是示出实施方式1的第1图像分析处理步骤的一例的流程图。

图4是例示输入图像中出现的目标的图。

图5是示出实施方式1的第2图像分析处理步骤的一例的流程图。

图6是用于说明码图案的分析方法的图。

图7是示出码图案的一例的图。

图8是示出码图案的另一例的图。

图9是示出空间描述符的格式的例子的图。

图10是示出空间描述符的格式的例子的图。

图11是示出gnss信息的描述符的例子的图。

图12是示出gnss信息的描述符的例子的图。

图13是示出本发明的实施方式2的图像处理系统的概略结构的框图。

图14是示出实施方式3的图像处理系统即警备辅助系统的概略结构的框图。

图15是示出具有描述符数据生成功能的传感器的结构例的图。

图16是用于说明由实施方式3的群众状态预测部进行的预测的一例的图。

图17的(a)、(b)是示出由实施方式3的状态提示接口部生成的视觉数据的一例的图。

图18的(a)、(b)是示出由实施方式3的状态提示接口部生成的视觉数据的另一例的图。

图19是示出由实施方式3的状态提示接口部生成的视觉数据的又一例的图。

图20是示出实施方式4的图像处理系统即警备辅助系统的概略结构的框图。

具体实施方式

下面，参照附图对本发明的各种实施方式进行详细说明。另外，全部附图中标注相同标号的结构要素具有相同结构和相同功能。

实施方式1

图1是示出本发明的实施方式1的图像处理系统1的概略结构的框图。如图1所示，该图像处理系统1具有n台(n为3以上的整数)网络摄像机nc1、nc2、…、ncn以及经由通信网络nw接收从这些网络摄像机nc1、nc2、…、ncn分别发布的静态图像数据或动态图像流的图像处理装置10。另外，本实施方式的网络摄像机的台数为3台以上，但是，取而代之，也可以是1台或2台。图像处理装置10对从网络摄像机nc1～ncn接收到的静态图像数据或动态图像数据进行图像分析，将表示其分析结果的空间或地理描述符与图像关联起来蓄积到存储器中。

作为通信网络nw，例如可举出有线lan(localareanetwork：局域网)或无线lan等区域内通信网、连接据点之间的专用线路网或因特网等广域通信网。

网络摄像机nc1～ncn全部具有相同结构。各网络摄像机由拍摄被摄体的摄像部cm、朝向通信网络nw上的图像处理装置10发送摄像部cm的输出的发送部tx构成。摄像部cm具有形成被摄体的光学像的摄像光学系统、将该光学像转换成电信号的固体摄像元件、将该电信号压缩编码成静态图像数据或动态图像数据的编码器电路。作为固体摄像元件，例如使用ccd(charge-coupleddevice：电荷耦合器件)或cmos(complementarymetal-oxidesemiconductor：互补金属氧化物半导体)元件即可。

网络摄像机nc1～ncn在分别将固体摄像元件的输出压缩编码成动态图像数据的情况下，例如能够根据mpeg-2ts(movingpictureexpertsgroup2transportstream)、rtp/rtsp(real-timetransportprotocol/realtimestreamingprotocol)、mmt(mpegmediatransport)或dash(dynamicadaptivestreamingoverhttp)等流方式，生成压缩编码后的动态图像流。另外，本实施方式中使用的流方式不限于mpeg-2ts、rtp/rtsp、mmt和dash。但是，在任何流方式中，都需要在动态图像流内复用能够利用图像处理装置10唯一地分离该动态图像流中包含的动态图像数据的标识符信息。

另一方面，如图1所示，图像处理装置10具有：接收部11，其从网络摄像机nc1～ncn接收发布数据并从该发布数据中分离图像数据vd(包含静态图像数据或动态图像流)；图像分析部12，其对从接收部11输入的图像数据vd进行分析；描述符生成部13，其根据该分析结果生成表示空间描述符、地理描述符或基于mpeg标准的描述符或它们的组合的描述符数据dsr；数据记录控制部14，其将从接收部11输入的图像数据vd和描述符数据dsr相互关联起来蓄积到存储器15中；以及数据库接口部16。接收部11在发布数据中包含多个动态图像内容的情况下，能够根据其协议，以能够唯一地识别这些多个动态图像内容的方式从发布数据进行分离。

如图1所示，图像分析部12包含根据网络摄像机nc1～ncn中使用的压缩编码方式对压缩编码后的图像数据vd进行解码的解码部21、对该解码数据进行图像识别处理的图像识别部22、以及在图像识别处理中使用的图案存储部23。图像识别部22还包含目标检测部22a、比例尺估计部22b、图案检测部22c以及图案分析部22d。

目标检测部22a对由解码数据表示的一个或多个输入图像进行分析，检测该输入图像中出现的目标。在图案存储部23中，例如预先存储有表示步行者等人体、红路灯、标识、汽车、自行车和建筑物等多种多样的目标的平面形状、立体形状、大小和颜色等特征的图案。目标检测部22a将该输入图像与图案存储部23中存储的图案进行比较，由此能够检测输入图像中出现的目标。

比例尺估计部22b具有估计由目标检测部22a检测到的目标的以实际摄像环境即实际空间为基准的空间特征量作为比例尺信息的功能。作为目标的空间特征量，优选估计表示该实际空间中的目标的物理尺寸的量(以下简称作“物理量”)。具体而言，比例尺估计部22b参照图案存储部23，在由目标检测部22a检测到的目标的物理量(例如高度或横宽或它们的平均值)已经存储在图案存储部23中的情况下，能够取得该存储着的物理量作为该目标的物理量。例如，在红绿灯和标识等目标的情况下，它们的形状和尺寸已知，因此，用户能够事前将它们的形状和尺寸的数值存储在图案存储部23中。并且，在汽车、自行车和步行者等目标的情况下，该目标的形状和尺寸的数值的偏差收敛在一定范围内，因此，用户能够事前将它们的形状和尺寸的平均值存储在图案存储部23中。并且，比例尺估计部22b还能够估计该目标的姿态(例如目标朝向的方向)作为空间特征量之一。

进而，在网络摄像机nc1～ncn具有立体摄像机或测距摄像机等的三维图像生成功能的情况下，该输入图像不仅包含目标的强度信息，而且包含该目标的深度(depth)信息。该情况下，比例尺估计部22b能够根据该输入图像取得目标的深度信息作为物理尺寸之一。

描述符生成部13能够根据规定的格式，将由比例尺估计部22b估计出的空间特征量转换成描述符。这里，对该空间描述符附加有摄像时刻信息。该空间描述符的格式的例子容后再述。

另一方面，图像识别部22具有估计由目标检测部22a检测到的目标的地理信息的功能。地理信息例如是表示该检测到的目标在地球上的位置的测位信息。具体而言，估计地理信息的功能通过图案检测部22c和图案分析部22d实现。

图案检测部22c能够检测该输入图像中的码图案。在检测到的目标的附近检测码图案，例如，能够使用二维码等空间码图案或光按照规定的规则进行闪烁的图案等时序码图案。或者，还可以使用空间码图案与时序码图案的组合。图案分析部22d能够对该检测到的码图案进行分析，检测测位信息。

描述符生成部13能够根据规定的格式，将由图案检测部22c检测到的测位信息转换成描述符。这里，对该地理描述符附加有摄像时刻信息。该地理描述符的格式的例子容后再述。

并且，描述符生成部13还具有如下功能：除了上述空间描述符和地理描述符以外，还生成基于mpeg标准的已知描述符(例如表示目标的颜色、纹理、形状、运动和面部等特征量的视觉描述符)。该已知描述符例如在mpeg-7中进行规定，因此省略其详细说明。

数据记录控制部14将图像数据vd和描述符数据dsr蓄积在存储器15中，以构成数据库。外部设备能够经由数据库接口部16访问存储器15内的数据库。

作为存储器15，例如使用hdd(harddiskdrive：硬盘驱动器)或闪存等大容量记录介质即可。在存储器15中设置有蓄积图像数据vd的第1数据记录部和蓄积描述符数据dsr的第2数据记录部。另外，在本实施方式中，第1数据记录部和第2数据记录部设置在同一存储器15内，但是不限于此，也可以分别分散设置在不同的存储器中。并且，存储器15组入图像处理装置10中，但是不限于此。也可以变更图像处理装置10的结构，以使数据记录控制部14能够访问通信网络上配置的一个或多个网络存储器装置。由此，数据记录控制部14将图像数据vd和描述符数据dsr蓄积在外部的存储器中，由此，能够在外部构筑数据库。

上述图像处理装置10例如能够使用pc(personalcomputer：个人计算机)、工作站或主机等内置cpu(centralprocessingunit：中央处理单元)的计算机构成。在图像处理装置10使用计算机构成的情况下，cpu根据从rom(readonlymemory：只读存储器)等非易失性存储器读出的图像处理程序进行动作，由此，能够实现图像处理装置10的功能。

并且，图像处理装置10的结构要素12、13、14、16的功能的全部或一部分可以由fpga(field-programmablegatearray：现场可编程门阵列)或asic(applicationspecificintegratedcircuit：面向特定用途的集成电路)等半导体集成电路构成，或者，也可以由作为一种微型计算机的单片机构成。

接着，对上述图像处理装置10的动作进行说明。图2是示出实施方式1的图像处理步骤的一例的流程图。在图2中示出从网络摄像机nc1、nc2、…、ncn接收压缩编码后的动态图像流时的例子。

当从接收部11输入图像数据vd后，解码部21和图像识别部22执行第1图像分析处理(步骤st10)。图3是示出第1图像分析处理的一例的流程图。

参照图3，解码部21对输入的动态图像流进行解码，输出解码数据(步骤st20)。接着，目标检测部22a使用图案存储部23，尝试检测由该解码数据表示的动态图像中出现的目标(步骤st21)。作为检测对象，例如优选为红绿灯或标识等大小和形状已知的目标，或者汽车、自行车和步行者等以各种变化出现在动态图像内且其平均尺寸和已知的平均尺寸以充分的精度一致的目标。并且，也可以检测该目标相对于画面的姿态(例如该目标朝向的方向)和深度信息。

通过执行步骤st21，在未检测到目标的空间特征量即比例尺信息的估计(以下称作“比例尺估计”)所需要的目标的情况下(步骤st22：否)，处理步骤返回步骤st20。此时，解码部21根据来自图像识别部22的解码指示dc对动态图像流进行解码(步骤st20)。然后，执行步骤st21以后的步骤。另一方面，在检测到比例尺估计所需要的目标的情况下(步骤st22：是)，比例尺估计部22b针对该检测到的目标执行比例尺估计(步骤st23)。在该例子中，作为目标的比例尺信息，估计每一个像素的物理尺寸。

例如，在检测到目标及其姿态时，比例尺估计部22b能够将其检测结果与图案存储部23中预先保持的该尺寸信息进行比较，根据映出该目标的像素区域估计比例尺信息(步骤st23)。例如，在输入图像中，在以正对着摄像机的形式映出直径0.4m的标识且该标识的直径相当于100像素的情况下，该目标的比例尺成为0.004m/像素。图4是例示输入图像img中出现的目标31、32、33、34的图。建筑物的目标31的比例尺估计为1米/像素，其他建筑物的目标32的比例尺估计为10米/像素，较小的构造物的目标33的比例尺估计为1cm/像素。并且，与背景目标34之间的距离在实际空间中视为无限远，因此，背景目标34的比例尺估计为无限大。

并且，在检测到的目标是汽车或步行者的情况下、或者是护栏这样的存在于地面上且配置在从地面起大致固定的位置的物体的情况下，存在这种目标的区是可移动区且是约束在特定平面上的区的可能性较高。由此，比例尺估计部22b能够根据其约束条件检测汽车或步行者移动的平面，并且，根据该汽车或步行者的目标的物理尺寸的估计值和汽车或步行者的平均尺寸的知识(图案存储部23中存储的知识)导出与该平面之间的距离。由此，在无法估计输入图像中出现的全部目标的比例尺信息的情况下，没有特别的传感器，也能够检测重要的道路等区作为映出目标的地点的区或取得比例尺信息的对象。

另外，在经过一定时间也未检测到比例尺估计所需要的目标的情况下(步骤st22：否)，也可以完成第1图像分析处理。

在上述第1图像分析处理(步骤st10)完成后，解码部21和图像识别部22执行第2图像分析处理(步骤st11)。图5是示出第2图像分析处理的一例的流程图。

参照图5，解码部21对输入的动态图像流进行解码，输出解码数据(步骤st30)。接着，图案检测部22c检索由该解码数据表示的动态图像，尝试检测码图案(步骤st31)。在未检测到码图案的情况下(步骤st32：否)，处理步骤返回步骤st30。此时，解码部21根据来自图像识别部22的解码指示dc对动态图像流进行解码(步骤st30)。然后，执行步骤st31以后的步骤。另一方面，在检测到码图案的情况下(步骤st32：是)，图案分析部22d对该码图案进行分析，取得测位信息(步骤st33)。

图6是示出针对图4所示的输入图像img的图案分析结果的一例的图。在该例子中，检测到输入图像img中出现的码图案pn1、pn2、pn3，作为这些码图案pn1、pn2、pn3的分析结果，得到各码图案所示的纬度和经度这样的绝对坐标信息。图6中看起来为点状的码图案pn1、pn2、pn3是二维码这样的空间图案、或光的闪烁图案这样的时序图案或它们的组合。图案检测部22c能够对输入图像img中出现的码图案pn1、pn2、pn3进行分析，取得测位信息。图7是示出显示空间码图案pnx的显示设备40的图。该显示设备40具有如下功能：接收基于全球导航卫星系统(globalnavigationsatellitesystem、gnss)的导航信号，根据该导航信号对自己的当前位置进行测位，在显示画面41显示表示其测位信息的码图案pnx。通过在目标的附近配置这种显示设备40，如图8所示，能够取得目标的测位信息。

另外，基于gnss的测位信息也称作gnss信息。作为gnss，例如能够利用美国运用的gps(globalpositioningsystem：全球定位系统)、俄罗斯联邦运用的glonass(globalnavigationsatellitesystem：全球导航卫星系统)、欧盟运用的galileo系统或日本运用的准天顶卫生系统。

另外，在经过一定时间也未检测到码图案的情况下(步骤st32：否)，也可以完成第2图像分析处理。

接着，参照图2，在上述第2图像分析处理(步骤st11)完成后，描述符生成部13生成表示在图3的步骤st23中得到的比例尺信息的空间描述符，生成表示在图5的步骤st33中得到的测位信息的地理描述符(步骤st12)。接着，数据记录控制部14将动态图像数据vd和描述符数据dsr相互关联起来存储到存储器15中(步骤st13)。这里，优选动态图像数据vd和描述符数据dsr以能够双向高速访问的形式进行存储。也可以生成表示动态图像数据vd与描述符数据dsr的对应关系的索引表，由此构成数据库。例如，能够附加索引信息，使得在给出了构成动态图像数据vd的特定图像帧的数据位置的情况下，能够高速确定与该数据位置对应的描述符数据在存储器上的存储位置。并且，也可以生成索引信息，使得容易进行相反的访问。

然后，在继续进行处理的情况下(步骤st14：是)，反复执行上述步骤st10～s13。由此，在存储器15中蓄积动态图像数据vd和描述符数据dsr。另一方面，在中止处理的情况下(步骤st14：否)，图像处理结束。

接着，对上述空间和地理描述符的格式的例子进行说明。

图9和图10是示出空间描述符的格式的例子的图。在图9和图10的例子中，示出针对将输入图像在空间上分割成格子状而得到的各网格的描述。如图9所示，标志“scaleinfopresent”是示出是否存在将检测到的目标的尺寸和该目标的物理量关联(对应)起来的比例尺信息的参数。输入图像在空间方向上被分割成多个图像区域即网格。“gridnumx”示出存在表示目标特征的图像区域特征的网格的纵向的个数，“gridnumy”示出存在表示目标特征的图像区域特征的网格的横向的个数。

“gridregionfeaturedescriptor(i、j)”是表示各网格的目标的局部特征(网格内特征)的描述符。

图10是示出该描述符“gridregionfeaturedescriptor(i、j)”的内容的图。参照图10，“scaleinfopresentoverride”是按照每个网格(每个区域)示出是否存在比例尺信息的标志。“scalinginfo[i][j]”是示出第(i、j)个网格(i为网格的纵向的编号，j为网格的横向的编号)中存在的比例尺信息的参数。这样，能够对输入图像中出现的目标的各网格定义比例尺信息。另外，还存在无法取得比例尺信息或不需要比例尺信息的区域，因此，能够通过“scaleinfopresentoverride”这样的参数，指定是否以网格单位进行描述。

接着，图11和图12是示出gnss信息的描述符的格式的例子的图。参照图11，“gnssinfopresent”是示出是否存在作为gnss信息测位出的位置信息的标志。“numgnssinfo”是示出位置信息的个数的参数。“gnssinfodescriptor(i)”是第i个位置信息的描述符。位置信息通过输入图像中的点区域进行定义，因此，在通过参数“numgnssinfo”发送位置信息的个数后，描述该个数的gnss信息描述符“gnssinfodescriptor(i)”。

图12是示出该描述符“gnssinfodescriptor(i)”的内容的图。参照图12，“gnssinfotype[i]”是表示第i个位置信息的类别的参数。作为位置信息，能够描述gnssinfotype[i]＝0时的目标的位置信息和gnssinfotype[i]＝1时的目标以外的位置信息。关于目标的位置信息，“object[i]”是用于定义位置信息的目标的id(标识符)。并且，关于各目标，描述表示纬度的“gnssinfo_latitude[i]”和表示经度的“gnssinfo_longitude[i]”。

另一方面，关于目标以外的位置信息，图12所示的“groundsurfaceid[i]”是定义作为gnss信息测位出的位置信息的假想地平面的id(标识符)，“gnssinfolocinimage_x[i]”是示出定义位置信息的图像内的横向位置的参数，“gnssinfolocinimage_y[i]”是示出定义位置信息的图像内的纵向位置的参数。关于各地平面，描述表示纬度的“gnssinfo_latitude[i]”和表示经度的“gnssinfo_longitude[i]”。在目标被约束在特定平面上的情况下，位置信息是能够将该画面上映出的该平面映射到地图上的信息。因此，描述存在gnss信息的假想地平面的id。并且，还能够对图像内映出的目标描述gnss信息。这是假设为了进行地标等的检索而使用gnss信息的用途。

另外，图9～图12所示的描述符只是例子，能够对它们进行任意信息的追加或删除及其顺序或结构的变更。

如以上说明的那样，在实施方式1中，能够将输入图像中出现的目标的空间描述符与图像数据关联起来蓄积到存储器15中。通过利用该空间描述符作为检索对象，能够以较高可靠性且低处理负荷进行多个摄像图像中出现的处于空间或时空上接近的关系的多个目标之间的对应。由此，例如，在多台网络摄像机nc1～ncn从不同方向拍摄到同一对象物的情况下，通过存储器15中蓄积的描述符之间的相似度的计算，也能够以较高可靠性进行这些摄像图像中出现的多个目标之间的对应。

并且，在本实施方式中，还能够将输入图像中出现的目标的地理描述符与图像数据关联起来蓄积到存储器15中。通过与空间描述符一起利用地理描述符作为检索对象，能够以更高可靠性且低处理负荷进行多个摄像图像中出现的多个目标之间的对应。

因此，通过利用本实施方式的图像处理系统1，例如能够高效地进行特定物体的自动识别、三维图的生成或图像检索。

实施方式2

接着，对本发明的实施方式2进行说明。图13是示出实施方式2的图像处理系统2的概略结构的框图。

如图13所示，该图像处理系统2具有作为图像处理装置发挥功能的m台(m为3以上的整数)图像发布装置tc1、tc2、…、tcm以及经由通信网络nw接收从这些图像发布装置tc1、tc2、…、tcm分别发布的数据的图像蓄积装置50。另外，在本实施方式中，图像发布装置的台数为3台以上，但是，取而代之，也可以是1台或2台。

图像发布装置tc1、tc2、…、tcm全部具有相同结构，各图像发布装置构成为具有摄像部cm、图像分析部12、描述符生成部13以及数据传输部18。摄像部cm、图像分析部12以及描述符生成部13的结构分别与上述实施方式1的摄像部cm、图像分析部12以及描述符生成部13的结构相同。数据传输部18具有将图像数据vd和描述符数据dsr相互关联起来进行复用并向图像蓄积装置50进行发布的功能、以及向图像蓄积装置50仅发布描述符数据dsr的功能。

图像蓄积装置50具有：接收部51，其从图像发布装置tc1、tc2、…、tcm接收发布数据并从该发布数据中分离数据流(包含图像数据vd和描述符数据dsr中的一方或双方)；数据记录控制部52，其将该数据流蓄积到存储器53中；以及数据库接口部54。外部设备能够经由数据库接口部54访问存储器15内的数据库。

如以上说明的那样，在实施方式2中，也能够将空间和地理描述符以及与其相关联的图像数据蓄积到存储器53中。因此，通过利用这些空间描述符和地理描述符作为检索对象，与实施方式1的情况同样，能够以较高可靠性且低处理负荷进行多个摄像图像中出现的处于空间或时空上接近的关系的多个目标之间的对应。因此，通过利用该图像处理系统2，例如能够高效地进行特定物体的自动识别、三维图的生成或图像检索。

实施方式3

接着，对本发明的实施方式3进行说明。图14是示出实施方式3的图像处理系统即警备辅助系统3的概略结构的框图。

能够将设施区域内、事件会场或市区等场所中存在的群众和该场所中配置的警备负责人作为对象运用该警备辅助系统3。在设施区域内、事件会场和市区等构成群体的多人即群众(包含警备负责人)集中的场所，有时常常产生拥挤。拥挤损害该场所的群众的舒适性，并且，过度密集的拥挤成为集体事故的原因，因此，通过适当警备来避免拥挤是极其重要的。并且，在群众的安保中，迅速发现伤员、健康不良者、交通弱者和采取危险行动的人物或团体并进行适当警备也是重要的。

本实施方式的警备辅助系统3能够根据从一个或多个对象区内分散配置的传感器snr1、snr2、…、snrp取得的传感器数据和从通信网络nw2上的服务器装置svr、svr、…、svr取得的公开数据，掌握和预测该对象区内的群众的状态。并且，警备辅助系统3能够根据该掌握或预测的状态，通过运算来导出加工成用户容易理解的形式的表示群众的过去、当前和未来的状态的信息以及适当的警备计划，将这些信息和警备计划作为警备辅助中有用的信息提示给警备负责人，或者提示给群众。

参照图14，该警备辅助系统3具有p台(p为3以上的整数)传感器snr1、snr2、…、snrp以及经由通信网络nw1接收从这些传感器snr1、snr2、…、snrp分别发布的传感器数据的群众监视装置60。并且，群众监视装置60具有分别从服务器装置svr、…、svr经由通信网络nw2接收公开数据的功能。另外，本实施方式的传感器snr1～snrp的台数为3台以上，但是，取而代之，也可以是1台或2台。

服务器装置svr、svr、…、svr具有发布sns(socialnetworkingservice/socialnetworkingsite)信息和公共信息等公开数据的功能。sns是指twitter(注册商标)或facebook(注册商标)等实时性较高且用户的投稿内容一般被公开的交流服务或交流网站。sns信息是这种交流服务或交流网站中一般被公开的信息。并且，作为公共信息，例如可举出由自治体等行政单位、公共交通机关或气象局提供的交通信息或气象信息。

作为通信网络nw1、nw2，例如可举出有线lan或无线lan等区域内通信网、连接据点之间的专用线路网或因特网等广域通信网。另外，本实施方式的通信网络nw1、nw2以相互不同的方式进行构筑，但是不限于此。通信网络nw1、nw2也可以构成单一的通信网络。

群众监视装置60具有：传感器数据接收部61，其接收从传感器snr1、snr2、…、snrp分别发布的传感器数据；公开数据接收部62，其分别从服务器装置svr、…、svr经由通信网络nw2接收公开数据；参数导出部63，其根据这些传感器数据和公开数据，通过运算来导出表示由传感器snr1～snrp检测到的群众的状态特征量的状态参数；群众状态预测部65，其根据当前或过去的该状态参数，通过运算来预测该群众的未来状态；以及警备计划导出部66，其根据该预测结果和该状态参数，通过运算来导出警备计划案。

进而，群众监视装置60具有状态提示接口部(状态提示i/f部)67和计划提示接口部(计划提示i/f部)68。状态提示接口部67具有根据该预测结果和该状态参数生成以用户容易理解的格式表示该群众的过去状态、当前状态(包含实时变化的状态)和未来状态的视觉数据或音频数据的运算功能、以及向外部设备71、72发送该视觉数据或音频数据的通信功能。另一方面，计划提示接口部68具有生成以用户容易理解的格式表示由警备计划导出部66导出的警备计划案的视觉数据或音频数据的运算功能、以及向外部设备73、74发送该视觉数据或音频数据的通信功能。

另外，本实施方式的警备辅助系统3构成为将群众这样的目标群作为传感对象，但是不限于此。能够适当变更警备辅助系统3的结构，以将人体以外的移动体(例如野生动物或昆虫等生命体或车辆)的群体作为传感对象的目标群。

传感器snr1、snr2、…、snrp分别以电气或光学方式检测对象区的状态，生成检测信号，对该检测信号实施信号处理，由此生成传感器数据。该传感器数据包含表示对由检测信号表示的检测内容进行抽象化或紧凑化后的内容的已处理数据。作为传感器snr1～snrp，除了上述实施方式1和实施方式2的具有生成描述符数据dsr的功能的传感器以外，还能够使用各种传感器。图15是示出具有生成描述符数据dsr的功能的传感器snrk的一例的图。图15所示的传感器snrk具有与上述实施方式2的图像发布装置tc1相同的结构。

并且，传感器snr1～snrp的种类大致分成设置在固定位置的固定传感器以及搭载在移动体上的移动传感器这2种。作为固定传感器，例如能够使用光学摄像机、激光测距传感器、超声波测距传感器、拾音麦克风、热敏摄像机、暗视摄像机和立体摄像机。另一方面，作为移动传感器，除了能够使用与固定传感器相同种类的传感器以外，例如还能够使用测位计、加速度传感器、生命传感器。移动传感器主要能够用于如下用途：与作为传感对象的目标群一起移动并进行传感，由此，直接对该目标群的运动和状态进行传感。并且，也可以利用人观察目标群的状态并受理表示其观察结果的主观数据输入的器件，作为传感器的一部分。这种器件例如能够通过该人保有的便携型终端等移动通信终端供给该主观数据作为传感器数据。

另外，这些传感器snr1～snrp可以仅由一种传感器构成，或者，也可以由多种传感器构成。

传感器snr1～snrp分别设置在能够传感群众的位置，在警备辅助系统3进行动作的期间内，能够根据需要传输群众的传感结果。固定传感器例如设置在路灯、电线杆、天花板或墙壁上。移动传感器搭载在警备员、警备机器人或巡逻车辆等移动体上。并且，构成群众的各个人或警备员保有的智能手机或可穿戴设备等移动通信终端附带的传感器也可以用作该移动传感器。该情况下，优选预先构筑传感器数据收集的框组，以在作为安保对象的构成群众的各个人或警备员保有的移动通信终端预先安装传感器数据收集用的应用软件。

群众监视装置60中的传感器数据接收部61从上述传感器snr1～snrp经由通信网络nw1接收到包含描述符数据dsr的传感器数据组后，将该传感器数据组供给到参数导出部63。另一方面，公开数据接收部62从服务器装置svr、…、svr经由通信网络nw2接收到公开数据组后，将该公开数据组供给到参数导出部63。

参数导出部63能够根据被供给的传感器数据组和公开数据组，通过运算来导出表示由传感器snr1～snrp中的任意一方检测到的群众的状态特征量的状态参数。传感器snr1～snrp包含具有图15所示的结构的传感器，如实施方式2中说明的那样，这种传感器能够对摄像图像进行分析，检测该摄像图像中出现的群众作为目标群，向群众监视装置60发送表示该检测到的目标群的空间、地理和视觉特征量的描述符数据dsr。并且，如上所述，传感器snr1～snrp包含向群众监视装置60发送描述符数据dsr以外的传感器数据(例如体温数据)的传感器。进而，服务器装置svr、…、svr能够将与存在该群众的对象区或该群众相关联的公开数据提供给群众监视装置60。参数导出部63具有群众参数导出部641、642、…、64r，该群众参数导出部641、642、…、64r对这种传感器数据组和公开数据组进行分析，分别导出表示该群众的状态特征量的r种(r为3以上的整数)状态参数。另外，本实施方式的群众参数导出部641～64r的个数为3个以上，但是，取而代之，也可以是1个或2个。

作为状态参数的种类，例如可举出“群众密度”、“群众运动方向和速度”、“流量”、“群众行动的种类”、“特定人物的提取结果”和“特定范畴人物的提取结果”。

这里，“流量”例如定义为对通过规定区域的人数的每单位时间的值乘以该区域的长度而得到的值(单位：人数·m/s)。并且，作为“群众行动的种类”，例如可举出群众向一个方向流动的“单向流”、对向方向的流动交错的“对向流”、停留在该场所的“滞留”。并且，“滞留”还能够分类成表示由于群众密度过高而使该群众无法移动的状态等的“未被控制的滞留”、以及该群众按照组织者的指示站住从而产生的“被控制的滞留”这样的种类。

并且，“特定人物的提取结果”是表示在该传感器的对象区内是否存在特定人物的信息、以及追踪该特定人物而得到的轨迹的信息。这种信息能够用于生成表示在警备辅助系统3整体的传感范围内是否存在作为探索对象的特定人物的信息，例如，在迷路孩子的探索中是有用的信息。

“特定范畴人物的提取结果”是表示该传感器的对象区内是否存在属于特定范畴的人物的信息、以及追踪该特定人物而得到的轨迹的信息。这里，属于特定范畴的人物例如可举出“特定年龄和性别的人物”、“交通弱者”(例如幼儿、老年人、轮椅使用者和盲杖使用者)和“采取危险行动的人物或团体”。这种信息在判断针对该群众是否需要特别的警备体制时是有用的信息。

并且，群众参数导出部641～64r能够根据从服务器装置svr提供的公开数据，导出“主观拥挤度”、“主观舒适性”、“纠纷产生状况”、“交通信息”和“气象信息”等状态参数。

可以根据从一个传感器得到的传感器数据导出上述状态参数，或者，也可以对从多台传感器得到的多个传感器数据进行统合、利用，由此导出上述状态参数。并且，在利用从多台传感器得到的传感器数据的情况下，该传感器可以是由相同种类的传感器构成的传感器组，或者，也可以是不同种类的传感器混合存在的传感器组。在对多个传感器数据进行统合、利用的情况下，与利用一个传感器数据的情况相比，能够期待高精度地导出状态参数。

群众状态预测部65根据从参数导出部63供给的状态参数组，通过运算来预测该群众的未来状态，将表示其预测结果的数据(以下称作“预测状态数据”)分别供给到警备计划导出部66和状态提示接口部67。群众状态预测部65能够通过运算来估计确定该群众的未来状态的各种信息。例如，能够计算与由参数导出部63导出的状态参数相同种类的参数的未来值作为预测状态数据。另外，能够根据警备辅助系统3的系统要件，任意地定义能够预测何种程度的未来状态。

图16是用于说明由群众状态预测部65进行的预测的一例的图。如图16所示，设在道宽相等的步行者路径path中的对象区pt1、pt2、pt3中分别配置上述传感器snr1～snrp中的任意一方。群众从对象区pt1、pt2朝向对象区pt3移动。参数导出部63能够导出对象区pt1、pt2各自的群众的流量(单位：人数·m/s)，将这些流量作为状态参数值供给到群众状态预测部65。群众状态预测部65能够根据被供给的流量，导出群众可能朝向的对象区pt3的流量的预测值。例如，设时刻t1的对象区pt1、pt2的群众向箭头方向移动，对象区pt1、pt2各自的流量为f。此时，假设该群众的移动速度今后也不变这样的群众举动模型，并且，在从对象区pt1、pt2到对象区pt3的群众的移动时间均为t的情况下，群众状态预测部65能够预测未来的时刻t+t的对象区pt3的流量为2×f。

接着，警备计划导出部66从参数导出部63接受表示该群众过去和当前的状态的状态参数组的供给，并且，从群众状态预测部65接受表示该群众的未来状态的预测状态数据的供给。警备计划导出部66根据这些状态参数组和预测状态数据，通过运算来导出用于避免群众的拥挤和危险的警备计划案，将表示该警备计划案的数据供给到计划提示接口部68。

关于警备计划导出部66导出警备计划案的导出方法，例如，在参数导出部63和群众状态预测部65输出了表示某个对象区处于危险状态的状态参数组和预测状态数据的情况下，能够导出提出用于对该对象区中的群众的滞留进行整理的警备员的派遣或警备员的增员的警备计划案。作为“危险状态”，例如可举出检测到群众的“未被控制的滞留”或“采取危险行动的人物或团体”的状态或“群众密度”超过容许值的状态。这里，在警备计划负责人能够通过后述计划提示接口部68在监视器或移动通信终端等外部设备73、74中确认群众的过去、当前和未来的状态的情况下，该警备计划负责人能够确认该状态，并且自己生成警备计划案。

状态提示接口部67能够根据被供给的状态参数组和预测状态数据，生成以用户(警备员或作为警备对象的群众)容易理解的格式表示该群众的过去、当前和未来的状态的视觉数据(例如影像和文字信息)或音频数据(例如声音信息)。然后，状态提示接口部67能够向外部设备71、72发送该视觉数据和音频数据。外部设备71、72能够从状态提示接口部67接收该视觉数据和音频数据，作为影像、文字和声音向用户进行输出。作为外部设备71、72，能够使用专用的监视器设备、通用的pc、平板终端或智能手机等信息终端或不特定多数人能够视听的大型显示器和扬声器。

图17的(a)、(b)是示出由状态提示接口部67生成的视觉数据的一例的图。在图17的(b)中显示表示传感范围的地图信息m4。在该地图信息m4中示出道路网rd、分别传感对象区ar1、ar2、ar3的传感器snr1、snr2、snr3、作为监视对象的特定人物ped、该特定人物ped的移动轨迹(黑线)。在图17的(a)中分别示出对象区ar1的影像信息m1、对象区ar2的影像信息m2以及对象区ar3的影像信息m3。如图17的(b)所示，特定人物ped跨越对象区ar1、ar2、ar3进行移动。因此，如果用户仅看到影像信息m1、m2、m3，只要不理解传感器snr1、snr2、snr3的配置，则很难掌握特定人物ped在地图上以何种路径进行移动。由此，状态提示接口部67能够根据传感器snr1、snr2、snr3的位置信息，生成将影像信息m1、m2、m3中出现的状态映射到图17的(b)的地图信息m4上进行提示的视觉数据。通过这样以地图形式映射对象区ar1、ar2、ar3的状态，用户能够直观地理解特定人物ped的移动路径。

图18的(a)、(b)是示出由状态提示接口部67生成的视觉数据的另一例的图。在图18的(b)中显示表示传感范围的地图信息m8。在该地图信息m8中示出道路网、分别传感对象区ar1、ar2、ar3的传感器snr1、snr2、snr3、表示作为监视对象的群众密度的浓度分布信息。在图18的(a)中分别示出以浓度分布表示对象区ar1中的群众密度的地图信息m5、以浓度分布表示对象区ar2中的群众密度的地图信息m6和以浓度分布表示对象区ar3中的群众密度的地图信息m7。在该例子中，由地图信息m5、m6、m7表示的图像中的格子内的颜色(浓度)越亮，则表示密度越高，颜色(浓度)越暗，则表示密度越低。该情况下，状态提示接口部67也能够根据传感器snr1、snr2、snr3的位置信息，生成将对象区ar1、ar2、ar3的传感结果映射到图18的(b)的地图信息m8上进行提示的视觉数据。由此，用户能够直观地理解群众密度的分布。

除此之外，状态提示接口部67能够生成以曲线图形式示出状态参数值的时间推移的视觉数据、利用图标图像通知危险状态的产生的视觉数据、利用警告音通知该危险状态的产生的音频数据、以时间轴形式示出从服务器装置svr取得的公开数据的视觉数据。

并且，状态提示接口部67还能够根据从群众状态预测部65供给的预测状态数据，生成表示群众的未来状态的视觉数据。图19是示出由状态提示接口部67生成的视觉数据的又一例的图。在图19中示出并排配置图像窗口w1和图像窗口w2的图像信息m10。与左侧的图像窗口w1的显示信息相比，右侧的图像窗口w2的显示信息预测时间上靠前的状态。

在一个图像窗口w1中，能够显示以视觉方式表示由参数导出部63导出的过去或当前的状态参数的图像信息。用户通过gui(图形用户界面)对滑块sld1的位置进行调整，由此，能够使图像窗口w1显示当前或过去的指定时刻的状态。在图19的例子中，指定时刻被设定成零，因此，在图像窗口w1中实时显示当前的状态，并且，显示“live”的文字标题。在另一个图像窗口w2中，能够显示以视觉方式表示由群众状态预测部65导出的未来状态数据的图像信息。用户通过gui对滑块sld2的位置进行调整，由此，能够使图像窗口w2显示未来的指定时刻的状态。在图19的例子中，指定时刻被设定成10分钟后，因此，在图像窗口w2中示出10分钟后的状态，显示“prediction”的文字标题。图像窗口w1、w2中显示的状态参数的种类和显示格式彼此相同。这样，通过采用显示形式，用户能够直观地理解当前状态和当前状态变化的状况。

另外，也可以如下构成状态提示接口部67：对图像窗口w1、w2进行统合而构成一个图像窗口，生成在这一个图像窗口内表示过去、当前或未来的状态参数值的视觉数据。该情况下，优选如下构成状态提示接口部67：用户利用滑块切换指定时刻，由此，用户能够确认该指定时刻的状态参数值。

另一方面，计划提示接口部68能够生成以用户(警备负责人)容易理解的格式表示由警备计划导出部66导出的警备计划案的视觉数据(例如影像和文字信息)或音频数据(例如声音信息)。然后，计划提示接口部68能够向外部设备73、74发送该视觉数据和音频数据。外部设备73、74能够从计划提示接口部68接收该视觉数据和音频数据，作为影像、文字和声音向用户进行输出。作为外部设备73、74，能够使用专用的监视器设备、通用的pc、平板终端或智能手机等信息终端或大型显示器和扬声器。

作为警备计划的提示方法，例如能够采取针对全部用户提示相同内容的警备计划的方法、针对特定对象区的用户提示对象区单独的警备计划的方法或按照每个个人提示单独的警备计划的方法。

并且，例如优选生成能够通过声音和便携信息终端的振动主动向用户进行通知的音频数据，使得在提示警备计划时，用户能够即时识别到进行了提示。

另外，在上述警备辅助系统4中，如图14所示，参数导出部63、群众状态预测部65、警备计划导出部66、状态提示接口部67和计划提示接口部68包含在一个群众监视装置60内，但是不限于此。也可以将参数导出部63、群众状态预测部65、警备计划导出部66、状态提示接口部67和计划提示接口部68分散配置在多个装置内，由此构成警备辅助系统。该情况下，这些多个功能块通过有线lan或无线lan等区域内通信网、连接据点之间的专用线路网或因特网等广域通信网相互连接即可。

并且，如上所述，在警备辅助系统3中，传感器snr1～snrp的传感范围的位置信息是重要的。例如，根据哪个位置取得了被输入到群众状态预测部65的流量等状态参数是重要的。并且，在状态提示接口部67中，在进行图18的(a)、(b)和图19所示的向地图上的映射的情况下，状态参数的位置信息也是必须的。

并且，假设根据大规模事件的举办而暂时且在短期间内构成警备辅助系统3的情况。该情况下，需要在短期间内设置大量传感器snr1～snrp，并且取得传感范围的位置信息。由此，优选容易取得传感范围的位置信息。

作为容易取得传感范围的位置信息的手段，能够使用实施方式1的空间和地理描述符。在光学摄像机或立体摄像机等能够取得影像的传感器的情况下，通过使用空间和地理描述符，能够容易地导出传感结果对应于地图上的哪个位置。例如，通过图12所示的参数“gnssinfodescriptor”，在某个摄像机的取得影像中的属于同一假想平面的最少4点的空间位置与地理位置的关系已知的情况下，通过执行映射转换，能够导出该假想平面的各位置对应于地图上的哪个位置。

上述群众监视装置60例如能够使用pc、工作站或主机等内置cpu的计算机构成。在群众监视装置60使用计算机构成的情况下，cpu根据从rom等非易失性存储器读出的监视程序进行动作，由此，能够实现群众监视装置60的功能。并且，群众监视装置60的结构要素63、65、66的功能的全部或一部分可以由fpga或asic等半导体集成电路构成，或者，也可以由作为一种微型计算机的单片机构成。

如以上说明的那样，实施方式3的警备辅助系统3能够根据包含从一个或多个对象区内分散配置的传感器snr1、snr2、…、snrp取得的描述符数据dsr的传感器数据以及从通信网络nw2上的服务器装置svr、svr、…、svr取得的公开数据，容易地掌握和预测该对象区内的群众的状态。

并且，本实施方式的警备辅助系统3能够根据该掌握或预测的状态，通过运算来导出加工成用户容易理解的形式的表示群众的过去、当前和未来的状态的信息以及适当的警备计划，将这些信息和警备计划作为警备辅助中有用的信息提示给警备负责人，或者提示给群众。

实施方式4

接着，对本发明的实施方式4进行说明。图20是示出实施方式4的图像处理系统即警备辅助系统4的概略结构的框图。该警备辅助系统4具有p台(p为3以上的整数)传感器snr1、snr2、…、snrp以及经由通信网络nw1接收从这些传感器snr1、snr2、…、snrp分别发布的传感器数据的群众监视装置60a。并且，群众监视装置60a具有分别从服务器装置svr、…、svr经由通信网络nw2接收公开数据的功能。

除了具有图20的传感器数据接收部61a的功能的一部分、图像分析部12和描述符生成部13这一点以外，本实施方式的群众监视装置60a具有与上述实施方式3的群众监视装置60相同的功能和相同的结构。

除了具有与上述传感器数据接收部61相同的功能以外，传感器数据接收部61a具有如下功能：在从传感器snr1、snr2、…、snrp接收到的传感器数据中存在包含摄像图像的传感器数据的情况下，提取该摄像图像并将其供给到图像分析部12。

图像分析部12和描述符生成部13的功能与上述实施方式1的图像分析部12和描述符生成部13的功能相同。由此，描述符生成部13能够生成空间描述符和地理描述符以及基于mpeg标准的已知描述符(例如表示目标的颜色、纹理、形状、运动和面部等的特征量的视觉描述符)，将表示这些描述符的描述符数据dsr供给到参数导出部63。因此，参数导出部63能够根据由描述符生成部13生成的描述符数据dsr生成状态参数。

以上参照附图叙述了本发明的各种实施方式，但是，这些实施方式只是本发明的例示，还能够采用这些实施方式以外的各种方式。另外，在本发明的范围内，能够进行上述实施方式1、2、3、4的自由组合、各实施方式的任意结构要素的变形或各实施方式的任意结构要素的省略。

产业上的可利用性

本发明的图像处理装置、图像处理系统和图像处理方法例如适用于物体识别系统(包含监视系统)、三维地图生成系统和图像检索系统。

标号说明

1、2：图像处理系统；3、4：警备辅助系统；10：图像处理装置；11：接收部；12：图像分析部；13：描述符生成部；14：数据记录控制部；15：存储器；16：数据库接口部；18：数据传输部；21：解码部；22：图像识别部；22a：目标检测部；22b：比例尺估计部；22c：图案检测部；22d：图案分析部；23：图案存储部；31～34：目标；40：显示设备；41：显示画面；50：图像蓄积装置；51：接收部；52：数据记录控制部；53：存储器；54：数据库接口部；60、60a：群众监视装置；61、61a：传感器数据接收部；62：公开数据接收部；63：参数导出部；641～64r：群众参数导出部；65：群众状态预测部；66：警备计划导出部；67：状态提示接口部(状态提示i/f部)；68：计划提示接口部(计划提示i/f部)；71～74：外部设备；nw、nw1、nw2：通信网络；nc1～ncn：网络摄像机；cm：摄像部；tx：发送部；tc1～tcm：图像发布装置。