本发明涉及视频监视装置及其控制方法、计算机可读存储介质和视频监视系统。
背景技术：
近年来，安装的监视照相机的数量逐渐增大，并且使用监视系统的重要性逐渐增大。在办公室和大型商业设施中，安装监视照相机来管理建筑设施，并且这些监视照相机由应急控制中心系统地管理。此外，还期望进行可疑人员的检测和拥挤程度的监视。甚至在举办体育竞赛和音乐会的活动场所及其周围的城市地区，也提出了利用这些功能。此外，还要求能够检测诸如争吵和坠落事故的异常。
然而，安装的照相机的数量增大指示作为确认目标的视频的数量增大，并且确认所有视频更加困难。在一般的监视系统中，观察者每隔预定的时间间隔切换视频。然而，这种切换方法可能无法监视重要的照相机视频。
为了解决上述问题，与本申请相同的受让人提出了日本特开2016-81355号公报(以下称为文献1)，其中，根据监视视频计算特征量并且基于计算出的特征量自动检测异常。基于异常检测结果自动切换监视视频可以减小观察者的工作负荷。
另一方面，日本特开2008-288870号公报(以下称为文献2)提出了如下方法：根据观察者的视线和操作历史来学习监视视频的异常程度以快速发现异常事件，从而减小观察者的工作负荷。
根据文献1，根据基于预先标记的正常标签和异常标签学习的观察模型，来检测异常。因此，不一定能获得与观察者的意图匹配的检测结果。观察者将错过待确认的异常。
根据文献2，学习反映观察者的视线和操作历史的异常。然而，由于异常程度被累积在数据库中并被搜索，因此当数据量增大时检测异常程度需要花费时间。特别地，当要监视大量照相机时，随着照相机数量的增大，搜索处理时间变长。
技术实现要素：
本发明是考虑到上述问题而提出的，并且提供了如下技术：针对来自多个摄像装置的图像自动切换与观察者的意图匹配的监视图像，并减小观察者的工作负荷。
根据本发明的第一方面，提供一种视频监视装置，其包括：获取单元，其被构造为从多个摄像装置获取图像；估计单元，其被构造为，估计用户针对从所述多个摄像装置获取的多个图像的关注程度；指定单元，其被构造为，根据来自用户的指令，将获取的图像中的一个图像指定为要显示的图像；学习单元，其被构造为，使所述估计单元进行学习，以增大由所述指定单元指定的图像的关注程度；以及选择单元，其被构造为，基于由所述估计单元估计的各个图像的关注程度，来选择所述多个图像中的一个图像。
根据本发明的第二方面，提供一种视频监视装置的控制方法，所述控制方法包括如下步骤：获取步骤，从多个摄像装置获取图像；估计步骤，估计用户针对从所述多个摄像装置获取的多个图像的关注程度；指定步骤，根据来自用户的指令，将获取的图像中的一个图像指定为要显示的图像；学习步骤，使估计单元进行学习，以增大在所述指定步骤中指定的图像的关注程度；以及选择步骤，基于在所述估计步骤中估计的各个图像的关注程度，来选择所述多个图像中的一个图像。
根据本发明的第三方面，提供一种存储程序的计算机可读存储介质，该程序在被计算机执行时，使所述计算机执行视频监视装置的控制方法的步骤，所述控制方法包括如下步骤：获取步骤，从多个摄像装置获取图像；估计步骤，估计用户针对从所述多个摄像装置获取的多个图像的关注程度；指定步骤，根据来自用户的指令，将获取的图像中的一个图像指定为要显示的图像；学习步骤，使估计单元进行学习，以增大在所述指定步骤中指定的图像的关注程度；以及选择步骤，基于在所述估计步骤中估计的各个图像的关注程度，来选择所述多个图像中的一个图像。
根据本发明的第四方面，提供一种视频监视系统，其包括：多个摄像装置；以及视频监视装置，其以能够通信的方式连接到所述多个摄像装置并且被构造为显示由所述多个摄像装置拍摄的图像，其中，所述视频监视装置包括：估计单元，其被构造为，估计用户针对从所述多个摄像装置获取的多个图像的关注程度；指定单元，其被构造为，根据来自用户的指令，将获取的图像中的一个图像指定为要显示的图像；学习单元，其被构造为，使所述估计单元进行学习，以增大由所述指定单元指定的图像的关注程度；以及选择单元，其被构造为，基于由所述估计单元估计的各个图像的关注程度，来选择所述多个图像中的一个图像。
根据本发明，针对来自多个摄像装置的图像，可以自动地进行与观察者的意图匹配的监视图像的切换，并且可以减小观察者的工作负荷。
通过以下对示例性实施例的描述(参照附图)，本发明的其他特征将变得清楚。
附图说明
图1是示出根据实施例的视频监视系统的功能布置的框图；
图2是示出根据实施例的视频监视系统在学习时的处理序列的流程图；
图3是示出根据实施例的视频监视系统的关注程度估计单元的布置的框图；
图4是示出用于估计根据实施例的视频监视系统的关注程度的神经网络的图；
图5是示出根据实施例的视频监视系统的显示画面的示例的图；
图6是示出在根据实施例的视频监视系统的画面切换操作之后的显示画面的图；以及
图7是示出根据实施例的视频监视系统在自动控制时的处理序列的流程图。
具体实施方式
下面将参照附图描述根据本发明的实施例。
图1是示出根据实施例的视频监视系统的功能布置的框图。视频监视系统包括多个照相机200-1至200-n(n≥2)、显示单元300、画面切换操作单元400、图像获取单元110、关注程度估计单元120、估计参数存储单元130、画面切换控制单元140、操作信息获取单元150和学习单元160。照相机200-1到200-n能够通过有线或无线通信与图像获取单元110通信。
显示单元300由液晶面板、外部监视器等构成并且输出由照相机拍摄的图像和各种信息。画面切换操作单元400由鼠标、键盘、触摸面板设备和按钮构成并且输入由多个照相机拍摄的视频的画面切换操作。单元110至160通过由中央处理单元(cpu)、图形处理单元(gpu)和存储器构成的算术处理装置实施。这些部件执行稍后描述的操作程序以实施本发明。各个处理单元可相互通信并经由总线等连接。
图像获取单元110获取由照相机200-1至200-n拍摄的图像数据。该图像数据是静止图像或时间序列图像数据。当在网络上安装照相机200-1至200-n时，各个图像和各个照相机之间的对应关系可以根据网络上的各个照相机的名称或地址(例如，ip地址)来指定。在该实施例中，表示各个图像和各个照相机之间的对应关系的信息由照相机标识号表示。
显示单元300显示由图像获取单元110获取的图像。关注程度估计单元120使用估计参数存储单元130中存储的参数，估计表示用户(观察者)对由图像获取单元110获取的各个图像的关注程度的指标值(下文称为关注程度)。当然，通过用户的画面切换操作而选择的画面(图像)比未选择的图像的关注程度高。
画面切换控制单元140根据由关注程度估计单元120估计的多个照相机的图像的关注程度自动地切换显示单元300上显示的画面。观察者可以手动地使画面切换操作单元400切换显示单元300上显示的画面。通过画面切换操作单元400进行的切换优先于画面切换控制单元140中的操作。操作信息获取单元150获取画面切换操作单元400的操作信息。学习单元160根据由关注程度估计单元120估计的多个照相机的关注程度和由操作信息获取单元150获取的操作信息来学习参数，并且将学习的参数存储在估计参数存储单元130中。
将参照图2所示的处理序列来描述根据本实施例的视频监视系统在学习时(学习阶段)的操作。
图像获取单元110获取由照相机200-1至200-n拍摄的图像数据(步骤s100)。要获取的图像数据是由可以按时间序列依次获取的r、g和b8位像素构成的二维数据。获取的图像数据被保持在存储器(未示出)中。
关注程度估计单元120使用估计参数存储单元130中存储的参数，来估计由图像获取单元110获取的各个图像的关注程度。图3示出关注程度估计单元120的布置。如图3所示，关注程度估计单元120包括区域划分单元121、特征量提取单元122、估计单元123和整合单元124。区域划分单元121将由图像获取单元110获取的关注图像数据沿水平方向和竖直方向划分成预定数量，由此生成具有相同尺寸的多个图像区域(步骤s110)。区域划分单元121将各个划分的图像区域标准化为预定尺寸。在该实施例中，划分成具有相同尺寸的区域(竖直方向上h个像素，水平方向上w个像素)的图像被标准化。然而，标准化方法不限于此。例如，靠近画面中心的区域可以被设置为小于其他区域。此外，要划分的区域可以彼此部分交叠。这些区域可以具有不同的尺寸。
特征量提取单元122和估计单元123估计由区域划分单元121划分的各个图像区域的关注程度(步骤s120)。特征量提取单元122和估计单元123由图4中示出的深度神经网络构成。在该神经网络中，输入具有分辨率h×w的局部区域的rgb图像，并且进行5层卷积神经网络的算术运算。经由第六层和第七层的全耦合神经网络获得算术运算结果。附图标记f1至f5表示第一层到第五层的卷积运算的滤波器尺寸。附图标记d1至d7表示第一层到第七层的输出通道计数。特征量提取单元122由第一层至第五层的卷积神经网络构成，并且获得图像特征量。该图像特征量被提供给估计单元123。估计单元123由第六层和第七层的全耦合神经网络构成，并且输出关注程度。该关注程度是表示观察者关注监视视频的程度的值。
关注程度估计单元120将上述估计处理重复由区域划分单元121划分的区域的数量的次数。关注程度估计单元120的整合单元124对来自关注程度估计单元120的估计单元123的输出进行整合(步骤s130)。根据该实施例的整合单元124比较针对多个区域估计的关注程度并获得最高的关注程度。注意，除此之外，也可以将从多个区域估计的关注程度平均化，或者也可以使用其他整合方法。
显示单元300显示由图像获取单元110获取的图像(步骤s140)。图5示出显示单元300上显示的画面的示例。附图标记f表示主画面(用户特别关注的画面)。附图标记f1、f2...表示来自照相机200-1、200-2...的子画面。在该示例中，照相机200-1的图像显示在主画面f上。注意，图5显示了四个子画面，但是可以通过在水平方向上进行滚动来显示五个子画面中的四个子画面。也就是说，可以任意地设置子画面的数量。
画面切换操作单元400接受来自监视显示单元300上显示的画面的用户的画面切换操作，并切换要显示在显示单元300上的画面(步骤s150)。图6示出在画面切换操作之后的画面的示例。图6示出如下示例：用户将主画面从照相机200-1的视频切换到来自照相机200-2的视频。图6示出如下示例：用户观察到人聚在一起，并切换照相机的画面。注意，当用户通过定点设备、键盘等指定一个子画面时进行该切换操作。将步骤s100至步骤s150的处理重复预定次数。
操作信息获取单元150获取画面切换操作单元400的操作信息(步骤s160)。这里要获取的操作信息是用于指定选择的图像的照相机的照相机标识号。学习单元160获取由关注程度估计单元120估计的、由多个照相机获得的图像的关注程度和由操作信息获取单元150获取的照相机标识号，作为学习数据(步骤s170)。当用户未选择一个图像时，处理返回到步骤s100以进行下一个图像获取。
另一方面，当用户选择一个图像时，处理进入步骤s180。在步骤s180中，学习单元160通过使用获取的学习数据来更新在关注程度估计单元120中使用的参数，并将更新后的参数存储在估计参数存储单元130中。
重复上述处理，直到从各个照相机获取图像的次数达到预定值为止。
用于从平均损失梯度获得估计参数的随机梯度下降方法，被用于神经网络的学习。令ap为关注程度估计单元120估计的关注程度当中的、针对从与照相机标识号相对应的照相机获得的图像而在步骤s130中获得的整合之后的关注程度；并且令ami为针对从其他照相机获得的图像而在步骤s130中获得的整合之后的关注程度。注意，i指示表示数据索引的值。在该实施例中，被用户选择的照相机的关注程度与未被用户选择的照相机的关注程度之间的差被评价为平均损失。损失函数可以通过以下等式获得：
l＝σi(ap-ami<0)…(1)
其中，i()是指示函数。如果括号中的值为真，则该函数输出1；否则输出0。σ表示索引i的学习数据的数量的总和。所有数据可以用于学习，或者可以随机选择预定数量的数据。
学习单元160根据关注程度估计单元120的估计单元123，即根据通过将图4中示出的神经网络的第六层和第七层中的各个的参数改变预定小值而获得的关注程度估计值，基于等式(1)来获得梯度。学习单元160使得估计参数能够进行学习，以减小平均损失。即，通过更新估计参数来进行学习，以增大选择的图像的关注程度与未选择的图像的关注程度之间的差。学习单元160将获得的参数存储在估计参数存储单元130中，由此更新估计参数。
上面已经描述了根据该实施例的学习阶段的处理。在以上描述中，当从各个照相机获取图像的次数达到预定次数时，触发学习阶段处理。然而，当进行图像获取的次数以及用户进行图像选择操作的次数大时，可以期望更高的学习效果。当进行图像获取的次数以及用户进行图像选择操作的次数达到预定计数时，可以将这些次数作为条件给出。
现在将参照图7所示的处理序列来描述根据该实施例的视频监视系统在自动画面切换控制时(操作阶段)的显示控制的操作。
图像获取单元110获取由照相机200-1至200-n拍摄的图像数据(步骤s200)。关注程度估计单元120的区域划分单元121将由图像获取单元110获得的各个图像数据沿竖直方向和水平方向划分成预定数量，从而获得具有相同尺寸的图像区域。图像获取单元110将划分的图像区域标准化为预先设置的预定尺寸(步骤s210)。
关注程度估计单元120的特征量提取单元122和估计单元123针对由区域划分单元121划分的各个区域估计关注程度(步骤s220)。此时，当在上述学习处理中更新估计参数时，使用最新参数估计关注程度。另外，关注程度估计单元120将估计处理重复由区域划分单元121划分的区域的数量的次数。
关注程度估计单元120的整合单元124对来自关注程度估计单元120的估计单元123的输出进行整合(步骤s230)。
另一方面，显示单元300将由图像获取单元110获取的图像显示在子画面上(步骤s240)。针对照相机200-1至200-n，将从步骤s200至步骤s240的处理重复照相机的数量的次数。
画面切换控制单元140比较在步骤s230中针对各个照相机的图像而获得的整合的关注程度，并且获得拍摄了具有最大关注程度的图像的照相机的照相机标识号(步骤s250)。
画面切换控制单元140在显示单元300的主画面上显示获得的照相机标识号图像，从而自动地切换画面(步骤s260)。
由此完成自动控制时的操作。注意，处理继续，直到经由操作单元(未示出)输入自动控制结束指令为止。
如上所述，根据该实施例，通过使用根据各个照相机的图像估计的关注程度来切换画面的操作，进行学习使得用户选择的照相机的关注程度变得比其他照相机的关注程度大。为此，可以进行与用户的意图匹配的切换画面的学习。由于学习参数可以被更新，因此即使照相机的数量增大，处理时间也不会造成任何问题。
注意，在该实施例中，关注程度估计单元由神经网络形成。然而，可以使用利用诸如支持向量机的其他机器学习的估计单元，来形成关注程度估计单元。
根据该实施例的关注程度估计单元根据静止图像来估计关注程度，但是可以根据通过耦合时间序列图像的多个帧的区域而获得的时空图像(运动图像)来估计关注程度。
例如，如果照相机以30帧/秒的速度拍摄运动图像，则使用接收在最近的时间轴上布置的30个(针对1秒)特征量或上述实施例中所示的关注程度的神经网络。进行学习，使得来自用户选择的(关注的)照相机的时间轴视频，与来自未选择的照相机的时间轴视频相区分。
在上述实施例中，学习单元获取由关注程度估计单元估计的图像中的多个估计结果，作为针对各个区域的学习数据。然而，估计结果可以通过关注程度估计单元的整合单元而被整合为一个估计结果，并且然后整合的估计结果可以被设置为各个照相机图像的学习数据。另选地，也可以使用递归神经网络对关注程度估计单元的多个估计结果进行整合和估计，并且学习单元接收来自该神经网络的输出作为学习数据。循环神经网络(rnn，recurrentneuralnetwork)或长短期记忆网络(lstm，longshort-termmemory)可以用作递归神经网络。
在该实施例中，学习单元进行学习，使得由画面切换操作单元选择的照相机的关注程度大于其他照相机的关注程度。然而，可以使用在画面切换操作之前和之后的信息。例如，可以进行学习，使得选择的照相机的关注程度被设置为大于在选择之前在主画面上显示的照相机的关注程度。
学习阶段和画面切换阶段(操作阶段)可以基于用户进行画面切换操作的时间而自动地切换。
在上述实施例中，在学习阶段，从照相机200-1至200-n获取图像。例如，由照相机200-1至200-n在过去(前一天)拍摄的图像与照相机标识号相关联地存储在诸如硬盘的存储设备中。关于从存储设备获取来自各个照相机的图像，可以进行学习，使得用户重复选择操作。
其他实施例
另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(cpu)，微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd)tm)、闪存设备以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。