图像处理装置、监视系统、图像处理方法和程序与流程

本发明涉及图像处理技术。

背景技术：

监视设施等的方法包括通过观看从捕捉设施等的图像的监视相机获得的图像来执行监视的方法。已经开发了用于促进使用监视相机来进行监视的技术。

专利文献1公开了一种检测异常行为的异常行为检测装置。这一装置将拥挤程度分成多个阶段，并基于拥挤程度来获得正常运动模式。是否为异常行为的确定通过基于此时的拥塞程度确定目标对象的运动模式是否与正常运动模式匹配而被执行。

专利文献2公开了一种具有在被显示在监视器上的图像上呈现监视目标的状态的功能的监视系统。具体地，在通过捕捉人群的图像而获得的图像上呈现人群的移动方向的共同程度和指示人群的移动方向的数值。

相关文献

专利文献

[专利文献1]日本未审查专利申请公开no.2010-072782

[专利文献2]日本未审查专利申请公开no.2012-022370

技术实现要素：

在现有技术中公开的技术中，可能难以立即查明监视目标的当前状况。例如，当观察者想要查明由监视相机捕捉的人是经过该地方的人还是在该地方徘徊的人时，观察者需要继续观看由监视相机捕捉的图像一段时间。

本发明鉴于上述问题而被设计，并且其目的在于提供一种对监视相机进行监视的人可以用来立即查明监视目标的当前状况的技术。

提供了一种第一图像处理装置，其包括：指标值计算单元，其使用多个捕捉的图像来计算指标值，捕捉的图像由相机在不同时间捕捉，该指标值指示在捕捉的图像中监视目标的状态的变化程度；以及呈现单元，其在由所述相机捕捉的第一捕捉的图像上呈现基于指标值的指示。

提供了一种第二图像处理装置，其包括：计算单元，其使用多个捕捉的图像来计算在捕捉的图像中监视目标的状态的变化程度，捕捉的图像由相机在不同时间捕捉；以及呈现单元，其将捕捉的图像的区域的颜色改变为基于计算出的变化程度的颜色，区域示出监视目标。

提供了一种第三图像处理装置，其包括：计算单元，其使用多个捕捉的图像来计算在捕捉的图像中监视目标的状态的变化程度，捕捉的图像由相机在不同时间捕捉；以及呈现单元，其强调捕捉的图像的区域，区域示出监视目标。

提供了一种监视系统，其包括相机，图像处理装置和显示屏。

图像处理装置是本发明的上述图像处理装置。此外，显示屏显示由呈现单元在其上呈现基于指标值的指示的第一捕捉的图像。

提供了一种由计算机执行的图像处理方法。该方法包括：使用多个捕捉的图像来计算指标值，捕捉的图像由相机在不同时间捕捉，该指标值指示监视目标在捕捉的图像中的状态的变化程度；以及在由相机捕捉的第一捕捉的图像上呈现基于指标值的指示。

提供了一种程序，其通过使得计算机具有包括在本发明的图像处理装置中的功能组件的功能来使得计算机具有作为本发明的图像处理装置操作的功能。

根据本发明，提供了一种对监视相机进行监视的人可以用来立即查明监视目标的当前状况的技术。

附图说明

通过将在下面描述的合适的实施例和下面的附图，上述对象以及其他目的、特征和优点进一步变得更加明显。

图1是图示了根据第一示例性实施例的图像处理装置的框图。

图2是概念性地图示了针对每个呈现目标图像计算监视目标的指标值的处理的示图。

图3是概念性地图示了呈现多个呈现目标图像所共有的指示的处理的示图。

图4是图示了图像处理装置的硬件配置的框图。

图5是图示了由第一示例性实施例的图像处理装置执行的处理的流程的流程图。

图6是概念性地图示了以动画的格式来呈现基于指标值的指示的处理的示图。

图7是图示了人被留下的状态的示图。

图8是图示了根据第二示例性实施例的图像处理装置的框图。

图9是图示了其中黑色基于指标值而变得更深的颜色图的示图。

图10是图示了彩虹色的颜色图的示图。

图11是概念性地图示了监视目标及其周围的颜色被改变为与指示监视目标的位置的改变程度的指标值对应的颜色的示图。

图12是概念性地图示了通过在监视目标周围呈现框来执行强调的示图。

图13是概念性例地图示了通过在监视目标周围呈现具有与指标值对应的颜色和宽度的框来执行强调的示图。

图14是图示了根据第四示例性实施例的图像处理装置的框图。

图15是概念性地图示了在确定基准密度时基于发散程度来确定指示颜色的密度的方法的示图。

图16是概念性地图示了由多个相机捕捉的图像以时分方式被显示在显示屏上的示图。

图17是图示了根据第六示例性实施例的指标值计算单元用来计算指标值的方法的示图。

图18是图示了根据第六示例性实施例的由图像处理装置执行的处理的流程的流程图。

图19是图示了用户的眼睛注视方向与部分区域之间的关系的示图。

图20是以表格格式图示了其中与观察者的眼睛注视方向对应的部分区域和观察者的眼睛注视方向已经改变的时间的信息的示图。

具体实施方式

在下文中，将参照附图描述本发明的示例性实施例。在所有附图中，相似的标号表示相似的组件，并且将不重复其描述。

第一示例性实施例

图1是图示了根据第一示例性实施例的图像处理装置2000的框图。在图1中，箭头指示信息流。另外，在图1中，每个框指示基于功能的配置而不是基于硬件的配置。

图像处理装置2000包括指标值计算单元2020和呈现单元2040。指标值计算单元2020获取由相机3000捕捉的多个图像(以下被称为捕捉的图像)。相机3000的示例是监视相机。此外，这多个捕捉的图像在不同时间被捕捉。例如，这多个捕捉的图像是构成相机3000捕捉的电影的帧。

另外，指标值计算单元2020使用捕捉的图像来计算指标值，该指标值指示获取的捕捉的图像中的监视目标的状态的变化程度。

呈现单元2040在相机3000捕捉的图像上呈现基于由指标值计算单元2020计算出的指标值的指示。这里，捕捉的图像可以是用于计算指标值的图像，或者可以是未用于计算指标值的图像。在前一种情况下，例如，呈现单元2040在第n个捕捉的图像上呈现基于使用第1至第n个捕捉的图像计算出的指标值的指示。此外，在后一种情况下，例如，呈现单元2040在第(n+1)个捕捉的图像上呈现基于使用第1至第n个捕捉的图像计算出的指标值的指示。在下文中，还将呈现单元2040在其上呈现基于指标值的指示的目标的捕捉的图像写为呈现目标图像。

例如，呈现单元2040针对每个呈现目标图像计算监视目标的指标值。图2是概念性地图示了针对每个呈现目标图像计算监视目标的指标值的处理的示图。在图2中，呈现单元2040在第(n+1)个捕捉的图像上呈现基于使用第1至第n个捕捉的图像计算出的指标值的指示。类似地，呈现单元2040在第(n+2)个捕捉的图像上呈现基于使用第2至第(n+1)个捕捉的图像计算出的指标值的指示，并且在第(n+3)个捕捉的图像上呈现基于使用第3至第(n+2)个捕捉的图像计算出的指标值的指示。

此外，例如，呈现单元2040可使用如下指标值，该指标值使用多个呈现目标图像所共有的多个捕捉的图像被计算出。图3是概念性地图示了呈现多个呈现目标图像所共有的指示的处理的示图。在图3中，呈现单元2040在第(n+1)至第2n个捕捉的图像中的每一个上呈现基于使用第1至第n个捕捉的图像计算出的指标值的指示。类似地，呈现单元2040在第(2n+1)至第3n个捕捉的图像中的每一个上呈现基于使用第(n+1)至第2n个捕捉的图像计算出的指标值的指示。

<硬件配置的示例>

图像处理装置2000的每个功能组件可以用实现每个功能组件的硬件组成元件(例如，硬接线电子电路等)来实现，或者可以通过硬件组成元件和硬件构成元件的组合(例如，电子电路和用于控制电子电路的程序的组合等)来实现。

图4是图示了图像处理装置2000的硬件配置的框图。图像处理装置2000包括总线1020、处理器1040、存储器1060、存储装置1080和输入输出接口1100。总线1020是用于允许处理器1040、存储器1060、存储装置1080和输入输出接口1100彼此传输和接收数据的数据传输通道。这里，将处理器1040等彼此连接的方法不限于总线连接。处理器1040是算术处理设备，诸如例如中央处理单元(cpu)或图形处理单元(gpu)。存储器1060是诸如例如随机存取存储器(ram)或只读存储器(rom)的存储器。存储装置1080是诸如例如硬盘、固态驱动器(ssd)或存储卡的存储设备。此外，存储装置1080可以是诸如ram或rom的存储器。输入输出接口1100是用于允许图像处理装置2000向外部装置等传输数据和从外部装置等接收数据的输入输出接口。例如，图像处理装置2000通过输入输出接口1100获取捕捉的图像。此外，例如，图像处理装置2000通过输入输出接口1100来输出上面呈现有基于指标值的指示的捕捉的图像。

存储装置1080包括作为用于实现图像处理装置2000的功能的程序的指标值计算模块1220和呈现模块1240。处理器1040通过执行这些模块来实现指标值计算单元2020和呈现单元2040的功能。模块。这里，当上述模块被执行时，处理器1040可以在读取存储器1060上的模块之后执行这些模块，或者可以在未读取存储器1060上的模块的情况下执行这些模块。

图像处理装置2000的硬件配置不限于图4中所示的配置。例如，每个模块可被存储在存储器1060中。在这种情况下，图像处理装置2000可以不包括存储装置1080。

<处理的流程>

图5是图示了第一示例性实施例的图像处理装置2000执行的处理的流程的流程图。在步骤s102中，指标值计算单元2020获取捕捉的图像。在步骤s104中，呈现单元2040计算如下指标值，该指标值指示捕捉的图像中监视目标的状态的变化程度。在步骤s106中，呈现单元2040在相机3000捕捉的图像(呈现目标图像)上呈现基于指标值的指示。

<操作优点>

当观察者等想要查明由监视相机捕捉的监视目标的状态在何种程度上已改变时，观察者需要连续地观看监视相机的对象。即使当仅通过在短时间段(例如，大约一秒)内观看图像就能查明此时的监视目标的状态时，也难以查明监视目标的状态在何种程度上已改变。

另一方面，根据本示例性实施例的图像处理装置2000，在呈现目标图像上呈现指示监视目标的状态的变化程度的指示。假设在显示屏4000上显示由相机3000捕捉的图像。在这种情况下，显示屏4000显示其上叠加有基于指标值的指示的图像。因此，观察者等可以在短时间段内容易地查明监视目标的状态已经在何种程度上改变。因此，观察者等可以立即且容易地查明监视目标的当前状况。

在下文中，将更详细地描述本示例性实施例。

<获取捕捉的图像的方法>

指标值计算单元2020的用来获取捕捉的图像的方法是任意的。例如，指标值计算单元2020从相机3000获取捕捉的图像。此外，指标值计算单元2020可以获取存储在位于相机3000外部的存储设备中的捕捉的图像。在这种情况下，相机3000被配置为将捕捉的图像存储在存储设备中。存储设备可以被提供在图像处理装置2000内，或者可以被提供在图像处理装置2000的外部。

另外，获取捕捉的图像的处理可以是其中指标值计算单元2020接收相机3000或上述存储设备输出的捕捉的图像的处理，或者可以是其中指标值计算单元2020从相机3000或上述存储设备读出捕捉的图像的处理。

<监视目标的细节>

存在图像处理装置2000处理的各种监视目标。例如，图像处理装置2000将对象(人、事物等)或一组对象(人群等)作为监视目标来处理。注意，指示事物的对象可以包括地方。换句话说，图像处理装置2000可以将捕捉的图像中的地方(区域)作为监视目标来处理。

例如，指标值计算单元2020将捕捉的图像中包括的区域划分为前景区域和背景区域，并且将前景区域作为对象来处理。这里，从图像提取诸如人或事物之类的对象的方法不限于上述方法。从图像提取诸如人和事物之类的对象的技术是已知的，并且指标值计算单元2020可以使用已知的技术。这里，将不描述已知的技术。

<确定监视目标的方法>

图像处理装置2000可以将从捕捉的图像提取的所有对象设置为监视目标，或者可以仅将特定对象设置为监视目标。例如，图像处理装置2000仅将一个人或一组人(人群)作为监视目标来处理。此外，图像处理装置2000可以仅将特定人或人群设置为监视目标。在这种情况下，图像处理装置2000获取指示监视目标的信息(例如，黑名单)，并且基于该信息来确定监视目标。指示监视目标的信息指示例如每个监视目标的特征值。此外，指示监视目标的信息可以是指示要被监视的人的特征的信息，诸如“戴着帽子”或“戴着墨镜”。这里，由于从包括在图像中的对象确定具有特定特征的对象的技术是已知技术，因此将不描述详细的方法。

<呈现单元2040的细节>

如上所述，呈现单元2040在由相机3000捕捉的图像(呈现目标图像)上呈现基于指标值的指示。例如，在呈现目标图像上呈现基于指标值的指示的处理是呈现针对呈现目标图像中的监视目标附近的监视目标计算出的指标值的处理。将在稍后的示例性实施例等中描述“在呈现目标图像上呈现基于指标值的指示的处理”的其他示例。

这里，短语“在呈现目标图像上呈现指示”是指例如将指示组合到呈现目标图像中或者将该指示重叠到呈现目标图像上的处理。在这种情况下，呈现单元2040可以将具有被组合到其中的指示的呈现目标图像输出到诸如显示屏4000等的输出设备，或者可以将呈现目标图像存储在被提供在图像处理装置2000内部或外部的存储设备中。在后一种情况下，显示屏4000或另一设备读取被存储在存储设备中的呈现目标图像，并将该图像输出给显示屏4000。注意，显示屏4000例如是被安装在观察者的工作室等中的监视器，在场景中进行观察的保安的移动电话的监视器等。

另外，呈现单元2040可以单独地生成指示基于指标值的指示的图像数据，而不将指示组合到呈现目标图像中。在这种情况下，通过将图像数据与呈现目标数据一起显示来在呈现目标图像上呈现指示。

此外，呈现单元2040可以通过使用其中安装有相机3000的设施的地图数据来在地图上呈现基于指标值的指示。地图数据被显示在显示屏4000或保安的移动电话的监视器等上。可以基于相机3000的各种参数(所安装的相机的位置、朝向等)和捕捉的图像上的监视目标的位置来计算地图上的监视目标的位置。在这种情况下，呈现单元2040获取并使用其中安装有相机3000的设施的地图数据和与相机3000有关的各种参数。注意，相机3000的各种参数与相机在地图上的位置之间的关系通过执行诸如校准之类的处理被预先定义。

此外，呈现单元2040可以按照动画的格式(逐帧回放)来呈现针对监视目标计算出的基于指标值的指示。图6是概念性地图示了以动画的格式呈现基于指标值的指示的处理的示图。在图6(a)中，指标值计算单元2020计算指示第1至第n个捕捉的图像中的监视目标的状态的变化程度的指标值，并且基于指标值来生成指示1。类似地，指标值计算单元2020使用第(n+1)至第2n个捕捉的图像来生成指示2，并使用第(2n+1)至第3n个捕捉的图像来生成指示3。

在图6(b)中，呈现单元2040在第3n个捕捉的图像上呈现指示1，在第(3n+1)个捕捉的图像上呈现指示2，并且在第(3n+2)个捕捉的图像上呈现指示3。通过这样做，以动画的格式呈现指示1至3。另外，呈现单元2040还可以为随后的捕捉的图像重复诸如“显示1、显示2和显示3”的显示。以这种方式，由指示1至指示3构成的动画被重复地呈现在捕捉的图像上。

<计算指标值的方法>

如上所述，指标值计算单元2020计算指示捕捉的图像中监视目标的状态的变化程度的指标值。这里，存在图像处理装置2000作为监视目标来处理的各种“监视目标的状态”，并且计算指标值的方法取决于作为监视目标被处理的内容。结果，在下文中，将描述由图像处理装置2000处理的监视目标的状态和计算指示监视目标的状态的变化程度的指标值的方法。

<<监视目标的位置>>

例如，指标值计算单元2020处理监视目标的位置作为监视目标的状态。例如，当在人们经过的路径处存在长时间站立的人时，认为应当密切地监视该人。因此，指标值计算单元2020处理监视目标的位置的变化程度作为监视目标的状态的变化程度。监视目标的位置的变化程度可以按照另一种方式被描述为监视目标的停留程度。观察者等可以通过基于监视目标的停留程度计算指标值并且在呈现目标捕捉的图像上呈现基于指标值的指示，来立即查明每个监视目标的停留程度。

例如，监视目标的位置的变化程度由在捕捉的图像中看到某一监视目标(相同的人、人群等)的时间长度表示。这里，例如根据以时间序列捕捉的捕捉的图像(构成电影的帧)中的多少捕捉的图像示出监视目标，可以表示捕捉的图像中的监视目标的时间长度。

此外，例如，指标值计算单元2020可以通过监视目标的移动范围的大小来表示监视目标的位置的变化程度。例如，监视目标的移动范围的大小由包括每个捕捉的图像中的监视目标的所有位置的区域(圆形形状、矩形形状等)的大小表示。这里，区域的大小由区域的面积或区域的边的长度或直径表示。

另外，指标值计算单元2020可以还考虑诸如监视目标的身体的一部分的移动之类的空间移动的程度来计算监视目标的位置的变化程度。

<<在捕捉的图像中捕捉监视目标的频率>>

此外，例如，指标值计算单元2020处理在捕捉的图像中看到某一监视目标的频率，作为监视目标的状态。换句话说，指标值计算单元2020处理在捕捉的图像中看到某一监视目标的频率的变化程度(在捕捉的图像中看到物体的时间长度)作为监视目标的状态的变化程度。假设某一监视目标在前三十分钟内在捕捉的图像中未被检测到，在接下来的三十分钟内在捕捉的图像中被检测到一次，并且在三十分钟的另一个随后的时间段内在捕捉的图像中被检测到五次。在这种情况下，捕捉的图像中的监视目标的频率增加。出于这一原因，监视目标的状态的变化程度为高。

例如，在这种情况下，由于监视目标在该地方中的频率逐渐增加，所以还认为对象行为不自然。例如，可以执行在犯罪之前对场景的习惯性徘徊或预览。出于这一原因，通过观看捕捉的图像进行监视的观察者等优选注意地监视这样的监视目标。因此，图像处理装置2000基于捕捉的图像中的监视目标的频率的变化程度来计算指标值，并且在呈现目标图像上呈现基于指标值的指示。由此，观看呈现目标图像的观察者等可以立即查明在捕捉的图像中示出每个了监视目标的频率的变化程度。

例如，指标值计算单元2020对每个预定时间段对在捕捉的图像中检测到每个监视目标的次数进行计数。指标值计算单元使用针对每个预定时间段计算出的监视目标的检测次数来计算在捕捉的图像中检测到监视目标的频率的变化程度。备选地，可以获得检测之间的时间间隔，并且可以计算检测之间的时间间隔的长度的变化程度。

<<监视目标的拥挤程度>>

例如，指标值计算单元2020处理监视目标的拥挤程度作为监视目标的状态。例如，当将人们作为监视目标来处理时，监视目标的拥挤程度是人们拥挤的程度，并且也以另一种方式被描述为拥塞程度。例如，当狭窄的路径被人们挤满时，存在人群激增的风险。在这种情况下，由于需要诸如由保安进行适当引导的动作，因此优选的是观看由监视相机提供的图像的观察者可以立即查明这种情况。图像处理装置2000在呈现目标图像上呈现基于监视目标的拥挤程度的变化程度的指示。因此，观看呈现目标图像的观察者可以立即识别出甚至在时间过去之后仍未消除其拥塞的监视目标。

监视目标的拥挤程度可以使用例如监视目标的大小和在监视目标中包括的对象的数量被表示。这里，监视目标的大小由指示监视目标的区域的大小表示。表示区域的大小的方法如上所述。例如，指标值计算单元2020使用表达式(1)来计算监视目标的拥挤程度。在表达式(1)中，“d”表示拥挤程度，“n”表示包括在监视目标中包括的对象的数量，并且“a”表示指示监视目标的区域的面积。

[表达式1]

这里，n可以是通过单独地对对象计数而计算出的对象的数量，或者可以是通过共同地识别多个对象的组而估计出的对象的数量。

例如，指标值计算单元2020通过针对每个预定时间段计算上述拥挤程度来计算拥挤程度的变化程度。

<<监视目标的队列的长度或速度>>

例如，指标值计算单元2020处理监视目标的队列的长度或其行进的速度作为监视目标的状态。假设在具有多个寄存器计数器的存储器中，在每个寄存器计数器的队列中存在其长度在长时间内不改变(队列的行进速度低)的寄存器计数器的队列。在这种情况下，认为在寄存器计数器处发生某种故障。

因此，指标值计算单元2020基于监视目标的队列的长度的变化程度或其行进速度来计算指标值。监视目标的队列的长度可以由指示队列的区域的大小表示，或者可以由被包括在监视目标的队列中的对象的数目表示。这里，假设区域的边的长度或直径表示“指示队列的区域的大小”。在这种情况下，例如，指标值计算单元2020基于队列的长度变化的方向、被包括在队列中的对象的朝向等来计算队列的方向，并且“指示队列的区域的长度”使用在指示队列的区域中的方向上的边的长度或直径而被表示。

注意，可以与相机3000相关联地预先给出队列的方向。例如，当相机3000的朝向固定并且寄存器计数器等的位置也固定时，可以预先确定队列的朝向。

另外，指标值计算单元2020根据队列的长度的变化程度来计算队列的前进速度。备选地，也可以通过关注队列中的特定对象来计算队列的速度。

<<留下的程度>>

例如，指标值计算单元2020将通过捕捉车站等的平台而获得的图像中的人、行李等设置为监视目标。指标值计算单元2020计算人数、多件行李等的变化程度或人或多件行李的队列的长度的变化程度(人或多件行李的多少行李被留下多少)，作为监视目标的状态的变化程度。

图7是图示了人被留下的状态的示图。图7(a)图示了通过捕捉紧接在火车的车门打开之后的状态而获得的捕捉的图像10-1，图7(b)图示了通过捕捉紧接在火车的车门关闭之前的状态而获得的捕捉的图像10-2。将两个捕捉的图像相互比较，许多人未上去火车，并且留在前面的门的前面，而在后面的门处没有人被留下。当被留下的程度根据如上所述的上客位置而变化很大时，认为在平台或列车内存在一些麻烦。呈现单元2040在呈现目标图像上呈现基于被留下的程度的指示，因此观看呈现目标图像的观察者能够立即查明多少人、行李等被留下。

<<监视目标的不满意程度>>

指标值计算单元2020不仅可以确定通过分析捕捉的图像而被直接获得的监视目标的状态(例如，监视目标的上述位置)，而且也可以基于以下内容来确定监视目标的状态：通过将状态应用于模型等而被获得的指标。

例如，指标值计算单元2020处理监视目标的不满意程度作为监视目标的状态。这里，假设监视目标是人群。指标值计算单元2020根据拥挤程度和关于人群的流动的信息来计算人群的不满意程度。例如，可以认为具有高拥塞程度或缓慢流动的人群通常趋向于变得越来越不满意。

因此，使用拥挤程度“u”和速度“v”基于函数f(u，v)对人群的不满意程度进行建模。这里，例如，f(u，v)是“u”的单调非递减函数和“v”的单调非递增函数。当来自“u”和“v”的影响彼此独立时，其被描述为f(u，v)＝f(u)g(v)，其中f(u)被设置为“u”的单调非递减函数并且g(v)被设置为“v”的单调非递增函数。

注意，当人群的速度低时，不满意的程度增加，并且甚至当人群的速度过高时，不满意的程度也可能增加。这是因为人群中的人感到由于难以跟随人群的流动而产生的压力。因此，g(v)可以通过当“v”增加到一定程度时增加的函数而被建模。

此外，在队列中排列的情况下，如果人们所在的队列不行进而其他队列行进，则人们将变得更不满意。因此，将各队列的行进速度彼此进行比较。当某一队列的行进速度低于其他队列的行进速度时，可以增加不满意程度，从而使得其等于或高于用“v”的值确定的不满意程度。换句话说，当将δv被设置为其自身的行与相邻行之间的速度的差(通过从相邻行的速度减去其自身行的速度而获得的值)时，可以使用g2(v，δv)来执行建模，g2(v，δv)相对于δv而不是g(v)而言是单调非递减函数。这里，假设当其自身队列的速度相对低时δv具有正值。并且，假设满足关系g2(v，0)＝g(v)。

该方法还可以应用于除了构成队列的人群之外的对象。假设由于障碍物或具有行走障碍的人的存在，某一人群的流动变得比周围流动更慢。在这种情况下，可以对人群进行建模，从而使得不满意的程度增加。就是说，当将“v”的梯度设置为▽v时，流的速度的影响可以由g2(v，▽v)建模。此外，不满意程度可以基于属于同一人群的人在行中的位置(人多么远离前方)以及直到人到达行的前方的估计时间而被计算。这是因为认为靠近前方的人会更早地完成排队行动，并且因此将对不满意更加耐心。

注意，由于其他外部因素，函数可能会变化。其他外部因素包括温度、湿度、天气、亮度等。例如，当与适当温度的情况相比温度过高或过低时，可以认为不满意的程度趋于增加。因此，可以使用其中不满意程度在适当温度下降低并且在在适当温度范围外的温度下升高的模型。类似地，认为与晴天的情况相比，在下雨的情况下不满意程度趋于增加。因此，可以使用其中与晴天的情况相比不满意程度在下雨的情况下趋于增加的模型。此外，当使用相机3000进行监视的设施是进行比赛等的体育场时，比赛的获胜和失败等可能是外部因素。例如，当人群中的人是已经比赛失败或几乎失败的团队的支持者时，执行建模以使得不满意程度进一步增加。

<<监视目标的风险程度>>

例如，指标值计算单元2020计算当在监视目标附近发生任何事件时(例如，当可疑物质爆炸时或当具有武器的人出现时)可能发生多严重的损害(即，监视目标附近的风险程度)，作为监视目标的风险程度。

具体地说，由于当在挤满人的地方发生事件时会有很多受害者，所以风险程度高。此外，即使当地方未挤满人时，在发生事故时，由于建筑物的结构的特性，人群变得恐慌并且难以逃跑的地方的风险程度高。具体地，其可以是出口的数量小或出口的宽度相对于能够容纳在该场所中的人数为小或者远离出口的具有高风险程度的地方。

这样的风险程度由建筑物的结构特性和人群的状态决定。并且，可以通过相对于人群的各种状态预先对人群的行为进行模拟来生成用于计算风险程度的模型。指标值计算单元2020将在捕捉的图像中实际显示的某一地方的人群的状态的特征值(密度或流量)应用于上述模型，从而计算出该地方的风险程度。注意，能够利用捕捉示出人群的捕捉的图像的相机3000来确定人群存在的地方。例如，当相机3000的视线固定或在窄范围内变化时，能够通过使用已经捕捉了捕捉的图像的相机3000的id等来指定在某一捕捉的图像中示出的监视目标所存在于的地方。此外，当相机3000在改变其朝向的同时监视宽范围时，能够例如通过使用相机3000的id等以及相机3000在图像捕捉时的朝向来指定在某一捕捉的图像中示出的监视目标所存在于的位置。

注意，指标值计算单元2020可以考虑要监视的人群的特性来计算风险程度。例如，指标值计算单元2020将计算高风险程度的模型用于需要时间来进行移动的人群(例如，包括一组老人的人群、具有行走残障的人的人群，等等)。另外，指标值计算单元2020可以使用考虑诸如天气的外部因素来计算风险程度的模型。具体地，指标值计算单元2020使用其中当环境光由于恶劣天气而为弱时或当地面由于下雨而为湿时风险程度变高的模型。此外，当可以获取诸如老年人、儿童或具有行走障碍的人的人群的属性时，也可以考虑属性的信息来计算风险程度。

<<监视的程度>>

图像处理装置2000可以将监视目标未被监视的程度(在下文中，不足监视程度)设置为监视目标的状态。这里，假设场景中的保安在安装有相机3000的设施中进行监视。场景中的保安可能需要由自己负责大范围，或者可能需要在监视期间应对访问者。由于该原因，监视目标被保安监视的程度可能变化。

因此，指标值计算单元2020处理监视目标的不足监视程度作为监视目标的状态。例如，可以基于监视目标与监视目标附近的保安之间的距离来计算不足监视程度。具体地，提供了如下配置：随着监视目标和保安之间的距离增加，不足监视的程度变得更高。

作为具体示例，可以通过单调非递减函数f(d)对不足监视程度进行建模，f(d)随着与保安的距离d的增加而增加。此时，也可以考虑到保安的朝向来对不足监视程度进行建模。具体地，通过由上述距离d和保安的朝向与到监视目标的位置的方向之间的间隙的角度的绝对值θ(指示从保安的位置到监视目标的方向的矢量和指示保安的朝向的矢量之间的角度)确定的函数f(d，θ)来对不足监视程度进行建模。这里，f(d，θ)被设置为θ的单调非递减函数。当在假设距离的影响和方向的影响彼此独立的情况下进行建模时，g(d)和h(θ)被分别设置为距离d的单调非递减函数和角度的间隙的绝对值θ的单调非递减函数，并且可以像f(d，θ)＝g(d)h(θ)那样执行建模。

此外，保安对保护的聚焦程度(在下文中，对保护的聚焦程度)可以用于计算不足监视程度。例如，通过保安的状态、姿势等来确定对保护的聚焦程度。例如，当应当环视周围执行保护的保安面向下或面向上时，可以认为聚焦于保安的保护的程度低。此外，当保安执行除了保护以外的操作时，即使当保安的姿势面向前方时，也可以认为保安对保护的聚焦程度低。除了保护之外的操作包括例如与客户打交道的操作、通过移动电话进行联系的操作以及安装杆的操作。

这里，存在指标值计算单元2020用来查明保安的状态和姿势的各种方法。例如，指标值计算单元2020分析捕捉的图像中的保安的状态和姿势。此外，例如，指标值计算单元2020可以通过从保安具有的移动电话获取移动电话的姿势信息来确定保安的姿势。例如，移动电话的姿势信息是关于由包括在移动电话中的加速度传感器测量的关于每个三维方向的加速度的信息。

指标值计算单元2020根据上述保安的状态等来计算指示例如大于等于0并且小于等于1的值的对保护的聚焦程度。指标值计算单元2020使用诸如上述f(d，θ)之类的模型来计算不足监视的程度，并通过将保安对保护的聚焦程度乘以计算出的值来计算不足监视的最终程度。

另外，指标值计算单元2020可以考虑上述风险程度来计算不足监视程度。具体地，可以认为监视目标因为风险程度更高而是要被监视的目标。因此，即使使用上述方法计算出的不足监视程度彼此相同，也使具有较高风险程度的监视目标具有最终计算出的较高程度的不足监视。例如，指标值计算单元2020使用上述方法来计算针对某一监视目标的风险程度和不足监视程度，并且将通过将这些程度相乘而获得的值设置为最终计算出的不足监视程度。

注意，当存在多个保安时，指标值计算单元2020可以使用为每个保安计算出的不足监视的程度来计算某一监视目标的不足监视的程度。例如，指标值计算单元2020将某一监视目标的不足监视程度计算为针对每个保安计算出的监视目标的不足监视程度的统计值(最小值、最大值、平均值等)。

这里，指标值计算单元2020可以将上述的对保护的聚焦程度设置为不足监视程度的值。

第二示例性实施例

图8是图示了根据第二示例性实施例的图像处理装置2000的框图。在图8中，箭头指示信息流。另外，在图8中，每个框指示基于功能的配置，而不是基于硬件的配置。

根据第二示例性实施例的图像处理装置2000包括指示颜色确定单元2060。根据第二示例性实施例的指示颜色确定单元2060基于为监视目标计算出的指标值来确定监视目标的指示颜色目标。呈现单元2040将呈现目标图像中的监视目标的颜色和监视目标周围的颜色改变为针对监视目标而确定的指示颜色。

例如，指示颜色确定单元2060根据监视目标的指标值的大小来改变监视目标的颜色的密度，并且由此确定监视目标的指示颜色。例如，随着指标值更大，指示颜色确定单元2060增加监视目标的颜色的密度。另一方面，指示颜色确定单元2060可以随着指标值更小而增加监视目标的颜色的密度。

另外，例如，指示颜色确定单元2060通过一种颜色来表示监视目标，并且基于指标值的大小来确定该颜色的密度，并且由此确定监视目标的指示颜色。例如，指示颜色确定单元2060将监视目标的指示颜色设置为具有基于监视目标的指标值的密度的黑色。图9是图示了颜色图的示图，其中黑色基于指标值的大小而变得更深。在图9的颜色图中，所表示的黑色随着点变得更大(向右移动)而更深。此外，指示颜色确定单元2060可以使用rgb颜色中的任一个来表示监视目标的指示颜色，并且可以根据指标值的大小来确定颜色的密度。例如，指示颜色确定单元2060将监视目标的指示颜色设置为红色，并且随着监视目标的指标值变大而使红色更深。

此外，例如，指示颜色确定单元2060使用特定颜色图，并且利用该颜色图来确定与监视目标的指标值对应的颜色，并且将该颜色设置为监视目标的指示颜色。所使用的颜色图的一个示例包括用于热力图等的彩虹色的颜色图。代表性的彩虹色颜色图由红色、橙色、黄色、绿色、蓝色、靛蓝和紫罗兰色的渐变构成，如图10中所示。在图10中，按照指标值的降序来设置红色、橙色、黄色、绿色、蓝色、靛蓝和紫罗兰色。然而，指示颜色确定单元2060所使用的颜色图不限于图10中所示的颜色图。指示颜色确定单元2060可以使用任何颜色图。注意，指示颜色确定单元2060所使用的颜色图被存储在被提供在图像处理装置2000内部或外部的存储单元中。

注意，呈现单元2040可以仅改变监视目标的颜色的一部分，而不是监视目标的整体颜色。例如，当监视目标是人时，呈现单元2040仅改变监视目标的面部的颜色。

<具体示例>

图11是概念性地图示了将监视目标的颜色和监视目标周围的颜色改变为基于指示监视目标的位置的变化程度的指标值的颜色的示图。图11中示出的捕捉的图像10-1和10-2是通过在不同时间捕捉相同路径而获得的图像。图11(a)中示出的捕捉的图像10-1是在图11(b)中示出的捕捉的图像10-2之前捕捉的图像。将捕捉的图像10-1和10-2彼此进行比较，人20的位置未显著改变，并且其他人的位置正显著改变。这里，认为停留的人是应该被注意地监视的人。

从而，指示颜色确定单元2060确定指示颜色，从而使得随着指标值变得更小，监视目标(人)具有更深的颜色。呈现单元2040将捕捉的图像10-2中的监视目标的颜色和监视目标周围的颜色改变为所确定的指示颜色。作为结果，人20的颜色和人周围的颜色为暗，并且其他人的颜色和其他人周围的颜色为浅。这里，类似于图9的情况，图11示出了，随着点的大小变得更大，颜色更深。此外，图11(b)中绘制的箭头用于示出人正在移动，并且不必在真实的捕捉的图像上绘制箭头。

<操作优点>

根据本示例性实施例的图像处理装置2000，基于监视目标的状态的变化程度来确定捕捉的图像的指示颜色，并且使用指示颜色的指示被呈现在呈现目标图像上。因此，根据本示例性实施例的图像处理装置2000，与在呈现目标图像上原样指示指标值的方法相比，可以直观地确定监视目标的状态的变化程度。因此，观看呈现目标图像的观察者等更容易查明监视目标的当前状况。

第三示例性实施例

根据第三示例性实施例的图像处理装置2000具有与根据第一或第二示例性实施例的图像处理装置2000相同的配置。

根据第三示例性实施例的呈现单元2040基于监视目标的指标值在呈现目标图像上呈现用于强调监视目标的指示。例如，呈现单元2040随着其指标值变得更大而呈现用于更加强调监视目标的指示，或者随着其指标值变得更小而在呈现目标图像上呈现用于更加强调监视目标的指示。

<使用框进行强调>

例如，呈现单元2040在监视目标周围呈现具有取决于指标值的大小的厚度的框。在这种情况下，例如，呈现单元2040使用以下表达式(2)来计算框的厚度b。这里，“b0”表示厚度的初始值，“i”表示由指标值计算单元2020计算出的指标值，并且“α”表示比例常数。注意，呈现单元2040呈现的框的形状是任意的。

[表达式2]

b＝b0+α·i…(2)

当监视目标随着监视目标具有更大的指标值而被更加强调时，呈现单元2040随着其指标值变得更大而使框更厚。在这种情况下，“b0”表示厚度的下限，并且“α”表示正实数。另一方面，当监视目标随着其指标值变得更大而被更加强调时，呈现单元2040随着其指标值变得更小而使框更厚。在这种情况下，“b0”表示厚度的上限，并且“α”表示负实数。

注意，呈现单元2040可以使用与在监视目标周围呈现框的方法相同的方法来改变监视目标的轮廓的粗细。具体地，呈现单元2040呈现要强调的监视目标的轮廓。

此外，呈现单元2040可以通过以基于监视目标的指标值的频率使框闪烁来执行强调。例如，在呈现单元2040随着其指标值变得更大而更加强调监视目标的情况下，呈现单元随着为之呈现框的监视目标的指标值变得更大而进一步增加每单位时间的闪烁次数(缩短闪烁间隔)。类似地，当呈现单元2040随着其指标值变得更小而更加强调监视目标时，呈现单元随着为之呈现框的监视目标的指标值变得更小而进一步增加每单位时间的闪烁次数(缩短闪烁间隔)。

<<具体示例>>

图12是概念性地图示了通过在监视目标周围呈现框来执行强调的示图。图12中示出的捕捉的图像10-1和10-2是通过在相同地方在不同时间捕捉人的队列而得到的图像。类似于图11的情况，捕捉的图像10-1是在捕捉的图像10-2之前捕捉的图像。将捕捉的图像10-1和10-2彼此比较，上部队列30-1的长度未改变，并且下部队列30-2的长度显著改变。这里，优选的是队列的长度随着时间减少，并且认为应当仔细地观察具有小的长度变化程度的队列。

因此，呈现单元2040围绕监视目标(人)呈现框，从而使得框的厚度随着其指标值变得更小而变得更大。在图12中，在队列30-1周围呈现更厚的框，并且在队列30-2周围呈现更薄的框。

<使用颜色进行强调>

此外，使用在第二示例性实施例中描述的指示颜色确定单元2060，根据第三示例性实施例的图像处理装置2000可以通过将监视目标的颜色或监视目标周围的颜色改变为针对监视目标而被确定的指示颜色来呈现用于强调监视目标的指示。例如，指标值计算单元2020通过增加监视目标的指示颜色的密度来强调监视目标。此外，指示颜色确定单元2060使用由颜色构成的颜色图来构成监视目标的指示颜色，该颜色随着颜色更接近地对应于要强调的监视目标的指标值而更加明显。例如，当监视目标随着其指标值变得更大而被更加强调时，指示颜色确定单元2060使用具有如下颜色的颜色图：该颜色随着颜色对应于更大的指标值而更加明显(红色等)值，并且随着颜色对应于更小的指标值而较不明显(灰色等)。

这里，还可以通过在监视目标附近呈现具有颜色的框来实现将监视目标周围的颜色改变为某一颜色。在这种情况下，呈现单元2040可以无论指标值如何都使得框的厚度恒定，或者可以使得框的厚度根据指标值而变化。根据指标值确定框的厚度的方法如上所述。

<<具体示例>>

图13是概念性地图示了通过在监视目标周围呈现具有基于指标值的颜色和大小的框来执行强调的示图。图13中示出的捕捉的图像10-1和10-2是通过在不同时间在相同地方捕捉人群而获得的图像。类似于图11以及图12的情况，捕捉的图像10-1是在捕捉的图像10-2之前捕捉的图像。将捕捉的图像10-1和10-2彼此进行比较，包括在右上方人群40-1中的人数增加，并且包括在左下方人群40-2中的人数减少。

在这种情况下，指示颜色确定单元2060确定指示颜色，从而使得人群的颜色随着人群中的人数增加而变得更深。此外，呈现单元2040确定框的厚度，从而使得框随着人群的人数的增加程度变得更高而变得更厚。作为结果，呈现单元2040在人数显著增加的人群40-1周围呈现粗且暗的框，并且在人数未显著增加的人群40-2周围呈现细且浅的框。

<操作优点>

根据本示例性实施例的图像处理装置2000，在呈现目标图像上呈现用于在基于监视目标的指标值的程度上强调监视目标的指示。因此，观看呈现目标图像的观察者等可以立即查明每个监视目标的变化程度，并且可以立即查明应该在什么程度上注意地监视每个监视目标。

第四示例性实施例

图14是图示了根据第四示例性实施例的图像处理装置2000的框图。在图14中，箭头指示信息流。另外，在图14中，每个框指示基于功能的配置，而不是基于硬件的配置。

根据第四示例性实施例的图像处理装置2000基于监视目标的状态的变化程度偏离基准变化程度多少而在第一图像上呈现指示。因此，根据第四示例性实施例的图像处理装置2000包括发散程度计算单元2080。

发散程度计算单元2080计算由指标值计算单元2020计算出的指标值与基准变化程度之间的发散程度。根据第四示例性实施例的呈现单元2040在监视目标上呈现用于随着其发散程度变得更高而更加强调监视目标的指示。

这里，发散程度计算单元2080从被提供在图像处理装置2000内部或外部的存储单元获取基准变化程度。这里，基准变化程度可根据什么被处理作为监视目标的状态而变化。在这种情况下，存储单元可以存储监视目标的每个状态的基准变化程度。

<计算发散程度的方法>

存在发散程度计算单元2080用来计算发散程度的各种方法。例如，发散程度计算单元2080使用以下表达式(3)来计算发散程度k。这里，“i”表示针对监视目标计算的指标值，并且“ibase(i基)”表示基准变化程度。然而，计算发散程度的方法不限于以下方法。

[表达式3]

<使用颜色进行强调>

例如，根据第四示例性实施例的图像处理装置2000基于发散程度来改变监视目标的颜色。在这种情况下，根据第四示例性实施例的图像处理装置2000包括指示颜色确定单元2060。

根据第四示例性实施例的指示颜色确定单元2060使用与第二示例性实施例中所述的指示颜色确定单元2060所使用的方法相同的方法来确定监视目标的颜色和监视目标周围的颜色。例如，指示颜色确定单元2060基于针对监视目标计算出的发散程度来确定监视目标的颜色的密度。在这种情况下，指示颜色确定单元2060在发散程度为0时使密度最小化，并且随着发散程度变得更高而使监视目标的颜色更深。注意，当使用这种方法时，如果对于指标值可以取负值，则发散程度由指标值和基准值之间的发散的绝对值来表示。例如，发散程度由使用表达式(3)计算的值的绝对值来表示。

此外，指示颜色确定单元2060将发散程度为0时的监视目标的颜色的密度设置为基准密度。指示颜色确定单元随着发散程度在正方向上变得更高(变得大于基准值)而使监视目标的颜色更深，并且随着发散程度在负方向上变得更高(变得小于基准值)而使监视目标的颜色更浅。图15是概念性地图示了当基准密度被确定时基于发散程度确定指示颜色的密度的方法的示图。例如，指示颜色确定单元2060将与基准变化程度对应的颜色的密度设置为监视目标的原始颜色的密度。换句话说，当发散程度为0时，监视目标的颜色的密度不改变。当指标值大于基准变化程度时(当发散程度具有正值时)，指示颜色确定单元2060使监视目标的颜色比原始颜色更深，并且当指标值小于基准变化程度时(当发散程度具有负值时)使监视目标的颜色比原始颜色更浅。

注意，当使用在第二示例性实施例中描述的rgb颜色中的任何一种的密度或者使用特定颜色图时，基于发散程度确定指示颜色的方法也与基于上述发散程度改变监视目标的颜色的密度的方法相同。

<用于强调的指示>

使用与第三示例性实施例中所述的方法相同的方法，呈现单元2040可以基于针对监视目标计算的发散程度来呈现用于强调监视目标的指示。

<使用框进行强调>

例如，与第三示例性实施例的情况一样，呈现单元2040使用框和颜色来执行强调。在这种情况下，例如，呈现单元2040根据表达式(4)确定监视目标的框的厚度b'。这里，“k”表示上述发散程度。例如，当α被设置为正实数时，框随着发散程度变得更高而变得更厚。

[表达式4]

b′＝b0+α·k…(4)

此外，与第三示例性实施例的情况一样，呈现单元2040可以通过根据发散程度改变监视目标的轮廓的粗细来进行强调，或者通过按照基于发散程度的频率使框闪烁来进行强调。

<使用颜色进行强调>

类似于根据第三示例性实施例的指示颜色确定单元2060，根据第四示例性实施例的指示颜色确定单元2060可以通过改变监视目标的指示颜色来呈现用于强调监视目标的指示。具体地，当指示颜色确定单元2060随着其发散程度变得更高而更加强调监视目标时，指示颜色确定单元通过随着发散程度变得更高而使指示颜色更深来确定指示颜色，或者通过使用由以下颜色构成的颜色图来确定指示颜色：该颜色随着监视目标的发散程度变得更高而更加明显。类似地，当指示颜色确定单元2060随着其发散程度变得更低而更加强调监视目标时，指示颜色确定单元通过随着发散程度变得更低而使指示颜色更深来确定指示颜色，或者通过使用由以下颜色构成的颜色图来确定指示颜色：该颜色随着颜色对应于更低的发散程度而更加明显。

<操作优点>

根据本示例性实施例，基于监视目标的状态的变化程度偏离基准变化程度多少，在呈现目标图像上呈现用于强调监视目标的指示。通过引入基准变化度，可以更准确地获得监视目标应该被强调的程度。因此，观察者等可以针对每个监视目标来更准确地查明应当注意地执行监视的程度。

第五示例性实施例

与第一示例性实施例的情况一样，根据第五示例性实施例的图像处理装置2000的配置由图1示出。

根据第五示例性实施例的指标值计算单元2020基于计算出的监视目标的状态的变化程度来计算在用于计算的每个图像被捕捉的时间之时和之后的监视目标的状态的变化程度的预测值。指标值计算单元2020将针对监视目标计算出的预测值设置为监视目标的指标值。

例如，指标值计算单元2020通过使用在从时间t起的过去的预定时间段内捕捉的多个图像，来计算在预定时间t之后监视目标的状态的变化程度的预测值。基于预测值的指示被呈现在呈现目标图像上，该呈现目标图像在时间t被呈现在显示屏上。

例如，指标值计算单元2020使用所获取的多个捕捉的图像来生成用于预测监视目标的状态的模型。注意，由于根据样本值生成预测模型的方法是已知的方法，因此这里将不再描述其详细描述。指标值计算单元2020使用根据所获取的多个捕捉的图像生成的用于预测监视目标的状态的模型，来计算在捕捉用于生成模型的图像的时间之时和之后的监视目标的状态的变化程度的预测值。

假设用于预测监视目标的状态的模型由f(t)表达。这里，“t”表示时间，并且“f(t)”表示时间t处的监视目标的状态的预测值。在这种情况下，例如，指标值计算单元2020使用以下表达式(5)来计算在时间t1和将来的时间t2之间的监视目标的状态的变化程度。这里，“a”表示监视目标的状态的变化程度的预测值。注意，以下表达式(5)仅仅是示例，并且计算预测值的方法不限于使用表达式(5)的方法。

[表达式5]

注意，“t1”可以是将来的时间，可以是当前时间，或者可以是过去的时间。当t1是当前时间或过去的时间时，可以基于测量值来计算f(t)的值，而不是使用预测模型来计算f(t)的值。

此外，指标值计算单元2020可以使用预先提供的预测模型来计算监视目标的状态的变化程度的预测值。在这种情况下，指标值计算单元2020使用获取的捕捉的图像中的每个监视目标的状态作为对预测模型的输入。预测模型可以被存储在指标值计算单元2020的内部或外部。

另外，当基于预测值的指示被呈现在由某一相机3000-1捕捉的图像上时，指标值计算单元2020可以使用由位于相机3000-1周围的另一相机3000捕捉的图像。例如，指标值计算单元2020分析由与相机3000-1相邻的相机3000-2捕捉的图像。结果，假设人群正朝向相机3000-1的成像范围内的地方前进。在这种情况下，呈现单元2040在由相机3000-1捕捉的图像中的预计人群将移动到的区域中呈现基于针对人群计算的状态的变化程度的预测值的指示。具体地，呈现单元2040执行改变在由相机3000-1捕捉的图像中的预计人群将流入的区域的颜色的处理或者用框围绕该区域的处理。

<操作优点>

根据本示例性实施例，基于监视目标的状态的变化程度的预测值的指示被呈现在呈现目标图像上。因此，观察者等可以立即查明应当仔细观察监视目标的未来动作。

第六示例性实施例

在第六示例性实施例中，关于由某一相机3000(在下文中为相机3000-1)捕捉的图像，存在它们被显示在显示屏4000上的时间段，以及它们未被显示在其上的另一时间段。例如，存在由多个相机3000捕捉的图像被以时分方式显示在一个显示屏4000上的情况。

这里，当由相机3000-1捕捉的图像在一时间段期间未被显示并且在该时间段之后被显示在显示屏4000上时，根据第六示例性实施例的指标值计算单元2020基于在该时间段之前和之后的监视目标的状态的变化程度来计算监视目标的指标值。

图16是概念性地图示了由多个相机3000捕捉的图像以时分方式显示在显示屏4000上的示图。在图16的情况下，在时间段p1和p3期间显示由相机3000-1捕捉的图像，并且在时间段p2期间显示由另一相机3000-2捕捉的图像。在这种情况下，指标值计算单元2020基于在时间段p2之前的监视目标的状态和在时间段p2之后的监视目标的状态之间的变化程度来计算指标值。在下文中，将由相机3000-1捕捉的图像不显示在显示屏4000上的时间段(图16中的p2等)被描述为非显示时段。

例如，指标值计算单元2020使用在非显示时段之前被呈现在显示屏4000上的预定数量的捕捉的图像和在非显示时段之后被呈现在显示屏4000上的预定时间内的捕捉的图像(预定数量的捕捉的图像)，来计算用于在非显示时段过去之后的呈现的指标值。图17是图示了根据第六示例性实施例的指标值计算单元2020用来计算指标值的方法的示图。时间段p1、p2和p3与图16中的那些相同。指标值计算单元2020使用在作为时间段p1的一部分的时间段p4期间被显示在显示屏4000上的捕捉的图像和在作为时间段p3的一部分的时间段p5期间被显示在显示屏4000上的捕捉的图像来计算监视目标的指标值。呈现单元2040在当时间t时被显示在显示屏4000上的呈现目标图像上呈现基于计算出的指标值的指示。注意，时间段p4的长度和时间段p5的长度可以彼此相同，或者可以彼此不同。

例如，呈现单元2040在从时间t起的预定时间段内(例如，在十秒内)在捕捉的图像上继续呈现基于时间段p4和时间段p5之间的监视目标的状态的变化程度的指示，以便观察者等能够充分查明在时间p2之前和之后的监视目标的状态的变化程度。

图18是图示了由根据第六示例性实施例的图像处理装置2000执行的处理的流程的流程图。在步骤s202中，显示屏4000显示由相机3000-1捕捉的图像。在步骤s204中，显示屏4000的指示目标从相机3000-1切换到相机3000-2。在步骤s206中，显示屏4000显示由相机3000-2捕捉的图像。在步骤s208中，显示屏4000的显示目标从相机3000-2切换到相机3000-1。

在步骤s210中，指标值计算单元2020计算指示在s202中显示的监视目标的状态与将从现在开始显示的监视目标的状态之间的变化程度的指标值。在步骤s212中，指标值计算单元2020在由相机3000-1捕捉的图像上呈现基于计算出的指标值的指示。在其上呈现指示的捕捉的图像被显示在显示屏4000上。

注意，如果由相机3000-1捕捉的图像未被显示在显示屏4000上的时间段比预定时间段更短，则指标值计算单元2020可以将其视为“由相机3000-1捕捉的图像正被连续地显示在显示屏4000上”。这是因为，如果将显示目标的相机仅在短时间段(诸如大约一秒)内切换到另一相机，则例如认为观察者可被看作一直连续地观看同一相机的图像。

<操作优点>

根据本示例性实施例，当由相机3000-1捕捉的图像在一时间段期间不被显示并且在该时间段之后被显示在显示屏4000上时，指示监视目标之前和之后的监视目标的状态的变化程度的指标值被计算出。以这种方式，例如，当在显示屏4000的频道从相机3000-1的图像切换到相机3000-2的图像之后，显示屏4000的频道再次切换到相机3000-1的图像时，与上次观看相机3000-1的图像时相比，相机3000-2、观察者等可以立即查明每个监视目标的状态已经改变了多少。因此，即使在难以仅继续监视由特定相机3000捕捉的图像时，也可以在观看由相机3000捕捉的图像时立即查明由某一相机3000捕捉的监视目标的状态的变化程度。

第七示例性实施例

类似于根据第一示例性实施例的图像处理装置2000，根据第七示例性实施例的图像处理装置2000由图1示出。

例如，存在观看显示屏4000的观察者等无法一次仔细地观察整个显示屏4000的情况，诸如显示屏4000具有大尺寸的情况。因此，根据第七示例性实施例的指标值计算单元2020针对显示在某一部分区域(在下文中为第一部分区域)中的监视目标来计算指示在如下时间段之前和之后的监视目标的状态的变化程度的指标值：在该时间段期间，显示屏4000的第一部分区域与用户(观察者等)的眼睛注视的方向不对应。根据第七示例性实施例的呈现单元2040在上述时间段之后显示的捕捉的图像中的第一部分区域中显示的区域上呈现基于计算出的指标值的指示。

图19是图示了用户的眼睛注视方向与部分区域之间的关系的示图。在图19中，眼睛注视方向50-1对应于部分区域60-1，并且眼睛注视方向50-2对应于部分区域60-2。注意，为了简化附图，通过一个箭头示出对应于部分区域的眼睛注视方向，但是对应于部分区域的眼睛注视方向实际上具有一定程度的宽度。例如，眼睛注视方向50-1可以是用来将部分区域60-1包括在用户的视力中的眼睛注视方向，从而使得用户可以仔细地观察包括在部分区域60-1中的监视目标。

根据第七示例性实施例的指标值计算单元2020所执行的处理的基本原理与根据第六示例性实施例的指标值计算单元2020所执行的处理的原理相同。具体地，指标值计算单元2020以与第六示例性实施例中的“由相机3000-1捕捉的图像被显示在显示屏4000上的时间段”相同的方式来处理“部分区域被包括在与用户的眼睛注视方向对应的区域中的时间段”。此外，指标值计算单元2020以与第六示例性实施例中的“由相机3000-1捕捉的图像未被显示在显示屏4000上的时间段”相同的方式来处理“通过以下方式捕捉的图像的时间段”相同的方式来处理“部分区域未被包括在与用户的眼睛注视方向对应的区域中的时间段”。

<用户的眼睛注视方向的获取>

指标值计算单元2020获取用户的眼睛注视方向。例如，通过“水平方向上的角度和垂直方向上的角度”的组合来表示眼睛注视方向。这里，水平方向上的角度和垂直方向上的角度中的每一个的基准(用于设置0度的方向)是任意的。

例如，通过使用相机等捕捉用户的面部和眼睛并分析捕捉的图像来计算用户的眼睛注视方向。捕捉用户的面部和眼睛的相机被安装在例如显示屏4000附近。由于捕捉用户的面部和眼睛的图像并由此检测眼睛注视方向的技术是已知技术，因此其详细描述在这里将不被描述。注意，检测用户的眼睛注视方向的处理单元(以下称为眼睛注视方向检测单元)可被设置在图像处理装置2000的内部或外部。

<具体方法>

例如，指标值计算单元2020通过将显示屏划分为预定数量的部分区域来处理显示屏4000。指标值计算单元2020从眼睛注视方向检测单元获取观察者的眼睛注视方向，并且确定该眼睛注视方向对应于哪个部分区域。当确定的部分区域不同于上次确定的部分区域时，确定与用户的眼睛注视方向对应的部分区域已经改变。

图20是以表格格式图示了与观察者的眼睛注视方向对应的部分区域和当观察者的眼睛注视方向已经改变时的时间的信息的示图。该表格被命名为眼睛注视信息表100。眼睛注视信息表100包括两列，即时间102和部分区域id104。在眼睛注视信息表100的每个记录中，从时间点102所示的时间起包括在用户的眼睛注视方向中的部分区域的id被显示在部分区域id104中。

在图20中，在时间t1和时间t4处，对应于观察者的眼睛注视方向的区域是部分区域1。因此，指标值计算单元2020计算指示在时间t1和时间t2之间的时间段(部分区域1对应于用户的眼睛注视方向的时间段)期间的监视目标的状态与在时间t4之时和之后(在当部分区域1再一次对应于用户的眼睛注视方向的时间之时和之后)的监视目标的状态之间的变化程度的指标值，作为监视目标的指标值。

注意，如果用户的眼睛注视方向改变到另一部分区域侧的时间段比预定时间段更短，则指标值计算单元2020可以将其视为“用户已经连续观看相同部分区域”。这是因为，如果观察者在短时间段(诸如大约一秒)内将他/她的眼睛从部分区域移开，则认为例如“观察者可被看作一直连续观看某一部分区域”。

此外，指标值计算单元2020可以使用用户面部的朝向，而不是用户的眼睛注视方向。获取并使用用户的面部的朝向的方法与检测并使用用户的眼睛注视方向的方法相同。

<操作优点>

根据本示例性实施例，当存在某一区域未被监视的时间段时，其呈现指示每个监视目标的状态从上次在显示屏4000上观看该区域的时间到当再一次观看该区域时的变化程度的指示。因此，即使当无法一次监视显示屏4000的整个区域时，观察者等也可以立即查明每个区域中的监视目标的状态的变化程度。

<修改示例7-1>

根据下面描述的修改示例7-1的图像处理装置2000可以被实现为具有与根据第七示例性实施例的图像处理装置2000相同的配置。在根据修改示例7-1的图像处理装置2000中，显示屏4000包括多个小屏幕4100。由不同相机3000捕捉的图像被显示在各个小屏幕4100上。

根据修改示例7-1的指标值计算单元2020针对在小屏幕4100-1上显示的监视目标来计算指示监视目标的状态在如下时间段之前和之后的变化程度的指标值：在该时间段期间某一小屏幕4100-1未被包括在与用户的眼睛注视方向对应的区域中。根据修改示例7-1的呈现单元2040在该时间段之后在小屏幕4100-1上显示的捕捉的图像上呈现基于计算出的指标值的指示。

小屏幕4100可以按照与第七示例性实施例中的部分区域相同的方式来处理。因此，根据修改示例7-1的指标值计算单元2020所执行的处理的基本原理与根据第七示例性实施例的指标值计算单元2020所执行的处理的原理相同。具体地，指标值计算单元2020以与第七示例性实施例中的“部分区域被包括在用户的眼睛注视方向中的时间段”相同的方式来处理“小屏幕4100-1被包括在用户的眼睛注视方向中的时间段”。此外，指标值计算单元2020以与第七示例性实施例中的“部分区域未被包括在用户的眼睛注视方向中的时间段”相同的方式来处理“小屏幕4100-1未被观察者观看的时间段”。

到此为止参照附图描述了本发明的示例性实施例。然而，示例性实施例仅仅是对本发明的说明，也可以采用其他各种配置。

在下文中，参考配置的示例将被添加。

(1)一种图像处理装置，包括：

指标值计算单元，该指标值计算单元使用多个捕捉的图像来计算指标值，该捕捉的图像由相机在不同时间捕捉，该指标值指示在捕捉的图像中监视目标的状态的变化程度；以及

呈现单元，该呈现单元在由所述相机捕捉的第一捕捉的图像上呈现基于所述指标值的指示。

(2)根据(1)所述的图像处理装置，还包括第一指示颜色确定单元，该第一指示颜色确定单元针对监视目标、基于指标值来确定指示颜色，

其中呈现单元在第一捕捉的图像中将监视目标的颜色或监视目标周围的颜色改变为针对监视目标被确定的指示颜色。

(3)根据(1)或(2)所述的图像处理装置，其中呈现单元随着监视目标的指标值变得更大来呈现用于更加强调监视目标的指示，或者随着监视目标的指标值变得更小来呈现用于更加强调监视目标的指示。

(4)根据(1)所述的图像处理装置，还包括发散程度计算单元，该发散程度计算单元计算指标值与基准变化程度之间的发散程度，

其中呈现单元在第一捕捉的图像中随着监视目标的发散程度变得更高来呈现用于更加强调监视目标的指示，或者随着监视目标的发散程度变得更低来呈现用于更加强调监视目标的指示。

(5)根据(4)所述的图像处理装置，还包括第二指示颜色确定单元，该第二指示颜色确定单元针对监视目标、基于针对监视目标计算出的发散程度来确定指示颜色，

其中呈现单元在第一捕捉的图像中将监视目标的颜色或监视目标周围的颜色改变为针对监视目标确定的指示颜色。

(6)根据(1)至(5)中的任一项所述的图像处理装置，

其中指标值计算单元使用计算出的监视目标的状态的变化程度，在用于计算的每个图像被捕捉的时间之时和之后计算监视目标的状态的变化程度的预测值，并且

其中指标值计算单元将预测值设置为指标值。

(7)根据(1)至(6)中的任一项所述的图像处理装置，

其中当由相机捕捉的图像在某一时间段期间、在用于显示捕捉的图像的显示屏上未被显示时，指标值计算单元计算指示在该时间段之前呈现的监视目标的状态与在该时间段之后显示的监视目标的状态之间的变化程度的指标值，并且

其中呈现单元使用在该时间段之后显示的捕捉的图像作为第一捕捉的图像。

(8)根据(1)至(7)中的任一项所述的图像处理装置，

其中，当用于显示捕捉的图像的显示屏的第一部分区域在某一时间段期间未被包括在与观看该显示屏的用户的眼睛注视方向或面部方向对应的屏幕区域中时，指标值计算单元计算指示在该时间段之前被呈现在第一部分区域上的监视目标的状态与在该时间段之后被呈现在第一部分区域中的监视目标的状态之间的变化程度的指标值，并且

其中呈现单元使用在该时间段之后呈现的捕捉的图像作为第一捕捉的图像，在被呈现在第一捕捉的图像中的第一部分区域中的区域上呈现基于针对第一部分区域计算出的指标值的指示。

(9)根据(1)至(8)中的任一项所述的图像处理装置，其中指标值计算单元计算指示监视目标的位置的变化程度的指标值。

(10)根据(1)至(9)中的任一项所述的图像处理装置，其中指标值计算单元计算指示在图像中示出监视目标的频率的变化程度的指标值。

(11)根据(1)至(10)中的任一项所述的图像处理装置，其中指标值计算单元计算指示被包括在监视目标中的多个对象的拥挤程度的变化程度的指标值。

(12)根据(1)至(11)中的任一项所述的图像处理装置，

其中监视目标包括对象的队列，并且

其中指标值计算单元计算指示队列的长度或速度的变化程度的指标值。

(13)根据(1)至(12)中的任一项所述的图像处理装置，其中指标值计算单元计算指示被包括在监视目标中的对象的数量的变化程度的指标值。

(14)根据(1)至(13)中的任一项所述的图像处理装置，

其中监视目标包括人，并且

其中指标值计算单元计算指示监视目标的不满意程度的变化程度的指标值，作为监视目标的指标值。

(15)根据(1)至(14)中的任一项所述的图像处理装置，

其中监视目标包括人或地方，并且

其中，指标值计算单元计算指示监视目标的风险程度的变化程度的指标值，作为监视目标的指标值。

(16)根据(1)至(15)中的任一项所述的图像处理装置，

其中监视目标包括人或地方，并且

其中指标值计算单元计算指示监视目标被监视的程度的变化程度的指标值，作为监视目标的指标值。

(17)一种监视系统，包括：

相机；

显示屏；以及

根据(1)至(16)中的任一项所述的图像处理装置，

其中相机通过在不同时间执行图像捕捉来生成多个捕捉的图像，

其中显示屏显示第一捕捉的图像，呈现单元在第一捕捉的图像上呈现基于指标值的指示。

(18)一种由计算机执行的图像处理方法，该方法包括：

使用多个捕捉的图像来计算指标值，所述捕捉的图像由相机在不同时间捕捉，该指标值指示在捕捉的图像中监视目标的状态的变化程度；以及

在由相机捕捉的第一捕捉的图像上呈现基于指标值的指示。

(19)根据(18)所述的图像处理方法，还包括针对监视目标、基于指标值来确定指示颜色，

其中呈现指示的步骤包括在第一捕捉的图像中将监视目标的颜色或监视目标周围的颜色改变为针对监视目标被确定的指示颜色。

(20)根据(18)或(19)所述的图像处理方法，其中，呈现指示的步骤包括随着监视目标的指标值变得更大来呈现用于更加强调监视目标的指示，或者随着监视目标的指标值变得更小来呈现用于更加强调监视目标的指示。

(21)根据(18)所述的图像处理方法，还包括计算指标值与基准变化程度之间的发散程度，

其中呈现指示的步骤包括在第一捕捉的图像中随着监视目标的发散程度变得更高来呈现用于更加强调监视目标的指示，或者随着监视目标的发散程度变得更低来呈现用于更加强调监视目标的指示。

(22)根据(21)所述的图像处理方法，还包括针对监视目标、基于针对监视目标计算出的发散程度来确定指示颜色，

其中呈现指示的步骤包括在第一捕捉的图像中将监视目标的颜色或监视目标周围的颜色改变为针对监视目标确定的指示颜色。

(23)根据(18)至(22)中的任一项所述的图像处理方法，

其中计算指标值的步骤包括计算在用于计算的每个图像被捕捉的时间之时和之后监视目标的状态的变化程度的预测值，预测值的计算是使用监视目标的状态的计算出的变化程度而被执行，并且

其中计算指标值的步骤包括将预测值设置为指标值。

(24)根据(18)至(23)中的任一项所述的图像处理方法，

其中当由相机捕捉的图像在某一时间段期间、在用于显示捕捉的图像的显示屏上未被显示时，计算指标值的步骤包括计算指示在该时间段之前呈现的监视目标的状态与在该时间段之后显示的监视目标的状态之间的变化程度的指标值，并且

其中呈现指示的步骤包括使用在该时间段之后显示的捕捉的图像作为第一捕捉的图像。

(25)根据(18)至(24)中的任一项所述的图像处理方法，

其中当用于显示捕捉的图像的显示屏的第一部分区域在某一时间段期间未被包括在与观看该显示屏的用户的眼睛注视方向或面部方向对应的屏幕区域中时，计算指标值的步骤包括计算指示在该时间段之前被呈现在第一部分区域上的监视目标的状态与在该时间段之后被呈现在第一部分区域中的监视目标的状态之间的变化程度的指标值，并且

其中呈现指示的步骤包括使用在该时间段之后呈现的捕捉的图像作为第一捕捉的图像，在被呈现在第一捕捉的图像中的第一部分区域中的区域上呈现基于针对第一部分区域计算出的指标值的指示。

(26)根据(18)至(25)中的任一项所述的图像处理方法，其中计算指标值的步骤包括计算指示监视目标的位置的变化程度的指标值。

(27)根据(18)至(26)中的任一项所述的图像处理方法，其中计算指标值的步骤包括计算指示在图像中示出监视目标的频率的变化程度的指标值。

(28)根据(18)至(27)中的任一项所述的图像处理方法，其中计算指标值的步骤包括计算指示被包括在监视目标中的多个对象的拥挤程度的变化程度的指标值。

(29)根据(18)至(28)中的任一项所述的图像处理方法，

其中监视目标包括对象的队列，并且

其中计算指标值的步骤包括计算指示队列的长度或速度的变化程度的指标值。

(30)根据(18)至(29)中的任一项所述的图像处理方法，其中计算指标值的步骤包括计算指示被包括在监视目标中的对象的数量的变化程度的指标值。

(31)根据(18)至(30)中的任一项所述的图像处理方法，

其中监视目标包括人，并且

其中计算指标值的步骤包括计算指示监视目标的不满意程度的变化程度的指标值，作为监视目标的指标值。

(32)根据(18)至(31)中的任一项所述的图像处理方法，

其中监视目标包括人或地方，并且

其中计算指标值的步骤包括计算指示监视目标的风险程度的变化程度的指标值，作为监视目标的指标值。

(33)根据(18)至(32)中的任一项所述的图像处理方法，

其中监视目标包括人或地方，并且

其中计算指标值的步骤包括计算指示监视目标被监视的程度的变化程度的指标值，作为监视目标的指标值。

(34)一种使计算机作为根据(1)至(16)中的任一项所述的图像处理装置进行操作的程序。

(35)一种图像处理装置，包括：

计算单元，该计算单元使用多个捕捉的图像来计算在捕捉的图像中监视目标的状态的变化程度，所述捕捉的图像由相机在不同时间捕捉；以及

呈现单元，该呈现单元将捕捉的图像的区域的颜色改变为基于计算出的变化程度的颜色，所述区域示出所述监视目标。

(36)一种图像处理装置，包括：

计算单元，该计算单元使用多个捕捉的图像来计算在捕捉的图像中监视目标的状态的变化程度，所述捕捉的图像是由相机在不同时间捕捉；以及

呈现单元，该呈现单元强调所述捕捉的图像的区域，所述区域示出所述监视目标。

(37)一种使计算机作为根据(35)所述的图像处理装置进行操作的程序。

(38)一种图像处理装置，包括：

计算单元，该计算单元使用多个捕捉的图像来计算在捕捉的图像中监视目标的状态的变化程度，所述捕捉的图像由相机在不同时间捕捉；以及

呈现单元，该呈现单元基于改变程度来强调由所述相机捕捉的所述捕捉的图像上的所述监视目标。

(39)一种由计算机执行的图像处理方法，该方法包括：

使用多个捕捉的图像来计算在捕捉的图像中监视目标的状态的变化程度的计算步骤，所述捕捉的图像由相机在不同时间捕捉；以及

基于改变程度来强调由所述相机捕捉的所述捕捉的图像上的所述监视目标的呈现步骤。

(40)一种使计算机作为根据(39)所述的图像处理装置进行操作的程序。

本申请要求于2014年6月30日提交的日本专利申请no.2004-134786的优先权，其全部内容并入本文。