跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法与流程

本公开涉及跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法，用于将图像存储单元中存储的多个摄像机各自的摄影图像显示于显示装置来辅助监控人员的跟踪作为跟踪对象的移动体的作业。

背景技术：

正广泛普及如下一种监控系统：在监控区域内设置多个摄像机，将显示该多个摄像机各自的摄影图像的监控画面显示于监视器，来使监控人员进行监控。在这种监控系统中，通过将摄像机的摄影图像存储于记录器，监控人员能够在事后确认进行了偷盗等有问题的行为的人物在监控区域内进行了何种行动。

这样，在监控人员一边观察监控画面一边跟踪人物的情况下，根据人物在监控区域内移动的情况来不断地切换用于拍摄该人物的摄像机，因此需要依次确认每个摄像机的摄影图像。

在此，已知如下一种技术：在监视器的显示画面中设置用于显示每个摄像机的摄影图像的图像显示窗口，在该图像显示窗口中显示由监控人员指定为跟踪对象的人物的图像，并且在监视器的显示画面中显示人物的行进路线(参照专利文献1)。在该技术中，显示行进路线，因此能够比较简单地进行一边不断地切换摄像机一边跟踪的作业，能够在某种程度上减轻进行跟踪作业的监控人员的负担。

专利文献1：日本专利第4759988号公报

技术实现要素：

此外，为了使与被指定为跟踪对象的人物有关的每个摄像机的摄影图像依次显示于监视器的显示画面，使装置进行使用图像识别技术来追踪人物的处理，但在该追踪处理中有时追踪结果发生错误，如被指定为跟踪对象的人物的追踪失败而使人物被他人替代等。当像这样追踪结果发生错误时，有碍于人物的跟踪作业，因此需要进行用于确认追踪结果是否有误的作业。特别是，在将大范围的监控区域设为对象的大规模的监控系统中，使用几十个或几百个这样大量的监控摄像机，因此追踪结果的确认作业极其复杂。因此，期望一种能够有效地进行追踪结果的确认作业的技术。

然而，在上述的专利文献1所公开的技术中，并非始终将当作跟踪对象的人物拍进画面内的某个图像显示窗口中，即并非涵盖监控区域内的移动路径的整体地使当作跟踪对象的人物的图像无遗漏地显示于画面，因此存在以下问题：无法有效地进行用于确认当作跟踪对象的人物的追踪结果的确认作业，特别是，当摄像机的数量增加时作业变得非常复杂。另外，在人物的追踪结果有误的情况下，存在以下问题：在该现有技术中无法进行任何有效的应对，无法适当地进行用于减轻监控人员的负担的辅助处理。

特别是在利用摄像机的摄影图像来跟踪人物的情况下，最初为了指定设为跟踪对象的人物，需要进行用于找出拍进作为跟踪对象的人物的图像的作业。另外，在人物的追踪结果有误的情况下，需要进行用于找出在该追踪期间拍进作为跟踪对象的人物的图像的作业。然而，当摄像机的数量增加时，该找出图像的作业非常耗费劳力和时间，期望一种能够有效地进行使监控人员找到拍进作为跟踪对象的人物的图像的作业的技术。

因此，本公开的目的在于提供如下的跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法：能够有效地进行用于确认当作跟踪对象的移动体的追踪结果是否有误的作业，并且在移动体的追踪结果有误的情况下，能够利用简单的操作来修正追踪信息，特别是能够有效地进行用于监控人员找到拍进作为跟踪对象的移动体的图像的作业。

本公开的跟踪辅助装置使图像存储单元中存储的多个摄像机各自的摄影图像显示于显示装置，来辅助监控人员的跟踪作为跟踪对象的移动体的作业，所述跟踪辅助装置构成为具备：评价值计算部，其基于根据多个摄像机各自的摄影图像检测出的移动体的追踪信息，来计算表示移动体彼此的同一性的高低的评价值；跟踪对象设定部，其使多个摄影图像显示于显示装置，根据监控人员的基于该摄影图像来指定设为跟踪对象的移动体的操作输入，来将所指定的移动体设定为跟踪对象；确认图像呈现部，其重复进行从自存在合作关系的摄像机的摄影图像中检测出的移动体中选择评价值最高的移动体的处理，来依次确定继续拍摄当作跟踪对象的移动体的摄像机，使针对这些摄像机中的每个摄像机、将评价值最高的移动体的摄影图像作为确认图像进行显示的跟踪对象确认画面显示于显示装置；缩略图生成部，其从摄影图像中截取移动体的区域来生成移动体各自的缩略图像；候选图像呈现部，在显示于跟踪对象确认画面的确认图像有误的情况下，该候选图像呈现部使将相比于与确认图像对应的移动体而言评价值低的移动体各自的缩略图像作为候选图像进行一览显示的候选选择画面显示于显示装置，来使监控人员选择与被指定为跟踪对象的移动体相当的候选图像；以及追踪信息修正部，其修正摄像机间追踪信息，使得在候选选择画面中选择出的候选图像所对应的移动体与被设定为跟踪对象的移动体相对应。

另外，本公开的跟踪辅助系统使图像存储单元中存储的多个摄像机各自的摄影图像显示于显示装置，来辅助监控人员的跟踪作为跟踪对象的移动体的作业，所述跟踪辅助系统构成为具有：摄像机，其用于拍摄监控区域；显示装置，其用于显示所述摄像机各自的摄影图像；以及多个信息处理装置，其中，多个信息处理装置中的任意的信息处理装置具备：评价值计算部，其基于根据多个摄像机各自的摄影图像检测出的移动体的追踪信息，来计算表示移动体彼此的同一性的高低的评价值；跟踪对象设定部，其使多个摄影图像显示于显示装置，根据监控人员的基于该摄影图像来指定设为跟踪对象的移动体的操作输入，来将所指定的移动体设定为跟踪对象；确认图像呈现部，其重复进行从自存在合作关系的摄像机的摄影图像中检测出的移动体中选择评价值最高的移动体的处理，来依次确定继续拍摄当作跟踪对象的移动体的摄像机，使针对这些摄像机中的每个摄像机、将评价值最高的移动体的摄影图像作为确认图像进行显示的跟踪对象确认画面显示于显示装置；缩略图生成部，其从摄影图像中截取移动体的区域来生成移动体各自的缩略图像；候选图像呈现部，在显示于跟踪对象确认画面的确认图像有误的情况下，该候选图像呈现部使将相比于与确认图像对应的移动体而言评价值低的移动体各自的缩略图像作为候选图像进行一览显示的候选选择画面显示于显示装置，来使监控人员选择与被指定为跟踪对象的移动体相当的候选图像；以及追踪信息修正部，其修正摄像机间追踪信息，使得在候选选择画面中选择出的候选图像所对应的移动体与被设定为跟踪对象的移动体相对应。

另外，本公开的跟踪辅助方法使信息处理装置进行以下处理：使图像存储单元中存储的多个摄像机各自的摄影图像显示于显示装置，来辅助监控人员的跟踪作为跟踪对象的移动体的作业，所述跟踪辅助方法构成为包括以下步骤：基于根据多个摄像机各自的摄影图像检测出的移动体的追踪信息，来计算表示移动体彼此的同一性的高低的评价值；使多个摄影图像显示于显示装置，根据监控人员的基于该摄影图像来指定设为跟踪对象的移动体的操作输入，来将所指定的移动体设定为跟踪对象；重复进行从自存在合作关系的摄像机的摄影图像中检测出的移动体中选择评价值最高的移动体的处理，来依次确定继续拍摄当作跟踪对象的移动体的摄像机，使针对这些摄像机中的每个摄像机、将评价值最高的移动体的摄影图像作为确认图像进行显示的跟踪对象确认画面显示于显示装置；从摄影图像中截取移动体的区域来生成移动体各自的缩略图像；在显示于跟踪对象确认画面的确认图像有误的情况下，使将相比于与确认图像对应的移动体而言评价值低的移动体各自的缩略图像作为候选图像进行一览显示的候选选择画面显示于显示装置，来使监控人员选择与被指定为跟踪对象的移动体相当的候选图像；以及修正摄像机间追踪信息，使得在候选选择画面中选择出的候选图像所对应的移动体与被设定为跟踪对象的移动体相对应。

根据本公开，限定为拍进了当作跟踪对象的移动体的可能性最高的摄像机的图像来进行显示，因此能够有效地进行移动体的追踪结果的确认作业。而且，在显示于跟踪对象确认画面的确认图像有误、即移动体的追踪结果有误的情况下，显示用于代替确认图像的候选图像，因此监控人员仅通过选择候选图像就能够修正追踪信息，因此能够通过简单的操作来修正追踪信息。特别是，在候选选择画面中显示移动体各自的缩略图像，因此容易在图像上识别移动体，因此能够消除看丢当作跟踪对象的移动体的不良状况，从而能够有效地进行找到作为跟踪对象的移动体的图像的作业。

附图说明

图1是本实施方式所涉及的跟踪辅助系统的整体结构图。

图2是表示商店中的摄像机1的设置状况的俯视图。

图3是表示pc3的概要结构的功能框图。

图4是表示监视器7中显示的画面的转换状况的说明图。

图5是表示由pc3的各部根据监控人员在各画面中进行的操作来进行的处理的过程的流程图。

图6是表示人物一览模式下的初始指定状态的人物检索画面的说明图。

图7是表示摄像机一览模式下的初始指定状态的人物检索画面的说明图。

图8是表示摄像机一览模式下的人物检索画面的主要部分的说明图。

图9是表示确认状态的时间线画面的说明图。

图10a是表示确认状态的时间线画面的主要部分的说明图。

图10b是表示确认状态的时间线画面的主要部分的说明图。

图11是表示连续再现状态的时间线画面的说明图。

图12是表示候选显示状态的时间线画面的说明图。

图13是说明候选显示状态的时间线画面中显示的候选图像的说明图。

图14是说明候选显示状态的时间线画面中显示的候选图像的说明图。

图15是表示人物一览模式下的追加指定状态的人物检索画面的说明图。

图16是表示摄像机一览模式下的追加指定状态的人物检索画面的说明图。

具体实施方式

为了解决上述问题而完成的第一发明涉及一种跟踪辅助装置，使图像存储单元中存储的多个摄像机各自的摄影图像显示于显示装置，来辅助监控人员的跟踪作为跟踪对象的移动体的作业，该跟踪辅助装置构成为具备：评价值计算部，其基于根据多个摄像机各自的摄影图像检测出的移动体的追踪信息，来计算表示移动体彼此的同一性的高低的评价值；跟踪对象设定部，其使多个摄影图像显示于显示装置，根据监控人员的基于该摄影图像来指定设为跟踪对象的移动体的操作输入，来将所指定的移动体设定为跟踪对象；确认图像呈现部，其重复进行从自存在合作关系的摄像机的摄影图像中检测出的移动体中选择评价值最高的移动体的处理，来依次确定继续拍摄当作跟踪对象的移动体的摄像机，使针对这些摄像机中的每个摄像机、将评价值最高的移动体的摄影图像作为确认图像进行显示的跟踪对象确认画面显示于显示装置；缩略图生成部，其从摄影图像中截取移动体的区域来生成移动体各自的缩略图像；候选图像呈现部，在显示于跟踪对象确认画面的确认图像有误的情况下，该候选图像呈现部使将相比于与确认图像对应的移动体而言评价值低的移动体各自的缩略图像作为候选图像进行一览显示的候选选择画面显示于显示装置，来使监控人员选择与被指定为跟踪对象的移动体相当的候选图像；以及追踪信息修正部，其修正摄像机间追踪信息，使得在候选选择画面中选择出的候选图像所对应的移动体与被设定为跟踪对象的移动体相对应。

由此，限定为拍进了当作跟踪对象的移动体的可能性最高的摄像机的图像来进行显示，因此能够有效地进行移动体的追踪结果的确认作业。而且，在显示于跟踪对象确认画面的确认图像有误、即移动体的追踪结果有误的情况下，显示用于代替确认图像的候选图像，因此监控人员仅通过选择候选图像就能够修正追踪信息，因此能够通过简单的操作来修正追踪信息。特别是，在候选选择画面中显示移动体各自的缩略图像，因此容易在图像上识别移动体，因此能够消除看丢当作跟踪对象的移动体的不良状况，从而能够有效地进行找到作为跟踪对象的移动体的图像的作业。

另外，第二发明涉及一种跟踪辅助装置，使图像存储单元中存储的多个摄像机各自的摄影图像显示于显示装置，来辅助监控人员的跟踪作为跟踪对象的移动体的作业，所述跟踪辅助装置构成为具备：评价值计算部，其基于根据多个摄像机各自的摄影图像检测出的移动体的追踪信息，来计算表示移动体彼此的同一性的高低的评价值；缩略图生成部，其从摄影图像中截取移动体的区域来生成移动体各自的缩略图像；跟踪对象设定部，其使将移动体各自的缩略图像进行一览显示的跟踪对象检索画面显示于显示装置，并且根据监控人员的通过选择缩略图像来指定设为跟踪对象的移动体的操作输入，来将所指定的移动体设定为跟踪对象；确认图像呈现部，其重复进行从自存在合作关系的摄像机的摄影图像中检测出的移动体中选择评价值最高的移动体的处理，来依次确定继续拍摄当作跟踪对象的移动体的摄像机，使针对这些摄像机中的每个摄像机、将评价值最高的移动体的摄影图像作为确认图像进行显示的跟踪对象确认画面显示于显示装置；候选图像呈现部，在显示于跟踪对象确认画面的确认图像有误的情况下，该候选图像呈现部使将相比于与确认图像对应的移动体而言评价值低的移动体各自的候选图像进行显示的候选选择画面显示于显示装置，来使监控人员选择与被指定为跟踪对象的移动体相当的候选图像；以及追踪信息修正部，其修正摄像机间追踪信息，使得在候选选择画面中选择出的候选图像所对应的移动体与被设定为跟踪对象的移动体相对应。

由此，限定为拍进了当作跟踪对象的移动体的可能性最高的摄像机的图像来进行显示，因此能够有效地进行移动体的追踪结果的确认作业。而且，在显示于跟踪对象确认画面的确认图像有误、即移动体的追踪结果有误的情况下，显示用于代替确认图像的候选图像，因此监控人员仅通过选择候选图像就能够修正追踪信息，因此能够通过简单的操作来修正追踪信息。特别是，在候选选择画面中显示移动体各自的缩略图像，因此容易在图像上识别移动体，因此能够消除看丢当作跟踪对象的移动体的不良状况，从而能够有效地进行找到作为跟踪对象的移动体的图像的作业。

另外，第三发明构成为：跟踪对象设定部在跟踪对象检索画面中使缩略图像以按时间序列排列的方式进行一览显示。

由此，能够进一步有效地进行找到作为跟踪对象的移动体的图像的作业。

另外，第四发明构成为：还具备图像再现部，该图像再现部根据监控人员的选择缩略图像的操作输入对选择出的缩略图像进行间除再现。

由此，能够在短时间内确认覆盖与缩略图像对应的移动体的整个追踪期间的缩略图像。

另外，第五发明构成为：还具备跟踪对象追加设定部，在显示于候选选择画面的候选图像中不存在与被指定为跟踪对象的移动体相当的候选图像的情况下，该跟踪对象追加设定部使将移动体各自的缩略图像进行一览显示的跟踪对象检索画面显示于显示装置，根据监控人员的通过选择缩略图像来指定设为跟踪对象的移动体的操作输入，来将所指定的移动体追加设定为跟踪对象，追踪信息修正部修正摄像机间追踪信息，使得由跟踪对象追加设定部追加设定为跟踪对象的移动体与由跟踪对象设定部设定为跟踪对象的移动体相对应。

由此，即使在显示于候选选择画面的候选影像中不存在与被指定为跟踪对象的移动体相当的候选图像的情况下，也能够通过由监控人员指定作为跟踪对象的移动体来修正与有误的确认图像对应的追踪信息，因此能够避免追踪信息的缺失。特别是，在跟踪对象检索画面中显示缩略图像，因此能够有效地找出当作跟踪对象的移动体。

另外，第六发明构成为：跟踪对象设定部根据监控人员的选择显示模式的操作输入，在跟踪对象检索画面中显示对移动体各自的缩略图像进行一览显示的移动体图像一览以及对摄像机各自的摄影图像进行一览显示的摄像机图像一览中的任一方。

由此，能够根据用户的需要在摄像机图像一览与移动体图像一览之间进行切换，因此用户的便利性提高。

另外，第七发明构成为：还具备特征限定部，该特征限定部基于作为跟踪对象的移动体的特征信息来限定作为候选对象的移动体，候选图像呈现部使通过特征限定部进行限定而得到的移动体的缩略图像显示于候选选择画面。

由此，候选选择画面中显示的缩略图像变少，因此能够有效地进行找出当作跟踪对象的移动体的作业。

另外，第八发明构成为：还具备特征限定部，该特征限定部基于作为跟踪对象的移动体的特征信息来限定作为检索对象的移动体，跟踪对象设定部使通过特征限定部进行限定而得到的移动体的缩略图像显示于跟踪对象检索画面。

由此，跟踪对象检索画面中显示的缩略图像变少，因此能够有效地进行找出当作跟踪对象的移动体的作业。

另外，第九发明涉及一种跟踪辅助系统，使图像存储单元中存储的多个摄像机各自的摄影图像显示于显示装置，来辅助监控人员的跟踪作为跟踪对象的移动体的作业，所述跟踪辅助系统构成为具有：摄像机，其用于拍摄监控区域；显示装置，其用于显示所述摄像机各自的摄影图像；以及多个信息处理装置，其中，多个信息处理装置中的任意的信息处理装置具备：评价值计算部，其基于根据多个摄像机各自的摄影图像检测出的移动体的追踪信息，来计算表示移动体彼此的同一性的高低的评价值；跟踪对象设定部，其使多个摄影图像显示于显示装置，根据监控人员的基于该摄影图像来指定设为跟踪对象的移动体的操作输入，来将所指定的移动体设定为跟踪对象；确认图像呈现部，其重复进行从自存在合作关系的摄像机的摄影图像中检测出的移动体中选择评价值最高的移动体的处理，来依次确定继续拍摄当作跟踪对象的移动体的摄像机，使针对这些摄像机中的每个摄像机、将评价值最高的移动体的摄影图像作为确认图像进行显示的跟踪对象确认画面显示于显示装置；缩略图生成部，其从摄影图像中截取移动体的区域来生成移动体各自的缩略图像；候选图像呈现部，在显示于跟踪对象确认画面的确认图像有误的情况下，该候选图像呈现部使将相比于与确认图像对应的移动体而言评价值低的移动体各自的缩略图像作为候选图像进行一览显示的候选选择画面显示于显示装置，来使监控人员选择与被指定为跟踪对象的移动体相当的候选图像；以及追踪信息修正部，其修正摄像机间追踪信息，使得在候选选择画面中选择出的候选图像所对应的移动体与被设定为跟踪对象的移动体相对应。

由此，与第一发明同样地，能够有效地进行用于确认当作跟踪对象的移动体的追踪结果是否有误的作业，并且在移动体的追踪结果有误的情况下，能够通过简单的操作来修正追踪信息，特别是能够有效地进行用于监控人员在候选选择画面中找到拍进了作为跟踪对象的移动体的图像的作业。

另外，第十发明涉及一种跟踪辅助系统，使图像存储单元中存储的多个摄像机各自的摄影图像显示于显示装置，来辅助监控人员的跟踪作为跟踪对象的移动体的作业，所述跟踪辅助系统构成为具有：摄像机，其用于拍摄监控区域；显示装置，其用于显示该摄像机各自的摄影图像；以及多个信息处理装置，其中，多个信息处理装置中的任意的信息处理装置具备：评价值计算部，其基于根据多个摄像机各自的摄影图像检测出的移动体的追踪信息，来计算表示移动体彼此的同一性的高低的评价值；缩略图生成部，其从摄影图像中截取移动体的区域来生成移动体各自的缩略图像；跟踪对象设定部，其使将移动体各自的缩略图像进行一览显示的跟踪对象检索画面显示于显示装置，并且根据监控人员的通过选择缩略图像来指定设为跟踪对象的移动体的操作输入，来将所指定的移动体设定为跟踪对象；确认图像呈现部，其重复进行从自存在合作关系的摄像机的摄影图像中检测出的移动体中选择评价值最高的移动体的处理，来依次确定继续拍摄当作跟踪对象的移动体的摄像机，使针对这些摄像机中的每个摄像机、将评价值最高的移动体的摄影图像作为确认图像进行显示的跟踪对象确认画面显示于显示装置；候选图像呈现部，在跟踪对象确认画面中显示的确认图像有误的情况下，该候选图像呈现部使将相比于与确认图像对应的移动体而言评价值低的移动体各自的候选图像进行显示的候选选择画面显示于显示装置，来使监控人员选择与被指定为跟踪对象的移动体相当的候选图像；以及追踪信息修正部，其修正摄像机间追踪信息，使得在候选选择画面中选择出的候选图像所对应的移动体与被设定为跟踪对象的移动体相对应。

由此，与第二发明同样地，能够有效地进行用于确认当作跟踪对象的移动体的追踪结果是否有误的作业，并且在移动体的追踪结果有误的情况下，能够通过简单的操作来修正追踪信息，特别是能够有效地进行用于监控人员在跟踪对象检索画面中找到拍进了作为跟踪对象的移动体的图像的作业。

另外，第十一发明涉及一种跟踪辅助方法，使信息处理装置进行以下处理：使图像存储单元中存储的多个摄像机各自的摄影图像显示于显示装置，来辅助监控人员的跟踪作为跟踪对象的移动体的作业，所述跟踪辅助方法构成为包括以下步骤：基于根据多个摄像机各自的摄影图像检测出的移动体的追踪信息，来计算表示移动体彼此的同一性的高低的评价值；使多个摄影图像显示于显示装置，根据监控人员的基于该摄影图像来指定设为跟踪对象的移动体的操作输入，来将所指定的移动体设定为跟踪对象；重复进行从自存在合作关系的摄像机的摄影图像检测出的移动体中选择评价值最高的移动体的处理，来依次确定继续拍摄当作跟踪对象的移动体的摄像机，使针对这些摄像机中的每个摄像机、将评价值最高的移动体的摄影图像作为确认图像进行显示的跟踪对象确认画面显示于显示装置；从摄影图像中截取移动体的区域来生成移动体各自的缩略图像；在显示于跟踪对象确认画面的确认图像有误的情况下，使将相比于与确认图像对应的移动体而言评价值低的移动体各自的缩略图像作为候选图像进行一览显示的候选选择画面显示于显示装置，来使监控人员选择与被指定为跟踪对象的移动体相当的候选图像；以及修正摄像机间追踪信息，使得在候选选择画面中选择出的候选图像所对应的移动体与被设定为跟踪对象的移动体相对应。

由此，与第一发明同样地，能够有效地进行用于确认当作跟踪对象的移动体的追踪结果是否有误的作业，并且在移动体的追踪结果有误的情况下，能够通过简单的操作来修正追踪信息，特别是能够有效地进行用于监控人员在候选选择画面中找到拍进了作为跟踪对象的移动体的图像的作业。

另外，第十二发明涉及一种跟踪辅助方法，使信息处理装置进行以下处理：使图像存储单元中存储的多个摄像机各自的摄影图像显示于显示装置，来辅助监控人员的跟踪作为跟踪对象的移动体的作业，所述跟踪辅助方法构成为包括以下步骤：基于根据多个摄像机各自的摄影图像检测出的移动体的追踪信息，来计算表示移动体彼此的同一性的高低的评价值；从摄影图像中截取移动体的区域来生成移动体各自的缩略图像；使将移动体各自的缩略图像进行一览显示的跟踪对象检索画面显示于显示装置，并且根据监控人员的通过选择缩略图像来指定设为跟踪对象的移动体的操作输入，来将所指定的移动体设定为跟踪对象；重复进行从自存在合作关系的摄像机的摄影图像中检测出的移动体中选择评价值最高的移动体的处理，来依次确定继续拍摄当作跟踪对象的移动体的摄像机，使针对这些摄像机中的每个摄像机、将评价值最高的移动体的摄影图像作为确认图像进行显示的跟踪对象确认画面显示于显示装置；在显示于跟踪对象确认画面的确认图像有误的情况下，使将相比于与确认图像对应的移动体而言评价值低的移动体各自的候选图像进行显示的候选选择画面显示于显示装置，来使监控人员选择与被指定为跟踪对象的移动体相当的候选图像；以及修正摄像机间追踪信息，使得在候选选择画面中选择出的候选图像所对应的移动体与被设定为跟踪对象的移动体相对应。

由此，与第二发明同样地，能够有效地进行用于确认设为跟踪对象的移动体的追踪结果是否有误的作业，并且在移动体的追踪结果有误的情况下，能够通过简单的操作来修正追踪信息，特别是能够有效地进行用于监控人员在跟踪对象检索画面中找到拍进了作为跟踪对象的移动体的图像的作业。

以下，参照附图来说明实施方式。此外，在本实施方式的说明中，使用了“跟踪”和“追踪”之类的具有相同含义的用语，这只不过是为了便于说明而加以区分使用，但“跟踪”主要用于与监控人员的行为密切相关的情况，“追踪”主要用于与由装置进行的处理密切相关的情况。

图1是本实施方式所涉及的跟踪辅助系统的整体结构图。

该跟踪辅助系统是以超市、家庭服务中心等零售商店等为对象来构建的，且具备摄像机1、记录器(图像存储单元)2、pc(跟踪辅助装置)3以及摄像机内追踪处理装置4。

摄像机1设置在商店内的适当位置，利用摄像机1来拍摄商店内(监控区域)，由该摄像机1拍摄到的商店内的摄影图像被记录到记录器2。

在pc3上连接有用于监控人员(用户)进行各种输入操作的鼠标等输入设备6和用于显示监控画面的监视器(显示装置)7。该pc3设置在商店的警卫室等，监控人员(警卫人员)能够在监视器7中显示的监控画面上实时地浏览从摄像机1输出的当前的商店内的摄影图像，另外，还能够浏览记录器2中记录的过去的商店内的摄影图像。

此外，设置于本部的pc11上还连接有未图示的监视器，能够实时地浏览从摄像机1输出的当前的商店内的摄影图像，另外，能够浏览记录器2中记录的过去的商店内的摄影图像，从而能够在本部确认商店内的状况。

在摄像机内追踪处理装置4中进行以下处理：对从摄像机1的摄影图像中检测到的人物(移动体)进行追踪，按每个人物生成摄像机内追踪信息。在该摄像机内追踪处理中利用公知的图像识别技术(人物检测技术和人物跟踪技术等)即可。在此，作为摄像机内追踪信息，按检测到的每个人物生成人物的检测时刻(帧的摄影时刻)、人物的检测位置、人物的移动速度、人物像的颜色信息等。

此外，在本实施方式中，摄像机内追踪处理装置4与pc3相独立，始终进行摄像机内追踪处理，但也可以设为摄像机内追踪处理装置4根据来自pc3的指示来执行追踪处理。另外，在摄像机内追踪处理装置4中期望将从摄影图像中检测到的所有人物作为对象来进行追踪处理，但也可以限定被指定为跟踪对象的人物以及与该人物的关联度高的人物来进行追踪处理。

接着，对摄像机1在商店内的设置状况进行说明。图2是表示摄像机1在商店内的设置状况的俯视图。

在商店内(监控区域)，在商品陈列空间之间设置有通道，以主要拍摄该通道的方式设置有多个摄像机1。

当人物在商店内的通道中移动时，用摄像机1中的某一个或多个摄像机1拍摄人物，与人物的移动相应地使下一个摄像机1继续进行人物的摄影。此时，继续进行人物的摄影的摄像机受限于商店内的通道的形态和摄像机1的摄影区域，在本实施方式中，将具有继续进行该人物的摄影的关系的摄像机称为具有合作关系的摄像机。与该摄像机的合作关系有关的信息是预先设定的，且作为摄像机合作信息保持于pc3。此外，关于与摄像机的合作关系有关的信息，也可以是，在系统启动时等利用pc3单独地获取各摄像机1的设置信息等，并更新与各摄像机的合作关系有关的信息，为变更摄像机1的数量、设置场所做准备。

接着，对pc3的概要结构进行说明。图3是表示pc3的概要结构的功能框图。

pc3具备追踪信息存储部21、摄像机间追踪处理部22、输入信息获取部23、跟踪对象处理部24、图像呈现部25、特征限定部26、缩略图生成部27、图像再现部28以及画面生成部29。

在追踪信息存储部21中存储由摄像机内追踪处理装置4生成的摄像机内追踪信息。另外，在追踪信息存储部21中存储由摄像机间追踪处理部22生成的摄像机间追踪信息。在此，摄像机间追踪信息是表示将由存在合作关系的摄像机拍摄作为跟踪对象的人物而得到的确认图像(期间影像)按时间序列排列时的跟踪结果的信息，在利用后述的确认图像呈现部39生成时间线画面(跟踪对象确认画面)时反映该摄像机间追踪信息。此外，为了使监控人员能够确认过去的跟踪结果(跟踪历史记录)，设为将摄像机间追踪信息存储于追踪信息存储部21的结构，但也可以设为暂时存储的结构。

在输入信息获取部23中进行以下处理：根据监控人员使用鼠标等输入设备6进行的输入操作，来获取基于该输入操作的输入信息。

跟踪对象处理部24具备检索条件设定部31、跟踪对象设定部32以及跟踪对象追加设定部33。

在检索条件设定部31中进行以下处理：根据监控人员的输入操作，来设定用于找出拍进了作为跟踪对象的人物的图像的检索条件。在本实施方式中，使人物检索画面(跟踪对象检索画面，参照图6、图7)显示于监视器7，来使监控人员在该人物检索画面中输入摄影日期和时间以及与摄像机1有关信息来作为检索条件。

在跟踪对象设定部32中进行以下处理：基于利用检索条件设定部31设定的检索条件和追踪信息存储部21中存储的摄像机内追踪信息，使记录器2中存储的图像中的符合检索条件的日期和时间以及摄像机1的图像显示于人物检索画面，使监控人员通过在该人物检索画面中选择图像来指定作为跟踪对象的人物，将所指定的该人物设定为跟踪对象。

摄像机间追踪处理部22具备关联得分计算部35(评价值计算部)、初始追踪信息生成部36、候选选择部37以及追踪信息修正部38。

在关联得分计算部35中，从追踪信息存储部21获取与各摄像机1有关的摄像机内追踪信息，来计算关联得分(评价值)，该关联得分(评价值)用于表示通过与各摄像机1有关的摄像机内追踪处理而检测追踪到的人物彼此为同一人物的可能性的高低。在该处理中，基于作为追踪信息的人物的检测时刻(帧的摄影时刻)、人物的检测位置、人物的移动速度、人物像的颜色信息等来计算关联得分。此外，在相同的摄像机内存在多个可能为同一人物的人物的情况下，也能够计算多个关联得分。另外，各摄像机1的关联得分可以是存储于追踪信息存储部21等的结构、暂时地进行存储的结构中的任一结构。

在初始追踪信息生成部36中进行以下处理：以由跟踪对象设定部32设定为跟踪对象的人物为起点，针对每个摄像机1依次从通过与存在合作关系的摄像机1有关的摄像机内追踪而追踪到的人物中选择关联得分最高、即为同一人物的可能性最高的人物，生成将这些人物关联为同一人物所得到的初始追踪信息(摄像机间追踪信息)。

具体地说，首先，从通过与拍摄到在人物检索画面中将人物指定为跟踪对象时的图像(跟踪对象指定图像)的摄像机1存在合作关系的摄像机1的摄像机内追踪而追踪到的人物中选择关联得分最高的人物，接着，从通过与拍摄到该选择出的人物的摄像机1存在合作关系的摄像机1的摄像机内追踪而追踪到的人物中选择关联得分最高的人物，针对存在合作关系的每个摄像机1重复进行这种人物的选择。在与跟踪对象指定图像相比在时间上靠前和靠后的两个时间进行这种选择人物的处理，在最高的关联得分为规定的阈值以下的时间点，判断为在监控区域内不存在当作跟踪对象的人物，结束人物的选择。

图像呈现部25具备确认图像呈现部39和候选图像呈现部40。

在确认图像呈现部39中进行以下处理：基于由初始追踪信息生成部36生成的初始追踪信息，针对每个摄像机1提取关联得分最高的人物的图像、即拍进了当作跟踪对象的人物的可能性最高的图像来作为确认图像，并呈现该确认图像，具体地说，使将确认图像以按摄影时刻顺序排列的方式显示所得到的确认状态的时间线画面(跟踪对象确认画面，参照图9)显示于监视器7。

在摄像机间追踪处理部22的候选选择部37中进行以下处理：在由确认图像呈现部39呈现的确认图像有误或缺失、即由初始追踪信息生成部36生成的初始追踪信息有误的情况下，从在与该有误或缺失的确认图像对应的期间通过摄像机内追踪而追踪到的人物中选择可能是当作跟踪对象的人物的人物来作为候选人物。

在候选图像呈现部40中进行以下处理：在由确认图像呈现部39呈现的确认图像有误或缺失的情况下，提取与由候选选择部37选择出的候选人物有关的图像、即可能拍进了当作跟踪对象的人物的图像来作为候选图像，并呈现该候选图像。具体地说，使显示有规定数量的候选图像的候选显示状态的时间线画面(候选选择画面，参照图12)显示于监视器7，来使监控人员在该画面上选择拍进了当作跟踪对象的人物的候选图像。

在追踪信息修正部38中进行以下处理：在由候选图像呈现部40呈现的候选图像中存在适当的候选图像的情况下，对与当作跟踪对象的人物有关的追踪信息进行修正来生成修正追踪信息，以使该候选图像所对应的人物与当作跟踪对象的人物相对应。

此时，在追踪信息修正部38中进行以下处理：与生成初始追踪信息的处理同样地，以与候选图像对应的人物为起点，针对每个摄像机1依次从通过与存在合作关系的摄像机1有关的摄像机内追踪而追踪到的人物中选择关联得分最高、即为同一人物的可能性最高的人物，并生成将这些人物关联为同一人物所得到的修正追踪信息。另外，在该追踪信息修正处理中，从修正对象中排除由跟踪对象设定部32设定的人物、与由监控人员进行了确定的操作的确认图像对应的人物以及替代了有误的确认图像的候选图像对应的人物。

在跟踪对象处理部24的跟踪对象追加设定部33中进行以下处理：在由候选图像呈现部40呈现的候选图像中不存在适当的候选图像的情况下，使显示有记录器2中存储的图像的人物检索画面(跟踪对象检索画面，参照图15、图16)显示于监视器7，来使监控人员在该人物检索画面中从与有误或缺失的确认图像对应的期间内的图像中指定当作跟踪对象的人物，并将所指定的该人物追加设定为跟踪对象。

在摄像机间追踪处理部22的追踪信息修正部38中进行以下处理：使由跟踪对象追加设定部33设定为跟踪对象的人物与由跟踪对象设定部32设定为跟踪对象的人物相对应，来修正与当作跟踪对象的人物有关的追踪信息，并生成修正追踪信息。

特征限定部26进行以下处理：基于被指定为跟踪对象的人物的特征信息来限定作为检索对象的人物、即要在人物检索画面(参照图6)中显示的缩略图像(追踪对象图像)的人物。另外，特征限定部26进行以下处理：基于被指定为跟踪对象的人物的特征信息来限定作为候选对象的人物、即要在候选显示状态的时间线画面(参照图12)中显示的缩略图像(候选图像)的人物。该处理也能够应用于将人物追加设定为跟踪对象的情况。

在此，特征信息例如是与性别、年龄、身高、头发的颜色、所穿戴的服装、帽子、装饰品的颜色、所携带的包等物品的颜色等有关的信息。在限定作为检索对象的人物的情况下，输入拍进了设为跟踪对象的人物的图像、或者通过用户的操作输入来输入特征信息从而设定设为跟踪对象的人物的特征信息即可。另外，在限定作为候选对象的人物的情况下，使用从被指定为跟踪对象的人物的图像获取到的特征信息即可。

缩略图生成部27从摄像机图像中截取人物区域来生成缩略图像。在本实施方式中，在利用摄像机内追踪处理装置4进行摄像机内追踪时，在摄像机图像上设定包围人物区域(例如人物的上半身区域)的人物框，从摄像机图像中截取人物框的区域来生成缩略图像。

在图像再现部28中进行以下处理：在监视器7中显示的画面上，使摄像机1的摄影图像以运动图像的形式显示。在本实施方式中，进行将连续再现状态的时间线画面(连续再现画面，参照图11)显示于监视器7的处理，在该时间线画面中，进行使拍进了作为跟踪对象的人物的摄像机1各自的摄影图像按时间的经过依次以运动图像的形式显示的连续再现。

另外，在图像再现部28中进行对显示于监视器7的画面的缩略图像进行间除再现(日语：間引き再生)的处理。在该间除再现中，通过进行将帧剔除的处理，将缩略图像以与原始的帧频、即从摄像机1输出的摄影图像的帧频相比降低了帧频的状态再现。具体地说，从摄像机内追踪期间(通过摄像机内追踪进行追踪的期间)的摄影图像依次生成隔开了与间除再现时的帧频对应的规定的间隔的缩略图像，并对该按时间序列排列的缩略图像进行再现显示。此外，作为根据初始设定等对缩略图像进行再现显示，也能够以原始的帧频进行再现显示。

画面生成部29生成在监视器7中显示的画面，具体地说，根据来自跟踪对象设定部32和跟踪对象追加设定部33的指示来生成人物检索画面(跟踪对象检索画面，参照图6、图7、图15、图16)，根据来自确认图像呈现部39的指示来生成确认状态的时间线画面(跟踪对象确认画面，参照图9)，根据来自候选图像呈现部40的指示来生成候选显示状态的时间线画面(候选选择画面，参照图12)，根据来自图像再现部28的指示来生成连续再现状态的时间线画面(连续再现画面，参照图11)。

此外，通过使pc3的处理器(cpu(centralprocessingunit：中央处理单元))执行hdd(harddiskdrive：硬盘驱动器)等存储器中保存的跟踪辅助用的程序(指令)来实现图3所示的pc3的各部。这些程序除了被预先导入到作为信息处理装置的pc3来构成为专用的装置以外，也可以作为在规定的os(operatingsystem：操作系统)上运行的应用程序被记录于适当的程序记录介质，另外还可以经由网络被提供给用户。

接着，对显示于监视器7的各画面以及由pc3的各部根据监控人员在各画面中进行的操作来进行的处理进行说明。图4是表示监视器7中显示的画面的转换状况的说明图。图5是表示由pc3的各部根据监控人员在各画面中进行的操作来进行的处理的过程的流程图。

首先，当在pc3中进行开始跟踪辅助处理的操作时，使初始指定状态的人物检索画面(跟踪对象检索画面，参照图6、图7)显示于监视器7(st101)。此时，人物一览模式被设定为初始状态的显示模式，首先，显示人物一览模式的人物检索画面(参照图6)，能够通过监控人员的操作来切换为摄像机一览模式的人物检索画面(参照图7)。此外，也可以设为能够由用户变更初始状态的显示模式。

该人物检索画面用于指定设为跟踪对象的人物进行了偷盗等有问题的行为的日期和时间，并且用于指定对想要跟踪的人物进行了有问题的行为的场所或假定该人物通过的区域进行拍摄的摄像机1，找出拍进了设为跟踪对象的人物的缩略图像，并指定设为跟踪对象的人物，当在指定日期和时间以及摄像机1而显示的图像中拍进了设为跟踪对象的人物时，由监控人员进行以下操作：通过选择该人物的图像来将该人物指定为跟踪对象(在st102中为“是”)。

当监控人员在人物检索画面中指定设为跟踪对象的人物时，在跟踪对象设定部32中进行将由监控人员指定的人物设定为跟踪对象的处理(st103)。接着，在初始追踪信息生成部36中进行以下处理：针对每个摄像机依次从通过与各摄像机1有关的摄像机内追踪处理而检测追踪到的人物中选择关联得分最高的人物，并生成初始追踪信息(st104)。然后，在确认图像呈现部39中进行以下处理：基于初始追踪信息，按每个摄像机1提取拍进了当作跟踪对象的人物的可能性最高的图像来作为确认图像，使显示有该确认图像的确认状态的时间线画面(跟踪对象确认画面，参照图9)显示于监视器7(st105)。

该确认状态的时间线画面是用于使监控人员根据确认图像来确认摄像机间追踪信息(初始追踪信息)是否有误的画面，在该确认状态的时间线画面中显示的所有确认图像无误、即所有的确认图像都与当作跟踪对象的人物有关的情况下，由监控人员进行用于指示连续再现的操作(在st106中为“是”)，并转换为连续再现状态的时间线画面(连续再现画面，参照图11)(st107)。

在该连续再现状态的时间线画面中进行将拍进了跟踪对象的摄像机1各自的图像按时间的经过依次进行显示的连续再现。

另一方面，在显示于确认状态的时间线画面的多个确认图像中发现了有误的确认图像的情况下、即某个确认图像不是与当作跟踪对象的人物有关的图像的情况下，或者在应该用某一个摄像机1拍摄当作跟踪对象的人物的时刻的确认图像缺失的情况下，由监控人员进行选择该确认图像来指示候选图像的显示的操作(在st108中为“是”)。

于是，在候选选择部37中进行以下处理：在从与有误或缺失的确认图像对应的期间通过摄像机内追踪而追踪到的人物中选择可能是当作跟踪对象的人物的人物，在候选图像呈现部40中进行以下处理：提取由候选选择部37选择出的人物的图像来作为候选图像，使以排列的方式显示有该候选图像的候选显示状态的时间线画面(候选选择画面，参照图12)显示于监视器7(st109)。

在该候选显示状态的时间线画面中，显示可能拍进了当作跟踪对象的人物的图像来作为候选图像。

在显示于该候选显示状态的时间线画面的候选图像中存在适当的候选图像、即发现了与当作跟踪对象的人物有关的候选图像的情况下，由监控人员进行选择该候选图像的操作(在st110中为“是”)。

于是，在摄像机间追踪处理部22的追踪信息修正部38中进行以下处理：修改追踪信息，使得在候选显示状态的时间线画面中选择出的候选图像所对应的人物与最初被指定为跟踪对象的人物相对应(st111)。然后，返回到确认状态的时间线画面(st105)，在该时间线画面中反映修正追踪信息后的结果，也就是用拍进了与所选择的候选图像对应的人物的摄像机图像替换时间线画面的确认图像来进行显示。

另一方面，在显示于候选显示状态的时间线画面的候选图像中不存在适当的候选图像、即没有发现与当作跟踪对象的人物有关的候选图像的情况下，由监控人员进行用于选择追加指定的操作(在st112中为“是”)，转换为追加指定状态的人物检索画面(跟踪对象检索画面，参照图15、图16)(st113)。

在该追加指定状态的人物检索画面中，由监控人员进行找出拍进了当作跟踪对象的人物的图像的作业。在该追加指定状态的人物检索画面中发现了拍进当作跟踪对象的人物的图像的情况下，由监控人员进行通过选择该图像来将该图像的人物选择为跟踪对象的操作(在st114中为“是”)。

于是，在摄像机间追踪处理部22的追踪信息修正部38中进行以下处理：修正追踪信息，使得在人物检索画面中选择出的人物与最初被指定为跟踪对象的人物相对应(st111)。然后，返回到确认状态的时间线画面(st105)，在该时间线画面中反映修正追踪信息后的结果，也就是用在人物检索画面中指定的人物的图像替换时间线画面的确认图像来进行显示。

在如以上那样在显示于确认状态的时间线画面的确认图像有误、确认图像缺失的情况下，由监控人员进行选择候选图像的操作、找出并指定当作跟踪对象的人物的操作，重复进行这些操作直到有误的确认图像消失、确认图像无缺失为止。然后，当确认所有的确认图像无误且无缺失时，由监控人员进行用于指示连续再现的操作(在st106中为“是”)，使连续再现状态的时间线画面(参照图11)显示于监视器7(st107)。

以下，详细地说明图4示出的各画面。

首先，对图4所示的初始指定状态的人物检索画面(跟踪对象检索画面)进行说明。图6是表示人物一览模式下的初始指定状态的人物检索画面的说明图。图7是表示摄像机一览模式下的初始指定状态的人物检索画面的说明图。图8是表示摄像机一览模式下的人物检索画面的主要部分的说明图。

该初始指定状态的人物检索画面(跟踪对象检索画面)用于指定想要跟踪的人物进行了偷盗等有问题的行为的日期和时间，找出拍进了设为跟踪对象的人物的图像，并在该图像上指定设为跟踪对象的人物。

在该人物检索画面中设置有检索日期和时间指定部41、检索摄像机指定部42、图像显示部43、再现操作部44、显示时刻调整部45、显示期间指定部46、调整范围指定部47、选择解除按钮48、设定完成按钮49以及特征限定指定部50。

在检索日期和时间指定部41设置有日期和时间输入部51以及检索按钮52。在日期和时间输入部51中，监控人员输入作为假定拍进了设为跟踪对象的人物的期间的中心的日期和时间。当利用该日期和时间输入部51输入日期和时间并操作检索按钮52时，在图像显示部43显示所输入的日期和时间的摄影图像。

在检索摄像机指定部42设置有单个摄像机选择部53和多个摄像机选择部54。在单个摄像机选择部53和多个摄像机选择部54分别设置有单选按钮55、菜单选择部56以及对应图显示按钮57。

两个单选按钮55用于选择单个摄像机模式和多个摄像机模式中的某个检索模式。单个摄像机模式是指定单个摄像机1并从该单个摄像机1的图像中找出拍进了设为跟踪对象的人物的图像的模式，多个摄像机模式是指定多个摄像机1并从该多个摄像机1的每个摄像机1的图像中找出拍进了设为跟踪对象的人物的图像的模式。

在菜单选择部56中，能够利用下拉菜单来选择摄像机1。当操作对应图显示按钮57时，显示对应图显示画面(未图示)。在该对应图显示画面中，将表示摄像机1的位置的摄像机图标重叠到表示商店内的布局的地图图像上来进行显示，能够在该对应图显示画面中选择摄像机1。

另外，在多个摄像机选择部54设置有复选框列表58、清除按钮59以及全选按钮60。在复选框列表58中，能够利用复选框61来选择所需数量的摄像机1。当操作清除按钮59时，所有摄像机1的选择状态被解除。当操作全选按钮60时，能够将所有摄像机1设为选择状态。

此外，与检索模式(单个摄像机模式和多个摄像机模式)的选择状态以及摄像机1的选择状态有关的信息被保持在未图示的信息保持部中，在下一次启动时，在人物检索画面中仍显示在上次结束时选择的检索模式和摄像机1。

在图像显示部43设置有标签63以及日期和时间显示部64。标签63用于在人物一览模式和摄像机一览模式各显示模式之间进行切换。当选择人物一览的标签63时，显示图6所示的人物一览模式下的人物检索画面，当选择摄像机一览的标签63时，显示图7所示的摄像机一览模式下的人物检索画面。

在图6所示的人物一览模式下的人物检索画面中，在图像显示部43中显示人物图像一览66，该人物图像一览66将作为检索对象的每个人物的缩略图像65进行了一览显示。

在该人物图像一览66中，以沿纵向排列的方式设置有每个摄像机1的摄像机显示栏67，在该摄像机显示栏67中，以将缩略图像65分配给拍摄到缩略图像65的每个摄像机1的方式进行显示。另外，在该人物图像一览66中按时间序列沿横向排列的方式显示缩略图像65，在摄像机显示栏67中，按开始进行追踪的顺序显示该通过摄像机1的摄像机内追踪而追踪到的人物的缩略图像65。此外，在追踪开始时刻的位置显示缩略图像65。另外，在图6所示的初始指定状态的人物检索画面中，以按摄像机编号的顺序从上到下排列的方式显示摄像机显示栏67。

在该人物图像一览66中，进行选择缩略图像65的操作(点击)来将缩略图像65的人物指定为跟踪对象，由此将该人物设定为跟踪对象。此时，利用缩略图像65将在摄影图像中较小地拍进的人物放大显示，因此相比于直接显示摄影图像的情况而言容易进行人物识别，因此能够消除看漏作为跟踪对象的人物的不良状况，从而有效地找到作为跟踪对象的人物。

另外，在图像显示部43设置有纵滚动条68和横滚动条69。通过操作纵滚动条68，能够使人物图像一览66以沿纵向滑动的方式显示，另外，通过操作横滚动条69，能够使物图像一览66以沿横向滑动的方式显示。由此，即使在拍摄设为跟踪对象的人物的摄像机1、摄像时刻不确定的情况下，也能够有效地找到作为跟踪对象的人物的缩略图像65。

另外，当进行将光标重叠到在人物图像一览66中显示的缩略图像65上的鼠标悬停操作时，对缩略图像65进行间除再现。由此，能够在短时间内确认覆盖整个摄像机内追踪期间的与缩略图像65的人物有关的缩略图像65。此外，在缩略图像65的初始状态(静止状态)下，显示从摄像机内追踪的追踪期间的中心时刻的摄像图像提取出的图像。

另外，当对缩略图像65进行鼠标悬停操作时，出现用于显示与缩略图像65有关的时刻信息的工具提示条70(显示框)。在该工具提示条70中显示与缩略图像65中拍进的人物有关的摄像机内追踪期间(追踪开始时刻和追踪结束时刻)。由此，用户能够掌握出现当作跟踪对象的人物的准确时刻。

另一方面，在图7所示的摄像机图像一览模式下的人物检索画面中，在图像显示部43中显示将由各摄像机1得到的所有摄影图像即摄像机图像71进行了一览显示的摄像机图像一览72。在该摄像机图像一览72中，以按摄像机编号的顺序从上到下排列的方式显示摄像机图像71。

如图8所示，在摄像机图像71中显示从摄像机图像71中检测到的人物、即作为摄像机内追踪的对象的人物的图像区域显示红色的人物框73(追踪标记)，通过进行选择该人物框73的操作(点击)来将该人物设定为跟踪对象。

另外，在图像显示部43中，针对每个摄像机图像71设置有删除按钮74。通过操作该删除按钮74，能够删除摄像机图像71。由此，通过依次浏览摄像机图像71并删除被判断为不必要的摄像机图像71，来使在图像显示部43中进行一览显示的摄像机图像71变少，因此更易找出当作跟踪对象的人物。此外，当进行一览显示的摄像机图像71的数量发生变化时，与之相应地，各摄像机图像71的大小发生变化，当对进行一览显示的摄像机图像71进行删减时，各摄像机图像71被放大地显示。

特征限定指定部50用于选择是否进行基于特征信息的限定，通过进行勾选复选框81的操作来实施基于特征信息的限定，在人物图像一览66中仅显示外观特征与预先输入了特征信息的设为跟踪对象的人物相似的人物的缩略图像65。

再现操作部44用于进行与图像显示部43中显示的图像的再现有关的操作。在该再现操作部44设置有再现、反向再现、停止、快进以及倒退的各按钮82，通过操作这些按钮82，能够有效地浏览图像，能够有效地找出拍进设为跟踪对象的人物的图像。

显示时刻调整部45用于调整图像显示部43中显示的图像的显示时刻。该显示时刻调整部45是所谓的搜索轴，以滑块83能够沿着轴84移动的方式设置。当进行使用鼠标等输入设备6挪动滑块83的操作(拖拽)时，该滑块83所指示的时刻的图像被显示在图像显示部43中。此外，轴84用于规定以由检索日期和时间指定部41指定的时刻为中心的显示时刻的调整范围。

显示期间指定部46用于使监控人员进行操作输入，来将在图像中拍进了当作跟踪对象的人物的期间设为显示期间。该显示期间指定部46是所谓的持续时间条，在框85内显示有表示显示期间的条块86。该显示期间指定部46用于使监控人员在虽然在图像显示部43中显示有拍进了设为跟踪对象的人物的图像但没有在该人物上显示人物框73的情况下指定在图像中拍进了设为跟踪对象的人物的期间来代替选择人物框73。

调整范围指定部47用于指定图像显示部43中显示的摄影图像的显示时刻的调整范围(有效再现范围)、即利用显示时刻调整部45的轴84规定的滑块83的移动范围。在该调整范围指定部47中，能够利用下拉菜单从规定的时间(例如，5分钟、15分钟等)中选择显示时刻的调整范围。

当操作选择解除按钮48时，能够废弃显示期间指定部46的指定内容，重新指定显示期间(开始时刻和结束时刻)。当对设定完成按钮49进行操作时，转换为确认状态的时间线画面(参照图9)。

接着，对图4所示的确认状态的时间线画面(跟踪对象确认画面)进行说明。图9是表示确认状态的时间线画面的说明图。图10a、图10b是表示确认状态的时间线画面的主要部分的说明图。

当监控人员在图6和图7所示的人物检索画面中进行用于指定设为跟踪对象的人物的操作并对设定完成按钮49进行操作时，转换为图9所示的确认状态的时间线画面。

该确认状态的时间线画面将拍进了在人物检索画面中被指定为跟踪对象的人物的可能性最高的各摄像机1的摄影图像作为确认图像101进行显示，使监控人员根据该确认图像101来确认摄像机间追踪信息(初始追踪信息)是否有误。

在该时间线画面中设置有图像显示部91、再现操作部44、显示时刻调整部45、对应图显示按钮92、报告输出按钮93以及返回按钮94。

在图像显示部91设置有确认图像显示部96和候选图像显示部97。此外，候选图像显示部97用于在候选显示状态的时间线画面(参照图12)中显示图像，在后面详细地说明。

在确认图像显示部96中，将在从当作跟踪对象的人物进入监控区域(商店内)并开始追踪起至退出监控区域为止的期间内由各摄像机1依次拍摄当作跟踪对象的人物而得到的摄影图像作为摄像机1各自的确认图像101，以按摄影时刻顺序、即摄影时刻从早到晚的顺序从左端起开始排列的方式显示。另外，针对每个确认图像101显示有摄影时刻和摄像机1的名称。

在打开时间线画面时的初始状态下，利用摄像机1开始进行摄像机内追踪的追踪开始时刻的确认图像以静止图像的形式显示。在确认图像无误的情况下，能够按照再现操作部44的操作而转移到连续再现。此外，对于确认图像101，与人物检索画面(参照图8)同样地，在该确认图像101中检测追踪到的人物上显示人物框73。

另外，在确认图像显示部96中，针对每个确认图像101设置有候选显示按钮102和删除按钮103。当操作候选图像显示按钮102时，转换为候选显示状态的时间线画面(参照图12)。当操作删除按钮103时，能够删除确认图像101。

另外，在确认图像显示部96中也显示跟踪对象指定图像、即在人物检索画面(参照图6、图7)中将人物指定为跟踪对象的图像，来作为确认图像101，针对该确认图像101显示用于识别跟踪对象指定图像的标记104来代替候选显示按钮102。此外，也可以显示表示是跟踪对象指定图像的框图像来代替标记104。另外，也可以在确定出的确认图像处显示表示确定状态的框图像。

另外，在确认图像显示部96设置有横滚动条105。通过对该横滚动条105进行操作，能够使确认图像101以沿确认图像101的排列方向、即横向滑动的方式显示。

在以这种方式构成的时间线画面中，监控人员通过判断确认图像显示部96中显示的确认图像101是否为被指定为跟踪对象的人物，能够确认与被指定为跟踪对象的人物有关的摄像机间追踪信息(初始追踪信息)是否有误。在摄像机间追踪信息有误的情况下，在确认图像101中没有拍进当作跟踪对象的人物，或者在确认图像101中虽然拍进了当作跟踪对象的人物但在与当作跟踪对象的人物不同的人物上显示有人物框，通过观看该确认图像，能够判断摄像机间追踪信息是否有误。

在此，在显示于确认图像显示部96的所有确认图像无误、即在所有确认图像101中拍进了当作跟踪对象的人物且在该人物上显示有人物框的情况下，进行用于指示连续再现的操作、即对再现操作部44的用于再现的按钮82进行操作。于是，转换为图11所示的连续再现状态的时间线画面。

在此，如图10a所示，在确认图像显示部96的图像显示框107中，在初始状态下将包括人物区域(人物框73的区域)在内的放大图像108作为确认图像101进行显示。在该放大图像108中，在与确认图像101对应的人物上显示有人物框73。该放大图像108是通过以下方式来获得的：以在人物区域的周围确保规定的空白并且保持图像的长宽比的状态下收敛为确认图像101的显示框的大小的方式求出放大率，基于该放大率从摄影图像中截取以人物框73的中心点为中心的区域。在该放大图像108中，将人物以相比于原始的摄影图像放大的方式显示，因此容易进行人物识别。

另外，当对放大图像108进行鼠标悬停操作时，如图10b所示将显示于图像显示框107的确认图像101从放大图像108切换为摄像机图像109。在该摄像机图像109中拍进了摄像机1的摄影区域整体，与放大图像108相比易于掌握人物的周边状况。

另外，当进行选择确认图像101(摄像机图像109)的操作(点击)时，弹出另外的窗口来显示将确认图像101放大显示的放大显示画面(未图示)，能够在该画面中详细地观察确认图像101。

虽然连续再现状态的时间线画面(参照图11)中的再现操作部44和显示时刻调整部45与人物检索画面(参照图6、图7)相同，但在连续再现状态的时间线画面中是在将确认图像101以运动图像的形式显示时使用再现操作部44和显示时刻调整部45，在后面详细地说明。

当操作对应图显示按钮92时，显示对应图显示画面(未图示)。能够根据该对应图显示画面来确认摄像机1的位置。此外，对应图显示画面是将表示摄像机1的位置的摄像机图标重叠在表示商店内的布局的地图图像上而得到的画面，能够确认拍摄到确认图像101的摄像机1的位置。

在输出与按时间序列排列的摄像机1各自的确认图像101有关的报告时，操作报告输出按钮93。另外，在从候选显示状态的时间线画面(图12)返回确认状态的时间线画面时，操作返回按钮94。

接着，对图4所示的连续再现状态的时间线画面(连续再现画面)进行说明。图11是表示连续再现状态的时间线画面的说明图。

该连续再现状态的时间线画面是与确认状态的时间线画面(参照图9)大致相同的结构，但在该连续再现状态的时间线画面中，进行使确认图像显示部96中显示的确认图像101按时间的经过依次以运动图像的形式进行显示的连续再现。在再现中的确认图像101中显示表示正处于再现中的框图像111。

此外，在再现操作部44中，用于调整确认图像显示部96中显示的确认图像101的显示时刻的滑块83的移动范围、即用于规定显示时刻的调整范围的轴84的起点(左端)为摄影时刻最早的确认图像101的开始时刻，轴84的终点(右端)为摄影时刻最晚的确认图像101的结束时刻。

此外，在该连续再现状态的时间线画面中，将确认图像101以按摄影时刻从早到晚的顺序从左端起开始排列的方式显示，因此在连续再现时从左端开始依次再现确认图像101，但在并非所有确认图像101都被纳入确认图像显示部96的情况下，进行使确认图像101在适当的定时自动地滑动的处理，由此，监控人员不进行特殊的操作就能够浏览连续地再现所有确认图像101的状况。

另外，当进行选择确认图像101的操作(点击)时，弹出另外的窗口来显示将确认图像101放大地显示的放大显示画面(未图示)，在该放大显示画面中能够将确认图像101以放大后的状态且以运动图像的形式显示，另外，在放大显示画面中能够使确认图像101连续再现。

接着，对图4所示的候选显示状态的时间线画面(候选选择画面)进行说明。图12是表示候选显示状态的时间线画面的说明图。图13和图14是说明候选显示状态的时间线画面中显示的候选图像的说明图。

在显示于确认状态的时间线画面(参照图9)的确认图像101有误的情况下、即在某一个确认图像101中没有拍进当作跟踪对象的人物或者虽然拍进了当作跟踪对象的人物但在与当作跟踪对象的人物不同的人物上显示有表示跟踪对象的人物框的情况下，监控人员操作与该确认图像101对应的候选显示按钮102，由此转换为图12所示的候选显示状态的时间线画面。

另外，在确认图像显示部96中，在当作跟踪对象的人物的追踪开始之前的时刻、追踪结束之后的时刻，图像显示框107为空白状态(不显示确认图像101的状态)，显示图像追加图标121。在此，在应该利用某一个摄像机1拍摄了当作跟踪对象的人物的时刻图像显示框107为空白状态、即确认图像101缺失的情况下，通过对该图像显示框107的图像追加图标121进行操作，来转换为图12所示的候选显示状态的时间线画面。

在显示于确认状态的时间线画面的确认图像101有误或者确认图像101缺失的情况下，该候选显示状态的时间线画面(候选选择画面)除了显示确认图像101以外，还将可能拍进了当作跟踪对象的人物的图像作为候选图像进行显示以供监控人员选择，由此能够变更有误的确认图像101，还能够针对确认图像101缺失的时刻追加确认图像101。

此外，在该候选显示状态的时间线画面中再次操作候选显示按钮102、图像追加图标121时，返回到确认状态的时间线画面。

该候选显示状态的时间线画面与确认状态的时间线画面(参照图9)大致相同，但在候选图像显示部97中将作为候选图像的缩略图像122进行一览显示。此外，在该候选显示状态的时间线画面中，在与候选图像对应的确认图像101的图像显示框107中，用规定的显示颜色(例如黄色)来显示表示选择状态的框图像129。

在候选图像显示部97设置有上级的第一候选显示栏123、中级的第二候选显示栏124以及下级的第三候选显示栏125，这些候选显示栏123、124、125以排列的方式显示缩略图像122。

在此，在本实施方式中，如图13所示那样将拍摄到在指定作为跟踪对象的人物时选择出的图像(跟踪对象指定图像)的摄像机1设为起点，根据摄像机间追踪信息依次确定拍摄到当作跟踪对象的人物的摄像机1。此时，依次重复进行从通过存在合作关系的摄像机1的摄像机内追踪而追踪到的人物中选择关联得分最高的人物、即为同一人物的可能性最高的人物的处理，并将选择出的人物的确认图像101显示于时间线画面。

在此，当存在显示于时间线画面的确认图像101有误的摄像机1时，将在作为该变更对象的摄像机1的最近处被确定为确认图像101是无误的确认图像101的摄像机1(已确定最近摄像机)、即在紧挨作为变更对象的摄像机1之前或紧接作为变更对象的摄像机1之后追踪到当作跟踪对象的人物的摄像机1作为基准，将通过与该摄像机1存在合作关系的摄像机1的摄像机内追踪而追踪到的人物的缩略图像122(候选图像)显示于时间线画面。

此时，在第一候选显示栏123中显示通过与已确定最近摄像机存在合作关系的摄像机1的摄像机内追踪而追踪到的人物中的、除确认图像101的人物以外关联得分为规定的阈值以上的人物的缩略图像122。在此，在该人物存在多个的情况下，将缩略图像122以按关联得分从高到低的顺序从左到右沿横向排成一列的方式显示。

另外，在第二候选显示栏124中显示通过与已确定最近摄像机存在合作关系的摄像机1的摄像机内追踪而追踪到的人物中的关联得分小于规定的阈值的人物的缩略图像122。在此，在该人物存在多个的情况下，将缩略图像122以按关联得分从高到低的顺序从左到右沿横向排成一列的方式显示。

另外，在第三候选显示栏125中显示通过已确定最近摄像机的摄像机内追踪而追踪到的人物中的在时间上接近的人物、即在被确定为跟踪对象的人物的追踪期间的前后追踪到的人物的缩略图像122。例如，当人物进入厕所时，摄像机内追踪中断，但当人物从厕所出来时，摄像机内追踪重新开始，此时，通过摄像机内追踪，有时不会将进入厕所的人物与从厕所出来的人物关联为同一人物，在摄像机内追踪期间变为他人。这样，在当作跟踪对象的人物没有从已确定最近摄像机的摄影区域退出而作为他人被追踪的情况下，在通过已确定最近摄像机的摄像机内追踪而追踪到的人物中存在当作跟踪对象的人物，将这样的人物的缩略图像122显示于第三候选显示栏125。

另外，如图14所示，当时间线画面中应该显示的时刻的确认图像101缺失时，将在该确认图像101缺失的时刻的最近处被确定为确认图像101是无误的确认图像101的摄像机(已确定最近摄像机)、即紧挨作为追加对象的摄像机1之前或紧接作为追加对象的摄像机1之后追踪到当作跟踪对象的人物的摄像机1作为基准，将通过与该摄像机1存在合作关系的摄像机1的摄像机内追踪而追踪到的人物的缩略图像122(候选图像)显示于时间线画面。

此时，不存在关联得分为规定的阈值以上的人物，因此在第一候选显示栏123中不显示缩略图像122。另一方面，第二候选显示栏124和第三候选显示栏125与图13所示的情况相同。

这样，在第一候选显示栏123中显示当作跟踪对象的人物的可能性高的人物的缩略图像，在第二候选显示栏124中显示当作跟踪对象的人物的可能性不太高的人物的缩略图像，在第三候选显示栏125中显示可能是例外地当作跟踪对象的人物的人物的缩略图像。因此，按上级的第一候选显示栏123、中级的第二候选显示栏124、下级的第三候选显示栏125的顺序从上到下按顺序浏览缩略图像122，由此能够有效地找到当作跟踪对象的人物的缩略图像122。

另外，如图12所示，在该候选图像显示部97中，通过与人物一览模式下的人物检索画面(参照图6)同样地对缩略图像122进行鼠标悬停操作，来将缩略图像122进行间除再现。另外，通过对缩略图像122进行鼠标悬停操作来显示时刻信息的工具提示条130。

另外，在候选图像显示部97设置有纵滚动条126和横滚动条127。通过操作纵滚动条126，能够使候选显示栏123、124、125以沿纵向滑动的方式显示，通过操作横滚动条127，能够使候选显示栏123、124、125以沿横向滑动的方式显示。

另外，在该候选显示状态的时间线画面中设置有特征限定指定部50。该特征限定指定部50用于选择是否进行基于特征信息的限定，通过进行勾选复选框81的操作来实施基于特征信息的限定，在候选图像显示部97仅显示外观特征与当作跟踪对象的人物相似的人物的缩略图像122。

在该候选显示状态的时间线画面中，在显示于候选图像显示部97的缩略图像122中存在适当的候选图像、即发现拍进了当作跟踪对象的人物的缩略图像122的情况下，监控人员进行选择该缩略图像122的操作(点击)。

于是，在追踪信息修正部38(参照图3)中进行以下处理：修正追踪信息，以使在候选显示状态的时间线画面中选择出的缩略图像122(候选图像)所对应的人物与在人物检索画面(参照图6、图7)中被指定为跟踪对象的人物相对应。然后，在反映了修正该追踪信息后的结果的状态下，使确认状态的时间线画面(参照图9)显示于监视器7。

在该确认状态的时间线画面中反映修正追踪信息后的结果，即在确认状态的时间线画面中用与在候选显示状态的时间线画面中选择出的缩略图像122对应的摄像机图像替换作为有误的确认图像101被选择出的确认图像101来进行显示。另外，随着替换有误的确认图像101，有时使其前后的确认图像101也变更。

即，在追踪信息修正部38中进行将与缩略图像122(候选图像)对应的人物设为起点来依次针对每个摄像机1选择关联得分最高的人物的处理，在此处选择出的人物不同于与确认图像101对应的人物的情况下，发生人物的替换，与之相应地变更确认图像101。另外，在追踪信息修正部38中修正追踪信息时，从对象中排除由跟踪对象设定部32设定的人物、与由监控人员进行了确定操作的确认图像101对应的人物以及与替代了有误的确认图像101的候选图像对应的人物，因此不会变更与这些人物有关的确认图像101。

另外，在候选图像显示部97设置有手动检索按钮128。在显示于候选显示状态的时间线画面的候选图像中不存在适当的候选图像、即未发现当作跟踪对象的人物的缩略图像122的情况下，通过选择手动检索按钮128来转换为图15、图16所示的追加指定状态的人物检索画面(参照图1)。

接着，对追加指定状态的人物检索画面进行说明。图15是表示人物一览模式下的追加指定状态的人物检索画面的说明图。图16是表示摄像机一览模式下的追加指定状态的人物检索画面的说明图。

该追加指定状态的人物检索画面(跟踪对象检索画面)用于在显示于候选显示状态的时间线画面(参照图12)的缩略图像122中不存在适当的缩略图像的情况下显示与有误的确认图像101对应的期间的缩略图像65、摄像机图像71来找出当作跟踪对象的人物。另外，该追加指定状态的人物检索画面用于在确认状态的时间线画面(参照图9)中显示与缺失的确认图像101对应的期间的缩略图像65、摄像机图像71来找出当作跟踪对象的人物。

如图15所示，人物一览模式下的追加指定状态的人物检索画面与初始指定状态的人物检索画面(参照图6)大致相同，但摄像机显示栏67的顺序与初始指定状态的人物检索画面不同，在最上方显示与已确定最近摄像机存在合作关系的摄像机1，接下来显示已确定最近摄像机。按摄像机编号显示其它摄像机。由此，通过优先浏览与已确定最近摄像机存在合作关系的摄像机1的图像，能够有效地找到当作跟踪对象的人物的图像。

另外，在该人物一览模式下的追加指定状态的人物检索画面中，在摄像机显示栏67中显示框图像131。根据情况，用不同的显示颜色显示该框图像131。

例如，在确认状态的时间线画面(参照图9)中进行了确认图像101的变更操作的情况下、即对有误的确认图像101的候选显示按钮102进行了操作的情况下，在已确定最近摄像机的摄像机显示栏67中显示红色的框图像131。另外，在确认状态的时间线画面中进行了确认图像101的追加操作的情况下、即对空白状态的图像显示框107的图像追加图标121进行了操作的情况下，在已确定最近摄像机的摄像机显示栏67中显示蓝色的框图像131。另外，在与已确定最近摄像机存在合作关系的摄像机1的摄像机显示栏67中显示黄色的框图像131。

如图16所示，摄像机一览模式下的追加指定状态的人物检索画面与初始指定状态的人物检索画面(参照图7)大致相同，但在摄像机图像71中显示框图像132。关于该框图像132，与人物一览模式下的人物检索画面(参照图15)同样地，针对作为基准的已确定最近摄像机以及与该已确定最近摄像机存在合作关系的摄像机，用不同的显示颜色显示框图像132。另外，关于已确定最近摄像机，在进行了确认图像101的变更操作的情况下和进行了确认图像101的追加操作的情况下，用不同的显示颜色显示框图像132。

另外，在该追加指定状态的人物检索画面中，作为初始状态，显示与有误的确认图像101对应的期间、与缺失的确认图像101对应的期间的缩略图像65、摄像机图像71，但能够根据需要利用检索日期和时间指定部41来变更检索日期和时间。另外，在该追加指定状态的人物检索画面中，作为初始状态，优先显示与已确定最近摄像机存在合作关系的摄像机1、已确定最近摄像机，但能够根据需要利用检索摄像机指定部42使作为检索对象的摄像机1增加和减少。

如以上那样，作为在本申请中公开的技术的例示，说明了实施方式。然而，本公开的技术并不限定与此，也能够应用于进行了变更、替换、追加、省略等而得到的实施方式。另外，也能够将在上述的实施方式中说明的各构成要素进行组合来设为新的实施方式。

例如，在上述实施方式中，对超市等零售商店的例子进行了说明，但也能够应用于家庭餐厅等餐馆等除零售商店以外的业务形式的商店，还能够应用于事务所等除商店以外的设施。

另外，在上述实施方式中，作为移动体，说明了跟踪人物的例子，但也能够是跟踪除人物以外的移动体、例如汽车、自行车等车辆的结构。

另外，在上述实施方式中，对如图1和图3所示那样使摄像机内追踪处理装置4进行摄像机内追踪处理、使pc3进行摄像机间追踪处理和跟踪辅助处理的例子进行了说明，但也可以设为使pc3也进行摄像机内追踪处理的结构。另外，也能够是在摄像机1设置摄像机内追踪处理部的结构。另外，也能够用与pc3不同的追踪处理装置构成摄像机间追踪处理部22的全部或一部分。

另外，在上述实施方式中，如图2所示那样将摄像机1设为视角被限定的箱型摄像机，但并不限于此，也能够使用能够进行大范围的摄影的全方位摄像机。

另外，在本实施方式中，使设置于商店的装置进行摄像机内追踪处理和跟踪辅助处理，但也可以使如图1所示那样设置于本部的pc11、构成云计算系统的云计算机12进行所需的这些处理。另外，也可以利用多个信息处理装置来分担所需的处理，经由ip(internetprotocol：互联网协议)网络、lan(localareanetwork：局域网)等通信介质或硬盘、存储卡等存储介质在多个信息处理装置之间传送信息。在该情况下，跟踪辅助系统由分担所需的处理的多个信息处理装置构成。

特别是在包括云计算机12的系统结构中，优选的是，除了能够使设置于商店、本部的pc3、pc11显示所需的信息以外，还能够在与云计算机12进行网络连接的智能手机、平板式终端等便携式终端13上显示所需的信息，由此除了能够在商店、本部确认所需的信息以外，还能够在外出目的地等任意的场所确认所需的信息。

另外，在上述实施方式中，在商店设置用于存储摄像机1的摄影图像的记录器2，但也可以是，在使设置于本部的pc11、云计算机12进行跟踪辅助所需的处理的情况下，将摄像机1的摄影图像发送到本部、云计算系统的运营设施等，并在设置于此处的装置中存储摄像机1的摄影图像。

产业上的可利用性

本公开所涉及的跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法具有以下效果：能够有效地进行用于确认当作跟踪对象的移动体的追踪结果是否有误的作业，并且能够在移动体的追踪结果有误的情况下通过简单的操作来修正追踪信息，特别是能够有效地进行监控人员找到拍进了作为跟踪对象的移动体的图像的作业，作为将图像存储单元中存储的多个摄像机各自的摄影图像显示于显示装置来辅助监控人员进行的跟踪作为跟踪对象的移动体的作业的跟踪辅助装置、跟踪辅助系统以及跟踪辅助方法等是有用的。

附图标记说明

1：摄像机；2：记录器(图像存储单元)；3：pc(跟踪辅助装置)；4：摄像机内追踪处理装置；6：输入设备；7：监视器；11：pc；12：云计算机；13：便携式终端；21：追踪信息存储部；26：特征限定部；27：缩略图生成部；28：图像再现部；29：画面生成部；32：跟踪对象设定部；33：跟踪对象追加设定部；35：关联得分计算部(评价值计算部)；36：初始追踪信息生成部；37：候选选择部；38：追踪信息修正部；39：确认图像呈现部；40：候选图像呈现部。