低的评价值。而且，以该评价值小为条件，来选择最佳的所述候选区域，基于该候选区域来决定所述副图像的配置位置。
[0039]据此，能够简单地以高精度搜索最佳的候选区域，从而能够高效且高精度地决定副图像的配置位置。
[0040]另外，第六发明为以下结构:所述副图像配置控制部检测所述对象区域的原图像中出现的运动体的朝向，基于该检测的结果来决定所述副图像的配置位置。
[0041]据此，用户通过观看监控影像中对象区域的原图像中照出的运动体的朝向，能够立即发现与对象区域对应的副图像，因此能够实现监视业务的进一步的高效化。
[0042]另外，第七发明为以下结构:所述副图像生成部生成将所述对象区域的原图像放大而得到的放大图像来作为所述副图像。
[0043]据此，将对象区域的原图像放大而得到的放大图像作为副图像叠加显示在监视影像上，因此能够详细地观察关注的区域中的运动体的状态。
[0044]另外，第八发明是一种监控系统，该监控系统生成使与在监视影像上设定的对象区域有关的副图像叠加显示在所述监视影像上而得到的监控影像，并使该监控影像显示于显示装置。该监控系统具有:照相机，其拍摄监视区域；多个信息处理装置；以及显示装置，其显示所述监控影像。并且，所述多个信息处理装置中的任一信息处理装置具有:对象区域设定部，其根据用户的操作输入，在所述监视影像上设定所述对象区域;滞留信息获取部，其观测所述监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息；副图像生成部，其生成所述副图像;副图像配置控制部，其基于由所述滞留信息获取部获取到的所述滞留信息，来控制所述副图像在所述监视影像上的配置位置；以及输出控制部，其基于由该副图像配置控制部决定的所述副图像的配置位置，来生成将所述副图像合成在所述监视影像上而得到的所述监控影像，并将所述监控影像输出到所述显示装置。
[0045]据此，与第一发明同样地，将与在监视影像上指定的区域有关的副图像配置于监视影像上的适当位置，副图像不会成为监视业务的妨碍，能够高效地完成监视业务。
[0046]另外，第九发明是一种监控方法，该监控方法使信息处理装置进行以下处理:生成使与在监视影像上设定的对象区域有关的副图像叠加显示在所述监视影像上而得到的监控影像，并使该监控影像显示于显示装置。该监控方法具备以下步骤:根据用户的操作输入，在所述监视影像上设定所述对象区域;观测所述监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息;生成所述副图像;基于所述滞留信息，来控制所述副图像在所述监视影像上的配置位置；以及基于通过该步骤决定的所述副图像的配置位置，来生成将所述副图像合成在所述监视影像上而得到的所述监控影像，并将所述监控影像输出到所述显示装置。
[0047]据此，与第一发明同样地，将与在监视影像上指定的区域有关的副图像配置于监视影像上的适当位置，副图像不会成为监视业务的妨碍，能够高效地完成监视业务。
[0048]下面，参照附图来说明本发明的实施方式。
[0049](第一实施方式)
[0050]图1是第一实施方式所涉及的监控系统的整体结构图。该监控系统是以超市等零售店铺等为对象而构建的，具有照相机1、记录器(影像存储装置)2以及PC(监控装置)3。
[0051]照相机I设置于店铺内的适当场所，通过照相机I对店铺内(监视区域)进行拍摄，由此得到的影像被存储于记录器2。
[0052]PC 3上连接有由店长等用户进行各种输入操作的鼠标等输入设备6以及显示监控画面的监视器(显示装置)7。通过监视器7所显示的监控画面，用户能够实时地浏览由照相机I拍摄得到的店铺内的影像，另外，能够浏览记录器2中录制的过去的店铺内的影像。
[0053]另外，在多个店铺中各自设置有照相机1、记录器2以及PC3，在对多个店铺进行综合的本部设置有PC 11，在PC 11中，能够实时地浏览由照相机I拍摄得到的店铺内的影像，另外，能够浏览记录器2中录制的过去的店铺内的影像，由此能够在本部确认店铺内的状况。
[0054]在本实施方式中，设置于店铺的PC3构成为对店铺内的人物、商品的状态进行监视的监控装置，店铺侧的用户、例如店长能够利用PC 3浏览由PC 3生成的监控影像，并且，该监控影像被发送到设置于本部的PC 11，本部侧的用户、例如对所负责的地域的各店铺进行指导、提议的主管等在PC 11中也能够浏览该监控影像，PC 3,PC 11构成为浏览监控影像的浏览装置。
[0055]接着，说明店铺中的照相机I的设置状况。图2是表示店铺中的照相机I的设置状况的俯视图。
[0056]在店铺内设置有商品展示架和收银台。顾客在商品展示架取得期望的商品后在收银台进行支付，此时，顾客从设置有商品展示架的商品展示区域侧进入收银台，当结账结束时从收银台退出。照相机I被设置成从正面拍摄进入收银台的顾客，由此，能够根据通过照相机I得到的监视影像来进行人物检测。此外，在店铺中，除此以外还将照相机I设置为对通过商品展示架之间的通路的顾客、在商品展示架的面前进行品评的顾客进行拍摄。
[0057]接着，说明由图1所示的PC3进行的处理的概要。图3A、图3B是表示图1所示的监视器7所显示的监控影像的说明图。图4是说明在由PC 3进行的处理中生成的滞留信息的说明图。图5是说明由PC 3进行的处理的概要的说明图。
[0058]如图3A、图3B所示，在由照相机I拍摄得到的监视影像上照出在收银台进行结算的人物，这些人物从入口侧、即远离照相机I的里侧进入收银台，从出口侧、即接近照相机I的面前侧退出，在收银台的周围形成以在收银台进行结算的人物为开头的队伍，在此成为人物滞留的状态。另外，在收银台的入口侧形成朝向收银台的人物的流动，在收银台的出口侧，形成已在收银台完成结算的人物朝向店铺的出入口等的人物的流动。
[0059]在本实施方式中，用户将对象区域指定为在监视影像上关注的区域的一部分，使将该对象区域的原图像放大而得到的放大图像以PinP方式显示在监视影像上。即，将放大图像作为副图像叠加显示在监视影像上。
[0060]在此，图3A是用户关注人物滞留的区域、将对象区域设定为该人物滞留的区域的一部分的情况。在该情况下，通过使将对象区域的原图像放大而得到的放大图像作为副图像显示，能够详细地观察对象区域内的人物的状态，但是，此时也需要对人物滞留的区域整体的人物的状态进行观察。因此，需要避开人物滞留的区域地配置副图像。因此，在本实施方式中，将副图像配置于与对象区域之间的、与人物的滞留状态有关的关联性低的区域、即人物流动的区域。
[0061]图3B是用户关注人物流动的区域、将对象区域设定为该人物流动的区域的一部分的情况。在该情况下，通过使将对象区域的原图像放大而得到的放大图像作为副图像显示，能够详细地观察对象区域内的人物的状态，但是，此时也需要对人物流动的区域整体的人物的状态进行观察。因此，需要避开人物流动的区域地配置副图像。因此，在本实施方式中，将副图像配置于与对象区域之间的、与人物的滞留状态有关的关联性低的区域、即人物滞留的区域。
[0062]这样，在本实施方式中，将副图像配置于与对象区域之间的、与人物的滞留状态有关的关联性低的区域，由此能够不受副图像干扰地观察与对象区域关联性高的区域、即用户所关注的区域整体。另外，在将副图像配置于与对象区域关联性低的区域的情况下，也期望将副图像配置成尽可能不遮住人物。因此，在本实施方式中，将副图像配置于人物少且与对象区域关联性低的区域。
[0063]另外，在本实施方式中，为了将副图像配置于与对象区域之间的、与人物的滞留状态有关的关联性低的区域，而观测监视影像中出现的人物的滞留状态，基于作为该观测的结果而得到的滞留信息来判定对象区域的滞留状态，根据该对象区域的滞留状态来搜索与对象区域关联性低的区域，决定副图像的配置位置。
[0064]在此，在本实施方式中，如图4所示，按将监视影像分割为格子状而得到的多个单元C(观测区域)的每个单元C来获取表示人物的滞留状况的滞留信息。在本实施方式中，作为每个单元C的滞留信息，获取每个单元C的滞留度(在图4所示的例子中，显示为BI?BlO这10个级)和每个单元C的滞留时间，该滞留度是在规定的观测期间内滞留于各单元C内的人物的人数，该滞留时间是在规定的观测期间内人物在各单元C内滞留的时间。然后，基于每个单元C的滞留信息(滞留度和滞留时间)来判定对象区域的滞留状态，另外，搜索与对象区域关联性低的区域。
[0065]此外，在图4中，为了说明表示监视影像内的滞留状况的滞留信息，记载了使滞留信息可视化的热度图图像，但是在将副图像叠加显示在监视影像上的情况下，该热度图图像并不显示于监控影像。另外，图4中记载了表示每个单元C的滞留度的热度图图像，但是能够同样地得到表示每个单元C的滞留时间的热度图图像。
[0066]另外，在本实施方式中，如图5所示，针对对象区域求出每个人物的滞留时间的均值、即平均滞留时间，基于该对象区域中的平均滞留时间来判定对象区域处于滞留状态和非滞留状态中的哪一种。通过将平均滞留时间与规定的阈值相比较来进行该滞留状态的判定。
[0067]另一方面，在决定副图像的配置位置时，在监视影像上设定候选区域，针对该候选区域来评价其与对象区域之间的、与滞留状态有关的关联性。此时，针对候选区域求出滞留度以及将每个人物的滞留时间相加而得到的总滞留时间，基于该候选区域中的滞留度和总滞留时间来评价与对象区域的关联性。
[0068]在此，首先，去除滞留度高的候选区域、即存在大量的人物的候选区域，限定于滞留度低的候选区域、即人物少的候选区域。然后，选择与对象区域关联性低的候选区域、即处于与对象区域的滞留状态相反的滞留状态的候选区域。具体地说，在对象区域处于滞留状态的情况下，选择滞留度低且总滞留时间短的候