信息处理装置、信息处理系统、信息处理方法和存储介质与流程

本发明涉及一种信息处理装置、系统、信息处理方法和存储介质。

背景技术：

在用于监视等的用途的摄像装置中，需要更广泛的监视。因此，日本特开2005-192057提出了一种对由多个摄像装置拍摄的图像进行合成并生成摄像装置周围360度的全景图像的摄像装置。

另一方面，在用于监视等的用途的一些摄像装置中，可以实现对拍摄图像内设置的区域进行预定处理的功能。例如，可以实现进行用于判断人是否已经通过设置区域的处理的功能或者进行用于检测设置区域中有多少人的处理的功能。

例如，在进行用于检测设置区域内的人数的处理的情况下，需要从设置区域的图像中识别人的形状。然而，在日本特开2005-192057公开的摄像装置生成的全景图像中，在合成为全景图像的图像之间的边界处的图像之间可能发生位置偏移。因此，在人位于发生位置偏移的部分中的情况下，可能无法从设置区域的图像中正确地识别人的形状。

如上所述，在被设置为预定处理的对象的区域包括可能发生位置偏移的部分的情况下，可能无法适当地进行预定处理。在这种情况下，需要改变摄像装置的视角或重新设置要作为预定处理的对象的区域。因此，如果被设置为预定处理的对象的区域包括可能发生位置偏移的部分的情形出现，则存在使得用户能够更容易地识别该情形的需求。

技术实现要素：

本发明的一种信息处理装置，包括：设置单元，用于在合成了通过多个摄像单元所拍摄的多个图像的合成图像上设置对象区域，所述对象区域是要作为预定处理的对象的区域；以及显示控制单元，用于在所述设置单元所设置的所述对象区域中包含了所述合成图像中的所述多个图像中所包括的图像之间的边界的情况下，在显示单元上进行预定显示处理。

本发明的一种信息处理系统，包括：设置单元，用于在合成了通过多个摄像单元所拍摄的多个图像的合成图像上设置对象区域，所述对象区域是要作为预定处理的对象的区域；以及显示控制单元，用于在所述设置单元所设置的所述对象区域中包含了所述合成图像中的所述多个图像中所包括的图像之间的边界的情况下，在显示单元上进行预定显示处理。

本发明的一种信息处理装置执行的信息处理方法，所述信息处理方法包括：设置步骤，用于在合成了通过多个摄像单元所拍摄的多个图像的合成图像上设置对象区域，所述对象区域是要作为预定处理的对象的区域；以及显示控制步骤，用于在所述设置步骤所设置的所述对象区域中包含了所述合成图像中的所述多个图像中所包括的图像之间的边界的情况下，在显示单元上进行预定显示处理。

本发明的一种非暂时性存储介质，其包括用于使计算机用作根据上述的信息处理装置的各单元的程序。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出信息处理系统的系统结构的示例的图。

图2a和图2b是示出摄像装置等的硬件结构的示例的图。

图3是示出摄像装置的一般布置的示例的图。

图4是示出合成图像的示例的图。

图5是示出合成图像的示例的图。

图6是示出由信息处理系统进行的处理的示例的流程图。

图7是示出合成图像的示例的图。

图8是示出合成图像的示例的图。

图9是示出由信息处理系统进行的处理的示例的流程图。

图10是示出由信息处理系统进行的处理的示例的流程图。

具体实施方式

现在将根据附图来详细描述本发明的优选实施例。

第一实施例

图1是示出本实施例的信息处理系统的系统结构的示例的图。信息处理系统包括摄像装置100和客户端装置101。摄像装置100和客户端装置101经由网络102可通信地彼此连接。摄像装置100是包括多个摄像单元、并且对通过多个摄像单元拍摄的图像进行合成以生成比通过单个摄像单元拍摄图像的情况更宽的角度的图像的摄像装置。客户端装置101是用于向摄像装置100发送用于控制摄像装置100的各种命令的诸如个人计算机(pc)、服务器装置或平板装置等的信息处理装置。

网络102是诸如因特网、无线lan或有线lan等的网络。此外，客户端装置101可以经由网络102向摄像装置100供电。

图2a是示出摄像装置100的硬件结构的示例的图。摄像装置100包括cpu201、主存储装置202、辅助存储装置203、网络i/f204和摄像单元205。这些组件经由系统总线206可通信地彼此连接。

cpu201是控制摄像装置100的中央处理单元。主存储装置202是用作cpu201的工作区域或数据的临时存储区域等的存储装置。主存储装置202通过使用诸如随机存取存储器(ram)等的存储介质来实现。辅助存储装置203是用于存储各种设置信息、各种程序或与由摄像装置100等拍摄的图像有关的信息的存储装置。辅助存储装置203通过使用诸如只读存储器(rom)、硬盘驱动器(hdd)或固态驱动器(ssd)等的存储介质来实现。

网络i/f204是用于经由网络102与诸如客户端装置101等的外部装置通信的接口。摄像单元205是包括诸如ccd传感器或cmos传感器等的摄像装置以及透镜等并且拍摄周围的摄像单元。摄像装置100包括多个摄像单元205。

图2b是示出客户端装置101的硬件结构的示例的图。客户端装置101包括cpu211、主存储装置212、辅助存储装置213、输入i/f214、输出i/f215和网络i/f216。这些组件经由系统总线217可通信地彼此连接。

cpu211是用于控制客户端装置101的中央处理单元。主存储装置212是用作cpu211的工作区域或数据的临时存储区域等的存储装置。主存储装置212通过使用诸如ram等的存储介质来实现。辅助存储装置213是用于存储各种设置信息、各种程序、与由摄像装置100等拍摄的图像有关的信息、或者与摄像装置100的控制命令有关的信息等的存储装置。辅助存储装置213通过使用诸如rom、hdd或ssd等的存储介质来实现。

输入i/f214是用于连接到诸如鼠标、键盘或触摸屏中的操作单元等的输入装置的接口。cpu211经由输入i/f214从连接到输入i/f214的输入装置接受输入。输出i/f215是用于连接到诸如监视器、显示器、扬声器或触摸屏中的显示单元等的输出装置的接口。cpu211经由输出i/f215将信息输出至连接到输出i/f215的输出装置。网络i/f216是用于经由网络102与诸如摄像装置100等的外部装置通信的接口。

图3是示出摄像装置100的一般布置的示例的图。

本实施例的摄像装置100包括如图3所示放射状地布置的多个摄像单元205。夹在从图3所示的各摄像单元205放射状地延伸的两条虚线之间的各范围示出摄像单元205的视野。摄像装置100通过对由各个摄像单元205拍摄的图像进行合成来生成具有比由单个摄像单元拍摄的图像更宽的角度的图像(例如，全景图像等)。相邻的摄像单元205被布置成具有重叠的拍摄范围。摄像装置100针对摄像单元205的拍摄范围的重叠区域进行图像的合成处理。

图4是示出由摄像装置100生成的合成图像的示例的图。图4的合成图像400是通过摄像装置100对由四个摄像单元205拍摄的图像进行合成而生成的合成图像。合成边界402各自是通过摄像单元205拍摄的图像之间的合成图像400中的边界。合成图像400中的合成边界402的各位置是可能发生位置偏移的位置。在图4的示例中，合成边界402的数量是合成边界402(a)至402(c)这三个，但是可以根据合成时要使用的图像的数量而改变。例如，如图4的示例中所示，在水平布置并合成图像时并且在对n个图像进行合成时，合成边界402的数量是n-1。

例如，在客户端装置101的cpu211将用于指示生成合成图像400的命令发送到摄像装置100的情况下，摄像装置100的cpu201通过多个摄像单元205拍摄图像，对拍摄图像进行合成，并生成合成图像400。然后，cpu201将生成的合成图像400发送到客户端装置101。例如，cpu211使连接到输出i/f215的监视器显示合成图像400。这使得用户能够在视觉上识别显示在监视器上的合成图像400。此外，与合成图像400一起，cpu201向客户端装置101发送表示各合成边界402存在于合成图像400中的哪个位置的信息。cpu211在监视器上显示合成图像400，并基于与合成图像400一起接收到的与合成边界402的位置有关的信息来在监视器上显示的合成图像400上显示各个合成边界402。在本实施例中，cpu211通过虚线显示各个合成边界402，但是可以通过诸如点划线等的其它显示形式来显示各个合成边界402。此外，cpu211可以不显示各个合成边界402。

例如，用户可以通过使用连接到输入i/f214的鼠标进行拖动操作，来在显示在监视器上的合成图像400内的任何位置处以任意大小指定要作为预定处理的对象的区域。例如，cpu211基于通过连接到输入i/f214的鼠标的用户操作，接受对要作为预定处理的对象的区域的指定，并将由所接受的指定表示的合成图像400内的区域设置为要作为预定处理的对象的区域。图4的区域401是要作为预定处理的对象的设置区域。

在图4的示例，诸如由于拍摄的范围彼此不重叠等，因此图像合成不成功，并且在合成图像400的合成边界402(c)上存在的被摄体403处发生位置偏移。

图5是示出由摄像装置100生成的合成图像的示例的图。此外，图6是示出信息处理系统的示例的流程图。下面将通过使用图5和6来描述由本实施例的信息处理系统进行的处理的示例。在本实施例中，cpu211通过虚线在连接到输出i/f215的监视器上显示的合成图像400上显示各个合成边界402。

将描述图6的处理。

在s601中，cpu211基于通过连接到输入i/f214的输入装置的用户操作来将区域500设置为对合成图像400的预定处理的对象，并且将区域501设置为对合成图像400的另一处理的对象。在本实施例中，预定处理例如是利用预定对象的形状的处理，诸如通过从该区域检测人的形状来检测区域内的人数的处理等。虽然在本实施例中预定对象是人，但是预定对象可以是其它对象，诸如汽车、动物或货物等。此外，在本实施例中，另一处理是不利用预定对象的形状的处理，诸如基于区域内的图像的改变来检测人的通过的处理等。区域500是作为预定处理的对象的区域的对象区域的示例。图5示出在图4所示的合成图像400上设置作为预定处理的对象的区域500和作为另一处理的对象的区域501的状态。

在s602中，cpu211选择在合成图像400内设置的区域(区域500和区域501)之一作为所选区域。

在s603中，cpu211判断所选区域是否是利用人的形状的处理的对象。如果所选区域是利用人的形状的处理的对象，则cpu211进入s604的操作，以及如果所选区域不是利用人的形状的处理的对象，则cpu211进入s606的操作。

在s604中，cpu211判断各个合成边界402是否与所选区域重叠。如果合成边界402中的任何一个与所选区域重叠，则cpu211进入s605的操作，以及如果合成边界402都不与所选区域重叠，则cpu211进入s606的操作。

在s605中，cpu211对连接到输出i/f215的监视器进行预定的显示处理。这使得cpu211能够向用户呈现所选区域可能包括可能发生位置偏移的部分的合成边界402。在本实施例中，cpu211通过将在s604中判断为与所选区域重叠的合成边界402的显示形式从虚线更新为实线，来进行突出显示与所选区域500重叠的合成边界402的显示处理。图5示出将与区域500重叠的合成边界402(a)的显示形式更新为实线的状态。这使得用户能够更容易地在视觉上识别出设置区域与合成边界402重叠。此外，用户能够更容易地识别出被设置为利用人的形状的处理的对象的区域包括可能发生位置偏移的合成边界402。s605的操作是显示控制处理的示例。

在用户识别出被设置为利用人的形状的处理的对象的区域包括合成边界402的情况下，用户可以采取以下动作。也就是说，例如，用户可以通过客户端装置101指示摄像装置100改变摄像单元205的各视角，使得被设置为利用人的形状的处理的对象的区域不包括合成边界402。图7示出合成图像400，其中摄像单元205的视角已经改变，使得被设置为利用人的形状的处理的对象的区域不包括合成边界402。可以看出，区域500不与合成边界402重叠。此外，例如，用户可以通过客户端装置101将被设置为利用人的形状的处理的对象的区域的位置改变为不包括合成边界402的位置。

在s606中，cpu211确定为不改变合成边界402的显示形式。

在s607中，cpu211判断是否已对合成图像400内设置的所有区域进行了s603至s606的操作。如果cpu211判断为已经对合成图像400内设置的所有区域进行了s603至s606的操作，则图6的处理结束。如果cpu211判断为在合成图像400内设置的区域中存在尚未进行s603至s606的操作的区域，则处理进入s602的操作。

在本实施例中，在s605中，cpu211进行用于通过以实线的显示形式来显示表示与设置区域重叠的合成边界402的线、由此突出显示该线的显示处理。然而，cpu211可以进行用于通过使用与表示其它合成边界402的线的颜色不同的预定颜色(例如，红色)来显示表示与设置区域重叠的合成边界402的线、由此突出显示关注的合成边界402的显示处理。此外，为了突出显示合成边界402，cpu211可以使表示与设置区域重叠的合成边界402的虚线闪烁，以突出显示关注的合成边界402。

此外，在本实施例中，虽然预先通过虚线显示合成边界402，但是可以不预先显示表示合成边界402的线。在这种情况下，例如，cpu211可以在s605中进行用于显示表示与被设置为利用人的形状的处理的对象的区域重叠的合成边界402的线(例如，直线或虚线等)的显示处理。此外，cpu211可以在s605中进行以下处理以突出显示合成边界402。也就是说，cpu211指示摄像装置100将用于拍摄要突出显示的合成边界402的两个摄像单元205的曝光值分别更新为不同的值。曝光值是表示基于光圈值和曝光时间所确定的曝光水平的指标。cpu211从摄像装置100获取合成了通过包括具有更新后的曝光值的摄像单元205的多个摄像单元205拍摄的图像的合成图像400。然后，cpu211可以在连接到输出i/f215的监视器上显示所获取到的合成图像400。由此，亮度不同的图像以夹着要突出显示的合成边界402的方式被布置在监视器上，这使得用户能够在视觉上识别哪个合成边界402与设置区域重叠。

在本实施例中，虽然cpu211在s606中确定为不改变合成边界402的显示形式，但是可以删除表示合成边界402的虚线。

如上所述，在本实施例中，在被设置为预定处理的对象的区域与合成边界402重叠的情况下，信息处理系统在连接到输出i/f215的监视器上进行预定的显示处理。也就是说，信息处理系统可以向用户呈现被设置为预定处理的对象的区域包括作为可能发生位置偏移的部分的合成边界402。这使得用户能够更容易地识别出被设置为预定处理的对象的区域包括可能发生位置偏移的部分。

第二实施例

在第一实施例中，在被设置为预定处理的对象的区域与合成边界402重叠的情况下，信息处理系统进行用于将表示重叠部分中的合成边界402的线从虚线改变为实线的显示处理。以这种方式，信息处理系统进行用于改变表示重叠部分中的合成边界402的线的显示形式的显示处理，由此向用户呈现被设置为预定处理的对象的区域与合成边界402重叠。

如图3所示，摄像单元205的视野对于距摄像单元205更远的区域而言更宽。因此，对于距摄像单元205更远的区域，不同摄像单元205的视野更可能彼此重叠。因此，被摄体和用于拍摄被摄体的摄像单元205之间的距离(以下称为被摄体距离)越短，则合成图像400的合成边界402中的位置偏移发生的可能性越高，并且被摄体距离越长，则该位置偏移发生的可能性越低。也就是说，即使在相同的合成边界402上，在合成边界402上存在的被摄体的被摄体距离大于特定值的情况下，假设不会发生位置偏移，或者如果发生位置偏移，则可能小到足以不影响对象(诸如人等)的形状的检测。因此，在本实施例中，在被设置为预定处理的对象的区域与合成边界402重叠并且该区域中存在的被摄体的被摄体距离小于或等于预定的阈值的情况下，信息处理系统进行预定的显示处理。

本实施例的信息处理系统的系统结构与第一实施例的系统结构相同。此外，本实施例的信息处理系统的系统组件的硬件结构与第一实施例相同。

图8是示出由摄像装置100生成的合成图像的示例的图。图9是示出由本实施例的信息处理系统进行的处理的示例的流程图。将通过使用图8和9来描述本实施例的处理的示例。这里假设图像之间的合成边界预先由虚线显示。

图9的s601至s603、s606和s607的操作与图6相同。

在s604中，cpu211判断各个合成边界402是否与所选区域重叠。如果cpu211判断为合成边界402中的任何一个与所选区域重叠，则cpu211移动至s901的操作，以及如果cpu211判断合成边界402都不与所选区域重叠，则cpu211移动至s606的操作。

在s901中，cpu211确定所选区域内存在的被摄体的被摄体距离。例如，cpu211使用飞行时间(tof)方式来确定所选区域内存在的被摄体的被摄体距离。例如，cpu211通过包括在摄像单元205中的发光单元、利用光照射被摄体，并且经由包括在摄像单元205中的光接收单元接收从被摄体反射的光。然后，cpu211基于当利用光照射被摄体的时刻与接收到从被摄体反射的光的时刻之间的差来确定被摄体与摄像单元205之间的距离。例如，cpu211计算用于拍摄被摄体的各个摄像单元205的被摄体距离，并将被摄体距离的平均值确定为被摄体距离。可选地，cpu211可以从用于拍摄被摄体的摄像单元205中选择一个摄像单元205，来计算所选的摄像单元205的被摄体距离，并将计算出的被摄体距离确定为最终被摄体距离。

然后，cpu211判断所确定的被摄体距离是否小于或等于预定阈值。如果cpu211判断为所确定的被摄体距离小于或等于预定阈值，则cpu211进入s605的操作，以及如果cpu211判断为所确定的被摄体距离大于预定阈值，则cpu211进入s606的操作。

在s605中，cpu211通过进行用于改变显示形式以增加表示与所选区域重叠的合成边界402的线的宽度的显示处理来呈现所选区域包括合成边界402。图8示出表示合成边界402(a)的虚线宽度增加的状态。可以看出，表示合成边界402(a)的虚线比表示合成边界402(b)和402(c)的虚线宽。此外，cpu211可以在s605中进行与第一实施例相同的操作。

如上所述，在本实施例中，在被设置为预定处理的对象的区域与合成边界402重叠并且设置区域内的被摄体的被摄体距离包括在小于或等于阈值的范围内的情况下，信息处理系统进行预定的显示处理。这样，在本实施例中，在假设不存在位置偏移的影响的情况下，信息处理系统不进行用于呈现作为预定处理的对象的区域包括可能发生位置偏移的合成边界402的处理。这使得信息处理系统能够减少由不必要的处理引起的cpu211等的使用。

在本实施例中，在被设置为预定处理的对象的区域与合成边界402重叠并且设置区域内的被摄体的被摄体距离包括在小于或等于阈值的范围内的情况下，cpu211进行预定的显示处理。然而，在被设置为预定处理的对象的区域与合成边界402重叠的情况下，cpu211可以在连接到输出i/f215的监视器上进行以下显示处理。也就是说，cpu211可以通过与如s901所示的处理相同的处理来确定设置区域内的被摄体的被摄体距离，并且进行用于将与设置区域重叠的合成边界402的宽度改变为与所确定的被摄体距离相对应的宽度的显示处理。例如，所确定的被摄体距离越小，则cpu211可以将与设置区域重叠的合成边界402的宽度改变为越大的宽度。这使得用户能够在视觉上识别在合成边界上发生的位置偏移的程度。此外，在设置区域与合成边界402重叠并且设置区域内的被摄体的被摄体距离包括在小于或等于阈值的范围内的情况下，cpu211可以进行相同的显示处理。

第三实施例

在第一实施例中，在被设置为预定处理的对象的区域与合成边界402重叠的情况下，信息处理系统将表示重叠部分上的合成边界402的线从虚线改变为实线。然而，在本实施例中，在被设置为预定处理的对象的区域与合成边界402重叠的情况下，信息处理系统在连接到输出i/f215的监视器上进行用于显示表示错误的信息的显示处理。

本实施例的信息处理系统的系统结构与第一实施例的系统结构相同。此外，本实施例的信息处理系统的系统组件的硬件结构与第一实施例相同。

图10是示出由本实施例的信息处理系统进行的处理的示例的流程图。图10的s601、s602和s607的操作与图6相同。

在s603中，cpu211判断所选区域是否是利用人的形状的处理的对象。如果所选区域是利用人的形状的处理的对象，则cpu211进入s604的操作，以及如果所选区域不是利用人的形状的处理的对象，则cpu211结束图10的处理。

在s604中，cpu211判断各个合成边界402是否与所选区域重叠。如果合成边界402中的任何一个与所选区域重叠，则cpu211进入s1001的操作，以及如果合成边界402都不与所选区域重叠，则cpu211结束图10的处理。

在s1001中，cpu211在连接到输出i/f215的监视器上进行用于显示表示错误的信息的显示处理，由此向用户呈现被设置为预定处理的对象的区域与合成边界402重叠。例如，表示错误的信息是表示所选区域被设置在不合适位置的信息。表示错误的信息可以是例如字符串或图像等。例如，cpu211在连接到输出i/f215的监视器上显示表示错误的字符串。此外，cpu211可以向连接到输出i/f215的监视器显示用于确认是否尽管所选区域与合成边界402重叠但是也在不改变的情况下设置所选区域的弹出窗口。

如上所述，根据本实施例的处理，信息处理系统可以通过显示表示错误的信息来向用户呈现更详细的信息。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并进行程序的方法。

例如，上述信息处理系统的功能结构的一部分或全部可以在摄像装置100或客户端装置101中实现为硬件。

在第一实施例至第三实施例中，摄像装置100是包括多个摄像单元205的单个摄像装置。然而，摄像装置100可以是连接到多个摄像装置的诸如pc或服务器装置等的信息处理装置。在这种情况下，摄像装置100使用连接的多个外部摄像装置作为第一实施例至第三实施例中的摄像单元205。

在第一实施例至第三实施例中，信息处理系统在连接到输出i/f215的监视器上进行预定的显示处理。然而，信息处理系统可以在诸如连接到输出i/f215的触摸屏的显示单元等的其它显示装置上进行预定的显示处理。此外，信息处理系统可以通过连接到输出i/f215的屏幕投影器装置在外部屏幕上进行预定的显示处理。

在第一实施例至第三实施例中，客户端装置101进行图6、图9或图10的处理。然而，摄像装置100可以进行图6、图9或图10的处理。在这种情况下，摄像装置100进行以下处理。也就是说，摄像装置100生成合成图像400，然后将其发送到客户端装置101。例如，客户端装置101在连接到输出i/f215的监视器上显示接收到的合成图像400。用户使用连接到输入i/f214的鼠标等来指定作为预定处理的对象的区域或者作为另一处理的对象的区域等。客户端装置101将与指定区域有关的位置信息发送到摄像装置100。然后，摄像装置100基于所发送的位置信息来进行图6、图9或图10的s602的处理及后续操作。在s605中改变合成边界402的显示形式的情况下，摄像装置100将与改变后的显示形式有关的信息发送到客户端装置101，并指示客户端装置100在连接到输出i/f215的监视器上改变合成边界402的显示形式。此外，在s1001中，摄像装置100发送并由此将错误信息输出到客户端装置101，并指示客户端装置101在连接到输出i/f215的监视器上显示错误信息。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。