摄像装置、摄像方法、显示装置和显示方法与流程

本发明涉及一种摄像装置、摄像方法、显示装置和显示方法。

背景技术：

传统上，作为用户改变摄像装置的拍摄区域的方式之一，使用利用摄像装置在过去拍摄的图像的方式。例如，日本特开2007-43505公开了如下技术：在显示单元上显示通过使用过去拍摄的图像所创建的全景图像，并且一旦用户选择了所显示的全景图像中的特定区域，则将拍摄区域改变为所选区域。日本特开2014-236313公开如下：在通过使用同一照相机拍摄同一区域的情况下，从过去的拍摄图像获取平摇角度、俯仰角度或变焦位置等，并且以与过去的拍摄图像相同的平摇角度等来进行拍摄。

在日本特开2007-43505和日本特开2014-236313的技术中，由于使用过去拍摄的图像，因此这些技术在减少负荷或电力方面是有用的，或者在用于比较某个过去时间和当前时间的同一拍摄区域的状态的用途中是有用的。然而，在要关注的对象是移动体的情况下，需要始终使用图像的最新状态，以在确认为移动体出现在特定区域之后改变拍摄区域。

然而，日本特开2007-43505和日本特开2014-236313不支持这种需求。因此，本发明的目的是在使得用户能够确认过去的拍摄区域的当前状态的同时使得能够改变摄像装置的拍摄区域。

技术实现要素：

根据本发明的一种摄像装置，包括：第一摄像单元，用于拍摄第一拍摄区域；第二摄像单元，用于拍摄所述第一拍摄区域的第二拍摄区域；保持单元，用于保持与所述第二摄像单元所拍摄的第二拍摄区域相对应的位置信息；输出单元，用于输出所述第一摄像单元所拍摄的拍摄图像中的与所述保持单元所保持的位置信息相对应的第二拍摄区域的切出图像；以及改变单元，用于在选择了所述输出单元所输出的多个切出图像之一的情况下，对所述第二摄像单元进行控制以拍摄与所选择的切出图像相对应的第二拍摄区域。

根据本发明的一种显示装置，包括：第一显示单元，用于在显示器上实时显示第一摄像单元所拍摄的第一拍摄区域的拍摄图像；第二显示单元，用于在所述显示器上实时显示第二摄像单元所拍摄的第二拍摄区域的拍摄图像，所述第二拍摄区域比所述第一拍摄区域窄；以及第三显示单元，用于从所述第一摄像单元所拍摄的拍摄图像中获取与所述第二摄像单元所拍摄的第三拍摄区域相对应的图像，并且在所述显示器上显示所获取到的图像。

根据本发明的一种摄像方法，包括以下步骤：通过使用第一摄像单元来拍摄第一拍摄区域；通过使用第二摄像单元来拍摄所述第一拍摄区域的第二拍摄区域；通过使用保持单元来保持与所述第二摄像单元所拍摄的第二拍摄区域相对应的位置信息；输出所述第一摄像单元所拍摄的拍摄图像中的与所述保持单元所保持的位置信息相对应的第二拍摄区域的切出图像；以及在选择了所输出的多个切出图像之一的情况下，对所述第二摄像单元进行控制以拍摄与所选择的切出图像相对应的第二拍摄区域。

根据本发明的一种显示方法，包括以下步骤：在显示器上实时显示第一摄像单元所拍摄的第一拍摄区域的拍摄图像；在所述显示器上实时显示第二摄像单元所拍摄的第二拍摄区域的拍摄图像，所述第二拍摄区域比所述第一拍摄区域窄；以及从所述第一摄像单元所拍摄的拍摄图像中获取与所述第二摄像单元所拍摄的第三拍摄区域相对应的图像，并且在所述显示器上显示所获取到的图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是摄像装置和ui显示单元的框图。

图2是示出ui显示单元的图。

图3是示出拍摄区域的改变方法的流程图。

图4a和图4b是示出拍摄区域的改变方法的图。

图5是示出ui显示单元的图。

图6是示出拍摄区域的改变方法的流程图。

图7a和图7b是示出拍摄区域的改变方法的图。

具体实施方式

现在将根据附图来详细描述本发明的优选实施例。

摄像系统

将参考图1来描述根据本发明第一实施例的摄像系统10。摄像系统10具有摄像装置100和经由ip网络130连接到摄像装置100的ui显示单元140。摄像装置100安装在房间的天花板或墙壁上。ui显示单元140是作为具有cpu、rom和ram的通用计算机的显示装置(客户端装置)。摄像装置100具有广角照相机110、平摇-俯仰-变焦照相机(ptz照相机)120、系统控制单元124和存储单元125。本实施例的摄像装置100是广角照相机110和ptz照相机120一体化的摄像装置。广角照相机110和ptz照相机120容纳在同一壳体中。在摄像装置100和ui显示单元140可以彼此通信的状态下，摄像装置100经由ip网络130有线或无线地连接到ui显示单元140。术语ui是用户界面的缩写。

广角照相机110包括由用于获取宽视角的图像的广角镜头等形成的拍摄光学系统111、摄像器件单元112和图像处理单元113。本实施例的广角照相机110不具有用于改变拍摄方向(平摇角度、俯仰角度)和变焦位置(视角)的部件。此外，本实施例的广角照相机110由单个照相机形成。广角照相机110具有比ptz照相机120的视角更宽的视角。广角照相机110拍摄预定的拍摄区域。

ptz照相机120包括由变焦透镜、调焦透镜或光圈机构等形成的拍摄光学系统121、摄像器件单元122、图像处理单元123、驱动控制单元126、变焦马达127、平摇马达128和俯仰马达129。ptz照相机120可以通过使用驱动控制单元126驱动拍摄光学系统121来调整焦点或光圈。此外，ptz照相机120可以通过驱动变焦马达127、平摇马达128和俯仰马达129来改变ptz照相机120的拍摄方向或视角等。也就是说，ptz照相机120可以改变拍摄区域。ptz照相机120在存储单元125中存储在拍摄区域改变之前所获得的与平摇角度、俯仰角度和变焦位置(视角)有关的信息。虽然ptz照相机120的视角比广角照相机110的视角窄，但是ptz照相机120可以通过驱动马达127、128和129来在广角照相机110的整个视角范围内改变拍摄区域。ptz照相机120拍摄由广角照相机110拍摄的预定拍摄区域内的拍摄区域。

系统控制单元124进行诸如照相机控制、图像的编码(代码化)、显示图像的生成、向存储单元125的存储、网络传送或广角照相机110的图像(数字ptz)的切出等的处理。系统控制单元124所进行的照相机控制包括广角照相机110的控制和ptz照相机120的控制。当切出来自广角照相机110的图像时，从来自显示在ui显示单元140上的广角照相机110的拍摄图像中指定特定区域，从而可以进行切出处理。系统控制单元124输出所切出的图像作为切出图像。系统控制单元124例如由cpu形成。系统控制单元124将广角照相机110所拍摄的拍摄图像发送到ui显示单元140。

存储单元125例如由rom和ram形成。例如，rom存储系统控制单元(cpu)124进行处理所需的程序等。cpu基于存储在rom中的程序来进行处理，从而实现摄像装置100的功能或处理(图3)等。注意，该程序等可以存储在外部存储器或可移动存储介质(未示出)中。ram是用于展开cpu所读出的程序并进行其处理的存储器装置。此外，作为临时存储器，ram还用作用于临时存储要进行各种处理的数据的存储区域。此外，存储单元125可以保持过去通过ptz照相机120观看的多个平摇-俯仰-变焦(ptz)位置信息。对于由ptz照相机120观看的位置，系统控制单元124提取在预定时间内没有移动的ptz位置，并且从驱动控制单元126获取此时的位置信息(平摇角度、俯仰角度、变焦倍率)。

ip网络130基于因特网协议来发送和接收数据。ui显示单元140例如是个人计算机或平板终端(或其显示单元)，并且具有输入/输出功能或通信功能。ui显示单元140向广角照相机110和ptz照相机120发送各种命令，诸如拍摄参数的改变或马达127至129各自的控制的指示、或视频流的开始等。该命令发送使ui显示单元140能够控制广角照相机110和ptz照相机120。摄像装置100响应于上述命令将响应或视频流发送到ui显示单元140。

图1所示的各个功能模块(图像处理单元113、图像处理单元123、系统控制单元124、驱动控制单元126)通过软件或硬件来实现。在通过软件来实现功能的情况下，将用于提供上述各个功能模块的功能的程序存储在存储单元125的rom中。所存储的程序被适当地读取到存储单元125的ram并由系统控制单元124的cpu执行，从而实现上述功能模块的功能。

另一方面，在通过硬件来实现功能的情况下，例如可以使用预定编译器根据用于实现各个功能模块的功能的程序来在fpga上自动产生专用电路。术语fpga是现场可编程门阵列的缩写。

此外，门阵列电路可以以与fpga相同的方式配置并且实现为硬件。此外，可以使用专用集成电路(asic)来实现。注意，图1所示的功能模块的结构是示例，并且多个功能模块可以形成单个功能模块，或者这些功能模块中的任何功能模块可以被划分为进行多个功能的模块。

ui显示单元

图2示出由系统控制单元124生成并显示在ui显示单元140上的图像201、202、204和205。ui显示单元140的显示画面200是用户使用的ui。ui显示单元140具有用于显示图像201、202、204和205的显示单元。图像201是由广角照相机110拍摄的区域的实时图像。图像202是由ptz照相机120拍摄的区域(拍摄区域208)的实时图像。

在本实施例中，广角照相机110的拍摄区域和ptz照相机120的平摇角度、俯仰角度和变焦(远摄、广角)位置彼此链接(相关、关联)。例如，一旦用户从ui显示单元140指定图像201内的区域203，则系统控制单元124驱动各个马达127至129，使得ptz照相机120基于与区域203链接的平摇角度、俯仰角度和变焦位置有关信息来拍摄区域203。该马达驱动使得能够改变ptz照相机120的拍摄区域。

图像204是如下的缩略图像：从广角照相机110当前拍摄的图像中切出以ptz照相机120的前一个姿势拍摄的拍摄区域206并显示拍摄区域206。图像205是如下的缩略图像：从广角照相机110当前拍摄的图像中切出以ptz照相机120的再前一个姿势拍摄的拍摄区域207并显示拍摄区域207。将在对拍摄区域206进行拍摄的情况下所获得的与ptz照相机120的平摇角度、俯仰角度和变焦位置有关的信息(拍摄信息)与缩略图像204链接并存储在存储单元125中。

将在对拍摄区域207进行拍摄的情况下所获得的与ptz照相机120的平摇角度、俯仰角度和变焦位置有关的信息与缩略图像205链接并存储在存储单元125中。拍摄区域(拍摄范围)203和206至208各自表示要从图像201切出的区域，因此可以被称为切出区域。此外，缩略图像204和205是切出图像。注意，系统控制单元124可以以与图像201重叠的方式显示与各个切出图像相对应的指引。在这种情况下，指引的线的颜色或显示形式可以针对存储单元125所保持的各个位置信息而不同，以提高可视性。

ptz照相机的拍摄区域的改变

将通过使用图3、图4a和图4b来描述在改变ptz照相机120的平摇角度、俯仰角度和变焦位置以拍摄过去拍摄区域的情况下的流程。如图4a所示，首先，系统控制单元124(图1)检测到用户通过使用指针401已选择缩略图像205(s301)。然后，系统控制单元124从存储单元125读出与缩略图像205链接并存储的与ptz照相机120的平摇角度、俯仰角度和变焦位置有关的信息(s302)。系统控制单元124向ptz照相机120的驱动控制单元126发送指示，以基于与平摇角度、俯仰角度和变焦位置有关的信息来驱动变焦马达127、平摇马达128和俯仰马达129(s303)。也就是说，系统控制单元124将各个马达127至129的驱动指示发送到驱动控制单元126，使得ptz照相机120拍摄区域207。

接着，在由广角照相机110拍摄的图像201上，系统控制单元124将所选择的缩略图像205的切出区域207改变为在图像选择之前已经由ptz照相机120拍摄的区域208(s304)。随后，系统控制单元124将在拍摄区域改变之前获得的与ptz照相机120的平摇角度、俯仰角度和变焦位置有关的信息以与图像(图2的图像202)链接的方式存储在存储单元125中(s305)。最后，系统控制单元124更新显示的缩略图像(s306)。具体地，由于图4a的图像202是“以前一个姿势拍摄的图像(最新图像)”，因此图像202被更新为图像204，并且由于图4a的图像204是“以再前一个姿势拍摄的图像”，因此图像204被更新为图像205。图4a的缩略图像205将被删除。在图4b中示出该状态。

以这种方式，在通过查看由广角照相机110拍摄的实时图像201(图4a)而确认当前状态之后，用户可以将ptz照相机120的拍摄区域改变为过去设置的拍摄区域207。(图4a的图像202已经改变为图4b的区域207的图像)。注意，虽然在上面的描述中在显示画面200中显示过去拍摄的拍摄区域的两个缩略图像(缩略图像204和205)，但是本实施例不限于这种显示形式。例如，可以仅在显示画面200中显示过去拍摄的拍摄区域的单个缩略图像，或者可以在显示画面200中显示过去拍摄的拍摄区域的三个或更多个缩略图像。

此外，在图4a中，在缩略图像204和205显示在显示画面200上的情况下，缩略图像204显示在缩略图像205的前层上。即，在图4a中，在存在多个缩略图像的情况下，在前层上显示在时间上更接近当前时间的缩略图像。本实施例不限于这种显示形式(显示顺序)。例如，在显示画面200上显示多个缩略图像的情况下的显示顺序可以使得能够在前层中显示已经被设置为拍摄区域较长时间的缩略图像。

切出图像位置的显示

在选择单个缩略图像的情况下，为了表示要拍摄哪个区域，可以显示表示关注区域的外边缘的框线或者将关注的缩略图像连接到拍摄区域的线，并将框线或线与广角照相机110的拍摄图像201重叠。此外，在用户操作的指针401指向缩略图像(即，选择单个缩略图像)的情况下，可以显示上述框线或上述连接线并将上述框线或上述连接线与拍摄图像201重叠。在拍摄图像201上显示诸如框线或连接线等的图形或标志，从而缩略图像和拍摄区域彼此相关联，这便于确认缩略图像和拍摄区域之间的对应关系。

缩略图像的更新定时

在针对ptz照相机120发生大于或等于预定值的平摇角度、俯仰角度或变焦位置的改变的情况下，可以进行缩略图像的更新。此外，在不允许连续更新缩略图像的情况下，当在拍摄区域改变之后指针401持续预定时间以上未进行缩略图像选择时，可以更新缩略图像。可选的，当在拍摄区域改变之后经过了预定时间段时，可以允许更新缩略图像。因此，例如，在存在大量缩略图像的情况下，可以避免由于拍摄区域的微调而导致的缩略图像的连续更新。

图像传送的优先级

在将由广角照相机110拍摄的图像传送到ip网络130时，显示切出图像的区域(例如，图4a的区域207)的图像可以以比其它区域的图像更高的优先级来进行传送。特别地，在广角照相机110包括多个照相机的情况下，通过优先传送显示切出图像的区域的图像，可以减少由广角照相机110拍摄的切出图像和由ptz照相机120拍摄的图像之间的时间滞后。

如上所述，根据本实施例，可以在通过使用实时图像201和205向用户显示过去拍摄的区域207的当前状态的同时，将ptz照相机120的拍摄区域从区域208改变为区域207。

接着，将通过使用图5至图7b来描述本发明的第二实施例。在第一实施例中，ptz照相机120的拍摄区域被改变为用户使用指针401选择的缩略图像的拍摄区域。在第二实施例中，将描述顺次改变预设了ptz照相机120的拍摄区域的多个拍摄区域的情况。在第二实施例中，ptz照相机120的拍摄区域以预定顺序(循环顺序)改变。这种图像拍摄可以被称为循环设置拍摄。

在以下描述中，多个预设拍摄区域可以被称为预设位置。下面将描述第二实施例中的摄像装置101的拍摄区域和切出范围的改变方法以及缩略图像的显示方法。注意，相同的附图标记用于与第一实施例中相同的组件，并且将省略其描述。第二实施例的摄像系统10的结构与第一实施例的结构相同。在以下描述中，将描述具有与第一实施例的显示形式不同的形式的ui显示单元140上的显示以及ptz照相机120的拍摄方向和视角的改变(平摇角度、俯仰角度和变焦位置的改变)。

ui显示单元

将通过使用图5来描述ui显示单元140上的图像的显示。图像501、502、503和504各自是如下的缩略图像：从由广角照相机110当前拍摄的图像201中切出可以通过ptz照相机120的循环设置拍摄所拍摄的区域(即，预设位置)并显示该区域。即，在本实施例的循环设置拍摄中，使用四个缩略图像501至504。用户可以选择(设置)以哪个缩略图像开始循环。例如，在用户选择缩略图像504的情况下，ptz照相机120的拍摄区域按照缩略图504、501、502、503然后504的顺序改变。例如，该循环顺序可以由ui显示单元140基于用户指示来设置，或者可以由摄像装置100的系统控制单元124设置。在本实施例中，预先准备缩略图像501至504。缩略图像501对应于区域505，缩略图像502对应于区域506，缩略图像503对应于区域507，以及缩略图像504对应于区域508。

ptz照相机120的平摇角度、俯仰角度和变焦位置与各个缩略图像501、502、503和504链接并存储在存储单元125中。这种链接使得ptz照相机120能够基于缩略图501至504来拍摄区域505至508。

ptz照相机的拍摄区域的改变

将通过使用图6、图7a和图7b来描述将ptz照相机120的平摇角度、俯仰角度和变焦位置改变为与预设位置链接的平摇角度、俯仰角度和变焦位置的流程。在以下描述中，将描述以缩略图像504开始循环设置拍摄的情况。设置循环设置拍摄，使得在一个拍摄区域进行拍摄持续预定时间之后，拍摄自动移动到下一拍摄区域。

如图7a所示，系统控制单元124(图1)检测到用户通过使用指针701已选择缩略图像504(s601)。然后，系统控制单元124从存储单元125读出与缩略图像504链接并存储的与平摇角度、俯仰角度和变焦位置有关的信息(s602)。系统控制单元124向ptz照相机120的驱动控制单元126发送指示，以基于所读出的与平摇角度、俯仰角度和变焦位置有关的信息来驱动变焦马达127、平摇马达128和俯仰马达129(s603)。也就是说，系统控制单元124将各个马达127至129的驱动指示发送到驱动控制单元126，使得ptz照相机120拍摄区域508。图7b示出ptz照相机120的拍摄区域已经改变之后的状态。

在图像201中显示由广角照相机110当前拍摄的图像。因此，用户可以在将ptz照相机120的平摇角度、俯仰角度和变焦位置改变为预设位置(区域508)的情况下确认图像201中的预设位置的状态之后，改变ptz照相机120的平摇角度、俯仰角度和变焦位置。在ptz照相机120拍摄区域508持续预定时间段之后，系统控制单元124从存储单元125读出与缩略图像501链接的与平摇角度、俯仰角度和变焦位置有关的信息(s604)。也就是说，系统控制单元124自动顺次选择缩略图像501。然后，系统控制单元124向ptz照相机120的驱动控制单元126发送指示，以基于所读出的与平摇角度、俯仰角度和变焦位置有关的信息来驱动各个马达127至129(s603)。以这种方式，在循环设置拍摄中，处理在s603之后进入s604，而无需更新缩略图像。然后，重复进行s603和s604。为了停止循环设置拍摄，例如，用户将来自ui显示单元140的停止信号发送到系统控制单元124。

注意，在以上描述中，虽然通过用户选择缩略图像来确定以哪个缩略图像开始循环设置拍摄，但是可以预设以哪个缩略图像开始循环设置拍摄。例如，可以将循环设置拍摄设置为以缩略图像501开始。此外，虽然图6的流程图中用户选择缩略图504来开始循环设置拍摄，但是例如可以响应于ui显示单元140的通电来开始循环设置拍摄。此外，进行拍摄的时间段可以针对四个预设位置505至508而不同。例如，在预设位置505处进行拍摄的时间段可以比在预设位置507处进行拍摄的时间段短。虽然在图7a和图7b的示例中使用四个缩略图像501至504来进行循环设置拍摄，但是在循环设置拍摄中使用的缩略图像的数量不限于四个。

根据第二实施例，用户可以在将ptz照相机120的平摇角度、俯仰角度和变焦位置改变为预设位置508的情况下确认图像中的预设位置的状态之后，改变ptz照相机120的平摇角度、俯仰角度和变焦位置。此外，对于在预设位置508之后自动拍摄的预设位置505、506和507，可以确认关注的当前位置(区域)的当前状态。此外，根据第二实施例，可以以预定时间间隔以自动循环拍摄多个预设位置(拍摄区域)。

虽然在第一实施例和第二实施例中广角照相机110由不具有用于改变拍摄方向和变焦位置的部件的单一照相机形成，但是广角照相机110不限于这种结构。广角照相机110可以由多个照相机形成，或者可以由能够改变拍摄方向和变焦位置的照相机(例如，ptz照相机)形成。虽然ui显示单元140被描述为个人计算机，但是ui显示单元140例如可以是服务器。此外，虽然广角照相机110和ptz照相机120被描述为容纳在单个壳体中，但是广角照相机110和ptz照相机120可以容纳在单独的壳体中。也就是说，摄像装置100可以不被配置为使得两个照相机(广角照相机110)一体化。

利用用户的设置改变

通过从ui显示单元140向广角照相机110发送设置改变指示，用户能够切换ptz照相机120的过去拍摄区域和循环设置拍摄区域中的哪一个被切出并显示为缩略图像。同样地，用户还能够经由ui显示单元140将驱动控制指示发送到驱动控制单元126，以驱动各种马达(127、128、129)并改变ptz照相机120的拍摄区域。此外，可以通过ui显示单元140来改变缩略图像的大小或图像的显示位置(布局)。此外，虽然上面已经描述了在摄像装置100中实现本发明的示例，但是本发明可以在客户端装置侧实现。在客户端装置侧实现的情况下，客户端装置保持表示由广角照相机110拍摄的图像的哪个部分将作为缩略图显示在查看器上的信息、以及当选择各个缩略图时的表示要针对ptz照相机120的哪个位置进行ptz控制的信息。此外，在选择缩略图之一的情况下，可以发出将ptz照相机120驱动到相应ptz位置的指示。

有益效果

根据本发明，从拍摄第一拍摄区域的图像中切出第二拍摄区域的图像，并显示切出图像，这可以便于用户确认第二拍摄区域的状态。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并进行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。