图像处理设备、图像处理方法和程序与流程

本公开涉及图像处理设备、图像处理方法和程序，并且更具体而言，涉及使得能够实现更自然的摄影的图像处理设备、图像处理方法和程序。

背景技术：

存在一种根据视频中的被摄体的状态来控制摄影的方法。

例如，ptl1公开了一种监视设备，该监视设备计算通过使用广角相机获得的视频中包括的人的行动评估值，并且将与最大行动评估值对应的人确定为由ptz相机执行的图像拍摄的目标。

此外，ptl2公开了一种控制系统，该控制系统进行控制以执行图像拍摄，从而使得穿戴模仿角色的被穿戴对象的穿戴者和该角色两者都在主题公园的视角内。

引用列表

专利文献

ptl1：jp2013-90063a

ptl2：jp2014-42190a

技术实现要素：

在相关技术中，已经存在基于检测视频中一个人的行动的结果来控制摄影的技术。但是，还没有在多个人中的每个人执行不同类型的行动的情况下执行最优摄影控制的技术。

已经做出本公开以解决上述问题，并且需要使得能够实现更自然的摄影。

根据本公开的图像处理设备包括：参数设置单元，其为检测到至少一个状态的视频中的多个被摄体中的每个被摄体设置与每个被摄体的状态对应的参数；以及拍摄控制单元，其基于为每个被摄体设置的参数来控制由拍摄设备获得的视频的拍摄范围。

根据本公开的图像处理方法包括：由图像处理设备为检测到至少一个状态的视频中的多个被摄体中的每个被摄体设置与每个被摄体的状态对应的参数；并且由图像处理设备基于为每个被摄体设置的参数来控制由拍摄设备获得的视频的拍摄范围。

根据本公开的程序使计算机执行处理，包括：为检测到至少一个状态的视频中的多个被摄体中的每个被摄体设置与每个被摄体的状态对应的参数；并且基于为每个被摄体设置的参数来控制由拍摄设备获得的视频的拍摄范围。

根据本公开，为检测到至少一个状态的视频中的多个被摄体中的每个被摄体设置与每个被摄体的状态对应的参数，并且基于为每个被摄体设置的参数来控制由拍摄设备获得的视频的拍摄范围。

根据本公开的一方面的图像处理设备包括电路系统，其检测第一图像中的多个被摄体的状态，设置与检测到的多个被摄体的状态对应的参数，并且基于为多个被摄体设置的参数的组合来确定用来获得第二图像的输出范围。

根据本公开的一方面的图像处理方法包括：检测第一图像中的多个被摄体的状态，由图像处理设备设置与多个被摄体的检测到的状态对应的参数，并且由图像处理设备并且基于为多个被摄体设置的参数的组合来确定获得用来第二图像的输出范围。

根据本公开的一方面的非暂态计算机可读存储介质在其中包括计算机可读指令，所述计算机可读指令在由计算机执行时使计算机执行一种方法，包括检测第一图像中的多个被摄体的状态，设置与检测到的多个被摄体的状态对应的参数，并且基于为多个被摄体设置的参数的组合来确定用来获得第二图像的输出范围。

附图说明

图1是示出根据本公开的实施例的拍摄系统的概述的图。

图2是示出拍摄系统的配置的示例的框图。

图3是示出图像处理设备的功能配置的示例的框图。

图4是用于描述摄影控制处理的流程图。

图5是示出图像处理设备的详细功能配置的示例的框图。

图6是用于描述摄影控制处理的流程图。

图7是示出在视频中设置的二维坐标系的示例的图。

图8是用于描述在时间t1处的拍摄视角的控制的图。

图9是用于描述在时间t2处的拍摄视角的控制的图。

图10是用于描述在时间t3处的拍摄视角的控制的图。

图11是用于描述在时间t4处的拍摄视角的控制的图。

图12是示出在视频中设置的三维坐标系的示例的图。

图13是示出计算机的配置的示例的框图。

图14是示出生物样本观察系统的配置的示例的框图。

图15是示出图14中的信息处理设备的功能配置的示例的框图。

图16是示出车辆控制系统的示意性配置的示例的框图。

图17是示出车外信息检测单元和图像捕获单元的安装位置的示例的解释图。

图18是示出图16中的集成控制单元的功能配置的示例的框图。

图19是示出内窥镜手术系统的示意性配置的示例的图。

图20是示出相机头和ccu的功能配置的示例的框图。

图21是示出图20中的ccu的功能配置的示例的框图。

具体实施方式

在下文中，将描述用于实现本公开的模式(在下文中，称为实施例)。注意的是，将按以下次序提供描述。

1.根据相关技术的讲座捕获系统中的问题

2.根据本公开的实施例的拍摄系统的配置

3.图像处理设备的配置和操作

4.用于根据多个人的行动控制摄影的配置和操作

5.已修改的示例

6.计算机的配置的示例

7.应用的示例

<1.根据相关技术的讲座捕获系统中的问题>

近年来，已经提供了讲座捕获系统，该讲座捕获系统记录在诸如大学之类的学校中的讲座以实现讲座在偏远地区的出席。在拍摄学生的情况下，通过在讲座捕获系统中检测学生的行动来控制摄影。记录其中根据学生的行动切换摄影的视频，例如，当一个学生站起来时，该学生被放大并拍摄。

此时，人用裸眼观察学生的行动，并且基于观察的结果由人手动切换摄影。如果可以根据观察到的行动自动切换摄影，那么有可能实现减少观察者的数量。换句话说，为了减少观察者的数量，可能需要检测学生的行动并根据行动检测的结果来控制摄影的功能。

这里，将描述站立的学生被放大并拍摄的示例，作为根据行动检测的结果进行摄影控制的示例。

首先，以拍摄其中坐着多个学生的教室的鸟瞰图的视角执行拍摄。只要在视频中未检测到学生站起来，就继续拍摄鸟瞰图。

在一个学生在某个定时站起来的情况下，作为行动检测的结果，在通过拍摄鸟瞰图获得的视频中检测到站起来。因此，控制视角，使得站立的学生被反映以完全填充视角。

因而，根据学生行动检测的结果，可以根据摄影的控制来放大站立的学生并拍摄。注意的是，在这种情况下，放大站立的学生并拍摄，前提是该站立的学生是应当得到关注的重要被摄体；但是，也可以根据检测到的行动或讲座的内容执行不同视角的拍摄。

根据上述行动检测的结果来控制摄影具有以下问题。

(问题1)

如在上述示例中那样，可以基于一个学生的行动检测的结果来控制摄影。但是，在多个学生中的每个学生执行不同类型的行动的情况下，还没有执行最优摄影控制的技术。

(问题2)

在连续出现多种类型的行动的情况下，存在根据这些行动的出现次序改变了应当优先置于拍摄视角内的学生的可能性。但是，还没有根据行动出现次序来控制摄影的技术。

例如，在同时检测到举手和站起来的情况下，应当优先将站立的学生置于拍摄视角内。同时，在站立之后检测到举手的情况下，由于举手的学生可能会讲话，因此举手的学生应当优先置于拍摄视角之内。

因此，在下文中，将描述用于解决上述问题的系统的配置和操作。

<2.根据本公开的实施例的拍摄系统的配置>

图1是示出根据本公开的实施例的拍摄系统的概述的图。

拍摄系统被实现为讲座捕获系统，并且被安装在教室或讲座厅中，其中讲师(未示出)向多个学生u1至u6进行讲座。

图1示出了六个学生u1至u6在教室里出席讲座的情况。

拍摄设备1安装在教室中，以在六个学生u1至u6均被反映的拍摄视角进行拍摄。由拍摄设备1拍摄的视频被输出到图像处理设备2。

图像处理设备2基于从拍摄设备1输出的视频来检测学生u1至u6中的每一个的行动，并基于检测结果来控制拍摄设备1。

图2是示出拍摄系统的配置示例的框图。

图2中的拍摄系统包括拍摄设备10、图像处理设备20、输入和输出设备30以及记录设备40。

拍摄设备10和图像处理设备20分别与图1中的拍摄设备1和图像处理设备2对应。

拍摄设备10具有例如机械摇摄和倾斜功能，并且被实现为光学和电子可变焦距的ptz相机。拍摄设备10的数量不限于一个，并且可以提供多个拍摄设备10。安装拍摄设备10，使得所有学生都被置于一个或多个拍摄设备10中的任何一个的拍摄视角内，并且拍摄视角由图像处理设备20控制。

图像处理设备20可以由具有其功能的专用软件来实现，或者可以由通用计算机来实现，并且相应功能可以由软件来实现。此外，拍摄设备10和图像处理设备20也可以整体地实现为一个设备，而不是单独地实现。

输入和输出设备30由接收用户的操作的键盘或鼠标，此外，由具有显示功能的显示器等实现。在这个显示器中可以提供多通道功能。输入和输出设备30基于用户的操作接收指令，并将接收到的指令输出到图像处理设备20。此外，输入和输出设备30将从图像处理设备20提供的各种信息呈现给用户。

输入和输出设备30以及图像处理设备20也可以整体地实现为一个设备，而不是单独实现。此外，输入和输出设备30可以通过网络连接到图像处理设备20。

记录设备40记录从图像处理设备20供给的各种信息。由图像处理设备20根据需要读取记录在记录设备40中的信息。与被摄体的状态(这里，人的行动)对应的参数被记录在记录设备40中，并且稍后将描述细节。

记录设备40和图像处理设备20也可以整体地实现为一个设备，而不是单独实现。此外，记录设备40可以通过网络连接到图像处理设备20。

<3.图像处理设备的配置和操作>

(图像处理设备的功能配置的示例)

图3是示出图像处理设备20的功能配置的示例的框图。

图3中的图像处理设备20包括状态检测单元51、参数设置单元52和拍摄控制单元53。

状态检测单元51检测由从拍摄设备10输入的视频信号表示的视频中的多个被摄体中的每个被摄体的状态，并将每个检测结果供给参数设置单元52。

参数设置单元52基于从状态检测单元51供给的检测结果从记录设备40获取与视频中的多个被摄体中的每个被摄体的状态对应的参数，并且为视频中的多个被摄体当中至少检测到状态的每个被摄体设置参数。为每个被摄体设置的参数被供给拍摄控制单元53。

拍摄控制单元53通过使用拍摄控制信号来控制由拍摄设备10执行的拍摄(摄影)。具体而言，拍摄控制单元53基于由参数设置单元52为每个被摄体设置的参数的组合来控制拍摄设备10的拍摄视角并控制由拍摄设备10拍摄的视频的裁剪范围，从而控制通过使用拍摄设备10获得的视频的拍摄范围。参数的组合包括由参数设置单元52为每个被摄体设置的所有参数，包括设置为零的参数。

在本公开中，由拍摄控制单元53控制的拍摄范围与通过控制拍摄设备10的拍摄视角和/或通过裁剪由拍摄设备10捕获的图像而生成的输出图像的输出范围对应。

(摄影控制处理)

接下来，将参考图4的流程图描述由图像处理设备20执行的摄影控制处理。

在步骤s11中，状态检测单元51检测由拍摄设备10拍摄的视频中的多个被摄体中的每个被摄体的状态。被摄体的状态的示例包括人的行动等。

在步骤s12中，参数设置单元52为多个被摄体中的每个被摄体设置与每个被摄体的检测到的状态对应的参数。该参数是表示视频中多个被摄体中的每个被摄体的关注度(重要性)的加权因子，并且对于被摄体的每个状态具有不同的值。

在步骤s13中，拍摄控制单元53基于为每个被摄体设置的参数(加权因子)来控制视频的拍摄范围。具体而言，拍摄控制单元53通过使用为每个被摄体设置的加权因子的值来确定视频的拍摄范围。

根据上述处理，针对每个被摄体，将表示关注度(重要性)的加权因子设置为与视频中的多个被摄体中的每个被摄体的状态对应的参数，因此有可能将应当得到关注的重要被摄体放在拍摄范围内的视频中。

因此，例如，在讲座捕获系统中，即使在多个人分别执行不同类型的行动的情况下，也有可能实现更自然的摄影。

以上，已经描述了根据本公开的实施例的基本配置和操作。在下文中，将描述用于根据图1中的拍摄系统(讲座捕获系统)中的多个人(学生)的行动来控制摄影的具体配置和操作。

<4.用于根据多个人的行动控制摄影的配置和操作>

(图像处理设备的功能配置的示例)

图5是示出根据多个人的行动来控制摄影的图像处理设备的功能配置的示例的框图。

图5中的图像处理设备20包括行动检测单元71、参数设置单元72和拍摄控制单元73。

行动检测单元71检测由拍摄设备10拍摄的视频中的多个人(学生)中的每一个的至少一种类型的行动。要检测的学生的行动是学生在讲座期间可执行的动作。在讲座期间可执行的动作的示例包括站起来、鞠躬、举手、坐下、向前走、讲话(发声)、朗读课本、在笔记本等上记笔记、打盹、看别处、聊天(不是在讨论讲座的内容、而是与讲座无关的个人话题)等。

将指示行动检测结果的行动信息与指定学生作为视频中的行动检测目标的特定信息(例如，指示学生在视频中的位置的信息)一起供给参数设置单元72。

参数设置单元72通过使用从行动检测单元71供给的行动信息和特定信息从记录设备40获取与视频中的多个学生中的每个学生的行动对应的参数，并设置针对视频中每个学生的参数。

具体而言，参数设置单元72将针对每种类型的行动定义的第一加权因子(在下文中，也称为行动类型权重)设置为针对每个学生的参数。而且，参数设置单元72将针对每种类型的行动定义的第二加权因子(在下文中，也称为行动出现次序权重)设置为针对每个学生的参数。为每个学生设置的行动类型权重和行动出现次序权重被提供给拍摄控制单元73。

拍摄控制单元73基于从参数设置单元72供给的为每个学生设置的行动类型权重和行动出现次序权重来控制拍摄设备10的拍摄范围(在实施例中，是拍摄视角)。即，即使当设置的权重值中的一个或多个是零时，也基于为每个学生设置的权重值的组合来控制拍摄范围。

拍摄控制单元73包括中心计算单元81和视角确定单元82。

中心计算单元81基于为每个学生设置的行动类型权重和行动出现次序权重来计算视频中的坐标位置(在下文中称为中心)作为拍摄设备10的拍摄范围(在实施例中，拍摄视角)的中心。视角确定单元82基于由中心计算单元81计算出的拍摄范围的中心和预先确定的规则来确定拍摄设备10的拍摄范围的尺寸(在实施例中，拍摄视角)。通过例如参数设置单元72从记录设备40获取指示预先确定的规则的信息。

如上所述，术语“拍摄范围”用于表示输出图像的输出范围，其是通过控制拍摄设备10的拍摄视角和/或通过裁剪由拍摄设备10捕获的图像而实现的。根据拍摄控制单元73对拍摄范围的控制而获得的输出图像被显示在构成输入和输出设备30的显示器上，或者被记录在记录设备40中。

(摄影控制处理)

接下来，将参考图6的流程图描述由图5中的图像处理设备20执行的摄影控制处理。

在这个示例中，针对通过拍摄如图7所示的六个学生u1至u6在教室里出席讲座的情况而获得的视频执行摄影控制处理。

在图7的示例中，在视频中设置了由x轴和y轴定义的二维坐标系。例如，学生u1位于(x，y)＝(1.0,2.0)，学生u6位于(3.0,1.0)。

在下文中，假设要检测的学生的行动的类型是两种类型：站起来和举手。

当将图7中所示的视频从拍摄设备10供给图像处理设备20时，在步骤s31中行动检测单元71在从拍摄设备10供给的视频中检测学生u1至u6中的每一个的行动。

在步骤32中，参数设置单元72为学生u1至u6中的每一个设置每个行动类型的加权因子和每个行动出现次序的加权因子，换句话说，每个学生的行动类型权重和行动出现次序权重。

在这个示例中，假设行动类型权重分别是1.0(站起来)、0.5(举手)和0.0(未检测到)，并且行动出现次序权重分别是3.0(站起来之后出现举手)和1.0(其它)。

在步骤s33中，拍摄控制单元73的中心计算单元81基于所设置的加权因子来计算拍摄设备10的拍摄视角的中心(拍摄范围的中心)。

这里，拍摄视角的中心(gx，gy)由以下等式(1)表示，其中每个学生位置在坐标(x，y)处的行动类型权重和行动出现次序权重分别是w1和w2。

等式1

一旦通过使用上述等式(1)计算出拍摄视角的中心，在步骤s34中，拍摄控制单元73的视角确定单元82就基于计算出的拍摄视角的中心和预先确定的规则来确定拍摄设备10的拍摄视角(拍摄范围的尺寸)。

这里，在根据预先确定的规则未检测到行动的情况下，为视频中的所有学生设置相同的加权因子(不包括0)，并且将拍摄视角的中心计算为例外处理，使得将学生u1至u6出席讲座的整个教室的鸟瞰图的视角(鸟瞰视角)确定为拍摄视角。此外，在检测到某种行动(站起来或举手)的情况下，以行动类型权重w1和行动出现次序权重w2的乘积最大的学生的整个身体被置于其中的视角被确定为拍摄视角。

针对拍摄设备10拍摄的视频的每个预定单位时间，诸如，例如，每一帧，执行上述步骤s31至s34中的处理。

这里，将参考图8至11描述在时间t1至t4的拍摄视角的控制。

首先，在时间t1(图8)，所有学生u1至u6都坐在自己的座椅上，并且未检测到行动。在这种情况下，拍摄视角的中心由点111表示，并且点111的坐标位置是各个坐标的中心(gx，gy)＝(2.0，1.5)。学生u1至u6。此外，拍摄视角是鸟瞰视角，并且由方框112指示，其中以点111为中心放置了所有学生u1至u6。

在时间t2(图9)，学生u2站起来，学生u5和u6举手。换句话说，学生u2的w1＝1.0，w2＝1.0，学生u5和u6中的每一个的w1＝0.5，w2＝1.0。注意的是，对于学生u1、u3和u4，w1＝0.0，w2＝1.0。在这种情况下，由点121指示拍摄视角的中心，并且点121的坐标位置是(gx，gy)＝(2.25，1.5)，如以下等式(2)所表示的。此外，拍摄视角由框架122指示，其中以点121为中心放置其中w1和w2的乘积最大的学生u2的整个身体。

等式2

这里，例如，在没有定义每种行动类型的加权因子(w1)并且对于站起来和举手都有w1＝1.0的情况下，拍摄视角的中心由点121'指示并且点121'的坐标位置是(gx，gy)＝(2.3，1.3)。此外，拍摄视角由框架122'指示，其中以点121'为中心放置所有学生u1至u6。在此，即使将任何被摄体置于拍摄视角内，也控制拍摄视角以使其具有相同的纵横比。换句话说，框架122和框架122'具有相同的纵横比。

将图9所示的框架122与框架122'彼此进行比较，定义每种行动类型的权重因子(w1)，使得在站起来的学生u2是应当得到关注的重要被摄体的前提下，设置拍摄视角。

接下来，在时间t3(图10)，学生u2继续站立，并且学生u5和u6停止举手。换句话说，仅对于学生u2，w1＝1.0，w2＝1.0，对于学生u1、u3、u4和u6，w1＝0.0，w2＝1.0。在这种情况下，拍摄视角的中心由点131指示，并且点131的坐标位置是学生u2的位置(gx，gy)＝(2.0，2.0)。此外，拍摄视角由框架132指示，其中以点131为中心放置了学生u2的整个身体。换句话说，继续拍摄学生u2作为被摄体。

另外，在时间t4(图11)，学生u2继续站立，并且学生u6再次举起他/她的手。换句话说，对于学生u2，w1＝1.0，w2＝1.0，对于学生u6，w1＝0.5，w2＝3.0。注意的是，对于学生u1、u3、u4和u5，w1＝0.0，w2＝1.0。在这种情况下，拍摄视角的中心由点141指示，并且点141的坐标位置是由上述等式(1)表示的(gx，gy)＝(2.6，1.4)。此外，拍摄视角由框架142指示，其中以点141为中心，放置了w1和w2的乘积最大的学生u6的整个身体。

这里，例如，在没有定义每个行动出现次序的加权因子(w2)并且在任何情况下w2＝1.0的情况下，拍摄视角的中心由点141'指示，并且点141'的坐标位置是(gx，gy)＝(2.3，1.7)。此外，拍摄视角由框架142'指示，其中以点141'为中心，放置了所有学生u1至u6。这里，框架142和框架142'也具有相同的纵横比。

将图11所示的框架142与框架142'彼此进行比较，定义每个行动出现次序的加权因子(w2)，使得在另一个学生站起来并可能接下来要说话时举起他/她的手的学生u6是应当得到关注的重要被摄体的前提下，设置拍摄视角。

根据上述处理，为每个学生设置与视频中的多个学生中的每一个的行动类型和行动出现次序对应的加权因子，因此有可能放置应当在拍摄视角范围内的视频中得到关注的重要被摄体。通过这种布置，即使在多个学生中的每一个执行不同类型的行动的情况下，也有可能实现更加自然的摄影。

以上，已经描述了在要检测的行动的类型是包括站起来和举手的两种类型的假设下的摄影控制的示例。本公开不限于此，并且还有可能通过适当地改变要检测的行动的类型、行动类型权重、行动出现次序权重、用于计算中心的等式以及用于确定拍摄视角的规则来实现期望的摄影。

例如，将执行与讲座无关的行动(诸如打盹、看别处、聊天等)的学生置于拍摄视角内是不优选的。在这点上，这些行动的行动类型权重各自具有负值，使得有可能实现其中将执行这些行动的学生不置于拍摄视角内的摄影。

此外，不仅将拍摄视角设置为使得应当得到关注的重要被摄体置于拍摄视角内，而且改变用于确定拍摄视角的规则，使得还有可能设置拍摄视角，以便将检测到其行动的所有学生置于拍摄视角之内。

而且，用于设置加权因子的方法不限于上述方法，并且还有可能根据需要适当地改变加权因子的值。此外，在未检测到学生的特定行动的情况下，还有可能设置具有太小以至于在检测到另一个行动时影响拍摄视角的中心的计算的值的加权因子。例如，在未检测到学生的特定行动的情况下，行动类型权重被设置为0.00001。通过这种布置，即使在没有检测到所有学生的行动的情况下，也有可能在不进行例外处理的情况下计算拍摄视角的中心，并且即使在检测到学生的某个行动的情况下，有可能适当地控制拍摄视角而不影响拍摄视角的中心的计算。

<5.修改示例>

在下文中，将描述上述实施例的修改示例。

(关于行动检测)

对于学生行动的检测，不仅可以使用由拍摄设备10拍摄的视频，而且可以使用由距离传感器获取的距离信息和由麦克风获取的声音信息。

例如，在使用由距离传感器获取的距离信息的情况下，可以在视频中设置由x轴、y轴和z轴定义的三维坐标系。如图12所示。在这种情况下，还有可能基于作为应当得到关注的重要被摄体的学生的距离信息(z轴方向上的位置)来控制拍摄设备10的变焦。

(关于加权因子)

作为与行动对应的参数的加权因子具有针对每种行动类型或行动出现次序预先确定的值。但是，也可以响应于用户的请求而调节该值。

此外，与学生无关，将相同的值设置为与上述加权因子相同的值。但是，可以根据与个体学生相关联的信息(上下文)(诸如学生站起来或举手的频率、对讲座的贡献、成绩等)对每个学生进一步应用权重。

(关于视角的确定)

不仅可以针对诸如每一帧等的每个预定单位时间来确定拍摄视角，而且可以确定拍摄视角，使得例如帧之间的拍摄视角被平滑地连接。在这种情况下，例如，确定拍摄视角，使得在每个帧中计算出的拍摄视角的中心的移动和帧之间的拍摄视角的尺寸的改变进一步减小。

通过这种布置，有可能减小由于切换所拍摄的视频的拍摄视角而引起的观看者的视觉负荷。

(拍摄范围的控制)

在拍摄范围的控制中，除了机械地控制被配置为ptz相机的拍摄设备10的拍摄视角以外或作为替代，还可以控制由广角相机实现的拍摄设备10拍摄的视频中的电子裁剪范围。裁剪范围中的视频被放大到预定尺寸，使得输出看起来好像裁剪范围被放大的视频。注意的是，视频的截止可以由图像处理设备20执行或者可以由拍摄设备10执行。

此外，在例如提供两个拍摄设备10的情况下，其中一个可以是ptz相机，而另一个可以是广角相机。在这种情况下，可以根据在由广角相机拍摄的视频中检测到的人的行动来控制ptz相机的拍摄范围。

<6.计算机的配置的示例>

上述一系列处理可以由硬件执行或可以由软件执行。在由软件执行一系列处理的情况下，在程序记录介质中构成软件的程序被安装在并入专用硬件的计算机、通用个人计算机等中。

图13是示出通过使用程序执行上述一系列处理的计算机的硬件配置的示例的框图。

上述图像处理设备20由具有图13所示的配置的计算机来实现。

cpu1001、rom1002和ram1003通过总线1004彼此连接。

而且，输入和输出接口1005连接到总线1004。由键盘、鼠标等实现的输入单元1006以及由显示器、扬声器等实现的输出单元1007连接到输入和输出接口1005。此外，由硬盘、非易失性存储器等实现的存储单元1008、由网络接口等实现的通信单元1009以及驱动可移动介质1011的驱动器1010连接到输入和输出接口1005。

在如上所述配置的计算机中，cpu1001例如通过输入和输出接口1005和总线1004将存储在存储单元1008中的程序加载到ram1003，并执行该程序，使得执行上述一系列处理。

由cpu1001执行的程序被记录在例如可移动介质1011中，或者通过诸如局域网、互联网和数字广播之类的有线或无线传输介质来提供，并被安装在存储单元1008中。

注意的是，由计算机执行的程序可以是按照本说明书中描述的次序按时间顺序执行处理的程序，或者可以是并行或在必要的定时(诸如执行调用等时)执行处理的程序。

<7.应用的示例>

以上，已经描述了行动检测的目标是人的示例。但是，在根据本公开的技术应用于除讲座捕获系统以外的系统的情况下，行动检测的目标还可以是诸如狗、猫等动物。

此外，在应用根据本公开的技术的系统中，除了视频中人或动物(诸如狗、猫等)的行动之外，视频中的对象的状态也可以被检测为视频中的被摄体的状态。

具体而言，在诸如讲座捕获系统之类的教育系统中，检测作为与视频中的多个人(学生等)一起反映的多个对象的黑板、白板教室中的监视器或实验装备(诸如烧杯、烧瓶等)的状态。在这种情况下，为每个对象设置与对象的检测到的状态对应的参数(加权因子)。

例如，作为黑板的状态，检测书写在黑板上的内容的数量或密度以及是否存在公告牌(诸如地图等)。在这种情况下，当写在黑板上的内容的数量或密度大时，或者当发布公告牌时，设置具有大值的加权因子。通过这种布置，写在黑板上的内容和公告牌被反映在视频中，从而使观看者容易理解讲座的内容。

此外，作为监视器的状态，检测在监视器上显示的内容。在这种情况下，例如，当用于演示的幻灯片显示在监视器上时，设置具有大值的加权因子。通过这种布置，幻灯片被反映在视频中，从而使观看者容易理解演示的内容。

而且，作为烧杯或烧瓶的状态，检测作为内容物的化学物质的量或处理化学物质的次序。在这种情况下，根据化学物质的量或处理化学物质的次序来设置加权因子。通过这种布置，烧杯或烧瓶的状态被反映在视频中，从而允许观看者容易理解实验的内容。

此外，在用于体育广播的广播系统中，与多个人(球员等)一起检测作为反映在视频中的多个对象的地面上的广告、计分板和球类游戏(诸如足球、篮球等)的网的状态。而且在这种情况下，为每个对象设置与对象的检测到的状态对应的参数(加权因子)。

例如，作为广告的状态，检测到作为广告商的公司。在这种情况下，当公司支付更多广告费时，设置具有更大值的加权因子。通过这种布置，公司的广告被反映在视频中，使得有可能改善公司的广告影响。

此外，作为得分板的状态，检测得分显示状态。在这种情况下，当得分的显示改变时，设置具有更大值的加权因子。通过这种布置，当得分改变时的得分板被反映在视频中，从而允许观看者容易理解游戏的情况。

而且，作为球网的状态，检测球在球网中或在球网附近是否存在。在这种情况下，当球在球网中或球网附近时，设置具有更大值的加权因子。通过这种布置，射门的场景被反映在视频中，使得有可能提高观看者的满意度。

注意的是，在上述示例中，除了与检测到的对象的状态对应的加权因子之外，还可以设置与视频中的人的行动对应的加权因子，或者可以仅设置与检测到的对象的状态对应的加权因子。

此外，在应用根据本公开的技术的拍摄系统中，除了通过控制拍摄设备10的拍摄视角来控制视频的拍摄范围之外，拍摄控制单元53还可以控制拍摄条件，诸如要拍摄的视频的帧速率、分辨率等。这些拍摄条件可以各自单独控制，或者可以彼此组合控制。可以基于为视频中检测到的相应被摄体设置的参数之和或其最大值来执行拍摄条件的控制。

例如，很有可能其中视频中的加权因子之和或所设置的加权因子的最大值大于预定值的场景是重要场景。因此，在这种情况下，通过设置要拍摄的视频的高帧速频、高分辨率或低压缩率来记录高分辨率视频。同时，视频中的加权因子之和或所设置的加权因子的最大值大于预定值的场景不太可能成为重要场景。因此，在这种情况下，设置要拍摄的视频的低帧速频、低分辨率或高压缩率，使得记录具有低分辨率的视频。

这里，在帧速率或分辨率的设置中，不仅可以通过与预定值比较来分阶段地设置帧速率或分辨率，而且还可以设置帧速率或分辨率，使得帧速率或分辨率取决于例如在特定值范围内的加权因子的总和或最大值。

在下文中，将描述将根据本公开的技术应用于除讲座捕获系统以外的领域中的系统的应用示例。

(对用于观察生物样本的系统的应用的示例)

图14是示出对其应用根据本公开的技术的生物样本观察系统的配置的示例的框图。

如图14所示，观察系统3001包括图像捕获设备3010和信息处理设备3020。图像捕获设备3010和信息处理设备3020可以通过诸如互联网等各种有线或无线网络连接。通过这种布置，远程地点的用户可以通过网络访问信息处理设备3020，并可以执行期望的控制或操作。

图像捕获设备3010是生成捕获的图像(移动图像)的设备。图像捕获设备3010例如由数码相机来实现。图像捕获设备3010还可以由诸如例如智能电话、平板pc、游戏机、可穿戴设备等具有图像捕获功能的各种设备来实现。

图像捕获设备3010包括各种构件，诸如图像捕获元件(诸如电荷耦合器件(ccd)、互补金属氧化物半导体(cmos)等)、用于控制在图像捕获元件等中被摄体图像的图像形成的透镜，并且通过使用这些构件来执行图像捕获。这里，不仅可以使用一般使用的可见光相机，而且还可以使用不可见光(红外线或紫外线)相机、偏振光相机等来用作用于图像捕获的图像拍摄设备3010，或者可以使用它们的组合。

用于使用图像捕获设备3010进行拍摄的方法可以包括：其中用透射或反射光观察被摄体的明场观察，以及其中通过使用特殊电容器通过倾斜地向被摄体施加光来用散射光观察被摄体的暗场观察。此外，使用图像捕获设备3010进行拍摄的方法还可以包括：其中通过使用光的衍射和干涉将对比度施加到透明的被摄体的相差观察，以及其中将对比度施加到具有由于光透射时的折射率或被摄体的表面形状而引起的光程差的未染色的被摄体的微分干涉观察。而且，用于使用图像捕获设备3010进行拍摄的方法还可以包括：其中通过施加具有一定波长的光来观察来自被摄体的荧光的荧光观察，其中通过根据对比度和颜色等改变被摄体的偏振特点而执行观察的偏振观察。但是，用于使用图像捕获设备3010进行拍摄的方法不特别限于此。

此外，图像捕获设备3010包括用于向信息处理设备3020传输和从信息处理设备3020接收移动图像等的通信设备。图像捕获设备3010在图像捕获台s上方提供，用于捕获其中培养有作为观察目标的细胞等的介质m的图像。细胞是生物样本的示例。图像捕获设备3010通过以预定帧速率捕获介质m的图像来生成移动图像。

注意的是，图像捕获设备3010可以直接(不经过另一个构件)捕获介质m的图像，或者可以通过诸如显微镜等另一个构件捕获介质m的图像。此外，对上述帧速率没有特别限制，但是优选的是根据观察目标的改变程度来设置帧速率。注意的是，图像捕获设备3010捕获包括介质m的特定图像捕获区域的图像，以便正确地跟踪观察目标的改变。由图像捕获设备3010生成的移动图像被传输到信息处理设备3020。

假设图像捕获设备3010是安装在光学显微镜中的相机。但是，图像捕获设备3010也可以是被包括在使用电子束的电子显微镜等(诸如扫描电子显微镜(sem)、透射电子显微镜(tem)等)中的图像捕获设备。此外，图像捕获设备3010也可以是被包括使用短探头的扫描探针显微镜(spm)等(诸如原子力显微镜(afm)、扫描隧道显微镜(stm)等)中的图像捕获设备。

观察系统3001的观察目标主要是生物样本。生物样本是可以通过使用光学显微镜等观察的活体，诸如例如各种细胞、细胞器、生物组织、微生物或诸如浮游生物的生物等。这里，特别地，假设生物样本是可以在图像捕获设备3010的图像捕获台s上的介质m中移动的活体。

信息处理设备3020是具有图像分析功能的设备。信息处理设备3020由具有图像分析功能的各种设备实现，诸如个人计算机(pc)、台式pc、智能电话等。

信息处理设备3020分析在从图像捕获设备3010获取的移动图像中的观察目标的行为。

例如，信息处理设备3020在存在多个细胞的情况下分析每个细胞的各种行为(形状改变)。在细胞行为的分析中，在从图像捕获设备3010获取的移动图像中指定在其中细胞行为被分析的感兴趣区域，并且基于指定的感兴趣区域中的运动来设置参数，从而分析细胞的行为。

在上述观察系统3001中，为了使用通过执行观察目标行为分析而获得的结果，有必要切割在其中已经通过使用人手分析了观察目标的行为的关注区域，作为用于研究论文或以后的讲座的材料，这需要大量的努力。

在这一点上，根据本公开的技术被应用于观察系统3001，从而将移动图像中的感兴趣区域放置在移动图像的拍摄范围内。

图15是示出对其应用根据本公开的技术的信息处理设备3020的功能配置的示例的框图。

图15中的信息处理设备3020包括行为分析单元3071、参数设置单元3072和拍摄控制单元3073。

行为分析单元3071分析在由图像捕获设备3010捕获的移动图像(观察视频)中的每个观察目标(例如，多个细胞)的行为。

参数设置单元3072通过使用由行为分析单元3071执行的行为分析的结果从记录设备3040获取与观察目标的行为对应的参数(加权因子)，并为移动图像中的每个观察目标设置参数。

拍摄控制单元3073基于由参数设置单元3072设置的与观察目标的行为对应的加权因子来控制图像捕获设备3010的拍摄范围，从而切割感兴趣区域。注意的是，包括在拍摄控制单元3073中的中心计算单元3081和视角确定单元3082具有分别与图5中的中心计算单元81和视角确定单元82相同的功能，因此省略对其的描述。

在显示设备3030上显示随着由拍摄控制单元3073控制拍摄范围而被切割的感兴趣区域。

例如，在信息处理设备3020中，设置与所分析的细胞的行为对应的加权因子，并且基于设置的结果执行视角控制(裁剪)。这里，细胞的行为包括例如搏动、分裂、融合、键合、变形或移动中的至少一种。

裁剪的图像可以被记录在分离的记录设备3040中。此外，可以在与显示观察目标的区域不同的区域中显示裁剪的图像。

可以根据用户的目的来设置与行为对应的加权因子。例如，在用户的目的是观察细胞分裂的情况下，当通过行为分析确认分裂时，设置具有大值的加权因子，而在确认变形时将设置具有小值的加权因子。通过这种布置，有可能更准确地观察细胞分裂。

此外，可以设置与细胞的行为出现次序对应的加权因子，并且可以基于设置的结果来执行裁剪。

可以根据例如生物样本的分裂的每个阶段中的行为来设置与行为出现次序对应的加权因子。

例如，已知受精卵的细胞分裂以1细胞周期、2细胞周期、4细胞周期和8细胞周期的次序进行。

这里，已知在从1细胞周期到2细胞周期的分裂中观察到由细胞分裂引起的特征运动，并且已知由源自2细胞周期的卵的基因表达引起的独特运动。因此，如果观察到这些运动，那么有可能确定胚胎的活性高。

此外，已知观察到逐渐变化，其中运动从4细胞周期的后期逐渐增加到8细胞周期的早期，并且在8细胞周期之后逐渐减小。据说这种变化是由于精子细胞的基因表达引起的。因此，有可能确定源自精子细胞的基因表达发生在胚胎中，并且如果观察到这种变化，那么胚胎正在顺利地进行到下一阶段。

如上所述，在观察受精卵的细胞分裂时，重要的是检测每个阶段中的每个运动。例如在上述的运动在2细胞周期中被捕获并且该运动从4细胞周期的后期和8细胞周期的早期逐渐增加的情况下，作为行为分析的结果，细胞分裂可能正在顺利地进行，并且因此设置具有大值的加权因子。

根据上述配置，针对每个细胞设置与观察视频中的多个细胞中的每个细胞的行为对应的加权因子，因此有可能将应当得到关注的重要细胞放置在拍摄范围内的观察视频中。

(对移动体控制系统的应用的示例)

根据本公开的技术可以被实现为安装在诸如车辆、电动车辆、混合动力电动车辆、摩托车、自行车、个人移动设备、飞机、无人机、轮船、机器人、建筑机械、农业机械(拖拉机)等移动体中的任何一个中的设备。

图16是示出车辆控制系统7000的示意性配置的示例的框图，该车辆控制系统7000是可以对其应用根据本公开的技术的移动体控制系统的示例。车辆控制系统7000包括通过通信网络7010连接的多个电子控制单元。在图16所示的示例中，车辆控制系统7000包括驾驶系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500，以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是例如根据任何协议的车载通信网络，诸如控制器局域网(can)、本地互连网络(lin)、局域网(lan)、flexray(注册商标)等。

每个控制单元包括：微型计算机，其根据各种程序执行计算处理；存储单元，其存储由微计算机执行的程序、用于各种计算的参数等；以及驱动电路，其驱动各种控制目标设备。除了用于通过通信网络7010与另一个控制单元执行通信的网络i/f之外，每个控制单元还包括用于通过有线或无线通信与车辆内部和外部的设备、传感器等通信的通信i/f。在图16中，作为集成控制单元7600的功能配置，示出了微型计算机7610、通用通信i/f7620、专用通信i/f7630、定位单元7640、信标接收单元7650、车载装备i/f7660、音频图像输出单元7670、车载网络i/f7680和存储单元7690。类似地，每个其它控制单元也包括微型计算机、通信i/f、存储单元等。

驾驶系统控制单元7100根据各种程序来控制与车辆的驾驶系统相关的设备的操作。例如，驾驶系统控制单元7100用作用于生成车辆的驱动力的驱动力生成设备(诸如内燃机、驱动马达等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构，以及控制设备(诸如生成车辆的制动力的制动设备等)。驾驶系统控制单元7100可以具有作为控制设备的功能，诸如防抱死制动系统(abs)、电子稳定性控制(esc)等。

车辆状态检测单元7110连接到驾驶系统控制单元7100。车辆状态检测单元7110包括例如检测车身的轴向旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器或用于检测加速踏板操作量、制动踏板操作量、方向盘的转向角、每分钟的发动机转数、车轮的转速等的传感器中的至少一个。驾驶系统控制单元7100通过使用从车辆状态检测单元7110输入的信号来执行计算处理，以控制内燃机、驱动马达、电动助力转向设备或制动设备。

车身系统控制单元7200根据各种程序来控制安装在车身中的各种设备的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动窗设备或用于各种灯(例如，头灯、后灯、制动灯、闪光信号灯、雾灯等)的控制设备。在这种情况下，可以将从代替按键的便携式机器发送的电波和各种开关的信号输入到车身系统控制单元7200。车身系统控制单元7200接收电波或信号以控制车辆的门锁设备、电动窗设备、灯等。

电池控制单元7300根据各种程序控制作为驱动马达的电源的二次电池7310。例如，从包括二次电池7310的电池设备向电池控制单元7300输入诸如电池温度、电池输出电压、电池的充电状态等的信息。电池控制单元7300通过使用该信号执行计算处理，并且对二次电池7310执行温度调节控制或对电池设备中包括的冷却设备等执行控制。

车外信息检测单元7400检测与其中安装有车辆控制系统7000的车辆的外部区域相关的信息。例如，图像捕获单元7410或车外信息检测单元7420中的至少一个连接到车外信息检测单元7400。图像捕获单元7410包括飞行时间(tof)相机、立体相机、单镜头相机、红外相机或其它相机中的至少一种。车外信息检测单元7420包括例如用于检测当前天气或气象状况的环境传感器或用于检测其中安装有车辆控制系统7000的车辆周围的另一个车辆、障碍物、行人等的周围信息检测传感器中的至少一种。

环境传感器可以是例如检测雨的雨滴传感器、检测雾的雾传感器、检测日光量的日光传感器或检测降雪的雪传感器中的至少一种。周围信息检测传感器可以是超声传感器、雷达设备或光检测和测距或激光成像检测和测距(lidar)设备中的至少一种。图像捕获单元7410和车外信息检测单元7420可以分别被包括为单独的传感器或设备，或者可以被包括为其中集成了多个传感器或设备的设备。

这里，图17示出了图像捕获单元7410和车外信息检测单元7420的安装位置的示例。图像捕获单元7910、7912、7914、7916和7918各自在例如车辆7900的前鼻、外后视镜、后保险杠、后门或车厢的前玻璃的上部中的至少一个上提供。在前鼻处提供的图像捕获单元7910和在车厢中的前玻璃的上部处提供的图像捕获单元7918主要获取车辆7900前方的区域的图像。在外后视镜处提供的图像捕获单元7912和7914主要获取车辆7900的两侧区域的图像。在后保险杠或后门处提供的图像捕获单元7916获取车辆7900后面的区域的图像。在车厢中的前玻璃的上部处提供的图像捕获单元7918用于主要检测前方车辆、行人、障碍物、交通信号灯、交通标志、车道等。

注意的是，图17示出了相应图像捕获单元7910、7912、7914和7916的拍摄范围的示例。图像捕获范围a指示在前鼻处提供的图像捕获单元7910的图像捕获范围，图像捕获范围b和c分别指示在外放后视镜处提供的图像捕获单元7912和7914的图像捕获范围，并且图像捕获范围d指示在后保险杠或后门处提供的图像捕获单元7916的图像捕获范围。例如，通过叠加由图像捕获单元7910、7912、7914和7916捕获的多条图像数据，从而获得从车辆7900上方的鸟瞰图像。

在车辆7900的前、后、侧面、拐角和车厢中的前玻璃的上部提供的车外信息检测单元7920、7922、7924、7926、7928和7930例如分别可以是超声传感器或雷达设备。例如，分别在车辆7900的前鼻、后保险杠、后门和的车厢中的前玻璃的上部处提供的车外信息检测单元7920、7926和7930可以是例如激光雷达设备。这些车外信息检测单元7920至7930主要用于检测前方车辆、行人、障碍物等。

返回去参考图16，将继续描述。车外信息检测单元7400使图像捕获单元7410捕获车辆外部的区域的图像，并且接收捕获的图像数据。此外，车外信息检测单元7400从连接的车外信息检测单元7420接收检测信息。在车外信息检测单元7420是超声波传感器、雷达设备或lidar设备的情况下，车外信息检测单元7400发送超声波或电磁波，并接收接收到的反射波的信息。车外信息检测单元7400可以基于接收到的信息执行检测诸如人、车辆、障碍物、标志、道路表面上的字符等的物体的处理，或者距离检测处理。车外信息检测单元7400可以基于接收到的信息执行识别雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于接收到的信息来计算到车辆外部的物体的距离。

此外，车外信息检测单元7400可以基于接收到的图像数据执行识别人、车辆、障碍物、标志、道路表面上的字符等的图像识别处理，或者距离检测处理。车外信息检测单元7400可以通过对接收到的图像数据执行诸如变形校正或位置匹配之类的处理并且组合由不同图像捕获单元7410所捕获的图像数据来生成鸟瞰图像或全景图像。车外信息检测单元7400可以通过使用由不同图像捕获单元7410捕获的图像数据来执行视点转换处理。

车内信息检测单元7500检测关于车辆的内部区域的信息。例如，检测驾驶员状态的驾驶员状态检测单元7510连接到车内信息检测单元7500。驾驶员状态检测单元7510可以包括捕获驾驶员图像的相机、检测驾驶员的生物信息的生物传感器、收集车厢中的声音的麦克风等。生物传感器例如在座椅表面、方向盘等处提供，并检测坐在座椅表面上的乘客或握住方向盘的驾驶员的生物信息。车内信息检测单元7500可以计算驾驶员的疲劳程度或注意力集中程度，或者可以基于从驾驶员状态检测单元7510输入的检测信息来确定驾驶员是否打盹。车内信息检测单元7500可以执行诸如对收集到的音频信号的噪声消除处理等处理。

集成控制单元7600根据各种程序控制车辆控制系统7000的整体操作。输入单元7800连接到集成控制单元7600。输入单元7800由可以由乘客进行输入操作的设备来实现，诸如例如触摸面板、按钮、麦克风、开关、操纵杆等。通过识别通过麦克风输入的语音而获得的数据可以输入到集成控制单元7600。输入单元7800可以是使用例如红外线或其它电波的远程控制设备，或者可以是外部连接设备，诸如与车辆控制系统7000的操作对应的移动电话、个人数字助理(pda)等。输入单元7800也可以是例如相机，并且在这种情况下，乘客可以通过使用手势来输入信息。可替代地，可以输入通过检测乘客穿戴的可穿戴设备的运动而获得的数据。而且，输入单元7800可以包括输入控制电路，该输入控制电路基于例如由乘客等使用输入单元7800输入的信息来生成输入信号，并且将输入信号输出到集成控制单元7600。乘客等操作输入单元7800以将各种数据输入到车辆控制系统7000或指示处理操作。

存储单元7690可以包括：存储由微型计算机执行的各种程序的只读存储器(rom)，以及存储各种参数、计算结果或传感器值的随机存取存储器(ram)。此外，存储单元7690可以由诸如硬盘驱动器(hdd)等磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等来实现。

通用通信i/f7620是用于中继与外部环境7750中存在的各种设备的通信的通用通信i/f。通用通信i/f7620可以实现蜂窝通信协议，诸如全球移动通信系统(gsm，注册商标)、wimax(注册商标)、长期演进(lte，注册商标)、先进的lte(lte-a)等，或其它无线通信协议，诸如无线lan(也称为wi-fi(注册商标))、bluetooth(注册商标)等。通用通信i/f7620可以通过例如基站或接入点连接到存在于外部网络(例如，互联网、云网络或特定于公司的网络)上的设备(例如，应用服务器或控制服务器)。此外，通用通信i/f7620可以通过使用例如对等(p2p)技术连接到存在于车辆附近的终端(例如，驾驶员、行人或商店的终端，或者机器类型通信(mtc)终端)。

专用通信i/f7630是支持出于在车辆中使用的目的而设置的通信协议的通信i/f。专用通信i/f7630可以实现车载环境中的无线接入(wave)(它是作为较低层的ieee802.11p和作为较高层的ieee1609的组合)、专用短距离通信(dsrc)或作为标准协议的蜂窝通信协议。专用通信i/f7630通常作为包括车辆对车辆通信、车辆对基础设施通信、车辆对家庭通信以及车辆对行人通信中的一个或多个的概念来执行v2x通信。

定位单元7640通过从gnss卫星接收全球导航卫星系统(gnss)信号(例如，来自gps卫星的gps信号)来执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。注意的是，定位单元7640可以通过与无线接入点交换信号来指定当前位置，或者可以从诸如具有定位功能的移动电话、phs或智能电话之类的终端获取位置信息。

信标接收单元7650接收从例如安装在道路等上的无线电站发送的电波或电磁波，以获取诸如当前位置、交通拥堵、宵禁、所需时间等信息。注意的是，信标接收单元7650的功能可以包括在上述专用通信i/f7630中。

车载装备i/f7660是在微型计算机7610和车辆中存在的各种车载装备7760之间进行中继连接的通信接口。车载装备i/f7660可以通过使用诸如无线lan、蓝牙(注册商标)、近场通信(nfc)或无线通用串行总线(wusb)之类的无线通信协议来建立无线连接。此外，车载装备i/f7660可以通过连接端子(未显示)(以及必要时还有电缆)建立通用串行总线(usb)、高清多媒体接口(hdmi、注册商标)、移动高清链接(mhl)等的有线连接。车载装备7760可以包括例如乘客的移动装备或可穿戴装备或者带入或附接到车辆的信息装备中的至少一种。此外，车载装备7760可以包括执行到特定目的地的路线搜索的导航设备。车载装备i/f7660与这些车载装备7760交换控制信号或数据信号。

车载网络i/f7680是在微型计算机7610和通信网络7010之间中继通信的接口。车载网络i/f7680根据通信网络7010所支持的预定协议来传输和接收信号等。

集成控制单元7600的微型计算机7610基于通过通用通信i/f7620、专用通信i/f7630、定位单元7640、信标接收单元7650、车载装备i/f7660或车载网络i/f7680中的至少一个获取的信息来根据各种程序控制车辆控制系统7000。例如，微型计算机7610可以基于所获取的关于车辆的内部区域和外部区域的信息来计算驱动生成设备、转向机构或制动设备的目标控制值，并向驾驶系统控制单元7100输出控制指令。例如，微型计算机7610可以为了实现高级驾驶员辅助系统(adas)的功能而执行协作控制，该高级驾驶员辅助系统的功能包括避免车辆碰撞、减轻碰撞、基于车辆间距离的跟随行驶、在保持车速同时的行驶、车辆碰撞警告或车道偏离警告。此外，微型计算机7610可以为了自动驾驶的目的执行协同控制，在自动驾驶中，通过基于获取的车辆的周围信息控制驱动生成设备、转向机构或制动设备的，车辆在没有驾驶员等操作的情况下自主地行驶。

微型计算机7610可以基于通过通用通信i/f7620、专用通信i/f7630、定位单元7640、信标接收单元7650、车载装备i/f7660或车载网络i/f7680中的至少一个获取的信息来生成关于车辆和物体(诸如车辆周围的结构或人)之间的三维距离的信息，并创建包括车辆的当前位置的周围环境信息的本地地图信息。此外，微型计算机7610可以基于获取的信息来预测诸如车辆碰撞、行人的接近等、在宵禁期间进入道路等之类的风险，并生成警告信号。警告信号可以是例如用于生成警告声或点亮警告灯的信号。

语音和图像输出单元7670将语音和图像中的至少一个的输出信号传输到输出设备，该输出设备能够以视觉或听觉方式向车辆的乘客或车辆的外部区域通知信息。在图16的示例中，音频扬声器7710、显示单元7720和仪表板7730被示为输出设备。显示单元7720可以包括例如车载显示器或平视显示器中的至少之一。显示单元7720可以具有增强现实(ar)显示功能。输出设备可以是除上述设备之外的设备，诸如可穿戴设备(包括耳机、乘客穿戴的眼镜式显示器等)、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以各种形式可视地显示结果和信息，诸如文本、图像、表格、图形等，该结果是通过由微型计算机7610执行各种处理而获得的，并且信息是从另一个控制单元接收的。此外，在输出设备是语音输出设备的情况下，语音输出设备将包括再现的语音或声音的数据的音频信号转换成模拟信号，并可视地输出该模拟信号。

注意的是，在图16所示的示例中，可以将通过通信网络7010彼此连接的至少两个控制单元集成为一个控制单元。可替代地，每个控制单元可以由多个控制单元构成。而且，车辆控制系统7000可以包括不同的控制单元(未示出)。此外，另一个控制单元可以具有以上描述中的某个控制单元的功能的一部分或全部。即，如果通过通信网络7010执行信息的传输和接收，那么可以由某个控制单元执行预定的计算处理。类似地，连接到某个控制单元的传感器或设备可以连接到另一个控制单元，并且多个控制单元可以通过通信网络7010相互传输和接收检测信息。

用于实现根据本实施例的集成控制单元7600的相应功能的计算机程序可以安装在特定控制单元等中。此外，有可能提供其中存储计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存等。此外，计算机程序可以通过例如网络来分发而不使用记录介质。

上述的车辆控制系统7000可以执行检测诸如道路上的人、车辆、障碍物、标志或字符之类的物体的处理，或者基于通过图像捕获单元7410执行的图像捕获获得的图像数据的距离检测处理。

但是，在对所有捕获的图像数据执行后面阶段中的图像分析处理(具体而言，物体检测处理或距离检测处理)的情况下，处理的负荷增加。

在这一点上，根据本公开的技术被应用于车辆控制系统7000，从而减轻了图像分析处理的负荷。

图18是示出对其应用根据本公开的技术的集成控制单元7600的功能配置的示例的框图。

注意的是，在图18中，与参考图16描述的配置相似的配置将由相同的附图标记表示，并且将省略其描述。

图18中的集成控制单元7600包括状态检测单元7971、参数设置单元7972和拍摄控制单元7973。

状态检测单元7971检测从图像捕获单元获得的图像数据(车载相机视频)中的人、自行车、另一个车辆、障碍物、道路标志和道路标记中的每一个的状态7410。

参数设置单元7972通过使用由状态检测单元7971执行的状态检测的结果从存储单元7690获取与检测目标的状态对应的参数(加权因子)，并为车载相机视频中的每个检测目标设置参数。

拍摄控制单元7973基于与检测目标的状态对应并且由参数设置单元7972设置的加权因子来控制图像拍摄单元7410的拍摄范围。注意的是，拍摄控制单元7973中包括的中心计算单元7981和视角确定单元7982分别具有与图5中的中心计算单元81和视角确定单元82相似的功能，因此被省略对其的描述。

根据拍摄控制单元7973对拍摄范围的控制而获得的图像被供给图像分析单元7974，并且执行物体检测处理或距离检测处理。

在集成控制单元7600中，根据检测目标的状态来执行用于减小后面阶段的图像分析处理的负荷的拍摄控制。

具体而言，检测车载相机视频中的人、自行车、汽车或主车周围的车辆的状态，设置与检测到的状态对应的加权因子，并且基于设置的结果来执行与后面阶段的图像分析处理相关的拍摄控制。

例如，将基于为车载相机视频中的每个检测目标设置的加权因子裁剪的图像数据供给图像分析单元7974。通过这种布置，仅对必要区域执行图像分析处理，使得有可能减轻图像分析处理的负荷。

此外，可以将其中在车载相机视频中裁剪的区域具有高分辨率而其余区域具有低分辨率的图像数据供给图像分析单元7974，而不是裁剪车载相机视频。

作为检测目标的状态，人的状态的示例包括步行、奔跑或停止中的至少一种，并且自行车的状态的示例包括笔直行驶或曲折行驶中的至少一种。此外，汽车的状态的示例包括倾斜行驶，曲折行驶或在道路上的白线附近行进中的至少一种。而且，主车周围的车辆的状态的示例包括接近主车、切入、改变车道、或在十字路口对面的车辆的向右转或向左转(跨越主车的移动方向)中的至少一种。

例如，在主车周围存在奔跑的人或自行车的情况下，事故率高，而在主车周围仅存在行走的人的情况下，事故率低。因此，作为与人或自行车的状态对应的加权因子，为跑步的人或自行车设置具有大值的加权因子，而为步行的人设置具有小值的加权因子。通过这种布置，有可能计算到例如在低负荷下可能引起事故的检测目标的距离。

而且，作为与自行车的状态对应的加权因子，对于曲折行驶的自行车设定具有大值的加权因子，而对于直行的自行车设置具有小值的加权因子。通过这种布置，有可能计算到不稳定行驶并且很可能在低负荷下引起事故的自行车的距离。

此外，作为与汽车的状态对应的加权因子，对于在道路的白线附近行驶的汽车设置具有大值的加权因子，而对于在白线之间行驶的汽车设置具有小值的加权因子。通过这种布置，有可能计算到在车辆之间迂回行进行驶并且因此很可能在低负荷下引起事故的汽车的距离。

此外，作为与主车周围的车辆的状态对应的加权因子，对于接近主车的车辆设置具有大值的加权因子，而对于远离主车行驶的车辆设置具有小值的加权因子。通过这种布置，有可能计算与试图通过车道改变而进入与主车的车道相同的车道并且因此很可能在低负荷下引起事故的汽车的距离。

此外，作为与检测目标的状态出现次序对应的加权因子，在识别出交叉路口(交通信号灯或道路标记)的存在之后检测到如上所述很可能引起事故的人或自行车的状态的情况下，可以设置具有较大值的加权因子。

根据上述配置，针对每个检测目标设置与车载相机视频中的多个检测目标中的每一个的状态对应的加权因子，因此有可能放置在拍摄范围内的车载相机视频中应当得到关注的重要检测目标。

(对内窥镜手术系统的应用的示例)

根据本公开的技术(本技术)可以应用于内窥镜手术系统。

图19是示出可以对其应用根据本公开的技术(本技术)的内窥镜手术系统的示意性配置的示例的图。

图19示出了操作者(外科医生)11131通过使用内窥镜手术系统11000对病床11133上的患者11132执行手术的情况。如图19所示，内窥镜手术系统11000包括内窥镜11100、其它手术器械11110(诸如气腹管11111、能量治疗器械11112等)、支撑内窥镜11100的支撑臂装置11120，以及其中装有用于内窥镜手术的各种设备的推车11200。

内窥镜11100包括：镜筒11101，其具有从尖端起预定长度的区域被插入患者11132的体腔中；以及相机头11102，其连接到镜筒11101的基端。在图19所示的示例中，示出了被实现为包括硬体镜筒11101的所谓的硬体镜的内窥镜11100，但是内窥镜11100也可以被实现为包括柔性镜筒的所谓的柔性镜。

在镜筒11101的尖端中提供有用于安装物镜的开口。光源设备11203连接到内窥镜11100，并且由光源设备11203生成的光通过在对应的镜筒11101内部延伸的光导被引导到镜筒的尖端，并且通过物镜施加到患者11132的体腔中的观察目标。注意的是，内窥镜11100可以是前视内窥镜、斜视内窥镜或侧视内窥镜。

光学系统和图像捕获元件在相机头11102中提供，并且来自观察目标的反射光(观察光)被光学系统收集到图像捕获元件。观察光被图像捕获元件光电转换，并且生成与观察光对应的电信号，即，与观察图像对应的图像信号。图像信号作为raw数据被传输到相机控制单元(ccu)11201。

ccu11201包括中央处理单元(cpu)、图形处理单元(gpu)等，并且一般控制内窥镜11100和显示设备11202的操作。而且，ccu11201从相机头11102接收图像信号，并且关于图像信号执行用于基于图像信号显示图像的各种图像处理，诸如例如显影处理(马赛克处理)等。

显示设备11202根据ccu11201的控制基于经过ccu11201的图像处理的图像信号来显示图像。

光源设备11203包括诸如例如发光二极管(led)等光源，并且在拍摄手术部位等时向内窥镜11100供给照射光。

输入设备11204是用于内窥镜手术系统11000的输入接口。用户可以通过输入设备11204向内窥镜手术系统11000输入各种信息或指令。例如，用户输入改变内窥镜11100的拍摄条件(照射光的类型、放大倍率、焦距等)的指令等。

治疗器械控制设备11205控制能量治疗器械11112的驱动，以烧灼组织、切开切口、密封血管等。为了使患者11132的体腔膨胀以确保内窥镜11100的视野或操作者的工作空间，气腹设备11206通过气腹管11111将气体送入体腔。记录器11207是能够记录与手术相关联的各种信息的设备。打印机11208是能够以各种形式(诸如文本、图像、图形等)打印与手术相关联的各种信息的设备。

注意的是，在内窥镜11100拍摄手术部位时提供照射光的光源设备11203可以包括由例如led、激光光源或其组合实现的白光源。在通过红色、绿色和蓝色(rgb)激光光源的组合实现白光源的情况下，由于可以高精度地控制每种颜色(每种波长)的输出强度和输出定时，因此有可能在光源设备11203中调节捕获的图像的白平衡。此外，在这种情况下，将来自每个rgb激光光源的激光以时分方式施加到观察目标，并且与照射定时同步地控制相机头11102的图像捕获元件的驱动，使得有可能以时分方式捕获与每个rgb对应的图像。根据上述方法，有可能在不在对应的图像捕获元件中提供滤色器的情况下获得彩色图像。

此外，可以控制光源设备11203的驱动，以便在每个预定时间改变输出光的强度。与光强度的改变的定时同步地控制相机头11102的图像捕获元件的驱动，以便以时分方式获取图像，并且合成图像，使得有可能生成具有高动态范围的图像而没有所谓的高光吹散和阴影遮挡。

此外，光源设备11203可以被配置为能够供给与特定光观察对应的预定波长带中的光。在特殊光观察中，例如，通过使用人体组织的光吸收对波长的依赖性来施加与一般观察时的照射光(换句话说，白光)相比更窄的带中的光，使得执行所谓的窄带成像，其中以高对比度拍摄诸如粘膜表面层等的血管之类的预定组织。可替代地，在特殊光观察中，可以执行荧光观察，其中通过施加激发光而生成的荧光获得图像。在荧光观察中，有可能通过向人体组织施加激发光来观察来自人体组织的荧光(自发荧光观察)，通过向人体组织内局部注入吲哚菁(icg)等试剂并向相应人体组织施加与试剂的荧光波长对于的激发光来获得荧光图像等。光源设备11203可以被配置为能够提供窄带的光和/或与以上所述的特殊光观察对应的激发光。

图20是示出图19中所示的相机头11102和ccu11201的功能配置的示例的框图。

相机头11102包括透镜单元11401、图像捕获单元11402、驱动单元11403、通信单元11404和相机头控制单元11405。ccu11201包括通信单元11411、图像处理单元11412和控制单元11413。相机头11102和ccu11201通过传输电缆11400相互可通信地连接。

透镜单元11401是在相机头11102的与镜筒11101连接的部分中提供的光学系统。从镜筒11101的尖端引入的观察光被引导至相机头11102，并入射到透镜单元11401。透镜单元11401包括多个透镜的组件，包括变焦透镜和聚焦透镜。

构成图像捕获单元11402的图像捕获元件的数量可以是一个(所谓的单板型)或多个(所谓的多板型)。在图像捕获单元11402包括多板型的情况下，例如，可以通过由每个图像捕获元件分别生成与rgb对应的图像信号并合成图像信号来获得彩色图像。可替代地，图像捕获单元11402还可以包括一对图像捕获元件，用于获取与三维(3d)显示对应的右眼的图像信号和左眼的图像信号中的每一个。当执行3d显示时，操作者11131可以更准确地掌握手术部位中生物组织的深度。注意的是，在图像捕获单元11402包括多板型的情况下，可以提供与相应图像捕获元件对应的多个透镜单元11401。

此外，图像捕获单元11402可以不必在相机头11102中提供。例如，图像捕获单元11402也可以在物镜的正下方的镜筒11101的内部提供。

驱动单元11403由致动器实现，并且根据相机头控制单元11405的控制仅沿着透镜单元11401的变焦透镜和聚焦透镜的光轴移动预定距离。通过这种布置，有可能适当地调节由图像捕获单元11402捕获的图像的放大倍率和焦点。

通信单元11404由用于向/从ccu11201传输和接收各种信息的通信设备实现。通信单元11404通过传输电缆11400将从图像捕获单元11402获得的图像信号作为raw数据传输到ccu11201。

此外，通信单元11404从ccu11201接收用于控制相机头11102的驱动的控制信号，并将接收到的控制信号供给相机头控制单元11405。控制信号包括与图像捕获条件相关的信息，诸如例如用于指定捕获的图像的帧速率的信息、用于指定图像捕获时的曝光值的信息，和/或用于指定捕获的图像的放大倍率和焦点的信息。

注意的是，诸如帧速率、曝光值、放大倍率、焦点等图像捕获条件可以由用户适当地指定，或者可以由ccu11201的控制单元11413基于所获取的图像信号自动设置。在自动设置的情况下，内窥镜11100具有所谓的自动曝光(ae)功能、自动聚焦(af)功能和自动白平衡(awb)功能。

相机头控制单元11405基于通过通信单元11404从ccu11201接收到的控制信号来控制相机头11102的驱动。

通信单元11411由用于向相机头11102传输各种信息和从相机头11102接收各种信息的通信设备来实现。通信单元11411接收通过传输电缆11400从相机头11102传输的图像信号。

此外，通信单元11411将用于控制相机头11102的驱动的控制信号传输到相机头11102。图像信号或控制信号可以通过电通信、光通信等来传输。

图像处理单元11412对从相机头11102传输的作为raw数据的图像信号执行各种图像处理。

控制单元11413执行与通过内窥镜11100进行的手术部位等的图像拍摄以及通过手术部位的图像捕获等获得的捕获的图像的显示相关的各种控制。例如，控制单元11413生成用于控制相机头11102的驱动的控制信号。

此外，控制单元11413基于经过图像处理单元11412的图像处理的图像信号来控制显示设备11202显示其中反映手术部位等的捕获的图像。此时，控制单元11413可以通过使用各种图像识别技术来识别捕获的图像中的各种物体。例如，控制单元11413可以通过检测捕获的图像中包括的物体的边缘的形状、颜色等来识别诸如镊子等手术器械、活体的特定部位、出血、在使用能量处理工具11112时的薄雾等。控制单元11413可以通过使用在显示设备11202上显示捕获的图像时的识别结果来控制显示设备11202以重叠的方式显示各种手术支持信息。因为手术支持信息以重叠的方式显示并呈现给操作者11131，所以有可能减轻操作者11131的负荷，并且操作者11131可以坚定地进行手术。

连接相机头11102和ccu11201的传输电缆11400是与电信号通信对应的电信号电缆、与光通信对应的光纤或其复合电缆。

这里，虽然在附图所示的示例中执行了使用传输电缆11400的有线通信，但是相机头11102与ccu11201之间的通信也可以是无线通信。

在相关技术中，在扩大内窥镜手术中的手术视野(示为手术目标的部分)时，有必要将相机头放置在手术部位附近。在这种情况下，操作者难以同时查看手术部位的放大视频和手术现场的整体图像，此外，相机头和手术器械有可能彼此接触。

为此，近年来，已经建议一种方法，其中通过使用诸如8k分辨率相机等高分辨率相机在距手术部位稍远的位置执行拍摄的同时，通过数字变焦功能或裁剪功能获得更清晰的视频。

但是，在使用高分辨率相机的内窥镜系统中，操作者(手术医生)有必要指示工作人员执行放大处理以获得放大的视频，因此手术医生不能继续进行医疗规程，直到将指示递送给工作人员为止。因而，存在手术被延迟的可能性。

在这一点上，根据本公开的技术被应用于内窥镜手术系统11000，从而解决了手术延迟问题。

图21是示出对其应用根据本公开的技术的ccu11201的功能配置的示例的框图。

注意的是，在图21中，与参考图20描述的配置相似的配置将由相同的附图标记表示，并且将省略其描述。

图21中的ccu11201包括手术器械检测单元12071、参数设置单元12072和拍摄控制单元12073。

手术器械检测单元12071在来自相机头11102的图像信号(手术现场视频)中检测每个手术器械的状态。

参数设置单元12072通过使用由手术器械检测单元12071执行的状态检测的结果从存储单元12040获取与手术器械的状态对应的参数(加权因子)，并针对手术现场视频中的每个手术器械设置参数。

拍摄控制单元12073基于与手术器械的状态对应并且由参数设置单元12072设置的加权因子来控制相机头11102的拍摄范围。注意的是，包括在拍摄控制单元12073中的中心计算单元12081和视角确定单元12082具有分别类似于图5中的中心计算单元81和视角确定单元82的功能，因此将省略对其的描述。

由拍摄控制单元12073控制根据拍摄控制单元12073对拍摄范围的控制而获得的放大的视频，并且在显示设备11202上显示在其中反映手术部位、手术器械等的放大的视频。

在内窥镜手术中，执行以下手术：通过使用抓握钳使目标切除部分暴露，并用射电刀切除暴露的目标切除部分。因此，在对其应用根据本公开的技术的ccu11201中，根据抓握钳或射电刀的状态来控制拍摄范围。这里，将描述其中将本技术应用于使用射电刀的内窥镜手术系统的应用示例，但是本公开不限于此，并且本技术还可以应用于使用能量治疗器械(诸如超声手术刀、激光手术刀等)的内窥镜手术系统。

具体而言，在手术现场视频中检测抓握钳或射电刀的状态，设置与检测到的状态对应的加权因子，并基于设置的结果来控制放大的视频的拍摄视角。

作为与这些手术器械的每个状态对应的加权因子，例如，为射电刀设置具有比抓握钳的值更大的值的加权因子。通过这种布置，操作者可以根据上述内窥镜手术的规程在检查放大的视频的同时进行医疗规程。

此外，在检测到抓握钳之后检测到射电刀的情况下，可以将具有较大值的加权因子设置为与手术器械出现次序对应的加权因子。例如，在切除术前的准备中，诸如通过使用第一抓握钳来扩大手术范围，通过使用第二抓握钳来施加反张力等，当需要在宽范围内进行治疗时，将其中包括多个抓握钳的宽视野设置为拍摄范围。此外，此后，检测到射电刀，并且在有必要执行病变部位的切除等需要高精度的治疗时，将射电刀周围的区域视野放大并设置为拍摄范围。

根据上述配置，针对每个手术器械设置与手术现场视频中的多个手术器械中的每一个的状态对应的加权因子，因此有可能在拍摄范围内的手术现场图像中放置应当得到关注的重要手术器械。

注意的是，本公开的实施例不限于上述实施例，并且在不脱离本公开的主旨的情况下可以进行各种改变。

此外，本说明书中描述的效果仅仅是说明性的而不是限制性的，并且本公开可以具有其它效果。

此外，本公开可以具有以下配置。

(1)一种图像处理设备，包括：

参数设置单元，其为检测到至少一个状态的视频中的多个被摄体中的每个被摄体设置与每个被摄体的状态对应的参数；以及

拍摄控制单元，其基于为每个被摄体设置的参数来控制由拍摄设备获得的视频的拍摄范围。

(2)根据(1)所述的图像处理设备，其中

参数设置单元为视频中的多个人中的每个人设置与每个人的行动对应的参数。

(3)根据(2)所述的图像处理设备，其中

人的行动是该人在讲座期间可执行的动作。

(4)根据(3)所述的图像处理设备，其中

人在讲座期间可执行的动作包括站起来、坐下或举手中的至少一种。

(5)根据(2)至(4)所述的图像处理设备，其中

参数设置单元将针对每种行动类型定义的第一加权因子设置为针对每个人的参数，以及

拍摄控制单元基于为每个人设置的第一加权因子来确定拍摄范围的中心。

(6)根据(5)所述的图像处理设备，其中

参数设置单元将针对每个行动出现次序定义的第二加权因子设置为针对每个人的参数，以及

拍摄控制单元基于为每个人设置的第一加权因子和第二加权因子来确定拍摄范围的中心和尺寸。

(7)根据(6)所述的图像处理设备，其中

拍摄控制单元确定拍摄范围的尺寸，以使第一加权因子和第二加权因子的乘积最大的人的整个身体被置于拍摄范围内。

(8)根据(2)至(7)所述的图像处理设备，其中

拍摄控制单元基于为每个人设置的参数来控制拍摄设备的拍摄视角。

(9)根据(8)所述的图像处理设备，其中

拍摄设备包括ptz相机，以及

拍摄控制单元控制拍摄设备的摇摄、俯仰和变焦。

(10)根据(9)所述的图像处理设备，其中

拍摄控制单元基于与视频中的人相关联的距离信息来控制拍摄设备的变焦。

(11)根据(2)至(7)所述的图像处理设备，其中

拍摄控制单元基于为每个人设置的参数来控制视频的剪切范围。

(12)根据(11)所述的图像处理设备，其中

拍摄设备包括广角相机。

(13)根据(2)至(12)所述的图像处理设备，其中

参数设置单元针对在视频中与多个人一起反映的多个对象中的每个对象设置与每个对象的状态对应的参数。

(14)根据(1)至(13)所述的图像处理设备，其中

视频是手术现场视频，以及

参数设置单元针对手术现场视频中的多个手术器械中的每个手术器械设置与每个手术器械的状态对应的参数。

(15)根据(1)所述的图像处理设备，其中

视频是生物样本的观察视频，以及

参数设置单元针对观察视频中的多个生物样本中的每个生物样本设置与每个生物样本的行为对应的参数。

(16)根据(15)所述的图像处理设备，其中

生物样本是细胞，以及

细胞的行为包括搏动、分裂、融合、键合、变形或移动中的至少一种。

(17)根据(1)所述的图像处理设备，其中

视频是车载相机视频，以及

参数设置单元针对车载相机视频中的人和自行车中的每一个设置与人和自行车中的每一个的状态对应的参数。

(18)根据(17)所述的图像处理设备，其中

人的状态包括步行、跑步或停止中的至少一种，以及

自行车的状态包括直线行驶或曲折行驶中的至少一种。

(19)一种图像处理方法，包括：

由图像处理设备为检测到至少一个状态的每个对象设置与视频中的多个被摄体中的每个被摄体的状态对应的参数；以及

由图像处理设备基于为每个被摄体设置的参数来控制由拍摄设备获得的视频的拍摄范围。

(20)一种用于使计算机执行处理的程序，包括：

为检测到至少一个状态的每个对象设置与视频中的多个被摄体中的每个被摄体的状态对应的参数；以及

基于为每个被摄体设置的参数来控制由拍摄设备获得的视频的拍摄范围。

(21)一种图像处理设备，包括：

电路系统，被配置为

检测第一图像中的多个被摄体的状态；

设置与多个被摄体的检测到的状态对应的参数；以及

基于为多个被摄体设置的参数的组合来确定用来获得第二图像的输出范围。

(22)根据(21)所述的图像处理设备，其中所述多个被摄体包括第一图像中的多个人，以及

电路系统被配置为基于第一图像中的所述多个人中的一个对应人的行动来设置每个参数。

(23)根据(21)或(22)所述的图像处理设备，其中对应人的行动是在讲座期间由所述对应人执行的动作。

(24)根据(21)至(23)中的任一项所述的图像处理设备，其中在讲座期间由对应人执行的动作包括站起来、坐下或举手中的至少一种。

(25)根据(21)至(24)中的任一项的图像处理设备，其中

电路系统被配置为基于第一图像中所述多个人中的对应人的行动的类型来为所述参数中的每个参数设置第一加权因子，以及

电路系统被配置为基于为所述参数中的每个参数设置的第一加权因子来确定第二图像的中心。

(26)根据(21)至(25)中的任一项所述的图像处理设备，其中电路系统被配置为基于第一图像中所述多个人中的对应人的行动的出现次序来为所述参数中的每个参数设置第二加权因子，以及

电路系统被配置为基于为所述参数中的每个参数设置的第一加权因子和第二加权因子来确定第二图像的中心。

(27)根据(21)至(26)中的任一项所述的图像处理设备，其中电路系统被配置为确定第二图像的输出范围，使得与所述参数中具有第一加权因子和第二加权因子的最大乘积的参数对应的人在第二图像内。

(28)根据(21)至(27)中的任一项所述的图像处理设备，其中电路系统被配置为基于参数来控制拍摄设备的拍摄视角。

(29)根据(21)至(28)中的任一项所述的图像处理设备，其中拍摄设备包括ptz相机，以及

电路系统被配置为控制拍摄设备的摇摄、俯仰和变焦。

(30)根据(21)至(29)中的任一项所述的图像处理设备，其中电路系统被配置为基于与第一图像中所述多个人中的至少一个人相关联的距离信息来控制拍摄设备的变焦。

(31)根据(21)至(30)中的任一项所述的图像处理设备，其中电路系统被配置为确定裁剪范围以获得第二图像。

(32)根据(21)至(31)中的任一项所述的图像处理设备，其中拍摄设备包括广角相机。

(33)根据(21)至(32)中的任一项所述的图像处理设备，其中所述多个被摄体包括第一图像中包括的至少一个人和至少一个物体。

(34)根据(21)至(33)中的任一项所述的图像处理设备，其中第一图像在手术现场视频中，以及

所述多个被摄体包括在手术现场视频中的多个手术器械。

(35)根据(21)至(34)中的任一项所述的图像处理设备，其中第一图像是在多个生物样本的观察视频中，

所述多个被摄体包括多个生物样本，以及

所述多个被摄体的检测到的状态是所述多个生物样本的行为。

(36)根据(21)至(35)中的任一项所述的图像处理设备，其中生物样本是细胞，以及

细胞的行为包括搏动、分裂、融合、键合、变形或移动中的至少一种。

(37)根据(21)至(36)中的任一项所述的图像处理设备，其中第一图像是车载相机视频，以及

所述多个被摄体包括车载相机视频中的至少一个人和至少一个自行车。

(38)根据(21)至(37)中的任一项所述的图像处理设备，其中人的状态包括步行、奔跑或停止中的一种，以及

自行车的状态包括直线行驶或曲折行驶中的一种。

(39)一种图像处理方法，包括：

检测第一图像中的多个被摄体的状态；

由图像处理设备设置与检测到的多个被摄体的状态对应的参数；以及

由图像处理设备并且基于为多个被摄体设置的参数的组合来确定用来获得第二图像的输出范围。

(40)一种其上存储有计算机可读指令的非暂态计算机可读存储介质，所述计算机可读指令由计算机执行时使计算机执行方法，包括：

检测第一图像中的多个被摄体的状态；

设置与多个被摄体的检测到的状态对应的参数；以及

基于为多个被摄体设置的参数的组合来确定用来获得第二图像的输出范围。

附图标记

10拍摄设备

20图像处理设备

30输入和输出设备

40记录设备

51状态检测单元

52参数设置单元

53拍摄控制单元

71行动检测单元

72参数设置单元

73拍摄控制单元

81中心计算单元

82视角确定单元