使用基于图像的对象跟踪的自动化电影制作的制作方法

背景技术：

电影脚本是文档，通常是编剧的作品，它指定角色的移动、动作、表情和对话以及电影的音效和其他设置。电影脚本可以基于电影业采用的各种不同格式。视场(fov)是由相机成像的场景的范围。fov内部的对象将出现在相机捕获和/或输出的图像中。例如，fov可对应于相机镜头将输入到相机的光学传感器的光透射到其中的立体角。

技术实现要素：

总体上，在一个方面，本发明涉及一种用于图像捕获的方法。该方法包括：通过将光传感设备设置在场景中的一个或多个位置，从所述场景中的一个或多个位置中的每个位置生成可见光源的方向；至少基于所述可见光源的方向和预定的图像捕获标准，生成所述图像捕获的物理配置，其中，所述物理配置包括由选自目标相机位置和场景中的目标对象位置组成的组中的至少一个；以及基于所述图像捕获的物理配置向相机设备发送命令来捕获所述场景中对象的图像。

总体上，在一个方面，本发明涉及一种图像捕获控制器，该图像捕获控制器包括：计算机处理器和存储指令的存储器，在被执行时，导致计算机处理器执行以下操作：通过将光传感设备设置在场景中的一个或多个位置，从所述场景中的一个或多个位置中的每个位置生成可见光源的方向；

至少基于可见光源的方向和预定的图像捕获标准，生成所述图像捕获的物理配置，其中，所述物理配置包括选自由目标相机位置和场景中的目标对象位置组成的组中的至少一个；以及基于所述图像捕获的物理配置向相机设备发送命令来捕获所述场景中对象的图像。

总体上，在一个方面，本发明涉及一种用于图像捕获的系统。该系统包括光传感设备、相机设备、以及图像捕获控制器，其被配置为：通过将光传感设备设置在场景中的一个或多个位置，从所述场景中的一个或多个位置中的每个位置生成可见光源的方向；至少基于可见光源的方向和预定的图像捕获标准，生成所述图像捕获的物理配置，其中，所述物理配置包括选自由目标相机位置和场景中的目标对象位置组成的组中的至少一个；以及基于所述图像捕获的物理配置向相机设备发送命令来捕获所述场景中对象的图像。

总体上，一方面，本发明涉及一种存储用于图像捕获的指令的非暂时性计算机可读介质，所述指令在由计算机处理器执行时包括以下功能：通过将光传感设备设置在场景中的一个或多个位置，从所述场景中的一个或多个位置中的每个位置生成可见光源的方向；至少基于可见光源的方向和预定的图像捕获标准，生成所述图像捕获的物理配置，其中，所述物理配置包括选自由目标相机位置和场景中的目标对象位置组成的组中的至少一个；以及基于所述图像捕获的物理配置向相机设备发送命令来捕获所述场景中对象的图像。

通过以下描述和所附权利要求书，本发明的其他方面将变得显而易见。

附图说明

图1.1、1.2和1.3示出了根据本发明的一个或多个实施方案的系统的示意性框图。

图2.1和2.2示出了根据本发明的一个或多个实施方案的方法流程图。

图3.1、3.2、4、5和6示出了根据本发明的一个或多个实施方案的各种示例。

图7.1和7.2示出了根据本发明的一个或多个实施方案的计算系统。

具体实施方式

现在将参考附图详细描述本发明的特定实施方案。为了一致性，各个附图中的相同元件可以由相同的附图标记表示。

在下面对本发明的实施方案的详细描述中，阐述了许多具体细节以便提供对本发明的更透彻的理解。然而，对于本领域的普通技术人员将显而易见的是，本发明可以在没有这些具体细节的情况下被实施。在其他情况下，没有详细描述众所周知的特征，以避免不必要地使描述变得复杂。

在以下描述中，在本发明的各种实施方案中，附图描述的任何组件可以等同于任何其他附图描述的一个或多个相同名称的组件。为了简洁起见，基于各种图例隐式地标识了这些组件的至少一部分。此外，将不再重复每个附图中关于这些组件的描述。因此，每个附图的组件的每个和每一个实施方案通过引用的方式并入，并假定为可选地存在于具有一个或多个相同名称的组件的每个其他附图中。另外，根据本发明的各种实施方案，对附图的组件的任何描述都将被解释为可选的实施方案，该可选的实施方案可以附加地、结合于或代替与其他任何附图中对应的类似名称的组件相关的实施方案而实现。在附图中，黑色实线共线点表示可以可选地存在与实线共线点之前和/或之后的组件相似的附加组件。此外，连接附图的各组件的实线或虚线表示所连接的组件之间的关系。虚线表示该关系可能不包括任何物理连接或物理元件或不与之相关联。

在申请通篇中，序数(例如，第一、第二、第三等)可以用作元素(即，申请中的任何名词)的形容词。除非明确公开，例如通过使用术语“之前”，“之后”，“单个”和其他此类术语，否则序数的使用并不暗示或创建元素的任何特定顺序，也不意味着将任何元素限制为单个元素。相反，使用序数是为了区分元素。举例来说，第一元素不同于第二元素，并且第一元素可以包含一个以上的元素，并且可以按照元素的顺序在第二元素之后(或之前)。

在本发明的一个或多个实施方案中，使用光传感设备生成来自场景中一个或多个位置的可见光源的方向。分析电影脚本以确定电影的图像帧的预定图像捕获标准。每幅图像帧的图像捕获标准包括光照条件例如正面光、侧面光和背面光，以及图像捕获类型例如特写、半身像、全身像和广角。尽管本文的描述仅以示例的方式例示了以上光照条件和图像捕获类型，但是可以选择其他光照条件和图像捕获类型。至少基于可见光源的方向和图像捕获标准，为每幅图像帧生成目标相机位置和/或场景中的目标对象位置。因此，相机设备基于目标相机位置和/或目标对象位置来捕获场景中的对象的图像。在一个或多个实施方案中，自动图像捕获控制器使用基于图像的对象跟踪技术来生成目标相机位置和/或目标对象位置，以及指示相机设备执行图像捕获。

图1.1示出了根据一个或多个实施方案的系统100。在一个或多个实施方案中，图1.1中所示的一个或多个模块和元件中可以被省略、重复和/或替换。因此，本发明的实施方案不应被认为限于图1.1所示的模块的特定布置。

如图1.1所示，系统100包括具有视场(fov)141的相机镜头111a的相机设备110、自动图像捕获控制器120、场景140、场景140内的一个或多个对象(例如，对象a142a、对象b142b)，可见光源118和光传感设备112。一个或多个对象可以出现在fov141内，例如对象a142a整体或对象b142b的一部分。光源是光的来源，可以是可见光或红外光。术语“光源”还可以指由光源在捕获的图像中产生的对应点。可见光源118发出可见光以照亮场景140中的一个或多个对象(例如，对象a142a、对象b142b)，从而使对象的图像(例如照片、录像，等等)可以由相机设备110捕获。在一个或多个实施方案中，一个或多幅图像被捕获为静止图像或照片。在一个或多个实施方案中，一个或多幅图像被捕获为录像的帧，例如被称为电影中的图像帧。场景140中某个位置的光照方向(例如，光照方向a119a、光照方向b119b)是从可见光源118发出的可见光照亮该特定位置的方向。光传感设备112是感应从光源(例如从可见光源118)发出的光的方向的设备。例如，光传感设备112可以包括安装在倾斜和旋转平台上的互补金属氧化物半导体(cmos)或电荷耦合装置(ccd)传感元件。在一个或多个实施方案中，倾斜和旋转平台使cmos或ccd传感元件定向以检测入射光线的方向(即，光照方向a119a)。在一个或多个实施方案中，可见光源118距离场景140足够远，使得场景140中各处的光照方向彼此平行。例如，可见光源118可以是从太阳发射的自然太阳光，使得光照方向a119a和光照方向b119b在场景140内基本相同。在一个或多个实施方案中，可见光源118在场景140附近或之内，使得场景140中的光照方向位置相关。在这样的实施方案中，光照方向a119a和光照方向b119b是场景140内的明显不同的方向。

在本发明的一个或多个实施方案中，相机设备110是具有一个或多个相机镜头(例如，相机镜头111a)和关联组件(例如，光学传感器(未示出))的设备，用于拍摄照片/或录像。具有通信能力的专用相机是相机设备110的示例。在一个或多个实施方案中，相机设备110是移动设备，例如具有内置相机的移动电话，称为智能手机。智能手机可以具有带有图形用户界面的显示器，该显示器占据正面的很大一部分(例如70％或更大)。相机镜头111a可以在智能手机的正面或背面。在一个或多个实施方案中，光传感设备112被集成在相机设备110中，并且是用于拍摄照片和/或录像的相同的cmos或ccd传感元件。

在一个或多个实施方案中，场景140是由相机设备110成像的动作或事件发生的地方。特别地，动作或事件可以与对象(例如，对象a142a、对象b142b)相关联。此外，一个或多个对象可以是静止的、不时运动的或在场景140内不断运动的。视场(fov)141是由相机设备110使用相机镜头111a成像的场景140的范围。换句话说，在fov141内的对象(例如，对象a142a)将出现在由相机设备110捕获和/或输出的图像中。例如，fov141可以对应于相机镜头111a在其内投射光输入到相机设备110关联的光学传感器(未示出)的立体角。在一个或多个实施方案中，fov141的中心141a与相机镜头111a的光轴111对准。光轴111是穿过相机镜头111a的光学元件的假想线。在一个或多个实施方案中，fov141根据相机镜头111a如何相对于场景140定向、相对于场景140缩放或相对于场景140定位而对应于场景140的不同部分。在一个或多个实施方案中，对象a142a可以在动作或事件期间在场景140内移动。对象跟踪是导致相机镜头111a相对于场景140定向、相对于场景140缩放或相对于场景140定位的动作，以使对象a142a在图像捕获期间连续位于fov141内或位于fov142内的目标位置。通常，场景中的对象(例如，对象a142a)的位置对应于出现在fov142中或出现在捕获图像中的对象的位置。在本申请通篇中，术语“对象跟踪”和“跟踪”可以互换地使用。在一个或多个实施方案中，当对象a142a不在fov141的中心141a处时，对象a142a在由相机设备110捕获的图像中偏心出现。出现在图像中的对象a142a的位置偏移(相对于图像中心)与光轴111和从相机镜头111a到fov141中的对象a142a的方向146之间的角度成正比。

如由可见光源118照明，可以在不同的光照条件下捕获对象(例如，对象a142a)的图像，例如正面光、侧面光和背面光。光照角度是在对象的发光方向和从相机镜头111a到对象的方向之间形成的角度。例如，在对象a142a位于对象位置144a以及相机设备110位于相机位置145a的情况下，光照角度135是表示为α的钝角。通常，正面光是通过使相机设备110和可见光源118位于对象的同一侧来照亮对象的。在正面光条件下，光照角度小于预定的正面光阈值，例如60度。相反，背面光是通过使相机设备110和可见光源118位于对象的相对侧来照亮对象。在背面光的条件下，光照角度超过预定的背光阈值，例如140度。侧面光通过使相机设备110和可见光源118位于对象的正交侧来照亮对象。在侧面光条件下，光照角度在预定的正面光阈值和预定的背面光阈值之间，例如在60度和140度之间。在对象a142a位于对象位置144a并且相机设备110位于相机位置145a的情况下，光照角度135是60度至140度之间的角度，使得对象a142a的图像可以由相机设备110在侧面光条件下捕获。在对象a142a位于目标对象位置144b并且相机设备110处于相机位置145a的情况下，光照角度将超过140度，使得对象a142a的图像可以由相机设备110在背面光条件下捕获。在对象a142a位于对象位置144a并且相机设备110位于目标相机位置145b的情况下，光照角度将小于60度，使得对象a142a的图像可以由相机设备110在正面光条件下捕获。在可见光源118相对于场景140处于固定位置的情况下，对象a142a的图像可以通过相对于彼此以及相对于可见光源118移动对象a142a和/或相机设备110在不同的光照条件下由相机设备110捕获。尽管在上面的示例中使用了预定的正面光阈值和预定的背面光阈值的特定值(即60度和140度)，但是还可以使用预定的正面光阈值和预定的背面光阈值的其他值。基于光照方向，预定的正面光阈值，和预定的背面光阈值，可以将目标相机位置确定为由当前对象位置参考的角扇区(angularsector)，以实现指定的光照条件。类似地，可以将目标对象位置确定为当前相机位置参考的角扇区，以实现指定的光照条件。

被摄对象比率(subjectratio)是fov141中出现的一部分对象所占的fov141的分数(例如，百分比)。因此，被摄对象比率确定图像中出现的对象的可见部分所占的图像尺寸的分数(例如，百分比)。在一个或多个实施方案中，被摄对象比率取决于相机镜头111a的焦距与对象和相机镜头111a之间的距离的比率。例如，随着对象与相机镜头111a之间的距离的增加，被摄对象比率降低。特写是一种紧紧框住对象(尤其是人)的图像捕获类型。在特写类型的图像捕获中，被摄对象比率超过预定的特写尺寸阈值，例如70％。半身像是一种将人的上半身紧紧框住的图像捕获类型。在半身像类型的图像捕获中，只有被摄对象的上半身出现在半身像图像中，被摄对象比率超过预定的半身像尺寸阈值，例如60％。全身像是一种将人的整个身体紧紧框住的图像捕获。在全身像类型的图像捕获中，对象的整个身体出现在全身像图像中，被摄对象比率超过了预定的全身像尺寸阈值，例如50％。广角是一种图像捕获类型，其中作为立体角的fov超出了预定的广角角度阈值，例如120度。出现在广角图像中的对象的被摄对象比率小于预定的广角尺寸阈值，例如15％。通常，可以通过相对于彼此移动对象a142a和/或相机设备110以特写、半身像、全身像或广角条件来捕获对象a142a的图像。基于相机镜头111a的焦距和放大系数(zoomfactor)，可以将目标相机位置确定为当前对象位置所参考的径向距离范围，以实现指定的图像捕获类型和被摄对象比率。类似地，可以将目标对象位置确定为当前相机位置参考的径向距离范围，以实现指定的图像捕获类型和被摄对象比率。在一个或多个实施方案中，可以使用图像算法来确定被摄对象比率，该图像算法基于对象(例如，人、猫或狗)的模型来分析图像中对象所占的像素。可以基于期望的被摄对象比率来确定目标相机位置和/或目标对象位置。在一个或多个实施方案中，在不改变目标相机位置和/或目标对象位置的情况下，可以裁剪由相机设备捕捉的图像以实现指定的图像捕捉类型和对象的被摄对象比率。在一个或多个实施方案中，相机设备捕获的图像可以被裁剪以实现指定的图像捕获类型和对象的被摄对象比率，以及改变目标相机位置和/或目标对象位置。

在一个或多个实施方案中，电影脚本可以包括一种机器可读格式，该格式除其他信息外还指定了电影的一个或多幅图像帧的光照条件和被摄对象比率。例如，对象可以是静止的或在图像帧中移动。根据在每幅图像帧中指定的光照条件和被摄找对象比率，可以将对象(例如，对象a142a、对象b142b)和/或相机设备110放置在场景140内以生成图像帧。

在一个或多个实施方案中，自动图像捕获控制器120包括硬件组件、软件组件或其组合。在一个或多个实施方案中，自动图像捕获控制器120被配置为至少基于可见光源118的方向和预定的图像捕获标准来生成图像捕获的物理配置。在一个或多个实施方案中，图像帧的图像捕获标准指定光照条件、图像捕获模式和要捕获的图像的被摄对象比率。物理配置包括场景中的目标相机位置和/或目标对象位置以捕获图像。

在一个或多个实施方案中，自动图像捕获控制器120还被配置为生成控制信息以将对象(例如，对象a142a、对象b142b)和/或相机设备110引导至场景140中用于图像捕获的目标相机位置和/或目标对象位置。例如，控制信息可以包括或用于生成可见或可听的方向指令或电子控制信号。在一个或多个实施方案中，电子控制信号是指定由软件应用程序使用的位置或方向信息的数字数据消息。例如，数字数据消息可以无线发送。在一个或多个实施方案中，电子控制信号是触发硬件执行重新定位或定向功能的模拟电信号。例如，模拟电信号可以是无线信号。当对象(例如，对象a142a、对象b142b)和/或相机设备110位于目标对象位置和/或目标相机位置时，自动图像捕获控制器120发送信号或命令给相机设备110来触发图像捕获。在一个或多个实施方案中，自动图像捕获控制器120使用参照下面的图2.1和2.2描述的方法根据电影脚本生成图像帧的图像捕获标准，并控制相机设备捕获满足相应图像捕获标准的图像帧。

尽管图1.1所示的系统100仅包括一个相机设备和一个光源，多个相机设备和多个光源也是可能的。例如，根据电影脚本，多个相机设备可以被配置为根据不同的光照条件、不同的图像捕获类型和不同的被摄对象比率同时从不同的相机位置捕获单个对象的图像。

图1.2示出了以上图1.1描绘的的系统100的另外的示例细节。在一个或多个实施方案中，图1.2中所示的一个或多个模块和元件中可以被省略、重复和/或替换。因此，本发明的实施方案不应被认为限于图1.2所示的模块的特定布置。

如图1.2所示，系统100包括与上面的图1.1所示的组件基本相同的组件，下面描述的其他组件除外。特别地，相机设备110由安装在移动平台129上的相机设备支架(holder)130保持。此外，光源a143a被示为附接到对象a141a的反射ir(红外)光源。远程光发射器114发出频闪光a115照在反射光源a143a上生成对象反射光116。另外，光源b143b是附接到对象b142b上并发出频闪光b117的本地红外光发射器。对象反射光116和频闪光b117是由相机设备110的红外传感器111b通过相机镜头111a捕获的红外光线，以生成一张或多张红外图像。在本发明通篇中，远程光发射器和本地光发射器被称为光发射器，并且频闪光可以由远程光发射器或本地光发射器发射。

在本发明的一个或多个实施方案中，相机设备110、自动图像捕获控制器120、相机设备支架130和移动平台129彼此通信耦合。在本发明的一个或多个实施方案中，远程光发射器114、相机设备110、自动图像捕获控制器120、相机设备支架130和移动平台129中的两个或更多个被集成到单个设备中。例如，自动图像捕获控制器120的至少一部分可以被包括在相机设备110中。在另一示例中，自动图像捕获控制器120的至少一部分可以被包括在相机设备支架130中。在又一示例中，自动图像捕获控制器120的一部分被包括在相机设备110中，而自动图像捕获控制器120的另一部分被包括在相机设备支架130中。类似地，远程光发射器114和/或光传感设备112可以与相机设备110、自动图像捕获控制器120或相机设备支架130集成在一起。

在一个或多个实施方案中，光发射器(例如，光源b143b的远程光发射器114或本地光发射器)是任何发光的设备。例如，光发射器可以以大角度(例如，超过45度的平面角、1平方弧度的立体角等)发光，作为泛光发射器。在另一个示例中，光可以发射准直光束作为准直光发射器。远程光发射器114可以与对象a142a分开例如一定距离，例如1米或更大。在一个或多个实施方案中，光发射器包括发光二极管(led)。在一个或多个实施方案中，频闪光(例如频闪光a115、频闪光b115)不时改变强度和/或波长。例如，频闪灯可以根据特定的占空比(即，当光模式具有亮水平时的时间百分比)和重复率(即在一个单位时间内强度改变的时间)产生自由运行的光变化模式。如本文所使用的，光变化模式是光的强度和/或波长变化的模式。在一个或多个实施方案中，与相机设备110的帧率相比，光发生器以低重复率(例如10赫兹、20赫兹等)产生光变化模式。帧率是在单位时间内由相机设备110捕获的图像的数量(例如，连拍静止图像或录像)。在一个或多个实施方案中，光发生器产生与相机设备110的帧率同步的光变化模式。在一个或多个实施方案中，光发射器发射红外光。换句话说，频闪光具有例如在700纳米(nm)和1毫米(mm)之间的红外波长。在本发明通篇中，术语“红外波长”是指700nm至1mm之间的波长。在一个或多个实施方案中，由频闪光产生的光变化模式表示编码的数字数据。例如，由红外频闪光产生的编码的数字数据可以类似于红外远程控制代码。

在本发明的一个或多个实施方案中，反射光源a143a是对象a142a的反射区域，其反射频闪光a115以产生对象反射光116。在这种情况下，反射光源a143a被称为发射对象反射光116。在一个或多个实施方案中，反射区域对红外波长的反射率高于对可见波长的反射率。例如，较高的反射率可以基于对红外波长的反射率比对可见波长的反射率高的反射材料。当频闪光a115和环境光(未示出)都照在反射区域上时，对象反射光116的来自频闪光a115的红外反射率(content)可能比来自环境可见光的可见光的反射率高。在一个或多个实施方案中，对象a142a是人、动物、机器人或任何其他运动对象，并且反射光源a143a包括附着到对象a142a的反射材料。例如，反射材料可以是人、动物、机器人或任何其他运动对象穿戴或以其他方式附接的腕带、臂带、皮带、指环、吊坠、项链、帽子、手套、衣服等的一部分。在一个或多个实施方案中，反射材料可包括金属、介电材料或金属与介电材料的组合。在一个或多个实施方案中，反射材料可以是上述腕带、臂带、皮带、指环、吊坠、项链、帽子、手套、衣服等的表面上的涂层或涂膜。例如，涂层或涂膜可包括红外反射颜料，例如二氧化钛。特别地，二氧化钛对于红外波长可以具有超过75％的反射率。

在一个或多个实施方案中，反射材料包括几何图案，该几何图案对于红外波长具有几何变化的反射率，以产生几何光变化图案。特别地，反射材料的几何图案产生由相机镜头捕获的对象反射光的空间变化，作为与环境光的额外区别。换句话说，几何图案提高了反射光源的检测精度。如本文所使用的，几何光变化图案是根据几何图案的光强度变化的模式。例如，可以通过使用前述红外反射颜料例如二氧化钛的表面涂覆/喷涂来产生几何图案。在一个或多个实施方案中，来自反射光源a143a的对象反射光116包括基于上述源自远程光发射器114的光变化模式的时间调制和/或基于反射光源a143a的几何光变化图案的空间调制。

在本发明的一个或多个实施方案中，相机设备支架130被配置为机械地保持相机设备110，并响应于来自自动图像捕获控制器120的控制信号来调整相机镜头111a的fov141。例如，相机设备支架130可以包括用于调整相机镜头111a的相机角度的电动倾斜和旋转平台。在另一个示例中，相机设备支架130可以包括用于调整相机镜头111a相对于场景140的位置的电动水平和垂直滑动设备。滑动设备可以包括用于保持和移动相机设备110的机械平台。相机设备支架130的示例参照下面的图3.1和3.2进行描述。

在一个或多个实施方案中，自动图像捕获控制器120使用参考图2.2描述的方法，基于附接到对象(例如，对象a142a、对象b142b)的光源执行对象跟踪。自动图像捕获控制器120还被配置为基于对象跟踪来确定对象(例如，对象a142a、对象b142b)的位置。如参考以上图1.1所述，光轴111和从相机镜头111a到对象a142a的方向146之间的角度可以基于出现在捕获的红外图像中的对象a142a的位置偏移(相对于图像中心)来确定。在一个或多个实施方案中，自动图像捕获控制器120被配置为当相机设备110位于不同位置时分析光轴111的方向和对象a142a的角度。例如，在相机设备110移动到不同位置的情况下，可以基于来自自动图像捕获控制器120的控制信息，由相机设备支架130将光轴111保持在固定方向上。因此，可以基于从不同相机位置捕获的红外图像中出现的对象a142a的位置偏移，使用三角测量技术来确定对象a142a的位置。在一个或多个实施方案中，自动图像捕获控制器120可以使用三角测量以外的方法来确定对象a142a的位置。例如，可以使用激光测距仪或超声波测距仪来确定对象a142a与相机设备111a之间的距离。因此，自动图像捕获控制器120可以基于从多个相机位置测量的距离，使用三边测量技术来确定对象a142a的位置。

在一个或多个实施方案中，自动图像捕获控制器120被配置为生成用于跟踪对象a的感兴趣区域142a。在一个或多个实施方案中，基于对象a142a的动态模型和光源a143a在捕获的红外图像中的位置来生成感兴趣区域。对于对象a142a是人的示例，动力学模型描述了人体的可移动元素(例如，手臂、手腕、手、头、躯干、腿等)之间的机械连接(linkage)。动态模型考虑了人体可能的姿势。例如，考虑到光源a143a被附接到人体的特定可移动元素(例如，手腕)，则相对于特定可移动元素(例如，手腕)的其他可移动元素(例如，手臂，手、头、躯干、腿等)的范围限制可以基于动态模型确定以生成表示人体在场景140中可能出现的感兴趣区域的概率图。感兴趣区域可以促进在图像的有限区域(即，在感兴趣区域内)中对象的精确结构的计算，这可以显著降低对计算资源的需求。因此，满足特定图像捕获类型(例如，特写、半身像、全身像和广角)的对象a142a和相机设备110之间的距离可以基于在图像中出现的对象尺寸和fov141的立体角来确定，这取决于相机镜头111a的焦距和放大系数。在一个或多个实施方案中，自动图像捕获控制器120被配置为基于感兴趣区域以及相机镜头111a的焦距和放大系数来确定满足由电影脚本指定的图像捕获类型的距离。因此，在根据电影脚本基于当前对象位置和/或当前相机位置来确定目标相机位置和/或目标对象位置时使用该距离。在一个或多个实施方案中，自动图像捕获控制器120被配置为确定出现在图像中的对象的被摄对象比率。因此，被摄对象比率用于根据电影脚本基于当前对象位置和/或当前相机位置来确定目标相机位置和/或目标对象位置。

在本发明的一个或多个实施方案中，移动平台129是根据由自动图像捕获控制器120生成的控制信息在场景140之内和/或之外运动的载体。在一个或多个实施方案中，移动平台129是机器人、机动车或无人机，其保持相机设备110并由位置控制信号驱动以移动至目标相机位置。

在一个或多个实施方案中，移动平台129是拿着相机设备110的人类用户。相机设备110输出来自自动图像捕获控制器120的控制信息作为指示人类用户移动到目标相机位置的指令。

在一个或多个实施方案中，对象(例如，对象a142a、对象b142b)可以包括人类对象，例如电影演员。在这样的实施方案中，来自自动图像捕获控制器120的控制信息可以包括引导人类对象移动到目标对象位置的指令。

尽管图1.2中所示的光源既包括本地光发射器又包括反射光源，在仅使用本地光发射器器或仅使用反射光源的情况下，其他配置也是可能的。例如，光源a143a和光源b143b都可以是本地光发射器。在另一示例中，光源a143a和光源b143b都可以是由单个远程光发射器114发出的反射光源。

尽管图1.2所示的系统100仅包含一个相机设备和相机设备支架，包含多个相机设备和多个相机设备支架也是可能的。例如，多个相机设备可以被配置为同时跟踪具有不同编码光源的不同对象而不产生冲突。

图1.3示出了根据一个或多个实施方案的自动图像捕获控制器120的细节。图1.3的下列描述是指以上图1.1和1.2中描述的各种组件。在一个或多个实施方案中，图1.3中所示的模块和元件中的一个或多个可包括多个组件可以被省略、重复和/或替换。因此，本发明的实施方案不应被认为限于图1.3所示的模块的特定布置。

如图1.3所示，自动图像捕获控制器120包括硬件处理器121、存储器122和存储库123。在本发明的一个或多个实施方案中，硬件处理器121对应于以下图7.1所示的计算机处理器702。类似地，存储器122和存储库123对应于以下图7.1中所描绘的非持久性存储器704和/或持久性存储器706。例如，存储器122可以存储软件指令，该软件指令在被执行时使硬件处理器121执行自动图像捕获控制器120的执行图像捕获和对象跟踪功能。在一个或多个实施方案中，自动图像捕获控制器120根据参考下面的图2.1和2.2描述的方法流程图来执行各种功能。在一个或多个实施方案中，存储器122存储指令以执行参考下面的图2.1和2.2描述的方法流程图的一个或多个部分。在一个或多个实施方案中，自动图像捕获控制器120和相机设备110被集成到单个设备中。在这样的实施方案中，执行参考图2.1和2.2描述的方法流程图的一个或多个部分的指令是移动应用程序或移动app的一部分，移动应用程序是一种用户可安装的软件应用程序，设计为在智能手机或其他移动设备上运行。

进一步如图1.3所示，储存库123包括红外图像序列(sequenceofirimages)126、光变化模式124、位移125、运动参数128和目标位置127。特别地，红外图像序列126包括由相机设备110捕获的连续图像(例如，红外图像a126a)。例如，红外图像a126a对应于场景140的在特定时间点被fov141覆盖的部分。光变化模式124是光强度和/或波长在红外图像序列126上的不同强度水平和/或波长之间交替的模式。

在一个或多个实施方案中，光变化模式124对应于红外图像序列126的每个红外图像中的斑点。例如，可以通过每个红外图像中的像素位置或连接的像素位置的集合来定义斑点。在此上下文中，将光变化模式124称为由相机设备110捕获的局部光变化模式。在一个或多个实施方案中，光变化模式124由频闪光(例如，频闪光a115、频闪光b117)产生，并指示光源143在每个红外图像内的位置。换句话说，可以基于在红外图像序列126上找到光变化模式124的位置来确定每个红外图像内的光源(例如，光源a143a、光源b143b)的位置。例如，光变化模式124指示光源在红外图像a126a中的位置a127a处。类似地，红外图像序列126中的每个其他红外图像与光源的位置相关联。目标位置127是自动图像捕获控制器120被配置为用于跟踪对象(例如，对象a142a、对象b142b)的预定位置。例如，目标位置127可以被定义为fov141的中心，其对应于红外图像序列126中的每个红外图像的中心。换句话说，自动图像捕获控制器120被配置为调整fov141，使得被跟踪的对象出现在调整之后的红外图像的中心(即，目标位置127)。在其他示例中，目标位置127可以被定义为与fov141的中心不同的位置。位移125是目标位置127和红外图像中的光源的位置(例如，位置a127a)之间的位置偏移。在一个或多个实施方案中，位移125包括水平距离和垂直距离。位移125可由基于多个像素或任何其他合适的距离比例表示。在一个或多个实施方案中，对象可以是使得光源的位置(例如，位置a127a)可以在红外图像序列126中从一副图像到另一副图像变化的对象。在这样的实施方案中，运动参数128是光源的位置(例如，位置a127a)随时间的变化率。例如，运动参数128可以包括光源的位置(例如，位置a127a)从红外图像序列126中的一副图像到下一副图像的变化。取决于跟踪的对象的运动方向，运动参数128可以包括水平部分和垂直部分。在数学上，运动参数128对应于位移125随时间的导数。

在一个或多个实施方案中，光变化模式124包括光强度变化和/或光波长变化。特别地，光强度变化和/或光波长变化与变化的重复率相关。在一个或多个实施方案中，光强度变化和/或光波长变化以及相关的重复率定义了数字代码。例如，数字代码可以包括头部和随后的数字模式，其中头部和随后的数字模式可以在光变化模式124内重新出现。该数字代码对于场景140中的每个光源可以是不同的，并且可以用于识别与光源附接的对象。在这种情况下，将由光强度变化和/或光波长变化与光变化模式124的相关重复率定义的数字代码称为对象识别码124a。在一个或多个实施方案中，光强度变化和/或光波长变化是由光发生器产生的时间变化。在一个或多个实施方案中，光强度变化和/或光波长变化还包括由反射光源的前述几何图案产生的空间变化。

在一个或多个实施方案中，自动图像捕获控制器120基于以上的图像序列126、光变化模式124、位移125、运动参数128和目标位置127来执行fov调整功能。具体地，自动图像捕获控制器120使用参考以下图2描述的方法来执行fov调整功能。图像序列126、光变化模式124、对象识别码124a、位移125和运动参数128的示例参照下面的图4-6所述。

图2.1示出了根据一个或多个实施方案的流程图。图2.1所示的过程可由例如由以上讨论的参照图1.1、1.2和1.3的一个或多个组件来执行。图2.1中所示的一个或多个步骤在本发明的不同实施方案之间，可以以不同的顺序被省略、重复和/或执行。因此，本发明的实施方案不应被认为限于图2.1中所示的步骤的特定数目和布置。

最初，在步骤241中，从场景中的位置生成可见光源的方向。在本发明的一个或多个实施方案中，将光传感设备放置在场景中的一个或多个位置处，以从每个位置确定可见光源的方向。在一个或多个实施方案中，光传感设备是嵌入在相机设备中的可见光传感器。在相机设备位于特定位置并且可见光传感器朝向各种方向的情况下，可见光传感器用于捕获与这些方向相对应的多幅图像。每幅图像都是全景照片(photosphere)的一部分，其以相机设备为中心，或者更具体地以可见光传感器的位置为中心。使用硬件处理器分析捕获的图像，以选择可见光源出现的图像。如果可见光源出现在多幅图像中，则选择具有最接近图像中心的可见光源的图像。因此，将与所选择的图像相对应的可见光传感器的方向确定为代表可见光源的方向，即，放置光传感设备的位置处的光照方向。

在一个或多个实施方案中，可见光源(例如，来自太阳的自然太阳光)离场景足够远，使得场景中各处的光照方向彼此平行。在这样的实施方案中，可以如上所述通过将光传感设备放置在场景中的任何单个位置处来确定整个场景的光照方向。在一个或多个实施方案中，可见光源在场景附近或场景内，使得场景中的光照方向位置相关。在这样的实施方案中，光传感设备可以被放置在如上所述确定两个或更多个光照方向的场景中的两个或更多个位置。可见光源的位置可以基于两个或更多个直接确定的光照方向使用三角测量法以数学方式得出。因此，场景中任何特定位置的光照方向是从数学方式得出的可见光源位置到场景中特定位置的方向。换句话说，可以在不将光传感设备放置在特定位置的情况下确定在特定位置的光照方向。

在步骤242中，分析电影脚本以确定电影中图像的图像捕获标准。在本发明的一个或多个实施方案中，图像捕获标准指定图像中对象的光照条件和图像捕获类型。因此，分析电影脚本以确定特定图像中对象的正面光、侧面光和背面光之一。另外，分析电影脚本以确定特定图像的特写、半身像、全身像和广角图像捕获类型之一。在一个或多个实施方案中，电影脚本为机器可读格式，并由计算机处理器进行分析。还基于电影脚本为每种图像捕获类型确定特定图像中的目标位置和被摄对象比率。在一个或多个实施方案中，场景中的对象包括多个演员，例如主角和配角。在一个或多个实施方案中，演员可以是人类、动物、机器人或任何其他移动的物体。在这样的实施方案中，电影脚本被进一步分析以识别光照条件和图像捕获类型属于主角和配角中的哪一个。

在步骤243中，基于场景的光照方向和针对特定图像的指定的光照条件和图像捕获类型来生成目标相机位置和/或目标对象位置。在一个或多个实施方案中，对象在特定图像中是静止的，并且生成目标相机位置以满足特定图像的指定光照条件和图像捕获类型。例如，可以基于指定的光照条件将目标相机位置确定为相对于静止对象位置在某个角域内。此外，可以基于指定的被摄对象比率将目标相机位置确定为相对于静止对象位置在一定的径向距离范围内。因此，可以基于以上确定的角扇区与径向距离范围的交点来确定目标相机位置。可以基于附加约束来进一步确定目标相机位置，例如最小化当前相机位置和目标相机位置之间的距离或避免目标相机位置和静止对象位置之间的障碍。在一个或多个实施方案中，使用参照以下图2.2描述的方法确定静止对象的位置。

在一个或多个实施方案中，相机设备在特定图像的预定位置处是静止的，并且生成目标对象位置以满足特定图像的指定光照条件和图像捕获类型。例如，可以基于指定的光照条件将目标对象位置确定为相对于静止相机位置在某个角扇区内。此外，可以基于指定的被摄对象比率将目标对象位置确定为相对于静止相机位置在一定的径向距离范围内。因此，可以基于以上确定的角扇区和径向距离范围的交点来确定目标对象位置。可以基于附加约束来进一步确定目标对象位置，例如最小化当前对象位置与目标对象位置之间的距离或避免目标对象位置与静止相机位置之间的障碍。在一个或多个实施方案中，使用参照以下图2.2描述的方法确定当前对象位置。

在一个或多个实施方案中，场景中的对象包括多个演员，例如主角和配角。在一个或多个实施方案中，演员可以是人类、动物、机器人或任何其他移动的物体。在这样的实施方案中，根据电影脚本，生成与特定图像的主角或配角有关的目标相机位置和/或目标对象位置。在一个或多个实施方案中，使用参考以下图2.2描述的方法来跟踪主角或配角。

在步骤244中，将相机设备和/或对象引导到在上面的步骤243中确定的对应目标位置。例如，可以通过自动控制机器人平台或通过自动生成可听/可见(audible/visible)指令给保持相机设备的人和/或对象的方式来将相机设备和/或对象引导至相应的目标位置。在一个或多个实施方案中，对象在特定图像中是静止的，并且相机设备被引导到目标相机位置，以满足特定图像的指定光照条件和图像捕获类型。在一个或多个实施方案中，相机设备被设置在移动平台上。在这样的实施方案中，生成位置控制信号以引导移动平台移动到目标相机位置。

在一个或多个实施方案中，移动平台是保持相机设备并由位置控制信号驱动以移动到目标相机位置的机器人平台。在一个或多个实施方案中，移动平台是拿着相机设备的人类用户，其中位置控制信号使相机设备输出指令以指示人类用户移动到目标相机位置。

在一个或多个实施方案中，相机设备在特定图像中是静止的，并且对象被引导到到目标相机位置，以满足特定图像的指定光照条件和图像捕获类型。在一个或多个实施方案中，对象是人类演员，并且生成指令引导人类演员移动到目标相机位置。例如，指令可以是视频消息或音频消息。

在步骤245中，在相机设备和/或对象到达相应的目标位置后验证图像捕获标准。在一个或多个实施方案中，使用光传感设备捕获对象的光的量以确认满足指定的光照条件。例如，光的量可以包括在相机设备的位置处使用光传感设备测量的对象的光照方向和/或对比度。在一个或多个实施方案中，验证图像捕获标准是可选的。在这样的实施方案中，可以不执行验证图像捕获标准。

在步骤246中，基于验证的图像捕获标准，使相机设备捕获场景中的对象的图像。例如，可以发送命令到相机设备以捕获图像。如上所述，在一个或多个实施方案中，验证图像捕获标准是可选的，并且可以在不验证图像捕获标准的情况下由相机设备捕获场景中对象的图像。在一个或多个实施方案中，使用参考以下图2.2描述的方法来捕获对象的图像。

如上所述，在一个或多个实施方案中，光传感设备是相机设备的唯一图像传感器。在这样的实施方案中，用于确定光照方向并验证图像捕获标准的光传感设备与用于捕获对象的图像的图像传感器相同。

在一个或多个实施方案中，生成控制信息以改变相机设备的视场以捕获图像，使得对象出现在图像中以与相机设备视场内的目标位置基本对准。在一个或多个实施方案中，控制信息包括相机方向和/或放大系数。例如，控制信息可以用于进一步生成方向控制信号，以使相机设备的视场从目标相机位置朝向对象取向。在另一示例中，控制信息可以用于进一步生成缩放控制信号以调整相机设备。

在一个或多个实施方案中，生成控制信息以改变图像的裁剪区域，使得对象出现在图像中以与图像的裁剪区域内的目标位置基本对准。在一个或多个实施方案中，控制信息指定图像内的裁剪区域。例如，可以在电影制作的后期制作阶段中使用控制信息。

在步骤247中，确定是否要根据电影脚本捕获另一图像。如果确定指示继续捕获另一图像，则该方法返回到步骤242。如果确定指示将不再捕获图像，则该方法结束。

图2.2示出了根据一个或多个实施方案的流程图。图2.2所示的过程可由例如由以上讨论的参照图1.1、1.2和1.3的一个或多个组件来执行。图2.2中所示的一个或多个步骤在本发明的不同实施方案之间，可以以不同的顺序被省略、重复和/或执行。因此，本发明的实施方案不应被认为限于图2.2中所示的步骤的特定数目和布置。

最初，在步骤251中，激活场景内的光源。在本发明的一个或多个实施方案中，光源是附接到场景中对象的反射区域。在这些实施方案中，通过使用远程光发射器将频闪光发射并投射到反射区域上来激活反射光源。例如，当远程光发射器打开时，频闪光以自由运行的光模式(pattern)发射。结果，频闪光被反射区域反射，以产生具有相同自由运行的光模式的对象反射光。在本发明的一个或多个实施方案中，光源是附接到场景中对象的本地光发射器。在这些实施方案中，通过激活本地光发射器发射频闪光来激活光源。例如，当打开本地光发射器时，频闪光以自由运行的光模式发射。

在一个或多个实施方案中，与相机设备的帧率相比，频闪光和对象反射光具有低重复率(例如10赫兹，20赫兹等)的频闪光。在一个或多个实施方案中，频闪光和对象反射光与相机设备的帧率同步。例如，可以基于从跟踪控制器和/或相机设备发送的触发信号来启动和/或同步频闪光。在一个或多个实施方案中，频闪光和/或对象反射光的强度和/或波长随着相关的重复率而改变，以限定对象识别码。

在步骤252中，由相机设备捕获场景的图像序列。尤其是，对象在相机镜头的视场(fov)内，并出现在图像序列中。例如，图像序列可以包括连拍静止图像或作为其一部分。在另一个示例中，图像序列可以包括录像或可以是录像的一部分。在一个或多个实施方案中，在光源发射对象反射光或频闪光的同时捕获场景的图像序列。在一个或多个实施方案中，基于光源的占空比和/或重复率来选择图像序列的帧率，以使得连续图像(或序列中具有特定间隔的一对图像)包括光发射器的交替亮水平和暗水平，和/或交替波长。例如，远程或本地光发射器可以是自由运行的，并且基于自由运行光源的占空比和/或重复率来选择帧率。在一个或多个实施方案中，基于图像序列的帧率来选择光发射器的占空比和/或重复率，使得连续图像(或在序列中具有特定间隔的一对图像)包括光发射器的交替亮水平和暗水平，和/或交替波长。例如，帧率可以是预定的，并且光发射器例如基于来自相机设备的触发信号而与帧率同步。

在步骤253中，基于图像序列上的局部光变化模式，检测场景中的光源。具体地，来自光源的对象反射光或频闪光引起由相机设备的光学传感器接收的光强度和/或波长的改变，从而导致图像序列上的局部光变化模式。在一个或多个实施方案中，调整光源强度以控制在每幅图像中发现局部光变化模式的的大小。例如，大小可以被限制为fov的水平和垂直尺寸的百分比(例如，1％，3％等)。在一个或多个实施方案中，定义检测的光源的位置和大小，在该位置和大小中，相机设备的光学传感器识别出的连续图像中交替亮水平和暗水平和/或交替波长之差超过预定阈值。

在一个或多个实施方案中，通过减去对应像素的强度和/或波长值来比较图像序列中的一对图像。具体地，强度和/或波长值由光学传感器产生。例如，强度值可以对应于单色cmos(互补金属氧化物半导体)传感器的像素输出值。在另一示例中，可以分析rgbcmos传感器的输出值以确定每个像素的波长值。特别地，从另一图像中的相应像素的强度和/或波长值中减去一副图像中的像素的强度和/或波长值以生成减法结果。选择在减法结果中发现交替的亮水平和暗水平，和/或交替波长的差异的像素作为在图像中的检测的光源的一部分。根据光源的占空比/重复率与图像序列的帧率的关系，这对图像可以是连续图像，也可以是被特定数量的图像分开的两幅图像，例如每三幅图像等。

在一个或多个实施方案中，从局部光变化模式提取对象识别码以从场景内的多个光源识别光源。在一个或多个实施方案中，分析局部光变化模式以检测预定的头部模式。一旦检测到，则遵循预定的头部模式的模式被提取作为识别特定光源或对象的独特代码。在一个或多个实施方案中，独特代码具有用于对对象识别码进行定界(de-limit)的数字比特的预定长度或数量。在其他实施方案中，可以基于其他准则来对对象识别码进行定界。

在一个或多个实施方案中，在场景内的多个对象(例如，根据电影脚本的主角和配角)被同时跟踪，其中每个对象与具有独特的对象识别码的单个光源附接。换句话说，在图像序列上的多个位置处发现多个光变化模式，其中每个光变化模式包括与其他光变化模式的任何对象识别码不同的独特的对象识别码。因此，基于各自的光变化模式，将每个光源识别为与其他光源不同。因为每个光源都与它所附接的对象唯一关联，所以每个对象会根据相应的对象识别码在图像序列上进行单独跟踪。

在一个或多个实施方案中，通过迭代步骤252至254来检测和识别多个光源。例如，每个迭代可以基于由用户输入指定的特定对象识别码。在一个或多个实施方案中，来自图像序列的图像被呈现给用户界面窗口，其中用户可以通过点击或以其他方式选择多个检测到的光源之一来选择对象。一旦被选择，则被选择的光源的对象识别码被用于确定与被选择的对象相对应的被选择的光源的位置。因此，在步骤255至步骤259中，跟踪所选择的对象以进行图像捕获。用户可以不时使用用户界面来选择不同的对象，一旦将所跟踪的对象切换为不同的对象，使用新选择的光源的不同的对象识别码来确定与新选择的对象相对应的新选择的光源的位置。因此，在步骤255至步骤259中，跟踪新选择的对象以继续进行图像捕获。

在步骤254中，分析图像序列以确定检测和识别的光源在至少一副图像中的位置以及可选的光源在图像序列上的运动。在一个或多个实施方案中，基于相机设备的光学传感器识别出的图像序列中的交替的亮水平和暗水平和/或交替波长之差超过预定阈值的位置来确定光源的位置。在一个或多个实施方案中，基于图像序列上的位置的变化率来确定光源的运动。

在步骤255中，确定是否改变相机位置。在一个或多个实施方案中，改变相机位置以执行三角测量以确定场景中对象的位置。如果确定是肯定的，即，将要改变相机位置以执行三角测量，则该方法返回到步骤252，其中相机设备被移动到另一位置。如果确定是否定的，即不改变相机位置，则该方法前进到步骤256。

在步骤256中，分析光源的位置以产生结果。在一个或多个实施方案中，将光源的位置和一副图像中的目标位置进行比较以产生结果。在一个或多个实施方案中，结果包括该光源位置和目标位置之间的位移。在一个或多个实施方案中，位移可以在图像序列中从一幅图像到另一幅图像变化，指示该对象是运动对象。在这样的实施方案中，例如，从一幅图像到下一图像的位移随时间的变化率被计算为运动参数。在一个或多个实施方案中，光源位置和目标位置之间的位移，以及可选地运动参数被用于生成控制信息，以在图像捕获期间进行对象跟踪。

在执行三角测量的一个或多个实施方案中，图像中出现的光源的位置偏移(相对于图像中心)与相机设备的光轴和从相机镜头到场景中的对象的方向之间的角度成正比。基于在由相机设备在不同位置捕获的两个或更多幅图像中出现的光源的位置偏移，使用三角测量技术确定场景中对象的位置。在一个或多个实施方案中，满足在电影脚本中指定的光照条件和图像捕获类型是基于如上所述确定对象在场景中的位置。

在步骤257中，基于结果生成控制信息。在一个或多个实施方案中，生成控制信息以改变相机设备的视场以捕获图像，使得对象出现在图像中以与相机设备视场内的目标位置基本对准。在一个或多个实施方案中，控制信息包括相机方向和/或放大系数。例如，控制信息可以用于进一步生成方向向控制信号，以使相机设备的视场从目标相机位置朝向对象定向。在另一示例中，控制信息可以用于进一步生成缩放控制信号以调整相机设备。

在一个或多个实施方案中，生成控制信息以改变图像的裁剪区域，使得对象出现在图像中以与图像的裁剪区域内的目标位置基本对准。在一个或多个实施方案中，控制信息指定图像内的裁剪区域。例如，可以在电影制作的后期制作阶段中使用控制信息。

在步骤258中，将控制信号发送到安装有相机设备的相机设备支架(例如，相机手持手柄、倾斜和旋转设备等)。因此，在与位移相反的方向上调整相机镜头的方向或相机设备的相对位置。

在一个或多个实施方案中，基于步骤257的控制信息来生成控制信号。在一个或多个实施方案中，控制信号被配置为在与位移相反的方向上调整相机镜头的方向。在一个或多个实施方案中，控制信号被配置为在与位移相反的方向上调整相机相对于场景的相对位置。在一个或多个实施方案中，在微调由控制信号引起的调整量时应考虑运动参数。

在步骤259中，将控制信号发送到安装有相机设备的相机设备支架(例如，相机手持手柄、倾斜和旋转设备、相机支架，保持相机设备的移动平台等)。因此，在与位移相反的方向上调整相机镜头的方向或相机设备的相对位置。

在步骤208中，在相机设备的fov内检测目标位置和光源之间的基本对准。特别地，基本对准是在与位移相反的方向上调整相机镜头的方向或相机设备的相对位置的结果。在步骤260中，响应于检测基本对准，根据电影脚本捕获场景的图像。在一个或多个实施方案中，发送信号或命令到相机设备以触发图像捕获。在一个或多个实施方案中，相机设备以规则的重复率(即，帧率)连续地捕获并输出连续的图像。在这样的实施方案中，被分析以生成控制信号的图像序列受到在根据电影脚本捕获图像之前的滚动时间窗口限制(例如，2个连续图像、5个连续图像、10个连续图像等的滚动序列)。

在一个或多个实施方案中，被分析以生成控制信号的图像序列被指定为控制信息，而不由相机设备输出。相反，其中光源(因此对象)与目标位置基本对准的图像由相机设备输出成为影片的一部分。例如，控制信息可以与电影图像分开存储，直到被丢弃或以其他方式从相机设备中移除为止。

在步骤261中，确定是否在当前相机位置继续图像捕获。如果确定为肯定，即，如相机在当前相机位置，则将继续图像捕获，则该方法进行至步骤252。如果确定为否定，即，将不继续图像捕获，则该方法结束。

图3.1、3.2、4、5和6示出了根据本发明的一个或多个实施方案的各种示例。图3.1、3.2、4、5和6所示的示例可以是例如基于以上图1.1、1.2和1.3中描述的一个或多个组件和以上图2.1和2.2中描述的方法流程图。在一个或多个实施方案中，图3.1、3.2、4、5和6中所示的模块和元件中的一个或多个可以被省略、重复和/或替换。因此，本发明的实施方案不应被认为限于图3.1、3.2、4、5和6所示的模块的特定布置。

图3.1示出了作为以上图1.2所示的相机设备支架130的示例的相机移动设备手持式手柄800。另外，由相机移动设备手持式手柄800机械地保持的相机移动设备201(例如，具有相机镜头220的智能手机)是以上图1.2中描绘的相机设备110的示例。另外，相机镜头220是以上图1.2所示的相机镜头111a的一个示例。在一个或多个实施方案中，以上图1.2中所描绘的红外传感器112b和光传感设备112与和相机镜头111a相关联的cmos或ccd传感元件集成在一起，用于由相机移动设备110拍摄照片和/或录像。相应地，为了由相机移动设备201拍摄照片和/或录像，相机镜头220与作为以上图1.2所述的集成红外传感器112b和光传感设备112的一个示例的cmos或ccd传感元件相关联。

在本发明的一个或多个实施方案中，相机移动设备手持式手柄800是一种机电组件，包括支架221、倾斜轴203、倾斜电机213、旋转轴209、旋转电机219和手持式手柄222。支架221被构造成机械地保持相机移动设备201并机械地联接至倾斜轴203。手持式手柄222被配置为在被观看者手持时保持相机移动设备手持式手柄800的机械稳定性。尽管未明确示出，但是手持式手柄222包括通信接口，该通信接口被配置为与以上图1.2所示的相机设备110和/或自动图像捕获控制器120通信。例如，通信接口可以基于蓝牙、nfc、usb、或其他无线/有线通信接口。在一个或多个实施方案中，旋转轴209响应于经由通信接口从自动图像捕获控制器120接收到的控制信号，由旋转电机219绕旋转轴209-1旋转。类似地，倾斜轴203响应于经由通信接口从自动图像捕获控制器120接收到的控制信号而由倾斜电机213绕倾斜轴203-1是可旋转的。响应于使支架221围绕倾斜轴203-1倾斜和/或使支架221与倾斜轴203和倾斜电机213一起围绕旋转轴209-1，可以调整相机镜头220的方向。因此，根据相机镜头220的方向来调整相机镜头220的fov220-1。尽管在图3.1中示出的示例是基于与两个机械轴相关联的两个电机，其他示例可以是基于与三个机械轴相关联的三个电机，而不脱离本发明的范围，其中第三电机可以是附加的旋转电机，例如带有图3.2所示的附加旋转轴209-2的附加的旋转电机331。具体地，图3.2示出了具有三个电机的相机移动设备手持式手柄800，作为如以上图1.2中所示的相机设备支架130的示例。

图4示出了以上图1.1和1.2所示的光源，例如，光源a143a、光源b143b的光变化模式124的示例。如图4所示，水平轴对应于时间，垂直轴对应于光强度。特别是，光变化模式124是随着时间在亮水平(brightlevel)400a和暗水平(darklevel)400b之间交替的光强度的模式。例如，光强度的亮水平400a在时间段a410上维持，并且可以一定的重复率随时间重复出现。当光强度随时间在亮水平400a和暗水平400b之间交替时，相机设备会定期捕获红外图像序列。例如，可以在彼此分开时间段b420、时间段c430，等的时间点a401a、时间点b401b、时间点c401c等处捕获序列中的连续红外图像。具体而言，时间段a410包含至少一幅图像捕获时间点，例如时间点b401b。在时间点a401a捕获的暗水平400b，在时间点b401b捕获的亮水平400a，在时间点c401c捕获的暗水平400b等的交替序列形成了相机设备捕获的上述局部光变化模式。尽管在图4中描绘的光变化模式124是光强度变化的模式，但是在其他示例中，光变化模式124也可以包括波长变化。换句话说，亮水平400a和暗水平400b可以用不同的波长代替或补充以表示波长变化。

图4所示的光变化模式124可以沿着时间轴在时间点序列和红外图像序列上扩展以定义对象识别码。例如，对象识别码a402a和对象识别码b402b在以下图4使用不同的时标的光变化模式124中示出。在一个或多个实施方案中，每个红外图像中的光强度水平和/或波长值定义了数字数据位。在其他实施方案中，光强度水平和/或波长值在多个重复出现的红外图像集中的每个红外图像集中都是恒定的，其中每个红外图像集对应于一个数字数据位。换句话说，数字数据位可以对应于单个红外图像或红外图像集。在对象识别码a402a和对象识别码b402b的每一个中，不同的数字数据位模式(pattern)由头401和尾403界定。例如，头401和尾403可各自包含8个连续的“零”数字数据位。插入在头401和尾403之间的对象识别码a402a包括数字数据位模式“1010101010101010”，而对象识别码b402b包括数字数据位模式“1010010101011010”。因此，数字数据位模式“1010101010101010”和数字数据位模式“1010010101011010”用于识别或选择附接到以上图1.1和1.2中描绘的场景140内的两个不同对象的两个不同光源。

图5示出了以上图1.1和1.2中描绘的场景140的红外图像序列126的示例。如图5所示。红外图像序列126包括在以上图4描述的时间点a401a、时间点b401b、时间点c401c等捕获的红外图像a126a、红外图像b126b、红外图像c126c等。根据参考以上图4描述的光变化模式124的示例，光源，例如，光源a143a、光源b143b在红外图像a126a、红外图像b126b、红外图像c126c等中标记为“a1”或“a2”的位置处显示为交替的暗点和亮点。相反，光强度在红外图像a126a、红外图像b126b、红外图像c126c等中标记为“b”的另一个位置基本保持恒定。例如，可以通过减去红外图像a126a和红外图像b126b中的对应像素的强度值来确定标记为“a1”的位置以生成减法结果126d。类似地，可以通过减去红外图像b126b和红外图像c126c中的对应像素的强度值以生成减法结果126d来进一步确定标记为“a1”的位置。在减法结果126d中，黑色表示无差异，而白色表示非零差异或超过上述预定阈值的差。因此，光源(例如，光源a143a)的位置对应于减法结果126d中的白点。在另一示例中，可以类似方式确定标记为“a2”的位置，以检测红外图像内不同光源(例如，光源b143b)的位置。

进一步如图5所示，将每个红外图像的中心定义为目标位置127。因此，从标记为“a1”的位置偏移或位移到目标位置127的距离对应于位移125。图5所示的标记为“a1”的位置、目标位置127和位移125分别是以上图1.3所描述的位置a126b、目标位置127和位移125的示例。在一个或多个实施方案中，标记为“a1”的位置在红外图像a126a、红外图像b126b、红外图像c126c等之间变化。标记为“a1”的位置在红外图像a126a、红外图像b126b、红外图像c126c等上的变化率对应于以上图1.2所示的运动参数128。尽管未明确示出，但是在不同示例中，位移125和/或运动参数128也可以对应于标记为“a2”的位置。

图6示出了参考以上图4描述的红外图像序列126的示例。在示例场景中，目标位置是红外图像的中心。如图6所示，当以上图4中所示的对象识别码a402a被用于对象跟踪时，在红外图像序列126中的图像(例如，红外图像a126a)的左侧部分的位置处识别光源a143a。特别地，光源a143a是包含在男性(即，对象a142a作为配角)佩戴的指环或腕带部分中的反光材料。例如，基于以上图5所示的红外图像a126a、红外图像b126b、红外图像c126c等中的交替的暗点和亮点“a1”来识别光源a143a的位置。特别的，红外图像a126a、红外图像b126b、红外图像c126c等中的交替的暗点和亮点“a1”展示出定义与光源a143a关联的对象识别码a402a的时间和/或空间变化。因为目标位置(即，图像中心)在光源位置的右侧，所以对象对象自动图像捕获控制器120被配置为将相机设备110朝向左侧定向，使得男性(即，持有/穿戴光源a143a的对象a142a作为配角)出现在红外图像的中心。因此，使用对象识别码a402a，基于所识别的光源a143a的位置“a1”来调整相机设备110的方向，使得对象a142a出现在红外图像x126x的中央。

进一步如图6所示，当图4中描绘的对象识别码b402b被用于对象跟踪时，在红外图像序列126中的红外图像(例如，红外图像a126a)的左侧部分的位置处识别光源b143b。特别地，光源b143b是女性(即，对象b142b作为配角)佩戴的指环或腕带的一部分。例如，基于红外图像a126a、红外图像b126b、红外图像c126c等中的交替的暗点和亮点“a2”来识别光源b143b的位置，如以上图5所示。特别地，红外图像a126a、红外图像b126b、红外图像c126c等中的交替的暗点和亮点“a2”表现出定义与光源b143b相关联的对象识别码b402b的时间和/或空间变化。因为目标位置(即，图像中心)在光源位置的右侧，所以对象自动图像捕获控制器120被配置为将相机设备110朝向左侧定向，使得持有/穿戴光源b143b的女性(即，对象b142b作为配角)出现在红外图像的中心。因此，使用对象识别码b402b，基于光源b143b的识别出的位置“a2”来调整相机设备110的朝向，以使对象b142b出现在红外图像x126x的中央。通过将具有不同的对象识别码的不同光源附接到场景中的多个对象，可以方便地在场景中的不同对象之间切换对象跟踪。例如，如上所述，当将跟踪的对象从男性切换到女性时，录像可以继续而不会中断。

为了改善对象跟踪的精度，除了基于红外图像a126a、红外图像b126b、红外图像c126c中的交替的暗点和亮点检测反射光源143的位置以外，如以上图5中所示，交替的暗点和亮点的几何形状基于匹配于男性(即，对象a142a)所戴的指环或腕带的一部分中包含的反射材料的几何形状来限定。换句话说，在识别反射光源143时，红外图像a126a、红外图像b126b、红外图像c126c等中与反射图案的几何形状不匹配的任何交替的暗点和亮点被排除在外。

本发明的实施方案可以在计算系统上实现。可以使用移动设备、台式机、服务器、路由器、交换机、嵌入式设备或其他类型的硬件的任何组合。例如，如图7.1所示，计算系统700可以包括一个或多个计算机处理器702、非持久性存储器704(例如，易失性存储器，诸如随机存取存储器(ram)、高速缓存存储器)、持久性存储器706(例如，硬盘，诸如光盘(cd)驱动器或数字多功能盘(dvd)驱动器之类的光盘驱动器、闪存等)、通信接口712(例如，蓝牙接口、红外接口、网络接口、光接口等)以及许多其他元件和功能。

计算机处理器702可以是用于处理指令的集成电路。例如，一个或多个计算机处理器可以是处理器的一个或多个核心或微核心。计算系统700还可以包括一个或多个输入设备710，例如触摸屏键盘鼠标麦克风触摸板电子笔或任何其他类型的输入设备。

通信接口712可以包括用于将计算系统700连接到网络(未示出)(例如，局域网(lan)，例如互联网、移动网络或任何其他类型的网络)和/或连接到另一个设备，例如另一个计算设备。

此外，计算系统700可以包括一个或多个输出设备708，例如屏幕(例如，液晶显示器(lcd)、等离子显示器、触摸屏、阴极射线管(crt)监视器)、投影仪或其他显示设备)、打印机、外部存储设备或其他任何输出设备。一个或多个输出设备可以与输入设备相同或不同。输入和输出设备可以本地或远程地连接到计算机处理器702、非持久性存储器704和持久性存储器706。存在许多不同类型的计算系统，并且前述输入和输出设备可以采取其他形式。

用于执行本发明的实施方案的计算机可读程序代码形式的软件指令可以全部或部分地临时或永久地存储在非暂时性计算机可读介质上，例如cd、dvd、存储设备、软盘、磁带、闪存、物理内存或任何其他计算机可读存储介质。具体地，软件指令可以对应于计算机可读程序代码，其在被处理器执行时被配置为执行本发明的一个或多个实施方案。

图7.1中的计算系统700可以连接到网络或成为网络的一部分。例如，如图7.2所示，网络720可以包括多个节点(例如，节点x722、节点y724)。每个节点可以对应于计算系统，使得图7.1中所示的计算系统或者组合的一组节点可以对应于图7.1中所示的计算系统。举例来说，本发明的实施方案可以在连接到其他节点的分布式系统的节点上实现。作为另一示例，本发明的实施方案可以在具有多个节点的分布式计算系统上实现，其中本发明的每个部分可以位于分布式计算系统内的不同节点上。此外，前述计算系统700的一个或多个元件可以位于远程位置并通过网络连接到其他元件。

尽管未在图7.2中示出，该节点可以对应于服务器机箱中的刀片，该刀片服务器通过底板连接到其他节点。作为另一示例，该节点可以对应于数据中心中的服务器。作为另一示例，该节点可以对应于具有共享存储器和/或资源的计算机处理器或计算机处理器的微核。

网络720中的节点(例如，节点x722、节点y724)可以被配置为为客户端设备726提供服务。例如，节点可以是云计算系统的一部分。所述节点可以包括以下功能：从客户端设备726接收请求并且将响应发送到客户端设备726。客户端设备726可以是计算系统，例如图7.1中所示的计算系统。此外，客户端设备726可以包括和/或执行本发明的一个或多个实施方案的全部或一部分。

在图7.1和7.2中描述的计算系统或一组计算系统可以包括执行本文公开的各种操作的功能。例如，一个或多个计算系统可以在相同或不同系统上的进程之间执行通信。采用某种形式的主动或被动通信的各种机制可以促进同一设备上进程之间的数据交换。代表这些进程间通信的示例包括但不限于文件、信号、套接字、消息队列、管道、信号灯、共享内存，消息传递和内存映射文件的实现。

图7.1中的计算系统可以实现和/或连接到数据存储库。例如，一种类型的数据存储库是数据库。数据库是为简化数据检索、修改、重组和删除而配置的信息的集合。数据库管理系统(dbms)是一个软件应用程序，它为用户提供了定义、创建、查询、更新或管理数据库的界面。

用户或软件应用程序可以向dbms提交语句或查询。然后，dbms解释该语句。该语句可以是用于请求信息的选择语句、更新语句、创建语句、删除语句等。此外，该语句可以包括指定数据或数据容器(数据库、表、记录、列、视图等)的参数、标识符、条件(比较运算符)、函数(例如，联接、完全联接、计数、平均等)、排序(例如，升序、降序)或其他。dbms可以执行该语句。例如，dbms可以访问存储缓冲区，引用或索引文件以进行读取、写入、删除或其任何组合，以响应该语句。dbms可以从持久性或非持久性存储中加载数据，并执行计算以响应查询。dbms可以将结果返回给用户或软件应用程序。

以上对功能的描述仅呈现了由图7.1的计算系统和图7.1和图7.2中的节点和/或客户端设备执行的功能的一些示例。可以使用本发明的一个或多个实施方案来执行其他功能。

虽然已经用有限数量的实施方案描述了本发明，但是受益于本发明的本领域技术人员将理解，可以设计出不脱离所公开的本发明的范围的其他实施方案。因此，本发明的范围应仅由所附权利要求书限制。