如今大多数数字相机能够支持视频捕获。然而，当在相机和成像物体之间存在快速相对移动时，可能劣化视频的图像质量。例如，相机在成像期间的快速或高频的移动(诸如，晃动或振动)可以引起视频抖动。此外，使用卷帘快门机构(常见于多种数字相机)可能加剧上述效果。目前大多数数字相机使用基于互补金属氧化物半导体(cmos)的图像传感器。cmos图像传感器通常由卷帘快门(rs)机构激活，由此在不同的时间窗期间顺序地暴露cmos图像传感器的每一行。由于像素是在不同的时间点获取的，所以相机或成像对象的运动可能导致捕获图像的几何失真。当相机连接到诸如无人飞行器(uav)的可移动物体时，可能使几何失真加剧。可移动物体的运动可能导致产生的图像倾斜或歪斜一定角度。另外，由振动引起的相机相对于可移动物体的角度朝向的变化可以产生影响图像质量的视场偏移。
技术实现要素：
需要通过增稳视频并修正卷帘快门效应来提高视频质量。
本发明解决了这个需要，还提供了相关优点。这里描述的主题装置和方法提供了紧凑、低成本、可靠和集成的图像增稳系统，其可以应用于不同的成像装置并应用在不同的环境条件下，且可以在捕获图像时基本上实时地增稳图像。
在本发明的一个方面中，提供了一种用于增稳负载的增稳单元。所述增稳单元可以包括：致动器，由支撑件承载，其中所述致动器被配置为控制负载围绕单个旋转轴线的旋转；以及一个或更多个处理器，由支撑件承载，并单独地或共同地被配置为基于关于所述负载的位置信息生成被传送给电机的信号，以实现对所述负载的旋转的控制，其中所述支撑件连接到所述负载和连接器，其中所述连接器进而连接到可移动物体，且所述支撑件是包围所述致动器和所述一个或更多个处理器的外壳。
在一些实施例中，增稳单元中使用的连接器被配置为由可移动物体承载。在一些实施例中，连接器被配置为直接连接到由可移动物体承载的减震元件。在一些实施例中，可移动物体可以是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机、可穿戴设备或数字相机。
在一些实施例中，增稳单元中使用的支撑件是可拆卸地连接到可移动物体的外壳。在一些实施例中，支撑件是与连接器分离的部件，同时可旋转地或刚性地连接到连接器。在一些实施例中，支撑件直接将连接器和/或负载相接触。在一些实施例中，支撑件刚性地或可旋转地连接到负载。
在一些实施例中，增稳单元要增稳的负载包括成像传感器，该成像传感器被配置为在负载运动的同时捕获一个或更多个图像。在一些实施例中，负载仅能够围绕单个旋转轴线(例如，横滚轴线)相对于该连接器移动。
在一些实施例中，负载包括：成像传感器，被配置为捕获图像；一个或更多个位置传感器，被配置为测量负载的位置信息；以及一个或更多个处理器，被配置为基于负载的位置信息来处理图像，其中所述位置信息包括围绕一个或更多个轴线的旋转和加速度。在一些实施例中，在增稳单元中使用的位置信息来源于诸如加速度计、陀螺仪、罗盘和/或gps的一个或更多个位置传感器。在一些实施例中，位置传感器由支撑件承载，其中它们包括刚性连接到成像传感器的单轴加速度计和单轴陀螺仪。备选地，位置传感器由支撑件承载，其中它们包括刚性安装到成像传感器的三轴加速度计和三轴陀螺仪。在这种情况下，位置传感器的轴线与成像传感器的轴线正交。在一些实施例中，增稳单元中使用的处理器被用来增稳负载围绕横滚轴线的旋转。因此，处理器被配置为接收关于负载的位置信息，基于所述位置信息确定成像传感器围绕单个旋转轴线的旋转失真，并生成使负载围绕该单个旋转轴旋转的信号以补偿旋转失真。
根据本发明的另一方面，提供了一种用于增稳负载的方法。所述方法可以包括：基于关于负载的位置信息，由支撑件所承载的一个或更多个处理器生成信号以实现对所述负载围绕单个旋转轴线的旋转的控制；以及由支撑件所承载的致动器控制所述负载的旋转，其中电机被配置为响应于所述信号而控制所述负载围绕所述单个旋转轴线的旋转，其中所述支撑件连接到所述负载和连接器，所述连接器进而连接到可移动物体。
根据本发明的另一方面，提供了一种使图像数据与位置数据相关的方法。所述方法可以包括：获得从被配置为捕获一个或更多个图像的成像传感器导出的一个或更多个图像数据集，其中基于导出各个图像数据集的时间，将各个图像数据集与图像时间戳相关联；获得从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器导出的一个或更多个位置数据集，其中，基于导出所述各个位置数据集的时间，将各个位置数据集与位置时间戳相关联；以及基于所述关联的图像时间戳和所述关联的位置时间戳，由一个或更多个处理器使图像数据集与相应的位置数据集相关，其中由增稳单元控制所述成像传感器围绕单个轴线的旋转运动。在一些实施例中，在相关方法中使用的图像时间戳是由成像传感器生成的，使得时间戳指示成像传感器捕获关联的图像数据集的时间。备选地，可以由一个或更多个传感器生成图像时间戳，使得时间戳指示一个或更多个处理器接收到所述关联的图像数据集的时间。
在一些实施例中，由一个或更多个位置传感器生成位置时间戳，使得位置时间戳指示测量关联的位置数据的时间。在一些实施例中，位置传感器包括陀螺仪和加速度计，以提供成像传感器围绕一个或更多个轴的旋转和加速度数据。备选地，位置时间戳可以由一个或更多个处理器生成，使得时间戳指示一个或更多个处理器接收关联的位置数据集的时间。
在一些实施例中，可以基于图像时间戳和对应的位置时间戳，由一个或更多个处理器(陀螺仪和加速度计)将图像数据和位置数据相关。在一些实施例中，在图像时间戳和位置时间戳之间可以存在恒定的时间偏移量。在一些实施例中，相关方法还包括：通过对一个或更多个位置数据集应用滤波器(例如，卡尔曼滤波器或互补滤波器)来消除陀螺仪漂移误差。位置数据可以是陀螺仪数据和加速度计数据的组合、罗盘数据和加速度计数据的组合或陀螺仪数据、罗盘数据和加速度计数据的组合。
在一些实施例中，相关方法还包括：在捕获图像数据集的同时将低通滤波器应用于对成像传感器的位置状态加以指示的一个或更多个位置数据集。在一些实施例中，可以通过确定成像传感器围绕一个或更多个旋转轴线的空间校正数据集，并基于成像传感器的运动以及由成像传感器捕获的图像数据集的变化之间的变换关系、使用该空间校正数据集校正所述图像数据集，基于相关的位置数据集来校正所述图像数据集。在一些实施例中，通过将一个或更多个滤波器应用于与该图像数据集相关联的位置数据集以产生一组经滤波的数据并将该位置数据集与经滤波的数据集进行比较以生成空间校正数据集，来确定所述空间校正数据集。
在一些实施例中，要用相关方法进行相关的图像数据对应于由成像传感器捕获的图像帧内的像素组，该成像传感器包括卷帘快门，且其中与该图像数据集相关的位置数据集指示在捕获该图像数据集的同时成像传感器的位置状态。在一些实施例中，位置数据仅表示成像传感器的旋转运动。在一些实施例中，相关方法中使用的成像传感器、一个或更多个处理器以及一个或更多个位置传感器设置在由可移动物体支撑的负载上。
在另一单独但相关的方面，本发明提供了一种用于使图像数据与位置数据相关的设备。所述设备可以包括一个或更多个处理器，单独或共同地被配置为：获得从被配置为捕获一个或更多个图像的成像传感器导出的一个或更多个图像数据集，其中基于导出所述各个图像数据集的时间，将各个图像数据集与图像时间戳相关联；获得从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器导出的一个或更多个位置数据集，其中，基于导出所述各个位置数据集的时间，将各个位置数据集与位置时间戳相关联；以及基于所述关联的图像时间戳和所述关联的位置时间戳，由一个或更多个处理器使图像数据集与相应的位置数据集相关，其中由增稳单元控制所述成像传感器围绕单个轴线的旋转运动。根据本发明的另一方面，提供了一种用于处理图像数据的方法。所述图像处理方法包括：从被配置为捕获一个或更多个图像帧的成像传感器获得一个或更多个图像数据集；从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器获得一个或更多个位置数据集；将一个或更多个滤波器应用于所述一个或更多个位置数据集以生成一个或更多个经滤波的数据集；将所述一个或更多个位置数据集与所述一个或更多个经滤波的数据集进行比较，以生成一个或更多个空间校正数据集；以及基于空间校正数据校正一个或更多个图像数据集。
在一些实施例中，图像处理方法还包括：基于相应的时间戳，使各个图像帧的一个或更多个图像数据集与对在捕获所述各个图像帧期间成像传感器的位置状态加以指示的位置数据集相关。在一些实施例中，使用空间校正数据来校正图像数据，其中空间校正数据包括成像传感器围绕一个或更多个旋转轴线的旋转校正角的集合。在一些实施例中，校正角基于成像传感器的运动以及由成像传感器捕获的图像数据的变化之间的变换关系。在一些实施例中，要校正的图像数据对应于各个图像帧或各个图像帧内的一个或更多个像素组。在一些实施例中，基于成像传感器的一个或更多个运动特性来进一步校正由卷帘快门成像传感器捕获的一个或更多个图像数据集。在一些实施例中，同时使用(1)空间校正数据和(2)成像传感器的一个或更多个运动特性来校正各个图像帧的一个或更多个图像数据集。
在一些实施例中，图像处理方法中使用的一个或更多个滤波器包括：互补滤波器和低通滤波器，其中互补滤波器被应用于一个或更多个位置数据集以生成一个或更多个第一数据集，并且低通滤波器被应用于一个或更多个第一数据集以生成一个或更多个第二数据集，并且通过将第一数据集和第二数据集进行比较，来生成空间校正数据。在一些实施例中，在处理方法中使用的成像传感器被配置为由增稳单元支撑，所述增稳单元被配置为由可移动物体承载，其中所述增稳单元被配置为控制成像传感器相对于可移动物体围绕横滚旋转轴线的旋转。在一些实施例中，增稳单元被配置为借助于由增稳单元所承载的一个或更多个处理器基于关于成像传感器的位置信号生成信号以实现对成像传感器相对于可移动物体围绕单个旋转轴线的旋转的控制；并基于所述信号，借助于由增稳单元所承载的致动器控制成像传感器的旋转。在一些实施例中，可移动物体可以是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机、可穿戴设备或数字相机。
在另一单独且相关的方面，本发明提供了一种用于处理图像数据的设备。所述设备可以包括一个或更多个处理器，单独或共同地被配置为：从被配置为捕获一个或更多个图像帧的成像传感器获得一个或更多个图像数据集；从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器获得一个或更多个位置数据集；将一个或更多个滤波器应用于所述一个或更多个位置数据集以生成一个或更多个经滤波的数据集；将所述一个或更多个位置数据集与所述一个或更多个经滤波的数据集进行比较，以生成一个或更多个空间校正数据集；以及基于空间校正数据来校正所述一个或更多个图像数据集，其中由增稳单元控制所述成像传感器围绕单个轴线的旋转运动。
应当理解，可以单独地、共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面列出的任何特定应用。通过阅读说明书、权利要求书和附图，本发明的其它目的和特征将变得显而易见。因此，附图和描述在本质上被认为是说明性的，而不是限制性的。
引用并入
在与每个单独的出版物、专利或专利申请被具体和单独地指明通过引用并入本文相同的程度上，将本说明书中提及的所有出版物、专利和专利申请通过引用并入本文。
附图说明
本发明的新颖特征在所附权利要求中具体阐述。通过参考下面的详细描述及其附图，将更好地理解本发明的特征和优点，所述详细描述中阐述了利用本发明的原理的说明性实施例，所述附图中：
图1是包括增稳单元的示例性系统的框图，所述增稳单元用于相对于单个旋转轴线增稳负载。
图2是示出了数据相关过程的示例性图。
图3是示出了图像时间戳与位置时间戳之间的线性关系的示例图。
图4示出了经受卷帘快门效应的示例性图像帧和经校正的图像帧。
图5示出了对图像增稳和卷帘快门效应校正的示例性可视化。
图6描述了示例性可移动物体以及用于图像增稳和处理的部件。
图7是示出了与图6中的示例对应的图像处理的示例过程的图。
图8示出了根据实施例的可移动物体和负载的示例性配置。
具体实施方式
这里公开的实施例提供了用于图像增稳的设备和方法。应当理解，可以单独地、共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面列出的任何特定应用或任何其它类型的远程遥控飞行器或可移动对象。
在一个方面，本发明提供了一种用于增稳负载的设备。在实践中，增稳单元可以增稳负载围绕单个轴线的旋转。所述增稳单元可以包括：致动器，由支撑件承载；其中所述致动器被配置为控制负载围绕单个旋转轴线的旋转；以及一个或更多个处理器，由支撑件承载，并单独地或共同地被配置为基于关于所述负载的位置信息生成被传送给电机的信号，以实现对所述负载的旋转的控制，其中所述支撑件连接到所述负载和连接器，所述连接器进而连接到可移动物体。
在另一单独且相关的方面，本发明提供了一种用于增稳负载的方法。在实践中，该方法可以包括：借助于由支撑件承载的一个或更多个处理器，基于关于负载的位置信息，生成信号以实现对所述负载围绕单个旋转轴线的旋转的控制；以及由支撑件所承载的致动器控制所述负载的旋转，其中电机被配置为响应于所述信号而控制所述负载围绕所述单个旋转轴线的旋转，其中所述支撑件连接到所述负载和连接器，所述连接器进而连接到可移动物体。
图1是包括增稳单元的示例性系统的框图，所述增稳单元用于相对于单个旋转轴线增稳负载。在一些实施例中，增稳单元101可以包括由支撑件105承载的致动器103。致动器103可以是致动负载117围绕一个或更多个轴线(例如，横滚轴线、俯仰轴线或偏航轴线)的旋转的任何致动机构。在一些实施例中，致动器可以是电机。在一些实施例中，电机可以被配置为致动负载以围绕横滚轴线旋转。在其他实施例中，电机可以被配置为致动负载以围绕偏航轴线或俯仰轴线旋转。
电机可以机械地连接到负载以致动旋转运动。诸如轴、齿轮、转接件、机架、连接器、紧固件、云台部件等的机械机构可以用于将由电机产生的致动扭力传递到负载。
电机可以包括移动部件。电机可以允许负载相对于支撑件的移动。电机可以是被配置为产生旋转运动或扭力的旋转致动器。电机可以包括自动或机器驱动的部件，例如电动机。在一些情况下，电机可以包括无刷电机。在一些情况下，电机可以包括伺服电机。伺服电机可以包括电机、传感器和用于精确控制电机的控制器。伺服电机可以包括用于检测电机的位置、速度和/或加速度的传感器(例如，霍尔传感器或轴体编码器)。控制器可以从传感器接收数据(例如，信息)，并进一步根据需要控制电机的角度位置、速度、加速度和/或扭力。备选地或组合地，电机可以包括手动操纵的部件，例如杠杆、手柄、旋钮或倾摆机构。负载可以响应于相应致动器(例如，电机)的致动而旋转。
电机可以维持或改变负载的朝向。例如，致动器可以从控制器接收电信号(例如，命令)以致动。可以响应于人的输入而接收用于致动的命令。备选地或组合地，控制器可以自动地产生用于致动的命令，而不受人为干扰。
电机可以响应于电信号而致动。电机的致动可以直接驱动与致动器连接的负载。电机的致动可以直接引起直接连接到致动器的部件围绕电机的纵轴旋转。电机的致动可以直接引起间接连接到电机的部件围绕该部件的轴线(例如，与电机轴线不对齐的负载的轴线)旋转。本文所使用的直接连接可以指在没有中间部件或结构(例如，云台部件、中间机架部件、连接板等)的情况下将负载连接到电机。
(例如，负载的)旋转的方向可以是顺时针的。(例如，负载的)旋转的方向可以是逆时针的。致动可以以顺时针方向或逆时针方向实现负载的旋转。例如，电机可以允许控制负载围绕顺时针方向和逆时针方向的旋转。
可以控制电机的角度位置(例如，朝向)、角速度、角加速度和/或扭力。相应地，电机可以用于控制直接或间接连接到电机的部件的角度位置和/或朝向、角速度和角加速度。在一些情况下，控制器可以用于自动或半自动地控制电机的参数。在一些情况下，可以手动控制致动器的参数。例如，用户可以输入期望参数，其中可以将所述期望参数中继到被配置为控制致动器的控制器。例如，用户可以手动控制致动器的参数(例如，手动致动所述致动器)。
可以将电机(例如，以及相应机架和/或与之连接的其他部件)的位置控制在期望位置的0.05°、0.1°、0.5°、1°、2°、5°、10°、20°、30°内。电机(例如，以及相应机架和/或与之连接的其他部件)的位置可以旋转到相对于静止位置约0°、5°、10°、20°、30°、45°、60°、75°、90°、120°、150°、180°、210°、240°、270°、300°、330°或360°(例如，沿顺时针或逆时针方向)。可以旋转电机(例如，以及相应机架和/或与之连接的其他部件)的位置，大于相对于静止位置约0°、5°、10°、20°、30°、45°、60°、75°、90°、120°、150°、180°、210°、240°、270°、300°、330°或360°(例如，沿顺时针或逆时针方向)。可以旋转电机(例如，以及相应机架和/或与之连接的其他部件)的位置，小于相对于静止位置约0°、5°、10°、20°、30°、45°、60°、75°、90°、120°、150°、180°、210°、240°、270°、300°、330°或360°(例如，沿顺时针或逆时针方向)。
如图1所示，电机103可以由支撑件105承载。在一些实施例中，支撑件可以是至少包围电机、一个或更多个位置传感器107以及一个或更多个处理器109的外壳。电机可以完全位于所述外壳内或部分包覆在所述外壳中。只要能够为电机和处理器提供坚固的支撑和连接，任何材料都可以用来形成包覆结构。外壳可以形成为任何形状(例如，立方体、球形外壳等)。支撑件可以配置为至少承载电机的重量。在一些情况下，电机可以被刚性地固定到外壳，同时可相对于负载移动。在一些情况下，电机可以可拆卸地连接到支撑件。备选地，电机可以与支撑件一体形成。
支撑件105被配置为连接到连接器111。在一些实施例中，支撑件是与连接器分离的部件，且可旋转地连接到连接器。支撑件可以被配置为能够相对于连接器围绕单个轴线旋转。在一些情况下，单个轴线可以与负载的横滚轴线同轴对齐。支撑件可以配置为允许负载围绕横滚轴线的任何程度的旋转(例如，5°、10°、15°、45°、90°、180°等)。在其他实施例中，支撑件是与连接器分离的部件并被刚性地连接到连接器。支撑件可以刚性地固定到连接器，使得支撑件和连接器之间不会相对移动。在一些实施例中，支撑件可以直接与连接器接触。支撑件可以与连接器一体形成。备选地，支撑件可以可拆卸地与连接器连接。
如图1所示，连接器111可以被配置为由可移动物体116承载。在一些实施例中，连接器被配置为经由减震元件113连接到可移动物体。
可移动物体116可以是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机、可穿戴设备或数字相机。本文所述的可移动物体可以被配置为在任何合适的环境中移动，例如在空中(例如，固定翼飞行器、旋转翼飞行器、或没有固定翼或旋转翼的飞行器)；在水中(例如船舶或潜艇)；在地面上(例如，电机载运工具，诸如轿车、卡车、巴士、面包车、摩托车；诸如棒的可移动结构或框架、钓竿；或火车)；在地面下(例如，地铁)；在太空(例如，太空飞机、卫星或探测器)，或这些环境的任何组合。可移动物体可以是载运工具，诸如本文其他地方描述的载运工具。在一些实施例中，可移动物体可以安装在诸如人或动物的活体上。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚类、啮齿类或昆虫类。
可移动物体可以相对于六个自由度(例如三个平移自由度和三个旋转自由度)在环境内自由移动。备选地，可移动物体的运动可以相对于一个或更多个自由度(例如通过预定的路径、轨道或朝向)进行限制。该运动可由任何合适的致动机构(例如发动机或电机)来致动。可移动物体的致动机构可以由任何合适的能源(例如电能、磁能、太阳能、风能、重力、化学能、核能或其任何合适的组合)供电。可移动物体可以经由推进系统自致动，如本文别处所述。推进系统可以可选地在能源(例如电能、磁能、太阳能、风能、重力、化学能、核能或其任何合适的组合)上操作。备选地，可移动物体可以由生物搭载。可移动物体不限于任何类型的运动或振动，诸如由任何致动系统导致的高频振动、中频振动和低频振动。
在一些情况下，可移动物体可以是载运工具。合适的载运工具可以包括水中载运工具、飞行器、太空载运工具或地面载运工具。例如，飞行器可以是固定翼飞行器(例如飞机、滑翔机)、旋转翼飞行器(例如直升机、旋翼飞行器)、具有固定翼和旋转翼的飞行器，或没有固定翼和旋转翼的飞行器(例如，飞艇、热气球)。载运工具可以自致动，例如通过空气、在水中或水下、在太空中，或在地面上或地下自致动。自致动载运工具可以利用推进系统，例如包括一个或更多个发动机、电机、轮子、轴、磁体、旋翼、螺旋桨、叶片、喷嘴或其任何合适的组合的推进系统。在某些实例中，推进系统可以用于使可移动物体从表面起飞、在表面上降落、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。
可移动物体可以由使用者遥控，也可由乘员在可移动物体内或可移动物体上对可移动物体进行局部控制。在一些实施例中，可移动物体是诸如uav的无人可移动物体。诸如uav的无人可移动物体可以在该可移动物体上没有乘员。可移动物体可以由人或自主控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主的或半自主的机器人，例如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施例中，可移动物体可以具有在载运工具内或载运工具上有人类乘员的大小和/或尺寸。备选地，可移动物体的大小和/或尺寸可以小于能够在载运工具内部或载运工具上容纳人类乘员的大小和/或尺寸。可移动物体的大小和/或尺寸可以适于被人抬起或携带。备选地，可移动物体可以大于适于被人抬起或携带的大小和/或尺寸。在某些实例中，可移动物体可以具有小于或等于约如下值的最大尺寸(例如，长度、宽度、高度、直径、对角线)：2cm、5cm、10cm、50cm、1m、2m、5m或10m。2cm、5cm、10cm、50cm、1m、2m、5m或者10m。最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或者10m。例如，可移动物体的相对旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或者10m。备选地，相对旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或者10m。
在一些实施例中，可移动物体相对于由可移动物体承载的负载可以较小。负载可以包括负载和/或载体，如下面进一步详细描述的。在一些示例中，可移动物体重量与负载重量之比可以大于、小于或等于约1∶1。在一些实例中，可移动物体重量与负载重量之比可以大于、小于或等于约1∶1。可选地，载体重量与负载重量之比可以大于、小于或等于约1∶1。当需要时，可移动物体重量与负载重量之比可以小于或等于：1∶2、1∶3、1∶4、1∶5、1∶10或甚至更少。相反，可移动物体重量与负载重量之比也可以大于或等于：2∶1、3∶1、4∶1、5∶1、10∶1或甚至更大。
在一些实施例中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约：5w/h、4w/h、3w/h、2w/h、1w/h或更小。在一些情况下，可移动物体的载体可具有低能耗。例如，载体可使用小于约：5w/h、4w/h、3w/h、2w/h、1w/h或更小。可选地，可移动物体的负载可以具有低能耗，诸如小于约：5w/h、4w/h、3w/h、2w/h、1w/h或更小。
如前所述，连接器可以经由减震元件(例如，减震元件113)连接到可移动物体。减震元件可以减轻可移动物体的运动对负载的影响。如图1所示的减震元件113可以是连接器和可移动物体之间的中间连接的一部分。在一些实施例中，减震元件可以是振动减震系统。振动减震系统可以被配置为隔离连接器和直接或间接连接到连接器的元件(例如增稳单元，负载等)使其不受可移动物体的振动运动影响。振动减震系统可以被配置为减小可移动物体在连接器上的振动的影响。这可能导致大于或等于10％、20％、30％、40％、50％、60％、70％、80％、90％、95％、99％或99.9％的减小。在一些情况下，振动减震系统可以被配置为将车辆的高频振动(例如，大于2hz、3hz、5hz、10hz、20hz、30hz、40hz或50hz)的影响减少或消除如本文所述的任何量。振动减震系统可以对增稳单元、负载和/或可移动物体进行增稳。
在一些情况下，振动减震系统可以包括多个弹性体，所述多个弹性体被配置为增稳负载、增稳单元和/或可移动物体。例如，可以提供一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或更多个圆形弹性体。圆形弹性体可以将可移动物体连接到被配置为直接与连接器相连的刚性机架。减振器可以用来支撑连接器，贯穿全文都使用了这一术语。例如，减振器可以支撑连接器(例如，以及负载)的重量。例如，减振器可以将连接器固定就位。在一些情况下，振动减震系统可以包括弹簧。减振器可以使由诸如uav的可移动装置的推进单元的操作而引起的振动(例如，晃动)最小化。例如，减振器可以吸收所产生的振动能量(例如，动能)并将其转换成热能，从而增稳该系统(例如，uav、增稳单元和/或负载)。
虽然将增稳单元示出在位于可移动物体下方，本文提供的系统和方法可以同样适用于位于可移动物体的上方或侧面的增稳单元。本文所公开的增稳单元可以安装在可移动物体的上表面、可移动物体的下表面、可移动物体的中心体的顶部或下方、可移动物体的周边部分的顶部或下方等。虽然将增稳单元示出为基本上位于可移动物体的中心附近，但是应当理解，增稳单元可以位于可移动物体上的任何位置(例如，靠近中心、靠近边缘等)。
由支撑件承载的增稳单元可以被配置为增稳负载(例如，图1所示的负载117)。
本文所使用的负载可以指连接到增稳单元的负载或物体的任何部分。负载可以被配置为不执行任何操作或功能。备选地，负载可以是被配置为执行操作或功能的负载，也被称为功能型负载。例如，负载可以包括用于勘测一个或更多个目标的一个或更多个传感器。可以将任何合适的传感器合并到负载中，诸如图像捕获装置(例如，相机)、音频捕获装置(例如抛物面麦克风)、红外成像装置或紫外成像装置。传感器可以提供静态感测数据(例如照片)或动态感测数据(例如视频)。在一些实施例中，传感器提供针对负载的目标的感测数据。备选地或组合地，负载可以包括用于向一个或更多个目标提供信号的一个或更多个发射器。可以使用任何合适的发射器，例如照明源或声源。在一些实施例中，负载包括一个或更多个收发器，诸如用于与远离可移动物体的模块进行通信。可选地，负载可以被配置为与环境或目标进行交互。例如，负载可以包括能够操纵物体的工具、仪器或机构，例如机器人手臂。
负载可以包括单一类型的传感器、发射器和/或工具。负载可以包括多种类型的传感器、发射器和/或工具。负载可以包括任何数量和组合的本文描述的传感器、发射器和/或工具，例如传感器阵列。
这里描述的增稳单元可以允许负载的增稳。当负载运动时，增稳可能是必需的或有益的。在一些情况下，负载可以由正在运动的人携带(例如，行走时、乘坐载运工具等)。在一些情况下，负载可以连接到正在运动的载运工具(例如，uav)。由于负载经由连接器连接到可移动物体，因此连接器(减震元件的作用)以及可移动物体的运动都可以传递到负载。
在一些实施例中，负载117可以包括成像传感器，该成像传感器被配置为在负载运动的同时捕获一个或更多个图像。因此，成像传感器可以根据负载的移动而具有运动。图像装置的运动可以包括装置的平移运动、装置的旋转运动、装置的曲线运动、改变装置的朝向(例如，姿态、俯仰、横滚、偏航)、对图像装置的镜头的缩小或扩大(放大)或以上的任何组合。在一些情况下，图像装置的快速运动(例如，由可移动物体的移动所引起的)可以导致卷帘快门效应。
本文使用的成像传感器可以用作图像捕获装置。成像装置可以利用互补金属氧化物半导体(cmos)传感器，其响应于光波长而产生电信号。可以对所得到的电信号进行处理以产生图像数据。由成像装置产生的图像数据可以包括一个或更多个图像，其中所述图像可以是静态图像(例如，照片)、动态图像(例如，视频)或其适当组合。图像数据可以是多色的(例如，rgb、cmyk、hsv)或单色的(例如，灰度、黑白、棕褐色)。成像装置可以包括配置成将光引导到成像传感器上的镜头。成像传感器可以采用卷帘快门，其中依次读出并重置图像行或列。
在一些实施例中，成像传感器可以指相机的图像传感器。相机可以是捕获动态图像数据(例如，视频)的电影或视频相机。相机可以是捕获静态图像(例如照片)的静态相机。相机可以捕获动态图像数据和静态图像二者。相机可以在捕获动态图像数据和静态图像之间切换。尽管在相机的背景下描述了本文提供的一些示例性实施例，但是应当理解，本公开可以应用于任何适合的成像装置，并且本文中关于相机的任何描述也可以应用于任何合适的成像装置，且这里涉及相机的任何描述也可以应用于其它类型的成像装置。可以使用相机来生成3d场景(例如，环境、一个或更多个物体等)的2d图像。相机生成的图像可以呈现3d场景在2d图像平面上的投影。因此，2d图像中的每个点与场景中的3d空间坐标相对应。相机可以包括光学元件(例如，镜头、反射镜、滤光片等)。相机可以捕获彩色图像、灰度图像等。
成像传感器可以以特定图像分辨率来捕获图像帧或图像帧序列。在一些实施例中，图像帧分辨率可以由帧中的像素的数量来定义。在一些实施例中，图像分辨率可以大于或等于约352×420像素、480×320像素、720×480像素、1280×720像素、1440×1080像素、1920×1080像素、2048×1080像素、3840×2160像素、4096×2160像素、7680×4320像素或15360×8640像素。在一些实施例中，相机可以是4k相机或具有更高分辨率的相机。相机的像素可以是方形的。在其他实施例中，可以考虑非方形的像素或其他光学失真。
成像传感器可以以特定捕获速率来捕获图像帧序列。在一些实施例中，可以以诸如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i的标准视频帧速率来捕获图像序列。在一些实施例中，可以以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一个图像的速率来捕获图像序列。在一些实施例中，捕获速率可以根据用户输入和/或外部条件(例如，照明亮度)而改变。
电机103可以被配置为控制负载117相对于支撑件105围绕单个轴线的旋转。一个或更多个传感器可以由支撑件承载，并且单独地或共同地被配置为基于关于负载的位置信息生成被传送到电机的信号，以实现对负载的旋转的控制。
在一些实施例中，位置传感器可以包括加速度计、陀螺仪、罗盘和/或gps。可以单独或共同使用这些传感器，以提供关于加速度的速率的信息或检测旋转属性(例如，俯仰、横滚和偏航)的变化。在一些情况下，传感器可能能够检测线位移和/或角位移、线速度和/或角速度或线加速度或角加速度。在一些情况下，传感器可能能够检测负载相对于连接器围绕横滚轴线的旋转角度。响应于负载围绕横滚轴线的旋转，电机可以根据来自位置传感器的信息来旋转图像传感器。在其他实施例中，还可以提供一个或更多个传感器。例如，电容式角度传感器、霍尔传感器或轴体编码器可以连接到与负载刚性连接的机架，以便确定所述轴线的当前朝向。因此，电机可以响应于负载围绕旋转轴线的旋转而根据来自位置传感器的信息旋转负载。
在一些实施例中，可以借助于支撑件105所承载的一个或更多个位置传感器107来导出关于负载的位置信息。在这种情况下，支撑件105可以被配置为刚性地连接到负载117，使得支撑件的移动对应于负载的移动。因此，承载位置传感器的支撑件的位置信息可以代表负载的位置信息。
在一些实施例中，支撑件所承载的位置传感器107可以包括单轴加速度计和单轴陀螺仪。加速度计和陀螺仪可以刚性地连接到成像传感器。位置传感器的轴线可以平行于成像传感器的轴线。
备选地，可以借助负载117所承载的一个或更多个位置传感器来导出关于负载的位置信息。在这种情况下，支撑件105可以可旋转地连接到负载117，使得允许负载相对于支撑件的相对旋转运动。
在一些实施例中，负载所承载的位置传感器可以包括三轴加速度计和三轴陀螺仪。加速度计和陀螺仪可以刚性地连接到成像传感器。加速度计和陀螺仪的三个轴线可以彼此正交。在一些情况下，加速度计和陀螺仪的轴线可以与成像传感器的轴线正交。
负载被控制为围绕其旋转的单个轴线可以是横滚轴线。例如，横滚轴线可以平行于成像传感器的光轴125，如图1所示。成像传感器的光轴(也可以被称为“主轴”)可以是成像传感器中沿其具有一定程度的旋转对称性的线。在一些实施例中，成像装置的光轴穿过成像装置的光学组件(例如，透镜、光传感器)的中心。
图8解释了横滚轴旋转的详情。图8示出了根据实施例的可移动物体和负载的示例性配置800。配置800用于说明可用于跟踪目标的可移动物体802和/或负载804的调整的示例类型。可移动物体802和负载804可以包括本文时论的任何实施例。例如，可移动物体802可以包括uav，且负载804可以包括成像装置806。
可移动物体802可能能够围绕多达三个正交轴(诸如，x1(俯仰)810、y1(偏航)808和z1(横滚)812轴线)旋转。围绕三个轴的旋转可以分别被称为俯仰旋转822、偏航旋转820和横滚旋转824。可移动物体802围绕x1、y1和z1轴线的角速度分别被表示为ωx1、ωy1和ωz1。可移动物体802也可能能够分别沿着x1、y1和z1轴线进行平移运动828、826和830。沿着x1、y1和z1轴线的可移动物体802的线速度分别被称为vx1、vy1和vz1。
在示例配置中，负载804经由增稳单元801连接到可移动物体802。增稳单元801可以对应于图1中的增稳单元105。增稳单元801可能能够使负载804相对于可移动物体围绕z2(横滚)818和/或沿着z2(横滚)818移动(x2(俯仰)816、y2(偏航)814是相对于z2的正交轴)。x2、y2和z2轴线分别与x1、y1和z1轴线平行。在一些实施例中，在负载包括成像传感器806的情况下，横滚轴线z2818可以基本上平行于成像传感器806的光路或光轴。本文所述的成像传感器可以被配置为捕获图像。增稳单元801可以基于提供给增稳单元的电机的控制信号使成像传感器806围绕z2(横滚)818旋转。围绕横滚轴线的旋转可以被称为横滚旋转836。
参考图1，电机可以在接收到由支撑件承载的一个或更多个处理器109产生的信号时使负载旋转。这些处理器可以位于支撑件的中心体上或位于支撑件的外围部分上(例如，位于与负载相连的载体上)。本发明的一个或更多个处理器可以位于支撑件的任何合适部分上，诸如支撑件主体的上方、下方、侧面上或其内部。处理器可以位于支撑件的中心或偏离中心。一些处理器可以与支撑件机械地连接，使得支撑件的空间布置和/或运动对应于处理器的空间布置和/或运动。处理器可以经由刚性连接件与支撑件连接，使得处理器不会相对于其所附接的支撑件的部分移动。连接件可以是永久性连接件或非永久性(例如可拆卸的)连接件。合适的连接方法可以包括胶粘剂、粘合、焊接和/或紧固件(例如螺钉、钉子、销钉等)。可选地，处理器可以与支撑件的一部分一体地形成。此外，处理器可以与支撑件的一部分(例如，处理单元、控制系统、数据存储器、微控制器)电连接，以使得由处理器收集的数据能够用于支撑件的各种功能(例如，增稳负载)，例如在此讨论的实施例。
处理器109可以接收信号(例如，输入信号)并输出命令信号。例如，处理器可以接收来自前述传感器(例如，霍尔传感器、陀螺仪、加速度计等)和/或用户的输入信号。基于所接收的信号，处理器可以向电机输出命令，例如用以致动。处理器可以通过有线或无线连接来进行通信以便接收和输出信号。例如，电机可以具有接收器，以接收来自处理器的输出信号。备选地或结合地，可移动物体(例如，uav)可以接收信号并将硬连线信号下发给电机。
在一些情况下，多个控制器可以协同工作。多个控制器可以位于支撑件的相同或不同部分上。
处理器109可以将信号发送到一个或更多个致动器，所述致动器引起负载的致动。处理器的输出信号可以控制电机的致动程度、位置、速度、加速度和/或电机产生的扭力。处理器的输出信号可以实现对负载的致动以围绕轴线旋转。
处理器109可以包括负责信号处理、数据操纵以及与电机的通信的任何电子设备或电子设备组。处理器可以是可编程处理器(例如，中央处理单元(cpu)或微控制器)。例如，可以在现场可编程门阵列(fpga)和/或一个或更多个arm处理器中计算从位置传感器导出的位置信息。在一些情况下，处理器可以基于位置信息和用户输入来生成通信信号。影响输出信号的用户输入或指令可以被存储在非暂时性计算机可读介质上。处理器可以可操作性地连接到非暂时计算机可读介质。非暂时性计算机可读介质可以存储可由处理器执行用以执行一个或更多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或更多个存储器单元(例如，可移动介质或诸如sd卡或随机存取存储器(ram)的外部存储器)。
在一些情况下，可以相对于环境(例如，地面)定义负载的朝向。在一些情况下，可以相对于可移动物体(例如，连接器)的结构来定义负载的朝向。在一些情况下，可以相对于负载连接到的支撑结构或外部设备(例如，支撑件)来定义负载的朝向。所述朝向可以是静态的(例如，相对于环境或uav的固定朝向)。所述朝向可以是动态的(例如，是改变的)。在一些情况下，用户可以指定朝向以及如何改变朝向。
在一些实施例中，处理器109可以生成信号以增稳负载，使得负载在没有外部转向信号的情况下不相对于其初始(静止)位置围绕滚动轴线旋转。可以通过补偿由位置传感器检测到的旋转位移/失真来实现增稳。旋转位移可以是相对于静止位置或初始位置的相对旋转。旋转信息可以包括角速度、角加速度和/或旋转角度。在一些情况下，可以从单轴加速度计和单轴陀螺仪接收负载绕轴线旋转的位置信息，其中位置传感器的轴线可以平行于所述旋转轴线。
在其它情况下，可以从三轴加速度计和三轴陀螺仪导出负载的旋转的位置信息，其中位置传感器(即，加速度计和陀螺仪)的轴线可以与成像传感器的轴线相垂直。在这种情况下，可以通过进一步使用轴体编码器来确定横滚轴线的当前方位，求解关于横滚轴线的旋转位移/失真。坐标变换可以应用于增稳单元坐标系和全局坐标系中的角度。求解出的旋转位移/失真可以用于驱动横滚轴线上的电机以校正旋转失真。例如，处理器可以使用负反馈控制回路来产生信号，以在与测量到的负载围绕横滚轴线的旋转相反的旋转方向上针对该轴线调整负载。
在一些情况下，加速度计和陀螺仪的轴线与成像传感器的轴线正交。然而，陀螺仪和加速度计的朝向可以是未知的。为了确定朝向，可以置换三个旋转轴线，且可以针对每个置换执行优化步骤。使目标最小化程度最佳的置换可以对应于成像传感器的轴线排序。
可以例如实时地或以设定间隔向控制器发送负载旋转的角度。例如，可以以大约或小于每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒、30秒或60秒地向控制器发送致动器的角度。基于(例如来自用户的)输入和来自一个或更多个传感器的数据(例如，感测到的旋转角度)，控制器可以命令电机致动以旋转负载。基于(例如来自用户的)输入和来自一个或更多个传感器的数据(例如，感测到的旋转角度)，负载可以被旋转到期望朝向。
在一些情况下，负载可以包括成像传感器，且横滚轴线可以基本平行于成像传感器的光轴。因此，处理器可以被配置为在横滚轴线旋转方面增稳成像传感器的朝向。
在其它实施例中，在存在转向信号的情况下，处理器109可以生成信号以将负载保持在期望朝向内。期望朝向可以预选自多个选项。例如，可以在水平朝向和垂直朝向之间选择期望朝向。例如，可以在成像装置围绕横滚轴线旋转的角的度数(例如，0度、30度、45度、60度、90度、120度、150度、180度等)之间选择期望朝向。在一些情况下，可以沿着连续光谱(例如，成像装置可以围绕横滚轴线旋转的角度)来选择期望朝向。在一些情况下，用户可以输入特定期望朝向(例如，负载围绕横滚轴线的旋转角度的数值)。在一些情况下，用户可以从列表中选择特定的期望朝向。在一些情况下，可以经由用户界面向用户呈现逐渐地改变朝向(例如，每15度)的选项。例如，用户可能希望捕获具有水平朝向、垂直朝向的图像或具有任意朝向(例如，对角朝向)的图像。具有水平朝向的图像可以对应于风景型图像。具有垂直朝向的图像可以对应于肖像型图像。成像传感器可以在默认位置(例如，直立、静止位置等)捕获具有水平朝向的图像。例如，在一些情况下，当成像装置在默认状态下连接到连接器时，成像装置可以捕获具有水平朝向的图像。如果围绕横滚轴线旋转了90度，则成像装置可以捕获具有垂直朝向的图像。
处理器109可以接收要由成像装置(例如，相机)捕获的图像的期望朝向。如前所述，处理器还可以从一个或更多个传感器接收负载的旋转的角度(例如，实时地)。基于负载的期望朝向和/或感测到的旋转的程度，处理器可以命令电机致动(例如，顺时针或逆时针方向)以旋转成像装置，使得可以捕获具有期望朝向的图像。
如前所述的附加传感器(例如，霍尔传感器、轴体编码器)可以提供关于负载的轴线的当前朝向的信息。可选地，由处理器产生的用于旋转负载的信号可以基于期望朝向和来自位置传感器的测量到的朝向之间的角度位移。在这种情况下，位置传感器还可以包括姿态传感器(例如，罗盘或磁力计)，以导出负载相对于全局坐标系的朝向。
在其它实施例中，一个或更多个处理器可以被配置为使得致动器(例如，电机)仅响应于不希望的运动(例如，振动和晃动)而致动，且不会响应于故意的运动(例如，步行运动)而致动。例如，可以使用低通滤波器来平滑低频运动，例如，步行引起的低频运动，使得电机可以仅响应于诸如晃动的高频运动。
参考图1，负载还可以包括一个或更多个处理器，其被配置为基于负载的位置信息处理由成像传感器捕获的图像。由成像传感器捕获的图像可以在进行图像处理之前具有经最小化/经减小的围绕横滚轴线的旋转以及经减小的高频振动，使得明显减少了在处理之后的所得图像中的空白区域。用于图像处理的位置信息可以是从三轴加速度计和三轴陀螺仪导出的，并且可以包括负载关于一个或更多个轴线的旋转和加速度数据。
在一些实施例中，所述一个或更多个处理器可以包括图像校正单元和数据校正单元。这些处理器被配置为接收关于负载的位置信息，基于所述位置信息确定成像传感器围绕单个旋转轴线的旋转失真，并生成使负载围绕该单个旋转轴旋转的信号以补偿旋转失真。
处理器(例如，图像校正单元和数据校正单元)可以位于负载的中心体上或位于负载的外围部分上(例如，位于与负载相连的载体上)。本发明的一个或更多个处理器可以位于负载的任何合适部分上，诸如负载主体的上方、下方、侧面上或其内部。处理器可以位于负载的中心或偏离中心。一些处理器可以与负载机械地连接，使得负载的空间布置和/或运动对应于处理器的空间布置和/或运动。处理器可以经由刚性连接件与负载连接，使得处理器不会相对于其所附接的负载的部分移动。连接件可以是永久性连接件或非永久性(例如可拆卸的)连接件。合适的连接方法可以包括胶粘剂、粘合、焊接和/或紧固件(例如螺钉、钉子、销钉等)。可选地，处理器可以与负载的一部分一体形成。此外，处理器可以与负载的一部分(例如，处理单元、控制系统、数据存储器、微控制器)电连接，以使得由处理器收集的数据能够用于负载的各种功能(例如，控制、图像处理等)，例如在此讨论的实施例。
在一些实施例中，用于处理图像帧的一个或更多个处理器可以被嵌入在成像传感器中。所述一个或更多个处理器可以包括图像校正单元。附加地，用于调整镜头的孔径或者相机的变焦的处理器也可以位于成像传感器上。所述处理器可以被嵌入在成像装置中或者位于图像传感器上。
本文所述的增稳单元的构造可以是紧凑且轻便的。紧凑且轻便的增稳单元对于移动使用或当将增稳单元连接到诸如uav的载运工具时特别有利，其中所述载运工具通常对其可载运的负载的体积和重量有限制。在一些情况下，紧凑和轻便的配置可以使负载能够被安装在uav的壳体/外壳内。
例如，在一些情况下，增稳单元占据的总空间体积可以是大约、等于或小于约1000cm3、750cm3、500cm3、400cm3、300cm3、250cm3、200cm3、175cm3、150cm3、125cm3，100cm3、75cm3、50cm3、40cm3、30cm3、20cm3、15cm3、10cm3、5cm3或1cm3。由增稳单元占据的空间体积可以指由支撑件(例如，支撑件105)的外边界包围的空间。
在一些情况下，增稳单元的重量可以等于约0.1倍、0.2倍、0.3倍、0.5倍、0.75倍、1倍、1.25倍、1.5倍、1.75倍、2倍、2.25倍、2.5倍、2.75倍、3倍、3.5倍、4倍或5倍的负载的重量。在一些情况下，增稳单元的重量可以小于约0.1倍、0.2倍、0.3倍、0.5倍、0.75倍、1倍、1.25倍、1.5倍、1.75倍、2倍、2.25倍、2.5倍、2.75倍、3倍、3.5倍、4倍或5倍的负载的重量。在一些情况下，增稳单元的重量可以在约0.1倍、0.2倍、0.3倍、0.5倍、0.75倍、1倍、1.25倍、1.5倍、1.75倍、2倍、2.25倍、2.5倍、2.75倍、3倍、3.5倍、4倍或5倍的负载的重量之间。在一些情况下，增稳单元的重量可以不超过约0.1倍、0.2倍、0.3倍、0.5倍、0.75倍、1倍、1.25倍、1.5倍、1.75倍、2倍、2.25倍、2.5倍、2.75倍、3倍、3.5倍、4倍或5倍的负载的重量。增稳单元的重量可以小于相机负载的重量。
增稳单元可以等于或大于100hz、200hz、300hz、400hz或500hz的速率执行增稳。在一些情况下，当使用单轴增稳单元进行增稳时，该速率可以与imu中断速率同步。例如，当获取由imu测量的位置数据集时，imu可以生成对imu具有用于输出的位置数据加以指示的中断(例如，数据就绪中断)。因此，在每个imu中断信号产生时执行增稳。在一些实施例中，诸如比例积分微分控制的传统控制系统可以与增稳单元结合使用。在其他实施例中，可以使用模糊pid控制系统来控制增稳单元中的电机。
可以由支撑结构或外部装置(例如，uav)来对本公开中的增稳单元供电(例如致动)。替代地或结合地，增稳单元可以包括用于给增稳单元供电的自主电源(例如，电池)。在一些情况下，可以手动对增稳单元供电。
在本发明的另一方面中，提供了一种用于使图像数据与位置数据相关的方法。在实践中，该方法可以包括：获得从被配置为捕获一个或更多个图像的成像传感器导出的一个或更多个图像数据集，其中基于导出所述每个图像数据集的时间，将每个图像数据集与图像时间戳相关联；获得从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器导出的一个或更多个位置数据集，其中，基于导出所述每个位置数据集的时间，将每个位置数据集与位置时间戳相关联；以及基于所述关联的图像时间戳和所述关联的位置时间戳，由一个或更多个处理器使图像数据集与相应的位置数据集相关。
在另一单独但相关的方面，本发明提供了一种用于使图像数据与位置数据相关的设备。实践中，所述设备可以包括一个或更多个处理器，其中所述一个或更多个处理器单独地或整体地被配置为获得从被配置为捕获一个或更多个图像的成像传感器导出的一个或更多个图像数据集，其中基于导出所述各个图像数据集的时间，将各个图像数据集与图像时间戳相关联；获得从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器导出的一个或更多个位置数据集，其中，基于导出所述每个位置数据集的时间，将每个位置数据集与位置时间戳相关联；以及基于所述关联的图像时间戳和所述关联的位置时间戳，由一个或更多个处理器使图像数据集与相应的位置数据集相关。
在一些实施例中，可以从被配置为捕获一个或更多个图像帧的成像传感器导出要被相关的图像数据。先前已经描述了成像传感器和图像帧的示例。例如，成像传感器可以包括响应于不同光波长而生成电信号的互补金属氧化物半导体(cmos)传感器。可以对所产生的电信号进行处理以产生图像数据。在一些情况下，由成像装置产生的图像数据可以包括一个或更多个图像，其中所述图像可以是静态图像(例如，照片)、动态图像(例如，视频)或其适当组合。在其他情况下，图像数据可以指代图像帧的一部分。图像数据可以是多色的(例如，rgb、cmyk、hsv)或单色的(例如，灰度、黑白、棕褐色)。
在一些实施例中，图像传感器可以采用卷帘快门，其中图像帧包括被依次读出并重置的图像行或列。可以由卷帘快门相机捕获图像帧，使得图像帧包括在连续的时间点曝光的多个像素组。卷帘快门可以是垂直的或水平的。可以由帧的曝光持续时间和帧中的行的总数来确定相邻行的曝光时间的延迟。例如，对于包含1080行并以0.0001秒的速率捕获的图像帧，两个相邻行之间的延迟大约为0.093μs(0.0001/1080秒)。
在一些实施例中，图像数据集可以指由成像传感器捕获的图像帧内的像素组，其中所述成像传感器包括卷帘快门。在由卷帘快门成像传感器捕获的图像帧中，一行或多行可以被组在一起作为像素组(即，图像数据集)。例如，图像帧可以被划分为n个组，且每个组中包含的行的数量可以由帧的行的总数以及n来确定。因此，每组的曝光时间可以由帧速率和组的数量来确定。在某些情况下，每组的曝光时间范围可以从0.093μs到10s。因此，与两个相邻组相关联的相邻时间点之间的差的范围可以从0.093μs到10s。
在一些实施例中，像素组(即，图像数据集)可以表示一行或多行像素。在一些备选实施例中，像素组(即，图像数据集)可以表示一列或多列像素。考虑到相邻组之间的时间偏移量很小(例如，0.09μs)，组内的所有像素可以与同一时间点相关联。例如，第一组帧可以与时间t1相关联，且第二组可以与时间t2相关联。与单个组相关联的时间点可以是捕获组内第一行的时间点。在其他示例中，与单个组相关联的时间点可以是捕获组内任意行的时间点。
在又一实施例中，图像数据集可以表示整个图像帧，诸如由全局快门成像传感器捕获的图像帧。在这种情况下，可以同时曝光图像帧内的所有像素。应注意的是当使用全局快门时，作为图像帧的获取时间的时间可以优选地是帧曝光时间的中点。相反，当使用卷帘快门成像传感器时，作为图像帧的获取时间的时间可以是每个行/列曝光时间的中点。
可以基于导出各个图像数据集的时间，将各个图像数据集与图像时间戳相关联。图像时间戳可以包括任何长度的数据，诸如，32位或64位，并且可以指示时间。
在一些实施例中，可以在获得图像数据的同时获得一个或更多个位置数据集。可以从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器导出所述一个或更多个位置数据集，其中，基于导出所述各个位置数据集的时间，将各个位置数据集与位置时间戳相关联。
在一些实施例中，成像传感器的位置状态可以表示成像传感器的即时朝向。所述朝向可以表示为旋转矩阵r(t)，其中r(t)∈so(3)。旋转矩阵r(t)可以包含成像传感器在捕获相关联的图像数据集时的朝向。在一些实施例中，四元法可以用于表示旋转。需要指出的是，存在多种表示旋转的方法，只要所述表示可以有利于平滑插值。
由位置传感器获得的位置数据可以至少包括姿态信息，包括图像装置相对于参考坐标系的俯仰角、偏航角和/或横滚角。参考坐标系可以与全局坐标系相关联。可以通过对成像装置的角速度进行积分来计算如上所述的角度。成像装置的角速度可以包括成像装置的旋转方向和旋转速度。在一些备选实施例中，可以通过对角加速度的二次积分来导出角度。在一些实施例中，各个位置数据集可以包括成像传感器围绕一个或更多个轴线的旋转数据和加速度数据。一个或更多个轴线可以包括相对于全局坐标系的俯仰、偏航和/或横滚轴线。
可以从一个或更多个位置传感器获取成像传感器的各个位置数据集。在一些实施例中，所述一个或更多个位置传感器可以包括陀螺仪和/或加速度计。因此，位置时间戳可以指示由陀螺仪和/或加速度计测量所述关联的位置数据集的时间。位置时间戳可以包括任何长度的数据，诸如，32位或64位，并且可以指示时间。
在一些实施例中，可以使用范围发现和/或定位装置来确定成像传感器的即时位置。测距和/或定位装置可以是位置传感器(例如，全球定位系统(gps))装置、支持位置三角测量法的移动装置发射器。在一些实施例中，可以从惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(imu))、高度传感器、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)和/或场传感器(例如，磁力计、电磁传感器)检索图像装置的位置数据。
实际中，当将陀螺仪用于测量位置信息时，陀螺仪漂移可能是不可避免的。由于陀螺仪漂移能够明显影响测量精度，已使用各种方法来补偿漂移。一种实现陀螺仪校正的方式是运行校准操作以确定漂移值。备选地，可以通过向一个或更多个位置数据集实时地应用滤波器，来消除陀螺仪漂移。
在一些实施例中，可以通过向包括陀螺仪数据和加速度计数据的位置数据集应用互补滤波器来消除陀螺仪漂移。可以基于下式来获得没有陀螺仪漂移的采样时间的图像装置的朝向角：
θi+1＝α(θi+ωi+1δt)+(1-α)θiacc
其中θi+1是图像装置在当前陀螺仪采样时刻的朝向角，θi是图像传感器在上一陀螺仪采样时刻的朝向角，α是范围从0到1的数，ωi+1是在当前陀螺仪采样时刻的陀螺仪输出角速度，θiacc是从加速度计数据导出的成像传感器的朝向角。δt是采样时间。应注意的是，互补滤波器可以具有不同阶次，在所示示例中，使用一阶，然而可以采用更高阶次来改善滤波结果。在其他实施例中，可以使用卡尔曼滤波器或扩展卡尔曼滤波器(ekf)来通过合并加速度计数据和陀螺仪数据来使陀螺仪漂移最小化。在另一实施例中，可以使用卡尔曼滤波器和互补滤波器的组合来校正陀螺仪漂移。
在其他实施例中，传感器融合的各种组合可以用于校正陀螺仪漂移，诸如，与罗盘数据结合的陀螺仪数据、与gps数据结合的陀螺仪、与gps和罗盘结合的陀螺仪等。
图2a是示出了数据相关过程的示例性图。所述方法可以包括：基于所述关联的图像时间戳和所述关联的位置时间戳，使图像数据集与相应的位置数据集相关。
如图2的部分a所示，先前已将数据相关单元201和图像校正单元203描述为负载上的一个或更多个处理器。它们可以包括被配置为与系统(例如，图1的系统)的各种传感器和组件进行通信的一个或更多个处理器。数据相关单元201可以被配置为从诸如成像传感器和位置传感器的传感器接收信号或数据，并在将数据输出到其他处理器之前进一步处理数据。数据相关单元也可以被配置为向传感器发送信号(诸如请求信号)。
图像校正单元203可以被配置为从数据校正单元接收信号或数据、或直接从位置传感器和成像传感器接收原始数据，且进一步处理信号或数据，如随后在图4和5中所示。
如图2的部分a所示，成像传感器205可以生成对成像传感器捕获关联图像数据集的时间加以指示的图像时间戳。在一些实施例中，可以根据快门信号生成时间戳。可以由用于启动图像获取过程的成像传感器的快门控制器来触发快门信号。注意到可以将其他快门信号(例如快门关闭信号)用于时间戳。在一些情况下，时间戳可以不表示接收快门信号的确切时间。例如，当图像数据集涉及图像帧时，时间戳可以是两个连续快门信号之间的中心曝光时间。曝光时间可以基于成像装置的曝光时间的平均值。在其他实施例中，可以在准备输出数据的中断时生成时间戳。例如，当获取诸如图像帧的图像数据集时，成像传感器可以生成指示成像传感器具有用于输出的图像数据的中断(例如，帧完成/就绪中断)。包括被设置为真值的标志的中断信号可以被传送给其他处理器，以触发一系列事件。图像时间戳信息可以由成像传感器附加到或嵌入在每个所获取的图像数据集中。图像时间戳数据可以连同图像数据存储为诸如32位数据或64位数据的任何形式。在一些实施例中，图像数据连同图像时间戳可以在被转发到数据相关单元之前被存储在计算机可读介质中。应注意，可以使用任何合适的计算机可读介质。例如，计算机可读介质可以包括非暂时性计算机可读介质，其中所述非暂时性计算机可读介质可以包括一个或更多个存储器单元(例如，可移动介质或诸如sd卡或随机存取存储器(ram)的外部储存器)。备选地，可以将图像数据与图像时间戳一起直接转发到数据相关单元，而不存储在介质中。
在一些实施例中，可以连同每个图像数据集一起生成图像时间戳。可以通过针对每个图像数据集的曝光时间来确定时间戳生成速率。该速率可以小于或等于约0.01μs、0.02μs、0.05μs、0.1μs、0.2μs、0.5μs、1μs、10μs、100μs。在某些情况下，由于每个图像数据集所需的曝光时间不均匀，产生图像时间戳的速率可能是不均匀的。
如图2a所示，一个或更多个位置传感器207可以在由一个或更多个位置传感器获取位置数据的时刻生成位置时间戳。在一些实施例中，位置时间戳可以由陀螺仪产生，指示陀螺仪测量关联的位置数据集的时间。在一些实施例中，位置时间戳可以由加速度计产生，指示加速度计测量关联的位置数据集的时间。在一些实施例中，可以在输出中断时生成位置时间戳。例如，当获取由陀螺仪测量的位置数据集(诸如，角速度)时，陀螺仪可以生成对陀螺仪具有用于输出的位置数据加以指示的中断(例如，数据就绪中断)。包括被设置为真值的标志的中断信号可以被传送给其他处理器，以触发一系列事件。位置时间戳信息可以由位置传感器附加到或嵌入在每个所获取的位置数据集中。位置时间戳数据可以连同位置数据存储为诸如32位数据或64位数据的任何形式。
在一些实施例中，可以连同每个位置数据集一起生成位置时间戳。可以通过采样率或用于触发数据采集的信号的频率来确定生成时间戳的速率。收集位置数据的速率可以高于或不高于图像数据采集速率。在大多数情况下，位置时间戳可以不与图像时间戳同步。在一些情况下，在将位置数据转发到数据相关单元之前可以由位置传感器中的处理器对其进行处理。例如，可以首先处理来自陀螺仪和加速度计的位置数据，以消除如前所述的陀螺仪漂移，然后将其传送到数据相关单元。
可以使用任何合适的手段来在传感器(例如，位置传感器和成像传感器)和处理器(例如，数据相关单元和图像校正单元)之间进行数据传输。例如，可以将有线通信(例如，集成电路间(i2c))总线用于数据传输。应注意的是可以使用任何类型和任何数量的有线通信总线(诸如，i2c或串行外围接口(spi))或无线通信装置(例如，蓝牙，wi-fi)来完成数据传输。可以基于传输速度和带宽要求的需要来确定对用于传输数据的各种装置的选择。每个传感器或处理器可以具有单独的总线/无线通道，或在一些情况下，可以由多个传感器共享通信总线。
在一些实施例中，图2的部分a示出了用于将成像数据与位置数据相关的示例性过程。位置传感器207可以在测量位置数据集的时刻生成位置时间戳。随后，数据相关单元201可以接收位置数据以及关联的位置时间戳。成像传感器205可以在捕获图像数据集的时刻生成图像时间戳。随后，数据相关单元201可以接收图像数据以及关联的图像时间戳。当接收到传感器数据时，数据相关单元可以基于关联的图像时间戳和位置时间戳来使图像数据和位置数据相关。此外，数据相关单元可以将相关的图像数据和位置数据提供给图像校正单元203用于图像处理。
备选地，可以由一个或更多个处理器生成对一个或更多个处理器接收关联的图像数据集的时间加以指示的图像时间戳。在一些实施例中，一个或更多个处理器可以包括稍后在图2的部分b中所述的数据相关单元。
在其他实施例中，可以由一个或更多个处理器生成对一个或更多个处理器接收关联的位置数据集的时间加以指示的位置时间戳。在一些实施例中，一个或更多个处理器可以包括稍后在图2的部分b中所述的数据相关单元。
图2的部分b是示出了数据相关过程的另一示例。在图2的部分b中，成像传感器205可以在获取图像数据集并准备输出时将图像数据就绪信号提供给数据相关单元201。当接收到所述信号时，数据相关单元201可以生成与该图像数据相关联的图像时间戳。位置传感器207可以在位置传感器获取位置数据集并准备输出时将位置数据就绪信号提供给数据相关单元。位置数据就绪信号可以与图像数据就绪信号同步，或相隔各种时间间隔。随后，数据相关单元201可以从成像传感器接收图像数据，并将图像时间戳与图像数据相关联。类似地，数据相关单元可以从位置传感器接收位置数据，并将位置数据与位置时间戳相关联。随后，数据相关单元201可以基于图像时间戳和位置时间戳来使图像数据和位置数据相关。然后，数据相关单元201可以将相关的图像数据和位置数据转发给图像校正单元203用于图像处理。
在一些实施例中，在针对图像数据集的图像时间戳和针对相关的位置数据集的位置时间戳之间存在时间偏移量。在图2的部分b中，数据相关单元被配置为基于关联的时间戳来使图像数据和位置数据相关。将参照图3来解释关于时间偏移量的详情。
图像校正单元203可以被配置为处理像素组，使得帧内的像素组相对齐并消除卷帘快门效应。图像校正单元可以具有一个或更多个处理器，诸如，可编程处理器(例如，中央处理单元(cpu)或微控制器)。用于处理图像数据的处理器可以可操作地连接到位置传感器、成像传感器和数据相关单元的任何处理器(例如，经由通用存储器控制器(gpmc)连接)。可以使用任何合适的传送图像数据的手段，例如，有线传输或无线传输。图像校正单元可以可操作地连接到存储器。存储器可以包括暂时性和/或非暂时性存储介质，其被配置为存储数据和/或逻辑、代码和/或由图像校正单元可执行的用于图像处理的程序指令。存储器可以包括一个或更多个存储器单元(例如，可移动介质或诸如sd卡或随机存取存储器(ram)的外部储存器)。存储器单元可以存储从运动和定位设备接收的位置数据或其他数据。在一些实施例中，存储器可以用于存储由图像校正单元产生的处理结果。在一些实施例中，用于数据相关的处理器可以与校正图像的处理器分离。在一些实施例中，用于数据相关的处理器可以是用于校正图像的相同处理器。
在一些实施例中，可以基于时间戳将图像数据和位置数据相关。实践中，图像时间戳指示由一个或更多个处理器接收关联的图像数据集的时间，而位置时间戳指示由一个或更多个处理器接收关联的位置数据集的时间，并且在针对图像数据集的图像时间戳和针对位置数据的位置时间戳之间存在恒定的时间偏移量。
图3是示出了图像时间戳与位置时间戳之间的线性关系的示例图。假设图像时间戳和位置时间戳在时间上是线性的，则可以通过下式来使两组时间戳相关：
ts＝m·ti+d
其中系数m可以是由数据采集速率确定的常数。图中被示出为δt301的时间偏移量/偏移量d也可以是常数。各种原因可以导致恒定的时间偏移量，例如用于产生两个时间戳的非同步系统时钟或数据传输延迟等。在一些实施例中，可以将校准过程用于确定时间偏移量d301。
在一些实施例中，可以处理相关的图像数据和位置数据以进行卷帘快门校正和图像增稳。图4示出了经受卷帘快门效应的示例性图像帧和在校正卷帘快门效应之后的经校正的图像帧。在一些实施例中，成像传感器可以包括卷帘快门。如前所述，在卷帘快门图像装置中，从上到下、从左到右读取图像传感器的像素，使得获取在帧顶部读取的数据的时间不同于获取帧底部的数据的时间401。因此，当图像装置在卷帘快门序列期间移动(例如，平移)时，所得到的图像将出现倾斜或歪斜403。曝光时间内的图像装置运动可能会影响图像的翘曲。在由卷帘快门装置捕获的图像帧中，可以在不同时间将多个像素组曝光。在一些实施例中，图像数据集可以表示可与图像时间戳相关联的像素组。
当经由数据相关单元捕获每个图像数据集时，可以使该图像数据集与表示成像传感器的位置状态的位置数据集相关。可以将单个像素组(例如，图像数据集)的位置状态表示为旋转矩阵r(t)，其中r(t)∈so(3)。旋转矩阵是与像素组相关联的时间的函数。旋转矩阵r(t)包含成像装置在捕获关联像素组时的朝向。在一些实施例中，四元法可以用于表示旋转。需要指出的是，存在多种表示旋转的方法，只要所述表示可以有利于平滑插值。
可以通过下式来表示成像在两个不同帧上的两点的图像平面坐标的关系：
xj＝kr(tj)r(ti)tk-1xi
其中k是相机的固有矩阵。矩阵k可以包含图像平面中相机轴线的原点和焦距的参数。可以根据相机的出厂标准获得相机的焦距，诸如，28mm。在平面图像面中，kr(tj)r(ti)tk-1项407可以表示在时间i和j成像的图像点之间的相对平移移位。
kr(tj)r(ti)tk-1是将图像点xi映射到新图像平面坐标xj的变换矩阵407。当变换矩阵的第二项r(ti)表示组gi的位置状态，且第一项r(tj)表示在tj捕获的参考组的位置状态时，所得到的组gi的变换是相对于参考组位置的平移。应该意识到，ti和tj可以对应于帧内的任何连续gi(组i)和gj(组j)，其中gi可以是晚于参考组gj捕获的。因此，在应用上述变换矩阵之后，将gi的坐标映射到新位置，其中参考组gi的新位置和图像位置共享相同的相机朝向r(tj)。在逐组地校正之后，受到卷帘快门效应的原始图像可以被变换为如图4所示的新图像405。
但是，应该理解的是，参考组可以是帧内的任何组，并且在不同组之间可以没有数学关系。
图5示出了对图像增稳和卷帘快门效应校正的示例性可视化显示。kr(tj)r(ti)tk-1是用于校正图像数据集的变换矩阵505(空间校正数据)。在一些实施例中，朝向矩阵r(tj)可以表示与所得到的图像数据的平滑运动相对应的合成朝向。校正后的图像数据507的期望运动/朝向可以是平滑的并且等同于全局快门503捕获的图像帧(在t(1)、t(2)、t(3)捕获的帧)。在一些情况下，tj可以是捕获图像帧内的初始像素组509的时间。例如，t(3，1)是捕获帧3中的初始/第一像素组的时间。为了实现平滑运动，可以由滤波器处理从包含在r(tj)中的位置传感器(例如，陀螺仪和加速度计)导出的位置数据。作为说明，平滑的位置数据可以对应于合成/校正后的图像数据507。在一些实施例中，可以将低通滤波器应用于一个或更多个位置数据集。可以使用任何合适的低通滤波器，诸如，高斯低通滤波器、iir低通滤波器、fir低通滤波器。滤波器可以是线性或非线性的，且滤波后的位置数据可以表示成像传感器的平滑运动。
可以通过对关于时间戳的已知位置状态的插值来导出与每个单个组511(单个图像数据集)相关联的位置数据r(ti)。球面线性内插(slerp)可以被用来导出两个已知位置状态之间的中间位置。应该理解的是，slerp内插仅是一个示例，任何形式的插值都可以与示意性实施例一起使用。位置数据可以用四元数或旋转矩阵表示。任何一种表示的参数都应该能够用于平滑插值。可以使用各种方法进行插值，例如线性或三次插值(例如，球形线性插值或编组)。
在一些实施例中，当使用包括全局快门的成像传感器时，单个像素组可以表示整个图像帧。在这种情况下，图像数据集的朝向可以表示为旋转矩阵r(ti)，其中ti可以对应于捕获图像帧的时间。在一些情况下，该时间可以是指示图像帧开始曝光的时间的时间戳。在其他情况下，该时间可以对应两个连续快门信号之间的中心曝光时间处的时间戳，所述中心曝光时间是基于当成像装置被触发捕获图像时成像装置的曝光时间的平均值。
在一些实施例中，图像校正单元203可以被配置为处理图像数据以便校正卷帘快门效应和图像增稳。在一些实施例中，成像传感器、一个或更多个处理器以及一个或更多个位置传感器设置在由可移动物体支撑的负载上。可移动物体可以是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机、可穿戴设备或数字相机。本发明的可移动物体可以被配置为在任何合适的环境中移动，例如在空中(例如，固定翼飞机、旋转翼飞机、或没有固定翼或旋转翼的飞机)；在水中(例如船舶或潜艇)；在地面上(例如汽车，诸如轿车、卡车、巴士、面包车、摩托车；诸如棒可移动的结构或框架，钓竿；或火车)；在地面下(例如，地铁)；在太空(例如，太空飞船、卫星或探针)，或这些环境的任何组合。可移动物体可以是运载工具，诸如本文别处描述的运载工具。在一些实施例中，可移动物体可以安装在诸如人或动物的活体上。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚类、啮齿类或昆虫类。
在另一方面，本发明提供了一种用于处理图像数据的设备。在实践中，该装置可以包括：从被配置为捕获一个或更多个图像帧的成像传感器获得一个或更多个图像数据集；从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器获得一个或更多个位置数据集；将一个或更多个滤波器应用于所述一个或更多个位置数据集以生成一个或更多个经滤波的数据集；将所述一个或更多个位置数据集与所述一个或更多个经滤波的数据集进行比较，以生成一个或更多个空间校正数据集；以及基于空间校正数据校正一个或更多个图像数据集。
图6示出了包括负载601和主体602的可移动物体600。虽然可移动物体600被描绘为飞机，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体，如本文前面所述。本领域技术人员将理解，本文在飞机系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体(例如，uav)。
在一些实施例中，可移动物体600可以是uav。uav可以包括含有任意数量旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)的推进系统。uav的旋翼或其他推进系统可以使得uav能够悬停/保持位置、改变朝向和/或改变位置。相对旋翼的轴之间的距离可以是任何合适的长度。例如，长度可以小于或等于2m、或小于等于5m。在一些实施例中，长度可以在40cm至7m、70cm至2m，或5cm至5m的范围内。本文uav的任何描述可以应用于可移动物体，例如不同类型的可移动物体，并且反之亦然。
可移动物体600可以包括推进机构605、感测系统607和通信系统609。如前所述，推进机构605可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体或喷嘴中的一个或更多个。可移动对象可以具有一个或更多个、两个或更多个、三个或更多个、或四个或更多个推进机构。推进机构都可以是相同类型的。备选地，一个或更多个推进机构可以是不同类型的推进机构。在一些实施例中，推进机构605可以使可移动物体600能够垂直地从表面起飞或垂直地降落在表面上，而不需要可移动物体600的任何水平移动(例如，无需沿着跑道行进)。可选地，推进机构605可以可操作地允许可移动物体600以特定位置和/或朝向悬停在空中。
例如，可移动物体600可以具有多个水平朝向的旋翼，其可以向可移动物体提供升力和/或推力。可以驱动多个水平朝向的旋翼以向可移动物体600提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，水平朝向旋翼中的一个或更多个可沿顺时针方向旋转，而水平旋翼中的一个或更多个可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调整可移动物体600(例如，相对于高达三个平移度和三个旋转度)的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。
感测系统607可以包括可感测可移动物体600(例如，相对于高达三个平移度和高达三个旋转度)的空间布置、速度和/或加速度的一个或更多个传感器。一个或更多个传感器可以包括全球定位系统(gps)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。感测系统600提供的感测数据可用于(例如，使用合适的处理单元和/或控制模块，如下所述)控制可移动物体600的空间布置、速度和/或朝向。可选地，感测系统600可以用于提供可移动物体600的位置信息。位置信息可以包括可移动物体600的姿态和位置数据，以便结合增稳单元603用于负载601的增稳。
在一些实施例中，通信系统609支持经由无线信号与具有通信系统的显示装置610进行通信。通信系统609以及嵌入在显示装置610中的通信系统可以包括适合于无线通信的任何数量的发射器、接收器和/或收发器。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体600向显示装置610发送数据。可以从通信系统609的一个或更多个发射机向显示装置610的一个或更多个接收机发送数据，或者反之亦然。备选地，所述通信可以是双向通信，使得可以在可移动物体600和显示装置610之间的两个方向上发送数据。双向通信可以涉及从通信系统609的一个或更多个发射机向显示装置610的一个或更多个接收机发送数据，并且反之亦然。
在一些实施例中，经处理的图像可以被输出以显示在远离成像传感器的外部装置上。外部装置可以是显示装置，例如显示面板、监视器、电视机、投影仪或任何其他显示装置。在一些实施例中，输出装置可以是例如手机或智能手机、个人数字助理(pda)、计算机、笔记本电脑、台式机、平板电脑、媒体内容播放器、机顶盒、包括广播调谐器的电视机、视频游戏机/系统或能够访问数据网络和/或从图像校正单元接收分析后的图像数据的任何电子设备。
在其他实施例中，显示装置610可以位于可移动物体600上。显示装置可通过有线传输从图像校正单元接收图像数据。要注意的是，可以使用任何适当的传输图像数据的手段，例如光纤、存储介质、计算机总线等。
为了说明的目的，如图6所示的实施例包括单个显示装置。然而，在其他实施例中，可以包括更多的显示装置。
如图6所示，成像传感器613可以被配置为由增稳单元603支撑。在一些实施例中，成像传感器613被配置为由可移动物体600经由减震元件608承载。增稳单元603可以对应于图1中的增稳单元101。减震元件608可以减轻可移动物体600的运动对负载601的影响。如前所述的增稳单元可以被配置为控制成像传感器相对于可移动物体围绕单个旋转轴线的旋转。在一些实施例中，由增稳单元603承载的一个或更多个处理器基于关于成像传感器的位置信息，生成信号以实现对成像传感器相对于可移动物体围绕单个旋转轴线的旋转的控制。在一些实施例中，由增稳单元承载的电机用于致动成像传感器以控制旋转运动。
在一些实施例中，成像传感器613可以安装到可由增稳单元的致动器致动的机架。在一些情况下，成像传感器可以安装到云台系统，其允许成像传感器围绕一个或更多个轴线旋转。如前所述，成像传感器可以刚性连接到增稳单元或可旋转地连接到增稳单元。
在一些实施例中，成像传感器、用于图像处理的一个或更多个处理器604(例如，数据相关单元和图像校正单元)以及用于测量成像传感器的位置数据的一个或更多个位置传感器设置在负载601上，其中由可移动物体600来支撑负载601。这些处理器604、成像传感器和位置传感器可以位于负载的中心体上或位于负载的外围部分上(例如，位于与负载相连的载体上)。本发明的这些处理器604、成像传感器和位置传感器可以位于负载的任何合适部分上，诸如，负载主体的上方、下方、侧面上或其内部。这些处理器、成像传感器和位置传感器可以位于负载的中心或偏离中心。一些处理器可以与负载机械地连接，使得负载的空间布置和/或运动对应于处理器的空间布置和/或运动。这些处理器、成像传感器和位置传感器可以经由刚性连接件与负载连接，使得处理器不会相对于其所附接的负载的部分移动。连接件可以是永久性连接件或非永久性(例如可拆卸的)连接件。合适的连接方法可以包括胶粘剂、粘合、焊接和/或紧固件(例如螺钉、钉子、销钉等)。可选地，这些处理器、成像传感器以及位置传感器可以与负载的一部分一体形成。此外，这些处理器、成像传感器和位置传感器可以与负载的一部分(例如，处理单元、控制系统、数据存储器、微控制器)电连接，以使得由处理器收集的数据能够用于负载的各种功能(例如，增稳负载)，例如在此讨论的实施例。在一些实施例中，位置传感器包括陀螺仪和加速度计以测量成像传感器的朝向。
在另一方面，本发明提供了一种用于处理图像数据的方法。在实践中，该方法可以包括：从被配置为捕获一个或更多个图像帧的成像传感器获得一个或更多个图像数据集；从被配置为测量所述成像传感器的位置状态的一个或更多个位置传感器获得一个或更多个位置数据集；将一个或更多个滤波器应用于所述一个或更多个位置数据集以生成一个或更多个经滤波的数据集；将所述一个或更多个位置数据集与所述一个或更多个经滤波的数据集进行比较，以生成一个或更多个空间校正数据集；以及基于空间校正数据校正一个或更多个图像数据集。
图7是示出了与图6中的示例对应的图像处理的示例过程的图。如图7的部分a所示，数据相关单元701和图像校正单元707可以对应于图6中的一个或更多个处理器604。数据相关单元701可以分别从成像传感器703(对应于图6中的成像传感器613)以及一个或更多个位置传感器705接收一个或更多个图像数据集和一个或更多个位置数据集。在一些实施例中，来自成像传感器的输出图像数据可以在横滚轴旋转方面得到增稳。可以通过利用增稳单元来实现横滚轴增稳。在一些实施例中，位置数据可以由滤波器处理，使得数据没有陀螺仪漂移，其中滤波器可以是互补滤波器或如本文前面所述的任何合适滤波器。随后，数据相关单元可以基于图像时间戳和位置时间戳使图像数据和位置数据相关，并将相关的数据输出到图像校正单元707以进行图像处理。
图像校正单元707可以被配置为基于空间校正数据来处理图像数据。如前所述，可以生成成像传感器的合成朝向，以进行图像数据校正。在一些实施例中，成像传感器可以包括卷帘快门，在这种情况下，单个图像数据集是指像素组(例如，图像帧的一行或一部分)，且合成朝向可以表示对应于卷帘快门的具有平滑旋转运动的合成全局快门相机。在一些实施例中，可以基于与图像帧中的初始像素组相关的位置数据来生成合成朝向。在一些情况下，可以应用低通滤波器来生成平滑的合成朝向。此外，可以利用变换矩阵来校正卷帘快门效应并增稳图像数据。在一些实施例中，可以基于合成朝向和与每个单独图像数据相关联的位置数据来计算变换矩阵，使得如图4和5所示来校正图像数据。在一些实施例中，空间校正数据可以指代变换矩阵。
在其他实施例中，成像传感器可以包括全局快门，在这种情况下，单个图像数据集是指整个图像帧，且合成朝向可以表示具有平滑旋转运动的合成相机。在一些实施例中，可以基于与整个图像帧相关的位置数据来生成合成朝向。在一些情况下，可以应用低通滤波器来生成平滑的合成朝向。此外，可以利用变换矩阵来增稳图像数据。在一些实施例中，可以基于合成朝向和与每个单独图像数据相关联的位置数据来计算变换矩阵。当校正图像数据时，图像校正单元707可以将经处理的图像数据输出到图像显示装置、存储装置或无线模块709。
虽然本文已经示出和描述了本发明的优选实施例，但是对于本领域技术人员显而易见的是，这些实施例仅以示例的方式提供。在不脱离本发明的情况下，本领域技术人员将会想到许多变化、改变和备选方式。应当理解，在实施本发明时可以采用本文所述的本发明的实施例的各种备选方案。以下权利要求旨在限定本发明的范围，并且这些权利要求及其等同物的范围内的方法和结构由此被涵盖。