本专利文件的公开内容的一部分包含受版权保护的材料。当在专利及商标局的专利文件或记录中出现时，版权所有者并不反对对该专利文件或该专利公开内容中的任一者进行传真复制，然而在别的方面保留全部版权权利。
本公开的实施例总体上涉及成像，并且更具体地但非排他地，涉及用于在移动平台上成像的系统和方法。
背景技术：
移动平台(例如无人飞行器)可用于许多不同领域，例如电影制作、体育赛事、救灾、地质研究等。移动平台上的成像由于装载的成像装置的不稳定性而出现困难，造成不希望的模糊和抖动。因此，图像增稳是移动平台上成像的一项重要功能。现有的图像增稳技术对于在移动平台上成像具有许多缺点。例如，机械图像增稳可能需要复杂和笨拙的设备，不适合轻型移动平台。此外，目前缺乏适用于多相机应用(例如全景成像)的合适的图像增稳系统和方法。
鉴于上述情况，需要改进用于移动平台上的增稳成像的系统和方法，特别是用于例如全景成像的多相机应用的系统和方法。
技术实现要素：
根据本文公开的第一方面，提出一种图像增稳的方法，包括：获取安装到移动平台的一个或多个成像装置的移动数据；根据移动数据调整成像装置获得的输入图像以获取增稳图像；以及根据选定的视口显示增稳图像。
根据本文公开的另一方面，提出一种移动平台，包括：安装到移动平台的一个或多个成像装置；一个或多个处理器，被配置用于：根据成像装置的移动数据调整由成像装置获得的输入图像以获取增稳图像；以及根据选定的视口控制显示增稳图像。
根据本文公开的另一方面，提出一种用于移动平台上的图像增稳的设备，包括：安装到移动平台的一个或多个成像装置；一个或多个处理器，被配置用于：根据成像装置的移动数据调整由成像装置获得的输入图像以获取增稳图像；以及根据选定的视口控制显示增稳图像。
根据本文公开的另一方面，提出一种存储有指令的非暂时性计算机可读介质，所述指令在由处理器执行时，进行包括以下的步骤：获取安装到移动平台的一个或多个成像装置的移动数据；根据移动数据调整成像装置获得的输入图像以获取增稳图像；以及根据选定的视口显示增稳图像。
根据本文公开的另一方面，提出一种处理系统，包括：获取模块，用于获取安装到移动平台上的一个或多个成像装置的移动数据；调整模块，用于根据移动数据调整成像装置获得的输入图像以获取增稳图像；以及显示模块，用于根据选定的视口显示增稳图像。
附图说明
图1是示出用于图像增稳的系统的一个实施例的示例性顶层图。
图2是示出图1的系统的一个实施例的示例性图。
图3是示出图1的系统的另一实施例的示例性图，其中使用安装在各个成像装置的多个imu获取移动数据。
图4是示出图1的系统的另一实施例的示例性图，其中使用安装在移动平台参考点的imu获取移动数据。
图5是示出图1的系统的一个实施例的示例性图，其中使用通过云台安装在移动平台上的imu获取移动数据。
图6是示出使用图1的系统的图像增稳方法的一个实施例的示例性顶层流程图。
图7是示出图6的方法的一个实施例的示例性流程图，其中增稳图像在被拼接成全景图像之前可以进行等距柱状投影。
图8是示出使用图1的系统的滚动快门图像校正的一个实施例的示例性图。
图9是示出使用图1的系统的滚动快门图像校正的另一实施例的示例性图，其中输入图像的多行以比相应的移动数据更高的频率获取。
图10是示出使用图1的系统的投影变换图像校正的一个实施例的示例性图。
图11是示出图6的方法用于投影变换图像校正的一个实施例的示例性流程图。
图12是示出使用图1的系统的投影变换图像校正的另一实施例的示例图。
图13是示出图6的方法用于投影变换图像校正的另一实施例的示例性流程图。
图14是示出图13的方法用于投影变换图像校正的一个实施例的示例性流程图。
图15是示出使用图1的系统生成的等距柱状图像的实施例的示例性图。
图16是示出根据本系统和方法的等距柱状投影的极坐标的示例性图。
图17是示出使用图1的系统以-90度的俯仰角生成的等距柱状图像的一个实施例的示例性图。
图18是示出使用图1的系统以-45度的俯仰角生成的等距柱状图像的一个实施例的示例性图。
图19是示出使用图1的系统以0度的俯仰角生成的等距柱状图像的一个实施例的示例性图。
图20是示出使用图1的系统以30度的俯仰角生成的等距柱状图像的一个实施例的示例性图。
图21是示出根据图6的方法的用于图像增稳的方法的一个实施例的示例性流程图。
图22是示出根据图6的方法的用于组装全景图像的方法的一个实施例的示例图。
图23是示出根据图6的方法的用于组装全景图像的方法的另一实施例的示例图。
图24是示出根据图6的方法的用于组装全景图像的方法的另一实施例的示例图。
图25是示出根据图6的方法的用于组装全景图像的方法的另一实施例的示例图。
图26是示出根据图6的方法的用于组装全景图像的方法的另一实施例的示例图。
图27是示出根据图6的方法的用于选定的视口的方法的一个实施例的示例性图。
图28是示出根据图6的方法的用于使成像装置的视角水平的方法的一个实施例的示例图。
图29是示出根据图6的方法的用于使成像装置的视角水平的方法的另一实施例的示例性流程图。
图30是示出根据本系统和方法的处理系统的一个实施例的示例性图。
应当注意，附图并未按比例绘制，并且在整个附图中出于说明的目的，相似结构或功能的元件通常用相似的附图标记表示。还应当注意的是，附图仅旨在便于描述优选实施例。附图并未示出所描述的实施例的每个方面，并且不限制本公开的范围。
具体实施方式
本公开提出用于移动平台上的图像增稳的系统和方法，其克服了现有系统和方法的局限性。特别地，本系统和方法可以用于使用多个成像装置的全景成像。例如，本系统和方法考虑到将多个视频帧组装为全景视频时的图像增稳。下面描述本系统和方法的示例性实施例。
现在参照图1，示例性移动平台成像系统10示出为包括移动平台100和成像装置200。成像装置200示出为具有用于对感兴趣的场景50成像的视场(“fov”)230。场景50被拍摄为可以在用户终端400上显示给用户20的图像300(例如，静止图像或视频帧)。移动平台成像系统10可以包括移动平台100、成像装置200和/或用户终端400中的一个或多个，而没有限制。
本系统和方法中的移动平台100可以包括任何类型的移动平台，包括自行车、汽车、卡车、轮船、船只、火车、直升机、飞行器、机器人装置、及其各种混合动力车等。尽管仅出于说明的目的而在本文的一些示例中示出移动平台100为飞行移动平台，但是这些示例并不意味着限制。本文在飞行移动平台的背景下描述的实施例可以应用于任何合适的移动平台100。
移动平台100可以包括用于执行例如移动、通信、成像和/或其他功能的一个或多个功能模块。例如，移动平台的功能模块可以包括一个或多个移动机构(例如推进机构)、感测系统和通信系统。移动平台100还可以根据需要进一步包括例如处理器、存储器等的硬件部件。
在一些实施例中，移动平台100可以是无人飞行器(uav)120。通俗地称为“无人机”，uav120包括载运工具上没有驾驶员的飞行器，飞行器的飞行自主控制或者由远程驾驶员控制(或者有时是两者)。现在，无人机120在涉及各种空中操作(例如数据收集或发送)的民用应用中有越来越多的使用。本成像系统和方法适用于与许多类型的无人机120一起使用，包括但不限于，四旋翼机(也称为四旋翼直升机或四旋翼)、单旋翼、双旋翼、三旋翼、六旋翼和八旋翼uav120、固定翼uav120、以及混合式旋翼-固定翼uav120。
成像装置200可以接收来自外部环境的入射光并且可以将入射光转换成数字和/或模拟信号。信号可以被处理以产生可以显示给用户20的图像300。适用于本系统和方法的示例性成像装置200，包括但不限于可商购的相机和摄像机。尽管仅出于说明的目的在图1中示出单个成像装置200，但是根据需要，可以使用任何数量的成像装置200。例如，根据需要，本系统和方法可以使用2、3、4、5、6个甚至更多数量的成像装置200。在一些实施例中，可以使用多个成像装置200获取用于全景成像或视频应用的全景图像350(图7所示)。在一些实施例中，本系统和方法可以使用一个或多个全向成像装置200(例如，全向相机)。
成像装置200可以通过光圈(未示出)接收入射光并使用镜头(未示出)聚焦光。适合于成像装置200的示例性镜头包括但不限于，单镜头反光(dslr)镜头、针孔镜头、生物镜头、简单的凸透镜、微距镜头、变焦镜头、远距镜头、鱼眼镜头、直线镜头、广角镜头等。成像装置200还可以包括基于颜色分离和/或过滤感测到的光的装置(未示出)。
入射光可以使用成像装置200的图像传感器210上的镜头被聚焦。图像传感器210可以感测入射光并将感测到的光转换为可以呈现为图像300的模拟和/或数字信号。合适的图像传感器210可以包括模拟传感器(例如，摄像管)和/或数字传感器(例如，电荷耦合器件(ccd)、互补金属氧化物半导体(cmos)、n型金属氧化物半导体(nmos)成像装置及其混合物/变体)。
在一些实施例中，成像装置200可以包括具有光敏元件阵列的图像传感器210，每一个光敏元件都可以捕捉图像信息的像素。增加光敏元件的数量相应地增加成像装置200的分辨率。成像装置200优选地具有至少0.1兆像素、0.5兆像素、1兆像素、2兆像素、5兆像素、10兆像素、20兆像素、50兆像素、100兆像素、或甚至更大数量的像素的分辨率。
在一些实施例中，图像传感器210可以是全局快门图像传感器，其可以同时曝光图像的所有像素。在其他实施例中，图像传感器可以是滚动快门图像传感器210，其可以在任何给定时间捕捉图像的一部分像素。例如，滚动快门图像传感器可以在每个曝光时刻曝光一个或多个像素线(例如，行或列)。通过多次曝光获得的像素线可以形成完整的图像300。
在一些实施例中，成像装置200可以具有用于各种应用的一个或多个图像传感器210，例如热成像、多光谱图像的创建、红外检测、伽玛检测、x射线检测等。根据需要，成像装置200可以包括例如是光电传感器、热/红外传感器、彩色或单色传感器、多光谱成像传感器、分光光度计、光谱仪、温度计和/或照度计的图像传感器250。
用户终端400可以配置为与用户20交互以操作移动平台100和/或将由移动平台100收集的图像300呈现给用户20。用户终端400可以包括例如一个或多个遥控器(未示出)、便携式计算机、笔记本电脑、移动装置、手持装置、移动电话(例如智能电话)、平板装置、平板电脑、个人数字助理、手持式控制台、便携式媒体播放器、可穿戴装置(例如，智能手表和头戴式显示器)等。尽管仅为了说明的目的在图1中示出用户终端400为智能电话，但用户终端400不限于此。
用户终端400可以包括一个或多个输入/输出装置(未示出)，例如按键、键盘、键区、轨迹球、显示器和/或监视器。可以使用各种用户界面元件(例如，窗口、按键、菜单、图标、弹出窗口、选项卡、控件、光标、插入点等)向用户呈现数据并从用户接收数据(未示出)。
各种技术可以用于移动平台100与用户终端400之间的远程通信。合适的通信技术包括例如无线电、无线保真(wi-fi)、蜂窝、卫星和广播。示例性无线通信技术包括但不限于，全球移动通信系统(gsm)、通用分组无线业务(gprs)、码分多址(cdma)、宽带cdma(w-cdma)、cdma2000、imt单载波、增强型数据速率gsm演进(edge)、长期演进(lte)、高级lte、时分lte(td-lte)、高性能无线局域网(hiperlan)、高性能无线广域网(hiperwan)、高性能无线城域网(hiperman)、本地多点分配业务(lmds)、全球互通微波接入(wimax)、zigbee、蓝牙、flash正交频分复用(flash-ofdm)、高容量空分多址(hc-sdma)、iburst、通用移动电信系统(umts)、umts时分双工(umts-tdd)、演进的高速分组接入(hspa+)、时分同步码分多址(td-scdma)、演进数据优化(ev-do)、数字增强无绳电信(dect)等。
在一些实施例中，移动平台100和用户终端400之间的通信可以有利地加密以防止第三方入侵。合适的加密方法包括但不限于，互联网密钥交换、互联网协议安全(ipsec)、kerberos、点对点协议、传输层安全、ssid隐藏、mac地址过滤、静态ip寻址、802.11安全、有线等效保密(wep)、wi-fi保护接入(wpa)、wpa2、临时密钥完整性协议(tkip)、可扩展认证协议(eap)、轻量级可扩展认证协议(leap)、受保护可扩展认证协议(peap)等。
现在参照图2，示例性移动平台成像系统10示出为包括多个成像装置200a-n。成像装置200a-n包括用于获取图像300(在图1中示出)的各个图像传感器210a-n。如图2所示，200a-n成像装置可使用时间同步器130同步。在一些实施例中，时间同步器130可以参考用以调节同步信号105的时序的时钟信号135来操作。
时间同步器130可以例如将同步信号105发送到每一个成像装置200a-n，使得成像装置200a-n可以同时捕捉各自的图像300。在一些实施例中，由成像装置220a-n捕捉的图像数据205可以通过指示图像获取时间的时间戳(未示出)来标记。由成像装置220a-n捕捉的图像300可被处理并组装成代表多个视场的较大图像，例如全景图像350。与图像数据205相关联的时间戳可用于识别来自不同图像装置200a-n的在相同或相似时间拍摄的图像数据205。
如图2所示，由成像装置200a-n捕捉的图像数据205可以发送到处理器110进行处理。处理可以基于来自用户20的输入进行。尽管仅出于说明的目的在图2中示出单个处理器，但是在本系统和方法中可以使用任何数量的处理器。不受限制地，每个处理器110可以包括一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路(asic)、现场可编程门阵列(fpga)、专用指令集处理器、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。处理器110可以配置为进行本文描述的任何方法，包括但不限于涉及图像处理的各种任务。在一些实施例中，处理器110可以包括专用软件和/或硬件，例如用于图像处理的图形处理单元(gpu)和/或用于信号处理的数字信号处理器(dsp)。在一些实施例中，处理器110可以运行分析器，所述分析器操作以进行本文描述的任何方法。
处理后的数据215可以从处理器110发送到一个或多个存储器120(本文可选地称为非暂时性计算机可读介质)。例如，由处理器组装的全景视频的帧可以连续发送到存储器120以构成视频文件。合适的存储器120可以包括，例如，随机存取存储器(ram)、静态ram、动态ram、只读存储器(rom)、可编程rom、可擦除可编程rom、电可擦除可编程rom、闪存、安全数字(sd)卡等。用于执行本文描述的任何方法的指令可以存储在存储器120中。根据需要，存储器120可以设置为与处理器110可操作地通信，并且根据需要，可以将指令和/或数据从存储器120发送到处理器110用于执行。
移动平台成像系统10的部件(例如处理器110和存储器120)可以根据需要位于任何位置。在一些实施例中，处理器110和存储器120可以位于移动平台100上(图1所示)(例如，设置在移动平台100的机身内以避免磨损)。在一些实施例中，处理器110和存储器120可以位于安装在移动平台100(如图1所示)上的设备上。例如，处理器110和存储器120可以位于相对于成像装置200位于近侧的设备(未示出)上以便于通信。在一些实施例中，处理器110和存储器120可以位于用户终端400(图1所示)内，并且可以配置为与成像装置200远程通信。
在一些实施例中，处理后的数据215可以从处理器110发送到实时查看终端450。实时查看终端450可用于将成像装置220捕捉到的图像和/或视频实时显示给用户20。在一些实施例中，用户可以选择构成视口370(图7所示)的感兴趣区域，并且可以根据选定的视口370显示图像。在一些实施例中，实时查看终端450可以位于用户终端400上。例如，实时查看终端450可以显示在安装于用户终端400上的应用程序内，用于移动平台成像和控制。
移动平台成像系统10可以包括一个或多个设备，用于检测成像装置200的位置以促进图像增稳。如图2进一步所示，示出的示例性系统包括惯性测量单元(imu)220，用于感测移动平台成像系统10的一个或多个部件的位置。imu220可以包括一个或多个传感器(例如陀螺仪、加速度计、磁力计等)，用于测量力、线速度和角速度以及线加速度和角加速度。imu220可用于例如测量空中移动平台100的当前俯仰、偏航和/或横滚。通过将感测的加速度根据时间积分，可以确定imu220和任何相关联部件的当前速度和/或位置。在一些实施例中，可以使用全球定位系统(gps)补充和/或验证由imu220获得的位置测量。尽管仅出于说明的目的在图2中示出单个imu，但是根据需要，可以使用任何数量的imu220。在一些实施例中，每个成像装置200a-n可以与各自的imu220a-n相关联。
如图2所示，一个或多个imu220可以经由从时间同步器130发送的同步信号105关于成像装置200a-n同步。imu220可以获取指示与imu220相关联的部件的位置、速度和/或加速度的移动数据225。移动数据225可以用指示移动数据225的获取时间的时间戳(未示出)标记。随后可以将移动数据225与图像数据205一起发送到处理器110以促进图像处理。
现在参照图3，示出了安装在移动平台100上的多个成像装置200a-f的示例性配置。每个成像装置200a-f可以相对于移动平台100以固定的欧拉角(α，β，
现在参照图4，示出了安装在移动平台100上的多个成像设备200a-f的另一示例性配置。与图3所示的配置对照，使用单个imu220而不是多个imu220。imu220可以位于已知参考点202处，例如，位于成像装置220a-f的中心。使用来自该单个imu200的imu数据，可以基于参考点202和成像装置200a-f的相对位置确定每个成像装置200a-f的实时位置(例如，fov230或欧拉角)。
在一些实施例中，如图3和4所示，成像装置200a-f可以使用固定安装件250相对于移动平台100安装，使成像装置200a-f相对于移动平台100不可移动。固定安装件250固定每个成像装置200相对于移动平台100的欧拉角(α，β，
现在参照图5，示出了另一示例性实施例，其中一个或多个成像装置200可以使用例如云台260的可移动安装件相对于移动平台100安装，以将成像装置200精确定位到给定的一组欧拉角(α，β，
如图5的左侧所示，成像装置200处于俯仰角
现在参照图6，示出了用于移动平台100上的图像增稳的示例性方法600。在610处，可以获取安装到移动平台100的一个或多个成像装置200的移动数据225。在一些实施例中，成像装置200的移动数据225可以使用一个或多个imu220获取。例如，如图3所示，移动数据225可以使用多个imu220获取，其中多个imu220中的每一个都安装到一个成像装置200并且配置为测量imu220安装到成像装置200的位置。可选地和/或附加地，如图4所示，移动平台上的参考点202的移动数据225可以使用单个imu220获取。随后可以基于成像装置200和参考点202之间的相对位置内插用于每个成像装置200的移动数据225。
在620处，可以根据移动数据225调整成像装置200获得的输入图像310以获取增稳图像320。在一些实施例中，可以基于各个成像装置200的移动数据225，通过应用滚动快门图像增稳来调整输入图像310。可选地和/或附加地，可以基于各个成像装置200的移动数据225，通过应用投影变换图像增稳来调整输入图像310。如下面进一步详述的，在一些实施例中，增稳图像320可以组装为例如全景图像350(在图7中示出)的较大图像。例如，等距柱状投影可以应用于每个增稳图像320以获取等距柱状图像330(图7所示)。等距柱状图像330可以拼接在一起以获取增稳全景图像350。
在630处，可以根据选定的视口370显示增稳图像320。例如，可以将增稳全景图像350发送到用户终端400并根据视口370进行显示。视口370可以由用户20选择。例如，用户20可以在实时查看终端450中选定的视口370。在选定的视口370后，基于对视口370的选择，可以向用户20显示包括增稳图像320的实时查看视频390(图7中示出)。
现在参照图7，示出了根据本系统和方法的用于移动平台图像增稳的示例性图像处理流程。一个或多个输入图像310a-n可以由各自的成像装置200(图1中所示)获得。例如，根据需要，对于每个处理，输入图像310a-n可以被同步或加时间戳为视频帧。输入图像310a-n可以通过对每个输入图像310a-n单独应用增稳校正来增稳。增稳校正可以包括例如滚动快门图像增稳，以校正由成像装置200的移动导致的帧内模糊。可选地和/或附加地，增稳校正可以包括投影变换图像增稳以校正由成像装置200的移动导致的帧间模糊。
在输入图像310a-n被单独增稳之后，增稳图像320a-n可以可选地组装为较大的图像，例如全景图像350。在一些实施例中，如图8所示，可以将等距柱状投影应用于图像(例如，增稳图像320a-n)以提供等距柱状图像330a-n。投影到等距柱状坐标可以有利地促进将图像拼接为全景图像350。在一些实施例中，一个或多个全景图像可以编码(例如，使用编解码器)到全景视频360中。根据需要，全景视频360可以存储在存储器120中(图2所示)以供后续查看。
如图7进一步所示，可以基于选定的视口370向用户20显示增稳图像320(例如，全景图像350)。视口370可以是用户20感兴趣的增稳图像320或全景图像350的选定区域，或以其他方式根据与用户200交互的实时查看终端450默认选择。在已经根据等距柱状投影变换增稳图像320的情况下，可以应用反向投影以将图像变换回直线坐标。增稳图像可以格式化为根据视口370显示为一个或多个实时查看框380。一个或多个实时查看框380可以编码(例如，使用编解码器)到实时查看视频390中以显示给用户20。
现在参照图8，示例性输入图像310示出为描绘使用滚动快门成像装置200获取的移动场景50。物体在场景50中的向前移动以及成像装置200的高频运动和/或振动，导致输入图像310中的模糊外观。特别地，对于滚动快门成像装置200，当快速移动物体处于不同位置时，输入图像310的每一行在不同时间被捕捉，导致输入图像310中产生抖动或“果冻状”外观。例如，滚动快门成像装置200的连续行之间的曝光通常在几十微秒的量级。相应地，滚动快门成像装置200的第一行和最后一行的曝光可以在几毫秒的量级。如果物体移动的时间尺度与此毫秒时间尺度相似或更小，则可能出现明显的成像失真。
根据上面提供的示例，滚动快门图像增稳可以应用于输入图像310，以校正帧内模糊。可以根据安装到移动平台100的一个或多个成像装置200的每一个的移动数据225来进行滚动快门图像增稳。特别地，每个成像装置200可以具有六个自由度的运动：三个旋转(偏航、俯仰和横滚)以及三个平移(x、y和z)。在将移动平台100应用于远距离物体的成像的情况下，图像失真主要由成像装置200的旋转运动引起。因此，可以使用移动数据225通过下面的示例性方法进行滚动快门图像增稳。设输入图像310以三维坐标表示为矢量x，相应物体的物理坐标表示为x，相机参数矩阵表示为k，并且旋转矩阵为r(t)。然后得到以下关系：
x＝kr(t)x方程式(1)
假设成像装置200以间隔δt获得输入图像310的多行，第一行获取时间为t1，用于成像装置200的图像传感器210的分辨率具有mxn尺寸，对应于输入图像310的第i行的物理坐标x(i)可以表示为：
x(i)＝kr(iδt+t1)x方程式(2)
在输入图像310的第一行和第i行同时曝光(例如，对于全局快门成像装置200)的情况下，对应于输入图像310的物理坐标可以表示为：
x0(i)＝kr(t1)x方程式(3)
相应地，滚动快门图像增稳可以如下进行：
x0(i)＝kr(t1)rt(iδt+t1)k-1x(i)方程式(4)
注意，假设输入图像310的第一行和第i行是在成像装置200旋转δri之后获得的，则：
r(iδt+t1)＝r(t1)δri方程式(5)
特别地，如果对于输入图像310的第一行的成像装置200的偏航、俯仰和横滚是(y1，p1，r1)，以及对于输入图像310的第i行的成像装置200的偏航、俯仰和横滚是(yi，pi，ri)，那么成像装置200的偏航、俯仰和横滚的变化(δy，δp，δr)如下给出：
基于成像装置200的偏航、俯仰和横滚的变化(δy，δp，δr)(或者等同地基于成像装置200的欧拉角(α，β，
成像装置200的偏航、俯仰和横滚(或等同地，成像装置200的欧拉角(α，β，
现在参照图9，示出了对输入图像310的像素的每行311进行滚动快门图像增稳，其中对应于每行的单独移动数据225不可用。例如，如图10所示，在移动数据225的频率小于滚动快门的频率的情况下可能出现这种情况。在图10中，示出了示例性输入图像310，其中滚动快门具有10微秒的频率，使得每10微秒获取输入图像310的一行311。在图10中移动数据225(用粗线描绘)比滚动快门的频率更慢地获取-例如每20微秒一次。
在对应于每行311的单独移动数据225不可用的情况下，可以使用各种方法进行滚动快门图像增稳。在一些实施例中，输入图像310的多行311可以根据从其获取移动数据225的imu220的频率周期性地校正。例如，假定相对于开始获得输入图像310的时间，分别在0微秒和20微秒时接收到第一和第二移动数据225。输入图像310的第一、第二和第三行311由成像装置200分别在0微秒、10微秒和20微秒时获取。可以根据在0微秒时接收的第一移动数据225来校正第一和第二行311。可选地，输入图像310的每行311可以在行311的获取时间根据内插移动数据225校正。例如，基于在0和20微秒时的第一和第二移动数据225，可以在10微秒时得到内插移动数据225。内插移动数据225可以通过使用第一和第二移动数据225的时间加权平均得到。然后内插移动数据225可以用于校正在10微秒处获取的第二行311。
现在参照图10，示例性投影变换示出为应用于图像增稳的输入图像310。例如，投影变换可用于校正给定图像内或视频的不同帧之间的模糊。在图11所示的示例中，可以在输入图像310上选择多个输入点312a-n。例如，可以通过输入图像310上的像素间隔采样来选择输入点312。在一些实施例中，输入点312可以以等距间隔(例如，5个像素、10个像素、20个像素、50个像素、100个像素、200个像素或更多)的矩形图案来选择。输入点312可以基于预设的水平间隔和/或垂直间隔选择。水平间隔可以与垂直间隔相同或不同。在一些实施例中，可以选择输入点312的非矩形(例如，三角形)图案。可选地和/或附加地，部分或全部输入点312可以随机选择。选定输入点312a-n可形成可用于图像增稳的网格315。
在选择输入点312的网格315之后，可以使用投影变换将具有坐标(u，v)的每个输入点312映射到具有坐标(x，y)的对应输出点313。投影变换可以根据与输入点312相对应的移动数据225进行。移动数据可以参考目标欧拉角(α，β，
r＝rref*inv(rcur)方程式(8)
投影变换可应用于每个输入点312a-n以获取相应输出点313a-n的网格315。在一些实施例中，如图11所示，输出点可以在选定的视口370中找到。选定的视口370可以是比输入图像小的区域，从而避免图像边缘上的图像校正伪像。选定的视口370可以由用户20指定。可选地和/或附加地，选定的视口370可以由成像应用程序自动选择。
在一些实施例中，输入图像310的预处理可以在投影变换之前进行。例如，输入图像310可以在投影变换之前处理以校正镜头失真。镜头失真校正的参数可以在投影变换之前通过校准获得。在坐标(u，v)处的每个输入点312可以根据镜头校正变换，以获得坐标(u′，v′)。如上所述，已经针对镜头失真校正的坐标(u′，v′)可以随后进行投影变换。
现在参照图11，示出了根据上述方法600(图6中示出)调整输入图像310以获得相应的增稳图像320的示例性方法1100。在1110处，可以在输入图像310上选择输入点312的网格315。在一些实施例中，输入点312可以通过输入图像310的间隔采样选择。在一些实施例中，根据预设的水平间隔和/或垂直间隔，可以以等距间隔的矩形图案选择输入点312。水平间隔可以与垂直间隔相同或不同。在一些实施例中，可以选择输入点312的非矩形(例如，三角形)图案。在一些实施例中，部分或全部输入点312可以随机选择。
在1120处，对应于每个输入点312的输出点313可以通过对输入点312应用投影变换确定。在一些实施例中，可以基于输入点312的当前欧拉角(α，β，
在1130处，在找到输出点313之后，根据输出点313，输入图像310可以可选地投影到输出图像325的选定的视口370上。例如，根据相应的输出点313，由一组相邻输入点312定义的输入图像310上的每个多边形可以变换为选定的视口370上的对应多边形。投影可以根据本领域已知的方法进行，例如用于图形处理和变换的方法。
现在参照图12，示例性反向投影变换示出为应用于输入图像310用于图像增稳。例如，反向投影变换可用于校正给定图像内或视频的不同帧之间的模糊。在图12示出的示例中，可以在输出图像325的选定的视口370上选择多个输出点313a-n。例如，可以通过选定的视口370内的像素间隔采样选择输出点313。例如，输出点313可以以等距间隔(例如5个像素、10个像素、20个像素、50个像素、100个像素、200个像素或更多)的矩形图案选择。输出点313可以基于预设的水平间隔和/或垂直间隔选择。水平间隔可以与垂直间隔相同或不同。在一些实施例中，可以选择输出点313的非矩形(例如，三角形)图案。可选地和/或附加地，部分或全部输出点313可以随机选择。选定的输出点313a-n可以形成可用于图像增稳的网格315。
如图12所示，可以在输入图像310上选择对应于输出点313a-n的一组输入点312a-n。在选择输出点313的网格315之后，可以使用反向投影变换将具有坐标(x，y)的每个输出点313映射到具有坐标(u，v)的对应输入点312。投影变换可以根据与输入点312相对应的移动数据225进行。如以上参照图10所述，移动数据225可以参考目标角(α，β，
r＝rcur*inv(rref)方程式(9)
其中rref是目标角(α，β，
在一些实施例中，输入点312可以使用迭代过程从输出点313得到。例如，输入点312可以初始化为具有与对应的输出点313相同的坐标。换言之，输入点312的初始坐标可以在迭代过程开始时设置为(u0，v0)＝(x，y)。随后可以获得具有对应于初始输入点312的欧拉角(α0，β0，
现在参照图13，示出了根据上述方法700(在图6中示出)调整输入图像310以获取相应的增稳图像320的示例性方法1300。在1310处，可以在输出图像325的选定的视口370上选择输出点313的网格315。在一些实施例中，输出点313可以通过在选定的视口370内间隔采样来选择。在一些实施例中，根据预设的水平间隔和/或垂直间隔，可以以等距间隔的矩形图案选择输出点313。水平间隔可以与垂直间隔相同或不同。在一些实施例中，可以选择输出点313的非矩形(例如，三角形)图案。在一些实施例中，部分或全部输出点313可以随机选择。
在1320处，可以通过对输出点313迭代地应用反向投影变换来确定对应于每个输出点313的输入点312。在一些实施例中，可以基于输入点312的当前欧拉角(α，β，
在一些实施例中，可以将反向镜头校正变换应用于每个输出点以校正镜头失真。镜头失真校正的参数可以在反向镜头校正变换之前通过校准获得。根据镜头校正参数，可以对坐标(x，y)处的每个输出点312进行反向变换以获得坐标(u′，v′)。如上所述，已经针对镜头失真进行了反向校正的坐标(u′，v′)随后可以反向投影变换到坐标(u，v)。
现在参照图14，更具体地示出了图13中描述的反向投影变换方法的迭代步骤1320。在1321处，输入点312的初始坐标(u0，v0)可以根据输出点313的坐标(x，y)初始化。在1322处，可以根据输入点312的先前坐标(uk-1，vk-1)的欧拉角(αk-1，βk-1，
在以上示例中，通过滚动快门和/或投影变换图像增稳来调整输入图像310用于图像增稳。这些示例仅用于说明目的，而不旨在限制。用于增稳输入图像310的任何调整可以在本系统和方法中使用。例如，可选地或除上述方法之外，可以通过将输入图像310的特征与其他输入图像310的特征进行匹配来调整输入图像310用于增稳。例如，可以使用以下方法在输入图像310中自动检测特征：边缘检测、shi-tomasi角点检测、图像二值化、surfblob(加速稳健特征)检测、mserblob(最大稳定极值区域)检测、sift(尺度不变特征变换)描述符、freak(快速视网膜关键点)描述符、brisk(二进制稳健不变尺度关键点)描述符、hog(方向梯度直方图)描述符等。可以调整输入图像310，使得给定的一个或多个特征在多个输入图像310中保持在相同位置或以稳定速率移动。
现在参照图15，示例性全景图像350示出为等距柱状投影。如以上参考图7所述，可以将等距柱状投影应用于多个增稳图像320的每一个以给出对应的等距柱状图像330。等距柱状投影有利地将曲面转换成平坦的二维表面以便于观察、比较和组装增稳图像320。例如，通过使用经线作为水平轴并且纬线作为垂直轴以将曲面上的点“展开”到相应的平坦表面上，可以实现等距柱状投影。具体地，可以使用以下示例性过程实现等距柱状投影：
首先，在输入图像310(或等同地，增稳图像320)上具有坐标(xi，yi)的二维像素可以投影到三维坐标(xw，yw，zw)中，如下：
其中w是输入图像310的宽度，h是输入图像310的高度，并且f是直线投影后成像装置200的等效焦距。然后，三维坐标可以根据成像装置200的欧拉角旋转到相应的坐标(xw′，yw′，zw′)，如下：
其中r是旋转矩阵。在成像装置200在全局坐标中具有(y，p，r)的偏航、俯仰和横滚值的情况下，旋转矩阵r可以表示为：
随后可以使用以下转换将三维坐标转换为(r，θ，γ)形式的极坐标：
其中极坐标(r，θ，γ)在图16中示出。
随后，基于极坐标如下确定欧拉角(
最后，使用缩放值λ，可以获得等距柱状坐标(λ
图17-20示出了几个示例性输入图像310，输入图像310由直线镜头以各种俯仰角
根据以上，在一些实施例中，可以将由一个或多个成像装置获取的增稳图像320组装为全景图像350。现在参照图21，示出了用于将增稳图像320组装为全景图像350的示例性方法2100。在2110处，可以将等距柱状投影应用于每个增稳图像320以获得相应的等距柱状图像330。等距柱状投影有利地“平坦”曲面以便于观察、比较和组装增稳图像320。参考方程式(10)-(14)非限制地示出了应用等距柱状投影的示例性方法。
在2120处，等距柱状图像330可以拼接在一起以获得全景图像350。在一些实施例中，可以根据增量拼接方法进行拼接，其中增量地添加全景图像350的部分以形成完整图像。图22示出了增量拼接的示例性方法。图22的顶部示出了使用先前的等距柱状图像330部分地构建的示例性全景图像350。如图22的底部所示，先前的等距柱状图像330可以提供可用于将连续的等距柱状图像330定位到全景图像350上的锚定图像。
为了确保满意的拼接结果，连续的等距柱状图像330可以具有不小于预定阈值的与全景图像350的重叠区域。在一些实施例中，等距柱状图像330可以具有不小于等距柱状图像330的高度的预定比率的与全景图像350的重叠高度。在一些实施例中，等距柱状图像330可以具有不小于等距柱状图像330的宽度的预定比率的与全景图像350的重叠宽度。预定比率可以是例如二分之一、三分之一、四分之一、五分之一、六分之一、八分之一、十分之一或者任何其他合适的比率。在一些实施例中，预定比率对于重叠高度和重叠宽度可以是相同的。在其他实施例中，预定比率对于重叠高度和重叠宽度可以是不同的。在一些实施例中，等距柱状图像330可以具有与邻接区域全景图像350的预定重叠区域。重叠面积可以不小于等距柱状图像330的面积的预定比率。预定比率可以是例如二分之一、三分之一、四分之一、五分之一、六分之一、八分之一、十分之一或者任何其他合适的比率。
在一些实施例中，与获取等距柱状图像330的成像装置200相对应的欧拉角(α，β，
现在参照图23，示出了用于配置一个或多个成像装置200以获得重叠的成像覆盖范围的示例性技术。如图3和4所示，所述技术可以用于确定多个成像装置200的配置以进行全景成像。可选地和/或另外地，如图5所示，所述技术可以用于确定一个或多个移动成像装置200的移动以进行全景成像。在一些实施例中，所述技术可以实现在由不同成像装置200获取的图像300之间或在同一成像装置200的多个位置处获取的图像300之间的重叠fov230。在一些实施例中，获取图像300的多个重叠fov230可以组装为全景图像350(图7所示)而没有盲点。
成像装置200示出为具有基于水平fov角度θhor和垂直fov角度θver的示例性成像平面235。为了确保相邻图像300之间的水平重叠，可以例如基于水平fov角度θhor计算以俯仰角
其中σ表示重叠区域与两个水平相邻图像中的任何一个的比率。重叠σ可以是例如两个水平相邻图像中的任何一个的宽度的四分之一，或者两个水平相邻图像中的任何一个的面积的四分之一。在一些实施例中，可以减小或增大σ以调整预定的水平重叠区域。例如，σ可以是在八分之一到二分之一范围内的值。对于俯仰角
类似地，关于成像装置200向上或向下方向的定位，例如，可以基于垂直fov角θver计算图像行的数量n。例如，其中重叠σ＝1/4，n可以如下得到：
同样，可以针对俯仰角
现在参照图24，以全局视图示出了使用一个或多个成像装置200获得重叠图像的方法的替代实施例。如图24所示，成像装置200可以位于半径为r的球体2300的中心o处。球体2300的表面可以用经线和纬线(或圆圈)划分。第一经线可以用longitude_1表示，第二经线可以用longitude_2表示。第一经线和第二经线可以以经度角β分开，经度角β可以是零度到一百八十度范围内(含)的任何值。第一经线和第二经线之间的弧段可以具有长度l。当光线以俯仰角α进入成像装置200时，俯仰角α可对应于水平截面圆2310。水平截面圆2310可以具有半径r′。第一经线和第二经线之间的水平截面圆2310的弧段可具有长度l′。以下关系可以存在：
r′＝rcosα方程式(17)
因为三角形oa′b和三角形o′a′b′是具有共同底边的两个等腰三角形，所以可以存在以下关系：
可以从以上关系推导出以下关系：
等同地，可以存在以下关系：
现在参照图25，以全局视图示出了使用一个或多个成像装置200获得重叠图像的方法的另一可选实施例。位于点o的成像装置200示出为具有向上的俯仰角。成像装置200示出为在球体2300的表面上具有作为阴影区域abcd的成像平面230。相应的空间球形区域可以是由球形表面上的四个点a、b、c、d限定的曲面区域。在成像装置200的这个向上俯仰角所需的图像数量可以确定为：
其中β1是指截面中与阴影区域abcd的上两侧相对应的两条线之间的角度，以及β2是指截面中与阴影区域abcd的下两侧相对应的两条线之间的角度。
现在参照图26，示出了使用一个或多个成像装置200获得重叠图像的方法的另一可选实施例。o代表成像装置200的镜头(未示出)的光学中心。将与镜头相关联的传感器(未示出)表示为abcd，测量值为wxh，其中w表示传感器的宽度，并且h表示传感器的高度。由此，ad＝bc＝w以及ab＝dc＝h。e、f和g表示区域abcd侧边的中点。成像装置200具有水平fov角θhor和垂直fov角θver，并且f表示成像装置200的镜头的焦距。成像装置200的fov具有第一水平方向(宽度方向)基线
图像上点的坐标由此可以根据上述以及方程式(10)-(14)被转换为三维坐标。
现在参照图27，示出了视口370的示例性选择。在一些实施例中，视口370可以由用户20(图1中示出)选择作为增稳图像320的区域、等距柱状图像330的区域、全景图像350的区域或任何其他图像。在一些实施例中，用户可以使用将图像呈现给用户20并允许用户20选定的视口370的界面来选定的视口370。视口选择可以发生在例如实时查看终端450上以实时向用户20显示图像和/或视频。例如，实时查看终端450可以显示在用于移动平台成像和控制的应用程序内。可选地和/或另外地，应用程序可以基于成像装置200(图1所示)的视角自动选定的视口370。
可以使用图像的不同表示来选择和/或显示视口370。在一些实施例中，可以以直线坐标选择和/或显示视口370。在其他实施例中，如图27所示，可以在等距柱状图像350上以等距柱状坐标选择和/或显示视口370。在其他实施例中，如图27所示，可以在全局视图355中选择和/或显示视口370。
在本文的系统和方法的一些实施例中，无人机120可以使用安装于其上的云台260机械地补偿无人机120的定位角度。例如，无人机120可能在飞行期间(即，在移动或悬停时)经历震动或抖动，导致由安装的成像装置200获取的图像模糊。在一些实施例中，如上参考图3和图4所述，一个或多个imu220可以被安装到成像装置200以随时间获取成像装置200的欧拉角(α，β，
在机械补偿的另一示例中，在飞行期间(即，在移动或悬停时)，无人机120可以具有不平行于无人机120下的地平面的定位角度。因此，由安装到无人机120的成像装置200获取的图像可能对用户20出现弯曲或偏离水平。为解决此问题，无人机120可以有利地调整云台260以恢复成像装置200以具有相对于地面的水平视角。参照图28，示出了无人机120的定位角度的机械补偿的具体示例。示出的无人机120相对于水平参考线271a具有β度的定位角度。等价地，无人机120相对于垂直于水平参考线271a的垂直参考线271b具有(90-β)度的定位角度。成像装置200被示出为使用云台260安装到无人机120，云台260可以调节成像装置200相对于无人机120的相对角度α。如所示，成像装置200的相对角度α已经被调整，使得成像装置200的观察线235平行于水平参考线271a。
现在参照图29，示出了使用云台260补偿无人机120的定位角度β的示例性方法2900。在2910处，可以确定无人机120的水平或垂直参考线271。水平或垂直参考线271可以根据无人机120的环境确定。例如，水平或垂直参考线271可以根据无人机120下面地面的水平或地平线的位置确定。在一些实施例中，水平或垂直参考线271可以根据由安装到无人机120的成像装置200获取的输入图像310确定。可以使用自动特征识别技术(如以上参照图14所讨论的)提取指示无人机200的姿态的输入图像310的特征(例如地平线或地面)。无人机200的姿态可以基于这些特征的位置确定，并且水平或垂直参考线271可以相应地确定。
在2920处，可以使用水平或垂直参考线271将安装到无人机120的一个或多个成像装置200调整到水平视角。例如，假设无人机120的定位角度β从水平参考线271a偏移了一个俯仰角θ。无人机120可以相应地向云台260发送信号以将相对俯仰角α改变-θ以补偿偏移。
现在参照图30，根据本系统和方法的示例性处理系统3000示出为具有获取模块3010、调整模块3020和显示模块3030。调整模块可以配置为获取安装到移动平台100的一个或多个成像装置200的移动数据225。在一些实施例中，成像装置200的移动数据225可以使用一个或多个imu220获取。例如，如图3所示，移动数据225可以使用多个imu220获取，其中多个imu220中的每一个都安装到成像装置200中的一个并且被配置为测量安装imu220的成像装置200的位置。可选地和/或另外地，如图4所示，移动平台上的参考点202的移动数据225可以使用单个imu220获取。随后可基于成像装置200与参考点202之间的相对位置内插每个成像装置200的移动数据225。
调整模块3020可以配置为根据移动数据225调整由成像装置200获取的输入图像310以获得增稳图像320。在一些实施例中，可以基于各个成像装置200的移动数据225通过应用滚动快门图像增稳来调整输入图像310。可选地和/或另外地，可以基于各个成像装置200的移动数据225通过应用投影变换图像增稳来调整输入图像310。如下面进一步详述的，在一些实施例中，增稳图像320可被组装为例如全景图像350(在图7中示出)的较大图像。例如，可以将等距柱状投影应用于每个增稳图像320以获得等距柱状图像330(在图7中示出)。等距柱状图像330可以拼接在一起以获得增稳全景图像350。
显示模块3030可以配置为根据选定的视口370显示增稳图像320。例如，增稳的全景图像350可被发送到用户终端400并根据视口370显示。视口370可以由用户20选择。例如，用户20可以在实时查看终端450中选定的视口370。在选定的视口370之后，可以基于对视口370的选择向用户20显示包括增稳图像320的实时查看视频390(图7中示出)。
所公开的实施例可具有各种修改和替代形式，并且其具体示例已经通过举例在附图中示出并在本文详细描述。然而，应当理解，所公开的实施例不限于所公开的特定形式或方法，而是相反，所公开的实施例将覆盖所有修改、等同物和替代物。