动态图像遮蔽系统和方法
【技术领域】
[0001]本公开总体涉及用于远程感测图像采集的系统和方法，更具体地涉及用于远程感测图像采集(诸如航空远程感测图像采集)的自动化动态图像遮蔽系统和方法。
【背景技术】
[0002]远程感测(诸如航空远程感测)涉及传感器和成像技术(诸如雷达成像系统、照相机成像系统、光检测和测距(LIDAR)系统以及其他传感器和成像系统)的使用，以获得地面和地球表面以及遥远物体的图像。在航空远程感测中普遍使用模拟航空摄影、录像和数码摄影来采集图像。数码摄影允许将远程感测的数据实时地传输至地面或基站以进行直接分析，并且可以在计算机的帮助下分析并且解释数字图像。
[0003]然而，航空远程感测图像采集可能是繁重的，并且如果在图像拍摄事件发生时成像系统未被正确地定位，则因此可能产生大量最低程度有用的信息。对于可以采集农田和农作物的图像以确定植物健康和活力的精准农业(PA)类航空远程感测任务而言，操作者必须能够处理大面积的土地、图像采集地点的唯一的和众所周知分布、就范围、飞行时间、海拔高度、位置和速度而言较好定义的飞行剖面、以及不同区域图像的排除，如果不考虑，则其后者可以充分地阻碍精准农业(PA)类航空远程感测操作。
[0004]例如，当飞行执行精准农业类航空远程感测任务时，诸如无人驾驶飞行器(UAV)的飞行器可通过在其他居民区上方飞行而进入第一农场。可能不希望的是开始成像直至定位在第一农场上方，所以希望的是集成UAV的自动驾驶仪和成像系统并且允许自治操作。
[0005]用于航空远程感测图像采集的已知系统和方法可以包括在飞行员控制下飞行使飞行员定位在具有整个种植面积视野的局部田地中，并且因此不允许对于精准农业市场优选的自治操作。另外，没有较好地定义的采集地带，可以有太多土地或区域而不能成像，并且所采集的图像数据的量可以完全盖过传感器和成像系统。进一步，被限制或出界并且不在定义的采集地带中的数据可以无意中被成像并且采集。
[0006]此外，用于航空远程感测图像采集的已知系统和方法可以包括可被预编程(每η秒)或操作者触发的手动操作快门控制。然而，对于精准农业市场使用的这类手动操作，可能需要进入指定为待成像的特定田地。这种选择可能需要超过视线飞行以到达恰当的目的地，尤其当在低于地面高度以上400英尺的低海拔高度飞行时。然而，这类选择可能是劳动密集型的、昂贵的，并且不会产生所希望的结果来解决精准农业市场。
[0007]另一种选择可以是具有从成像照相机系统至地面控制器(飞行员和地面控制站操作者)的实况播送链接，其提供该区域的鸟瞰图。当操纵时并且当拍照片时这可以用于提醒操作者。然而，这种选择也可能是劳动密集型的并且不满足对于精准农业市场的所有要求。
[0008]因此，在该领域中需要用于通过动态图像遮蔽处理提供过滤的自治远程感测图像并且用于提供遮蔽或改变像素的方法的动态图像遮蔽系统的改进系统和方法，该像素对于图像采集事件或任务(诸如精准农业任务)是不需要的或无关的，该改进的系统和方法提供优于已知的系统和方法的优点。
【发明内容】
[0009]本公开内容的示例性实施方式提供了一种通过动态图像遮蔽处理提供过滤的自治远程感测图像从而克服现有技术方案的局限性的动态图像遮蔽系统的改进的系统和方法。如在以下详细说明中所述，通过动态图像遮蔽处理提供过滤的自治远程感测图像的动态图像遮蔽系统的改进的系统和方法可以提供优于现有系统和方法的显著优势。
[0010]在本公开内容的实施方式中，提供了一种用于通过动态图像遮蔽处理提供过滤的自治远程感测图像的动态图像遮蔽系统。动态图像遮蔽系统包括远程感测平台。
[0011]动态图像遮蔽系统进一步包括与远程感测平台相关联的成像系统。成像系统包括光学系统和图像感测系统。
[0012]动态图像遮蔽系统进一步包括与成像系统相关联的多级安全系统。动态图像遮蔽系统进一步包括位于成像系统和多级安全系统中的一个或多个图像改变位置，其中，经由动态图像遮蔽处理进行一个或多个图像的改变。
[0013]动态图像遮蔽系统进一步包括与成像系统相关联的计算机系统。计算机系统包括看门人算法，被配置为将看门人命令发送至一个或多个控制器，该控制器通过动态图像遮蔽处理来控制一个或多个图像改变位置。
[0014]在本公开内容的另一个实施方式中，提供了一种用于通过动态图像遮蔽处理提供过滤的自治远程感测图像的方法。该方法包括给远程感测平台配备成像系统的步骤。该方法进一步包括指定用于成像的区域以获得待成像的指定区域的步骤。该方法进一步包括在待成像的指定区域的表面上建立多个基准点的步骤。
[0015]该方法进一步包括将多个特定表面区域指定为不参考多个基准点成像的排除区域的步骤。该方法进一步包括控制覆盖待成像的指定区域的预建立的采集计划处理的步骤。
[0016]该方法进一步包括使用包含全球定位系统(GPS)、基于无线电的导航系统、基于光学的导航系统、惯性测量单元(MU)系统、配备有磁力仪的惯性测量单元(IMU)系统或其组合的导航系统来定位成像系统，从而使待成像的指定区域成像的步骤。该方法进一步包括使用成像系统来使由预建立的采集计划处理覆盖的待成像的指定区域成像的步骤。
[0017]该方法进一步包括使排除区域的一个或多个图像中的一个或多个像素动态地无效的步骤。该方法进一步包括通过对待成像的指定区域进行动态图像遮蔽来获得过滤的自治远程感测图像的步骤。
[0018]在本公开内容的另一个实施方式中，提供了一种用于通过动态图像遮蔽处理提供过滤的自治远程感测图像的方法。该方法包括给无人驾驶飞行器(UAV)配备成像系统的步骤。该方法进一步包括指定用于成像的区域以获得待成像的指定区域的步骤。该方法进一步包括在待成像的指定区域的表面上建立多个基准点的步骤。
[0019]该方法进一步包括将多个特定表面区域指定为不参考多个基准点成像的排除区域的步骤。该方法进一步包括控制覆盖待成像的指定区域的预建立的UAV飞行计划的步骤。
[0020]该方法进一步包括使用包含全球定位系统(GPS)、基于无线电的导航系统、基于光学的导航系统、惯性测量单元(MU)系统、配备有磁力仪的惯性测量单元(IMU)系统或其组合的导航系统来定位成像系统，从而使待成像的指定区域成像的步骤。该方法进一步包括使UAV飞行在待成像的指定区域上方、并且使用成像系统来使由预建立的UAV飞行计划覆盖的待成像的指定区域成像的步骤。
[0021]该方法进一步包括使排除区域的一个或多个图像中的一个或多个像素动态地无效的步骤。该方法进一步包括通过对待成像的指定区域的动态图像遮蔽来获得过滤的自治远程感测图像的步骤。
[0022]所讨论的特征、功能、以及优点可以在本公开内容的各种实施方式中独立实现或者可以在又一些其他实施方式中结合，参考下列描述和附图可以获得本公开内容的更多细
-K-
T O
【附图说明】
[0023]参考结合示出了优选的和示例性的实施方式的附图的以下详细描述可更容易地理解本公开内容，但是附图不必按比例绘制，在附图中:
[0024]图1是可在本公开内容的动态图像遮蔽系统的实施方式以及方法的实施方式中使用的成像系统的系统框图的示意图；
[0025]图2是具有图1的成像系统的本公开内容的动态图像遮蔽系统的实施方式的系统框图，并且示出动态图像遮蔽系统中的看门人算法和多个图像改变位置的示意图；
[0026]图3是在本公开内容的动态图像遮蔽系统实施方式中以及方法的实施方式使用的看门人算法的功能框图的示意图；
[0027]图4A是本公开内容的动态图像遮蔽系统的实施方式之一的系统框图的示意图；
[0028]图4B是本公开内容的动态图像遮蔽处理的实施方式之一的系统框图的示意图；
[0029]图5A是本公开内容的方法实施方式的流程图的示意图；
[0030]图5B是本公开内容的方法的另一个实施方式的流程图的示意图；
[0031]图6是可在本公开内容的动态图像遮蔽系统以及方法的实施方式中使用的无人驾驶飞行器(UAV)的示意性表示的示意图；
[0032]图7是飞机制造和保养方法的实施方式的流程图的示意图；并且
[0033]图8是飞机的实施方式的功能框图的示意图。
【具体实施方式】
[0034]在下文中将参考附图更为全面地描述所公开的实施方式，附图中示出了一些但并非全部公开的实施方式。当然，可以提供多个不同的实施方式并且不得被解释为局限于本公开中所阐述的实施方式。相反地，提供这些实施方式从而使本公开内容变得详尽并且将本公开内容的范围充分地传达给本领域技术人员。
[0035]参考附图，图1是可在本公开内容的动态图像遮蔽系统10(参考图2)、方法150(参见图5A)以及方法170(参见图5B)的实施方式中使用的成像系统12的实施方式的系统框图的示意图。
[0036]如图1所示，成像系统12与远程感测平台14相关联，并且包括光学系统20和图像感测系统22。诸如照相机20a(也参见图4A)的光学系统20(参见图1)表示全世界的光学取景(optical view)。采集计划过程16(参见图1)将采集计划过程的输出18(参见图1)输出至光学系统20(参见图1)。光学系统20(参见图1)将原始图像数据输出24输出至焦点平面阵列子系统22a(参见图1)的焦点平面阵列26(参见图1)。
[0037]如图1所示，图像感测系统22(参见图1)可以包括焦点平面阵列子系统22a(参见图1)，并且焦点平面阵列子系统22a包括焦点平面阵列26、模数转换器(A/D)30、易失性临时存储器34、数字信号处理器38以及数模转换器(D/A)54。
[0038]焦点平面阵列26(参见图1)读取原始图像数据24(参见图1)并且将其28传递至模数转换器30(参见图1)。模数转换器30(参见图1)将模数转换器输出32(参见图1)输出至易失性临时存储器34(参见图1)，在易失性临时存储器34中临时地存储图像122(参见图4A)(随后的图像改写(overwrite，覆盖)当前图像)。易失性临时存储器34(参见图1)然后将易失性临时存储器输出36(参见图1)输出至数字信号处理器38(参见图1)。在数字信号处理器38(参见图1)中可以进行若干动作，包括例如读取数字信号37(参见图4B)、调整增益、通过拜尔(Bayer)过滤器(S卩，例如，用于将RGB(红色、绿色、蓝色)滤色器布置在光传感器的正方形网格上以得到jpg文件格式的滤色器阵列(CFA))处理数字信号37(参见图4B)、以及执行诸如边缘锐化的图像增强技术。在通过数字信号处理器38(参见图1)将数字信号37(参见图4B)处理为可读图像格式39(参见图4B)之后，数字信号处理器38(参见图1)输出数字输出40(参见图1)从而存储在多级安全系统42(参见图1)的非易失性结果存储器(resultantst0rage)44(参见图1)中。如果有必要，可以从非易失性结果存储器44(参见图1)中将非易失性结果存储器输出46(参见图1)输出至多级安全系统42(参见图1)的后处理过程48(postprocessing process)(参见图1)从而进行后处理。后处理过程48(参见图1)输出经后处理的输出产物49(参见图1)。
[0039]如果光学系统20是模拟的，则数字信号处理器38(参见图1)将数字信号处理器输出信号52(参见图1)输出至数模转换器54(参见图1)，并且数模转换器54(参见图1)转换信号为模拟的，并且输出模拟输出56(参见图1)。可以在视频编辑系统58(参见图1)中使用或存储模拟输出56 (参见图1)。
[0040]在本公开内容的实施方式中，提供了一种用于通过动态图像遮蔽处理11(参见图4A至图4B)提供过滤的自治远程感测图像51(参见图2、图4A)的动态图像遮蔽系统10(参见图2、图4A)。图2是具有图1的成像系统12的本公开内容的动态图像遮蔽系统1的实施方式的系统框图，并且示出在动态图像遮蔽系统10中的看门人(GK)算法60和多个图像改变位置90的示意图。
[0041 ]图2示出在其中可以改变一个或多个图像122(参见图4A)中的一个或多个像素126(参见图4B)从而产生遮蔽的图像50(诸如过滤的自治远程感测图像51)的图像改变位置90。图4A是本公开内容的动态图像遮蔽系统10的实施方式中的一个的系统框图的示意图。图4B是本公开内容的动态图像遮蔽处理11的实施方式中的一个的系统框图的示意图。
[0042]在详细地论述图2和图4A中示出的动态图像遮蔽系统10之前，将论述看门人算法60(参见图2、图3、图4B)。图3是在本公开内容的动态图像遮蔽系