专利名称：在移动站远程控制装载的摄像机的方法及设备的制作方法
技术领域：
本发明涉及在移动车辆上装载的设备的远程控制领域，尤其涉及用于从远程站控 制移动站中的摄像机的方法和设备，其中移动站发送包含至少一个目标对象的图像到所述 远程站，该目标对象位于所述摄像机探测到的区域中。本发明也涉及记载在记录介质上的计算机程序，当在计算机上运行该程序时，其 能够实现本发明的方法。
背景技术：
通过控制设备与摄像机之间的信号交换、使用与距离、摄像机的运动速度以及传 送条件相适应的通信技术及协议，可以实现位于远程站中的控制设备对移动摄像机的远程 控制。例如，当摄像机被装载在无人驾驶飞机上并且所交换的信号经过一个慢速信道例 如通过卫星传送时，由于控制信号从远程站经由慢速信道到无人驾驶飞机的传送时间、以 及摄像机图像到远程站的传送时间，会产生延迟现象。因此，当远程站中的操作者指定该 远程站上显示的图像中的目标对象，并发送一个命令到摄像机以指示其跟踪所指定的对象 时，该命令经过一延迟时段到达摄像机，在此期间，操作者在时刻T指定的图像中的对象， 已经与接收到命令时在无人驾驶飞机中看到的图像中的对象不再具有相同的位置。更具体 地说，如果延迟时段是L秒，在时刻T显示在地面站点上的图像是装载的设备在时刻T-L获 得的那一幅图像，在时刻T从站点发出的命令在将在时刻T+L由装载的设备接收。如果在摄像机解释完先前的命令之前，操作者发送第二命令到摄像机，将会发生 跳跃现象(pumping phenomenon)，其结果是操作者失去对摄像机的控制，因为它们没有考 虑到在延迟时段间发送的命令的影响。本发明的一个目的是弥补上述现有技术的缺点。
发明内容
这些目的通过从远程站控制移动站中的摄像机的方法而被实现，其中移动站发送 包含至少一个目标对象的图像到所述远程站，该目标对象位于所述摄像机探测到的区域 中。根据本发明的方法包括以下步骤-远程站估计从移动站派发命令与所述移动站执行命令之间的延迟时段L；-移动站发送所述摄像机在时刻T-L获取的第一图像到远程站；-远程站将所述第一图像中目标对象的位置发送到移动站；-该移动站将第一图像中目标对象的位置与在在所述第一图像之后获取的至少第 二图像中所述对象的位置进行比较；-如果在彼此相关的经重新对准的两幅图像中所述经比较的位置是相同的，则所 述移动站发送所述位置到所述远程站进行验证；
-否则，移动站独立并实时地确定所述第二图像中目标对象的轨迹，随后实时地控 制装载的摄像机以实现在所预测的轨迹上跟踪所述目标对象。通过根据在时刻T-L目标对象的位置和移动向量的预测性计算而优选地确定第 二图像中目标对象的轨迹。在第一实施例中，根据本发明的方法还包括以下步骤在远程站-重新对准第一图像和第二图像，-确定在场景中移动的由摄像机观测的所有对象的位置和速度向量，-在移动的对象中或者在背景元素中确定第一图像中的目标对象的位置和速度向 量，-计算在时刻T+L的目标对象的位置和速度的预测值，-从远程站向移动站发送指定的位置、预测的位置以及预测的速度向量。借助于根据本发明的方法，在没有将摄像机从远程站移动的附加命令的情况下， 移动站能够根据预测的位置及预测的速度向量来确定在时刻T+L获得的第二图像中目标 对象的位置，该第二图像与重新对准的在时刻T-L获得的第一图像有关。在另一变化中，通过估计瞬时单应性来完成第一图像和第二图像的重新调整，并 且通过对数据加盖时戳并且通过同步远程站和移动站来估计延迟时间L。在第二实施例中，该方法还包括含有将每幅图像的瞬时单应性以及从时刻T-L到 时刻T+L的移动对象的全部位置记录在所述移动站中的步骤。在第二实施例中，不再需要在远程站进行预测。该方法如下进行-在时刻T+L移动站接收到定位目标对象的请求(该请求在时刻T在移动站的本 地图像中被指定，并且在时刻T-L发送到远程站的图像之后获得)时，从远程站发送的位置 和速度向量与在时刻T-L得到的图像中所计算的位置和速度向量相同，-将它们与在移动站上装载的设备在时刻T-L记录的数据相比较，-在时刻T-L已经完成比较之后，取决于目标是固定的还是移动的，通过应用连续 的单应性、或者通过监视移动对象的轨迹，在移动站上装载的设备记录的数据使得在当前 时刻T+L能够根据这些数据推导出目标对象的位置和速度向量。目标对象通常可以是车辆、个人、建筑物或者任意类型的固定或移动的飞行器。在目标对象是移动的情况下，如果在T-L和T+L之间的时刻t，其轨迹离开了摄像 机的视野范围，通过基于在时刻t其位置及其速度向量的预测性计算，在移动站估计从时 刻t以后的每幅图像中的所述目标对象的位置。在为此没有增加额外的命令的情况下，该方法因此允许摄像机独立地修正其视野 范围，从而将以该方式预测的目标对象的位置包含进来。采用从时刻t到时刻T+L的连续 图像的所有的瞬时单应性，以及基于其在先前图像中的运动对象的运动在时刻t的预测， 进行预测性计算。在根据本发明的方法的特定应用中，摄像机在无人驾驶的飞机上。根据本发明的方法由用于从远程站控制移动站上的摄像机的设备实现，其中移动 站发送包含至少一个目标对象的图像到所述远程站，该目标对象位于所述摄像机探测到的 区域中。
根据本发明，所述远程站包括-用于估计从移动站派发命令与所述移动站执行所述命令之间的延迟时段L的模 块，并且所述移动站包括-用于将所述摄像机在时刻T-L获得的第一图像中目标对象的位置与在所述第一 图像之后获得的至少第二图像中所述对象的位置进行比较的模块，-用于能够实时地确定所述第二图像中目标对象的轨迹的预测性计算的模块，-用于实时地控制装载的摄像机，以在所预测的轨迹上进行目标对象的跟踪的模 块。通过记载在记录介质上的应用程序，可以实现根据本发明的方法，当该程序在计 算机上执行时，该方法能够从远程站控制移动站中的摄像机，其中所述移动站发送包含至 少一个目标对象的图像到所述远程站，该目标对象位于所述摄像机探测到的区域中。该应用程序包括-远程站中的第一可执行模块，其包括·用于估计从移动站派发命令与所述移动站执行所述命令之间的延迟时段L的指 令，·用于确定从一幅图像到另一幅图像固定对象及移动对象的运动，以方便目标对 象的指定的指令，-移动站中的第二可执行模块，其包括·用于将所述摄像机在时刻T-L获得的第一图像中目标对象的位置与在所述第一 图像之后获得的至少第二图像中所述对象的位置进行比较的指令，·用于实时地确定所述第二图像中目标对象的轨迹的指令，以及·用于实时地控制装载的摄像机，以在所预测的轨迹上进行目标对象的跟踪的指 令。
根据下面的描述，本发明的其他特征和优点将变得清楚，其参照附图作为非限制 性的例子给出，其中图1图示性地说明了根据本发明的方法的实施例，图2是说明了在图1的移动站中进行的图像处理的方块图，图3说明了在图1的远程站中进行的处理，图4图示性地说明了本发明特定实施例的步骤。
具体实施例方式图1图示性地说明了装载了由远程站4控制的一个或多个观测摄像机的移动站2。移动站2是在地区6上空飞行的无人驾驶飞机，目标对象8位于地区6中，该目标 对象8例如是车辆，其位置在所有时间都要被远程站4掌握。远程站4通常是控制无人驾驶飞机的地面站。无人驾驶飞机2上的摄像机连续地从地区6发送图像到远程站4。作为响应，远程站4发送信号到无人驾驶飞机2，该信号指示所接收到的图像中目标对象8的位置。如图2所说明的，传送信道会产生延迟时间L。因而，站点4在时刻T观测到的图 像对应于无人驾驶飞机2上的摄像机在时刻T-L获得的图像，并且在时刻T从远程站4向 无人驾驶飞机2发送的所有命令将在时刻T+L到达无人驾驶飞机。因而，摄像机对目标对象8的跟踪需要不断更新发送到无人驾驶飞机2的指定信 号。根据本发明的方法使得无人驾驶飞机能够独立地进行这种更新，从而避免了向无 人驾驶飞机2连续发送指定信号。这种更新可以通过在远程站4和无人驾驶飞机2之间以分布式方式进行并行处理 而获得。使得T是在远程站4接收到的图像中指定目标对象的准确时间，并且远程站4接 收的所有图像是之前加盖时戳的，这些图像中的每一幅都由唯一的标识符识别。图2说明了在远程站4中进行的图像处理。这些处理包括以下步骤-由一个或多个传感器提取图像中的特征点(步骤10)；-跟踪从一幅图像到另一幅图像的特征点(步骤12)；-不论比较点是否连续，基于比较点来计算两幅图像间的瞬时单应性(步骤14)；-通过所述瞬时单应性在先前图像的参照系统中重新调整图像(步骤16)-在所观测到的场景的参照系统中，确定哪些点或者哪些像素正在移动(步骤18)-采用诸如相对距离或者移动的适应性之类的几何标准将移动点聚集成对象(步 骤 20)；-根据一个或多个先前图像中的位置，估计对象在图像中的位置及速度向量(步 马聚22) ο在本发明的特定实施例中，在每幅图像中，确定将要跟踪的点的平均数，这整体上 依赖于像素的数目。典型地，可以考虑Harris点或Plessey点，或者更多的复杂描述符，诸 如SIFT或者SURF。可以通过KLT(Kanade-Lucas-Tomasi)类型的方法，或者通过与每个点 相关联的卡尔曼滤波器来完成跟踪，或者更简单的，通过经由Hough变换来重新调整点云 (point of cloud)来进行，例如，一旦新的图像部分出现或者所跟踪的点离开图像，就添加 新的点。在跟踪点密度最小的图像区域中，通过先前描述的方法，通常是Harris方法来计 算新的点。在3D差距过于明显、特别是在飞行高度非常低的情况下，通过RANSAC类型的方 法，用基本矩阵或者本质矩阵的计算来代替单应性的计算，以忠实于所观测到的场景的投
影结构。在时刻T的目标指定导致了图像中点的选择。如果指定点处于移动对象上，那么该指定将等同于对象的选择；否则，该指定点将 是一个“背景”点，其速度向量将等于背景的平移运动向量。在根据本发明的方法的特定实施例中，该系统自动选择最接近于操作者8指定的 移动对象。在本发明的另一实施例中，通过自动目标探测/识别算法来完成该指定。而后该 命令以包含图像位置、速度向量、属性(固定或移动目标)以及时戳的结构的形式被发送到无人驾驶飞机2 (远程站在时刻T处理在时刻T-L获得的图像)。图3说明了在无人驾驶飞机2进行的处理。这些处理包括以下步骤-由一个或多个传感器提取图像中的特征点(步骤30)，-采用与远程站4中使用的同样的方法来跟踪所述特征点(步骤32)，-采用与远程站4中使用的同样的方法来确定从一幅图像到下一幅图像的瞬时单 应性(步骤34)，-确定移动对象(步骤36)，以及-采用与远程站中使用的同样的方法来估计每幅图像中所述对象的位置和速度向 量(步骤38)。当指定命令在时刻T+L到达，并且涉及到代表在时刻T-L获得的图像中目标对象 的位置和速度向量的状态向量时，采用这个发送的状态向量在2L秒内进行运动的预测。应 当注意到，由于从无人驾驶飞机2到远程站4的图像与时戳一起发送，从而可以知道该向量。如果这是一个固定目标，则预测点即被认为是目标，如果是一个移动目标，在位置 和速度向量方面最符合预测的移动对象被选择作为目标。如果预测离开了图像的框架，仍 然会考虑其位置。通过修正所述摄像机的视野的轴，将使得目标被带回到摄像机的观察范 围内。在特定实施例中，采用卡尔曼滤波器进行预测。应当注意到，如所描述的，可以在 装载的设备上或者地面上进行这种预测。因此，由于在时刻T指定的在图像T-L中的对象现在在图像T+L中被发现，则跟踪 该对象是可能的。而后可以采用预定的动作，例如将视野的轴调整到所指定的目标上。图4图示性地说明了本发明特定实施例的步骤。根据该实施例，该方法包括以下步骤-由一个或多个传感器提取图像中的特征点(步骤40)，-采用与远程站4中使用的同样的方法来跟踪所述特征点(步骤42)，-采用与远程站4中使用的同样的方法来确定从一幅图像到下一幅图像的瞬时单 应性(步骤44)，-确定移动对象(步骤46)，以及-采用与远程站4中使用的同样的方法来估计每幅图像中所述对象的位置和速度 向量(步骤48)，-在最后的2L秒(最少)，对于所有图像记录所有比较点、单应性以及移动对象 (在每个时刻的位置和速度向量)(步骤50)。当指定命令在时刻T+L到达无人驾驶飞机2，并且涉及到在时刻T-L获得的图像中 的目标的状态向量(位置及速度)时；则参考在时刻T-L记录的历史来查找所指定的对象。如果这是移动对象，其将出现在记录移动对象的表格中。最可靠的一个将被选择。 而后，使用跟踪该点的历史直接查找当前图像中对象的位置。如果该点暂时或长时间离开了图像的框架，则采用瞬时单应性、最后观察到的时 间的速度向量，以及在后续图像的参考系统中该速度向量的重新调整来预测其位置。
如果这是“背景”对象，则通过其在图像T-L中的位置指定该对象。然后通过应用 连续图像之间的瞬时单应性来计算后续图像中该对象的位置。因此，在每幅图像中获得的 位置可以通过相互关系，例如通过使用KLT类型的跟踪而进行验证。无论对象是否是暂时性地脱离摄像机的视野范围，都可以连续进行预测。当在时刻T-L对象是固定的，而在时刻T+L对象是移动的情况下，从时刻t到T+L， 以及从时刻T-L到时刻t分别采用先前的技术，其中时刻t是对象开始移动的时刻。-跟踪在图像T+L中发现的指定对象。这包括所估计的位置在当前图像的框架以外的情况。-应用预定的动作(例如，将摄像机对准对象)。
权利要求
1.一种用于从远程站控制在移动站上装载的摄像机的方法，其中所述移动站发送包含 至少一个目标对象的图像到所述远程站，该目标对象位于所述摄像机探测到的区域中，在 该方法中-所述远程站估计在从所述移动站派发命令与所述移动站执行所述命令之间的延迟时段L，-所述移动站发送所述摄像机在时刻T-L获得的第一图像到所述远程站， -所述远程站将所述第一图像中目标对象的位置发送到所述移动站， -该移动站将所述第一图像中目标对象的位置与在所述第一图像之后获得的至少第二 图像中所述对象的位置进行比较，-如果在彼此相关地重新对准的两幅图像中的经比较的位置是相同的，则所述移动站 发送所述位置到所述远程站以进行验证，-否则，所述移动站独立并实时地确定所述第二图像中目标对象的轨迹，随后实时地控 制所装载的摄像机以实现在所预测的轨迹上跟踪所述目标对象。
2.根据权利要求1所述的方法，其中通过根据所述目标对象在时刻T-L的位置和运动 向量的预测性计算，来确定在所述第二图像中目标对象的轨迹。
3.根据权利要求2所述的方法，其特征在于所述方法还包括以下步骤 在所述远程站-重新对准所述第一图像和所述第二图像，-确定在场景中移动的由所述摄像机观察到的所有对象的位置和速度向量， -在所述移动的对象中或者在背景元素中确定所述第一图像中目标对象的位置和速度向量，-计算在时刻T+L的所述目标对象的位置和速度的预测值， -向所述移动站发送指定的位置、预测的位置以及预测的速度向量。
4.根据权利要求3所述的方法，其中通过估计瞬时单应性来完成所述第一图像和所述 第二图像的重新调整。
5.根据权利要求4所述的方法，还包括含有将每幅图像的瞬时单应性、以及从时刻T-L 到时刻T+L的移动对象的全部位置记录在所述移动站中的步骤。
6.根据权利要求1所述的方法，其中通过对数据加盖时戳并且通过对所述远程站和所 述移动站进行同步，来估计延迟时间L。
7.根据权利要求1所述的方法，其中所述目标对象是固定的或者是移动的。
8.根据权利要求7所述的方法，其中如果所述目标对象是移动的，并且如果在T-L和 T+L之间的时刻t其轨迹离开了所述摄像机的视野范围，则通过根据在时刻t的所述目标对 象的位置及其速度向量的预测性计算，来在所述移动站估计所述目标对象的位置。
9.根据权利要求1到8中任意一项所述的方法，其中所述摄像机装载在无人驾驶飞机上。
10.根据权利要求1到9中的一项所述的方法，其中所述目标对象是个人、车辆或者任 意类型的飞行器。
11.一种用于从远程站控制在移动站上装载的摄像机的设备，其中所述移动站发送包 含至少一个目标对象的图像到所述远程站，该目标对象位于所述摄像机探测到的区域中，该设备的特征在于，所述远程站包括-用于估计在从所述移动站派发命令与所述移动站执行所述命令之间的延迟时段L的 模块，并且所述移动站包括-用于将所述摄像机在时刻T-L获得的第一图像中目标对象的位置与在所述第一图像 之后获得的至少第二图像中所述对象的位置进行比较的模块，-用于能够实时地确定所述第二图像中目标对象的轨迹的预测性计算的模块， -用于实时地控制所装载的摄像机以在所预测的轨迹上跟踪所述目标对象的模块。
12. 一种记载在记录介质上的计算机程序，所述计算机程序包含指令，当在计算机上执 行该程序时，所述指令从远程站控制在移动站上装载的摄像机，其中所述移动站发送包含 至少一个目标对象的图像到所述远程站，该目标对象位于所述摄像机探测到的区域中， 该应用程序包括-所述远程站中的第一可执行模块，其包括 用于估计在从所述移动站派发命令与所述移动站执行所述命令之间的延迟时段L的 计算机可读指令， 用于确定固定对象及移动对象从一幅图像到另一幅图像的运动以方便所述目标对象 的指定的计算机可读指令，-所述移动站中的第二可执行模块，其包括 用于将所述摄像机在时刻T-L获得的第一图像中目标对象的位置与在所述第一图像 之后获得的至少第二图像中所述对象的位置进行比较的计算机可读指令， 用于实时地确定所述第二图像中目标对象的轨迹的计算机可读指令，以及 用于实时地控制所装载的摄像机以在所预测的轨迹上跟踪所述目标对象的计算机可 读指令。
全文摘要
本发明涉及远程控制在移动车辆上装载的设备的领域，尤其涉及用于从远程站控制在移动站上装载的摄像机的方法和设备。根据本发明，远程站估计在从移动站派发命令与移动站执行命令之间的延迟时间L；移动站发送摄像机在时刻T-L获得的第一图像到远程站；远程站将第一图像中目标对象的位置发送到移动站；该移动站(i)将第一图像中目标对象的位置与在第一图像之后获得的至少第二图像中该对象的位置进行比较，(ii)自动并实时地确定第二图像中目标对象的轨迹，随后，(iii)实时地控制装载的摄像机以在所预测的轨迹上跟踪目标对象。
文档编号G06T7/20GK102124491SQ200980131531
公开日2011年7月13日 申请日期2009年8月18日 优先权日2008年8月20日
发明者M·斯图尔泽 申请人:欧洲航空防务和航天公司