用于避免地面碰撞的系统和方法
【专利摘要】一种用于向全体机组人员显示引导辅助的系统，用于地面障碍物避开，特别是翼尖空隙。绘制表示翼尖在地面上的当前定位的视角区域，以及预测在未来指定时间或者指定距离的定位。机组人员可以使用这些显示的引导辅助以确定任何所感知的威胁与飞机的接近度。该能力解决了翼尖/飞机地面碰撞的高成本问题。所公开的图形提示系统特别针对于具有大翼展/尺寸和/或折叠翼尖的飞行器。
【专利说明】
用于避免地面碰撞的系统和方法
技术领域
[0001]本公开总体上涉及用于在飞行器的地面机动期间避免碰撞的系统和方法。
【背景技术】
[0002]随着飞机变得越来越大，主起落架和前起落架之间的距离(S卩，轴距以及每一个主起落架之间的距离(轨迹))变得越大。因此，转弯操纵需要更多空间。因为大多数机场被构造为处理具有更短的轴距和轨迹的更小的、更加容易操纵的飞机，因此操纵大型飞机变得更加困难。跑道和滑行道的限制宽度以及更多的机场拥塞使得大型商业飞机的飞行员越来越更加难以进行紧密的操纵。操纵大型飞机困难是因为缺乏向飞行员反馈有关地面上的起落架的相对位置。出现反馈缺乏是因为飞机的起落架位于机身或者机翼的下方。当在拥挤的机场的紧密空间中操纵时，起落架(尤其是起落架的轮胎和车轮)的定位的精确掌握是特别重要的。在大型飞机中飞行员看见跑道和滑行道边缘、地面服务车辆以及潜在的障碍物的能力也是非常受限制的。具有长轴距和宽主起落架轨迹的大型飞机还面临其他类型的地面操纵的挑战，诸如登机口入口操纵和跑道或者转弯坪U形转弯操纵。
[0003]在当今的航空工业中，由于地面碰撞损伤而损失的金钱的数量是大量的。航空公司不仅必须维修对一个或多个飞行器的损伤，而且在对损伤进行维修时他们还需要为行程中断补偿乘客，使用其他飞机飞行，并且使他们的飞机暂停服务。这些都是高成本事件。预计机场流量水平增加的速率比预计机场增长的速率更快。此外，更大的飞行器，包括具有折叠翼尖系统的飞行器的生产，对于未来机场运行环境会呈现显著的挑战。
[0004]现有的解决方案包括飞行员的自身视觉判断、安装在飞行器上的地面操纵摄像系统或者专用机翼监护员照看飞机离开登机口 /航站楼。
[0005]在许多实例中，当尝试遍及机场环境导航飞行器时，飞行员仅依赖于他/她的空间判断。飞行员被训练为保持滑行道的中心线，滑行道应该提供清理，但是不保证是否有其他障碍物出现。一些飞机从驾驶舱的有利位置并不能提供翼尖的可视性。低可视性情况会使该判断任务变得复杂。
[0006]在其他实例中，一些机场提供称为机翼监护员的机场人员，以帮助引导飞行器，从而确保没有障碍物威胁到机翼。然而，机翼监护员并不总是可用的，并且在使用中的跑道与坡道区域之间的所有道路确实是不可用的。
[0007]当今的许多飞行器具有被设计为辅助飞行员进行地面操纵操作的外部摄像系统。这种类型的系统具有两个主要功能:帮助飞行员保持飞行器的起落架在路面上以及避免障碍物碰撞。外部摄像系统可以显示出翼尖的视图，这允许飞行员监测每一个翼尖相对于很靠近的障碍物的位置，以减少在折叠位置或者在展开位置处的翼尖碰撞。然而，根据摄像机处于的位置可能有视角的问题。更具体地，如果摄像机安装在飞行器的尾翼部分上并且示出翼尖的视图，在两者之间存在显著的离轴距离，并且使得非常难以判断翼尖相对于地面或者翼尖附近的任何障碍物的位置。
[0008]想要改进的装置和方法，以向飞行员提供引导辅助从而避开地面障碍物，尤其是翼尖空隙(clearance)。
【发明内容】
[0009]以下详细公开的主题包括用于向机组人员显示引导辅助以用于地面障碍物避开、尤其是翼尖空隙的系统。这些系统利用地面操纵摄像系统来在显示的图像上扮演引导并且处于区域之外，以在事故发生之前帮助飞行员容易确定他们与潜在威胁的接近度。根据一些实施方式，绘制视角区域以表示翼尖在地面上方的当前位置，并且预测在未来指定时间或者指定距离的定位。机组人员可以使用这些显示的引导辅助以确定任何所感知的威胁与飞机的接近度。该能力解决了翼尖/飞机地面碰撞的高成本问题。
[0010]本文中公开的引导辅助系统是直觉的、灵活的、容易实现和/或修改以及智能的(即自适应的)。具体地，所公开的系统保持了(preserve)飞行员对如何操作地面空隙(clearance)的理解。这些系统特别针对具有大的翼展/尺寸和/或折叠翼尖的飞行器。然而，本文中公开的图形引导辅助技术可应用于飞机的任何末端(extremity)。
[0011]本文中公开的图形引导辅助技术提供自然的指示(即图形提示)并且与飞行员自身视觉能做到的相比，可以以更好的分辨率并且是在问题发展为清理难题之前更早地在视觉上辅助飞行员确定特定障碍物的清理。如本文中使用的，术语“图形提示”意味着(静态或者动态地)重叠在视频场景上的示图或者符号，以指示空间中的轨迹、路径、边界或者位置。静态或者动态图形覆盖图叠加在示出摄像机的各种视图的显示屏上。这些覆盖图可以以如下的方式帮助飞行员:(I)确定飞行器末端的相对位置；(2)确定末端的投影路径；(3)确定所有末端的停止距离；(4)判断末端与指定接近度内的物体的距离；(5)通知并且警告全体机务人员碰撞威胁迫近末端；以及(6)如果配置改变，确定末端将在哪里。
[0012]本文中公开的图形引导辅助技术的一个方面是用于辅助飞机的地面操纵的系统，该系统包括:安装到飞机的第一摄像机，用于生成第一视频图像流，包括变化的视频场景和飞机的第一末端的固定图像;飞机的驾驶舱上的视频显示单元，能够显示视频图像;以及计算机系统，被编程为促使视频显示单元以第一图形提示叠加在第一视频图像流上在第一窗口中显示第一视频图像流，第一图形提示表示在飞机的移动期间第一末端在地面上的投影位置。例如，第一末端可以是翼尖或者具有折叠翼尖的机翼的远端。
[0013]根据前述段落中描述的系统的一个实施方式，第一图形提示包括弧形带，并且计算机系统被编程为基于传感器数据计算弧形带的半径和扫描角。传感器数据可以包括飞机地面速度和前轮转向角。
[0014]根据另一个实施方式，第一图形提示包括投影平面(如本文中使用的术语“平面”指几何平面而不是飞机)，并且计算机系统被进一步编程为基于传感器数据计算投影平面的长度。传感器数据可以包括飞机地面速度。第一图形提示可以进一步包括沿投影平面以间隔隔开的刻度线。传感器数据可以进一步包括飞机加速度/减速度，在这种情况下，第一图形提示可以进一步包括停止标记，并且计算机系统可以被进一步编程为基于飞机地面速度和加速度/减速度计算停止标记的位置。
[0015]以上描述的系统可以进一步包括安装到飞机的第二摄像机，用于生成第二视频图像流，包括变化的视频场景和飞机的第二末端的固定图像，在这种情况下，计算机系统被进一步编程为促使视频显示单元以在第二视频图像流上叠加第二图形提示的方式在第二窗口中显示第二视频图像流。根据一个实施方式，第一图形提示包括第一投影平面，第二图形提示包括第二投影平面，并且第二投影平面是第一投影平面的镜像图像。根据另一个实施方式，第一图形提示包括具有第一半径的第一弧形带，并且第二图形提示包括具有大于第一半径的第二半径的第二弧形带。
[0016]以下详细公开的主题的另一个方面是用于辅助飞机的地面操纵的方法，该方法包括:捕获视频图像流，包括变化的视频场景和飞机的末端的固定图像；以及以在视频图像流上叠加图形提示的方式在视频显示单元上显示第一视频图像流，图形提示表示在飞机的移动期间末端在地面上的投影位置。末端可以是翼尖或者具有折叠翼尖的机翼的远端。图形提示可以包括弧形带，在这种情况下，该方法进一步包括基于传感器数据计算弧形带的半径和掠角，其中，传感器数据包括飞机地面速度和前轮转向角。可替换地，图形提示可以包括投影平面，在这种情况下，该方法进一步包括基于传感器数据计算投影平面的长度，其中，传感器数据包括飞机地面速度。图形提示可以进一步包括沿着投影平面以间隔隔开的刻度线。根据进一步的增进，传感器数据进一步包括飞机加速度/减速度，并且图形提示进一步包括停止标记，该方法进一步包括基于飞机地面速度和加速度/减速度计算停止标记的位置。
[0017]公开的主题的又一个方面是用于避免操纵的飞机和障碍物之间的碰撞的机载系统，该系统包括:安装到飞机的摄像机，用于生成视频图像流，包括变化的视频场景和飞机的末端的固定图像；飞机的驾驶舱上的视频显示单元，能够显示视频图像；以及计算机系统，被编程为执行以下操作:(a)促使视频显示单元以图形提示叠加在视频图像流上的方式显示视频图像，图形提示表示在飞机的移动期间末端在地面上的投影位置；(b)处理视频图像，以确定出现在视频图像中的障碍物是否位于小于距离投影位置中的任一个的最小分隔距离或者与其相交；以及(C)如果在操作(b)中确定障碍物定位在小于与末端的投影位置的最小分隔距离或者与其相交，则发布警报信号。
[0018]再一个方面是用于辅助飞机的地面操纵的系统，该系统包括:安装到飞机的摄像机，用于生成包括视频场景和飞机的末端的图像的视频图像流;飞机的驾驶舱上的视频显示单元，能够显示视频图像；以及计算机系统，被编程为执行以下操作:(a)计算在飞机的移动期间末端在地面上的投影位置；(b)将计算的末端的投影位置转换为图形提示，其表示在视频场景的参考帧中计算的末端的投影位置；以及(C)促使视频显示单元以与末端的图像呈固定空间关系显示叠加在视频图像上的图形提示。转换操作至少部分基于摄像机和末端的己知空间关系。
[0019]又一个方面是用于辅助飞机的地面操纵的方法，该方法包括:(a)捕获包括变化的视频场景和飞机的末端的固定图像的视频图像流；(b)计算在飞机的移动期间末端在地面上的投影位置；(C)将计算的末端的投影位置转换为图形提示，其表示在视频场景的参考帧中计算的末端的投影位置；以及(d)在视频显示单元上以图形提示叠加在视频图像流的方式显示第一视频图像流，图形提示表示在飞机的移动期间末端在地面上的投影位置。
[0020]本文中公开的主题的再一个方面是用于避免操纵飞机和障碍物之间的碰撞的机载系统，该系统包括:安装到飞机的摄像机，用于生成包括变化的视频场景和飞机的末端的固定图像的视频图像流;飞机的驾驶舱上的视频显示单元，能够显示视频图像；以及计算机系统，被编程为执行以下操作:(a)计算在飞机的移动期间末端在地面上的投影位置；(b)将计算的末端的投影位置转换为图形提示，其表示在视频场景的参考帧中计算的末端的投影位置；(C)促使视频显示单元以与末端的图像呈固定空间关系显示叠加在视频图像上的图形提示；(d)处理视频图像，以确定出现在视频图像中的障碍物是否位于小于距离投影位置中的任一个的最小分隔距离或者与其相交；以及(e)如果在操作(b)中确定障碍物位于小于距离末端的投影位置的最小分隔距离或者与其相交，发布警报信号。
[0021]向机组人员显示引导辅助以用于避开地面障碍物的系统的其他方面在以下公开。
【附图说明】
[0022]图1是示出根据一个实施方式在飞机上安装有四个摄像机(即一个在机身下方并且三个在尾翼部分上)的飞机的平面图的示图。各个摄像机的视野由虚线三角形表示。
[0023]图2至图6示出当飞机在地面上并且向前移动时在驾驶舱显示器上的屏幕截图(或者屏幕截图的一部分)，其中呈现由安装在飞机上的摄像机捕获的采样图像以供飞行员查看。当飞机向前移动时，在摄像机图像上叠加表示翼尖在地面上的投影位置的图形提示。图4和图5示出当翼尖折叠时，表示机翼的端部的投影位置的另外图形提示。
[0024]图7示出类似于图3中示出的屏幕截图的底部，除了代替示出飞机向前移动时左翼尖在地面上的投影位置的投影平面，而是以弧形图形提示叠加在其上的方式显示图像，以表示当飞机转弯时翼尖在地面上的投影位置。
[0025]图8和图9示出类似于图3中示出的屏幕截图的一部分，其中在制动期间在左窗口中额外图形提示叠加在摄像机图像上，以指示飞机将停在哪里。
[0026]图10示出类似于在图2中示出的驾驶舱显示屏截图，其中在摄像机图像上叠加额外图形提示以指示当飞机向前移动时，主起落架和发动机机舱的投影轨迹。
[0027]图11示出类似于在图2中示出的屏幕截图，除了另一个飞行器处于安装在垂直尾翼的左侧上的摄像机的视野内，其中另一个飞行器位于充分接近指示自身的左翼尖的投影位置的投影平面，当后者向前移动时，通过例如投影平面的高亮或者颜色变化激活视觉警报。
[0028]图12是示出结合本文中公开的图形提示技术的系统的一个实施方式的一些部件的框图。
[0029]在下文中将参考附图，其中，在不同附图中相似的元件具有相同的参考标号。
【具体实施方式】
[0030]仅出于图示的目的，现在将详细描述用于在飞机的地面操纵期间辅助飞行员的系统的各种实施方式。这些系统被配置为并且被编程为在由地面操纵摄像系统捕获的图像上叠加图形碰撞避开提示，其中图像呈现在驾驶舱显示器上。现在将参考图1描述飞机上的具有四个摄像机的地面操纵摄像系统的实施方式。然而，应当理解，在下文中的要求包含的主题不限于具有图1中示出的精确摄像机布局的系统。可以采用能够提供左翼尖和右翼尖的图像的可替换摄像机布局。
[0031]图1是示出包括机身12、左机翼14、右机翼16、水平尾翼18以及垂直尾翼20的飞机10的示图。地面操纵摄像系统(GMCS)的多个摄像机(未示出)安装在飞行器10上。图1示出其中四个摄像机(未示出)在他们各自的视野内捕获图像的摄像机布局，其中图像将同时呈现在驾驶舱显示器上以供机组人员查看。四个摄像机各自的视野由图1中的虚线三角形指示。
[0032]第一摄像机(在图1中未示出)在前起落架(未示出)后面并且在左机翼主起落架和右机翼主起落架(未示出)之间延伸的线(未示出)的前面的位置A处安装在机身12的下面。第一摄像机的视野28由在图1中顶点在位置A处的虚线三角形表示。第一摄像机具有指向前方的方位以提供前起落架和飞机10前方的空间的视野。当它们定位在前起落架的轮胎的特定范围内时，第一摄像机的视角包括前起落架的轮胎以及跑道、滑行道或者停机坪的边缘，如从图2中呈现的驾驶舱显示屏截图的上部面板中可以看出(在下方详细论述)。由第一摄像机生成的图像允许飞行员视觉上判断:用于滑行道转弯的期望过度转向量;在跑道的末端或者转弯坪U形转弯处，起落架到路面边缘的余量；以及在登机口前轮标记处的停止位置。第一摄像机的准确位置将取决于飞机结构，以及摄像机的品质、视野及细节层次。
[0033]第二摄像机(未示出)在基本上位于机身12的中心线上的位置B处安装到飞机10的垂直尾翼20的前沿。第二摄像机的视野22由图1中顶点在位置B的虚线三角形表示。类似于第一摄像机，第二摄像机前向查看。因此，由第二摄像机产生的图像提供预期的(前向)弓丨导。可以调节第二摄像机的视角，使得左机翼起落架和右机翼起落架的轮胎(在图1中未示出)同时可见，如从图2中呈现的驾驶舱显示屏截图的中间面板中可以看出。飞行员查看由第二摄像机产生的图像，从而能够根据需要视觉上判断在滑行道转弯以及在跑道的起动或者转弯坪U形转弯时主起落架到路面边缘的余量。
[0034]本文中公开的地面操纵摄像系统的第三摄像机和第四摄像机分别安装在垂直尾翼20的左侧和右侧上。(可替换地，它们可以位于水平尾翼18的左部和右部的前沿。)第三摄像机的视野26和第四摄像机的视野24分别由图1中的虚线三角形表示，其中三角形各自具有在位置B之后一短距离的顶点。第三摄像机集中在向左、向前以及向下，以用于查看左机翼14的尖端(在下文中“左翼尖”)。第四摄像机集中在向右、向前以及向下，用于查看右机翼16的尖端(在下文中“右翼尖”)。
[0035]对于这些摄像机可以采用各种己知的安装，并且本文中不再详细描述。如摄像系统中的普通技术人员将容易理解，可以使用各种类型的摄像机，例如低光或者红外/热摄像机可以用于夜间操作。主起落架、前起落架以及地面周围的照明可以由安装在飞机上的主起落架区域照明光以及前起落架区域照明光(在图1中未示出)提供。
[0036]图2示出驾驶舱显示器30上的屏幕截图，其中同时呈现由跑道上的飞机上安装的四个摄像机捕获的采样图像，以在飞机向前移动时或飞行员选择的任何时间(例如，当飞机静止时或者由拖车牵引时)由飞行员查看。顶部窗口 32示出由在图1中的位置A安装的摄像机捕获的图像；中间窗口34示出由在图1中的位置B安装的摄像机捕获的图像;左底部窗口36示出由在图1中的位置B之后一短距离处安装在垂直尾翼20的左侧上的摄像机捕获的图像；以及右底部窗口 38示出由在图1中的位置B之后一短距离处在垂直尾翼20的右侧上安装的摄像机捕获的图像。
[0037]图2中呈现的屏幕截图进一步包括表示翼尖在地面上的投影位置的图形提示。这些提示采取叠加在分别显示在显示屏30的中间窗口 34(仅部分)、以及左底部窗口 36和右底部窗口 38中的摄像机图像上的固定长度投影平面40和42(在中间窗口 34中仅部分示出)的形式。投影平面40和投影平面42中的每一个在前向方向上以固定距离投影各个翼尖的位置。在图2中，投影平面42是投影平面40的镜像图像。投影平面40、投影平面42的长度将彼此相等。投影平面可以由处理器生成，或者可以是适合于地面以上高度且距翼尖特定距离测量的简单静态覆盖图。这些投影平面去除视角难题，有助于确定每一个翼尖相对于它的周围环境的位置，并且帮助飞行员判断翼尖与相对接近的障碍物之间的距离。
[0038]可替换地，投影平面的长度可以根据飞机的地面速度动态地变化。在这种情况下，投影平面40和投影平面42中的每一个在未来的T秒时间内投影各个翼尖位置。投影平面40、投影平面42的长度将由计算机系统基于同时测量的飞机的地面速度计算，假设地面速度在下一个T秒期间将保持恒定。因此，在绘制的长度可以根据地面速度变化而变化的意义上，根据该可替换的实施方式的投影平面的长度是动态的。根据又一个可替换的实施方式，计算机系统在计算投影平面的长度时还可以考虑同时测量的飞机的加速度，由此在未来的时间T秒内投影翼尖的位置。
[0039]图3示出具有分别提供左翼尖的视野和右翼尖的视野的左窗口和右窗口的屏幕截图的底部。表示飞机向前移动时左翼尖在地面上的投影位置的投影平面40叠加在左底部窗口 36中的图像上。类似地，可以显示表示右翼尖在地面上的投影位置的第二投影平面(图3中未示出)。
[0040]一些飞机可以设计为具有铰接至固定机翼结构的端部的折叠翼尖。对于具有折叠翼尖的飞机，当翼尖折叠时，关注的末端将是距离机身最远的机翼的部分。可选地，可以修改在图2中呈现的驾驶舱显示屏截图，以包括示出空隙(clearance)/预览信息的图形绘制提示，用于翼尖折叠时的机翼末端以及翼尖展开时的翼尖。
[0041]更具体地，对于折叠翼尖，可以在飞机的每一侧上显示额外的投影平面。一个投影平面可以示出空间中展开的翼尖空隙区域，而另一个投影平面可以示出空间中折叠的翼尖空隙区域。这些可以根据机翼的配置一起显示或者独立显示。
[0042]图4是示出根据可替换的实施方式的由安装在具有折叠翼尖的向前移动的飞机上的四个摄像机捕获的图像的另一个屏幕截图。除了表示翼尖展开时折叠翼尖在地面上的投影位置的投影平面40、投影平面42之外，中间窗口 34和左底部窗口 36/右底部窗口 38中的图像具有叠加的投影平面44、投影平面46，其表示当折叠翼尖被折叠时机翼的端部在地面上的投影位置。
[0043]图5示出分别提供左折叠翼尖的左视野的左窗口36和右折叠翼尖的右视野的右窗口 38的屏幕截图的底部。一对投影平面40和投影平面44，分别表示当左折叠翼尖展开时左折叠翼尖在地面上的投影位置以及当左折叠翼尖折叠时左机翼的端部在地面上的投影位置，并叠加在左窗口 36的图像上(如图4所示)。表示当右折叠翼尖展开时右折叠翼尖在地面上的投影位置以及当右折叠翼尖折叠时右机翼的端部在地面上的投影位置的镜像图像投影平面，没有在右窗口 38中示出。
[0044]根据以上参考图2描述的具有固定长度的投影平面的变化，用于判断距离的刻度线可以结合表示翼尖的投影位置的图形提示一起显示。图6示出了具有分别提供左折叠翼尖的左窗口 36以及提供右折叠翼尖的右窗口 38的屏幕截图的底部。表示左翼尖在地面上的投影位置的投影平面40叠加在左窗口36的图像上。在图6所示的实现中，沿投影平面40以等间距显示刻度线48。刻度线48绘制长度的特定增量，以向飞行员清楚地示出总距离。
[0045]在图6中描绘的实现方式中，刻度线48是一端终止在投影平面40的边界上的短水平线段。这些刻度线48被间隔开以给出具有测量的特定增量的距离信息。例如，如果相邻的刻度线48的定位对应于由分离X英寸的距离的位置(例如，从左翼尖的当前位置向前X英寸、2X英寸以及3X英寸)，那么飞行员将能够在飞机向前移动时，判断在连续的时间内左翼尖将位于哪里。指定的距离X可以是10、50、100或者任何数量的英寸(或米)。飞机向前移动时表示右翼尖在地面上的投影位置的镜像图像的图形提示没有在右窗口 38中示出。
[0046]根据一些实施方式，图形提示可以是弧形带的形状，弧形带的上弧形边界具有表示飞机转弯时翼尖的投影位置的掠扫。在以规定的地面速度移动指定时间量之后，考虑飞机的指令路径，这些图形提示可以提供关于翼尖将在哪里的信息。图形提示通过变化度数而在转弯的方向上成弯曲状，以示出翼尖的指令路径并且更加精确地绘制在经过指定时间量之后翼尖将在哪里。根据一个实现方式，前轮转向角可以用于预测在转弯期间翼尖的路径。弧形带可以通过符号生成算法基于目前的转向输入生成，并且弧形带表示如果目前的转向输入保持不变，翼尖将遵循的路径。
[0047]图7中示出了表示翼尖在转弯飞机上的投影位置的弧形图形提示的一个实例，其示出类似于图3中示出的屏幕截图的底部。左窗口 36中的图像具有叠加在其上的弧形图形提示50，以表示当飞机向左转时左翼尖在地面上的投影位置，而不是直的投影平面以示出当飞机向前移动时左翼尖在地面上的投影位置。表示飞机向左转时右翼尖在地面上的投影位置的第二弧形图形提示，没有在右窗口38中示出，但是其将会是比左窗口36中示出的弧形图形提示50的弧的长度以及半径更大的弧。
[0048]除了以上之外，动态长度投影平面可以用于提供翼尖的停止距离的实时信息。换言之，投影平面的长度指示在该当前速度下翼尖的停止距离。该动态长度特征可以被添加到直的投影平面和弯曲的以示出路径的投影平面两者。
[0049]根据又一个方面，图8示出类似于图3中示出的屏幕截图的一部分，其中在制动期间额外图形提示叠加在左窗口36中的摄像机图像上，以指示飞机将停在哪里。在图8中，额外图形提示采取投影平面40的前向延伸52的形式。根据该实现方式，前向延伸52的前沿的位置可以根据在图像的绘制时间测量的飞机的地面速度以及假定的(或者检测到的)减速度而变化。更具体地，计算前向延伸52的前沿的可变位置以表示在未来的T秒时间内左翼尖的投影位置。前向延伸52的前沿的位置可以由计算机系统基于瞬时测量的飞机的地面速度以及减速度计算，假定减速率在下一个T秒期间将保持恒定。
[0050]根据图8中绘制的实现方式的变形，计算机系统可以计算距图像中示出的飞机位置的停止距离，在这种情况下，前向延伸52的前沿将表示飞机停止时左翼尖的投影位置。
[0051]图9示出类似于图3中示出的屏幕截图的一部分，其中在制动期间替换的额外图形提示叠加在左窗口36中的摄像机图像上，以指示飞机将停止在哪里。在图9中，额外图形提示采取表示飞机停止时左翼尖的投影位置的标记54的形式。标记54将以可变位置叠加在左窗口 36中的图像上，可变位置由计算机系统再次基于在图像的绘制时间测量的飞机的地面速度以及测量的飞机的减速度确定。
[0052]根据又一个实施方式，额外图形提示可以叠加在图2中示出的屏幕截图的摄像机图像上，以提供指令路径信息从而用于其他飞机部件。
[0053]例如，图10示出类似于图2中示出的屏幕截图30，其中额外图形提示叠加在摄像机图像上，以指示当飞机向前移动时主起落架、发动机机舱以及前轮的指令路径(即投影轨迹)O参考顶部窗口 32，额外图形提示包括主起落架轨迹56a和56b，发动机机舱轨迹58a和58b，以及前轮轨迹60。(相同的轨迹出现在中间窗口34中，但是没有由参考标号标记以避免附图的杂乱。)这些轨迹看上去好像是画在平坦的跑道表面上。如果飞行器以直线移动，这些轨迹将是直的；如果飞行器转弯，这些轨迹将弯曲以示出转弯的指令路径。
[0054]根据又一个增进，计算机系统可以利用软件被编程为使能够检测障碍物(诸如另一个飞机或者地面车辆)的接近度。这提供了在发布警报之后通知飞行员即将发生的碰撞威胁在哪里的装置。在一些实施方式中，投影平面可以用于警报目的。如果飞机安装有地面碰撞避开系统，并且检测到对翼尖(或者其他飞机部件)的威胁，投影平面将改变颜色以指示飞行器的哪一部分是受威胁的。例如，如果检测到潜在的左翼尖碰撞，与左翼尖相关联的投影平面便会改变颜色，例如从洋红色、蓝绿色、或者白色改变为琥珀色或者红色。
[0055]现在将参考图11描述这种障碍物接近系统的一个实例，图11示出类似于图2中示出的屏幕截图，除了另一个飞行器处于安装在自身飞行器的垂直尾翼的左侧上的摄像机的视野内。叠加的投影平面40与圆形区域64中的侵入飞机的图像的接近度可以向飞行员提供可能的碰撞的视觉指示。根据又一个增进，计算机系统可以被编程为使用图案识别软件检测在摄像机的视野中存在另一个飞行器，并且然后计算离自身飞行器最近的其他飞行器的该部分的位置。计算机系统可以被进一步编程为将其他飞行器的位置与由投影平面40表示的左翼尖的投影位置进行比较，并且然后，如果前者与后者以小于指定阈值的距离分离，激活可听警报信号或者可视警报信号。例如，可以通过高亮或者改变投影平面40的颜色生成可视警报信号。通过针对摄像机捕获的连续图像确定其他飞行器的位置，计算机系统甚至可以确定其他飞行器是否在移动靠近自身飞行器，并且如果其他飞行器正在移动，计算它的地面速度以及航向，并且然后在执行用于确定是否应该发布警报算法时考虑那些因素。
[0056]根据又一个增进，计算机系统可以被编程为处理视频图像，以确定出现在视频图像中的障碍物是否定位为与投影位置中的任一个相交;并且如果确定障碍物定位为与末端的投影位置相交，则发布又一个警报信号。
[0057]图12是示出结合以上公开的图形提示技术的系统的一个实施方式的一些部件的框图。尽管没有在图12中单独呈现结合在该系统中的所有单独的计算机以及处理器，应当理解，图12中示出的每个块可以包括计算机或者处理器，或者两个以上计算机和/或处理器。当由总线以及网络互联时，所有的这些计算机以及处理器形成“计算机系统”的一个实施方式，该术语限定在标题为【具体实施方式】的这部分的倒数第二段中。用于执行本文中公开的功能的计算机系统可以具有由图12中示出的框图表示的部分配置除外的许多不同的配置。
[0058]在图12中部分并且示意性地绘制的系统包括安装在飞机上的多个摄像机88。每一个摄像机可以包括透镜组件、图像传感器、编码器等。由摄像机88捕获的多个图像流被发送到图像组合器90，其将多个图像流组合成单个图像流，以用于在驾驶舱显示单元86上显示。图像组合器90可以实现为硬件或者软件。单个组合图像流被发送到显示器软件应用程序82，其在包括计算机、总线、存储器、处理器等的航空电子平台80上运行。在航空电子平台80的计算机上运行的显示器软件应用程序82产生最终图像流，在最终图像流中，本文中公开的图形提示叠加在由图像组合器90输出的原始视频图像上。航空电子平台80进一步包括装置84(诸如视频卡)，用于每一个最终图像的图形渲染。图形渲染装置84将最终图像转换为视频信号以由显示单元86显示。图12中示出的系统进一步包括飞行员控制借口 92(例如，按钮、球形柄、使用虚拟按钮的软件选择等)，以激活显示单元86上的最终图像流的显示。
[0059]如本文中使用的，术语“航空电子平台”是指可以采取许多不同的形式的计算机系统。例如，航空电子平台可以包括运行飞机的主要飞行航空电子(驱动所有的主驾驶舱显示器)的计算机，或者在电子飞行包/平板电脑上运行的计算/操作系统。可替换地，将多个视频图像流组合到一起的硬件或者软件可以驻留在航空电子平台80中。
[0060]显示器软件应用程序82包括提示生成器模块，其计算叠加在要在显示单元86上显示的视频的每一帧上的所有图形提示的形状、位置、运动、尺寸等。这些计算基于由各种传感器或者结合在各种飞机系统中的其他数据收集系统(诸如起落架/制动系统94、飞行控制系统96、导航系统98或者其他飞机系统100，所有这些都与航空电子平台80通信)收集的数据。例如，导航系统98可以是使用计算机、运动传感器(例如加速计)以及旋转传感器(例如陀螺仪)以经由航位推算法持续地计算飞机的位置、方位、速度(方向以及地面速度)以及加速度的类型。此外，起落架/制动系统94可以是使用处理器以及传感器持续地计算前轮转向角的类型。
[0061]根据各种实施方式，显示器软件应用程序82可以包括各个软件模块，用于执行以下算法中的一个或多个:
[0062](I)用于显示表示向前移动的飞机的部件(例如展开翼尖或者折叠翼尖)的投影位置的固定长度投影平面的算法；
[0063](2)基于来自导航系统的地面速度数据以及加速度/减速度数据，计算投影平面的长度，并且然后显示具有所计算的长度并且表示向前移动的飞机的部件(例如展开翼尖或者折叠翼尖)的投影位置的动态长度投影平面(有或者没有刻度线)的算法；
[0064](3)基于来自导航系统的地面速度数据以及加速度/减速度数据，计算停止标记的位置，并且然后显示具有所计算的位置并且表示向前移动的飞机停止时部件(例如展开的翼尖或者折叠翼尖)的投影位置的停止标记的算法；
[0065](4)基于来自导航系统的地面速度数据以及来自起落架/制动系统的前轮转向角数据，计算弧形带的半径和掠角，并且然后显示具有所计算的半径和掠角并且表示转弯飞机的部件(例如展开的翼尖或者折叠翼尖)的投影位置的弧形带的算法；
[0066](5)用于显示向前移动或者转弯的飞机在地面上的部件(例如主起落架或者前轮)的投影轨迹的算法；以及
[0067](6)用于显示向前移动或者转弯的飞机在地面上方的部件(例如发动机机舱)的中心线的投影轨迹的算法。
[0068]所有的上述计算依赖于飞行器部件的己知固定定位(位置和方位)，飞行器部件的定位或者轨迹相对于捕获叠加有图形提示的图像的摄像机的定位(位置和方位)来显示。
[0069]根据一个实现方式，用于辅助飞机的地面操纵的系统包括:安装到飞机的摄像机，用于生成包括视频场景和飞机的末端的图像的视频图像流;位于飞机的驾驶舱上的视频显示单元，能够显示视频图像；以及计算机系统，被编程为执行以下操作:(a)计算在飞机的移动期间末端在地面上的投影位置；(a)将所计算的末端的投影位置转换为表示在视频场景的参考帧中末端的所计算的投影位置的图形提示；以及(C)促使视频显示单元以与末端的图像呈固定空间关系显示叠加在视频图像上的图形提示。转换操作至少部分基于摄像机与末端的己知空间关系。
[0070]根据又一个方面，显示器软件应用程序82可以进一步包括能够识别视频图像中构成威胁的另一个飞机、地面车辆或者任何其他障碍物的图案识别软件；以及用于计算任何识别的飞行器、地面车辆或者其他障碍物与自身飞行器的末端的投影平面之间的最小分隔距离的软件模块。该处理实时发生。显示器软件应用程序82还基于对摄像机生成的图像的分析，生成在显示单元86上激活可视警报的显示(或者可听警告的通知)的警报信号。
[0071]虽然已参考各种实施方式描述了用于显示图形碰撞避开提示的系统，但是本领域内的技术人员将理解，对于实施方式中的元件可以作出各种改变并且可以由等同物替代，而不背离在下文中所阐述的权利要求的范围。此外，针对具体情况可以作出许多变形以适应于本文中的教导而不背离权利要求的范围。
[0072]如在权利要求中使用的，术语“计算机系统”应该被广义地解释为包括具有至少一个计算机或者处理器的系统，并且可以具有通过网络或者总线通信的多个计算机或者处理器。如在前述句子中使用的术语“计算机”和“处理器”两者都指具有处理单元(例如中央处理器)以及用于存储可由处理单元读取的程序的一些形式的存储器(即计算机可读介质)的设备。
[0073]在下文中所阐述的权利要求不应被解释为需要按字母顺序或者按它们陈述的顺序来执行其中陈述的步骤或者操作。它们也不应被解释为排除同时执行或者交替地执行的两个或更多步骤的任何部分。
[0074]注意:以下段落描述本发明的另外的方面:
[0075]Al.—种用于辅助飞机的地面操纵的系统，所述系统包括:
[0076]安装到飞机的摄像机，用于生成包括视频场景以及所述飞机的末端的图像的视频图像流；
[0077]位于所述飞机的驾驶舱上的视频显示单元，能够显示视频图像；以及
[0078]计算机系统，被编程为执行以下操作:
[0079](a)计算在所述飞机的移动期间所述末端在地面上的投影位置；
[0080](b)将所述末端的所述计算的投影位置转换为表示在所述视频场景的参考帧中所述末端的所述计算的投影位置的图形提示；以及
[0081](C)促使所述视频显示单元以与所述末端的所述图像呈固定空间关系显示叠加在所述视频图像上的所述图形提示。
[0082]A2.如在段落Al中陈述的系统，其中，所述转换操作至少部分基于所述摄像机与所述末端的己知空间关系。
[0083]A3.—种用于辅助飞机的地面操纵的方法，所述方法包括:
[0084](a)捕获包括变化的视频场景以及飞机的末端的固定图像的视频图像流；
[0085](b)计算在所述飞机的移动期间所述末端在地面上的投影位置；
[0086](C)将末端的所述计算的投影位置转换为表示在所述视频场景的参考帧中末端的所述计算的投影位置的图形提示；以及
[0087](d)在视频显示单元上显示所述第一视频图像流，其中图形提示叠加在所述视频图像流上，所述图形提示表示在所述飞机的移动期间所述末端在地面上的投影位置。
[0088]A4.—种用于避免操纵的飞机与障碍物之间碰撞的机载系统，所述系统包括:
[0089]安装到飞机的摄像机，用于生成包括变化的视频场景以及所述飞机的末端的固定图像的视频图像流；
[0090]视频显示单元，在所述飞机的驾驶舱上，并能够显示视频图像；以及[0091 ]计算机系统，被编程为执行以下操作:
[0092](a)计算在所述飞机的移动期间所述末端在地面上的投影位置；
[0093](b)将所述末端的所述计算的投影位置转换为表示在所述视频场景的参考帧(frame)中所述末端的所述计算的投影位置的图形提示；
[0094](C)促使所述视频显示单元显示以与所述末端的所述图像呈固定空间关系显示叠加在所述视频图像上的所述图形提示；
[0095](d)处理所述视频图像，以确定出现在所述视频图像中的障碍物是否位于与所述投影位置中的任一个相距小于最小分隔距离的位置或者与其相交的位置；以及
[0096](e)如果在操作(b)中确定所述障碍物位于与所述末端的投影位置相距小于最小分隔距离或者与其相交，则发布警报信号。
【主权项】
1.一种用于辅助飞机的地面操纵的系统，所述系统包括: 安装到所述飞机的第一摄像机，用于生成包括变化的视频场景以及所述飞机的第一末端的固定图像的视频图像的第一流； 位于所述飞机的驾驶舱上的视频显示单元，能够显示视频图像；以及 计算机系统，被编程为促使所述视频显示单元在第一窗口中以第一图形提示叠加在所述第一流的视频图像上的方式显示所述第一流的所述视频图像，所述第一图形提示表示在所述飞机的移动期间所述第一末端在地面上的投影位置。2.根据权利要求1所述的系统，其中，所述第一末端是翼尖。3.根据权利要求1所述的系统，其中，所述第一末端是具有折叠翼尖的机翼的远端。4.根据权利要求1或2所述的系统，其中，所述第一图形提示包括弧形带，并且所述计算机系统被编程为基于传感器数据计算所述弧形带的半径和掠角。5.根据权利要求4所述的系统，其中，所述传感器数据包括飞机地面速度和前轮转向角。6.根据权利要求1或2所述的系统，其中，所述第一图形提示包括投影平面，并且所述计算机系统被进一步编程为基于传感器数据计算所述投影平面的长度。7.根据权利要求6所述的系统，其中，所述传感器数据包括飞机地面速度。8.根据权利要求7所述的系统，其中，所述第一图形提示进一步包括沿所述投影平面以间隔隔开的刻度线。9.根据权利要求7所述的系统，其中，所述传感器数据进一步包括飞机加速度/减速度。10.根据权利要求9所述的系统，其中，所述第一图形提示进一步包括停止标记，并且所述计算机系统被进一步编程为基于飞机地面速度以及所述加速度/减速度计算所述停止标记的位置。11.根据权利要求1所述的系统，进一步包括安装到所述飞机的第二摄像机，用于生成包括变化的视频场景以及所述飞机的第二末端的固定图像的视频图像的第二流，其中，所述计算机系统被进一步编程为促使所述视频显示单元在第二窗口中以第二图形提示叠加在所述第二流的所述视频图像上的方式显示所述第二流的视频图像。12.根据权利要求11所述的系统，其中，所述第一图形提示包括第一投影平面，所述第二图形提示包括第二投影平面，并且所述第二投影平面是所述第一投影平面的镜像图像。13.根据权利要求11所述的系统，其中，所述第一图形提示包括具有第一半径的第一弧形带，并且所述第二图形提示包括具有大于所述第一半径的第二半径的第二弧形带。14.一种用于辅助飞机的地面操纵的方法，所述方法包括: 捕获包括变化的视频场景以及所述飞机的末端的固定图像的视频图像的流；以及 在视频显示单元上以图形提示叠加在所述流的所述视频图像上的方式显示所述第一流的视频图像，所述图形提示表示在所述飞机的移动期间所述末端在地面上的投影位置。15.根据权利要求14所述的方法，其中，所述末端是翼尖或者是具有折叠翼尖的机翼的远端。16.根据权利要求14或15所述的方法，其中，所述图形提示包括弧形带，所述方法进一步包括基于传感器数据计算所述弧形带的半径和掠角，其中，所述传感器数据包括飞机地面速度和前轮转向角。17.根据权利要求14或15所述的方法，其中，所述图形提示包括投影平面，所述方法进一步包括基于传感器数据计算所述投影平面的长度，其中，所述传感器数据包括飞机地面速度。18.根据权利要求17所述的方法，其中，所述图形提示进一步包括沿所述投影平面以间隔隔开的刻度线。19.根据权利要求17或18所述的方法，其中，所述传感器数据进一步包括飞机加速度/减速度，并且所述图形提示进一步包括停止标记，所述方法进一步包括基于飞机地面速度以及加速度/减速度计算所述停止标记的位置。20.—种用于避免操纵的飞机与障碍物之间碰撞的机载系统，所述系统包括: 安装至所述飞机的摄像机，用于生成包括变化的视频场景以及所述飞机的末端的固定图像的视频图像的流； 位于所述飞机的驾驶舱上的视频显示单元，能够显示视频图像；以及 计算机系统，被编程为执行以下操作: (a)促使所述视频显示单元以图形提示叠加在所述流的所述视频图像上的方式显示所述流的视频图像，所述图形提示表示在所述飞机的移动期间所述末端在地面上的投影位置； (b)处理所述视频图像以确定出现在所述视频图像中的障碍物是否定位为与所述投影位置中的任一个相距小于最小分隔距离或者与所述投影位置中的任一个相交；以及 (C)如果在操作(b)中确定所述障碍物定位为与所述末端的投影位置相距小于最小分隔距离或者与所述末端的投影位置相交，发布警报信号。
【文档编号】G05D1/02GK105939934SQ201480074623
【公开日】2016年9月14日
【申请日】2014年12月8日
【发明人】乔舒亚·J·贝尔, 亚当·M·托伦, 彼得·N·威科夫
【申请人】波音公司