用于生成飞机建造过程的增强立体视频的系统和方法与流程

本发明涉及生成飞机建造过程的增强立体视频的系统和方法。

背景技术：

在飞机的制造过程期间，客户难以获得对他们的建造的产品的进程的了解。目前，客户必须实际走到工厂以查看具有高成本的飞机或其他大规模产品的制造进程。这可能涉及行程路线，该行程路线包括导致通常在最终飞机接受位置中的最终产品的简短物理预排的相当高的成本(例如，飞机票、旅店、汽车租赁等)。如果期望进行多次查看，该过程必须重复从而给客户增加了额外的成本和时间。公司已试图利用计算机辅助设计(cad)数据的虚拟陈列室。然而，虚拟陈列室仅呈现飞机的期望的结束状态，而不是飞机在建造过程的不同阶段的实际景象。因此，需要改善的系统和方法，其支持对飞机在建造过程的不同阶段的检查，比当前的方法更经济并且更节省时间。

技术实现要素：

下面给出对本公开的简要概述，以提供对本公开的某些实施方式的基本理解。该概述不是本公开的全面概述，并且既不标识本公开的关键/重要元素，也不描绘本公开的范围。其唯一目的是以简化形式呈现本文中公开的一些概念作为随后呈现的更详细描述的前序。

提供了用于生成飞机建造过程的增强的立体视频的各种系统和方法。在各种实施方式中，系统包括立体记录装置，被配置为捕获飞机建造过程的多个阶段。系统进一步包括一个或多个处理器、存储器、以及存储在存储器中的一个或多个程序。一个或多个程序可以包括用于建造包括通过尾号组织的3d视频的存储库的立体资料库的指令。3d视频的存储库可以对应于飞机建造过程的多个阶段。

一个或多个程序进一步包括用于生成飞机建造过程的增强预排视频(enhancedwalkthroughvideo)的指令。增强预排视频可以包括以下的一个或多个：集成到视频中的视差网格覆盖(parallaxgridoverlay)以及集成到视频中的热扫描覆盖(thermalscanoverlay)。视差网格覆盖可以包括使用自动聚焦自动确定的多个视差线。多个视差线可以组织为视差线的一个或多个集合。视差线的每个集合可以作为单独的视频层存储在视差网格覆盖中。视差网格覆盖可以被配置为使得能够从增强预排视频中提取对位置、间隔、以及飞机结构的精确真实测量。系统可被配置为提供远程进程内的初步检查能力。

一个或多个程序进一步包括使用后期处理分析来分析增强预排视频以识别在飞机建造过程期间出现的异常和谬误的指令。在一些实施方式中，后期处理分析包括分析图案和形状以检测外来物损伤。在一些实施方式中，后期处理分析包括分析图案和形状以确定组件和子组件符合性。在一些实施方式中，后期处理分析包括分析图案和形状以确定热梯度符合性。

还提供了一种用于生成飞机建造过程的增强立体视频的方法。根据各种实施方式，方法包括经由立体记录装置获取飞机建造过程的多个阶段。方法进一步包括建造包括通过尾号组织的3d视频存储库的立体资料库。3d视频存储库可以对应于飞机建造过程的多个阶段。方法进一步包括生成飞机建造过程的增强预排视频，增强预排视频包括以下中的一个或多个：集成到视频中的视差网格覆盖，以及集成到视频中的热扫描覆盖。增强预排视频可被配置为允许远程进程内初步检查。方法进一步包括使用后期处理分析来分析增强预排视频以识别在飞机建造过程期间出现的异常和谬误。

本公开内容的其他实现方式包括被配置为执行所描述的方法的动作的相应装置、系统、以及计算机程序。例如，提供一种非暂时性计算机可读介质，其包括配置为由计算机系统执行的一个或多个程序。在一些实施方式中，一个或多个程序包括用于执行所描述的方法和系统的动作的指令。这些其他实现方式可以各自任选地包括一个或多个上述特征。下文参考附图进一步描述这些和其他的实施方式。

附图说明

图1示出根据一个或多个实施方式的用于实现本公开的各种系统和方法的示例性网络架构的示图。

图2是可结合本公开的技术和机构使用的立体摄像机的示意图。

图3a和图3b示出根据一些实施方式的飞机内部的图像和图像的全景扫描(panoscan)的实例。

图4a示出根据一些实施方式的显示飞机内部的图像的实例。

图4b至图4f示出根据一些实施方式的显示具有集成的覆盖(integratedoverlay)的飞机内部的图像的实例。

图5a至图5b示出根据一些实施方式的对应于生成飞机建造过程的增强立体视频的方法的过程流程图。

图6是示出能够实现在本公开中描述的各种过程的计算机系统的实例的框图。

图7是根据一些实施方式的飞机的示意图。

图8是可以利用本文中描述的方法和组件的飞机制造和保养方法的框图。

具体实施方式

在以下描述中，为了提供对所提出的构思的全面理解而阐述了许多具体细节。所提出的构思可在没有一些或所有这些具体细节的情况下实践。在其他实例中，没有详细地描述众所周知的处理操作，以便不必要地使所描述的构思不清楚。尽管将结合具体实例描述一些构思，但应当理解的是这些实例并不旨在限制。相反，其目的在于，覆盖在由所附权利要求限定的本公开的精神和范围内可以包含的替换、修改以及等同物。

例如，将在用于飞机制造的特定系统的上下文中描述本公开的技术。然而，应注意的是，本公开的技术和机制应用于在各种其他行业中生成不同建造过程的增强视频。在以下描述中，阐述大量的具体细节以提供对本公开的全面理解。可以在没有某些或全部这些特定细节的情况下实现本公开的特定示例性实施方式。在其他情况下，为了不使得本公开模糊，没有详细地描述众所周知的处理操作。有时为了清楚起见以单数形式描述本公开的各种技术和机制。然而，应注意的是，除非另外说明，否则某些实施方式包括技术的多次重复或机制的多次实例化。

有时为了清楚起见以单数形式描述本公开的各种技术和机制。然而，应注意的是，除非另外说明，否则某些实施方式包括技术的多次重复或机制的多次实例化。例如，系统在各种上下文中使用处理器。然而，将理解的是，除非另有说明，系统可使用多个处理器，同时仍落入本发明的范围内。此外，本公开的技术和机制有时将会描述两个实体之间的连接。应注意，由于各种其他实体可以存在于两个实体之间，两个实体之间的连接未必意味着直接无阻碍的连接。例如，处理器可以连接至存储器，但是将理解的是，各种桥和控制器可以存在于处理器与存储器之间。因此，除非另有说明，连接未必意味着直接无阻碍的连接。

概述

本公开描述了用于提供飞机建造过程的改进的虚拟检查的一种新颖的系统和方法。该系统通过远程访问在装配期间用记录装置获得的视频数据为客户提供查看装配产品的制造的周期进展的远程访问。具体地，系统可以包括建造包括2d和/或3d图像的存储库的立体资料库，2d和/或3d图像包括通过记录装置(诸如，立体摄像机)捕获的视频。操作者可佩带记录装置使得在操作者遍历组件并向客户提供感兴趣的组件的部分的视图的同时获取视频数据。图像的存储库可以对应于飞机建造过程的一个或多个阶段并且可以通过飞机尾号组织。与当前的全景扫描以及其他方法相比，2d和/或3d图像可以是具有真实的视角的全景图像，其能够提供飞机内部和外部高达360度的视图以及特定建造阶段的更多逼真且全面的视图。

在一些实施方式中，可以通过配备有自动聚焦能力的激光投影装置为每个所捕获的图像生成包括站线(station-line)、对接线(butt-line)、以及水位线(water-line)的视差线。视差线(parallaxline)可以组织为一组或多组视差线的集合，并且视差线的每个集合可以作为覆盖(overlay，覆盖物)而被存储。视差线可以预定距离(例如，5”、10”、12”、18”等)均匀地隔开并且提供飞机结构在水平方向、垂直方向、以及纵向方向上的缩放比例和视角。此外，系统可以获取与每个建造阶段有关的其他信息，诸如，外来物损伤、组件符合性(assemblycompliance)、以及热偏差。该附加信息可以单独和/或组合地存储在各种覆盖中。可以根据需要激活(例如，接通/断开)一个或多个覆盖以支持工程分析和/或客户检查。可以采用后期处理分析以自动比较所捕获的图像与数据库信息以检测外来物损伤，确定组件和子组件符合性，并且确定热梯度符合性(thermalgradientcompliance)。

与提供对飞机结构的检查的传统的系统和方法相比，改进的系统具有很多优点。例如，所公开的系统创建可以按需从任意位置方便访问的多个建造阶段的视频和图像的资料库，用于飞机结构的虚拟检查。这消除了要求高成本以及耗费时间地到达飞机的物理位置。另外，与传统的全景扫描相比，系统可提供具有更大视野的无失真3d图像以用于更准确的视角。本领域普通技术人员将会认识到，当前使用的全景扫描存在失真和有限的查看范围，从而使得难以直观化除了参考视点以外的区域并且按比例缩放在图像中示出的结构。

此外，视差线覆盖提供对位置、间隔、以及飞机结构精确的测量，而热扫描覆盖允许技术员安全且迅速识别潜在的系统故障。后期处理分析还可以通过自动识别外来物损伤(“fod”)、确定组件符合性、和/或分析热偏差提高质量控制。总的说来，改进的系统和方法能够早期识别制造问题以及与顾客需求的偏差，对于制造商和客户两者来说，具有显著的成本节约并且更加精确的建造。

示例性实施方式

图1示出根据一个或多个实施方式的用于实现本公开的各种系统和方法的示例性网络架构100的示图。网络架构100包括通过网络110通信地连接至服务器系统112的大量客户端设备102-108。在一些实施方式中，服务器系统112包括一个或多个处理器和存储器。服务器系统112的处理器执行存储在存储器中的计算机指令(例如，网络计算机程序代码)以执行网络数据交换服务器的功能。

在一些实施方式中，服务器系统112是被配置为接收并存储由记录装置118记录的视频和/或图像文件的存储库的内容服务器。服务器系统112还可以起到派发服务器的作用，派发服务器被配置为发送和/或路由包括网络消息的网络数据包。在一些实施方式中，网络架构100可以进一步包括经由网络110通信地连接至客户端设备102-108和服务器系统112的数据库116。在一些实施方式中，网络数据、包括3d视频存储库的立体资料库、或其他信息(诸如，网络配置文件信息、飞机信息、生产信息、建造处理信息等)可以存储在数据库116中和/或从数据库116中检索。在一些实施方式中，数据库116是服务器系统112内的组件并存储在服务器系统112的存储器内。

客户端设备102-108的用户可以访问服务器系统112以参与网络数据交换业务。例如，客户端设备102-108可以执行可用于访问存储在服务器系统112和/或数据库116中的数据的网络浏览器应用。在另一实例中，客户端设备102-108可执行专用于网络的软件应用(例如，在智能手机上运行的联网数据交换“app”)。与客户端设备102-110交互的用户可通过访问存储的数据、查看3d视频图像以及分发数字内容(例如，消息查询、更新、通告、回复)参与由服务器系统112提供的网络数据交换业务。

在一些实现方式中，客户端设备102-110可以是计算设备(诸如，膝上型电脑或台式计算机、智能手机、个人数字助理、便携式媒体播放器、平板电脑)或者可用于与电子网络通信的其他合适的计算设备。在一些实现方式中，服务器系统112可以包括一个或多个计算设备(诸如，计算机服务器)。在一些实现方式中，服务器系统112可以表示一个以上的计算设备一起工作以执行服务器计算机的动作(例如，云计算)。网络110可以是有线和/或无线网络。在一些实现方式中，网络110可以是公共通信网络(例如，互联网、蜂窝数据网络、通过电话网络的拨号调制调解器)或专用通信网络(例如，私人lan、租用线路)。

图2是可与本公开的技术和机构结合使用的立体摄像机200的示意图。图2中的虚线表示立体摄像机200的任选部件。在一些实施方式中，立体摄像机200可以是先前在图1中描述的记录装置118。在各种实施方式中，立体摄像机200包括具有两个或更多个透镜(诸如，透镜204a和204b)的主体202。立体摄像机200可被配置为通过立体摄影捕获2d和/或3d视频和/或图像。每个透镜(诸如，透镜204a和204b)可以包括允许摄像机模拟人类双眼视觉并捕获3d图像的分开的图像传感器和/或膜框架(filmframe)。在一些实施方式中，立体摄像机200可以是两个或更多个图像捕获设备的组合。在一些实施方式中，立体摄像机200可以包括用于捕获3d图像的任意其他合适的透镜机构，诸如，2d/3d可更换定焦镜头。在一些实施方式中，记录装置118可以包括多个摄像机，多个摄像机安装成使得摄像机捕获周围事物的360度全景。这样的摄像机配置可以与智能处理软件耦合从而以2d和/或3d创建无缝全景显示。由立体摄像机200捕获的全景视频和/或图像可以对飞机的内部和/或外部的周围事物提供高达360度的视图。在一些实施方式中，与当前全景扫描(诸如，用数字式全景旋转系列摄像机拍摄的全景扫描)相比，全景视频和/或图像包括提供更准确的深度视角和更少的视图失真的真实立体图

立体摄像机200的主体202可以耦合至底座208，该底座允许立体摄像机200安装在各种结构上。例如，在一些实施方式中，立体摄像机200可以安装在轨道系统上。在一些实施方式中，轨道系统可以允许立体摄像机200旋转高达360度以便捕获更大的参考视点。在其他实施方式中，立体摄像机200可以安装在操作者的头盔上并且在制造的每个增量阶段期间可以在操作者沿着飞机的内部和/或外部行进时记录客户感兴趣的组件的部分的视频和/或图像。由立体摄像机200捕获的3d图像然后可以格式化用于用合适的3d观察装置(诸如，虚拟现实眼镜等)观看。

在一些实施方式中，立体摄像机200可以包括安装至立体摄像机200的主体202的一区域的设备附接件(deviceattachment)210。如在图2中所描述的，安装装置(mounteddevice)210安装在立体摄像机200的顶部。然而，在不同的实施方式中，安装装置210可以安装在立体摄像机200的任意部分上。在一些实施方式中，立体摄像机200可以包括安装在主体202的各种部分上的多个安装装置210。在各种实施方式中，安装装置210可以获取增强或补充由立体摄像机200捕获的3d图像的信息。在一个方面中，安装装置210可以是具有自动聚焦能力的激光投影装置，用于创建如以下参照图4b至图4e进一步描述的参考测量线。在另一方面中，如以下参照图4f进一步描述的，安装装置210可以包括使热辐射成像的红外观察仪(infraredvisiondevice)。这样的安装装置210可以创建提供有关记录图像的附加信息的同步覆盖。在一些实施方式中，安装装置210可以包括光源以对周围事物提供足够的和/或均匀的照明。一个或多个先前描述的设备附接210的能力可以整合到立体摄像机200中并由立体摄像机200执行。

捕获的图像和覆盖的实例

通过捕获具有更精确的视角的视频和/或图像，本公开的系统和方法可以避免传统的全景扫描以及当前使用的其他全景摄影方法的问题。图3a至图3b示出根据一些实施方式的飞机内部的图像300和图像300的全景扫描301的实例。参照图3a，图像300描绘了在建造阶段期间飞机的内部。参照图3b，全景扫描301可以是所显示的并以非常宽的区域透镜形式失真的飞机的静态全景图像，并且可以用于识别工程设备的潜在位置。在一些实施方式中，图像300和/或全景扫描301可以是视频序列中的帧。全景扫描(诸如，全景扫描301)可以容易显示液压管线、电线、和/或其他工程结构。然而，如图3b中所示，格式化引起视图中的失真(例如，鱼眼效果)。这些失真可能使得难以可视化除了参考视点以外的区域并确定在图像中示出的结构的距离。另外，参考视点固定在图片的中心，并且仅能够进行有限的移动，诸如，放大、缩小、以及旋转，并且这样的有限的移动可能引起图像甚至更进一步失真。此外，鱼眼效果失真使得难以在全景扫描图像(诸如，全景扫描301)内缩放现有的结构。

相反，由记录装置118捕获的视频和/或360度图像显示具有真实的视角(visualperspective)的图像，从而允许通过各种装置进行缩放，诸如，通过以已知的距离均匀地隔开的线的覆盖。另外，3d视频和/或图像将提供在传统的全景扫描图像中未示出的景深感觉信息。此外，由记录装置118捕获的视频和/或360度图像未被锁定到特定静态视点中并将使除了当前参考视点以外的区域可视化。

下面的附图提供所记录图像的另外的实例，诸如，由记录装置118或者立体摄像机200捕获并存储在服务器系统112和/或数据库116中的那些图像。图4a示出根据一些实施方式的显示飞机内部的图像400的实例。如在图4a中所描绘的，图像400包括多排座椅、头顶的行李架、以及窗口。图像400可以是记录视频的帧。在一些实施方式中，图像400可以是360度全景图像或视频的片段。如为了便于参考所描绘的，以2d视角示出图像400。然而，图像400可以是3d视频和/或图像。

图4b至图4f示出根据一些实施方式的显示具有集成的覆盖的飞机内部的图像400的实例。在一些实施方式中，为了缩放和/或测量的目的，包括视差线(诸如，站线、对接线、以及水位线)的覆盖层叠到图像上。这样的覆盖可以与在服务器112和/或数据库116中捕获的图像一起存储。在一些实施方式中，记录装置118或安装装置220的自动聚焦特征说明图像内的距离并根据需要创建视差线以维持默认和/或用户定义的间隔。视差线可以预定距离(例如，5”、10”、12”、18”等)均匀地隔开。

图4b描绘了具有平行于飞机的x轴延伸的站线(station-line)402a-402j的图像400。站线(诸如，站线402a-402j)通常指定沿着飞机的长度从结构的前面延伸到后面的位置并以结构上显著的对象(诸如，肋状物)批注。例如，在站22开始并径直延伸到站500且没有夹子或弯折或孔的管将仅包括开始及终止点的基准。在一些实施方式中，机身站位的原点(fs＝0或x＝0)放在鼻尖或者鼻子前面的一定距离(例如，约50至100英寸)。另外，均匀间隔开的站线可以提供结构在y轴上的水平距离的视角。例如，如先前描述的，视差站线402a-402j可以预定距离(例如，5”、10”、12”、18”)均匀地间隔开。

图4c描绘了具有平行于飞机的y轴延伸的对接线404a-404f的图像400。对接线(诸如，对接线404a-404f)通常测量飞机中心线的左侧和右侧。在一些实施方式中，对接线的原点(bl＝0或y＝0)位于对称的飞机平面。另外，均匀间隔开的对接线可以提供结构在z轴上的垂直距离的视角。例如，如先前描述的，视差对接线404a-404f可以预定距离(例如，5”、10”、12”、18”)均匀地间隔开。

图4d描绘了具有平行于飞机的z轴延伸的水位线406a-406j的图像400。水位线(诸如，水位线406a-406j)通常指定从地向上(例如，地板、舱顶等)在飞机高度上的重要点的位置。典型地，水位线0通常比飞机或机身的底部低1位。在一些实施方式中，水位线的原点(wl＝0或z＝0)置于鼻端、地面、或者鼻端下方大约100至200英寸。另外，均匀间隔开的水位线可以提供结构在x轴上的纵向距离的视角。例如，如先前描述的，视差水位线406a-406j可以预定距离(例如，5”、10”、12”、18”)均匀地间隔开。

可以通过使用安装在具有自动聚焦能力的记录装置118上的激光投影装置创建网格覆盖。这样的激光投影装置可以是安装装置210。当指向对象时，激光投影装置具有在垂直的x轴、y轴、和/或z轴中任一个上创建定义线的网格的能力。在一些实施方式中，立体摄像机200可以包括提供激光投影装置的能力的部件。在一些实施方式中，视差网格覆盖包括一层或多层，其中每层包括视差线的集合。在一些实施方式中，视差线的集合可以包括一个或多个平行线的群组。在一些实施方式中，视差线的集合可以包括一个或多个站线、对接线、和/或水位线的群组。视差线的集合可以作为附连到视频和/或图像格式的元数据存储。例如，可以捕获四个专用通道：1.)视频和/或图像，2.)站线，3.)对接线，以及4.)水位线。在一些实施方式中，所捕获的数据可以聚集于可检索查看的单个文件中。

可创建每个集合的视差线并存储在分开的视频层和/或等级上，这样，可以根据需要将它们激活(例如，接通/断开)。在各种实施方式中，可以激活并通过视频和/或图像显示一层或多层视差线。例如，图4b至图4d中的每一个可以表示在通道上捕获并作为与图像400的文件相关联的元数据存储的视差线的集合。对应于图像400的元数据和在图4b至图4d中表示的视差线可以聚合到单个可检索查看的文件中。例如，图4e描绘了具有如在图4b至图4d中描述的被激活且重叠的覆盖的图像400。这样的视差线覆盖可以用于缩放虚拟客户预排或支持工程分析等。这样的校准视差线可以给予工程师迅速在几何上评估进行设计更新和改变的区域的能力。同样可以允许异地(offsite)工程师精确测量飞机上存在的特征，而不用实际对其进行测量或者搜索遗留附图(legacydrawing)。

可以创建并通过图像400显示的另一种类型的覆盖是热扫描覆盖。图4f描绘了具有集成的热扫描覆盖的图像400。阴影区408a-408f表示覆盖在图像400上的温谱图的可视化热辐射。不同的阴影图案表示不同的温度范围。由具有绝对零度以上的温度的所有对象发射红外辐射。对象发射的辐射量随着温度增加，从而允许通过热成像使温度变化可视化。在各种实施方式中，热扫描覆盖可以包括由安装至立体摄像机200的红外观察仪所检测到的且捕获的这样的红外辐射的温谱图视频和/或图像。例如，红外观察仪可以是能够检测中(3至5μm)和长(7至14μm)波红外带中的辐射的焦点平面阵列(fpa)红外摄像机，分别表示为mwir和lwir，对应于高透射率红外窗口中的两个。在其他实施方式中，红外观察仪可以是各种其他热图形摄像机或记录装置中的一个。

在一些实施方式中，可以通过无源热成像捕获温谱图视频和/或图像，在无源热成像中，所关注的特征自然地处于高于或低于背景的温度。可替换地或另外地，可以经由有源热成像捕获温谱图视频和/或图像，在有源热成像中，需要能量源以在所关注的特征与背景之间产生热对比。在检查部分通常与周围事物相平衡的情况下，可能需要有源热成像。

一旦捕获，温谱图视频和/或图像然后可以作为单独的覆盖层存储至服务器112和/或数据库116中的图像400，并根据需要激活(例如，接通/断开)。这样的热扫描覆盖可以用于支持各种工程技术分析。例如，热成像是一种无损检测方法并且可用于测量或者观察不能访问的或者危险区域。还可以用于检测暗区中的对象。集成精确的温度数据的红外图像可以为技术员或者工程师提供有关所有种类的设备和结构的情况的关键信息。其可用于发现轴、管、以及其他金属或塑料部件中的缺陷。还能够实时记录活动目标并允许大面积的温度的比较。作为还使得不可见的热问题可见的非接触测量，热感摄像机(thermalcamera)允许技术人员、工程师、或其他运营商更安全地甚至在峰值操作下检查生产设备。与故障修检一起，热扫描覆盖也可以帮助优化生产过程本身以及监测质量控制。

在一些实施方式中，可以实时捕获并查看视频和/或图像。在一些实施方式中，上述覆盖还可以实时发送给观看者。在各种实施方式中，先前参照图4a至图4f讨论的图像和覆盖(诸如，热扫描覆盖)可以用于后期处理分析。这样的后期处理分析可以包括自动识别外来物损伤(“fod”)，确定组件符合性，和/或分析热偏差。下面参照在图5a至图5b中描述的方法500的操作513进一步说明这些后期处理分析。在一些实施方式中，系统被配置为通过将所捕获的图像(诸如，图像300或400)与一个或多个分析数据库相比较创建分析报告。

生成飞机建造过程的增强立体视频的实例

图5a至图5b示出根据一些实施方式的对应于生成飞机建造过程的增强立体视频的方法500的过程流程图。方法500可以通过上述系统100的各种实施方式实现。在一些实施方式中，方法500可以实现为如下参照图8描述的过程800的具体部分诸如，至少操作808、810、812、以及814。

在操作501中，经由立体记录装置捕获飞机建造过程的多个阶段。在一些实施方式中，可以通过记录装置118或者立体摄像机200捕获每个建造过程的图像和/或视频。这样的建造过程可以包括下面参照图8描述的操作。例如，操作501可以实现为在系统集成810的各个阶段期间捕获飞机的内部和/或外部的视频和/或图像，其中将在框808中制造的各种部件和子组件装配在一起。在一些实施方式中，系统集成810的各个阶段可以分成不同的建造日，诸如，建造日-1810-a、建造日-2810-b、建造日-3810-c等等，到建造日-n810-d。在一些实施方式中，操作501可以实现为在组件和子组件制造808期间以时间增量标尺(诸如，一个或多个建造日)捕获视频和/或图像。在一些实施方式中，操作501可以实现为以特定时间表(milestone)捕获飞机的视频和/或图像，特定时间表可以表示来自一个或多个建造日810-a至810-n的结果。

在操作503中，建造立体资料库，立体资料库包括通过尾号组织的3d视频的存储库505。每个飞机都注册有必须显示在飞机外部的字母和数字的唯一识别组合。通过尾号组织立体资料库可以使得更方便查找对应于期望飞机的视频和图像。在一些实施方式中，客户对视频和图像的访问可限于对应于这样的客户购买的飞机的尾号的那些视频和图像。在一些实施方式中，3d视频的存储库505对应于飞机建造过程的多个阶段。如前所述，下面可以进一步参照图8描述飞机建造过程的这样的阶段。

在操作507中，生成飞机建造过程的增强预排视频(enhancedwalkthroughvideo)507。在一些实施方式中，为建造过程的每个阶段生成增强预排视频507。在一些实施方式中，增强预排视频507可以包括建造过程的多个阶段。在一些实施方式中，增强预排视频507包括以下的一个或多个：集成到视频中的视差网格覆盖515以及集成到视频中的热扫描覆盖。

视差网格覆盖515可以包括使用自动聚焦自动确定的多个视差线。如前所述，激光投影装置可以作为安装装置210安装到立体摄像机200上。激光投影装置可以配置有自动聚焦能力以在垂直轴(例如，x轴、y轴、以及z轴)中的任一个上创建所定义的线的网格。在一些实施方式中，视差线可以是先前参照图4b至图4e描述的一个或多个视差线(诸如，站线402a-402j、对接线404a-404f、水位线406a-406j等)的任意组合。在一些实施方式中，在专用通道上捕获每种视差线。多个视差线可以组织为视差线的一个或多个集合516。多个视差线中的视差线的每个集合516可以作为单独的视频层517存储在视差网格覆盖515中。视差线的集合可以作为附连到视频和/或图像格式的元数据存储。在一些实施方式中，所捕获的数据可以聚合于可检索查看的单个文件中。在一些实施方式中，视差线的集合516包括一种类型的视差线中的一个或多个视差线。在一些实施方式中，视差线的集合516可以包括先前描述的一个或多个视差线的任意组合。

在一些实施方式中，视差网格被配置为使得可从增强预排视频507提取位置、间隔、以及飞机结构的精确的真实测量519。例如，如先前参照图4b至图4e描述的，站线可以预定距离(例如，5”、10”、12”、18”等)均匀地间隔开并且可以提供结构在y轴上的水平距离的视角。相似地，均匀间隔开的对接线可以提供结构在z轴上的垂直距离的视角。另外，均匀间隔开的水位线可以提供结构在x轴上的纵向距离的视角。

同样如前所述，可以通过作为安装装置210安装至立体摄像机200的红外观察仪(诸如，热图形摄像机)捕获热扫描覆盖。所捕获的温谱图视频和/或图像可以作为可以显示在图像(诸如，图像400)上的一个或多个覆盖存储。在一些实施方式中，热扫描覆盖可以清楚地显示温度变化从而没必要分析底层图像400。因此，工程师或其他技术人员可以只须查看热扫描覆盖。其他覆盖可以另外和/或可替换地由测量对应于立体摄像机200的周围事物的其他信息的其他安装装置210创建。

在一些实施方式中，增强预排视频509被配置为允许远程进程内的初步检查511。这种新颖的方法为客户提供了一种在制造建造周期(如在图8中描述的)的任一点查看产品的解决方案。客户可以使用客户端设备102-108(例如，ipad、移动设备、膝上型电脑、或智能眼镜等)并查看先前记录的产品间隔的远程预排。在一些实施方式中，系统可以允许客户经历第二模式中的实时交互会话。这可以允许客户根据客户的要求识别潜在问题和/或在消耗大量时间和成本之前改变先前选择的选项。技术员或者工程师还可以使用初步检查511进行工程技术分析。可以分析图像数据以识别对客户要求的偏差，识别组件的热变化，以及执行组件的检查。例如，校准视差线可以给予工程师迅速测量并在几何上评估进行设计更新和改变的区域的能力。作为另一个实例，热扫描覆盖可以帮助识别异常以及其他机械和/或电气问题。

此外，后期处理分析可以用于自动识别建造过程期间的潜在问题。在操作513中，使用后期处理分析来分析增强预排视频507以识别在飞机建造过程期间出现的异常和谬误。在一些实施方式中，后期处理分析包括分析图案和形状以检测外来物损伤521。外来物损伤(“fod”)是归因于可用物理或经济术语表示并且可能或不会使产品所要求的安全性或性能特性劣化的外来物(foreignobject，异物)的任何损伤。fod可以描述异物对飞机造成的损伤以及外来物它们自身的损伤两者。外来物可以是不是飞机或者车辆的一部分的任意对象，诸如，各种工具、手机、徽章、食物等。在一些实施方式中，fod数据库存储在服务器112和/或数据库116中。fod数据库可以包括对应于在各个建造过程期间在飞机中普遍发现的外来物的异常形状的资料库，外来物包括手机对象、徽章、按键、工具、铆钉、托架、布线或液压废料等。在一些实施方式中，资料库包括与这样的外来物有关的信息，包括对应于外来物的各种视角、尺寸、着色等的形状。在后期处理期间，可以通过将图像中的异常形状与存储在fod数据库中的信息相匹配来扫描这样的外来物的图像(诸如，图像400)。例如，系统可以识别留在飞机上的螺钉驱动器或扳钳。在一些实施方式中，系统可被配置为搜索具体外来物类型。

在一些实施方式中，后期处理分析包括分析图案和形状以确定组件和子组件符合性523。对于每个飞机和建造阶段来说，可存在组件、子组件、以及客户唯一选择的预期形状。这些形状可以从维护飞机的“完工”配置的计算机辅助设计和计算机辅助制造(cad/cam)系统获得。可以将这样的预期形状存储在服务器112和/或数据库116中的标准(预期)形状数据库中。例如，标准形状数据库可以包括与飞机的座椅、桌子、脸盆、头顶的行李架、以及其他标准结构有关的形状信息。在后期处理期间，为了确认各种结构的正确适当安装，可以通过将图像中的形状与存储在标准形状数据库中的形状信息相匹配扫描这样的标准结构的图像(诸如，图像400)例如，可以执行组件符合性以确认脸盆是否正确安装在预期位置。

在一些实施方式中，后期处理分析包括分析图案和形状以确定热梯度符合性525。对于每个飞机和建造阶段，可存在飞机的各个区域的预期温度梯度。偏离正常的温度可以表示电气或机械故障。这样的预期温度梯度信息可以存储在服务器112和/或数据库116中的热(期望)高温数据库中。在后期处理期间，可以搜索诸如先前结合图4f描述的热扫描覆盖并且与热高温数据库(thermalheatdatabase)相比较以识别不符合预期温度的阈值内的温度梯度。例如，可以对照热热数据库查看来自具有热扫描覆盖的图像(诸如，图像400)的座舱灯的热性能以验证热梯度温度符合座舱灯的预期热性能。

图6是示出能够实现在本公开中描述的各种过程的计算机系统600的实例的框图。系统600通常包括：电源624；一个或多个处理单元(cpu)602，用于执行存储在存储器612中的模块、程序和/或指令并且从而执行处理操作；一个或多个网络或其他通信电路或接口620，用于与网络622通信；控制器618；以及一个或多个通信总线614，用于与这些部件互连。在一些实施方式中，网络622可以是无线和/或有线网络，诸如，先前在图1中描绘的网络110。在一些实施方式中，网络622可以是另一通信总线、互联网、以太网、内联网、其他广域网、局域网、以及城域网。通信总线614可任选地包括将系统部件互连并控制系统部件之间的通信的电路(有时称为芯片集)。系统600可任选地包括用户接口604，用户接口包括显示装置606、键盘608、以及鼠标610。

存储器612包括高速随机存取存储器，诸如，dram、sram、ddrram或其他随机存取固态存储器装置；并且可以包括非易失性存储器，诸如，一个或多个磁盘存储装置、光盘存储装置、闪存装置、或其他非易失性固态存储装置。存储器612可任选地包括远离cpu602定位的一个或多个存储装置616。在一些实施方式中，存储器612可以包括一个或多个存储装置616。

存储器612或者可替换地存储器612中的非易失性存储装置包括非暂时性计算机可读存储介质。在一些实施方式中，存储器612或存储器612的计算机可读存储介质存储以下程序、模块以及数据结构或者它们的子集：

操作系统640，包括处理各种基本系统服务以及执行硬件相关任务的程序；

文件系统644，用于存储各种程序文件；

图像捕获模块646，用于从记录装置118(诸如，立体摄像机200)接收3d立体视频和/或图像(诸如，图像400)，如在操作501中描述的；

图像存储模块648，用于将所捕获的视频和/或图像存储在存储器612、存储装置616、和/或数据库116中，并且用于组织视频和/或图像作为对应于尾号的存储库，如在操作503中描述的；

视差线覆盖模块650，用于从立体摄像机200和/或包括激光投影装置的安装装置210接收对应于投影线的数据，并且将数据作为对应于相关联的图像的覆盖存储在存储器612、存储装置616、和/或数据库116中，如在操作507中描述的；

热扫描覆盖模块652，用于接收对应于由包括红外观察仪的安装装置210捕获的热图像的数据，并且将数据作为对应于相关联的图像的覆盖存储在存储器612、存储装置616、和/或数据库116中，如在操作507中描述的；

后期处理模块654，用于将存储在存储器612、存储装置616、和/或数据库116中的形状和图案与所捕获的图像和/或覆盖中的形状和图案进行比较以便自动识别外来物损伤(“fod”)，确定组件符合性，和/或分析热偏差，如在操作513中描述的；以及

局部数据库信息656，包括飞机标识信息、操作参数、测量、对应于外来物的异常形状、对应于合适的部件和/或结构的预期形状、温度梯度信息、和/或其他制造信息。

上面标识的元素中的每一个可以存储在先前提到的储存装置的一个或多个中，并且对应于用于执行上述功能的指令的集合。上面标识的模块中的一个或多个可以通过从一个或多个客户端设备102-108和/或局部存储器616或者网络622上的其他数据库(诸如，数据库116)检索输入来操作。上面标识的模块或程序(即，指令的集合)不需要实现为单独的软件程序、程序或模块，并且因此在各种实施方式中这些模块的各种子集可以结合或以另外的方式重新排列。在一些实施方式中，存储器612可以存储上面标识的模块和数据结构的子集。此外，存储器612可以存储上面没有描述的附加模块和数据结构。

尽管图6示出“一种用于生成飞机建造过程的立体视频的系统”，与其意在作为在此描述的实施方式的结构示意相比，图6更意在作为可以在服务器的集合中存在的各种特征的功能描述。实际上，并且如本领域内的普通技术人员所认识到的，单独示出的项可以结合并且一些项可以分开。例如，在图6中单独示出的一些项可以在单独的服务器上实现，并且单一的项可以通过一个或多个服务器来实现。用于实现生成飞机建造过程的增强立体视频的系统的服务器的实际数量以及如何在它们中分配特征将会随实现的不同而变化，并且可以部分取决于在高峰使用期期间以及平均使用期期间系统必须处理的数据通信的量。

飞机以及制造并操作飞机的方法的实例

为了更好地了解所描述的系统和技术的实现的各个方面，现在呈现对飞机和飞机机翼的简短描述。图7是根据一些实施方式的飞机700的示意图。如在图7中所描绘的，飞机700由纵轴(x轴)、横轴(y轴)、以及垂直轴(z轴)定义。在各种实施方式中，飞机700包括具有内部770的机体750。飞机700包括耦接至机体750的机翼720。飞机700还可以包括由机翼720支撑的引擎730。在一些实施方式中，飞机700进一步包括多个高级检查系统，诸如，电气检查系统740和环境检查系统760。在其他实施方式中，可以包括任意数量的其他检查系统。

在图7中示出的飞机700是根据示例性实施方式的可以通过方法500的实施诸如通过系统100在建造过程的各个阶段生成增强立体视频的车辆的一个实例。尽管示出了航天实例，本文中公开的原理可以应用于其他工业，诸如汽车工业。因此，除了飞机700之外，本文中公开的原理可以应用于其他交通工具，例如，地面交通工具、海上交通工具、宇宙飞船等。

可以在如图8所示的飞机制造和保养方法800以及如图7所示的飞机700的背景下描述本公开的实例。在预生产过程中，示例性方法800可以包括飞机700的规格(specification)和设计(框804)以及材料采购(框806)。在制造过程期间，可以进行飞机700的部件和子组件制造(框808)以及系统集成(框810)。在一些实施方式中，系统集成(框810)可以包括一个或多个指定建造日，包括建造日-1810-a、建造日-2810-b、建造日-3810-c直到建造日-n810-d。在一些实施方式中，可以同时进行部件和子组件制造(框808)和系统集成(框810)。例如，由于在框808中各种部件和/或子组件完成制造，在框810中它们可以集成到飞机中而同时在框808中制造其他部件和/或子组件。通过这些方法形成的所描述的系统、方法、以及组件可以用于飞机700的规格和设计(框804)、材料采购(框806)、部件和子组件制造(框808)、和/或飞机700的系统集成(框810)的任一个中。

此后，为了投入使用(框814)，飞机700可经历认证和交付(框812)。而在使用中，飞机700可被安排进行日常维护和保养(框816)。日常维护和保养可以包括飞机700的一个或多个检查系统的改造、重构、整修等。通过这些方法形成的所描述的系统、方法、以及组件可以用于认证和交付(框812)、投入使用(框814)、和/或日常维护和保养(框816)的任一个中。

示例性方法800的每个过程可通过检查系统集成商(systemintegrator)、第三方、和/或运营商(例如，客户)来执行或实现。为了该描述的目的，检查系统集成商可包括但不限于任意数量的飞机制造商和主检查系统分包商；第三方可包括但不限于任意数量的承包商、分包商以及供应商；并且运营商可以是航空公司、租赁公司、军事企业、服务机构等。

本文中示出或者描述的装置和方法可以在制造和保养方法(示例性方法800)的任何一个或多个阶段过程中采用。例如，对应于部件和子组件制造(框808)的部件或子组件可以类似于飞机700在投入使用(框814)时所生产的部件或子组件的方式被生产或制造。此外，装置、方法或其组合的一个或多个实例可以在生产阶段(框108)和(框110)过程中例如通过基本加快飞机700的组装和/或降低飞机700组装的成本来进行利用。类似地，装置或方法实现或其组合的一个或多个实例可以例如但不限于在飞机700投入使用(框814)和/或在维护和保养(框816)期间进行利用。

结论

本文中公开的装置和方法的不同实例包括各种部件、特征、以及功能。应当理解的是，本公开中所公开的装置和方法的各种实例可包括本公开中公开的装置和方法的其他实例的任何部件、特性、以及功能的任何组合，并且所有这些可能性旨在落在本公开的精神和范围内。本文中阐述的实例的许多修改将使本公开所属领域的技术人员获知在前述描述和所关联的附图中呈现的教导的益处。

因此，应当理解，本公开内容并不局限于所示出的具体实例，并且修改和其他实例旨在被包括在所附权利要求的范围内。此外，尽管前述描述和关联的附图在元件和/或功能的某种说明性的组合的背景下描述本公开的实例，应当理解，在不偏离所附权利要求的范围的情况下，可以通过替换执行过程提供元件和/或功能的不同组合。因此，仅出于示例性目的呈现所附权利要求中括弧的参考标号并非旨在将所要求保护主题的范围限制为在本公开中提供的具体实例。

进一步地，本公开包括根据下列项的实施方式：

1.一种系统，包括：

立体记录装置，被配置为捕获飞机建造过程的多个阶段；

一个或多个处理器；

存储器；以及

一个或多个程序，存储在所述存储器中，所述一个或多个程序包括指令，所述指令用于：

建造包括通过尾号组织的3d视频的存储库的立体资料库，所述3d视频的存储库对应于飞机建造过程的多个阶段；

生成飞机建造过程的增强预排视频，增强预排视频包括以下的一个或多个：

集成到视频中的视差网格覆盖，以及

集成到视频中的热扫描覆盖；以及

使用后期处理分析来分析增预排视频以识别在飞机建造过程期间出现的异常和谬误。

2.根据项1所述的系统，其中，后期处理分析包括分析图案和形状以检测外来物损伤。

3.根据项1所述的系统，其中，后期处理分析包括分析图案和形状以确定组件和子组件符合性。

4.根据项1所述的系统，其中，后期处理分析包括分析图案和形状以确定热梯度符合性。

5.项1所述的系统，其中，系统进一步被配置为提供远程进程内初步检查能力。

6.根据项1所述的系统，其中，视差网格覆盖被配置为使得可从增强预排视频提取对位置、间隔、以及飞机结构的精确的真实测量。

7.根据项1所述的系统，其中，视差网格覆盖包括使用自动聚焦自动确定的多个视差线，

其中，多个视差线被组织为视差线的一个或多个集合，

其中，视差线的每个集合作为单独的视频层存储在视差网格覆盖中。

8.一种方法，包括：

经由立体记录装置捕获飞机建造过程的多个阶段；

建造包括通过尾号组织的3d视频的存储库的立体资料库，3d视频的存储库对应于飞机建造过程的多个阶段；

生成飞机建造过程的增强预排视频，增强预排视频包括以下的一个或多个：

集成到视频中的视差网格覆盖，以及

集成到视频中的热扫描覆盖；以及

使用后期处理分析来分析增强预排视频以识别在飞机建造过程期间出现的异常和谬误。

9.根据项8所述的方法，其中，后期处理分析包括分析图案和形状以检测外来物损伤。

10.根据项8所述的方法，其中，后期处理分析包括分析图案和形状以确定组件和子组件符合性。

11.根据项8所述的方法，其中，后期处理分析包括分析图案和形状以确定热梯度符合性。

12.根据项8所述的方法，其中，增强预排视频被配置为允许远程进程内初步检查。

13.根据项8述的方法，其中，视差网格覆盖被配置为使得可从增强预排视频提取对位置、间隔、以及飞机结构的精确的真实测量。

14.根据项8所述的方法，其中，视差网格覆盖包括使用自动聚焦自动确定的多个视差线，

其中，多个视差线被组织为视差线的一个或多个集合，

其中，视差线的每个集合作为单独的视频层存储在视差网格覆盖中。

15.一种非暂时性计算机可读存储介质，存储被配置用于由计算机执行的一个或多个程序，所述一个或多个程序包括指令，所述指令用于：

经由立体记录装置捕获飞机建造过程的多个阶段；

建造包括通过尾号组织的3d视频的存储库的立体资料库，3d视频的存储库对应于飞机建造过程的多个阶段；

生成飞机建造过程的增强预排视频，增强预排视频包括以下的一个或多个：

集成到视频中的视差网格覆盖，以及

集成到视频中的热扫描覆盖；以及

使用后期处理分析来分析增强预排视频以识别在飞机建造过程期间出现的异常和谬误。

16.根据项15所述的非暂时性计算机可读存储介质，其中，后期处理分析包括分析图案和形状以检测外来物损伤。

17.根据项15所述的非暂时性计算机可读存储介质，其中，后期处理分析包括分析图案和形状以确定组件和子组件符合性。

18.根据项15所述的非暂时性计算机可读存储介质，其中，后期处理分析包括分析图案和形状以确定热梯度符合性。

19.根据项15所述的非暂时性计算机可读存储介质，其中，视差网格覆盖被配置为使得可从增强预排视频提取对位置、间隔、以及飞机结构的精确的真实测量。

20.根据项15所述的非暂时性计算机可读存储介质，其中，视差网格覆盖包括使用自动聚焦自动确定的多个视差线，

其中，多个视差线被组织为视差线的一个或多个集合，

其中，视差线的每个集合作为单独的视频层存储在视差网格覆盖中。