复杂系统的整合可视化与分析的制作方法
【技术领域】
[0001]本发明一般涉及复杂系统的分析，并且具体地涉及通过复杂系统的物理实例的数据与数字三维(3D)模型和描述复杂系统的元件的文档组件布局的整合(integrated)可视化进行复杂系统的分析。
【背景技术】
[0002]诸如大型运输机之类的众多复杂系统包括多个系统，其中每个系统都包含成千上万的部件。以飞行器为例，这些不同的系统由利益相关方(例如航空公司、原始设备制造商(0ΕΜ)、零件供应商和其他相关单位)出于各种原因频繁地进行分析。例如，这些利益相关方可能为了解决可能出现在具体飞行器上的具体部件上的问题而分析系统。又如，利益相关方也可能为了发现类似飞行器的机队中的具体部件出现问题的趋势而对系统进行分析。再如，利益相关方可能通过对系统进行分析来找出难题或问题，这些问题可能涉及到多个机队中多个飞行器上多个系统的多个部件。
[0003]当前存在各种系统和方法用于分析具体飞行器系统的具体类型的问题或趋势。但是这些现行系统和方法不允许用户对来自多个飞行器系统相关的多个信息系统的信息进行整合，也不允许以易于解读的方式同时显示这些信息。因此，期望具有一种装置和方法能够至少考虑上面讨论的一些问题及其可能的其他问题。
【发明内容】
[0004]本发明的示例性实施方式一般针对一种实施用于包括多个元件的复杂系统(例如，飞行器)的整合可视化和分析的系统的装置、对应的方法和计算机可读存储介质。示例性实施方式可以整合复杂系统的物理实例的数据、复杂系统的3D模型的视觉表示以及包括描述至少一些元件的一个或更多个二维(2D)图像的布局。在一些但不是全部示例中，布局可以包括全景展示布置的文档组件，其中的至少一些包含描述至少一些元件的2D图像。并且通过这种整合，示例性实施方式可以生成复杂系统的视觉定义(definit1n，定义/描述)，以用于可视化和分析。以飞行器为背景(和其他类似的复杂系统)，数据可以反映飞行器的出厂配置。3D模型和包括2D图像的文档组件的布局可以反映飞行器的工程设计数据。然后示例性实施方式生成的视觉定义有时可以提供飞行器的完整制造与工程描述。
[0005]根据示例性实施方式生成的视觉定义可以在若干不同情况下有益处，例如其中复杂系统通过使用混合技术或使用3D设计工具和传统2D设计工具的组合来设计的实例中。这可以是如包括多个系统的大型运输机的情况，其中该多个系统的每个可以包含成千上万个部件。在一些示例中，诸如这些大型运输机的复杂系统的设计可以使得其系统或部件的一些由3D模型而非2D图像描述，或由至少一些2D图像而非3D模型描述。示例性实施方式可以允许终端用户在复杂系统的3D和2D环境中可视化复杂系统的元件和元件之间的关系，以使它们可以易于理解并被快速分析。
[0006]根据示例性实施方式的一个方面，该装置包括处理器和存储可执行指令的存储器，这些指令响应于由处理器执行以使装置至少执行若干功能或操作。根据该方面，该装置可以被使得接收复杂系统的物理实例的数据，并且该数据可以包括多个元件的列表，该列表反映多个元件的至少一些元件之间的关系。
[0007]该装置可以被使得生成复杂系统的数字三维(3D)模型的视觉表示，其中视觉表示描述多个元件中的元件。该装置可以类似地被使得生成文档组件的布局，其描述多个元件中的元件，其中所述布局包括描述至少一些元件的一个或更多个二维(2D)图像。在一些示例中，该布局可以包括全景展示布置的文档组件，其中的至少一些包含描述至少一些元件的2D图像。该装置可以被使得整合数据、3D模型的视觉表示以及文档组件的布局，以生成复杂系统的视觉定义；并且在视觉定义中，至少视觉表示和布局通过与数据的交互可导航。
[0008]在一些示例中，3D模型的视觉表示可以描述不在布局的文档组件中的一个或更多个元件。并且在一些示例中，布局的文档组件可以描述不在3D模型的视觉表示中的一个或更多个元件。
[0009]在一些示例中，存储器存储另外的可执行指令，其响应于由处理器执行以使装置进一步导航3D模型的视觉表示或文档组件的布局。这种导航可以包括装置被使得至少接收从多个元件的列表的元件的选择，并在视觉定义中，操纵3D模型的视觉表示或文档组件的布局，以引起对其中的元件的注意。此处的操纵可以包括，装置被使得聚焦在包括该元件的视觉表示的一部分上或将视觉效果应用到该元件，和/或聚焦到描述该元件的布局的一个或更多个文档组件或将视觉效果应用到描述该元件的布局的一个或更多个文档组件。
[0010]在一些示例中，存储器存储另外的可执行指令，其响应于由处理器执行以使装置进一步接收多个元件中的元件的附加数据。在这些示例中，装置被使得整合数据、3D模型的视觉表示以及文档组件的布局可以进一步包括附加数据。视觉定义中的附加数据然后可以通过与数据、视觉表示或布局的交互可导航。
[0011 ] 在一些进一步示例中，存储器存储另外的可执行指令，其响应于由处理器执行以使装置进一步导航附加数据。这种导航可以包括装置被使得至少接收多个元件的元件的选择。该元件可以选自多个元件的列表、3D模型的视觉表示和文档组件的布局的每个。并且该装置可以被使得在视觉定义中操纵附加数据，以引起对元件的附加数据的注意。
[0012]在一些示例中，存储器存储另外的可执行指令，其响应于由处理器执行以使装置进一步至少接收和处理复杂系统的物理实例的附加数据。附加数据可以经接收和处理以从多个元件中识别主题元件(topical element，主题/话题元件)，其中3D模型的视觉表示描述的元件包括主题元件和多个元件中的一个或更多个其他元件。在这些示例中，装置还可以被使得将视觉效果应用到视觉表示描述的主题元件，以便将视觉表示描述的主题元件与一个或更多个其他元件区分开。
[0013]在一些示例中，存储器存储另外的可执行指令，其响应于由处理器执行以使装置进一步至少接收复杂系统的视觉定义中的3D模型的视觉表示上的具体点的用户选择，并将具体点转换到复杂系统坐标系内的具体位置。在这些示例中，装置被使得生成文档组件的布局可以包括被使得至少识别第一文档组件，第一文档组件描述具体位置处或具体位置附近的体积内或具体位置至少部分限定的体积内的复杂系统的元件。第一文档组件可以具有关联的元数据并且根据关联的元数据被识别，元数据提供在复杂系统坐标系内反映元件的3D几何结构的结构信息。并且装置可以被使得生成包括第一文档组件并包括一个或更多个第二文档组件的文档组件的布局，根据关联的元数据识别一个或更多个第二文档组件，元数据提供进一步识别第一文档组件与一个或更多个第二文档组件之间的联系(link，联系/链接)的结构信息。
[0014]在示例性实施方式的其他方面，提供用于复杂系统的整合可视化和分析的方法和计算机可读存储介质。本文讨论的上述特征、功能和优点可以在各种示例性实施方式中独立实现，或可以在其他示例性实施方式进行组合，进一步细节可以参考下列描述和附图。
【附图说明】
[0015]已经总体上描述了本发明的示例性实施方式，现在参考附图进行描述，这些附图未必是按照比例绘制，并且其中:
[0016]图1是根据一个示例性实施方式的整合可视化和分析系统的示意图；
[0017]图2是根据一个示例性实施方式的全景展示可视化文档收集系统的示意图；
[0018]图3是根据一个示例性实施方式的全景展示可视化三维(3D)模型收集系统的示意图；
[0019]图4是根据一个示例性实施方式的全景展示可视化文档布局系统的示意图；
[0020]图5是根据一个示例性实施方式的全景展示可视化文档导航系统的示意图；
[0021]图6是根据一个示例性实施方式的视觉定义系统的示意图；
[0022]图7是根据一个示例性实施方式的主题元件分析系统的示意图；
[0023]图8是根据一个示例性实施方式的全景展示可视化基于空间的搜索系统的示意图；
[0024]图9和图10示意性示出根据示例性实施方式的合适布局模型的示例；和
[0025]图11-17描述根据本发明的示例性实施方式的页面的示例布局，其可以被显示在具有预先确定的可查看区域的图形用户界面(GUI)中并且可以由用户导航。
【具体实施方式】
[0026]下文将参照附图更充分描述本方面的一些实施方式，其中附图中显示了本发明的一些但不是全部的实施方式。实际上，本发明的各种实施方式可以以不同形式体现，并且不应当认为被限制到本文提出的实施方式；相反，提供这些示例性实施方式以使本发明能够全面和完整，并向本领域技术人员充分表达本发明的范围。例如，除非另有说明，称某物为第一，第二等，不应被解释为暗含特定顺序。此外，某物可被描述为(除非另有说明)在其他物体上方，但是也可以在下方，反之亦然；并且与此类似，被描述为在其他物体左侧的某物可替代地在右侧，反之亦然。在全文中相似的附图标记表示相似的元件。
[0027]本发明的示例性实施方式通常涉及复杂系统的可视化和分析。更具体地，各种示例性实施方式涉及通过复杂系统的视觉定义的可视化对复杂系统进行分析，复杂系统的视觉定义由物理实例数据、3D模型和包括具有描述复杂系统的元件的2D图像的那些页面的页面布局的整合而生成。下文将主要结合航空航天应用来介绍示例性实施方式。然而，应当理解，示例性实施方式可以结合多种其他应用使用，既有航空航天业也有航空航天业之外的应用。此外，应理解，除非另有规定，术语〃数据〃、〃内容〃、〃信息〃以及类似术语有时可以互换使用。
[0028]现在参考图1，示出根据本发明的示例性实施方式的整合可视化和分析系统100。该系统可以包括任意若干不同子系统(每个子系统都是独立系统)以用于针对一个或更多个电子文档执行一个或更多个功能或操作，其中一些电子文档可以是复杂系统的数字三维(3D)模型的二维(2D)衍生品。如图所示，例如，该系统可以包括文档收集系统102、3D模型收集系统104、文档布局系统106、文档导航系统108、视觉定义系统110、主题元件分析系统112和/或基于空间搜索系统114。
[0029]尽管被示出为整合可视化和分析系统100的部分，文档收集系统102、3D模型收集系统104、文档布局系统106、导航系统108、视觉定义系统110、主题元件分析系统112和/或基于空间搜索系统114中的一个或更多个可以替代地与整合可视化和分析系统分离但是与其通信。在一些示例中，一个或更多个子系统可以形成全景展示的可视化系统，如上述相关申请(一个或更多个)部分的交叉引用中引用并包含的任意一项或更多项专利申请描述的系统。还应当理解，一个或更多个子系统可以作为独立系统运行或操作，而与其他子系统无关。还应该理解，整合可视化和分析系统可以包括除图1中示出的那些之外的一个或更多个附加或替代子系统。
[0030]如本文所描述的，电子文档(或仅文档)可以是能够以电子形式和/或打印(或可打印)形式被可视化的电子媒介内容。文档的媒介内容可以包括文本内容、图形内容或其他视觉内容中的一个或更多个，例如静态图像、视频等。文档可以为若干不同类型的文档，其中文档的类型可以由文档的一个或更多个特征定义，比如文档的格式、媒介内容等。合适类型的文档的例子包括计算机辅助设计文档(例如CAD、CATDrawing、CATPart、CATProduct、CATProcess、cgr、DWG、DXF、DWF 等)、基于文本的文档(例如 ANS、ASC、DOC、DOCX、HTML、PDF、RTF、TXT、WPD等)、演示文档(例如PDP、PPT等)、图形文档(例如BMP,GIF、JPEG、JP2、PNG、PSD、PSP、RAW、TIFF 等)、视频文档(例如 AV1、MPEG、QuickTime、WMV等)等。其他合适类型的文档的例子包括医疗文档、(例如，医疗报告、医疗成像文档等)、金融文档、法律文档(例如法院裁决、诉书、专利等)、艺术或建筑文档(例如绘画、蓝图等)、书籍、手册、杂志或贸易出版物、文章、网页、屏幕截图、服务公告、工程图、质保文件、技术图纸、接线图、传感器文档等中的单个或合集。并且进一步合适类型的文档的例子包括数据集，例如工程设计数据、接线数据、故障排除数据、商业数据等。
[0031]文档可以包括一个或多于一个构成文档组件，其可以是文档媒介内容的分组，例如两个基本断点之间。文档组件可以取决于文档类型并可以包括，例如，电子页面、幻灯片、图表、图纸、静态图像、视频等。文档组件有时通常可以被称为“页面”，尽管文档组件不需要一定是电子页面，因为它可以包括其他类型的组件。在文档只包括一个组件的情况下，文档与其组件可以是一个并且相同。
[0032]如本文所述的，可以引用包括构成页面的文档。然而，应当理解，示例性实施方式可以同样适用于包括构成文档的文档组(文档集合)，其可以或可以不进一步包括构成页面。因此，针对文档执行的功能可以同样地针对文档组执行，并且针对页面执行的功能可以同样地针对构成文档执行。
[0033]每个页面可以由数据形成，根据该数据，可以以电子形式和/或打印(或可打印)形式生成视觉表示，比如其图像(或其媒介内容)。页面的视觉表示有时通常可以被称为仅页面或“图像”，尽管页面不一定包括静态图像，因为页面可以包括其他类型的媒介内容。
[0034]页面可以包括具有一个或多于一个的主题并包括一个或多于一个对象的媒介内容，其中对象反映或以其他方法形成主题(一个或更多个)。因此，有时可以认为页面描述它的主题(一个或更多个)和/或它的主题(一个或更多个)的对象(一个或更多个)。例如，页面可以将飞行器作为它的主题并包括飞行器的外部或内部视图的外部或内部视图或部分作为对象(一个或更多个)，或者页面可以将外部或内部视图作为它的主题并包括外部视图的部分作为对象。另一个示例，页面可以将飞行器仪表盘作为它的主题并包含仪表盘的测量仪器作为主题。
[0035]在各种示例中，一个或更多个文档可以用于复杂系统(例如飞行器)或包括物理结构、生物结构、化学结构等的任意若干其他结构。正如上文所提，这些“系统相关”文档和它们的系统相关页面可以包含，例如，工程图表、技术图纸、接线图等。这些文档还可以包括维护文档和/或操作文档(或通常称为“维护文档”)。复杂系统通常可以包括一个或更多个组件、子系统等(通常每个被称为“子系统”)，其中每个子系统包括一个或更多个部件，并且每个部件包括一个或更多个特征。就这一点而言，复杂系统的部件可以被组装成若干子系统，进而若干子系统可以被组装成复杂系统。在飞行器的背景下，一个或更多个部件或子系统可以被设计成飞行器的模块化组件(其通常被称为“线可替换单元(LRU)”)，其中单个飞行器可以包括若干个LRU和其他部件或子系统。任何复杂系统本身或任何其子系统、(子系统的)部件、(部件的)特征等有时可以通常被称为复杂系统的“元件”。
[0036]通常，系统相关文档可以包括任意若干文档，其视觉描述(例如，图形或文本方式)复杂系统的一个或一个以上元件。在一些实例中，这种描述可以包括对这种元件(一个或多个)执行的一个或更多个维护或操作任务，或者使用这种元件(一个或多个)用于例如复杂系统的元件(一个或多个)的操作、安装、维护、修理、拆卸、替换或测试(通常被称为“维护任务”)。
[0037]合适的飞行器维护文档的示例包括飞行器图解部件目录(AIPC)、飞行器飞行手册(AFM)、飞行器维护手册(AMM)、飞行器恢复手册(ARM)、适航指令(AD)、组件维护手册(CMM)、组件维护手册部件列表(CMMIPL)、配置更改支持数据(CCSD)、配置偏差清单(CDL)、可消耗产品手册(CPM)、发动机(车间)手册(EM)、工程制图(ED)、设备清单(EL)、缺损偏差指南(DDG)、发动机清洁检修手册(CIR)、发动机图解部件目录(EIPC)、发动机部件配置管理部分(EPCM)、故障修理手册(FRM)、故障报告和故障隔离手册(FRM或F頂)、机组人员操作手册(FC0M)、一般维护手册(GMM)、图解工具和设备手册(ITEM)、使用活动报告(ISAR)、维护计划文档(MPD)、维护检查委员会报告(MRB)、维护天气学、维护要点(MT)、维护训练手册(MTM)、基本最低限度应有设备表(MMEL)、非破坏性试验手册(NDT)、发电厂建立手册(PPBM)、发电厂建立手册图解部件清单(PPBMIPL)、生产管理数据库(PMDB)、修理记录、服务通告(SB)、服务通告指数(SBI)、服务信件(SL)、结构修理手册(SRM)、系统描述部分(SDS)、系统原理图手册(SSM)、工具和设备手册(TEM)、重量与平衡手册(WBM)、接线图手册(WDM)等。
[0038]系统相关文档可以包括一个或更多个页面，其包括媒介内容，媒介内容还可以包括文本内容、图形内容(例如，图纸)或其他视觉内容。在一个示例中，媒介内容可以包括描述复杂系统的一个或更多个元件的图和/或文本列表。在各种示例性中，媒介内容还可以包括元件(一个或多个)有关的其他信息。
[0039]例如，页面可以包括包含多个子系统(对象)的复杂系统(主题)、包括多个部件(对象)的子系统(主题)或包括一个或一个以上特征(对象)的部件(主题)的图纸和/或文本列表(媒介内容)。附加或替代地，例如，页面可以包括包含多个子任务(对象)的维护任务(主题)、包括多个维护动作(对象)的子任务(主题)或维护动作(主题或对象)的图纸和/或文本指令(媒介内容)。
[0040]图纸可以在各种视图中以各种细节水平图形化描述元件。图纸可以包括细节图纸、组装图纸和/或安装图纸。例如，细节图纸可以描述部件，而组装图纸可以描述复杂系统或一个或更多个它的子系统。组装图纸可以反映复杂系统、其子系统或其子系统的部件之间的任何若干不同关系。例如，组装图纸可以反映复杂系统的子系统之间的关系，或子系统的部件之间的关系。在一个示例中，一个或更多个组装图纸附有其描述的一个或更多个部件的一个或更多个详细的图纸。示例性图纸可以描述元件在复杂系统中所处的最终位置。
[0041]图纸可以以任意若干不同方式来描述元件，例如插图、图表和/或正投影图。插图可以将元件描述为如同在眼前看到的一样(类似于照片)。图表可以描述复杂系统或它的一个或更多个子系统，并且可以指示它们的子系统或部件以及表示制造、操作方法或原理(例如，原理图)等。图表可以是任意若干不同类型，例如工程图或其他技术图、接线图、示意图、安装图等。
[0042]正投影图可以在若干视图中描述元件，也就是从一个或更多个角度和/或细节水平来描述元件。例如，可以在投影图、前视图、顶视图、底视图、后视图、右视图和/或左视图来描述元件。而且，例如，元件的视图可以是全视图、细节视图或剖视图。全视图可以被认为是元件的主视图并且可以在任意角度描述元件。细节视图可以仅描述元件的一部分，但是比主视图更详细、比例更大，而剖视图可以描述元件的一部分，其中元件的剩余部分在切面处被切除。在一个示例中，细节视图中描述的元件的那部分可以在相关的全视图上圈出；并且与此类似，在一个示例中，剖视图中描述的元件的那部分可以在相关的全视图上用切面线指示。
[0043]除了图纸(一张或多张)之外或代替图纸(一张或多张)，系统相关文档的一个或更多个页面的每个可以以文本形式描述复杂系统的元件。在一个示例中，一个或更多个页面可以包含一个或更多个文本指令(媒介内容)，其用于执行在复杂系统的元件上执行的维护任务或使用复杂系统的元件进行的维护任务。在另一个示例中，一个或更多个页面可以包括复杂系统和/或其元件中的一个或更多个的信息的文本列表(媒介内容)。列表可以包括关于复杂系统或元件的任意若干不同类型的信息，包括，例如，复杂系统或元件的名称、编号(例如，系统编号、部件编号)或其他标识符、元件的所需数量、复杂系统或元件的来源(例如，制造商、经销商等)、元件位置、相关复杂系统或元件标识符等。该列表还可以包括在系统相关文档的图纸(一个或更多个)中识别元件的一个或更多个参考和/或识别(部分或完整)描述元件的图纸(一个或更多个)的一个或更多个参考。
[0044]通常，根据示例性实施方式，文档和/或其页面在彼此之间可以具有一种或更多种逻辑关系。在系统相关文档的背景下，例如，共享共同的系统相关文档的页面可以是逻辑相关的，或在共同的系统相关文档中按照命令顺序彼此相邻的页面可以是逻辑相关的。在其他示例中，根据其中描述的复杂系统的元件之间的一种或更多种关系，页面可以被逻辑相关。这些关系可以包括，例如空间关系、设计关系(例如，工作分解结构(WBS)、系统功能、设计族)、功能关系等。
[0045]例如，根据描述同一元件的空间、设计或功能关系，(部分或完整)描述同一元件的页面可以逻辑相关。根据相应元件之间的空间、设计或功能关系，描述复杂系统的页面与描述复杂系统的子系统、部件