背景技术：
航线交通网络计划可以通常发生在由此类计划所产生的航线时间表的预期使用之前的许多月。在另一方面，通常在接近该时间表的实际执行时（即，接近或就在包括该时间表的航班的那天）来进行航线时间表的鲁棒性的评价。有时，航线甚至不知道他们的时间表的鲁棒性怎么样，他们也不知道如何量化和评价他们的时间表的鲁棒性。可能在该时间表已经实施后（即，在已经执行了该时间表的飞行后）他们才知道时间表的鲁棒性。考虑到投入到航班时间表计划和优化的时间、精力和资源以及对于航线而言航班时间表的重要性，需要用于确定航线时间表的鲁棒性的高效和准确的手段。因此，所期望的是设计提供用于航线的运营的鲁棒性的自动评价的装置和方法。
技术实现要素：
根据一些实施例，提供了一种用于评价和验证航线航班时间表或计划的鲁棒性的方法和系统。该系统包含基于模型的仿真和分析模块以评价和验证航班时间表（包含实际的试验时间表和提出的试验时间表）的鲁棒性。在一些方面中，试验时间表可以被自动地生成以覆盖航线运营可能性的期望的范围。本公开的一些实施例的技术效果是用于使用定量度量来评价和验证航线航班时间表的鲁棒性的高效的技术和系统。通过在下文中更加明显的这个和其它优点和特征，能够通过参照以下详细描述并参照附图来获得本发明的本质的更完全的理解。其它实施例与系统和/或存储用于执行本申请中描述的方法中的任何方法的指令的计算机可读介质相关联。附图说明图1是根据一些实施例的系统的说明性描绘图；图2是根据一些实施例的流程图的描绘图；图3是根据一些实施例的系统的说明性描绘图；图4是根据一些实施例的系统的说明性描绘图；以及图5是根据一些实施例的验证系统或平台的框图。具体实施方式提供以下描述以使得本领域的技术人员能够制作和使用所描述的实施例，然而，对于本领域的技术人员而言，各种修改将仍然是易于明显的。图1是根据一些实施例的对于航线航班运营的基于仿真的验证系统100的框图。系统100包含鲁棒性评价模块105。鲁棒性评价模块105可以提供一种机制以基于航班时间表输入和应用于那些航班时间表的航班扰动来评价航班时间表的鲁棒性以生成时间表的鲁棒性的定量测量。在一些实施例中，鲁棒性评价模块105作为输入接收第一或计划的航班时间表110和第二或实际或试验航班时间表115。计划的航班时间表和实际或试验航班时间表可以从另一个设备或系统被传送给鲁棒性评价模块105。在一些方面中，可以由鲁棒性评价模块105从数据库125来接收计划的航班时间表110和实际的航班时间表115。数据库125可以由航线、政府机构（例如，航空管制机构）或第三方服务提供者来管理、拥有或控制。在一些情况中，可以由通信设备或接口120来促进从数据库125至鲁棒性评价模块105的计划的航班时间表110和实际的航班时间表115的传递。在一些方面中，通信设备120可以是包括鲁棒性评价模块105的系统、子系统或设备的一部分，而在一些其它实施例中，它可以不依赖于鲁棒性评价模块105。在一些方面中，到鲁棒性评价模块105的第一或计划的航班时间表110和第二或实际或试验航班时间表输入每个可以包含与包括计划的航班时间表和实际的航班时间表的至少一个航班中的每个航班相关联的细节。在一些方面中，与至少一个航班相关联的细节包含以下至少之一：航班号、航班出发时间、航班到达时间、航班起飞机场、航班到达机场、对于至少一个航班的飞行器类型、对于至少一个航班的航班组员细节、与航班有关的其它特定信息，该其它特定信息包含但不限于：期望的城市对、期望的航班时间、全程时间、飞行器资产（assets）、机场、机场门分配、地勤人员以及航班组员以及它们的组合。可以对于每个航班，将这些类型的细节或细节的子集包含在计划的和实际的航班时间表中。作为示例，对于特定航线的计划的航班时间表和实际的或试验航班时间表可以包含每天大约3000个航班。因此，计划的和实际的航班时间表可能是复杂的并且非常适合由数据库系统125来开发、存储和管理。数据库系统125可以包括关系数据库、多维数据库、可扩展标记语言（XML）文档、或存储结构化和/或非结构化数据的任何其它数据存储系统。数据库系统125可以在没有限制或失去一般性的前提下包括：其数据在若干关系数据库中分布的分布式数据库系统、多维数据库、和/或其它数据源、面向对象的数据库、混合数据库以及包含能够在“云”中提供以及作为服务被提供的存储器内数据库系统的其它类型的数据库管理系统。鲁棒性评价模块105可以主要运行或执行一种过程以评价在一些实施例中从通信设备/接口120接收的第一或计划的航班时间表110的鲁棒性。鲁棒性评价模块105可以操作以基于一个或多个预定义的关键特性指标（KPI）来评价计划的（即，第一）航班时间表110的鲁棒性。鲁棒性评价模块105的输出130可以包含与一个或多个KPI相关联的值的定量表示，该一个或多个KPI与航班时间表相关联、被分配给航班时间表、对于航班时间表而定义、或对于航班时间表而指定。鲁棒性评价模块105可以执行计划的航班时间表110（以及其它航班时间表，诸如例如，一个或多个试验航班时间表）的鲁棒性的评价。在一些方面中，鲁棒性评价模块使用基于仿真的航线运营的模型（即“虚拟航线”）来执行鲁棒性分析以评价输入到其中的航班时间表的鲁棒性。在一些方面中，在本申请中，鲁棒性评价模块105也可以被称为“仿真”模块。在本申请的一些方面中，鲁棒性评价模块105（还被称为鲁棒性分析模块）进行航线航班时间表的根本原因分析，以便确定航线或航班运营扰动。如本申请中使用，航线或航班运营扰动可以是影响时间表的实际运行以导致与计划的航班时间表的偏差的任何事件、出现的事、或场景。航线运营扰动可以通常地发生在航班的运营的那天或在航班的运营之前的某天（即，接近、靠近或就在那天）。航线扰动的一些示例包含但不限于：天气有关的延迟或取消、乘客连接延迟、航班组员有关的延迟或取消、机场有关的延迟或取消、飞行器有关的延迟或取消、以及其它因素。另外，航线运营扰动可以包括根本原因（多个）（例如在航线枢纽机场处的暴风雪）以及由于来自上游航班的根本原因的传播所导致的传播延迟原因（多个）（例如，由于由在航线的中西部枢纽机场处的暴风雪所导致的上游航班的延迟，而在东海岸机场处所延迟的连接的下游航班），所述根本原因（多个）直接影响在航班的特定段或航段处第一种情况中的航班运营。在本申请中的一些实施例中，根本原因扰动可以通过根本原因分析过程来提取以及用于评价航班时间表（例如，实际的航班时间表或试验航班时间表）。根本原因扰动被提取并且对它做出解释，这是因为根本原因扰动可以表示在航班时间表中导致实际航班时间表不同于它的计划的航班时间表的偏差的“真实”原因。在一些方面中，所提取的根本原因分布可以被存储或表示在记录、文件、或其它存留形式（persistence）135中。根据本申请中的一些方面，鲁棒性分析模块105可以操作用于确定和使用航线运营扰动的根本原因扰动。在一些实施例中，鲁棒性评价模块105可以操作用于至少考虑和处理可由其生成和/或提供到其以用于处理的航线运营扰动的根本原因扰动。根据本申请中的一些实施例，通过将所识别的根本原因扰动注入到仿真中，使用基于仿真的模型方法或过程来进行由模块105执行的鲁棒性评价。如本申请中使用的，航班时间表的鲁棒性指时间表对于航线运营扰动而言有多么脆弱（或不脆弱）。时间表越鲁棒，时间表越具有更多的能力以吸收航线运营扰动而不偏离计划的航线时间表（例如，计划的航班时间表110）。在一些方面中，鲁棒的时间表可以包含一个或多个恢复机会，以便航班时间表可以吸收航线运营扰动或从航线运营扰动恢复而不偏离计划的航班时间表（例如，航班时间表110）。如在此提及的，运营中断恢复机会一般可以以三个关键属性为特征。即，飞行器轮流（turn）的持续时间、飞行器轮流的当日时间、以及飞行器轮流的位置的属性。这三个属性可以通过对于飞行器轮流和航班连通性的代价/回报函数被构建在优化模块中。此外，恢复机会可以以系统中的剩余的飞行器的数量为特征。在一些方面中，本公开的一个实施例可以跟随在以上提及的代价/回报目标跨越网络来分布剩余的飞行器，以便创建恢复机会。恢复机会和时间表鲁棒性可以以在飞行器轮流和/或组员轮流中的额外缓冲时间（它们可以被构建在模型约束中）为特征。关于用于评价鲁棒性的基于仿真的方法，注意的是，本申请中的实施例可以使用航线航班运营仿真，其建模包括航线的航班的非常详细的运营。例如，航班的细节可以包含航班的所有方面，包含但不限于，登机口、滑出、起飞、巡航、着陆、滑入、下机口、机场交通管制、宵禁、驾驶舱人员、乘务人员、地勤人员、在不同服务级别中的乘客以及航班的其它方面。因此，仿真可以被称为虚拟航线的建模。在一些方面中，从鲁棒性评价来生成一组鲁棒性关键特性指标（KPI）。鲁棒性评价模块105的输出可以包含一组定量测量或度量130。定量度量130可以提供由鲁棒性评价模块105评价的特定输入时间表的鲁棒性的值的指示或表示。输入时间表的鲁棒性的值的指示或表示可以依照一个或多个KPI130来表示。KPI可以表示航线（或其它实体）视为航班时间表的特性的重要的、有洞察力的或关键的指标的多个因素、参数、以及考量。在一些方面中，鲁棒性的表示的定量值可以包含缩放的、相对排名、标准化的值以及其它值的格式。KPI可以表征与准时出发、准时到达、航班延迟、航班取消、乘客满意度、货物、收入以及成本有关的航线特性。包含延迟输入文件和KPI值中的至少一个的记录和/或报告可以被生成、存储、以及传送给其它设备（例如，显示器）、系统（例如，数据库管理系统或其它数据存留形式）以及服务（例如由航线组织内的航线管理者使用的基于云的数据可视化服务）。在一些方面中，所执行的系统100和过程（多个）从而可以用于评价关于一个或多个鲁棒性目标和目的的计划的和试验时间表的鲁棒性。图2是根据本申请中的一些实施例的可以由系统执行的过程200的说明性流程图。在一些方面中，系统100可以用于实现如在图2中示出的过程200的操作的至少一些操作。部分地，有关于过程200的一些细节在上文中已经被呈现在系统100的介绍和论述中。因此，尽管现在在下文将公开图2的完整的论述，但是本质上可能是重复的某些细节可能不再重复，因为它们在本申请中已经公开了。参照图2，公开了与提供用于评价对于航线航班运营的航班时间表的鲁棒性的平台或框架有关的过程。过程200可以由系统、应用或被配置为运行该过程的操作的装置来实现。一般地，流200涉及一种过程，以高效地（1）评价航班时间表的鲁棒性以及（2）生成表征那些航班时间表的鲁棒性的一组KPI，其中评价是定量评价。在一些实施例中，包含系统100的装置、设备或系统的各种硬件元件运行程序指令以执行过程200。作为示例，本公开提供了一种机制以量化航班运营鲁棒性。它还可以使得航线网络计划者将所提出的航班时间表的预期运营特性与基线航班时间表特性进行比较。当进行鲁棒性评价时，本公开考虑了根本原因分析、根本原因注入、以及扰动恢复。在一些实施例中，它捕获就在或接近它们的运营日的航线的活动，以及提供对于时间表鲁棒性的高保真的定量度量和恢复益处。本公开还可以用于在假设的扰动场景下的鲁棒性试验。在一些实施例中，可以使用硬接线电路以替代用于实现根据一些实施例的过程的程序指令，或可以与用于实现根据一些实施例的过程的程序指令结合使用硬接线电路。能够由系统、设备或装置运行以实现过程200（以及本申请中公开的其它过程和子过程）的程序指令可以被存储在非短暂性的、有形的介质上或以其他方式被包含为非短暂性的、有形的介质。因此，实施例不局限于硬件和软件的任何特定组合。在操作205之前，在诸如例如分布式数据库系统的服务器侧的计算设备（例如，应用服务器）的设备或系统上运行的应用或服务（未示出），可以被开发并且被部署以开发、管理和存留航线时间表或计划，包含计划的航班时间表、实际的航班时间表（即，包括航班时间表的实际运行的航班的历史细节），以及试验（例如，假设的）航班时间表。过程200可以从设备或系统接收航班时间表。因此，航线航班时间表的开发或计划阶段可以被提供给过程200。在操作205，接收计划的航线航班时间表。可以从与实现过程200的设备或系统可整合或分离的通信接口或设备来接收计划的时间表。在一些方面中，计划的时间表可以是从在航班时间表或计划的运行或实现前的许多月（例如，6-9个月）进行的计划过程所产生的先前计划的航班时间表。计划的航班计划将包含在该计划中的每个航班的特定细节。在操作210，接收实际航线航班时间表。实际航班时间表可以对应于在操作205处接收的计划的航班时间表。在此，可以从与实现过程200的设备或系统可整合或分离的通信接口或设备来接收实际的航班计划。在一些情况下，实际的航班计划可以得自与计划的航班时间表不同的位置、系统或实体。在一些方面中，实际的航班时间表将包含从在相关的特定时间段期间计划的航班计划或其至少部分的运行所产生的航班运营细节的历史上准确的表示。实际的航班计划或时间表将包含在实际时间表中的每个航班的特定细节，包含例如在计划的航班时间表的实际历史上运行期间航班的历史出发和到达时间、取消的航班、以及增加到时间表的航班或从时间表移除的航班。在操作215，执行对于实际的航班时间表的根本原因扰动的确定。可以基于计划的航班时间表和实际的航班时间表两者的分析来完成操作215的确定。在一些方面中，在操作215处确定或计算的根本原因扰动可以反映与计划的航班时间表相比在实际的航班时间表中存在的偏差的实际原因。在一些方面中，可以由根本原因分析模块、设备、或系统（在本申请中一般地被称为根本原因分析（RCA）模块）来运行根本原因扰动的确定。在一些实施例中，RCA模块可以是在图1中示出的鲁棒性评价系统105的一部分。在一些实施例中，RCA模块可以是与在图1中示出的鲁棒性评价系统105不同的分立的设备或系统。RCA可以操作以确定反映在特定航班航段上引入的根本原因扰动的航班扰动以及反映由比当前考虑的特定航班航段更早的航班航段所引入的扰动的传播的航班扰动。注意的是，航班扰动发生或将会发生在接近航班运营时和/或在航班运营期间。根本原因分析能够使用基于仿真的方法、基于因果分析的方法、基于启发式的方法、基于分析的方法、或上述方法的组合。继续过程200，操作220包含计划的航班时间表的鲁棒性的评价。可以通过基于仿真的模型方法或过程的运行来完成操作220的评价。基于仿真的模型过程的运行可以用于评价计划的时间表的鲁棒性，其中评价考虑导致实际航班计划的对于航班计划的根本原因扰动。在一些方面中，可以由图1中示出的鲁棒性评价系统105来执行用于评价计划的时间表的鲁棒性的基于仿真的模型过程的运行（在本申请中还被称为“仿真运行”）。在一些方面中，仿真运行可以是单线程的、多线程的、基于离散事件的、或基于代理的。操作220的评价还可以包含生成对于计划的航班时间表的一组定量度量。操作225包含在操作215处确定的根本原因扰动的记录（例如，135）的生成以及来自操作220的评价的计划的航班时间表的特性（例如，KPI）的所确定的或计算的一组定量测量或度量的记录（例如，130）的生成。在一些实施例中，KPI可以包含以下的一个或多个指标：航班准时特性、航班取消率、航班恢复动作、乘客延迟、乘客误接、组员延迟、组员误接、所用的备用或保留组员的数量以及其它测量。在一些方面中，所生成的记录可以包括：可以在用户可读格式（例如，报告、图、仪表板或其它可视化、可听的报告等）中被存储、传送、进一步处理、以及输出的数据结构、消息以及文件。在一些方面中，定量度量可以包含：被认为航线的特性的相关和重要指标的一个或多个KPI或因素。可以基于对于特定航线和/或对于航线的操作场景确定的规范来确定KPI。在一些实施例中，KPI可以包含：例如航班准时特性、航班取消率、航班恢复动作、乘客延迟、乘客误接、组员延迟、组员误接、所用的备用或保留组员的数量以及其它测量的多目标度量。过程200还包含操作230。操作230操作以提供试验航班时间表的鲁棒性的评价，其中其鲁棒性的评价基于基于仿真的模型的运行以及应用于基于仿真的模型的所确定的根本原因扰动以生成对于试验航班时间表的一组定量度量。在一些实施例中，所确定的或提取的根本原因扰动可以在包括正在被评价的航班时间表的航班的航班航段级别或在航班的各种其它阶段，被应用于或注入到基于仿真的模型。在另一个实施例中，根本原因扰动可以在特定持续时间内在机场级别或地理区域被应用或注入。在一些方面中，试验航班时间表可以是基线时间表。在一些情况下，基线时间表可以是具有已知的航班细节的发布的航班时间表，该航班细节在历史上已经被示出提供可接受级别的特性。可以使用基线时间表和在操作215处早先确定的根本原因中断来运行操作230以生成对于试验航班的一组定量度量或KPI。因此，在本申请中，所获得的一组KPI可以被称为基线KPI。在另一个方面中，试验航班时间表可以是将来的航班时间表，以及用户（或其它实体）可能希望评价它的鲁棒性。在又一个方面中，试验航班时间表可以是假设的或实验的航班时间表，以及用户（或其它实体）可能希望使用它以一般地研究航线网络的鲁棒性（例如，用于场景分析或压力试验等）。在操作235处，可以创建、生成或存留包含对于试验航班所生成的一组定量度量或KPI的记录。在一些方面中，与对于其它航班时间表的KPI值相比，在操作235处生成的记录可以包含可以用作评价基准的定量值。从操作235继续，过程200可以操作以通过返回到操作230来提供其它试验航班时间表（多个）的鲁棒性的评价，其中其它的、另外的试验航班时间表（多个）可以被称为实验的、假设的或试验时间表（多个）。可以基于对于另外的、其它试验航班时间表（多个）的基于仿真的模型的运行以及应用到基于仿真的模型的所确定的根本原因扰动，在操作230来评价另外的、其它试验时间表（多个）的鲁棒性以生成对于试验航班时间表（多个）的一组定量度量，其中对于包括另外的、其它试验时间表（多个）的每个新的或不同的时间表来运行基于仿真的模型.在一些情况中，另外的、其它试验航班时间表（多个）可以是包括所提出的航班时间表的“假设分析（what-if）”时间表。以这种方式，对于“假设分析”航班时间表（多个）的基于仿真的模型的运行或执行可以导致获得或计算对应于那些“假设分析”航班时间表（多个）的“实验的”KPI。在一些实施例中，可以将表示试验时间表（多个）的鲁棒性的测量的KPI度量与基线时间表的基线KPI进行比较。以这种方式，可以相对于（已知的）基线时间表来确定试验时间表（多个）的鲁棒性的相对测量。在一些方面中，在本申请中的一些实施例中的运行的基于仿真的模型也可以包含扰动恢复解决方案。照此，KPI的确定也可以提供在各种扰动下的恢复的益处的测量或洞察。在一些实施例中，本申请中的输出多目标KPI度量与基线时间表相比提供了试验时间表（多个）的鲁棒性的定量测量，以及也量化了恢复操作的益处。在一些实施例中，所确定或提取的根本原因扰动可以在包括正在被评价的航班时间表的航班的航班航段级别或在航班的各种其它阶段，应用于或注入到基于仿真的模型。图3是根据一些实施例的计算设备、系统或平台的逻辑框图的说明性描绘图。系统300可以例如与用于实现本申请中公开的过程（例如，过程200）的设备相关联。作为设备、系统或平台的逻辑表示或抽象，系统300的实际实现方式不局限于图3中描绘的特定配置以及可以包含在各种配置中布置的更少的、附加的、可替代的、以及替换的组件。例如，在本申请的范围内不失一般性，用于促进通信和/或处理的一个或多个设备和系统可以设置在图3的两个或更多组件之间。如示出的，系统300包含基于仿真的模型模块305。在一些方面中，模块305包含对于根本原因分析（RCA）确定的功能性和对于鲁棒性评价的功能性。至基于仿真的模型模块305的输入包含计划的航班时间表310。计划的航班时间表310（即，FilghtPublished_ref）可以对应于由航线开发和实现的计划的、发布的航班时间表，以及在本示例中可以用作参考时间表。至基于仿真的模型模块305的另一个输入包含实际的航班数据315，实际的航班数据315对应于在计划的航班时间表310的实行中运营的航班。实际的航班数据315（即，航班实际）包含为了满足该时间表而运营的航班的历史数据，包含根据计划而运营的航班、增加的航班、取消的航班、延迟的航班以及重新定路线的航班。基于仿真的模型模块305可以操作以通过部分地分析在计划的时间表的有关时间段期间影响实际航班的运营的输入310、315以及其它因素，来确定根本原因扰动。此外，基于仿真的模型模块305的RCA方面（多个）可以提取根本原因扰动，以及生成它的记录，该记录被包含在延迟输入文件325中。在一些方面中，基于仿真的模型模块305可以操作以基于多目标KPI来确定或评价计划的航班时间表310的鲁棒性。此外，如由基于仿真的模型模块305所确定或计算的计划时间表的KPI可以被包含在参考KPI记录320中。在一些方面中，被包含在延迟输入文件325中的根本原因扰动解释和表示了对于与计划的航班时间表310偏离的实际航班315的真实原因。参照图3，延迟输入文件325的根本原因扰动可以被发送或传送给基于仿真的模型模块330。在一些实施例中，基于仿真的模型模块330可以与基于仿真的模型模块305相同。在一些实施例中，基于仿真的模型模块330可以是基于仿真的模型模块305的另一个实例。至基于仿真的模型模块330的另一个输入包含试验航班时间表335（例如，包括Flight_Published_0的数据）。这个航班时间表可以包含基线时间表，在将它的KPI与其它试验航班时间表相比时，基线时间表可以用作参考时间表。航班时间表335可以是试验时间表，其中基线航班时间表是特定试验时间表，该特定试验时间表可以用作对于其它试验航班时间表的评价和比较的参考点。基于仿真的模型模块330可以操作以通过部分地分析将影响试验时间表335的航班的运营的输入335和325（以及延迟输入文件325的其它因素，如果有的话），来确定根本原因扰动。在一些方面中，基于仿真的模型模块330可以操作以基于多目标KPI来确定或评价试验航班时间表335的鲁棒性。此外，如由基于仿真的模型模块330所确定或计算的试验时间表的KPI可以被包含在基线KPI记录340中。在一些方面中，被包含在延迟输入文件325中的根本原因扰动可以表示历史扰动以及可以应用于试验航班时间表335。作为表示的延迟输入文件325的试验航班时间表335对历史扰动的响应可以被反映在基线KPI记录340中。在一些方面中，当历史（即，实际的）扰动包括延迟输入航班记录325以及历史扰动被注入基于仿真的模型330中以评价试验时间表335的鲁棒性时，则评价试验时间表（多个）的过程可以说是“向后看”，因为航班扰动得自实际的历史数据。在一些实施例中，如由基于仿真的模型模块350所应用，可以对于其它的、另外的试验航班时间表（例如，FlightPublished_i）来运行基于仿真的模型模块的另外运行（诸如实例350）以响应于并且基于受制于包含在延迟输入文件325中的另外的其它试验时间表，来生成所计算或确定的KPI。在一些实施例中，可以运行自动的过程，该自动的过程生成一个或多个试验航班时间表以覆盖或涵盖运营场景的范围。运营场景可以包含一个或多个假设的情况或环境（即，不是实际的、历史的事件或环境，即使假设的情况或环境可以至少部分地基于一些历史数据）。图4是可以在“向前看”航班时间表鲁棒性评价上下文中使用的系统、设备或平台400的框图。系统400可以包括：基于仿真的模型模块405，其操作以运行（虚拟）航线运营仿真。至基于仿真的模型模块405的输入可以包含从数据库或存留层425检索或获得的试验或提出的航班时间表410。另外，假设的中断415可以被“注入”基于仿真的模型模块405中。将假设的中断应用于基于仿真的模型模块405可以具有使提出的航班时间表410受制于包括假设的中断415的一个或多个根本原因扰动的效果。在一些方面中，基于被注入到仿真中的提出的或试验时间表410和假设的中断415的基于仿真的模型模块405的运行的输出表示对于提出的航班时间表（多个）410的KPI420。在一些情况下，通过基于仿真的模型模块的运行，可以将对于KPI420的值与对于运行提出的航班时间表410的航线或其它实体的基线或其它KPI进行比较。用作对于KPI420的比较的基础的基线或其它KPI可以包含航线自己的航班时间表KPI，从基于仿真的模型模块405的先前运行、第三方的服务提供者以及其它实体获得的KPI。对于图4的仿真运行所确定的KPI420可以被表示在记录中（例如，数据文件、报告等）。在一些实施例中，KPI420的记录可以被存储在存储器或其它数据存储设备、系统或存留设备中。在一些实施例中，KPI420可以被存储在数据库425或另一个存储设施（未示出）中。在诸如图4的向前看评价处理系统的一些实施例中，包含从真实历史数据以及实际的航班时间表得到的根本原因扰动的历史数据并不被需要，因为对于图4所确定的根本原因扰动不依赖于历史（即，实际的）航班数据。在一些实施例中，图4的假设的中断415可以被手工地生成并且提供给系统400。在一些实施例中，诸如自动场景生成器440的自动化过程或系统可以生成多个或一组试验航班时间表以涵盖和覆盖对于一个或多个提出的或试验时间表的期望范围的场景。在一些实施例中，可以通过使用反函数的一些方面来提供用于自动生成一个或多个场景的机制。一般地，对于系统传递函数y=F(x)（反函数为F-1）随着系统的准确性的改善，将期望的是以下两者：其中和被定义为:作为示例，当开发基于特性的协定时，可能关键是使用历史维护数据来开发将来维护数据的准确的预测。此外，关于设备的降级和修理的详细的OEM知识可以被包含在维护模型中，以便可以评价可替代的维护策略的影响。照此，替代开发以下的简单预测模型：可以开发两个反传递函数，其中在一些实施例中，如下描述的，网络计划和鲁棒性评价的示例可以包含上述方面中的一些方面。本公开的一些实施例可以接收将被验证的提出的航班计划的输入，以及一组历史航班时间表，基于其将提取各种试验场景。在一些方面中，历史航班时间表可以包括原始（即，发布的）航班时间表和实际的、历史的航班时间表。如以上论述的，可以从每对的原始时间表和实际的时间表来提取根本原因扰动，以及历史KPI可以得自基于仿真的模型分析。此外，一些实施例可以包含：分析历史KPI以及使用此类分析的结果以定义代表性试验场景的类别。在一些情况下，基于质量密度的方法或基于空间距离的方法能够用于识别有关场景以形成试验类别。相关联的根本原因扰动被相应地分组到代表性试验场景类别中。在一些方面中，在每个试验场景类别内，一组历史KPI可以一起建立对于特定试验场景类别的基线KPI。KPI可以是多目标的。在一些情况下，基于多目标代价函数的方法可以用于建立整体基线特性。此外，在每个试验场景类别内，一组根本原因扰动可以被传送给用于计划验证的仿真分析。在本申请的一些方面中，可以对于所确定的或建立的试验场景类别进行覆盖分析。如果所建立的类别覆盖所有（感兴趣的）代表性场景，则可以开始和运行试验航班时间表的基于仿真的评价。否则，可以承担对于来自用户或其它实体的更多历史时间表的请求，以便构建丢失的试验场景类别。在一些方面中，本公开提供了能够用于时间表鲁棒性的向后看评价和时间表鲁棒性的向前看评价的系统和方法。此外，本公开包含能够自动化生成各种试验场景、评价鲁棒性以及验证评价结果的过程的系统和方法。在本申请的一些方面中，本公开使用基于仿真的方法来评价对于所有场景类别的航班计划的鲁棒性。对于每个类别，根本原因扰动的各种情况可以被注入到仿真中以评价试验航班计划，其中仿真分析提供计划时间表的鲁棒性KPI。在一些方面中，对于每个试验场景类别，对于所建立的基线KPI来验证试验KPI。验证过程可以使用统计分析和模式分析的方法以对KPI进行比较。一般报告所有类别的验证结果。在一些方面中，本申请中的过程还可以通过KPI度量报告在试验航班计划的运营鲁棒性中的统计上显著的增强（多个）。在一些方面中，本申请中的验证过程可以使用模式分析和聚类分析方法以基于KPI和设备利用率级别来识别和分类潜在的航班计划的网络结构的类型。可以经由价值分析来分析验证结果以导出航班计划的收入影响。系统500包括耦合到通信设备520的处理器505，诸如单芯片微处理器或多核处理器的形式的一个或多个商用中央处理单元（CPU），该通信设备520被配置为经由通信网络（在图5中未示出）与另一个设备或系统（例如，管理者设备或客户端设备，未示出）通信，系统500还可以包含缓存器510，诸如RAM存储器模块。该系统还可以包含输入设备515（例如，触控屏、鼠标和/或键盘以输入内容）以及输出设备525（例如，触控屏、用于显示的计算机监视器、LCD显示器）。处理器505与存储设备530通信。存储设备530可以包括任何适当的信息存储设备，包含磁存储设备（例如，硬盘驱动器）、光存储设备、固态驱动器、和/或半导体存储器设备的组合。在一些实施例中，存储设备530可以包括数据库系统，包含在一些配置中的存储器内数据库。存储设备530可以存储程序代码或指令以控制数据库引擎535的操作以依照本申请中的过程在其中评价鲁棒性。处理器505可以执行用于实现鲁棒性评价模块535的指令以从而根据本申请中描述的实施例中的任何实施例进行操作。鲁棒性评价模块535可以被存储在压缩的、未编译的和/或加密的格式中。此外，对于鲁棒性评价模块535的程序指令可以包含其它程序元件，诸如由处理器505使用的操作系统、数据库报告系统、和/或设备驱动器以与例如客户端、管理者、以及外围设备（在图5中未示出）进行接口。存储设备530还可以包含数据540。在一些方面中，在执行本申请的过程的一个或多个过程（包含个体过程，那些过程的个体操作，以及个体过程和个体过程操作的组合）时，数据540可以由系统500使用。例如，根据本申请中的一些实施例，数据540可以包括数据库系统的存留层以及存储基线和试验航班时间表、KPI等。本申请中论述的所有系统和过程可以被包含在程序代码中，该程序代码存储在一个或多个有形的、非短暂性的计算机可读介质上。此类介质可以包含例如，软盘、CD-ROM、DVD-ROM、闪速驱动器、磁带、以及固态随机存储器（RAM）或只读存储器（ROM）存储单元。因此，实施例不局限于硬件和软件的任何特定组合。在一些实施例中，本申请中的方面可以由应用、设备、或系统来实现以跨越不同的设备、有效地跨越整个域而一致性的方式来管理实体或其它应用的恢复。如本申请中使用的，信息可以例如通过以下来“接收”或被“传送”到以下：（i）来自另一个设备的平台100；或（ii）在来自另一个软件应用、模块或任何其它源的平台100内的软件应用或模块。如本领域的技术人员将领会的，本发明的各种方面可以被包含为系统、方法或计算机程序产品。因此，本发明的各种方面可以采用完全硬件实施例、完全软件实施例（包含固件、驻留软件、微代码等）或组合了软件和硬件方面的实施例的形式，在本文中它们一般都被可以称为“电路”、“模块”或“系统”。此外，本发明的各种方面可以采用被包含在一个或多个计算机可读介质（多个）中的计算机程序产品的形式，该一个或多个计算机可读介质（多个）具有包含在其上的计算机可读程序代码。在图中的流程图和框图说明了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能性以及操作的方面。在这个方面，在流程图或框图中的每个框可以表示模块、段、或代码的部分，其包括用于实现指定逻辑功能（多个）的一个或多个可执行指令。在一些可替代的实现方式中，在特定框中注释的功能可以不按照图中注释的顺序来发生。例如，取决于所涉及的功能性，相继示出的两个框实际上可以基本上同时被运行，或有时可以以相反的顺序来运行框。还要注意的是，可以由执行指定的功能或动作的专用的基于硬件的系统，或专用硬件和计算机指令的组合，来实现框图和/或流程图图示的每个框，以及在框图中和/或流程图图示的框的组合。应当注意的是，本申请中描述的方法中的任何方法可以包含提供包括在计算机可读存储介质上包含的不同的软件模块的系统的另外的步骤；模块可以包含例如框图中描绘的和/或在本申请中描述的元素中的任何或全部元素。此外，计算机程序产品可以包含：计算机可读存储介质，其具有适应于被实现以执行本申请中描述的一个或多个方法步骤的代码，其包括提供具有不同的软件模块的系统。尽管已经相对于某些上下文描述了实施例，但是不失一般性，一些实施例可以部分地或整体地与其它类型的设备、系统、以及配置相关联。本申请中描述的实施例仅是用于说明的目的。本领域的技术人员将认识到可以使用修改和替代来实践的其它实施例。本领域的技术人员将领会的是，在不脱离权利要求书的范围和精神的情况下，能够配置上述实施例的各种适应和修改。因此，理解的是，可以不同于如本申请中所特定描述的地来实践权利要求书。