专利名称：自动接收和评价技术过程或项目的数据质量的系统和方法
技术领域：
本发明涉及一种系统和一种方法，用于将技术过程或技术项目的任意标记和结构化的大批数据自动接收到一个或多个数据处理设备的标准化环境中和对其质量进行评价。本发明尤其是在设备技术、管理技术和工艺流程规划中得到采用。
背景技术：
已经存在用于将大批数据自动读入数据处理设备中的方法，但是其中没有用向使用者的针对性的反馈信息来执行这些数据的质量的自动评价，该评价尤其是涉及在读入数据时的完整性、对于变化考虑、以及差错识别。也还不存在用于例如以通过像输入数据那样相同的格式和/或相同的分类所标记的某种形式向使用者反馈所读入数据质量的信息的方法。因此迄今对于使用者不可能通过要读入数据和相应的反馈信息的直接比较来评价所读入数据的质量和/或从中推导出相应的动作。
当今为了评定自动读入的大批数据的质量，使用者将这些读入的数据以它们所基于的例如清单的原始格式与通过数据处理设备的输出设备所显示的数据进行单个和手动的比较。
通过要读入的和所读入的大批数据的手动比较所产生的缺点，是基于过分高的时间花费。除此之外，该比较的持续时间只能很不精确地估计，但是与所读入大批数据的数量成比例地相关联。
由每个所读入大批数据与原始数据的手动比较决定地，要付出的工作量也应评定为很高的，并且同样是与所读入的大批数据的数量成比例的。通过该由一个或多个使用者要执行的手动的比较活动很频烦地导致差错，除此之外，这些差错是不能毫无问题地再现的。由于大批数据的这种比较一般所基于的非标准化表现形式，增加了与这些数据的这个和/或这些提供者进行联系的难度，并且又可能导致在项目规划和/或项目开展中的提高的持续时间和/或提高的工作量。
由于在读入过程之后才能执行大批数据的评价，所以可能改写、清除和/或变化技术过程的已经存在的数据库存，而这不是由使用者规划或故意的。
发明内容
从所述的缺点出发，本发明所基于的任务在于说明一种系统和一种方法，用于将技术过程或技术项目的任意标记和结构化的大批数据自动接收到一个或多个数据处理设备的标准化环境中，并且随后对其质量进行评价，由此克服了现有技术的上述缺点。
根据本发明通过具有权利要求1中所说明特征的开始时所述方式的一种系统来解决该任务。在其它的权利要求中和在说明书中，说明了本发明系统的有利扩展方案和改进方案以及用于实施该系统的一种方法。
用于将技术过程或技术项目的任意标记和结构化的大批数据自动接收到一个或多个数据处理设备的标准化环境中并且随后对其质量进行评价的本发明系统，包括一个分配模块，用于向数据处理设备的标准化环境中的结构单元分配来自一个或多个数据源的大批数据。分配模块还生成要读入的大批数据的规定的映射。
分配模块与读入模块协作，该读入模块根据所采取的分配自动读入大批数据，并且输送给检查模块用于自动检查和用于生成和/或显示对于所读入大批数据的质量进行评价的报告。该评价例如涉及大批数据的正确性、完整性、一致性、有效性、特征的可应用性、标记和/或值范围。
检查模块与存储器模块协作，该存储器模块将检查结果存储在数据处理设备的标准化环境中和/或在外部的文件中。与存储器模块协作的处理模块将检查结果自动记录到预先规定的结构中，并且将检查结果接收到数据处理设备的标准化环境中。
因此用本发明系统以有利的方式评价所读入大批数据的质量，并向使用者返回信息。
在本发明系统的一种有利的实施形式中规定，借助显示模块例如来显示大批数据的正确性、完整性、一致性、有效性、某些特征的可应用性、标记和/或值范围，和/或提供用于进一步处理。
从权利要求9中可以获悉一种用于将技术过程或技术项目的大批数据自动接收到一个或多个数据处理设备的标准化环境中并且随后对其质量进行评价的方法，还用该方法解决该任务。
本发明方法基于，将任意标记和结构化的大批数据自动和/或受支持地读入数据处理系统的标准化环境中。评价所读入大批数据的质量和给使用者返回信息。
为此在第一步骤中，从一个或多个数据源中给分配模块传输大批数据。借助分配模块将数据处理设备的标准化环境中的结构单元分配给来自数据源的大批数据，并且生成要读入的大批数据的规定的映射。
在一个其它的步骤中，根据所采取的分配，借助分配模块自动将大批数据读入到读入模块中，并且随后输送给检查模块，用于自动检查和用于生成评价所读入大批数据的质量的报告。
在下一个步骤中，借助存储器模块在数据处理设备的标准化环境中，和/或在外部的文件中存储所选出的检查结果。
在下一个步骤中，借助处理模块将所选出的检查结果自动记录到预先规定的结构中，并且在最后的步骤中将检查结果接收到数据处理设备的标准化环境中。
用于将大批数据自动读入到一个或多个数据处理设备中的本发明方法和系统，以有利的方式包括自动显示大批数据的正确性、完整性、一致性、有效性、某些特征的可应用性、标记和/或值范围。
用本发明系统和方法还可以识别、分析处理和/或可见地显示所读入大批数据的语法的、语义的、形式的、内容的差错、和/或另外的缺陷，其中，既在细节上也作为压缩的信息来显示这些提示和分析处理。因此这些显示满足了关于所读入的大批数据的质量断言的目的。
所述方法的优点基于与这个和/或这些提供者的简化联系，以及基于所读入的或要读入的大批数据的处理和/或解释。本发明方法例如支持接收这些方法提供者的信息和规定。
此外，有关所输入大批数据的质量和/或数量的断言是可能的，由此必要时在读入大批数据之后，较容易地用较少的工作量可以识别、规划和/或执行诸如数据修正的必要动作。此外，所述的方法允许将在检查期间所求出的读入大批数据的结果进行存档和/或形成历史。由此以有利的方式，同样可以追踪在不同的时刻要读入和/或所读入的大批数据的变化。
通过本方法，通过识别有差错的和/或缺失的大批数据，实现了简化的差错识别和/或差错排除。在稍后时刻的大批数据的重新读入过程中，用本发明方法可以自动对在以前所读入的大批数据和当前要读入的大批数据和/或当前所读入的数据组之间的变化进行提示。
用本发明方法也可以获得关于在较早的读入过程中还不曾读入的、和在读入的当前时刻未知的大批数据的消息。
由于只有当已执行所读入大批数据的上述质量的评价时，才将大批数据接收到一个或多个数据处理设备的标准化环境中，所以只是有针对性和可再现地变化在该标准化环境中的原始数据库存。
优选安排本发明系统和方法来用于例如设备技术、管理技术、工艺流程规划中读入在工程学的项目和/或过程中的数据，其中，这些过程或项目的大批数据优选是以耗电器清单和/或测量仪器配置清单的形式所提供的过程数据和工艺流程数据。原则上可以将本发明系统和方法应用在所有的专业范畴中，在这些专业范畴中可以自动读入大批数据，并且关于所读入数据质量的反馈信息是受欢迎和需要的。
优选在工艺流程规划、设备规划或管理技术规划中采用本发明系统和方法。但是在诸如工艺流程技术、设备技术、设备制造、自动化技术、电子技术和缆线敷设的技术规划中也得到应用。
借助在附图中所示出的本发明实施例来详细阐述和说明本发明、本发明的有利扩展方案和改进方案、以及本发明的特别优点。
唯一的附图1展示了本发明一种示范性的方法。
具体实施例方式
图1所示的方法用于将任意标记和结构化的大批数据自动接收到数据处理设备的标准化环境70中，并且随后对其质量进行评价，其中给分配模块20提供数据源10的大批数据。借助分配模块20给数据处理设备的标准化环境70中的结构单元分配来自数据源10的大批数据，并且生成要读入的大批数据的规定的映射。根据所采取的分配，借助分配模块20将大批数据自动传输到读入模块30中，并且输送给检查模块40，用于自动检查和用于生成质量报告。该质量报告例如是指明哪些数据没有被采集的清单。
借助存储器模块存储在数据处理设备的标准化环境70中所选出的检查结果。借助处理模块60来将所选出的检查结果自动记录到预先规定的结构中，并且将检查结果接收到存储器模块的标准化环境70中。
以下示范性地示出了本发明方法的方法步骤。
在第一步骤中分别借助分配模块20恰好一次手动地来实现将一个要读的大批数据分配给在本方法中的和/或每个第一次要读入的大批数据的数据。由此实现了从要读入的大批数据到被用来读入大批数据的方法和/或系统的规定映射。
在下一个步骤中，根据所采取的分配借助读入模块30自动读入大批数据。每个所读入大批数据的借助检查模块40的随后的检查与各自的技术过程或项目有关。检查的准则例如是大批数据的字符链的长度，诸如电站标记系统的正规表达式的分析处理，与目标系统的数据库存的可能录入项的一致性、和/或完整性(例如义务录入项)。
在大批数据在读入模块或检查模块30，40中的读入和检查之后，每一个大批数据具有以下九种状态中的恰好一种·大批数据与以前读入过程相比较是新的大批数据已被·有差错地读入 (状态1)·没有差错地读入(状态2)·大批数据是存在的，但是在一个或多个特征上与以前读入过程相比较已变化大批数据已被·有差错地读入 (状态3)·没有差错地读入(状态4)·大批数据在当前的读入过程之后是不再存在的，即与以前的读入过程相比较它已被清除大批数据已被·有差错地读入 (状态5)·没有差错地读入(状态6)·大批数据在当前的读入过程之后与以前的读入过程相比是等同的大批数据已被·有差错地读入 (状态7)·没有差错地读入(状态8)·在当前的读入过程中不能读入大批数据。关于相对于以前的读入过程的变化的断言是不可能的(状态9)例如通过颜色、符号、花样和/或其它区分特征的明确分配，来为每一个所检查的大批数据和/或所检查的大批数据的聚合显示状态，即检查结果。在内部，即在数据处理设备的标准化环境中，和/或在外部文件中，例如以HTML，XML，ASCII格式来存储这些检查结果。
在下一个步骤中实现在预先规定的结构中的自动记录，该结构含有有关所输入大批数据的存在、完整性、遵守意义性、有效性和/或变化的断言。该结构可以是与要读入数据的结构等同的，或是重新规定的。
在最后的步骤中，才将基于由所述方法告知的状态所选出的那些数据接收到数据处理设备的标准化环境中。
总之，所述的方法要求维护用于评定所读入大批数据的质量的尺度(Metriken)。由于要读入的大批数据的类型的尺度或在各自技术项目和过程中的尺度在变化，所以对于每一个要考察的技术过程或每一个项目要建立和维护一个新的尺度组。
权利要求
1.用于将技术过程或技术项目的大批数据自动接收到一个或多个数据处理设备的标准化环境(70)中并随后对其质量进行评价的系统，其中，-安排了一个分配模块(20)，用于向在数据处理设备的标准化环境(70)中的结构单元分配来自一个或多个数据源(10)的大批数据，和用于生成要读入的大批数据的规定映射，-所述的分配模块(20)与读入模块(30)协作，根据所采取的分配，可以自动将大批数据读入该读入模块(30)中，-可以将所读入的数据输送给检查模块(40)，用于自动检查和/或用于生成用于评价所读入测量数据的质量的报告，-可以将由检查模块(40)所生成的检查结果输送给处理模块(60)，用于自动记录到预先规定的结构中，并且可以将检查结果传输到数据处理设备的标准化环境(70)中。
2.按权利要求1的系统，其特征在于，所述的大批数据是任意标记和结构化的大批数据。
3.按权利要求2的系统，其特征在于，安排了一个显示模块，该显示模块显示检查结果，和/或提供用于进一步处理。
4.按以上权利要求之一的系统，其特征在于，在内部在数据处理设备的标准化环境中，和/或在外部的存储介质上，作为文件可以存储由所述检查模块(40)所提供的检查结果。
5.按以上权利要求之一的系统，其特征在于，在预先规定的结构中的自动记录含有有关所输入大批数据的存在、完整性、遵守意义性、有效性、变化的断言。
6.按以上权利要求之一的系统，其特征在于，所述的预先规定的结构是与要读入数据的结构等同的。
7.按权利要求1至5之一的系统，其特征在于，可以重新规定所述的预先规定的结构。
8.按以上权利要求之一的系统，其特征在于，所述的检查模块(40)检查大批数据的数据类型的允许性、字符链的长度的允许性、正规表达式的分析处理、与目标系统的数据库存的可能录入项的一致性、和/或完整性。
9.用于将技术过程或技术项目的大批数据自动接收到一个或多个数据处理设备的标准化环境(70)中并且随后对其质量进行评价的方法，其中，-借助分配模块(20)将来自一个或多个数据源(10)的大批数据分配给在数据处理设备的标准化环境(70)中的结构单元，并且生成要读入的大批数据的规定映射，-根据所采取的分配借助所述的分配模块(20)将所述的大批数据自动读入读入模块(30)中，并且输送给检查模块(40)，用于自动检查和/或用于生成用于评价所读入测量值的质量的报告，-借助处理模块(60)将检查结果自动记录到预先规定的结构中，并且将检查结果接收到数据处理设备的标准化环境(70)中。
10.按权利要求9的方法，其特征在于，检查结果借助存储器模块来存储，和/或借助显示模块来显示，和/或提供用于进一步处理。
11.按权利要求9或10之一的方法，其特征在于，在内部在数据处理设备的标准化环境中，和/或在外部的存储介质上，作为文件存储由所述的检查模块(40)所提供的检查结果。
12.按以上权利要求之一的系统，其特征在于，借助所述的检查模块(40)检查大批数据的数据类型的允许性、字符链的长度的允许性、正规表达式的分析处理、与目标系统的数据库存的可能录入项的一致性、和/或完整性。
13.按以上权利要求之一的系统和方法在技术规划中，尤其是在工艺流程技术、设备技术、设备制造、自动化技术、电子技术或缆线敷设中的应用。
全文摘要
本发明涉及一种系统和方法，用于将技术过程或技术项目的大批数据自动接收到一个或多个数据处理设备的标准化环境(70)中，并随后评价其质量，具有分配模块(20)用于向在数据处理设备的标准化环境中的结构单元分配来自数据源(10)的大批数据，和用于生成要读入大批数据的规定映射。分配模块(20)与读入模块(30)协作，根据所采取的分配可自动将大批数据读入该读入模块中。可将读入的数据输送给检查模块(40)用于自动检查，和/或用于生成用于评价所读入测量数据的质量的报告。可将由检查模块生成的检查结果输送给处理模块(60)，用于自动记录到预先规定的结构中，且可将检查结果传输到数据处理设备的标准化环境中。
文档编号G06Q10/00GK101071486SQ20071010235
公开日2007年11月14日 申请日期2007年4月30日 优先权日2006年5月8日
发明者P·比尔, A·利费尔特 申请人:Abb技术有限公司