一种基于大数据的海洋工程管理系统及方法与流程

本发明涉及的是一种通过计算机实现海洋工程大管理的装置及方法。

背景技术：

大数据或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。比如网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。

云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络，服务器，存储，应用软件，服务)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。云计算可以看作是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、热备份冗余等传统计算机和网络技术发展融合的产物。

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。其目的在于充分有效地发挥数据的作用。实现数据有效管理的关键是数据组织。在数据库系统中所建立的数据结构，更充分地描述了数据间的内在联系，便于数据修改、更新与扩充，同时保证了数据的独立性、可靠、安全性与完整性，减少了数据冗余，故提高了数据共享程度及数据管理效率。

产品数据管理系统用于协助工程师进行数据管理，让企业透过标准程序管制提高整体效率，并使作业程序电子化及标准化。产品数据管理系统，用来管理特定产品从研发到量产之生命周期里全程各点产生的一切信息，例如CAD图面、3D模型数据、NC程序、CAE分析结果，测试数据、设计历史和相关制程文件。其涵盖的数据型态是多元性，让各阶层工程师可清晰了解各式资料间的关联性和阶层架构，并以此「共同资料」(commondata)为执行作业的依据。

产品数据管理(PDM)是一门用来管理所有与产品相关信息(包括零件信息、配置、文档、CAD文件、结构、权限信息等)和所有与产品相关过程(包括过程定义和管理)的技术，通过实施PDM，可以提高生产效率，有利于对产品的全生命周期进行管理，加强对于文档，图纸，数据的高效利用，使工作流程规范化。PDM就是一种帮助管理人员管理产品数据和产品研发过程的工具，而企业实施PDM的最终目的是达到企业级信息集成的目的。

近年来，随着海洋资源开发需求的增长，海洋工程装备成为制约海洋油气资源利用能力的关键。一系列国家政策推动中国海洋工程装备制造企业进入快速发展时期。然而，我国的海工项目数据管理技术研究起步较晚，现有的数据管理方法以及系统不能完全适合海洋工程项目数据量较大，协作处理不便利的管理需要。我国船舶工业在海工产品项目数据管理方面与国外明显的差距，已经严重制约了我国海工产品制造的进一步提升，我国海洋工程装备制造业对海工产品数据管理平台提出了迫切需求。

技术实现要素：

本发明的目的在于提供一种能够实现海洋工程半潜平台全生命周期数据管理的基于大数据的海洋工程管理系统。本发明的目的还在于提供一种基于大数据的海洋工程管理方法。

本发明的基于大数据的海洋工程管理系统包括数据基础信息单元、数据收集单元、数据处理单元和数据审核单元，

所述数据基础信息单元包括用于数据管理的数据基础信息，根据船厂需求发布定制的表单模板，针对海工产品来讲，一个海洋平台从详细设计开始，到初步设计再到生产设计，直到交付会产生大量的数据，这些数据可能是以PB(Petabyte千万亿字节)为单位的，这样的数据不是一般的网络数据量所能承载的，因此我们将其视为大数据；

所述数据收集单元中包括用于数据处理的一代数据，所述一代数据是和船厂同步的动态数据、根据船厂进度实时更新，；

所述数据处理单元用于对所述数据收集单元所提交的一代数据进行处理得到用于数据审核的二代数据，由于采用分布式数据库，各部门之间协同合作，因此为了高效、安全地对海量的数据进行处理，大量的节省用户电脑的性能和空间，把本地待处理的数据上传至服务器，服务器处理完毕后再传送到本地，对数据进行云处理，如果云处理无法解决就将问题转为人工处理；

所述数据审核单元用于根据审核需求对所述二代数据按相应的审核方法进行在线审核并反馈得到三代数据，以供后续使用。在对数据审核时，同样的将待审核的数据上传至服务器，服务器经过对比处理把审核结果返回至本地电脑。

本发明的基于大数据的海洋工程管理系统还可以包括：

1、还包括数据传送单元，所述数据传送单元用于将所述一代数据、二代数据以及三代数据以适合用户查看的形式输出。

2、数据收集单元采用分布式数据库，包括：静态数据录入模块，用于录入静态数据；动态数据更新模块，用于更新动态数据。

本发明的基于大数据的海洋工程管理方法包括：

数据基础信息获取步骤：通过发布各部门的表单需求，定制一系列表单列表；

数据采集步骤：根据各个部门所定制的表单通过现场搜集、报表录入动态数据并实时更新，得到用于数据处理的一代数据；

数据处理步骤，当录入的数据提交后，根据各个部门的业务需求进行相应的数据处理并实时更新，得到用于数据审核的二代数据；

数据审核步骤：各部门对提交的数据进行实时审核，将审核意见及时反馈给各部门系统管理员进行修改，得到三代数据用于后续使用。

本发明的基于大数据的海洋工程管理方法还可以包括：

1、数据基础信息包括：船厂原始数据、船厂作为市场主体所处的市场信息大数据、公共政策信息数据、母型平台及型船数据、经验公式数据、现场操作反馈数据、试验所得数据。

2、数据收集包括：图表信息、报表控制、文档录入、材料上传，同时根据反馈通道实时反馈更新。

3、数据处理是通过对原始数据进行数据转换、数据分组、数据组织、数据计算、数据存储、数据加载中一种或多种操作将原始数据转换成符合海洋工程规范的数据。

4、数据审核是通过线上实时审核或大数据相关审核性智能模型获得最终数据。

5、管理项目为海洋平台全生命周期数据管理，所述基础数据包括进度管理、成本管理、设计管理、物资管理、文档管理、完工调试管理；

所述进度管理包括船厂在规定的时间内，拟定出合理且经济的包括多级管理子计划的进度计划，在执行该计划过程中，经常检查实际进度是否按计划要求进行，若出现偏差，便及时找出原因，采取补救措施或调整、修改原计划，直至项目完成；

所述成本管理包括船厂在生产经营过程中产生的各项成本核算、成本分析、成本决策和成本控制数据；

所述设计管理包括船厂在设计过程产生的一系列图纸、设计方案、任务计划数据；

所述物资管理包括船厂在生产过程中对所需物资进行物资计划制订、物资采购、物资使用和物资储备活动时产生的物料信息单、采购信息明细表数据；

所述文档管理包括船厂在生产过程中产生的一系列文档、电子表格、图形和影象扫描文档；

所述完工调试管理包括船厂在对平台进行调试后得到的状态清单、调试认可证书文件数据。

本发明将云处理和大数据这两种技术应用到海洋工程半潜式平台领域，在数据收集阶段，由于数据种类繁多，时间跨度较大，因此收集的数据量很容易就达到PB的量级；在数据处理阶段，由于需要在海量的数据源中找到特定的需求，需要采用模糊灰关联分析算法等方法对数据源进行数据挖掘；在数据处理阶段运用基于分布式计算以及云处理，对数据进行检录、分析，建立多台终端组建运算集群，结合分布式文件系统以及数据库，对大数据进行分部署运算、处理和存储。这些方法既实现了大数据在线云处理，又通过实时全方位的更新半潜式平台全生命周期的动态数据，实现了对半潜式平台全生命周期的数据管理，进一步，根据处理且审核可以得到用于船厂生产经营管理决策的数据，从船厂的效益出发，为半潜式平台从设计—建造—交付—维修—退役整个全生命周期提供实时高效的保证。通过大数据把整个流程中孤立的一个个数据孤岛联系成一个集合，通过云处理技术对这些数据进行处理、分析，从而从这些冗余的数据中找到关键数据。更进一步地，本发明的数据管理方法及系统，可以打破半潜式平台全生命周期的各个阶段孤立的限制，加强海洋工程信息化管理技术，加强智能制造理念，使船厂可以提高生产效率，提高经济效益，提高产品质量。能够解决传统海洋工程半潜平台全生命周期无法采用软件进行数据管理的问题。

附图说明

图1是本发明的基于海洋工程大数据的管理方法的流程示意图；

图2是本发明的基于海洋工程大数据的管理系统的结构示意图；

图3是本发明数据收集单元的结构示意图。

具体实施方式

下面结合附图举例对本发明做进一步说明。

本实施例提供了一种基于海洋工程大数据的管理方法，基于大数据系统和云处理平台，以信息化管理技术为依托，整合大量的数据资源，在云端按照需求分析处理数据，从而可以高效地实现对半潜平台全生命周期的数据管理技术，从而更好地服务于产品管理。结合图1，本实施例的方法包括：

步骤S100，数据基础信息，系统数据管理员根据企业实际需求发布数据需求通知，并通过定制表单，对所需要的数据配置一个模板，各个部门都需要根据此模板所表示的需求进行下一步工作。所述数据基础信息包括但不限于：船厂原始数据、船厂作为市场主体所处的市场信息大数据、公共政策信息数据、母型平台及型船数据、经验公式数据、现场操作反馈数据、试验所得数据。本实施例的改进在于，分部门实时有效的发布各自需求，模板随需要所订制，更人性化，更高效，为数据管理提供更为科学的表单模板。

作为一种较佳的实施方式，本实施例数据基础信息步骤中，所有订制的表单能为各部门的管理发展提供可供参考的数据表单模板，供后续流程继续使用。本实施例基础数据信息包括但不限于以下方面的数据信息：

1、船厂原始数据、船厂作为市场主体所处的市场信息大数据、公共政策信息数据、母型平台及型船数据、经验公式数据、现场操作反馈数据、试验所得数据。

2、船厂原始数据：船厂通过自身生产建造积累的大量原始数据信息，比如分组信息(大组立、中组立、小组立)、焊接工艺技术、资源分配信息、人力分配信息、场地分配信息、进度管理信息等这些数据信息。

3、船厂作为市场主体所处的市场信息大数据：船厂生产需要对生产平台所需的原材料追溯到供应商，供应商的数据可以按需要分门别类，然后通过与供应商的合作的渠道来获得报价信息，供船厂参考，对供应商进行对比筛选，选择最适合的供应商，从而达成长期合作。

4、母型平台及型船数据：包含已建成的同类平台或船体的数据，以此来用作母型进行参考设计。

5、现场操作反馈数据：包含在建造过程中实时反馈回来的物料信息、焊接程度、建造进度、场地信息、人员信息等数据信息。

6、试验所得数据：设计过程模型试验，水池试验等试验所得的数据信息。

步骤S200，数据收集，各部门业务工程师根据定制的表单采集数据，将采集到的数据录入到系统中，当数据量过大的时候，可以采用导入的方式，并且可以实时更新，得到用于数据处理的一代数据。

作为一种较佳的方式，本实施例采用Oracle数据库用于数据采集。Oracle数据库是一款关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种可靠性好的、适应高吞吐量的数据库解决方案。作为一个通用的数据库系统，它具有完整的数据管理功能，作为一个关系数据库，它是一个完备关系的产品，作为分布式数据库，它现了分布式处理功能。Oracle数据库12c引入了一个新的多承租方架构，使用该架构可轻松访问部署和管理数据库云。

步骤S300，数据处理，各部门系统管理员对录入的数据进行相应的实时处理，然后提交处理后的数据，得到用于数据审核的二代数据。

本实施例数据处理是通过对原始数据进行数据转换、数据分组、数据组织、数据计算、数据存储、数据加载中一种或多种操作将原始数据转换成符合海洋工程规范的二代数据。此处的数据转换、数据分组、数据组织、数据计算、数据存储、数据加载均属于数据处理手段，对此不再详加解释。

作为一种较佳的方式，本实施例数据处理采用云处理平台中的分布式处理系统或者分布式数据库，这样可以降低数据传送代价，提高系统的可靠性，便于系统的扩充，增加一个新的局部数据库，或在某个位置扩充一台适当的小型计算机，都很容易实现。高可扩展性，高并发性和高可用性这些特点满足海量的数据量和不断增长的客户需求。

步骤S400，数据审核，各部门经理对提交的数据进行实时审核，将审核意见及时反馈给各部门系统管理员进行修改，得到三代数据用于后续使用。

本实施例的审核要求，是根据各部门的审核人员的业务需求，即要得到船厂实际生产过程各个部门所需要的数据或者信息。本实施例数据审核，通过审核二代数据是否满足业务需求，得到相关的数据结论，反馈到各部门业务经理处，用于分析半潜平台全生命周期的各阶段运维状况。

作为一种较佳的实施方式，本实施例数据审核采用云理平台中的分布式数据库，从而可以对收集的海量数据按部门类型进行分类，进一步地，进行分析审核，审核出有价值的数据。分布式数据库能够动态地增添存储节点以实现存储容量的线性扩展，而且可以及时响应大规模用户的读/写请求，能对海量数据进行随机读/写，并且保证了数据的高可靠性，采用备份的策略实现容错，从而很好地解决了大规模数据的有效管理的问题。

步骤S500，数据传送，将所述一代数据、二代数据以及三代数据以适合用户查看以图形表格等形式输出。

根据本发明的另一方面，还提供一种基于海洋工程大数据的管理系统，基于大数据和云处理平台，本实施例基于海洋工程大数据的管理系统与上述实施例的基于海洋工程大数据的管理方法对应。结合图2及图3，本实施例系统包括：

数据基础信息单元100，用于根据船厂需求发布定制的表单模板，所述基础数据包括与船厂实时更新的动态数据。本实施例的关键在于，可以根据船厂各个部门实际需求，实时更新所需表单模板，提供动态地，实时地表单需求，从而可以更好地为半潜平台的全生命周期数据管理提供更科学高效的数据指导。

作为一种较佳的实施方式，本实施例数据管理过程，按照半潜平台全生命周期分为八个部门：经营管理、进度管理、合同管理、设计管理、物资管理、成本管理、文档管理、运维管理等，按部门需求发布各自的业务需求从而定制表单模板，可以更高效的进行数据收集。

数据收集单元200，包括和船厂同步的动态数据，可以根据船厂进度实时更新，用于数据处理的一代数据。

作为一种较佳的实施方式，在本实施例数据管理过程中，采用分布式数据库用于数据收集。Oracle数据库是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强、适用于各类大、中、小、微机环境，它是一种高效率、可靠性好的、适应高吞吐量的数据库解决方案。它具有完整的数据管理功能，具有很多优点：(1)数据的大量性；(2)数据保存的持久性；(3)数据的共享性；(4)数据的可靠性。这些优点都可以更好地用于数据收集。

作为一种较佳的实施方式，参照图3，数据收集单元200包括：

静态数据录入模块210，用于录入静态数据

动态数据更新模块220，用于更新动态数据。

本实施例数据收集单元200，可以在线录入根据各部门发布的业务需求发布的表单，可以静态录入，也可以动态的数据更新，所有的数据可以供后续进行数据处理以及数据审核，得到可供船厂后续研究处理的数据。所述数据基础信息包括但不限于：船厂原始数据、船厂作为市场主体所处的市场信息大数据、公共政策信息数据、母型平台及型船数据、经验公式数据、现场操作反馈数据、试验所得数据。上述数据的定义参照方法实施例，此处不再赘述。

数据处理单元300，用于对收集的数据进行处理得到用于数据审核的二代数据。

本实施例数据处理单元300是通过对原始数据进行数据转换、数据分组、数据组织、数据计算、数据存储、数据加载中一种或多种操作将原始数据转换成符合海洋工程规范的二代数据。此处的数据转换、数据分组、数据组织、数据计算、数据存储、数据加载均属于数据处理手段，对此不再详加解释。

作为一种较佳的实施方式，本实施例数据处理单元300采用云处理平台中的分布式数据库，分布式数据库能够动态地增添存储节点以实现存储容量的线性扩展，而且可以及时响应大规模用户的读/写请求，能对海量数据进行随机读/写，并且保证了数据的高可靠性，采用备份的策略实现容错，从而很好地解决了大规模数据的有效管理的问题。

数据审核单元400，用于根据审核需求对所述一代数据按相应的审核方法进行在线审核并反馈的三代数据，以供后续使用。

作为一种较佳的实施方式，本实施例数据处理单元400采用云处理平台中的分布式数据库，分布式数据库能够动态地增添存储节点以实现存储容量的线性扩展，而且可以及时响应大规模用户的读/写请求，能对海量数据进行随机读/写，并且保证了数据的高可靠性，采用备份的策略实现容错，从而很好地解决了大规模数据的有效管理的问题。

作为一种较佳的实施方式，本实施例数据审核单元400采用大数据平台，强调数据的相关性和有代表性，从而得到有价值的数据。基于海洋工程大数据的管理系统通过云处理，进一步发现全生命周期过程中出现的问题，并在线提出审核意见，高效的解决问题。围绕大数据，在实施数据审核时，利用大数据、云处理技术、分布式数据库、数据挖掘等新型计算机技术，在线高效地审核数据反馈问题。

本发明系统还可以选择性的包括：

数据传输单元500，用于将所述一代数据、二代数据以及三代数据以图形表格等适合用户查看的形式输出。

数据传输单元500利用图像处理技术或者EXCEL等办公软件，将数据以表格、图形等形式呈献给用户，进一步地可以从软件中导出这些形式信息，从而让用户可以方便、高效地得到所需信息，并解决所存在的问题，更便于对半潜平台全生命周期进行数据管理。

从上述描述可知，本实施例基于海洋工程大数据的管理方法及系统，将云处理和大数据这两种技术应用到海洋工程半潜式平台领域，既实现了大数据在线云处理，又通过实时全方位的更新半潜式平台全生命周期的动态数据，实现了对半潜式平台全生命周期的数据管理，进一步，根据处理且审核可以得到用于船厂生产经营管理决策的数据，从船厂的效益出发，为半潜式平台从设计—建造—交付—维修—退役整个全生命周期提供实时高效的保证。通过大数据把整个流程中孤立的一个个数据孤岛联系成一个集合，通过云处理技术对这些数据进行处理、分析，从而从这些冗余的数据中找到关键数据。更进一步地，本发明的数据管理方法及系统，可以打破半潜式平台全生命周期的各个阶段孤立的限制，加强海洋工程信息化管理技术，加强智能制造理念，使船厂可以提高生产效率，提高经济效益，提高产品质量。

以上所述仅为本发明的优选实施例，并不限制于本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。