数据分析方法、装置及计算机可读存储介质与流程

本发明涉及工业互联网技术领域，尤其涉及一种数据分析方法、装置及计算机可读存储介质。

背景技术：

新产品制造在新产品导入阶段需于有限时间内在每个步骤都达到客户的规格要求。在每一个阶段工程单位与测试单位都需要完整的生产信息与关键物料信息的整合，协助fa(failureanalysis)工程师与rd工程师合作，进行问题分析与解决方案设计。由于每一个阶段都是分秒必争，并且还要能快速反应问题，求新求变，对于必须在限定时间内分析所有的问题且找出原因将是一个高度困难的挑战与目标。以往皆是人工于各系统进行数据收集，再各自脱机分析，分析结果存于各自计算机中、不易分享，且数据收集与整理费时费力。

技术实现要素：

有鉴于此，有必要提供一种数据分析方法、装置及计算机可读存储介质，其能实现自动收集数据，并进行关联性整合，提高数据分析效率。

本发明一实施方式提供一种数据分析方法，包括以下步骤：

从多个数据源中获取目标数据，并对所述目标数据进行解析处理，其中所述目标数据包括多个id产品不同角度的产品信息；

对经过解析处理的目标数据按照预设规则进行关联性整合，以得到每一所述id产品的历程信息；

根据每一所述id产品的历程信息建立多维度大表，其中在所述多维度大表中，每一所述id产品包括多个维度特征；

获取待分析案例的数据分析范围，并根据所述数据分析范围在所述多维度大表下建立与所述待分析案例匹配的案例维度表；及

对所述案例维度表进行分析，输出并保存所述案例维度表的分析结果及案例维度表数据。

优选地，所述目标数据包括产品测试资讯、产品产线组装资讯、产品测试结果数据、产品关键物料数据、产品配方表单、产品工单数据。

优选地，所述从多个数据源中获取目标数据，并对所述目标数据进行解析处理的步骤包括：

获取每一所述数据源的数据存储地址；

依据预设读取排程及每一所述数据源的数据存储地址获取所述目标数据；及

对所述目标数据进行数据平行运算存储。

优选地，所述方法还包括：

设定所述目标数据的更新时间节点；及

按照所述更新时间节点重新从多个所述数据源中获取目标数据，并根据重新获取的目标数据更新所述多维度大表。

优选地，所述对所述案例维度表进行分析的步骤包括：

利用线上分析方式或离线分析方式对所述案例维度表进行分析；

其中，所述线上分析方式和所述离线分析方式包含有不同的分析工具。

优选地，所述多维度大表对应一议题，所述待分析案例为在所述议题下建立得到，所述对所述案例维度表进行分析的步骤包括：

获取所述议题下的历史案例数据；及

基于所述历史案例数据对所述案例维度表进行分析。

本发明一实施方式还提供一种数据分析装置，包括：

处理器；及

存储器，适于存储多条指令，所述指令适于由所述处理器执行：

从多个数据源中获取目标数据，并对所述目标数据进行解析处理，其中所述目标数据包括多个id产品不同角度的产品信息；

对经过解析处理的目标数据按照预设规则进行关联性整合，以得到每一所述id产品的历程信息；

根据每一所述id产品的历程信息建立多维度大表，其中在所述多维度大表中，每一所述id产品包括多个维度特征；

获取待分析案例的数据分析范围，并根据所述数据分析范围在所述多维度大表下建立与所述待分析案例匹配的案例维度表；及

对所述案例维度表进行分析，输出并保存所述案例维度表的分析结果及案例维度表数据。

优选地，所述从多个数据源中获取目标数据，并对所述目标数据进行解析处理的指令包括：

获取每一所述数据源的数据存储地址；

依据预设读取排程及每一所述数据源的数据存储地址获取所述目标数据；及

对所述目标数据进行数据平行运算存储。

优选地，所述多维度大表对应一议题，所述待分析案例为在所述议题下建立得到，所述对所述案例维度表进行分析的指令包括：

获取所述议题下的历史案例数据；及

基于所述历史案例数据对所述案例维度表进行分析。

本发明一实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现上述数据分析方法的步骤。

与现有技术相比，上述数据分析装置、方法及计算机可读存储介质，其可实现自动收集多个系统的数据，并对收集的数据进行关联性整合，数据收集整合时间相对于人工收集大幅减小，同时依据整合得到的数据建立多维度大表做为数据分析的基础依据，用户可自行创建议题，再于议题下建立待分析案例，以进行案例分析，可以实现建立依据用户需求洞察数据的维度大表，亦支持将数据下载进行脱机分析。

附图说明

图1是本发明一实施方式的数据分析装置的运行环境图。

图2是本发明一实施方式的数据分析装置的功能模块图。

图3是本发明另一实施方式的数据分析装置的功能模块图。

图4是本发明一实施方式的数据分析方法的步骤流程图。

主要元件符号说明

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

请参阅图1，是本发明各个实施例一可选的应用环境示意图。

在一实施方式中，所述数据分析装置100可以设置在一服务器中，并可与多个数据源进行通信，例如可以采用http/mqtt通信协议与多个数据源进行通信。所述服务器可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器，该服务器可以是独立的服务器，也可以是多个服务器所组成的服务器集群。所述数据源的个数并无限定，下面以数据源的个数为六个为例(即数据源200a、200b、200c、200d、200e、200f)进行说明。比如，所述数据源200a存储有产品测试资讯，所述数据源200b存储有产线组装资讯，所述数据源200c存储有产品测试结果数据，所述数据源200d存储有产品关键物料数据，所述数据源200e存储有产品配方表单，所述数据源200f存储有产品工单数据。在本发明的其他实施方式中，产品测试资讯和产品测试结果数据可以存储在同一个数据源中，产品关键物料数据和产品配方表单亦可存储在同一个数据源中，在此不做限定。

请参阅图2，所述数据分析装置100可以包括存储器11、处理器12。所述存储器11存储有一个或多个模块，所述一个或多个模块可由处理器12执行，以完成本发明所提供的功能。

所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。所述处理器12可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。

在一实施方式中，所述一个或多个模块包括解析模块10、整合模块20、第一建立模块30、第二建立模块40及分析模块50。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述在处理器12中的执行过程。

所述解析模块10用于从多个数据源200a-200f中获取目标数据，并对所述目标数据进行解析处理，其中所述目标数据包括多个id产品不同角度的产品信息。

在一实施方式中，所述目标数据可以根据实际分析需求进行设定，当是对产品进行分析时，所述目标数据可以是与产品相关联的数据。所述目标数据包括id产品的不同角度的产品信息，比如产品的测试数据、生产组装数据、物料数据等等。所述id产品可以是指具有id标识的产品，该id标识可以是产品id，所述目标数据优选还包括产品id，进而方便在后续对目标数据进行处理时，可以以产品id为基准进行分类。所述产品id可以是产品序列号、生产方预先设定的内部编号等。

多个数据源200a-200f可以是可控系统或者非可控系统。多个数据源200a-200f的数据的数据格式可以互不相同，多个数据源200a-200f的数据皆可存放于固定位置，所述解析模块10可以先与每一数据源200a-200f进行通信，以获取每一数据源200a-200f的数据存储地址，再依据所述数据存储地址获取所述目标数据。

在一实施方式中，所述解析模块10依据预设读取排程对多个数据源200a-200f的数据进行读取。每一数据源200a-200f的数据格式可能不同，所述解析模块10根据后续数据分析需求，在读取完目标数据后，还对读取的目标数据进行解析处理、数据格式转换处理等。由于目标数据量非常庞大，读取得到的目标数据可以通过spark、mesos、cassandra进行数据平行运算储存。

所述整合模块20用于对经过解析处理的目标数据按照预设规则进行关联性整合，以得到每一所述id产品的历程信息。

在一实施方式中，所述预设规则可以根据实际使用需求进行设定与调整，比如所述预设规则可以是按照产品id、物料id等进行数据汇整。举例而言，所述目标数据包含有五千个产品的测试数据、生产组装数据、物料数据等，该五千个产品可以是相同的产品，也可以是不相同的产品，每个产品具有唯一的id标识，所述id产品即可指具有id标识的产品。所述整合模块20对经过解析处理的目标数据按照预设规则进行关联性整合，可以得到每一所述id产品的历程信息，所述历程信息可以是从产品物料备料、产品产线组装、测试等信息，表征了产品走过的历程、相关检测数据及结果。

来源于不同数据源200a-200f的目标数据，经过所述整合模块20的处理，属于同一产品id的产品相关数据将会被整合在一起，比如每一id产品的数据可以以树形结构的方式进行呈现。

在一实施方式中，所述整合模块20对属于同一产品id的数据进行整合时，该id产品包含的其他信息亦会同时进行整合，比如产品的物料数据，可以将产品的一物料a的测试数据及物料参数信息以物料a为节点整合至一起。

所述第一建立模块30用于根据每一所述id产品的历程信息建立多维度大表，其中在所述多维度大表中，每一所述id产品包括多个维度特征。

在一实施方式中，所述多维度大表对应一议题，当用户建立议题后，所述第一建立模块30可以根据每一所述id产品的历程信息建立多维度大表。所述多维度大表中包含有多个id产品的历程信息，每一id产品可以包括多个维度特征，每一维度特征可以表征产品的一参数。比如，多个维度特征中的一维度特征a1表征了该产品的一物料信息，一维度特征a2表征了该产品的测试信息，一维度特征a3表征了该产品的产线组装信息。每一维度特征同样可以包括多阶子维度特征。

所述第二建立模块40用于获取待分析案例的数据分析范围，并根据所述数据分析范围在所述多维度大表下建立与所述待分析案例匹配的案例维度表。

在一实施方式中，待分析案例可以按照实际的分析需求进行建立，比如所述待分析案例可以依据产品失效分析需求进行建立。当用户在所述议题下创建所述待分析案例后，所述第二建立模块40可以获取所述待分析案例的数据分析范围，并根据所述数据分析范围在所述多维度大表下建立与所述待分析案例匹配的案例维度表。

举例而言，当某一产品被确定为故障产品或者被客户退货后，可以在所述议题下为该产品建立一待分析案例，并设定该待分析案例需要分析的数据范围，再根据所述数据分析范围在所述多维度大表中提取数据，以建立与所述待分析案例匹配的案例维度表。所述数据分析范围可以是指定的产品物料、指定的测试项目、指定的时间区间等等，所述案例维度表包含有该产品需要被分析的数据。

所述分析模块50用于对所述案例维度表进行分析，输出并保存所述案例维度表的分析结果及案例维度表数据。

在一实施方式中，当建立好案例维度表后，可以采用线上分析方式或者离线分析方式对所述案例维度表进行分析，所述线上分析方式和所述离线分析方式可以包含有不同的分析工具。线上分析方式即对待分析案例的案例维度表进行在线即时分析，依据数据分析装置100预先安装的分析工具对所述案例维度表进行分析，比如散点图分析工具、长条图分析工具、箱型图分析工具、折线图分析工具、常态分布图分析工具、良率表分析工具、测试名称比对工具等。由于分析参数均存储在所述数据分析装置100中，当所述解析模块10更新目标数据时，多维度大表亦可以即时更新。所述案例维度表可以依据用户的意愿选择是否更新，当接收到用户输入的案例维度表更新指令时，可以根据更新后的多维度大表对所述案例维度表进行更新。

当数据分析装置100提供的数据分析功能不能满足用户需求时，可以采用离线分析方式来对所述案例维度表进行分析，所述离线分析方式即下载多维度大表及案例维度表至其他客户端，利用该客户端上的分析工具对案例维度表进行分析。当所述解析模块10更新目标数据时，需要重新下载更新后的多维度大表及案例维度表至该客户端，以更新分析结果。

举例而言，当用户需要采用rapidminer软件对所述案例维度表进行分析时，而数据分析装置无法满足该需求时，此时可以采用离线分析方式将多维度大表及案例维度表下载至安装有rapidminer软件的客户端，以完成该分析需求。

在一实施方式中，由于案例维度表包含的维度特征可能有成百上千个，若一个一个地对维度特征进行分析，将会花费较多的时间。当所述分析模块50对所述案例维度表进行分析前，还可以通过以下方式来提高维度表分析效率：所述分析模块50获取所述议题下的历史案例数据(一个或者多个)，并基于所述历史案例数据对所述案例维度表进行分析。举例而言，当历史案例的失效维度特征为维度特征a1-a3时，若该案例维度表同样包含有维度特征a1-a3，此时所述分析模块50优先对所述案例维度表的维度特征a1-a3进行分析。

请同时参阅图3，与图2相比，数据分析装置100还包括设定模块60。所述设定模块60用于设定所述目标数据的更新时间节点，以实现更新所述多维度大表。所述解析模块可以根据设定模块60设定的更新时间节点定时从多个数据源200a-200f中重新获取目标数据，进而所述第一建立模块30可以根据重新获取的目标数据更新所述多维度大表。所述第二建立模块40也可以根据更新后的多维度大表及用户输入的更新指令更新所述案例维度表。

图4为本发明一实施方式中数据分析方法的流程图。本方法可以使用在图2或图3的数据分析装置100中。

步骤s400，从多个数据源200a-200f中获取目标数据，并对所述目标数据进行解析处理，其中所述目标数据包括多个id产品不同角度的产品信息。

步骤s402，对经过解析处理的目标数据按照预设规则进行关联性整合，以得到每一所述id产品的历程信息。

步骤s404，根据每一所述id产品的历程信息建立多维度大表，其中在所述多维度大表中，每一所述id产品包括多个维度特征。

步骤s406，获取待分析案例的数据分析范围，并根据所述数据分析范围在所述多维度大表下建立与所述待分析案例匹配的案例维度表。

步骤s408，对所述案例维度表进行分析，输出并保存所述案例维度表的分析结果及案例维度表数据。

上述设数据分析装置、方法及计算机可读存储介质，其可实现自动收集多个系统的数据，并对收集的数据进行关联性整合，数据收集整合时间相对于人工收集大幅减小，同时依据整合得到的数据建立多维度大表做为数据分析的基础依据，用户可自行创建议题，再于议题下建立待分析案例，以进行案例分析，可以实现建立依据用户需求洞察数据的维度大表，亦支持将数据下载进行脱机分析。

对本领域的技术人员来说，可以根据本发明的发明方案和发明构思结合生产的实际需要做出其他相应的改变或调整，而这些改变和调整都应属于本发明所公开的范围。