一种数据分析的方法和装置与流程

本发明涉及计算机技术领域，尤其涉及一种数据分析的方法和装置。

背景技术

数据分析一般分为分析和评估两部分，将原始数据分析出一个模型后，再对模型进行抽样评估，当评估的结果有异常后，又会返回到分析流程修改现有模型，然后再次进入评估流程。经过分析和评估流程之间的多次重复后，才能得到可靠的模型。数据分析具体来说就是,用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

数据评估/数据标注：逐条对数据进行分析，标注其正负样本的过程。

抽样：又称取样，从欲研究的全部样品中抽取一部分样品单位，其基本要求是要保证所抽取的样品单位对全部样品具有充分的代表性。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

每次的评估过程都是对一个全新的样本集合进行分析，从而导致每次评估都需要耗费同样多的人力，降低了工作效率。

技术实现要素：

有鉴于此，本发明实施例提供一种数据分析的方法和装置，能够解决在评估过程中的消耗人力多以及工作效率低的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据分析的方法。

本发明实施例的数据分析的方法包括：根据过滤函数从原始数据中确定出第一模型识别结果与第二模型识别结果，然后确定出第一模型识别结果与第二模型识别结果的交集；根据交集以及抽取的样本数量确定出自适应样本数量；根据自适应样本数量从第一模型识别结果中确定出重用样本数据和重用样本数据所对应的重用评估结果，以及从第二模型识别结果中确定出增量样本数据；对增量样本数据进行评估，以确定出增量评估结果，并以重用评估结果和增量评估结果为最终评估结果对原始数据进行分析。

可选地，本发明的实施例根据交集以及抽取的样本数量确定出自适应样本数量，包括：

其中，表示原始数据的集合，表示第一模型的分析条件，表示第二模型的分析条件，表示从第一模型识别结果抽取的样本数量，表示从第二模型识别结果抽取的样本数量，表示按照的分析条件对集合进行过滤得到的第一模型识别结果的集合，表示按照的分析条件对集合进行过滤得到的第二模型识别结果的集合，表示集合与集合的交集中的元素的个数。

可选地，本发明的实施例在根据自适应样本数量从第一模型识别结果中确定出重用样本数据和重用样本数据所对应的重用评估结果，以及从第二模型识别结果中确定出增量样本数据的步骤之前，还包括：根据抽样函数从第一模型识别结果中确定出第一样本数据，以及从第二模型识别结果中确定出第二样本数据，其中，第一样本数据中包括重用样本数据，第二样本数据中包括增量样本数据；并且，根据自适应样本数量从第一模型识别结果中确定出重用样本数据和重用样本数据所对应的重用评估结果，以及从第二模型识别结果中确定出增量样本数据的步骤包括：从第一样本数据中确定出与自适应样本数量相同的重用样本数据，从第一模型识别结果的评估结果中确定出重用评估结果；根据样本数量以及自适应样本数量，从第二模型识别结果中确定出增量样本数据。

为实现上述目的，根据本发明实施例的另一方面，提供了一种数据分析的装置。

本发明实施例的一种数据分析的装置包括：第一确定模块，用于根据过滤函数从原始数据中确定出第一模型识别结果与第二模型识别结果，然后确定出第一模型识别结果与第二模型识别结果的交集；第二确定模块，用于根据交集以及抽取的样本数量确定出自适应样本数量；第三确定模块，用于根据自适应样本数量从第一模型识别结果中确定出重用样本数据和重用样本数据所对应的重用评估结果，以及从第二模型识别结果中确定出增量样本数据；处理模块，用于对增量样本数据进行评估，以确定出增量评估结果，并以重用评估结果和增量评估结果为最终评估结果对原始数据进行分析。

可选地，本发明实施例的第二确定模块还用于：

其中，表示原始数据的集合，表示第一模型的分析条件，表示第二模型的分析条件，表示从第一模型识别结果抽取的样本数量，表示从第二模型识别结果抽取的样本数量，表示按照的分析条件对集合进行过滤得到的第一模型识别结果的集合，表示按照的分析条件对集合进行过滤得到的第二模型识别结果的集合，表示集合与集合的交集中的元素的个数。

可选地，本发明的实施例还包括第四确定模块，用于：根据抽样函数从第一模型识别结果中确定出第一样本数据，以及从第二模型识别结果中确定出第二样本数据，其中，第一样本数据中包括重用样本数据，第二样本数据中包括增量样本数据；并且，第三确定模块还用于：从第一样本数据中确定出与自适应样本数量相同的重用样本数据，从第一模型识别结果的评估结果中确定出重用评估结果；根据样本数量以及自适应样本数量，从第二模型识别结果中确定出增量样本数据。

为实现上述目的，根据本发明实施例的再一方面，提供了一种数据分析的方法的电子设备。

本发明实施例的一种电子设备包括：至少一个处理器；以及，

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本发明实施例的数据分析的方法。

为实现上述目的，根据本发明实施例的又一方面，提供了一种计算机可读存储介质。

本发明实施例的一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行权利本发明实施例的数据分析的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用将历史的样本数据重新进行利用的技术手段，所以克服了每一次对样本数据进行评估都需要投入同样多的人力的技术问题，进而达到减少人力投入，提高工作效率的技术效果，有利于对样本数据进行快速的评估；通过对可以重用的样本数据进行重复利用，使得分析人员可以直接使用这部分样本数据的评估结果，因此能减少一部分评估人力的消耗，提供工作效率。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据分析的方法的主要步骤的示意图；

图2是根据本发明实施例的数据分析的方法的实现方式的示意图；

图3是根据本发明实施例的数据分析的装置的主要模块的示意图；

图4是用来实现本发明实施例的数据分析的方法的电子设备的硬件结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

正如本发明背景技术所述，现有技术中在对样本数据进行评估时，每次都会对同样多数量的样本数据进行评估，导致每次评估都会消耗同样多的人力，降低了工作效率，因此，本发明通过将历史的样本数据中可重复利用的样本数据进行重复利用，这样一来，就会降低样本数据的数量，从而减少人力消耗并且提高了工作效率。

图1是根据本发明实施例的数据分析的方法的主要步骤的示意图，如图1所示，本发明实施例的一种数据分析的方法主要包括以下步骤：

步骤s101：根据过滤函数从原始数据中确定出第一模型识别结果与第二模型识别结果，然后确定出第一模型识别结果与第二模型识别结果的交集。首先利用过滤函数从原始数据中筛选出模型识别结果，该模型识别结果包括原始数据中的有效特征数据，之后，还需要根据抽样函数从第一模型识别结果中确定出第一样本数据，以及从第二模型识别结果中确定出第二样本数据，其中，第一样本数据中包括重用样本数据，第二样本数据中包括增量样本数据。

步骤s102：根据交集以及抽取的样本数量确定出自适应样本数量。这里是根据交集中数据的个数在第一模型识别结果中数据的个数与第二模型识别结果中数据的个数中的占比，以及样本数量来确定自适应样本数量的，具体公式如下：

其中，表示原始数据的集合，表示第一模型的分析条件，表示第二模型的分析条件，表示从第一模型识别结果抽取的样本数量，表示从第二模型识别结果抽取的样本数量，表示按照的分析条件对集合进行过滤得到的第一模型识别结果的集合，表示按照的分析条件对集合进行过滤得到的第二模型识别结果的集合，表示集合与集合的交集中的元素的个数。

步骤s103：根据自适应样本数量从第一模型识别结果中确定出重用样本数据和重用样本数据所对应的重用评估结果，以及从第二模型识别结果中确定出增量样本数据。本步骤主要是确定出可以重复利用的重用样本，当然，增量样本数据是在第二样本数据中除了重用样本数据之外的数据，在一些使用场景中，增量样本数据也可以包含重用样本数据，在本发明实施例中具体的确定过程是：从第一样本数据中确定出与自适应样本数量相同的重用样本数据，从第一模型识别结果的评估结果中确定出重用评估结果；根据样本数量以及自适应样本数量，从第二模型识别结果中确定出增量样本数据。

步骤s104：对增量样本数据进行评估，以确定出增量评估结果，并以重用评估结果和增量评估结果为最终评估结果对原始数据进行分析。需要注意的是，最终评估结果可以是重用评估结果和/或增量评估结果的组合，然后根据最终评估结果对数据进行分析。例如，在一些实施例中，可以是以重用评估结果与增量评估结果的和为最终评估结果；也可以是以增量评估结果为最终评估结果；而在本申请的实施例中是以重用评估结果与增量评估结果的和为最终评估结果的。

图2是根据本发明实施例的数据分析的方法的实现方式的示意图，如图2所示，本发明提出了将历史样本数据(即上述的重用样本数据)与原始数据(即上述第二样本数据)作为一个自适应的抽样函数，确定出增量样本数据，然后对该增量样本数据进行评估，利用本发明的方法可以在多次重复的数据分析中，通过自适应样本的抽样方法来减少下一次抽样的样本数量，从而降低评估人力的消耗。

具体的，自适应抽样函数依据前一次的抽样结果，计算出自适应大小的增量样本数据，与历史样本数据一起构成新的样本数据，这样新的样本数据中就包含了一部分的历史样本数据，对新的样本数据进行评估时，可以跳过里面的历史样本数据(即仅需要对增量样本数据进行评估，然后通过重用评估结果和/或增量评估结果的组合来确定第二评估结果，具体的组合过程可以根据实际的使用场景确定)，因此可以减少评估的人力投入。

以下是样本自适应抽样方法的详细说明：

首先假设一些参数，如下：

原始集合：a；

第一次分析模型条件：x1；

第二次分析模型条件：x2；

第一次抽取样本数：n1；

第二次抽取样本数：n2。

过滤方法：p(a,x1)，表示按照x1条件对集合a进行过滤，即第一次分析模型的结果数据的集合(即上述第一模型识别结果)。

抽样方法：g(a,n1)，表示从集合a抽取n1条样本数据，即抽样样本数据(即上述第一样本数据)。

计算最小值方法：min(n1,n2)，表示取n1和n2的最小值。

计算交集的方法：a∩b，表示取集合a和集合b的交集。

计算集合大小的方法：s(a)，表示取集合a的大小。

依据以上假设参数，可以得到第一次分析模型的抽样结果为：n1＝g(p(a,x1),n1)，接下来如果按照现有技术方案，第二次分析模型的抽样结果为：n2＝g(p(a,x2),n2)。

本发明所采用的第二次分析模型的抽样结果(即上述的第二次评估结果)的主要步骤如下：

首先需要从历史样本数据中确定可以重用样本的数量(即上述重用样本数据)，具体函数为：

可以理解为，分别求两次模型的交集与两次模型的占比，依据两次占比乘以需要抽取的样本总数，取其最小值作为理论可重用的样本数量m。

然后需要确定抽样得到的可重用的样本集合(即上述重用评估结果)为：r＝g(p(n1,x2),m)。

可以理解为从第一次分析模型的抽样结果n1中抽取m条已有评估结果的样本作为第二次模型的抽样的一部分。

再确定增量抽样的集合(即上述增量评估结果)为：

i＝g(p(a,x2),n2-s(r))。

可以理解为，因为总共需要n2条数据，因此，只需增量进行抽样评估即可。

最后根据重用评估结果和/或增量评估结果的组合来确定第二次分析模型的抽样结果(即上述最终评估结果)，本发明的实施例是将重用评估结果和增量评估结果的的和来确定的，具体公式为：

n2＝r+i。

对于本发明实施例中的公式的推导步骤作如下释义：

1.计算第一次模型识别结果与第二次模型识别结果的交集；

2.计算1的交集数据占第一次模型识别结果的占比；

3.计算1的交集数据占第二次模型识别结果的占比；

4.计算2的占比乘以第一次抽取的样本量n1，计算3的占比乘以第二次抽取的样本量n2；

5.取4的最小值作为自适应的样本数量；

6.在第二次的模型结果中，抽取n2-m条增量的样本数据；

7.在第一次的抽样结果中抽取m条可以重用的样本数据；

8.6加7的样本数据就组成了第二次的抽样数据。

根据本发明实施例的数据分析的方法可以看出，因为采用将历史的样本数据重新进行利用的技术手段，所以克服了每一次对样本数据进行评估都需要投入同样多的人力的技术问题，进而达到减少人力投入，提高工作效率的技术效果，有利于对样本数据进行快速的评估；通过对可以重用的样本数据进行重复利用，使得分析人员可以直接使用这部分样本数据的评估结果，因此能减少一部分评估人力的消耗，提供工作效率。

图3是根据本发明实施例的数据分析的装置的主要模块的示意图，如图3所示，本发明实施例的数据分析的装置300包括：第一确定模块301、第二确定模块302、第三确定模块303以及处理模块304。其中：

第一确定模块301，用于根据过滤函数从原始数据中确定出第一模型识别结果与第二模型识别结果，然后确定出第一模型识别结果与第二模型识别结果的交集；第二确定模块302，用于根据交集以及抽取的样本数量确定出自适应样本数量；第三确定模块303，用于根据自适应样本数量从第一模型识别结果中确定出重用样本数据和重用样本数据所对应的重用评估结果，以及从第二模型识别结果中确定出增量样本数据；处理模块304，用于对增量样本数据进行评估，以确定出增量评估结果，并以重用评估结果和增量评估结果为最终评估结果对原始数据进行分析。

可选地，本发明实施例的第二确定模块302还用于：

其中，表示原始数据的集合，表示第一模型的分析条件，表示第二模型的分析条件，表示从第一模型识别结果抽取的样本数量，表示从第二模型识别结果抽取的样本数量，表示按照的分析条件对集合进行过滤得到的第一模型识别结果的集合，表示按照的分析条件对集合进行过滤得到的第二模型识别结果的集合，表示集合与集合的交集中的元素的个数。

可选地，本发明的实施例还包括第四确定模块305，用于：根据抽样函数从第一模型识别结果中确定出第一样本数据，以及从第二模型识别结果中确定出第二样本数据，其中，第一样本数据中包括重用样本数据，第二样本数据中包括增量样本数据；并且，第三确定模块303还用于：从第一样本数据中确定出与自适应样本数量相同的重用样本数据，从第一模型识别结果的评估结果中确定出重用评估结果；根据样本数量以及自适应样本数量，从第二模型识别结果中确定出增量样本数据。

从以上描述可以看出，因为采用将历史的样本数据重新进行利用的技术手段，所以克服了每一次对样本数据进行评估都需要投入同样多的人力的技术问题，进而达到减少人力投入，提高工作效率的技术效果，有利于对样本数据进行快速的评估；通过对可以重用的样本数据进行重复利用，使得分析人员可以直接使用这部分样本数据的评估结果，因此能减少一部分评估人力的消耗，提供工作效率。

根据本发明的实施例，本发明还提供了一种电子设备和一种可读介质。

下面参考图4，其示出了适于用来实现本申请实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统400包括中央处理单元(cpu)401，其可以根据存储在只读存储器(rom)402中的程序或者从存储部分408加载到随机访问存储器(ram)403中的程序而执行各种适当的动作和处理。在ram403中，还存储有系统400操作所需的各种程序和数据。cpu401、rom402以及ram403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。

以下部件连接至i/o接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至i/o接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本发明公开的实施例，上文主要步骤流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(cpu)401执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依据所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一确定模块、第二确定模块、第三确定模块以及处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：对第一样本数据进行评估，确定出第一评估结果；基于第一样本数据，确定出第二样本数据中的重用样本数据、增量样本数据以及重用样本数据在第一评估结果中对应的重用评估结果；对增量样本数据进行评估，确定出增量评估结果，并以重用评估结果和增量评估结果为第二评估结果对数据进行分析。

根据本发明实施例的技术方案，因为采用将历史的样本数据重新进行利用的技术手段，所以克服了每一次对样本数据进行评估都需要投入同样多的人力的技术问题，进而达到减少人力投入，提高工作效率的技术效果，有利于对样本数据进行快速的评估；通过对可以重用的样本数据进行重复利用，使得分析人员可以直接使用这部分样本数据的评估结果，因此能减少一部分评估人力的消耗，提供工作效率。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。