一种数据处理的方法及装置的制造方法
【技术领域】
[0001]本申请涉及数据计算处理技术领域，特别涉及一种数据处理的方法及装置。
【背景技术】
[0002]目前，很多数据平台可以向第三方APP(AppliCat1n，应用程序)提供数据。第三方APP使用数据平台提供的数据按需进行加工。在数据平台在为各个应用程序提供数据时，通常需要根据每个APP的需求分别为各个APP提供数据。
[0003]图1为现有技术中数据平台为不同APP提供数据的方案示意图，如图1所示，现有技术中数据平台为APPI和APP2两个不同APP提供数据时，需要分别对APP1、APP2所需的数据分别处理。
[0004]图2为现有技术中数据平台为不同APP提供数据的数据处理流程示意图，如图2所示，针对APPl和APP2，即便数据源相同、数据计算单元的类型相同，类型相同的节点分别将A、B、C三个数据计算了两遍。即，两个APP从数据平台获取的源数据流相同且处理源数据流的节点类型也相同时，也会采用同类型的节点把相同的数据进行两次处理的方案。
[0005]综上，现有技术中的数据平台对于多个不同的APP对应的数据的处理会进行多次重复的数据处理，造成了数据平台数据处理资源的浪费。
[0006]申请内容
[0007]本申请实施例提出了一种数据处理的方法及装置，用以解决现有技术中开放数据平台数据处理资源浪费的问题。
[0008]本申请实施例提供了一种数据处理的方法，包括如下步骤:
[0009]接收到源数据流时，确定所述源数据流对应的多个应用程序；
[0010]确定所述应用程序对应的节点类型及有向无环节点网络;所述节点为处理所述源数据流得到所述应用程序对应的数据的节点;所述有向无环节点网络是根据所述源数据流处理的顺序将各所述节点有向连接形成的；
[0011]根据所述节点类型及有向无环节点网络，对所述有向无环节点网络进行去重处理:
[0012]基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。
[0013]本申请实施例提供了一种数据处理的装置，包括:
[0014]确定单元，用于接收到源数据流时，确定所述源数据流对应的多个应用程序；
[0015]所述确定单元进一步用于确定所述应用程序对应的节点类型及有向无环节点网络;所述节点为处理所述源数据流得到所述应用程序对应的数据的节点；所述有向无环节点网络是根据所述源数据流处理的顺序将各所述节点有向连接形成的；
[0016]去重单元，用于根据所述节点类型及有向无环节点网络，对所述有向无环节点网络进彳T去重处理；
[0017]处理单元，用于基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。
[0018]本申请有益效果如下:
[0019]本申请实施例提供了一种数据处理的方法及装置，接收到源数据流时，确定所述源数据流对应的多个应用程序，并确定所述应用程序对应的节点类型及有向无环节点网络;根据所述节点类型及有向无环节点网络，对所述有向无环节点网络进行去重处理;基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。而无需如现有技术将多个应用程序需要的经过相同类型的节点将相同源数据流进行多次重复的数据处理，可以提高平台的数据处理资源利用率，避免不必要的资源浪费。
【附图说明】
[0020]下面将参照附图描述本申请的具体实施例。
[0021]图1为现有技术中数据平台为不同APP提供数据的方案示意图；
[0022]图2为现有技术中数据平台为不同APP提供数据的数据处理示意图；
[0023]图3为本申请实施例中数据处理的方法的流程示意图；
[0024]图4为本申请实施例中为两个不同的APP进行数据处理的示意图；
[0025]图5为本申请实施例中为四个不同的APP进行数据处理的示意图；
[0026]图6为本申请实施例中为两个不同的APP进行数据处理过程中的各节点输出的数据标识确定的示意图；
[0027]图7为本申请实施例中为四个不同的APP进行数据处理过程中的各节点输出的数据标识确定的示意图；
[0028]图8为本申请实施例中数据处理的装置的结构示意图。
【具体实施方式】
[0029]为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明书中的实施例及实施例中的特征可以互相结合。
[0030]图3为本申请实施例中数据处理的方法的流程示意图，该方法可应用于为APP提供数据的数据平台，如图3所示，该数据处理的方法可以包括如下步骤:
[0031]步骤301:接收到源数据流时，确定所述源数据流对应的多个应用程序；
[0032]步骤302:确定所述应用程序对应的节点类型及有向无环节点网络;所述节点为处理所述源数据流得到所述应用程序对应的数据的节点;所述有向无环节点网络是根据所述源数据流处理的顺序将各所述节点有向连接形成的；
[0033]步骤303:根据所述节点类型及有向无环节点网络，对所述有向无环节点网络进行去重处理；
[0034]步骤304:基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。
[0035]具体实施中，数据平台可以由源数据流驱动，当接收到输入的源数据流时，数据平台根据源数据流与应用程序之前的对应关系，确定与所述源数据流对应的多个应用程序。
[0036]在确定与所述源数据流对应的多个应用程序后，根据预先存储的应用程序与有向无环节点网络的对应关系，确定所述应用程序对应的节点类型及有向无环节点网络。
[0037]根据所述多个应用程序对应的节点类型及有向无环节点网络，对多个应用程序对应的相同的有向无环节点子网络进行去重处理，以得到一个没有冗余数据处理的有向无环节点网络。
[0038]本申请实施例中的节点可以对数据进行相应处理并产生输出数据。具体的，所述节点可以是一个运行数据处理程序的硬件实体，也可以是一段程序，接收输入数据，并产生输出数据。例如，节点是一个基于Docker的轻量级容器。进一步地，节点可以分为短运行时的和长运行时两种类型。短运行时的节点往往是无状态的纯计算节点，大多数数据处理的节点都是短运行时类型的，以方便进行弹性扩容等计算资源管理;长运行时类型的节点往往是存储相关的节点信息或数据，如数据库节点信息或数据、内存数据库节点信息或数据、文件存储节点信息或数据等。通常，在数据平台上，长运行时节点可以是预先定义好的，而不是由第三方APP开发者自己定义。
[0039]通常，类型相同的节点对数据进行的处理是相同的，也即，相同的数据分别输入至两个类型相同的节点处理后输出的数据也是相同的。
[0040]数据处理过程中，位于同一数据处理流程中的互为上下游节点的节点之间存在数据连接，通过数据连接基于相应的标准化通信协议(如HTTP(Hyper Text TransferProtocol，超文本传输协议)N TCP (Transmi ss 1n Control Protocol，传输控制协议)等)的数据通路进行数据传输。
[0041]当处理所述源数据的各节点按照各个APP具体需求的数据处理流程连接形成一个有向无环节点网络，可以形成一个有向无环图，而多个有向无环图是可以合并的，合并后的有向无环图称作混合有向无环图。
[0042]本申请实施例提供了一种为应用程序提供数据的方法，接收到源数据流时，确定所述源数据流对应的多个应用程序，并确定所述应用程序对应的节点类型及有向无环节点网络;根据所述节点类型及有向无环节点网络，对所述有向无环节点网络进行去重处理;基于去重后的有向无环节点网络进行所述多个应用程序对应的数据处理。而无需如现有技术将多个应用程序需要的相同类型的节点将相同源数据流进行多次重复的数据处理，可以提高平台的数据处理资源利用率，避免不必要的资源浪费。
[0043]实施中，根据节点类型及有向无环节点网络，对所述有向无环节点网络进行去重处理，可以具体包括:
[0044]根据所述节点类型的标识及有向无环节点网络，确定所述节点输出的数据标识；
[0045]将所述节点输出的数据标识进行比较；
[0046]若多个应用程序的所述有向无环节点网络中具有标识相同的数据，合并输出所述数据的多个有向无环节点子网络为一个有向无环节点子网络。
[0047]具体实施中，图4为本申请实施例中为两个不同的APP进行数据处理的示意图，对于图1中APPl和APP2的数据请求的处理可以如图4所示，由于APPl对应的数据E和APP2对应的数据F有相同源数据流Data A和Data B以及M类型节点输出的相同的数据Data C，所以，可以在将现有技术中两个输出Data C的有向无环节点网络合并为一个输出Data C的有向无环节点网络，现有技术中需要两个M类型节点进行数据处理，而采用本申请实施例提供的数据处理的方法只需一个M类型节点进行数据处理，有效节约了数据处理资源。
[0