数据运行优化处理方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种数据运行优化处理方法和装置。


背景技术：

2.随着各大网络平台的普及，各类爆品、促销活动等容易导致曝光、浏览、点击、加购、订单等多个环节数据出现热点数据，从而致使在后台运行的任务加工过程中对涉及到热点数据的关联、分组、聚合等操作时产生数据倾斜，进而数据处理延迟，在用户端出现延迟卡顿的情况。
3.目前针对此种现象，大多是在数据倾斜发生后，手动调整sql计算逻辑设定将热点数据固定打散若干倍数，无法自适应调控打散倍数。在后续并行计算时，只能固定并行计算的任务数量，无法合理利用资源使用情况自适应调节同时运行的任务数量。
4.在实现本发明过程中，发明人发现现有的在数据倾斜后进行手动干预处理调整运行规划中至少存在如下问题：
5.(1)规划滞后问题，由于无法预先判断出热点，从而不能预先进行任务资源有效配置；
6.(2)无法兼顾时效与稳定性问题，由于手动调整sql计算逻辑设定将热点数据固定打散若干倍数已经是在产生数据倾斜之后，因此在用户端不仅会存在延迟与不稳定的现象，而且由于需要实时调整会造成用户体验差；
7.(3)浪费运算资源的问题，对热点数据进行打散后并行计算时，只能固定采用最大任务并行度并行计算，若任务环节数小于此时固定的最大任务并行度，将会浪费运算资源。


技术实现要素：

8.有鉴于此，本发明实施例提供一种数据运行优化处理方法和装置，能够很好地解决现有处理热点数据导致数据倾斜所存在的规划滞后、无法兼顾时效与稳定性和浪费运算资源的问题的至少一个，提高用户体验。
9.为实现上述目的，根据本发明的第一个方面，提供了一种数据运行优化处理方法。
10.本发明的数据运行优化处理方法包括：获取待检测数据，基于异常值检测算法确定所述待检测数据中的热点数据，根据所述热点数据的指标计数值确定所述热点数据的分桶个数，根据所述热点数据的分桶个数和任务运行时段的可用资源情况对所述热点数据进行任务运行规划。
11.可选地，所述获取待检测数据包括：基于实时流处理引擎获取与采集配置信息对应的实时流数据，并将所述实时流数据作为待检测数据；和/或，根据采集配置信息查询离线数据表，以得到与之对应的离线数据，并将查询到的所述离线数据作为待检测数据。其中，所述采集配置信息包括：关注字段、关注字段对应的热点数据评价指标。
12.可选地，所述异常值检测算法包括：正态分布3倍标准差算法，或，四分位箱型图算法。
13.可选地，在所述异常值检测算法为正态分布3倍标准差算法时，所述基于异常值检测算法确定所述待检测数据中的热点数据包括：对所述待检测数据在热点数据评价指标维度上进行汇聚，以得到汇聚后的指标计数值；确定所述待检测数据对应的正态分布的三倍标准差，并将其作为第一统计量；从所述待检测数据中筛选出所述汇聚后的指标计数值超过所述第一统计量的数据作为样本数据；确定所述样本数据对应的正态分布的三倍标准差，并将其作为第二统计量；从所述样本数据中筛选出所述指标计数值超过第二统计量的数据作为热点数据。
14.可选地，在所述异常值检测算法为四分位箱型图算法时，所述基于异常值检测算法确定所述待检测数据中的热点数据包括：对所述待检测数据在热点数据评价指标维度上进行汇聚，以得到汇聚后的指标计数值；将所述待检测数据按照汇聚后的指标计数值由小到大的顺序排列，计算所述待检测数据的第三四分位点与第一四分位点的差作为第三统计量；计算第三四分位点与1.5倍第三统计量的和作为第一上限；从所述待检测数据中筛选出所述指标计数值高于第一上限的数据作为样本数据；将所述样本数据按照所述指标计数值由小到大的顺序排列，计算所述样本数据的第三四分位点与第一四分位点的差作为第四统计量；计算第三四分位数与1.5倍第四统计量的和作为第二上限；从所述样本数据中筛选出所述指标计数值高于第二上限的数据作为热点数据。
15.可选地，所述根据所述热点数据的指标计数值确定所述热点数据的分桶个数包括：确定所述样本数据的指标计数值的平均值；确定所述热点数据的指标计数值的平均值；根据所述热点数据的指标计数值的平均值与所述样本数据的指标计数值的平均值确定热点数据的分桶个数。
16.可选地，所述根据所述热点数据的分桶个数和任务运行时段对应的可用资源情况对所述热点数据进行任务运行规划包括：根据所述热点数据的分桶个数与最大任务环节数确定处理所述热点数据所需的任务环节数；根据任务运行时段的可用资源情况确定所述任务运行时段的任务并行度；根据所述处理所述热点数据所需的任务并行度和单个任务环节的处理时长确定处理所述热点数据所需的任务环节的运行规划。
17.可选地，所述根据所述热点数据的分桶个数确定处理所述热点数据所需的任务环节数包括：对比所述分桶个数与最大任务环节数，若分桶个数小于或等于最大任务环节数，则将所述分桶个数作为所述热点数据的任务环节数，若分桶个数大于最大任务环节数，则将所述最大任务环节数作为所述热点数据的任务环节数。
18.为实现上述目的，根据本发明的第二个方面，提供了一种数据运行优化处理装置。
19.本发明的数据运行优化处理装置包括：数据获取模块，用于获取待检测数据；热点数据检测模块，用于基于异常值检测算法确定所述待检测数据中的热点数据；确定分桶数模块，用于根据所述热点数据的数据量统计结果确定所述热点数据的分桶个数；运行优化模块，用于根据所述热点数据的分桶个数和任务运行时段的可用资源情况对所述热点数据进行任务运行规划。
20.为实现上述目的，根据本发明的第三个方面，提供了一种电子设备。
21.本发明的电子设备，包括：一个或多个处理器；以及，存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明的数据运行优化处理方法。
22.为实现上述目的，根据本发明的第六个方面，提供了一种计算机可读介质。
23.本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明的数据运行优化处理方法。
24.上述发明中的一个实施例具有如下优点或有益效果：因为采用了获取待检测数据，基于异常值检测算法确定所述待检测数据中的热点数据，所以克服了前期不能预判热点数据的技术问题，从而为解决后续问题提供了基础。因为采用了根据所述热点数据的指标计数值确定所述热点数据的分桶个数技术手段，所以克服了现有技术中实时处理数据倾斜所存在的规划滞后、无法兼顾时效与稳定性的技术问题，进而达到实现预先判断热点数据并对其进行分桶规划处理，以保证数据运行平稳有序的技术效果。因为采用了根据所述热点数据的分桶个数和任务运行时段的可用资源情况对所述热点数据进行任务运行规划，所以克服了现有技术中固定并行计算的任务数量，从而导致浪费运算资源的技术问题，进而达到了合理规划使用运算资源的技术效果。经过本发明所采用的技术手段，最终达到了系统可以自动预先合理规划热点数据处理，从而提高用户体验。
25.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
26.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
27.图1是本发明实施例可以应用于其中的示例性系统架构图；
28.图2是根据本发明第一实施例的数据运行优化处理方法的主要流程示意图；
29.图3是根据本发明实施例中一种可选的热点数据检测原理示意图；
30.图4是根据本发明第二实施例的数据运行优化处理方法的主要流程示意图；
31.图5是根据本发明第三实施例的数据运行优化处理装置的主要模块示意图；
32.图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
33.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
34.需要指出的是，在不影响本发明实施的情况下，本发明中的各个实施例以及实施例中的技术特征可以相互组合。
35.图1示出了可以应用本发明实施例的数据运行优化方法或数据运行优化装置的示例性系统架构100。
36.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
37.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发
送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
38.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
39.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的购物类应用提供支持的后台管理服务器。例如，后台管理服务器可以检测热点数据，并对热点数据进行任务运行规划等。
40.需要说明的是，本发明实施例所提供的数据运行优化方法一般由服务器执行，相应地，数据运行优化装置一般设置于服务器中。
41.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
42.第一实施例
43.图2是根据本发明第一实施例的数据运行优化处理方法的主要流程示意图。如图2所示，本发明实施例的数据运行优化处理方法包括：
44.步骤s201：获取待检测数据。
45.在一个可选示例中，获取待检测数据包括：基于实时流处理引擎获取与采集配置信息对应的实时流数据，并将所述实时流数据作为待检测数据；和/或，根据采集配置信息查询离线数据表，以得到与之对应的离线数据，并将查询到的所述离线数据作为待检测数据；其中，所述采集配置信息包括：关注字段、关注字段对应的热点数据评价指标。
46.在判断不同环节的热点数据时，需要采集不同类型的原始数据信息，例如，在判断点击环节的热点数据时，需要采集点击各个商品的商品标识(sku_id)的数据信息，则相应的采集配置信息包括：sku_id、count amount。其中sku_id表示关注字段为商品标识，count amount表示关注字段对应的热点数据评价指标为点击量。
47.在一个可选实施方式中，在实时数据获取时，实时流处理引擎根据所述采集配置信息获取所述采集配置对应的实时流数据，将其存储入本地文件系统作为待检测数据，以便热点判断时调取。实时数据可帮助提前预知数据热点情况，提前进行预警，减少直接对离线数据检测的耗时。
48.在另一个可选实施方式中，在离线数据获取时，直接采用离线数据表进行检测。离线数据检测是在实时数据的t+1天才可进行检测的，针对前一天生成的离线数据表，根据采集配置信息生成离线数据查询sql，确定所述采集配置对应的离线数据，并将所述离线数据存储入本地文件系统作为待检测数据，以便热点判断时调取。该方式适用于关系型数据库或分布式数据库，如mysql(一种关系型数据库)、hive(一种数据仓库工具)、hbase(一种非结构化数据仓库)等。
49.步骤s202：基于异常值检测算法确定所述待检测数据中的热点数据。
50.在一个可选示例中，基于异常值检测算法确定所述待检测数据中的热点数据包括：对所述待检测数据在热点数据评价指标维度上进行汇聚，以得到汇聚后的指标计数值。例如，在判断各个商品是否为点击环节的热点数据时，需要汇聚点击各个商品标识(sku_id)的点击量(count amount)的数据信息，因此在判断点击环节的热点数据时，需要将待检测数据在各个商品标识(sku_id)的点击量(count amount)的数据信息维度上进行汇聚，进
而使用汇聚函数得到所述汇聚后的指标计数值。
51.在一个可选示例中，异常值检测算法包括：正态分布3倍标准差算法，或，四分位箱型图算法。
52.在一个可选实施方式中，使用正态分布3倍标准差算法确定异常值时，首先需要确定所述待检测数据的正态分布，其次确定所述待检测数据对应的正态分布的三倍标准差，并将其作为第一统计量；从所述待检测数据中筛选出所述指标计数值超过所述第一统计量的数据作为样本数据，如图3左侧图所示；针对所述样本数据，确定所述样本数据对应的正态分布，进而确定所述样本数据对应的正态分布的三倍标准差，并将其作为第二统计量；从所述样本数据中筛选出所述指标计数值超过第二统计量的数据作为热点数据，如图3右侧图所示。
53.在另一个可选实施方式中，四分位箱型图算法对所述待检测数据按照汇聚后的指标计数值由小到大的顺序排列分成四等份，处于三个分割点位置的数值就是四分位数。将所述待检测数据按照汇聚后的指标计数值由小到大排列后第25％的数字确定为第一四分位点(q1)，又称“较小四分位数”。将所述待检测数据按照汇聚后的指标计数值由小到大排列后第50％的数字确定为第二四分位点(q2)，又称“中位数”。将所述待检测数据按照汇聚后的指标计数值由小到大排列后第75％的数字确定为第三四分位点(q3)，又称“较大四分位数”。计算所述待检测数据的第三四分位点与第一四分位点的差作为第三统计量，在此基础上计算第三四分位点与1.5倍第三统计量的和作为第一上限；从所述待检测数据中筛选出高于第一上限的数据作为样本数据；将所述样本数据按照所述指标计数值由小到大的顺序排列，计算所述样本数据的第三四分位点与第一四分位点的差作为第四统计量；计算第三四分位点与1.5倍第四统计量的和作为第二上限；从所述样本数据中筛选出高于第二上限的数据作为热点数据。
54.需要注意的是，本发明异常值检测算法执行的轮次并不局限于固定的两次，进行不同轮次是为了找出更贴合实际热点数据的数据量，具体进行几轮，可根据各行业数据量级、经验异常值数量等实际情况进行调整。
55.步骤s203：根据所述热点数据的指标计数值确定所述热点数据的分桶个数。
56.在一个可选示例中，根据所述热点数据的指标计数值确定所述热点数据的分桶个数包括：确定所述样本数据的指标计数值的平均值；确定所述热点数据的指标计数值的平均值；根据所述热点数据的指标计数值的平均值与所述样本数据的指标计数值的平均值确定热点数据的分桶个数。
57.例如，假设在点击环节的样本数据的指标计数值的平均值为500，在点击环节的热点数据的指标计数值的平均值为50，则点击环节的分桶个数为10个(计算过程为500
÷
50＝10)。
58.步骤s204：根据所述热点数据的分桶个数和任务运行时段的可用资源情况对所述热点数据进行任务运行规划。
59.在该步骤中，对于某一确定的任务运行时段，根据所述任务运行时段的可用资源情况确定所述任务运行时段的任务并行度。如果所述分桶个数大于所述运行时段的任务并行度，则按照所述运行时段的任务并行度进行打散运算，将剩余的分桶按照相同的方法进行多轮次的分桶打散运算；如果所述任务环节数小于所述运行时段的任务并行度，则按照
所述分桶个数进行分桶打散运算。
60.例如，所述分桶个数为12，所述任务运行时段的任务并行度为8，此时的分桶个数12大于任务运行时段的任务并度8，在这种情况下，将8作为本轮的分桶个数进行打散运算，此轮规划结束；在下一轮时剩余4个分桶，可见此时的分桶个数4小于任务运行时段的任务并行度8，在这种情况下，将4作为本轮的分桶个数进行打散运算，此时数据打散运行规划结束。
61.在本发明实施例中，通过以上步骤实现了数据运行优化处理。与现有技术相对比，因为采用了获取待检测数据，基于异常值检测算法确定所述待检测数据中的热点数据，所以克服了前期不能预判热点数据的技术问题，从而为解决后续问题提供了基础。因为采用了根据所述热点数据的指标计数值确定所述热点数据的分桶个数技术手段，所以克服了现有技术中实时处理数据倾斜所存在的规划滞后、无法兼顾时效与稳定性的技术问题，进而达到实现预先判断热点数据并对其进行分桶规划处理，以保证数据运行平稳有序的技术效果。因为采用了根据所述热点数据的分桶个数和任务运行时段的可用资源情况对所述热点数据进行任务运行规划，所以克服了现有技术中固定并行计算的任务数量，从而导致浪费运算资源的技术问题，进而达到了合理规划使用运算资源的技术效果。经过本发明所采用的技术手段，最终达到了系统可以自动预先合理规划热点数据处理，从而提高用户体验。
62.第二实施例
63.图4是根据本发明第二实施例的数据运行优化处理方法的主要流程示意图。如图4所示，本发明实施例的数据运行优化处理方法包括：
64.步骤s401：获取待检测数据。
65.在一个可选示例中，获取待检测数据包括：基于实时流处理引擎获取与采集配置信息对应的实时流数据，并将所述实时流数据作为待检测数据；和/或，根据采集配置信息查询离线数据表，以得到与之对应的离线数据，并将查询到的所述离线数据作为待检测数据；其中，所述采集配置信息包括：关注字段、关注字段对应的热点数据评价指标。
66.在判断不同环节的热点数据时，需要采集不同类型的原始数据信息，例如，在判断点击环节的热点数据时，需要采集点击各个商品的商品标识(sku_id)的数据信息，则相应的采集配置信息包括：sku_id、count amount。其中sku_id表示关注字段为商品标识，count amount表示关注字段对应的热点数据评价指标为点击量。
67.在一个可选实施方式中，在实时数据获取时，实时流处理引擎根据所述采集配置信息获取所述采集配置对应的实时流数据，将其存储入本地文件系统作为待检测数据，以便热点判断时调取。实时数据可帮助提前预知数据热点情况，提前进行预警，减少直接对离线数据检测的耗时。
68.在另一个可选实施方式中，在离线数据获取时，直接采用离线数据表进行检测。离线数据检测是在实时数据的t+1天才可进行检测的，针对前一天生成的离线数据表，根据采集配置信息生成离线数据查询sql，确定所述采集配置对应的离线数据，并将所述离线数据存储入本地文件系统作为待检测数据，以便热点判断时调取。该方式适用于关系型数据库或分布式数据库，如mysql(一种关系型数据库)、hive(一种数据仓库工具)、hbase(一种非结构化数据仓库)等。
69.步骤s402：基于异常值检测算法确定待检测数据中的热点数据。
70.在一个可选示例中，基于异常值检测算法确定所述待检测数据中的热点数据包括：对所述待检测数据在热点数据评价指标维度上进行汇聚，以得到汇聚后的指标计数值。例如，在判断各个商品是否为点击环节的热点数据时，需要汇聚点击各个商品标识(sku_id)的点击量(count amount)的数据信息，因此在判断点击热点数据时，需要在各个商品标识(sku_id)的点击量(count amount)的数据信息维度上进行汇聚，进而使用汇聚函数得到所述汇聚后的指标计数值。
71.在一个可选实例中，异常值检测算法包括：正态分布3倍标准差算法，或，四分位箱型图算法。
72.在一个可选实施方式中，使用正态分布3倍标准差算法确定异常值时，首先需要确定所述待检测数据的正态分布，其次确定所述待检测数据对应的正态分布的三倍标准差，并将其作为第一统计量；从所述待检测数据中筛选出所述指标计数值超过所述第一统计量的数据作为样本数据，如图3左侧图所示；针对所述样本数据，确定所述样本数据对应的正态分布，进而确定所述样本数据对应的正态分布的三倍标准差，并将其作为第二统计量；从所述样本数据中筛选出所述指标计数值超过第二统计量的数据作为热点数据，如图3右侧图所示。
73.在另一个可选实施方式中，使用四分位箱型图算法确定异常值时，对所述待检测数据按照汇聚后的指标计数值由小到大的顺序排列分成四等份，处于三个分割点位置的数值就是四分位数。将所述待检测数据按照汇聚后的指标计数值由小到大排列后第25％的数字确定为第一四分位点(q1)，又称“较小四分位数”。将所述待检测数据按照汇聚后的指标计数值由小到大排列后第50％的数字确定为第二四分位点(q2)，又称“中位数”。将所述待检测数据按照汇聚后的指标计数值由小到大排列后第75％的数字确定为第三四分位点(q3)，又称“较大四分位数”。计算所述待检测数据的第三四分位点与第一四分位点的差作为第三统计量，在此基础上计算第三四分位点与1.5倍第三统计量的和作为第一上限；从所述待检测数据中筛选出高于第一上限的数据作为样本数据；将所述样本数据按照所述指标计数值由小到大的顺序排列，计算所述样本数据的第三四分位点与第一四分位点的差作为第四统计量；计算第三四分位点与1.5倍第四统计量的和作为第二上限；从所述样本数据中筛选出高于第二上限的数据作为热点数据。
74.需要注意的是，本发明异常值检测算法所执行的轮次并不局限于固定的两次，进行不同轮次是为了找出更贴合实际热点数据的数据量，具体进行几轮，可根据各行业数据量级、经验异常值数量等实际情况调整。
75.步骤s403：根据所述热点数据的指标计数值确定所述热点数据的分桶个数。
76.在一个可选示例中，根据所述热点数据的指标计数值确定所述热点数据的分桶个数包括：确定所述样本数据的指标计数值的平均值；确定所述热点数据的指标计数值的平均值；根据所述热点数据的指标计数值的平均值与所述样本数据的指标计数值的平均值确定热点数据的分桶个数。
77.例如，假设在点击环节的样本数据的指标计数值的平均值为500，在点击环节的热点数据的指标计数值的平均值为50，则点击环节的分桶个数为10个(500
÷
50＝10)。具体实施时，考虑到所述热点数据的指标计数值的平均值与所述样本数据的指标计数值的平均值这两者的比值可能为小数，鉴于此，可对所述比值进行取整操作，以保证得到的分桶个数为
整数。
78.步骤s404：判断分桶个数是否大于最大任务环节数。若是，执行步骤s405，若否，执行s406。
79.在该步骤中，针对某一确定任务运行时段中，如果所述分桶个数大于所述运行时段的最大任务环节数，则执行s406；如果所述分桶个数小于或等于所述运行时段的最大任务环节数，则执行s407。
80.步骤s405：取最大任务环节数作为任务环节数。
81.在该步骤中，针对分桶数大于最大任务环节数的情况，将最大任务环节数作为处理该热点数据所需的任务环节数。
82.步骤s406：取分桶个数作为任务环节数。
83.在该步骤中，针对步骤s403确定的分桶数小于或等于最大任务环节数的情况，将分桶数作为处理该热点数据所需的任务环节数。
84.示例性地，如果分桶个数为12，所述任务运行时段的最大任务环节数为8，此时的分桶个数12大于任务运行时段的最大任务环节数8，在这种情况下，选择8作为处理该热点数据所需的任务环节数；如果分桶个数为4，所述任务运行时段的最大任务环节数为8，此时的分桶个数4小于任务运行时段的最大任务环节数8，在这种情况下，选择4作为处理该热点数据所需的任务环节数。
85.步骤s407：根据任务运行时段的可用资源情况确定所述任务运行时段的任务并行度。
86.在一个可选示例中，所述任务并行度是根据历史数据中的各时段的资源空闲情况确定的。进一步，在该可选示例中，所述各时段资源空闲情况可以由列队使用内存(memory)情况确定。所述任务并行度在确定后可存储至配置表中，以供后续确定运行规划时使用。
87.需要注意的是，本发明的历史数据可以为过去半小时，或，一小时，或，一天等，具体选取的时间段可根据具体的实施情况而确定。
88.示例性地，针对某一队列使用内存(memory)情况确定各时段的任务并行度如下：0:00
‑
1:00：任务并行度为10；1:00
‑
2:00：任务并行度为8；2:00
‑
3:00：任务并行度为6；3:00
‑
4:00：任务并行度为4；4:00
‑
5:00：任务并行度为6；5:00
‑
6:00：任务并行度为4；6:00
‑
7:00：任务并行度为8；7:00
‑
8:00：任务并行度为10；8:00
‑
9:00：任务并行度为10；9:00
‑
10:00：任务并行度为4。
89.步骤s408：根据所述任务运行时段的任务并行度和单个任务环节的处理时长确定处理所述热点数据所需的任务环节的运行规划。
90.单个任务环节的处理时长根据具体系统的计算能力而确定。例如，单个任务的处理时长为10分钟，5分钟或其他数值。
91.示例性地，步骤s408包括一轮或多轮运行规划。可如需执行本步骤第二轮的时候，需要判断是否与前一轮运行是相同时段，如果是，将剩余的任务环节数与上一轮相同的任务并行度进行对比，如果不是，则需要将剩余的任务环节数与本轮所在时段所对应的任务并行度进行对比。
92.需要注意的是，任务运行阶段，每一个分桶由一个并发的任务实例运行计算，同时任务实例可根据配置的参数与数据打散分桶编号一一对应。
93.示例性地，假设分桶个数为25，最大任务环节数为23，单个任务环节的处理时长为10分钟，任务开始运行时间为3：40。对比分桶个数25与最大任务环节数23可知，选择23作为处理热点所需所需的任务环节数，查询可知，3:00
‑
4:00的任务并行度为4，对比任务环节数与此时任务并行度可知，此时任务环节数大于任务并行度，即选择任务并行度4进行打散运算，即在3:40
‑
3:50，启动4个任务环节进行运算；3:50
‑
4:00任务并行度为4，对比剩余任务环节数(19)与任务并行度可知，此时剩余的任务环节数大于任务并行度，即选择任务并行度4进行打散运算，即在3:50
‑
4:00，启动4个任务环节进行运算；在4:00
‑
5:00，任务并行度为6，对比剩余任务环节数(15)与任务并行度可知，此时剩余的任务环节数大于任务并行度，即选择任务并行度6进行打散运算，即在4:00
‑
4:10，启动4个任务环节进行运算；在4:10
‑
4:20任务并行度为6，对比剩余任务环节数(9)与任务并行度可知，此时剩余的任务环节数大于任务并行度，即选择任务并行度6进行打散运算，即在4:10
‑
4:20，启动6个任务环节进行运算；在4:20
‑
4:30任务并行度为6，对比剩余任务环节数(3)与任务并行度可知，此时剩余的任务环节数小于任务并行度，即选择剩余的任务环节数3进行打散运算，即在4:20
‑
4:30，启动3个任务环节数进行运算，完成规划。具体规划见下表1，在直接打散任务并发情况下，得到的任务运行规划为：3:40
‑
3:50运行10个任务环节；3:50
‑
4:00运行10个任务环节；4:00
‑
4:10运行3个任务环节；而根据本发明实施例步骤s408确定的任务运行规划为：3:40
‑
3:50运行4个任务环节；3:50
‑
4:00运行4个任务环节；4:00
‑
4:10运行6个任务环节；4:10
‑
4:20运行6个任务环节；4:20
‑
4:30运行3个任务环节。可见本发明通过步骤s408，克服了现有技术中只能固定并行计算的任务数量的技术问题，产生合理规划使用运算资源避免浪费运算资源的技术效果。
94.表1
[0095][0096]
在本发明实施例中，通过以上步骤实现了数据运行优化处理。与现有技术相对比，因为采用了获取待检测数据，基于异常值检测算法确定所述待检测数据中的热点数据，所以克服了前期不能预判热点数据的技术问题，从而为解决后续问题提供了基础。因为采用了根据所述热点数据的指标计数值确定所述热点数据的分桶个数技术手段，所以克服了现有技术中实时处理数据倾斜所存在的规划滞后、无法兼顾时效与稳定性的技术问题，进而达到实现预先判断热点数据并对其进行分桶规划处理，以保证数据运行平稳有序的技术效果。因为采用了根据所述热点数据的分桶个数和任务运行时段的可用资源情况对所述热点数据进行任务运行规划，所以克服了现有技术中固定并行计算的任务数量，从而导致浪费运算资源的技术问题，进而达到了合理规划使用运算资源的技术效果。经过本发明所采用的技术手段，最终达到了系统可以自动预先合理规划热点数据处理，从而提高用户体验。
[0097]
第三实施例
[0098]
图5是根据本发明第三实施例的数据运行优化装置的主要模块示意图。如图5所示，本发明实施例的数据运行优化装置500包括：数据获取模块501、热点数据检测模块502、确定分桶数模块503和运行优化模块504。
[0099]
数据获取模块501，用于获取待检测数据。
[0100]
示例性地，获取待检测数据包括：基于实时流处理引擎获取与采集配置信息对应的实时流数据，并将所述实时流数据作为待检测数据；和/或，根据采集配置信息查询离线数据表，以得到与之对应的离线数据，并将查询到的所述离线数据作为待检测数据；其中，所述采集配置信息包括：关注字段、关注字段对应的热点数据评价指标。
[0101]
在判断不同环节的热点数据时，需要采集不同类型的原始数据信息，例如，在判断点击环节的热点数据时，需要采集点击各个商品的商品标识(sku_id)的数据信息，则相应的采集配置信息包括：sku_id、count amount。其中sku_id表示关注字段为商品标识，count amount表示关注字段对应的热点数据评价指标为点击量。
[0102]
在一个可选实施方式中，在实时数据获取时，实时流处理引擎根据所述采集配置信息获取所述采集配置对应的实时流数据，将其存储入本地文件系统作为待检测数据，以便热点判断时调取。实时数据可帮助提前预知数据热点情况，提前进行预警，减少直接对离线数据检测的耗时。
[0103]
在另一个可选实施方式中，在离线数据获取时，直接采用离线数据表进行检测。离线数据检测是在实时数据的t+1天才可进行检测的，针对前一天生成的离线数据表，根据采集配置信息生成离线数据查询sql，确定所述采集配置对应的离线数据，并将所述离线数据存储入本地文件系统作为待检测数据，以便热点判断时调取。该方式适用于关系型数据库或分布式数据库，如mysql(一种关系型数据库)、hive(一种数据仓库工具)、hbase(一种非结构化数据仓库)等。
[0104]
热点数据检测模块502，用于基于异常值检测算法确定所述待检测数据中的热点数据。
[0105]
示例性地，基于异常值检测算法确定所述待检测数据中的热点数据包括：对所述待检测数据在热点数据评价指标维度上进行汇聚，以得到汇聚后的指标计数值。例如，在判断各个商品是否为点击环节的热点数据时，需要汇聚点击各个商品标识(sku_id)的点击量(count amount)的数据信息，因此在判断点击热点数据时，需要在各个商品标识(sku_id)的点击量(count amount)的数据信息维度上进行汇聚，进而使用汇聚函数得到所述汇聚后的指标计数值。
[0106]
在一个可选示例中，异常值检测算法包括：正态分布3倍标准差算法，或，四分位箱型图算法。
[0107]
在一个可选实施方式中，使用正态分布3倍标准差算法确定异常值时，首先需要确定所述待检测数据的正态分布，其次确定所述待检测数据对应的正态分布的三倍标准差，并将其作为第一统计量；从所述待检测数据中筛选出所述指标计数值超过所述第一统计量的数据作为样本数据，如图3左侧图所示；针对所述样本数据，确定所述样本数据对应的正态分布，进而确定所述样本数据对应的正态分布的三倍标准差，并将其作为第二统计量；从所述样本数据中筛选出所述指标计数值超过第二统计量的数据作为热点数据，如图3右侧
图所示。
[0108]
在另一个可选实施方式中，使用四分位箱型图算法确定异常值时，对所述待检测数据按照汇聚后的指标计数值由小到大的顺序排列分成四等份，处于三个分割点位置的数值就是四分位数。将所述待检测数据按照汇聚后的指标计数值由小到大排列后第25％的数字确定为第一四分位点(q1)，又称“较小四分位数”。将所述待检测数据按照汇聚后的指标计数值由小到大排列后第50％的数字确定为第二四分位点(q2)，又称“中位数”。将所述待检测数据按照汇聚后的指标计数值由小到大排列后第75％的数字确定为第三四分位点(q3)，又称“较大四分位数”。计算所述待检测数据的第三四分位点与第一四分位点的差作为第三统计量，在此基础上计算第三四分位点与1.5倍第三统计量的和作为第一上限；从所述待检测数据中筛选出高于第一上限的数据作为样本数据；将所述样本数据按照所述指标计数值由小到大的顺序排列，计算所述样本数据的第三四分位点与第一四分位点的差作为第四统计量；计算第三四分位点与1.5倍第四统计量的和作为第二上限；从所述样本数据中筛选出高于第二上限的数据作为热点数据。
[0109]
需要注意的是，本发明异常值检测算法所执行的轮次非固定的两次，进行不同轮次是为了找出更贴合实际热点数据的数据量，具体进行几轮，要根据各行业数据量级、经验异常值数量等实际情况调整。
[0110]
确定分桶数模块503，用于根据所述热点数据的指标计数值确定所述热点数据的分桶个数。
[0111]
示例性地，根据所述热点数据的指标计数值确定所述热点数据的分桶个数包括：确定所述样本数据的指标计数值的平均值；确定所述热点数据的指标计数值的平均值；根据所述热点数据的指标计数值的平均值与所述样本数据的指标计数值的平均值确定热点数据的分桶个数。
[0112]
例如，假设在点击环节的样本数据的指标计数值的平均值为500，在点击环节的热点数据的指标计数值的平均值为50，则点击环节的分桶个数为10个(500
÷
50＝10)。
[0113]
运行优化模块504，用于根据所述热点数据的分桶个数和任务运行时段的可用资源情况对所述热点数据进行任务运行规划。
[0114]
示例性地，在该步骤中，针对某一确定任务运行时段中，根据所述任务运行时段的可用资源情况确定所述任务运行时段的任务并行度。如果所述分桶个数大于所述运行时段的任务并行度，则按照所述运行时段的任务并行度进行打散运算，将剩余的分桶按照相同的方法进行多轮次的分桶打散运算；如果所述任务环节数小于所述运行时段的任务并行度，则按照所述分桶个数进行分桶打散运算。例如，所述分桶个数为12，所述任务运行时段的任务并行度为8，此时的分桶个数12大于任务运行时段的任务并度8，在这种情况下，将8作为本轮的分桶个数进行打散运算，此轮规划结束；在下一轮时剩余4个分桶，可见此时的分桶个数4小于任务运行时段的任务并行度8，在这种情况下，将4作为本轮的分桶个数进行打散运算，此时数据打散运行规划结束。
[0115]
在本发明实施例中，通过以上装置实现了数据运行优化处理。与现有技术相对比，因为采用了获取待检测数据，基于异常值检测算法确定所述待检测数据中的热点数据，所以克服了前期不能预判热点数据的技术问题，从而为解决后续问题提供了基础。因为采用了根据所述热点数据的指标计数值确定所述热点数据的分桶个数技术手段，所以克服了现
有技术中实时处理数据倾斜所存在的规划滞后、无法兼顾时效与稳定性的技术问题，进而达到实现预先判断热点数据并对其进行分桶规划处理，以保证数据运行平稳有序的技术效果。因为采用了根据所述热点数据的分桶个数和任务运行时段的可用资源情况对所述热点数据进行任务运行规划，所以克服了现有技术中固定并行计算的任务数量，从而导致浪费运算资源的技术问题，进而达到了合理规划使用运算资源的技术效果。经过本发明所采用的技术手段，最终达到了系统可以自动预先合理规划热点数据处理，从而提高用户体验。
[0116]
下面参考图6，其示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的计算机系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0117]
如图6所示，计算机系统600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分508加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中，还存储有系统600操作所需的各种程序和数据。cpu 601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
[0118]
以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
[0119]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本发明的系统中限定的上述功能。
[0120]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码
可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0121]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0122]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块、热点数据检测模块、确定分桶数模块和运行优化模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据获取模块还可以被描述为“用于获取待检测数据的模块”。
[0123]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以下流程：获取待检测数据；基于异常值检测算法确定所述待检测数据中的热点数据；根据所述热点数据的指标计数值确定所述热点数据的分桶个数；根据所述热点数据的分桶个数和任务运行时段的可用资源情况对所述热点数据进行任务运行规划。
[0124]
根据本发明实施例的技术方案，能够在实现数据运行优化处理时避免处理热点数据导致数据倾斜所存在的规划滞后、无法兼顾时效与稳定性和浪费运算资源的问题的至少一个，提高用户体验。
[0125]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。