数据分析方法和装置与流程

本公开的实施例涉及计算机和互联网，尤其涉及数据分析方法和装置。

背景技术：

1、随着实时计算的高速发展，算法工程师和数据分析师们已经越来越不满足于仅仅使用离线特征来实现业务需求，时效性更高的实时特征逐步成为新的宠儿。flink是当前市场上使用率最高，性能最佳的实时计算框架，但由于使用门槛较高，非专业的数据开发工程师较难上手。除了上手难度高之外，实时任务的运维成本也是不容小觑。开发者们不仅要妥善管理计算资源，在监控，容灾策略等方面一开始也是摸着石头过河，需要不断的试错来完善整个系统。而在拓展性上，由于初期基本都是定制化开发，一旦要接入新的特征，即使新的特征加工的方式与以往特征类似，但是因为工期紧迫不能去及时的做代码整理，还是要进行多余的开发。总的来说很多的实时特征加工方式都有很多共性，然而因为缺乏一个通用型的平台或者框架，导致不同部门总是雇佣大量数据工程师做着类似的工作，造成成本浪费。

技术实现思路

1、本公开的实施例提出了一种数据分析方法、装置、电子设备和计算机可读介质。

2、第一方面，本公开的实施例提供了一种数据分析方法，该方法包括：基于目标任务，从原始数据消息队列中选取对应的目标数据；对目标数据进行预处理，获取到处理后的目标数据；从配置平台中读取目标任务对应的目标表单，其中，目标表单包括用户针对目标任务选取的数据分析规则；基于数据分析规则，对处理后的目标数据进行数据分析，获取处理后的目标数据对应的特征数据。

3、在一些实施例中，目标表单基于以下步骤生成：向用户展示多种候选分析规则的选取界面；基于用户在选取界面输入的选取操作，从多种候选分析规则中确定出数据分析规则；获取用户基于数据分析规则输入的数据分析逻辑；基于数据分析规则和数据分析逻辑，生成目标表单。

4、在一些实施例中，获取用户基于数据分析规则输入的数据分析逻辑，包括：响应于确定数据分析规则为配置化规则，向用户展示分析逻辑选取界面；获取用户在分析逻辑选取界面选取的数据分析逻辑。

5、在一些实施例中，获取用户基于数据分析规则输入的数据分析逻辑，包括：响应于确定数据分析规则为结构化查询规则，向用户展示结构化查询语句填写界面；获取用户在结构化查询语句填写界面填写的数据分析逻辑。

6、在一些实施例中，获取用户在结构化查询语句填写界面填写的数据分析逻辑，包括：响应于接收到用户在结构化查询语句填写界面输入的结构化查询语句；基于语法校验和表使用校验，对结构化查询语句进行校验；响应于确定结构化查询语句通过校验，将结构化查询语句确定为数据分析逻辑。

7、在一些实施例中，该方法还包括：响应于获取到处理后的目标数据对应的特征数据，基于字段生成校验，对特征数据进行校验；响应于确定特征数据通过校验，将特征数据确定为目标任务对应的特征结果。

8、在一些实施例中，获取用户基于数据分析规则输入的数据分析逻辑，包括：响应于确定数据分析规则为自定义规则，向用户展示代码上传界面；获取用户在代码上传界面上传的数据分析逻辑。

9、在一些实施例中，基于数据分析规则，对处理后的目标数据进行数据分析，获取处理后的目标数据对应的特征数据，包括：基于目标表单，获取数据分析规则对应的数据分析逻辑；基于数据分析逻辑，从配置平台中读取对应的数据分析函数；利用数据分析函数对处理后的目标数据进行数据分析，获取处理后的目标数据对应的特征数据。

10、在一些实施例中，该方法还包括：响应于获取到特征数据，获取特征数据的数据类型；响应于确定数据类型为正确特征数据，将特征数据写入第一消息队列中；响应于确定数据类型为错误特征数据，将特征数据写入第二消息队列中。

11、在一些实施例中，方法还包括：响应于接收到用户对目标任务的位点更新操作，确定出目标任务的更新位点；将目标任务的当前位点修改为更新位点。

12、在一些实施例中，该方法还包括：响应于接收到用户对目标任务的数据限速操作，更新目标表单的限速需求；基于限速需求，对目标任务的目标数据进行限速操作。

13、在一些实施例中，该方法还包括：响应于确定目标表单包括监控需求，对目标任务执行监控操作，获取目标任务对应的中间数据；基于目标任务的中间数据，统计目标任务的监控信息。

14、在一些实施例中，该方法还包括：响应于接收到用户针对目标任务的更新操作，确定更新操作对应的新的数据分析规则；利用新的数据分析规则，对处理后的目标数据进行数据分析，获取新的特征数据；将新的特征数据和特征数据进行比对，确定目标任务的结果比对信息。

15、在一些实施例中，该方法还包括：响应于接收到用户针对目标任务的增加操作，对目标任务进行任务增加，得到新的目标任务，新的目标任务包括目标任务和增加操作对应的新任务；基于新的目标任务，对目标任务的目标表单进行更新，得到新的目标表单，新的目标表单包括目标表单和新任务对应的新表单；基于新的目标任务和新的目标表单，获取新的特征数据，新的特征数据包括目标任务对应的特征数据和新任务对应的特征数据。

16、第二方面，本公开的实施例提供了一种数据分析装置，该装置包括：选取模块，被配置成基于目标任务，从原始数据消息队列中选取对应的目标数据；预处理模块，被配置成对目标数据进行预处理，获取到处理后的目标数据；读取模块，被配置成从配置平台中读取目标任务对应的目标表单，其中，目标表单包括用户针对目标任务选取的数据分析规则；分析模块，被配置成基于数据分析规则，对处理后的目标数据进行数据分析，获取处理后的目标数据对应的特征数据。

17、在一些实施例中，目标表单基于生成模块生成：向用户展示多种候选分析规则的选取界面；基于用户在选取界面输入的选取操作，从多种候选分析规则中确定出数据分析规则；获取用户基于数据分析规则输入的数据分析逻辑；基于数据分析规则和数据分析逻辑，生成目标表单。

18、在一些实施例中，生成模块，进一步被配置成：响应于确定数据分析规则为配置化规则，向用户展示分析逻辑选取界面；获取用户在分析逻辑选取界面选取的数据分析逻辑。

19、在一些实施例中，生成模块，进一步被配置成：响应于确定数据分析规则为结构化查询规则，向用户展示结构化查询语句填写界面；获取用户在结构化查询语句填写界面填写的数据分析逻辑。

20、在一些实施例中，生成模块，进一步被配置成：响应于接收到用户在结构化查询语句填写界面输入的结构化查询语句；基于语法校验和表使用校验，对结构化查询语句进行校验；响应于确定结构化查询语句通过校验，将结构化查询语句确定为数据分析逻辑。

21、在一些实施例中，生成模块，进一步被配置成：响应于获取到处理后的目标数据对应的特征数据，基于字段生成校验，对特征数据进行校验；响应于确定特征数据通过校验，将特征数据确定为目标任务对应的特征结果。

22、在一些实施例中，生成模块，进一步被配置成：响应于确定数据分析规则为自定义规则，向用户展示代码上传界面；获取用户在代码上传界面上传的数据分析逻辑。

23、在一些实施例中，分析模块，进一步被配置成：基于目标表单，获取数据分析规则对应的数据分析逻辑；基于数据分析逻辑，从配置平台中读取对应的数据分析函数；利用数据分析函数对处理后的目标数据进行数据分析，获取处理后的目标数据对应的特征数据。

24、在一些实施例中，该装置还包括：写入模块，被配置成：响应于获取到特征数据，获取特征数据的数据类型；响应于确定数据类型为正确特征数据，将特征数据写入第一消息队列中；响应于确定数据类型为错误特征数据，将特征数据写入第二消息队列中。

25、在一些实施例中，该装置还包括：修改模块，被配置成：响应于接收到用户对目标任务的位点更新操作，确定出目标任务的更新位点；将目标任务的当前位点修改为更新位点。

26、在一些实施例中，该装置还包括：限速模块，被配置成：响应于接收到用户对目标任务的数据限速操作，更新目标表单的限速需求；基于限速需求，对目标任务的目标数据进行限速操作。

27、在一些实施例中，该装置还包括：监控模块，被配置成：响应于确定目标表单包括监控需求，对目标任务执行监控操作，获取目标任务对应的中间数据；基于目标任务的中间数据，统计目标任务的监控信息。

28、在一些实施例中，该装置还包括：对比模块，被配置成：响应于接收到用户针对目标任务的更新操作，确定更新操作对应的新的数据分析规则；利用新的数据分析规则，对处理后的目标数据进行数据分析，获取新的特征数据；将新的特征数据和特征数据进行比对，确定目标任务的结果比对信息。

29、在一些实施例中，该装置还包括：增加模块，被配置成：响应于接收到用户针对目标任务的增加操作，对目标任务进行任务增加，得到新的目标任务，新的目标任务包括目标任务和增加操作对应的新任务；基于新的目标任务，对目标任务的目标表单进行更新，得到新的目标表单，新的目标表单包括目标表单和新任务对应的新表单；基于新的目标任务和新的目标表单，获取新的特征数据，新的特征数据包括目标任务对应的特征数据和新任务对应的特征数据。

30、第三方面，本公开的实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实施例描述的数据分析方法。

31、第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实施例描述的数据分析方法。

32、本公开的实施例提供的数据分析方法，上述执行主体首先基于目标任务，从原始数据消息队列中选取对应的目标数据，然后对目标数据进行预处理，获取到处理后的目标数据，之后从配置平台中读取目标任务对应的目标表单，该目标表单包括用户针对目标任务选取的数据分析规则，最后基于数据分析规则，对处理后的目标数据进行数据分析，获取处理后的目标数据对应的特征数据，可以支持用户根据自身需求对目标任务自行选取数据分析规则，不需要用户针对不同的任务去了解全部内容，仅需要根据目标任务去选取数据分析规则即可，降低了实时特征开发门槛，简化并缩短开发周期，在对目标任务进行处理的过程中能够直接从配置平台读取与任务对应的目标表单和数据分析规则，使得系统可灵活调用第三方的数据分析规则，并且系统可以支持用户自主选取的数据分析规则，可以任选一种数据分析规则灵活定制化的特征开发规则，提高了数据分析的灵活性和针对性。