数据处理方法及装置与流程

本申请涉及计算机，特别涉及一种数据处理方法。本申请同时涉及一种数据处理装置、一种计算设备，以及一种计算机可读存储介质。

背景技术：

1、随着互联网技术的发展，数据获取的方式逐渐呈现出多样化，而爬虫技术作为较为普遍的数据获取方式，具有高效率以及覆盖率高等特点。

2、然而，由于爬虫获取数据的数据格式以及数据类型多样性的特点，往往需要针对爬虫获取的数据进行二次数据清洗等操作，造成效率低下，用户体验感较差的问题。

3、因此，如何解决数据获取效率低下的问题，具有十分重要的意义。

技术实现思路

1、有鉴于此，本申请实施例提供了一种数据处理方法，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。

2、根据本申请实施例的第一方面，提供了一种数据处理方法，包括：

3、在接收到用户发送的数据获取指令的情况下，调用数据获取脚本程序从第三方平台获取初始数据，其中，所述数据获取指令中携带有所述第三方平台的平台信息，所述数据获取脚本程序为嵌入的、所述用户编辑的脚本程序；

4、接收所述用户根据所述初始数据编辑的数据处理脚本程序，并根据所述数据处理脚本程序对所述初始数据进行数据处理，获得处理后的目标数据。

5、根据本申请实施例的第二方面，提供了一种数据处理装置，包括：

6、数据获取模块，被配置为在接收到用户发送的数据获取指令的情况下，调用数据获取脚本程序从第三方平台获取初始数据，其中，所述数据获取指令中携带有所述第三方平台的平台信息，所述数据获取脚本程序为嵌入的、所述用户编辑的脚本程序；

7、数据处理模块，被配置为接收所述用户根据所述初始数据编辑的数据处理脚本程序，并根据所述数据处理脚本程序对所述初始数据进行数据处理，获得处理后的目标数据。

8、根据本申请实施例的第三方面，提供了一种计算设备，包括：

9、存储器和处理器；

10、所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现所述数据处理方法的步骤。

11、根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述数据处理方法的步骤。

12、根据本申请实施例的第五方面，提供了一种芯片，其存储有计算机程序，该计算机程序被芯片执行时实现所述数据处理方法的步骤。

13、本说明书实施例提供的数据处理方法，应用于数据处理平台，通过在接收到用户发送的数据获取指令的情况下，调用数据获取脚本程序从第三方平台获取初始数据，其中，所述数据获取指令中携带有所述第三方平台的平台信息，所述数据获取脚本程序为嵌入的、所述用户编辑的脚本程序；接收所述用户根据所述初始数据编辑的数据处理脚本程序，并根据所述数据处理脚本程序对所述初始数据进行数据处理，获得处理后的目标数据。

14、具体的，通过应用于数据处理平台，在数据处理平台接收到用户发送的数据获取指令之后，调用数据获取脚本程序进行相应初始数据的获取，并在接收到数据处理脚本程序的情况下，根据该数据处理脚本程序进行初始数据的数据处理，提高数据获取的速率，同时，通过相应的数据处理脚本程序实现数据的快速处理，进一步加快目标数据获取的速率，提高用户的体验感。

技术特征：

1.一种数据处理方法，应用于数据处理平台，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述在接收到用户发送的数据获取指令的情况下，调用数据获取脚本程序从第三方平台获取初始数据之前，还包括：

3.根据权利要求1所述的数据处理方法，其特征在于，所述第三方平台包括至少两个数据展示页面；

4.根据权利要求1所述的数据处理方法，其特征在于，所述第三方平台包括至少两个；

5.根据权利要求1所述的数据处理方法，其特征在于，所述接收用户根据所述初始数据编辑的数据处理脚本程序之前，还包括：

6.根据权利要求5所述的数据处理方法，其特征在于，所述将所述初始数据、与所述数据获取脚本程序对应的数据获取信息进行比对之后，还包括：

7.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述数据处理脚本程序对所述初始数据进行数据处理，获得处理后的目标数据，包括：

8.根据权利要求1所述的数据处理方法，所述获得处理后的目标数据之前，还包括：

9.一种数据处理装置，其特征在于，包括：

10.一种计算设备，其特征在于，包括：

11.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至8任意一项所述数据处理方法的步骤。

技术总结
本申请提供数据处理方法及装置，其中所述数据处理方法包括：通过在接收到用户发送的数据获取指令的情况下，调用数据获取脚本程序从第三方平台获取初始数据；接收所述用户根据所述初始数据编辑的数据处理脚本程序，并根据所述数据处理脚本程序对所述初始数据进行数据处理，获得处理后的目标数据。具体的，通过应用于数据处理平台，在数据处理平台接收到用户发送的数据获取指令之后，调用数据获取脚本程序进行相应初始数据的获取，并在接收到数据处理脚本程序的情况下，根据该数据处理脚本程序进行初始数据的数据处理，提高数据获取的速率，同时，通过相应的数据处理脚本程序实现数据的快速处理，进一步加快目标数据获取的速率，提高用户的体验感。

技术研发人员：杜玉麟,辛五一,吴双,张子晴,魏萌,刘博勋
受保护的技术使用者：珠海金山数字网络科技有限公司
技术研发日：
技术公布日：2024/1/11