数据处理方法及装置、存储介质及电子设备与流程

本申请涉及数据处理，具体涉及一种数据处理方法及装置、存储介质及电子设备。

背景技术：

1、随着互联网和大数据技术的推广和普及，基于hadoop和hive分布式集群的数据仓库已逐步成为主流。在应用开发过程中或者大数据处理过程中，由于业务的变化非常频繁，每天会产生海量数据，所以经常会出现无法知晓数据表的创建人员或数据写入人员的问题。

2、相关技术中的数据处理服务，获取的是大数据系统本身的具有执行权限的账号，并不具备标识执行者的具体信息的能力，从而导致出现无法对数据表对应的结构化查询语句的执行者进行管理的问题。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请实施例提供了一种数据处理方法及装置、存储介质及电子设备。

2、第一方面，本申请一实施例提供了一种数据处理方法，应用于服务端，该方法包括：在确定存在结构化查询语句被执行的情况下，确定结构化查询语句的执行者信息；封装结构化查询语句和执行者信息，生成结构化查询语句对应的封装消息；将封装消息发送给消息消费端，封装消息用于消息消费端将封装消息中的执行者信息关联到结构化查询语句对应的数据表。

3、第二方面，本申请一实施例提供了一种数据处理方法，应用于消息消费端，该方法包括：接收封装消息，封装消息包括结构化查询语句和结构化查询语句的执行者信息；解析封装消息，并将封装消息中的执行者信息关联到结构化查询语句对应的数据表。

4、第三方面，本申请一实施例提供了一种数据处理装置，应用于服务端，该装置包括：确定模块，配置为在确定存在结构化查询语句被执行的情况下，确定结构化查询语句的执行者信息；封装模块，配置为封装结构化查询语句和执行者信息，生成结构化查询语句对应的封装消息；发出模块，配置为将封装消息发送给消息消费端，封装消息用于消息消费端将封装消息中的执行者信息关联到结构化查询语句对应的数据表。

5、第四方面，本申请一实施例提供了一种数据处理装置，应用于消息消费端，该装置包括：接收模块，配置为接收封装消息，封装消息包括结构化查询语句和结构化查询语句的执行者信息；关联模块，配置为解析封装消息，并将封装消息中的执行者信息关联到结构化查询语句对应的数据表。

6、第五方面，本申请一实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序指令，该计算机程序指令用于执行第一方面和/或第二方面所述的数据处理方法。

7、第六方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行第一方面和/或第二方面所述的数据处理方法。

8、在本申请实施例中，服务端在确定存在结构化查询语句被执行的情况下，确定结构化查询语句的执行者信息，并将结构化查询语句和执行者信息封装成消息，再将封装消息发送给消息消费端，以便消息消费端将执行者信息关联到结构化查询语句对应的数据表。由此可见，通过将结构化查询语句和执行者信息进行封装再发送至消息消费端，能够实现更可靠、更准确地发送结构化查询语句和执行者信息的目的。进一步地，本申请实施例实现了自动化采集结构化查询语句的执行者信息的目的，解决了新建的数据表找不到表创建者或者数据写入者的问题(其中，表创建者和数据写入者均属于结构化查询语句的执行者)，从而方便了下游用户确定数据表的数据来源，有利于下游用户更好地分析和管理数据。

技术特征：

1.一种数据处理方法，其特征在于，应用于服务端，所述方法包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述将所述封装消息发送给消息消费端，包括：

3.根据权利要求1或2所述的数据处理方法，其特征在于，在所述在确定存在结构化查询语句被执行的情况下，确定所述结构化查询语句的执行者信息之前，还包括：

4.根据权利要求1至3任一项所述的数据处理方法，其特征在于，在所述在确定存在结构化查询语句被执行的情况下，确定所述结构化查询语句的执行者信息之前，还包括：

5.根据权利要求1至3任一项所述的数据处理方法，其特征在于，所述结构化查询语句包括建表查询语句和/或写数据查询语句，所述执行者信息包括建表者账号信息和/或写数据者账号信息。

6.一种数据处理方法，其特征在于，应用于消息消费端，所述方法包括：

7.一种数据处理装置，其特征在于，应用于服务端，所述装置包括：

8.一种数据处理装置，其特征在于，应用于消息消费端，所述装置包括：

9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至6任一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括：

技术总结
本申请提供了一种数据处理方法及装置、存储介质及电子设备，涉及数据处理领域。该数据处理方法应用于服务端，该方法包括：在确定存在结构化查询语句被执行的情况下，确定结构化查询语句的执行者信息；封装结构化查询语句和执行者信息，生成结构化查询语句对应的封装消息；将封装消息发送给消息消费端，封装消息用于消息消费端将封装消息中的执行者信息关联到结构化查询语句对应的数据表，实现了自动化采集结构化查询语句的执行者信息的目的，解决了新建的数据表找不到表创建者或者数据写入者的问题，通过将数据表与其责任人进行关联，方便下游用户获取数据表的数据来源，有利于下游用户更好地分析和管理数据。

技术研发人员：王年明,吴海英,刘德华,蒋宁,冯仕炳
受保护的技术使用者：马上消费金融股份有限公司
技术研发日：
技术公布日：2024/1/12