技术特征：
1.一种实时数据处理方法，其特征在于，包括以下步骤：采用写入型连接器将数据源的数据接入到kafkaconnect中；kafkaconnect将所述数据转换成统一数据类型的消息结构，生成第一数据，将所述第一数据写入到分布式消息中间件kafka中；开启至少一个任务对kafka中的第一数据进行处理，并将至少一个任务中每个任务的输出数据转换成统一数据类型的消息结构，生成第二数据，将所述第二数据写入到kafka中；采用写出型连接器将所述第二数据写入到目标库中。2.根据权利要求1所述的一种实时数据处理方法，其特征在于，所述写入型连接器为基于kafkaconnect的cdc连接器。3.一种实时数据处理设备，其特征在于，包括数据抽取单元、数据处理单元和数据写出单元，所述数据抽取单元用于采用写入型连接器将数据源的数据接入到kafkaconnect中，kafkaconnect将所述数据转换成统一数据类型的消息结构，生成第一数据，将所述第一数据写入到分布式消息中间件kafka中；所述数据处理单元用于开启至少一个任务对kafka中的第一数据进行处理，并将至少一个任务中每个任务的输出数据转换成统一数据类型的消息结构，生成第二数据，将所述第二数据写入到kafka中；所述数据写出单元用于采用写出型连接器将所述第二数据写入到目标库中。4.根据权利要求3所述的一种实时数据处理设备，其特征在于，所述写入型连接器为基于kafkaconnect的cdc连接器。5.一种实时数据处理系统，其特征在于，包括数据源和权利要求3-5任一所述的实时数据处理设备，所述数据源与所述实时数据处理设备的所述数据抽取单元信号连接。6.根据权利要求5所述的一种实时数据处理系统，其特征在于，所述数据源为数据库或者具有数据输出的中间件。7.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于：当所述指令在计算机上运行时，执行权利要求1-2任一所述的一种实时数据处理方法。
技术总结
本发明公开了一种实时数据处理方法、设备、系统及介质，包括以下步骤：采用写入型连接器将数据接入到KafkaConnect中；KafkaConnect将所述数据转换成统一数据类型的消息结构，生成第一数据，将所述第一数据写入到分布式消息中间件Kafka中；开启至少一个任务对Kafka中的第一数据进行处理，并将至少一个任务中的每个任务的输出数据转换成统一数据类型的消息结构，生成第二数据，将所述第二数据写入到Kafka中；采用写出型连接器将所述第二数据写入到目标库中。其通过任务线程对数据进行处理，产生高实时性的数据结果，且直接将计算处理后的有效数据存储至目标库中，跳过ODS层不再直接存放无效数据。放无效数据。放无效数据。
技术研发人员：赵凌园 刘明熙 杨振宇 陆汪 易松
受保护的技术使用者：眉山环天智慧科技有限公司
技术研发日：2022.07.18
技术公布日：2023/1/17