一种基于宠物管理的源数据实时同步方法、设备及介质与流程

本技术涉及计算机，尤其涉及一种基于宠物管理的源数据实时同步方法、设备及介质。

背景技术：

1、随着信息技术的发展，网络上每天有大量的数据产生，也有大量的数据被消费，数据什么时候产生，什么时候被消费，这些取决于应用而不是数据本身，为了平衡数据生产者和消费者的处理能力，同时起到一个数据缓存和应用解耦的作用，生产者-消费者模型应运而生，它所描述的是：1个有限的缓冲区和两类进程,即生产者和消费者。生产者把产品放入到缓冲区中,而消费者则是从缓冲区中拿走产品。生产者在缓冲区满时必须等待。直到缓冲区又有空间时才继续生产。消费者在缓中区空时必须等待,直到缓冲区中又有产品时才能继续读取。生产者-消费者模型在各个行业及各个技术领域均有广泛的应用。

2、kafka是一个工作性能良好，由运行在一个集群的数据生产者(producer)、代理者(broker)、消费者(consumer)构成的分布式发布订阅的消息系统。

3、现有的宠物管理系统中，与宠物管理数据对应的人口数据与房屋数据，难以实现从源数据源到目标数据源的实时数据同步，容易产生因数据同步滞后造成的数据冲突或错漏问题，无法保障了数据的可靠性和不同服务之间数据信息的统一，大大增加了对宠物管理系统的管理成本，不利于对宠物信息进行数据的实时统一与同步。

技术实现思路

1、本技术实施例提供了一种基于宠物管理的源数据实时同步方法、设备及介质，用于解决如下技术问题：现有的宠物管理系统中容易产生因数据同步滞后造成的数据冲突或错漏问题，造成了宠物管理系统的成本增加，不利于对宠物信息进行数据的实时统一与同步。

2、本技术实施例采用下述技术方案：

3、一方面，本技术实施例提供了一种基于宠物管理的源数据实时同步方法，包括：根据生产者端口中的管理数据，对所述管理数据进行分布式集群的发送，得到分布式数据；其中，所述分布式数据包括：宠物信息数据、房屋信息数据以及人员信息数据；将所述分布式数据存储于所述生产者端口；通过与所述生产者端口对应的消费者端口，对所述分布式数据中的所述人员信息数据以及所述房屋信息数据进行关联修改处理，得到宠物管理第一信息；通过与所述生产者端口对应的消费者端口，对所述宠物信息数据进行关联删除处理，得到宠物管理第二信息；基于所述宠物管理第一信息以及所述宠物管理第二信息，对宠物管理系统进行数据同步处理，以完成对所述宠物管理系统的信息统一。

4、本技术实施例通过kafka运行在一个集群的数据生产者(producer)、代理者(broker)、消费者(consumer)构成的分布式发布订阅的消息系统，再基于hadoop并行加载机制统一了在线和离线的消息处理，对宠物信息数据、房屋信息数据以及人员信息数据进行了异数据源数据同步，实现从源数据源到目标数据源的实时数据同步，有效避免了因数据同步滞后造成的数据冲突或错漏问题，保障了数据的可靠性和不同服务之间数据信息的统一。

5、在一种可行的实施方式中，根据生产者端口中的管理数据，对所述管理数据进行分布式集群的发送，得到分布式数据，具体包括：接收数据生产者向卡夫卡代理者端口发送的所述管理数据；其中，所述数据生产者为所述宠物管理系统中的数据产生方；基于分布式消息订阅机制，对所述管理数据进行有关生产端口中基本数据类型的分类处理，并确定出主题数据；其中，所述基本数据类型至少包括：消息主题、消息分区、消息数据格式、同步或者异步线程、批发送线程以及单或者多线程；接收与所述主题数据对应的变动信息数据；其中，所述变动信息数据包括：人员变动信息、宠物变动信息以及房屋变动信息；对所述主题数据以及所述变动信息数据进行封装处理；并基于分布式集群发送机制，将封装处理后的信息数据推送至卡夫卡代理者端口，确定出所述分布式数据。

6、在一种可行的实施方式中，通过与所述生产者端口对应的消费者端口，对所述分布式数据中的所述人员信息数据以及所述房屋信息数据进行关联修改处理，得到宠物管理第一信息，具体包括：通过所述消费者端口，拉取已存储于代理者端口中的所述分布式数据；基于所述分布式数据中的变动信息数据，通过所述人员信息数据，将对应的宠物信息数据进行关联查询判断；若所述宠物信息数据中的宠物数量信息为零，则直接结束对所述宠物管理系统的数据同步管理；若所述宠物信息数据中的宠物数量信息不为零，则对所述分布式数据中的房屋信息数据进行是否关联变动的判断处理，得到所述宠物管理第一信息；其中，所述宠物管理第一信息包括：每个房屋id以及与所述每个房屋id相关联的有宠物标签信息或者无宠物标签信息。

7、在一种可行的实施方式中，对所述分布式数据中的房屋信息数据进行是否关联变动的判断处理，具体包括：将所述房屋信息数据进行变动时间节点的分类处理，得到变动前房屋信息组以及变动后房屋信息组；对所述房屋信息组进行房屋id的存在判断；若所述变动前房屋信息组不存在所述房屋id，则遍历所述变动前房屋信息对应的变动前房屋id；若所述变动后房屋信息组不存在所述变动前房屋id，则将所述房屋id关联的宠物信息数据进行删除处理，并将所述房屋id标记为无宠物标签信息；否则将所述房屋id标记为有宠物标签信息。

8、在一种可行的实施方式中，在对所述房屋信息组进行房屋id的存在判断之前，所述方法还包括：遍历代理者端口中的所述变动前房屋信息组以及所述变动后房屋信息组；通过预设列表，分别获取与所述变动前房屋信息组对应的变动前房屋id以及与所述变动后房屋信息组对应的变动后房屋id；其中，所述房屋id由所述变动前房屋id以及所述变动后房屋id组成。

9、在一种可行的实施方式中，在将所述房屋id关联的宠物信息数据进行删除处理，确定所述房屋id为无宠物标签信息之后，所述方法还包括：获取与所述房屋id关联的人员信息数据；并提取与所述人员信息数据相关联的其余人员信息数据的宠物信息数据；对与所述其余人员信息数据相关联绑定的宠物信息数据进行数据存在判断；若所述其余人员的宠物信息数据为空白数据，则将所述房屋id标记为所述无宠物标签信息；否则，将所述房屋id标记为所述有宠物标签信息。

10、在一种可行的实施方式中，通过与所述生产者端口对应的消费者端口，对所述宠物信息数据进行关联删除处理，得到宠物管理第二信息，具体包括：通过所述消费者端口，拉取已存储于代理者端口中的所述分布式数据；基于所述分布式数据中发生删减变动的人员信息数据以及房屋信息数据，获取相对应的减删人员id以及对应的减删房屋id；通过所述减删人员id以及所述减删房屋id，对待删减的宠物信息数据进行关联删除操作，并将所述删减房屋id确定为无宠物标签信息；获取与所述删减房屋id关联的其余人员信息数据；对与所述其余人员信息数据相关联绑定的宠物信息数据进行数据存在判断；若所述其余人员的宠物信息数据为空白数据，则将所述删减房屋id标记为所述无宠物标签信息；否则，将所述删减房屋id标记为有宠物标签信息；基于所述减删人员id、所述减删房屋id以及其对应的有宠物标签信息或者无宠物标签信息，确定出所述宠物管理第二信息。

11、在一种可行的实施方式中，基于所述宠物管理第一信息以及所述宠物管理第二信息，对宠物管理系统进行数据同步处理，具体包括：根据存储消费者端口的所述宠物管理第一信息以及所述宠物管理第二信息，将所述宠物信息数据、所述房屋信息数据以及所述人员信息数据进行多端口的数据一致性的同步处理，以完成对所述宠物管理系统的信息统一；其中，所述多端口包括：生产者端口、代理者端口以及消费者端口。

12、第二方面，本技术实施例还提供了一种基于宠物管理的源数据实时同步设备，所述设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行上述任一实施方式所述的一种基于宠物管理的源数据实时同步方法。

13、第三方面，本技术实施例还提供了一种非易失性计算机存储介质，其特征在于，所述存储介质为非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有至少一个程序，每个所述程序包括指令，所述指令当被终端执行时，使所述终端执行上述任一实施方式所述的一种基于宠物管理的源数据实时同步方法。

14、本技术提供了一种基于宠物管理的源数据实时同步方法、设备及介质，通过kafka运行在一个集群的数据生产者(producer)、代理者(broker)、消费者consumer)构成的分布式发布订阅的消息系统，再基于hadoop并行加载机制统一了在线和离线的消息处理，对宠物信息数据、房屋信息数据以及人员信息数据进行了异数据源数据同步，实现从源数据源到目标数据源的实时数据同步，有效避免了因数据同步滞后造成的数据冲突或错漏问题，保障了数据的可靠性和不同服务之间数据信息的统一。