一种用户隐私同意数据同步跨系统的方法与流程

本发明涉及用户隐私数据实时同步方法，具体涉及一种用户隐私同意数据同步跨系统的方法。

背景技术：

1、用户隐私一直是互联网领域被关注的重点之一，尤其在大数据营销领域，如何合理利用用户的隐私数据一直没有被很好地解决。在2021年11月，随着《中华人民共和国个人信息保护法》(简称pipl)的颁布，首次对个人隐私数据的收集、传输、分享、利用做了明确的规范。

2、目前大部分的企业的官网、小程序、app等都有了用户隐私同意授权的弹窗或单独收集页面；但这只是做到了用户隐私数据合规的第一步，即“收集”；如何正确使用收集到的用户隐私同意数据，并影响下游系统的行为才是满足个人信息保护的关键一步。比如用户不希望收到营销消息，则下游的用户触达模块就要过滤给用户发送营销消息；用户不希望自己的购买行为或订单被用来做营销分析(如打标签等)，则营销分析系统或标签系统将排除该用户。以上的这些用户隐私偏好，都需要在营销系统的整个数据生命周期中贯穿运用。

3、用户的隐私偏好信息具有以下特点：实时性强、数据量大。

4、目前业界没有针对以上数据特点的用户隐私同意数据跨系统同步的方案。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种用户隐私同意数据同步跨系统的方法，是一套实时和离线结合的方法，能同时满足实时性和大数据量的同意隐私数据同步。

2、本发明的技术方案是：一种用户隐私同意数据同步跨系统的方法，具体步骤如下：从各个客户端采到用户的隐私同意数据先进入cpm系统的用户同意数据处理中心，将数据进行过滤、合并，并存储至数据库；

3、所述用户的隐私同意数据是用户对于自己的数据可否用于营销业务的同意或不同意的授权信息；

4、对于实时变更的数据同步：进入实时处理程序，通过webhook调用实时传输到下游系统；

5、对于离线批量的数据同步：由定时任务调度，生成离线文件，通过共享的网络存储传递到下游系统。

6、进一步的，对于实时变更的数据同步的具体实现方法如下：

7、步骤一、下游系统按照模版创建webhook接口；

8、步骤二、下游系统在cpm系统中订阅数据的变更；

9、步骤三、上游数据发生变更后发kafka消息到消息处理服务；

10、步骤四、消息处理服务查询所有有效的下游系统列表，并组装统一的消息体；

11、步骤五、将消息体和下游系统信息封装成kafka消息，发到消息发送服务；

12、步骤六、消息发送服务将统一的消息体依次发送给各个下游系统的接收接口webhook接口。

13、进一步的，如果下游系统的webhook接口暂时不可用，将在达到设定的错误次数后实行熔断，并以固定的时间间隔重试；一旦重试能够访问了，则解除熔断状态。

14、进一步的，对于离线批量的数据同步的具体实现方法如下：

15、步骤1、下游系统按约定创建一个离线同步通知接口和一个离线文件接收处理服务；

16、步骤2、确定批量数据的起始id和终止id；

17、步骤3、取出起始id和终止id之间的所有数据，生产csv文件或parquet文件；

18、步骤4、将生成的文件上传到指定的对方系统能访问到的网络空间；

19、步骤5、将文件名、路径和批次号信息通过离线同步通知接口通知下游系统；

20、步骤6、下游系统通过离线文件接收处理服务下载文件并批量同步到自己的数据库中。

21、进一步的，步骤2中确定批量数据的起始id和终止id：起始id为上一次同步的最后一个id的下一个id；终止id为当前最后一个id或前一天的最后一个id。

22、本发明的有益效果是：实时同步和离线同步的结合，可以实现用户同意授权数据往下游系统分发的绝大部分场景。即能保证实时性，也能应对大数据量的需求，并能随时触发数据的修补。这样就能保证用户同意授权数据能被下游系统正确有效地消费，同时保障了用户数据使用的合规，即《中华人民共和国个人信息保护法》(pipl)要求的数据收集使用的合规。

技术特征：

1.一种用户隐私同意数据同步跨系统的方法，其特征在于：具体步骤如下：从各个客户端采到用户的隐私同意数据先进入cpm系统的用户同意数据处理中心，将数据进行过滤、合并，并存储至数据库；

2.根据权利要求1所述的一种用户隐私同意数据同步跨系统的方法，其特征在于：对于实时变更的数据同步的具体实现方法如下：

3.根据权利要求2所述的一种用户隐私同意数据同步跨系统的方法，其特征在于：如果下游系统的webhook接口暂时不可用，将在达到设定的错误次数后实行熔断，并以固定的时间间隔重试；一旦重试能够访问了，则解除熔断状态。

4.根据权利要求1所述的一种用户隐私同意数据同步跨系统的方法，其特征在于：对于离线批量的数据同步的具体实现方法如下：

5.根据权利要求4所述的一种用户隐私同意数据同步跨系统的方法，其特征在于：步骤

技术总结
本发明公开了一种用户隐私同意数据同步跨系统的方法，具体步骤如下：从各个客户端采到用户的隐私同意数据先进入CPM系统的用户同意数据处理中心，将数据进行过滤、合并，并存储至数据库；所述用户的隐私同意数据是用户对于自己的数据可否用于营销业务的同意或不同意的授权信息；对于实时变更的数据同步：进入实时处理程序，通过webhook调用实时传输到下游系统；对于离线批量的数据同步：由定时任务调度，生成离线文件，通过共享的网络存储传递到下游系统。是一套实时和离线结合的方法，能同时满足实时性和大数据量的同意隐私数据同步。

技术研发人员：周巍
受保护的技术使用者：上海欣兆阳信息科技有限公司
技术研发日：
技术公布日：2024/1/13