数据处理方法、装置、设备及存储介质与流程

1.本发明涉及通信技术领域，具体涉及一种数据处理方法、装置、设备及存储介质。


背景技术：

2.随着网络的迅速发展而带来的网上信息量的大幅增长，使得用户在面对大量信息时无法从中获得对自己真正有用的那部分信息，对信息的使用效率反而降低了，借助推荐系统解决信息超载问题。推荐系统根据用户的信息需求、兴趣等，将用户感兴趣的信息、产品等推荐给用户，实现个性化推荐。
3.如图1所示，为了推荐系统对外提供的接口高可用，使用熔断器(常见熔断器开源框架有：hystrix、sentinel)对推荐系统进行监控，在推荐系统内部正常流程出现降级熔断(熔断原因可能是推荐系统处理超时、内部错误)时，执行降级流程，这样保证推荐系统对外能正常提供服务。
4.但是，上述处理方法带来一个问题：一个请求实际执行正常流程和降级流程两个逻辑，每个逻辑都会对数据库进行读写，但是在降级熔断时，最终响应请求的数据来源实际上是降级流程的。此时正常流程的读写数据对推荐系统本身而言，是无效数据，这部分数据不应该写入数据库或数据池中。
5.在现有技术中，无效数据不写入数据库是利用数据库事务来实现的，通过事务的回滚rollback机制，对无效数据进行回滚。
6.但是，现有技术中只有部分数据库支持事务的特性，不具有普适性；事务是一种耗时的操作，在每次正常流程执行开始之前都要开启事务，执行结束后提交事务，当熔断器监控进行降级熔断时，进行事务回滚，频繁的事务操作降低推荐系统的性能，对数据库本身和推荐系统来说，都不满足高并发场景。


技术实现要素：

7.鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法、装置、设备及存储介质。
8.根据本发明实施例的一个方面，提供了一种数据处理方法，包括：
9.接收数据处理请求；
10.通过正常流程执行所述数据处理请求，得到第一数据，其中，所述第一数据包含正常流程操作标识；
11.当所述正常流程发生异常时，通过降级流程执行所述数据处理请求，得到第二数据，其中，所述第二数据包含降级流程操作标识；
12.当数据写入数据库时，提取所述第一数据和所述第二数据中的标识，将所述标识为所述降级流程操作标识的第二数据作为有效数据写入数据库。
13.进一步的，所述方法还包括：
14.对所述第一数据进行标识操作，使得所述第一数据包含正常流程操作标识；
15.对所述第二数据进行标识操作，使得所述第二数据包含降级流程操作标识；
16.建立并存储所述数据处理请求、所述第一数据、所述第二数据三者之间的绑定关系。
17.进一步的，所述当数据写入数据库时，提取所述第一数据和所述第二数据中的标识，将所述标识为所述降级流程操作标识的第二数据作为有效数据写入数据库中，包括：
18.当数据写入数据库时，向第一系统发送数据写入请求，其中，所述数据写入请求中包含所述第一数据和所述第二数据，以使所述第一系统根据所述数据处理请求、所述正常流程操作标识、所述降级流程操作标识的绑定关系确定所述第一数据为无效数据及所述第二数据为有效数据，并将所述第二数据写入数据库。
19.进一步的，所述方法还包括：
20.将同一数据处理请求对应的第一数据和所述第二数据存储在同一链表中。
21.进一步的，所述方法还包括：
22.将各数据处理请求对应的第一数据和第二数据以链表的形式存储在数据池中，当所述数据池内存不足或达到检测点时，触发执行将数据写入数据库的操作。
23.进一步的，所述方法还包括：
24.向所述第一系统发送数据读取请求，以使所述第一系统从所述数据库读取有效数据。
25.根据本发明实施例的另一方面，提供了一种数据处理装置，包括：
26.请求接收模块，用于接收数据处理请求；
27.正常处理模块，用于通过正常流程执行所述数据处理请求，得到第一数据，其中，所述第一数据包含正常流程操作标识；
28.降级处理模块，用于当所述正常流程发生异常时，通过降级流程执行所述数据处理请求，得到第二数据，其中，所述第二数据包含降级流程操作标识；
29.数据写入模块，用于当数据写入数据库时，提取所述第一数据和所述第二数据中的标识，将所述标识为所述降级流程操作标识的第二数据作为有效数据写入数据库。
30.根据本发明实施例的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
31.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述数据处理方法对应的操作。
32.根据本发明实施例的另一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述数据处理方法对应的操作。
33.根据本发明上述实施例提供的方案，通过标识区分正常流程产生的数据和降级流程产生的数据，使得数据具有区分性，在写入数据库时，只将有效数据写入数据库中，可以避免写入无效数据。
34.上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。
附图说明
35.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
36.图1示出了现有技术提供的数据处理方法的流程图；
37.图2示出了本发明实施例一提供的数据处理方法的流程图；
38.图3示出了本发明实施例一提供的数据处理方法中的lru链表示意图；
39.图4示出了本发明实施例一提供的数据处理方法中的数据版本链表示意图；
40.图5示出了本发明实施例二提供的数据处理方法的流程图；
41.图6示出了本发明实施例二提供的数据处理方法的应用场景示意图；
42.图7示出了本发明实施例二提供的数据处理方法中的数据池结构示意图；
43.图8示出了本发明实施例三提供的数据处理装置的结构示意图；
44.图9示出了本发明实施例五提供的计算设备的结构示意图。
具体实施方式
45.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
46.实施例一
47.图2示出了本发明实施例一提供的数据处理方法的流程图。如图2所示，该方法包括以下步骤：
48.步骤s110、接收数据处理请求。
49.本实施例的执行主体可以为本发明实施例公开的数据处理装置，该装置可以采用软件或硬件的方式实现。该数据处理装置可以集成在推荐系统中，用于基于推荐请求即数据处理请求获取推荐结果即第一数据或第二数据。
50.具体的，数据处理请求可以为用户可以在推荐系统中的触发操作，例如，在推荐系统显示界面的滑动操作或点击操作。
51.步骤s120、通过正常流程执行数据处理请求，得到第一数据，其中，第一数据包含正常流程操作标识。
52.当接收到数据处理请求后，首先启动正常流程对数据处理请求进行处理，为了与后续可能启动的降级流程进行区分，需要对第一数据进行标识操作，使得第一数据包含正常流程操作标识。该正常流程操作标识可以为一个序号，该序号由字母、下划线、横线、数字或其组合组成，例如为seg
‑
a。在采用正常流程对数据处理请求进行处理时，对产生的数据进行标识操作即对数据打上正常流程操作标识，得到第一数据。
53.步骤s130、当正常流程发生异常时，通过降级流程执行数据处理请求，得到第二数据，其中，第二数据包含降级流程操作标识。
54.具体的，数据处理装置中包含熔断器，当熔断器监控到正常流程异常触发降级熔断时，熔断器会执行降级流程，在执行降级流程前，为了与正常流程进行区分，需要对第二
数据进行标识操作，使得第二数据包含降级流程操作标识。该降级流程操作标识可以为一个序号，该序号由字母、下划线、横线、数字或其组合组成，例如为seg
‑
b。并且，该降级流程操作标识不同于正常流程操作标识。在采用降级流程对数据处理请求进行处理时，对产生的数据进行标识操作即对数据打上降级流程操作标识，得到第二数据。
55.并且，为了便于后续步骤s140的操作，建立并存储数据处理请求、第一数据、第二数据三者之间的绑定关系，例如，将三者绑定存储在数据池中。
56.步骤s140、当数据写入数据库时，提取第一数据和第二数据中的标识，将标识为降级流程操作标识的第二数据作为有效数据写入数据库。
57.通过提取的标识可以确定第一数据的标识为正常流程操作标识，第二数据的标识为降级流程操作标识，由于触发了降级流程，因此正常流程对应的数据即第一数据为无效数据，则不将其写入数据库中，而降级流程对应的数据为有效数据，则将其写入数据库。具体的，为便于数据快速写入，优先将有效数据写入数据池中。当数据池内容不足或达到checkpoint时，再将有效数据写入数据库中。
58.本实施例通过标识区分正常流程产生的数据和降级流程产生的数据，使得数据具有区分性，在写入数据库时，只将有效数据写入数据库中，可以避免写入无效数据。
59.在一个可选实施例中，步骤s140具体包括：
60.当数据写入数据库时，向第一系统发送数据写入请求，其中，数据写入请求中包含第一数据和第二数据，以使第一系统根据数据处理请求、正常流程操作标识、降级流程操作标识的绑定关系确定第一数据为无效数据及第二数据为有效数据，并将第二数据写入数据库。
61.其中，第一系统与数据库通信连接。具体的，第一系统可以对多种数据库(例如redis、mysql、oracle、mongodb等)的操作差异性提供统一的接口，以屏蔽每种数据库的差异性。
62.其中，数据写入请求中包含待写入的数据处理请求、及对应的正常流程的第一数据和降级流程的第二数据。第一系统接收到数据写入请求后，根据该数据处理请求、第一数据和第二数据的绑定关系，确定第一数据和第二数据为同一数据处理请求的数据，进一步获取第一数据和第二数据中的标识，如果第一数据的标识为正常流程操作标识，第二数据的标识为降级流程操作标识，由于触发了降级流程，因此正常流程对应的数据即第一数据为无效数据，则不将其写入数据库中，而降级流程对应的数据为有效数据，则将其写入数据库中。具体的，为便于数据快速写入，优先将有效数据写入数据池中。当数据池内容不足或达到checkpoint时，再将有效数据写入数据库中。
63.本实施例通过对正常流程产生的数据和降级流程产生的数据分别进行标识操作，使得数据具有区分性，并且，在写入数据库时，推荐系统和数据库进行隔离，通过第二系统将有效的数据写入数据库或数据池中，可以屏蔽数据库之间的编程差异和事务特性差异，适用于所有数据库，具有普适性。
64.在一个可选实施例中，除了通过第一系统向数据库写入有效数据之外，还可以通过第一系统从数据库中读取有效数据，具体流程如下：
65.向第一系统发送数据读取请求，以使第一系统从数据库读取有效数据。
66.其中，数据读取请求中包含数据处理请求，具体的，为便于数据快速读取，优先从
数据池中读取与该数据处理请求匹配的数据。当数据池中不包含该数据处理请求对应的数据时，再从数据库中读取与该数据处理请求匹配的数据。
67.在一个可选实施例中，所述方法还包括：将各数据处理请求对应的第一数据和第二数据以链表的形式存储在数据池中，当数据池内存不足或达到检测点时，触发执行将数据写入数据库的操作。
68.例如，如图3所示的lru(least recently used，最近最少使用)链表，该lru链表中存储各处理过的数据处理请求对应的数据data1
‑
>data2
‑
>data3，并在写入数据时，按照该lru链表中数据的先后顺序即data1、data2、data3依次将对应的有效数据写入数据库。
69.在一个可选实施例中，所述方法还包括：将同一数据处理请求对应的第一数据和第二数据存储在同一链表中。
70.为便于查找写入的数据，可将同一数据处理请求对应的第一数据和第二数据存储在同一链表中。如图4所示的数据版本链表，数据data1包括第一数据即包含正常流程操作标识seq
‑
a的数据，及第二数据即包含降级流程操作标识seq
‑
b的数据。
71.实施例二
72.图5示出了本发明实施例二提供的数据处理方法的流程图。本实施例基于图6所示的应用场景实现，如图6所示，该应用场景包括推荐系统、第一系统和第二系统。如图5所示该方法包括以下步骤：
73.步骤s210、推荐系统接收数据处理请求。
74.步骤s220、推荐系统向第二系统发送标识获取请求。
75.步骤s230、第二系统接收推荐系统发送的标识获取请求，生成正常流程操作标识和降级流程操作标识，并发送至推荐系统。
76.具体的，推荐系统可以向第二系统发送标识获取请求，其中，标识获取请求包括正常流程的标识获取请求和降级流程的标识获取请求。具体的，当推荐系统启动正常流程对推荐请求进行处理时，需要向第二系统发送获取正常流程操作标识的标识获取请求，该第二系统接收推荐系统发送的标识获取请求。
77.当推荐系统的正常流程触发降级熔断时，需要启动降级流程执行推荐请求数据处理请求，需要向第二系统发送获取降级流程操作标识的标识获取请求，该第二系统接收推荐系统发送的标识获取请求。
78.如图6所示，第二系统中包含序号生成器，该序号生成器可以是一个自增序号生成程序，保证每个序号的唯一性。通过序号生成器生成正常流程操作标识seq
‑
a和降级流程操作标识seq
‑
b。第一系统还包括数据库，该数据库用于保存同一数据处理请求的正常流程操作标识和降级流程操作标识的绑定关系。在该数据库中的标识，其实有两种状态，分别是无效数据即正常流程操作标识、有效数据序号即降级流程操作标识。
79.步骤s240、当推荐系统通过正常流程执行数据处理请求，并对正常流程产生的数据进行标识操作，得到第一数据；当正常流程触发降级熔断时，推荐系统通过降级流程执行数据处理请求，并对降级流程产生的数据进行标识操作，得到第二数据。
80.步骤s250、推荐系统向第一系统发送数据写入请求，其中，数据写入请求中包含第一数据和第二数据。
81.步骤s260、第一系统根据数据处理请求、正常流程操作标识、降级流程操作标识的
绑定关系确定第一数据为无效数据及第二数据为有效数据，并将第二数据写入数据库。
82.如图6所示，第一系统包括推荐系统数据库操作请求接收器，该推荐系统数据库操作请求接收器用于接收推荐系统中正常流程和降级流程的数据库操作请求(包括数据读取请求和数据写入请求)。通过该推荐系统数据库操作请求接收器，推荐系统不再直接与数据库进行连接，这样简化了推荐系统的开发并且提高并发吞吐量：推荐系统不用为请求进行开启、提交、回滚的事务操作；推荐系统不再为不同数据库编写不同的读写操作代码；推荐系统不用担心数据库是否支持事务特性和事务的耗时。
83.其中，第一系统包括还包括推荐系统数据库操作处理器，该推荐系统数据库操作处理器用于处理推荐系统中正常流程和降级流程的数据库操作请求。判断数据库操作请求对应的数据是否已在数据池中存在，如果存在，直接使用；不存在，则要从数据库中读取。
84.其中，该第一系统还包括数据池，该数据池用于存储数据，当数据池内存大小不足时或者达到checkpoint时，会把数据写进数据库。如图7，数据池内部结构分为3部分：
85.第一数据存储：存储从数据库中读取的数据。
86.第二数据库版本链表：数据处理请求被推荐系统正常流程和降级流程执行后，会把执行该数据处理请求的流程序号作为版本，标识这个数据处理请求被哪个流程执行过，并且以链表的结构存储，标识流程执行的先后顺序。
87.第三最近最少使用(least recently used，lru)链表：记录数据被执行过的数据处理请求，当数据池内存大小不足时或者达到checkpoint时，会把数据写进数据库，会从头到尾遍历链表，把数据回写进数据库。
88.第一系统还包括数据库通信程序，通过该数据库通信程序与数据库通信，对多种数据库(例如，redis、mysql、oracle、mongodb等)的操作差异性提供统一的接口，屏蔽每种数据库的差异性。
89.本实施例通过生成正常流程操作标识和降级流程操作标识，并向推荐系统发送正常流程操作标识和降级流程操作标识，使得推荐系统对正常流程和降级流程产生的数据进行标识操作，从而使数据具有区分性。
90.实施例三
91.图8示出了本发明实施例三提供的数据处理装置的结构图。如图8所示，该装置包括：请求接收模块31、正常处理模块32、降级处理模块33和数据写入模块34；其中，
92.请求接收模块31用于接收数据处理请求；
93.正常处理模块32用于通过正常流程执行所述数据处理请求，得到第一数据，其中，所述第一数据包含正常流程操作标识；
94.降级处理模块33用于当所述正常流程发生异常时，通过降级流程执行所述数据处理请求，得到第二数据，其中，所述第二数据包含降级流程操作标识；
95.数据写入模块34用于当数据写入数据库时，提取所述第一数据和所述第二数据中的标识，将所述标识为所述降级流程操作标识的第二数据作为有效数据写入数据库。
96.进一步的，所述装置还包括：标识模块35；
97.标识模块35用于对所述第一数据进行标识操作，使得所述第一数据包含正常流程操作标识；对所述第二数据进行标识操作，使得所述第二数据包含降级流程操作标识；建立并存储所述数据处理请求、所述第一数据、所述第二数据三者之间的绑定关系。
98.进一步的，所述数据写入模块34具体用于：当数据写入数据库时，向第一系统发送数据写入请求，其中，所述数据写入请求中包含所述第一数据和所述第二数据，以使所述第一系统根据所述数据处理请求、所述正常流程操作标识、所述降级流程操作标识的绑定关系确定所述第一数据为无效数据及所述第二数据为有效数据，并将所述第二数据写入数据库。
99.进一步的，所述装置还包括：数据池存储模块36；
100.数据池存储模块36用于将各数据处理请求对应的第一数据和第二数据以链表的形式存储在数据池中，当所述数据池内存不足或达到检测点时，触发执行将数据写入数据库的操作。
101.进一步的，数据池存储模块36还用于：将同一数据处理请求对应的第一数据和所述第二数据存储在同一链表中。
102.进一步的，所述装置还包括：数据读取模块37；
103.数据读取模块37用于向所述第一系统发送数据读取请求，以使所述第一系统从所述数据库读取有效数据。
104.本发明实施例所述的数据处理装置用于执行上述实施例一所述的数据处理方法，其工作原理与技术效果类似，这里不再赘述。
105.实施例四
106.本发明实施例四提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据处理方法。
107.实施例五
108.图9示出了本发明实施例五提供的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
109.如图9所示，该计算设备可以包括：处理器(processor)、通信接口(communications interface)、存储器(memory)、以及通信总线。
110.其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。通信接口，用于与其它设备比如客户端或其它服务器等的网元通信。处理器，用于执行程序，具体可以执行上述用于计算设备的数据处理方法实施例中的相关步骤。
111.具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
112.处理器可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
113.存储器，用于存放程序。存储器可能包含高速ram存储器，也可能还包括非易失性存储器(non
‑
vola memory)，例如至少一个磁盘存储器。
114.程序具体可以用于使得处理器执行上述任意方法实施例中的数据处理方法。程序中各步骤的具体实现可以参见上述数据处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘
述。
115.在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明实施例的内容，并且上面对特定语言所做的描述是为了披露本发明实施例的最佳实施方式。
116.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
117.类似地，应当理解，为了精简本发明实施例并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
118.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
119.此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
120.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
121.应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个
这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。