日志处理方法、日志网关和日志处理系统与流程

1.本说明书涉及网络技术，更具体地，涉及日志处理方法、日志网关、日志网关集群、日志处理系统、电子商务信息的处理方法、电子商务平台、终端设备、以及计算机可读存储介质。


背景技术：

2.在大数据项目中，经常需求处理大流量高并发的数据请求。面向日志服务的大数据项目就更是如此。
3.日志服务的过程是：应用客户端将运行过程中产生的日志(例如异常、崩溃日志等)上报给日志处理系统，日志处理系统对日志进行分析得到日志分析结果，日志分析结果可被用于多种用途，例如用于查找应用客户端的崩溃原因、评估服务器端的负载、健康状况，分析用户的行为等等。
4.在这一过程中，应用客户端向日志处理系统上报日志的过程，也就是应用客户端向日志处理系统提交日志请求的过程，具有大流量高并发的特点。首先，日志报文本身的数据量比较大，远大于一般的web请求的数据量。并且，日志请求具有更高的并发性，例如，日志处理系统可能面对多种应用，对多种应用提供日志分析服务，一种应用又可能被安装在上亿台终端设备中，导致日志处理系统需要同时并行处理海量的日志请求。日志处理系统需要处理的日常日流量可以达到tb(trillionbyte，万亿字节)甚至pb(petabyte，千万亿字节)级别。
5.此外，在一些特定的商业场景下，例如春节期间的车票查询场景下，电子商品平台也会面临大流量高并发的数据请求。
6.因此，有必要提供对于大流量高并发数据请求的处理方案，能够很好地应对大流量高并发的数据请求。


技术实现要素：

7.本说明书实施例提供数据请求处理方案，适用于大流量高并发的数据请求场景。
8.根据本发明实施例的第一方面，提供了一种日志处理方法，所述方法包括：
9.接收配置服务平台通过第一消息中间件推送的配置更新信息；
10.接收应用客户端按照本地存储的日志上报配置信息发送的日志请求，所述日志请求用于上报日志数据；
11.向应用客户端发送对所述日志请求的响应信息，所述响应信息中包含所述配置更新信息，以供所述应用客户端根据所述配置更新信息更新所述日志上报配置信息。
12.本发明实施例的第一方面提供的日志处理方法，可以由日志网关实施。
13.根据本发明实施例的第二方面，提供了一种日志处理方法，所述方法包括：
14.按照本地存储的日志上报配置信息向日志网关发送日志请求，所述日志请求用于上报日志数据；
15.接收日志网关返回的响应信息，所述响应信息中包含配置更新信息；
16.根据所述配置变更信息更新所述日志上报配置信息。
17.本发明实施例的第二方面提供的日志处理方法，可以由应用客户端实施。
18.根据本发明实施例的第三方面，提供了一种日志处理方法，包括以下步骤：
19.日志网关接收配置服务平台通过第一消息中间件推送的配置更新信息；
20.应用客户端按照本地存储的日志上报配置信息向日志网关发送日志请求，所述日志请求用于上报日志数据；
21.日志网关向应用客户端发送对所述日志请求的响应信息，所述响应信息中包含所述配置更新信息；
22.应用客户端根据所述配置变更信息更新所述日志上报配置信息。
23.根据本发明实施例的第四方面，提供了一种日志网关，具有存储器和处理器；所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现本发明的第一方面提供的方法。
24.根据本发明实施例的第五方面，提供了一种日志网关集群，包括多个本发明的第四方面提供的日志网关。
25.根据本发明实施例的第六方面，提供了一种日志处理系统，包括本发明的第五方面提供的日志网关集群、配置服务平台、日志分析处理平台。
26.根据本发明实施例的第七方面，提供了一种搭载有应用客户端的终端设备，所述应用客户端设有程序编译文件；所述应用客户端被配置成用于执行本发明的第二方面提供的方法。
27.根据本发明实施例的第八方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现本发明的第一方面提供的方法。
28.根据本发明实施例的第九方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现本发明的第二方面提供的方法。
29.根据本发明实施例的第十方面，提供了一种电子商务信息的处理方法，所述方法包括：
30.接收配置服务平台通过第一消息中间件推送的配置更新信息；
31.接收应用客户端按照本地存储的商品查询配置信息发送的商品查询请求；
32.向应用客户端发送对所述商品查询请求的响应信息，所述响应信息中包含所述配置更新信息，以供所述应用客户端根据所述配置更新信息更新所述商品查询配置信息。
33.本发明实施例的第十方面提供的电子商务信息的处理方法，可以由商品查询服务器实施。
34.根据本发明实施例的第十一方面，提供了一种电子商务信息的处理方法，所述方法包括：
35.按照本地存储的商品查询配置信息向商品查询服务器发送商品查询请求；
36.接收商品查询服务器返回的响应信息，所述响应信息中包含配置更新信息；
37.根据所述配置变更信息更新所述商品查询配置信息。
38.本发明实施例的第十一方面提供的电子商务信息的处理方法，可以由由应用客户端实施。
39.根据本发明实施例的十二方面，提供了一种电子商务平台，包括商品查询服务器和配置服务平台；所述商品查询服务器具有存储器和处理器；所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现本发明的第十方面提供的方法。
40.根据本发明实施例的十三方面，提供了一种搭载有应用客户端的终端设备，所述应用客户端被配置成用于执行本发明的第十一方面提供的方法。
41.根据本发明实施例的十四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现本发明的第十方面提供的方法。
42.根据本发明实施例的十五方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现本发明的第十一方面提供的方法。
43.本发明实施例提供的日志处理方案，应用客户端根据本地存储的日志上报配置信息发送日志请求，当技术人员根据系统接收日志请求的情况更新配置信息时，利用消息广播机制将配置更新信息实时推送给日志网关，日志网关在响应日志请求时将配置更新信息提供给应用客户端，使得应用客户端可以及时根据配置更新信息调整日志上报策略。本发明实施例提供的日志处理方案，可以实时调整应用客户端的日志上报策略，使得日志处理系统能够应对大流量高并发的日志请求。
44.本发明实施例提供的电子商务信息的处理方案，应用客户端根据本地存储的商品查询配置信息向商品查询服务器发送商品查询请求，当运营人员根据系统接收商品查询请求的情况更新配置信息时，利用消息广播机制将配置更新信息实时推送给商品查询服务器，商品查询服务器在响应商品查询请求时将配置更新信息提供给应用客户端，使得应用客户端可以及时根据配置更新信息调整商品查询请求发送策略。本发明实施例提供的电子商务信息的处理方案，可以实时调整应用客户端的商品查询请求发送策略，使得商品查询服务器能够应对大流量高并发的商品查询请求。
45.通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的实施例的特征及其优点将会变得清楚。
附图说明
46.被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例，并且连同其说明一起用于解释本说明书实施例的原理。
47.图1是本说明书一个实施例提供的日志处理系统的框图。
48.图2是本说明书一个实施例提供的日志处理方法的流程图；
49.图3是本说明书一个实施例提供的日志处理方法的流程图；
50.图4是本说明书一个实施例提供的日志处理方法的流程图；
51.图5是本说明书一个实施例提供的日志处理方法的流程图；
52.图6是本说明书一个实施例提供的日志网关的示意图；
53.图7是本说明书一个实施例提供的电子商务平台的框图。
54.图8是本说明书一个实施例提供的电子商务信息的处理方法的流程图。
具体实施方式
55.现在将参照附图来详细描述本说明书的各种示例性实施例。
56.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本说明书实施例及其应用或使用的任何限制。
57.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
58.随着网络人口和网络技术的迅猛发展，出现了越来越多的面向日志的大数据服务。例如，一个购物应用可能被安装在上亿台终端设备中，在购物高峰期产生的日志数据是海量的，为了保证用户的购物顺利进行，需要实时处理分析海量的日志数据。例如，一个专门提供日志服务的服务商同时服务于多个应用，每个应用又被安装在大量终端设备中，日志服务商可能在同一时间需要接收并且分析处理多个应用的大量日志数据。
59.在这些情况下，日志网关需要处理大流量高并发的日志请求。并且，由于日志网关是唯一的数据入口，其可用性决定了整个后续链路的可用性，要求日志网关具有高可保障性。此外，由于相关日志服务是暴露在互联网上的，保证日志数据和日志网关自身的安全性尤其重要。
60.本说明书实施例旨在提供日志处理方案，可以应对大流量高并发的日志请求，实现具备一定通用性且可扩展的大数据日志网关平台。
61.在介绍本说明书实施例的日志处理方案之前，先对相关技术名词进行说明：
62.openresty：基于nginx与lua的高性能web平台，是一款开源软件。
63.nginx：是一个高性能的http和反向代理web服务器，同时也提供了imap/pop3/smtp服务。nginx具有对http/https请求进行分阶段处理的特性。nginx处理http/https请求的过程一共划分为11个阶段，按照执行顺序依次是post-read阶段(读取请求内容阶段)、server-rewrite阶段(server请求地址重写阶段)、find-config阶段(配置查找阶段)、rewrite阶段(location请求地址重写阶段)、post-rewrite阶段(请求地址重写提交阶段)、preaccess阶段(访问权限检查准备阶段)、access阶段(访问权限检查阶段)、post-access阶段(访问权限检查提交阶段)、try-files阶段(配置项处理阶段)、content阶段(内容产生阶段)以及log阶段(日志模块处理阶段)。
64.lua：是一个小巧的脚本语言，其设计目的是为了通过灵活嵌入应用程序中从而为应用程序提供灵活的扩展和定制功能。
65.http(hypertext transfer protocol)：超文本传输协议。
66.https(secure hypertext transfer protocol)：安全超文本传输协议。
67.imap(post office protocol 3)：邮局协议的第3个版本。
68.pop3(simple mail transfer protocol)：简单邮件传输协议。
69.smtp(internet mail access protocol)：交互式邮件存取协议。
70.html(hypertext markup language)：超文本标记语言。
71.redis(remote dictionary server，远程字典服务)：是一个开源的高性能、高可用的key-value键值型存储系统，基于内存实现，可以用作数据库、缓存、消息中间件。
72.kafka：一种高吞吐量的分布式发布订阅消息系统，是一个开源的高性能流处理平台。
73.sdk(software development kit，软件开发工具包)：实现软件产品某项功能的工具包。
74.图1是本说明书实施例提供的日志处理系统的框图。如图1所示，该日志处理系统包括日志网关集群、为日志网关集群提供服务的服务机房、配置服务平台、日志分析处理平台。日志网关集群中包括多台日志网关。
75.日志服务提供方利用日志处理系统提供日志服务，日志处理系统用于面向一种或者多种应用提供日志服务，具体的，日志处理系统从搭载了应用客户端的终端设备处接收日志，对日志进行处理和分析，日志分析结果可被用于多种用途，例如用于查找应用客户端的崩溃原因、评估应用客户端对应的服务器端的负载、健康状况，分析用户的行为等。
76.图1中仅仅示意性地示出了一台终端设备，实际上，终端设备的数量可以是大量的，一台终端设备设备中可以搭载一种或者多种应用客户端。用户通过使用应用客户端访问对应的服务器来实现应用相关的功能。应用例如可以是浏览器、购物、支付、视频、邮件、即时通信等应用。应用客户端例如可以是安卓应用客户端、ios应用客户端、html应用客户端等，本发明实施例对此不作限定。
77.应用客户端中可以集成有用于发送日志请求的程序编译文件，应用客户端通过调用该程序编译文件向日志处理系统发送日志请求，该日志请求用于上报日志数据。应用客户端基于http/https协议发送日志请求，即日志请求为http/https请求。该程序编译文件可以是日志sdk的形式。
78.该程序编译文件可以是日志服务提供方提供给应用服务提供方的，应用服务提供方将该程序编译文件集成在应用客户端中，供用户下载集成了该程序编译文件的应用客户端。
79.服务机房可以包括服务器、路由器等设备。服务机房接收到终端设备发送的日志请求，为日志网关集群提供https网关服务、web路由服务、负载均衡服务等服务。https网关服务可以包括https证书校验等。web路由服务将日志请求分配给日志网关集群中的网关，负载均衡服务对日志网关处理日志请求的流量进行分配。
80.配置服务平台，主要用于供技术人员配置管理日志网关的工作。日志网关集群中包括多台日志网关，日志网关用于对日志请求进行预处理，将经过预处理得到的日志数据提供给日志分析处理平台。日志分析处理平台对日志数据进行进一步处理和分析，得到日志分析结果。日志分析处理平台可以包括实时计算平台，以实时对日志数据进行统计更新。
81.终端设备例如可以是安装有智能操作系统(例如安卓系统、苹果ios系统、微软windows系统、linux等系统)的电子设备，包括但不限于便携式电脑、台式计算机、手机、平板电脑等。终端设备设备中可以搭载一种或者多种应用客户端。终端设备的硬件配置包括但不限于处理器、存储器、接口装置、通信装置、输入装置、显示装置、扬声器、麦克风、以及相机。处理器可以包括但不限于中央处理器cpu、微处理器mcu等。存储器可以包括但不限于rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置可以包括但不限于usb接口、串行接口、并行接口等。通信装置例如能够进行有线通信或无线通信，具体地可以包括wifi通信、蓝牙通信、2g/3g/4g/5g通信等。输入装置可以包括但不限于键盘、鼠标、触摸屏等。显示装置可以包括但不限于液晶屏、触摸屏等。终端设备的硬件配置也可以仅包括上述装置中的部分装置。
82.配置服务平台、日志网关、日志分析处理平台可以采用服务器搭建。本发明实施例中涉及的服务器的配置可以包括但不限于：处理器、存储器、接口装置、通信装置、输入装
置、输出装置。处理器可以包括但不限于中央处理器cpu、微处理器mcu等。存储器可以包括但不限于rom、ram、诸如硬盘的非易失性存储器等。接口装置可以包括但不限于usb接口、串行接口、并行接口等。通信装置例如能够进行有线通信或无线通信，具体地可以包括wifi通信、蓝牙通信、2g/3g/4g/5g通信等。输入装置可以包括但不限于键盘、鼠标等。输出装置可以包括但不限于显示屏等。该服务器的配置也可以仅包括上述装置中的部分装置。
83.图1所示的日志处理系统仅仅是说明性的并且绝不意味着对本说明书实施例、其应用或使用的任何限制。本领域技术人员应当理解，尽管前面描述了终端设备、配置服务平台、日志网关、日志分析处理平台的多个装置，但是，本说明书实施例可以仅涉及其中的部分装置。本领域技术人员可以根据本说明书实施例所公开的方案设计指令。指令如何控制处理器进行操作，是本领域公知技术，故在此不再详细描述。
84.下面参考图1和图2所示，说明本发明实施例提供的日志处理方法：
85.1002、应用客户端按照本地存储的日志上报配置信息，通过网络向日志处理系统发送日志请求，日志请求用于上报日志数据。
86.在一个具体的例子中，应用客户端中集成有用于发送日志请求的程序编译文件，应用客户端调用该程序编译文件按照日志上报配置信息来配置、发送日志请求。该程序编译文件还用于管理、维护日志上报配置信息。该程序编译文件可以是日志sdk的形式。
87.该程序编译文件可以是日志服务提供方提供给应用服务提供方的，应用服务提供方将该程序编译文件集成在应用客户端中，供用户下载集成了该程序编译文件的应用客户端。
88.日志上报配置信息可以包括：请求头配置信息、密钥配置信息、业务限流配置信息、日志重发配置信息、日志压缩配置信息、日志合并配置信息。
89.请求头配置信息用于配置日志请求的请求头中的内容，例如，要求请求头中包含签名、业务标识、时间戳、业务参数、域名等。日志请求的请求体中包括具体的日志数据，本发明实施例中，将一条日志请求所包含的全部日志数据称之为一条日志数据。
90.签名是应用客户端或者该程序编译文件的授权签名，用于证明日志请求的身份。
91.业务标识用以表明业务的身份，每个业务都具有唯一的业务标识。业务是应用能够提供的服务，一个应用中可能包含多个业务。例如，一个购物类应用，其具有账户登录、搜索商品、收藏、购物车、支付等多个业务。例如，一个音频应用，其具有账户登录、播放音乐、搜索音乐、收藏音乐、购买音乐等多个业务。
92.时间戳指示日志请求生成的时间。
93.业务参数是日志数据的与业务相关的关键信息。例如，登录业务的日志数据的关键信息包括用户名；例如，搜索商品业务的日志数据的关键信息包括搜索关键词。
94.域名是产生日志数据的访问行为所要访问的域名。
95.密钥配置信息中包含对日志数据进行加密的密钥。
96.业务限流配置信息用于对某些业务的日志数据的上报进行限流。例如，禁止上报业务b1的日志数据；例如，要求上报业务b2的日志数据的频次不超过5次/秒。
97.日志重发配置信息用于对日志请求的重复发送进行限制。一般来说，应用客户端发送请求后，如果在预设时间内没有收到响应信息，应用客户端通常会再次发送该请求。在本发明实施例中，通过日志重发配置信息用于对日志请求的重发进行配置。例如，禁止应用
客户端重复发送日志请求；例如，允许应用客户端重复发送日志请求；例如；禁止业务b1的日志请求重复发送；例如，允许业务b2的日志请求重复发送。
98.日志压缩配置信息用于对日志数据是否进行压缩、压缩使用的算法进行配置。
99.日志合并配置信息用于对日志数据是否进行合并、合并的具体方式进行配置。
100.本发明实施例中，应用客户端中可以实现日志压缩上报、日志合并上报，从而可以大大减少流量耗损(带宽节省可以达到2倍以上)，同时减少非必要请求，降低日志处理系统的服务压力。
101.1004、服务机房接收到日志请求后，提供https网关服务、web路由服务、负载均衡服务等服务。
102.https网关服务可以包括对http请求进行https证书校验等。
103.web路由服务将日志请求分配给日志网关集群中的网关。在一个具体的例子中，预先为日志网关配置其服务的域名。例如，日志网关集群中包括日志网关p1，p2，
…
，p
n
，p
n+1
，
…
，p
m
，p
m+1
，
…
p
l
，p
l+1
，
…
。其中，应用a1对应的域名包括c1，应用a2对应的域名包括c2和c3，日志网关p1，p2，
…
，p
n
用于为域名c1提供日志服务，日志网关p
n+1
，
…
，p
m
用于为域名c2提供日志服务，日志网关p
m+1
，
…
，p
l
用于为域名c3提供日志服务。服务机房可以从日志请求的请求头中获取域名，根据域名确定为其提供服务的日志网关。
104.负载均衡服务用于对日志网关处理日志请求的流量进行分配。例如，日志网关p1，p2，
…
，p
n
用于为域名c1提供日志服务，负载均衡服务将与域名c1对应的日志请求均匀分配给日志网关p1，p2，
…
，p
n
，以提升日志网关集群的综合响应速度，避免因为数据流量过大导致日志网关失效。
105.本发明实施例中，可以在服务机房这一层设置监控节点，对服务机房的工作进行运维监控，以保障日志处理系统的可用性。
106.1006、日志网关接收日志请求，对日志请求进行预处理。
107.参见图2所示，本发明实施例中的预处理可以包括两个阶段。首先说明预处理的第一阶段：
108.日志网关接收到日志请求后，从日志请求的请求头中获取签名、业务标识、时间戳、业务参数、域名等信息。
109.日志网关对业务标识进行校验，在一个具体的例子中，对业务标识的校验包括校验业务标识的数据类型、长度等是否符合预设的规则。例如，按照预设的规则，业务标识应当采用数字，不能采用字符串或者浮点数，业务标识的长度应当为10位。如果日志网关从请求头中获取的业务标识符合预设的规则，业务标识检验通过；如果日志网关从请求头中获取的业务标识不符合预设的规则，业务标识检验不通过，日志网关停止后续的处理步骤，舍弃本条日志请求。
110.在一个实施例中，配置服务平台包括数据库，数据库中存储有与业务对应的业务校验信息，技术人员可以通过配置服务平台对数据库中的业务校验信息进行增加、修改、删除等操作。在业务标识校验通过后，日志网关根据业务标识通过第一消息中间件获取与业务标识对应的业务校验信息。第一消息中间件可以是redis中间件，在高并发场景下，数据库是并发访问最薄弱的环节，本发明实施例中利用redis中间件和数据库对接，redis具有支持高并发的特性，能够及时响应日志网关集群中的多个日志网关提交的对业务校验信息
的查询请求。第一消息中间件还可以采用kafka中间件。
111.业务校验信息可以包括签名校验信息、时间戳检验信息、业务参数校验信息、解密日志数据需要的密钥、解包使用的算法等。
112.日志请求的请求头中的时间戳用于指示日志请求生成的时间，时间戳是一种能够表示一份数据在一个特定时间点已经存在的完整的可验证的数据。在本发明实施例中，日志网关使用签名校验信息对从日志请求的请求头中获取的签名进行校验，使用时间戳校验信息对从日志请求的请求头中获取的时间戳进行校验，以判断日志请求的身份是否合法、日志请求是否被篡改等，只要其中任一个校验不通过，停止后续的处理步骤，舍弃本条日志请求。此外，如果从日志请求的请求头中获取的时间戳所指示的时间和日志网关接收到该日志请求的时间两者之间的时间过长，认为该条日志请求无效，时间戳校验不通过，从而防止应用客户端重复发送多次的同一条日志请求被日志网关重复处理，避免造成日志网关资源的浪费。
113.业务参数校验信息中指示了应该有哪些业务参数，日志网关使用业务参数校验信息对从日志请求的请求头中获取的业务参数进行校验，如果从日志请求的请求头中获取的业务参数和业务校验参数指示的业务参数匹配，则业务参数校验通过，否则业务参数校验不通过。例如，业务参数校验信息中指示业务参数包括用户名，如果从日志请求的请求头中获取的业务参数不含有用户名，则业务参数校验失败。
114.本实施例中日志网关对日志请求进行上述多个验证，只要其中的任一个验证没有通过，即说明日志请求没有通过校验，停止后续处理步骤，舍弃本条日志请求。
115.本实施例中，日志网关具有报文限制功能，在日志请求没有通过校验的情况下，拒绝接收日志请求上报的日志数据。http/https请求实际上是分为多个部分发送的，本发明实施例的日志网关采用openresty平台实现，openresty是基于nginx与lua的高性能web平台，使得日志网关具有nginx对http/https请求进行分阶段处理的能力。本实施例中利用这一分阶段处理特性，日志网关执行读取以及解析请求头的操作，使用请求头中的信息对日志请求进行校验，如果日志请求没有通过校验，日志网关拒绝接收该日志请求上报的日志数据。在一个具体的例子中，日志网关被配置成将前述校验工作放在access阶段(访问权限检查阶段)完成，如果日志请求没有通过校验，日志网关终止后面阶段的处理，拒绝接收该日志请求上报的日志数据，以减少流量损耗，提高处理效率。
116.在一个实施例中，配置服务平台的数据库中还存储有日志上报配置信息，技术人员可以在需要时通过配置服务平台对数据库中的日志上报配置信息进行更新。例如，如果当前日志请求的流量过大，日志网关集群难以负荷，技术人员可以将日志重发配置信息从允许重发改为禁止重发，可以修改业务限流配置信息以对某些业务的业务日志请求进行限流等。例如，技术人员可以对请求头配置信息进行修改。例如，技术人员可以对密钥配置信息进行修改以更新对日志数据进行加密的密钥。
117.配置服务平台获取到具体的配置更新信息后，通过第一消息中间件实时将配置更新信息推送给集群内的日志网关。也就是说，在本发明实施例中，不需要技术人员逐一向日志网关写入新的日志上报配置信息，也不需要日志网关定时从数据库拉取最新的日志上报配置信息，而是利用第一消息中间件的消息广播机制来主动、实时地将配置更新信息推送给集群内的日志网关。这可以降低技术人员的工作量，实现应用层的缓存实时刷新能力，提
高配置变更响应的实时性。
118.在本发明实施例中，通过上述消息广播机制，日志网关可以获知最新的业务限流配置信息，日志网关从日志请求的请求头中获取到业务标识后，可以在对业务标识进行校验之前，或者可以在业务标识通过校验之后，根据最新的业务限流配置信息判断该业务标识对应的业务是否属于被禁止上报日志的业务，如果该业务标识对应的业务属于被禁止上报日志的业务，拒绝接收该日志请求上报的日志数据，终止后续处理，以减少流量损耗，提高处理效率。
119.在日志请求通过校验的情况下，可以对同一业务标识对应的多条日志数据进行采样，保留其中的部分日志数据。这可以由技术人员根据实际场景需求进行设置，例如，一个业务在短时间内可能就产生过亿的日志请求，日志分析处理平台想要的是分析统计该业务出现状况的概率，在这种情况下，日志网关可以对该业务的日志数据进行采样，采样后只保留其中的部分日志数据，利用保留的日志数据同样可以进行统计分析并且基本不影响最后的结果。在一个具体的例子中，具体需要对哪些业务的日志数据进行采样以及具体的采样方式，同样可以是由技术人员通过配置服务平台设置的并且通过第一消息中间件推送给日志网关的。本发明实施例中的日志网关具有数据采样能力，可以保证业务数据统计不受影响的同时，减少数据流入量，节省计算、存储资源。
120.在通过预处理的第一阶段后，被保留下来的日志数据进行到预处理的第二阶段：
121.日志网关使用密钥对日志数据进行解密、使用解包算法对解密后的日志数据进行解包。对解包后的日志数据按照预设的数据处理规则进行数据处理，例如，对某个业务标识对应的日志数据中的敏感信息进行删除处理。根据业务标识，对经过数据处理的日志数据进行合并处理，使得后续不需要针对每条日志数据分别进行处理，以节省后续步骤的执行次数，也有利于进一步降低数据量。之后，对经过前述处理的日志数据进行序列化(serialization)处理，序列化处理是将日志数据转换为可以存储的形式的过程。
122.本发明实施例中，在经过预处理之后，日志数据量被降低，有利于节省日志分析处理平台的计算量。
123.本发明实施例中，可以针对日志网关集群的工作进行监控，以保障日志处理系统的可用性。
124.1008、日志网关将经过预处理得到的日志数据发送给日志分析处理平台。
125.日志网关将经过预处理的日志数据利用第二消息中间件进行缓存，把经过预处理之后得到的日志转发到日志分析处理平台，使得日志网关可以不进行本地存储，提升日志数据的安全性。
126.在一个具体地例子中，日志分析处理平台中预先设置有多个分析处理单元，分析处理单元向第二消息中间件订阅其想要分析的日志数据的业务标识，日志网关通过第二消息中间件根据业务标识将日志数据发送给订阅了该业务标识的分析处理单元。
127.本发明实施例中，第二消息中间件可以是kafka消息中间件，使用kafka这种高吞吐量的分布式发布订阅消息中间件来缓存并中转日志数据给日志分析处理平台，可以降低日志网关对于日志分析处理平台的响应时间，提升系统的每秒查询率(queries per second，qps)和每秒事务数(transactionspersecond，tps)。
128.1010、在经过步骤1006或者经过步骤1008之后，日志网关平台向应用客户端发送
对日志请求的响应信息。
129.本发明实施例中，响应信息中包含配置更新信息。应用客户端接收到配置更新信息后，根据配置更新信息来更新应用客户端的日志上报配置信息。例如，根据配置更新信息来更新日志上报配置信息中的业务限流配置信息、日志重发配置信息，禁止应用客户端重复发送日志请求，禁止发送某个业务的日志请求等，以及时响应配置服务平台端对日志上报的最新要求。例如，根据配置更新信息来更新对日志数据进行加密的密钥，进一步提升日志数据传输的安全性。
130.应用客户端中可以集成有用于发送日志请求的程序编译文件，应用客户端通过调用该程序编译文件更新日志上报配置信息。该程序编译文件可以是日志sdk的形式。
131.本发明实施例在应用客户端按照本地存储的日志上报配置信息提交日志请求，结合配置服务平台通过第一消息中间件对上报配置信息的实时更新，利用日志网关对日志请求的响应信息来及时更新应用客户端的日志上报配置信息，使得日志处理系统具有具备较高的处理性能、较好的安全保护以及较低的部署运作成本。
132.本发明实施例中，日志网关可以利用响应信息与应用客户端实现联动，提升配置变更的实时性，同时不影响整体服务性能。
133.1012、日志分析处理平台对日志数据进行进一步处理和分析，得到日志分析结果。
134.在一个具体的例子中，日志分析处理平台可以包括实时计算平台，以实时对日志数据进行统计更新，例如统计日志数据的并发量等。日志分析处理平台的分析处理单元可以利用日志数据分析查找应用客户端的崩溃原因、评估应用客户端对应的服务器端的负载、健康状况，分析用户的行为等，这里不再赘述。
135.本发明实施例提供的日志处理方法，可以基于开源免费技术实现，其中，日志网关使用openresty技术实现，日志网关和配置服务平台之间使用redis中间件互通信息，日志网关通过kafka消息中间件将日志数据分发给日志分析处理平台。
136.本发明实施例提供的日志处理方法，选用openresty技术作为日志网关的核心基础，其在输入/输出密集型请求场景下，性能非常优秀，从而实现了日志网关集群对大流量高并发日志请求的处理能力。本发明实施例提供的日志处理方法，通过提高单体日志网关节点的处理能力，降低了日志网关集群的搭建、维护成本，
137.本发明实施例提供的日志处理系统设有配置服务平台，使日志网关系统具备可配置、可扩展能力，能轻易根据业务形态实现其它变种服务。
138.本发明实施例提供的日志处理方法，通过组合包括日志请求签名、日志数据加密、无本地化存储等多种策略，提升了日志服务的安全级别。
139.参见图3所示，根据本发明实施例，提供了一种日志处理方法，由日志网关实施，包括以下步骤：
140.s102、接收配置服务平台通过第一消息中间件推送的配置更新信息。
141.s104、接收应用客户端按照本地存储的日志上报配置信息发送的日志请求，日志请求用于上报日志数据。
142.s106、向应用客户端发送对日志请求的响应信息，响应信息中包含配置更新信息，以供应用客户端根据配置更新信息更新日志上报配置信息。
143.参见图4所示，根据本发明实施例，提供了一种日志处理方法，由应用客户端实施，
包括以下步骤：
144.s202、按照本地存储的日志上报配置信息向日志网关发送日志请求，日志请求用于上报日志数据。
145.s204、接收日志网关返回的响应信息，响应信息中包含配置更新信息。
146.s206、根据配置变更信息更新日志上报配置信息。
147.参见图5所示，根据本发明实施例，提供了一种日志处理方法，包括以下步骤：
148.s302、日志网关接收配置服务平台通过第一消息中间件推送的配置更新信息。
149.s304、应用客户端按照本地存储的日志上报配置信息向日志网关发送日志请求，日志请求用于上报日志数据。
150.s306、日志网关向应用客户端发送对日志请求的响应信息，响应信息中包含配置更新信息。
151.s308、应用客户端根据配置变更信息更新日志上报配置信息。
152.参见图6所示，根据本发明实施例，提供了一种日志网关，具有存储器12和处理器11；存储器12中存储有计算机可读指令，所述计算机可读指令被处理器11执行时实现前述任一项由日志网关执行的方法。
153.根据本发明实施例，提供了日志网关集群，包括前述任一项的日志网关。
154.根据本发明实施例，提供了日志处理系统，包括前述的日志网关集群、配置服务平台、日志分析处理平台。
155.根据本发明实施例，提供了搭载有应用客户端的终端设备，所述应用客户端被配置成用于执行前述任一项由应用客户端执行的方法。
156.根据本发明实施例，提供了计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现前述任一项由日志网关执行的方法。
157.根据本发明实施例，提供了计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现前述任一项由应用客户端执行的方法。
158.与前述日志请求处理方案类似，本发明实施例还提供了电子商务信息的处理方案，可以适用于大流量高并发的商品查询请求场景。
159.图7是本说明书实施例提供的电子商务平台的框图。如图7所示，该电子商务平台包括查询服务器集群和配置服务平台。查询服务器集群中包括一台或者多台商品查询服务器。
160.图7中仅仅示意性地示出了一台终端设备，实际上，终端设备的数量可以是大量的，一台终端设备设备中可以搭载一种或者多种应用客户端。用户通过使用应用客户端访问商品查询服务器来实现相应的商品查询功能。应用客户端例如可以是安卓应用客户端、ios应用客户端、html应用客户端等，本发明实施例对此不作限定。
161.商品提供方利用商品查询服务器提供商品查询服务，商品查询服务器用于面向一种或者多种应用提供商品查询服务，具体的，商品查询服务器从搭载了应用客户端的终端设备处接收商品查询请求，根据商品查询请求进行查询得到查询结果，对查询请求进行响应以将查询结果反馈给应用客户端。例如，商品提供方是火车票官方销售中心，用于向多种不同的应用端提供售票服务和查询余票服务，应用例如可以是专门提供车票预订服务的应用，或者提供旅行综合服务的应用等等。
162.服务机房可以包括服务器、路由器等设备。服务机房接收终端设备发送的商品查询请求，为查询服务器集群提供https网关服务、负载均衡服务等服务。https网关服务可以包括https证书校验等，负载均衡服务对商品查询服务器处理商品查询请求的流量进行分配。
163.配置服务平台，主要用于供运营人员配置、管理商品查询服务器的工作。
164.应用客户端中可以集成有用于发送商品查询请求的程序编译文件，应用客户端通过调用该程序编译文件向商品查询服务器发送商品查询请求，该程序编译文件可以是商品提供方提供给具体的应用服务提供方的，应用服务提供方将该程序编译文件集成在应用客户端中，供用户下载集成了该程序编译文件的应用客户端。该程序编译文件可以是商品查询sdk的形式。
165.终端设备例如可以是安装有智能操作系统(例如安卓系统、苹果ios系统、微软windows系统、linux等系统)的电子设备，包括但不限于便携式电脑、台式计算机、手机、平板电脑等。终端设备设备中可以搭载一种或者多种应用客户端。终端设备的硬件配置包括但不限于处理器、存储器、接口装置、通信装置、输入装置、显示装置、扬声器、麦克风、以及相机。处理器可以包括但不限于中央处理器cpu、微处理器mcu等。存储器可以包括但不限于rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置可以包括但不限于usb接口、串行接口、并行接口等。通信装置例如能够进行有线通信或无线通信，具体地可以包括wifi通信、蓝牙通信、2g/3g/4g/5g通信等。输入装置可以包括但不限于键盘、鼠标、触摸屏等。显示装置可以包括但不限于液晶屏、触摸屏等。终端设备的硬件配置也可以仅包括上述装置中的部分装置。
166.商品查询服务器和配置服务平台可以采用服务器搭建。本发明实施例中涉及的服务器的配置可以包括但不限于：处理器、存储器、接口装置、通信装置、输入装置、输出装置。处理器可以包括但不限于中央处理器cpu、微处理器mcu等。存储器可以包括但不限于rom、ram、诸如硬盘的非易失性存储器等。接口装置可以包括但不限于usb接口、串行接口、并行接口等。通信装置例如能够进行有线通信或无线通信，具体地可以包括wifi通信、蓝牙通信、2g/3g/4g/5g通信等。输入装置可以包括但不限于键盘、鼠标等。输出装置可以包括但不限于显示屏等。该服务器的配置也可以仅包括上述装置中的部分装置。
167.图7所示的电子商务平台仅仅是说明性的并且绝不意味着对本说明书实施例、其应用或使用的任何限制。本领域技术人员应当理解，尽管前面描述了终端设备、配置服务平台、商品查询服务器的多个装置，但是，本说明书实施例可以仅涉及其中的部分装置。本领域技术人员可以根据本说明书实施例所公开的方案设计指令。指令如何控制处理器进行操作，是本领域公知技术，故在此不再详细描述。
168.下面参考图7和图8所示，说明本发明实施例提供的电子商务信息的处理方法：
169.2002、应用客户端按照本地存储的商品查询配置信息，通过网络向电子商务平台发送商品查询请求。
170.在一个具体的例子中，应用客户端中集成有用于发送商品查询请求的程序编译文件，应用客户端调用该程序编译文件按照商品查询配置信息来配置、发送商品查询请求。该程序编译文件还用于管理、维护商品查询配置信息。该程序编译文件可以是商品查询sdk的形式。
171.商品查询配置信息可以包括：请求头配置信息、业务限流配置信息、查询请求重发配置信息、查询请求压缩配置信息。
172.请求头配置信息用于配置商品查询请求的请求头中的内容，例如，要求请求头中包含签名、业务标识、时间戳、业务参数等。商品查询请求的请求体中包括具体的查询请求内容。
173.签名是应用客户端或者该程序编译文件的授权签名，用于证明商品查询请求的身份。
174.业务标识用以表明业务的身份，每个业务都具有唯一的业务标识。电子商务平台可以提供多种不同的业务，例如，车次查询服务的业务、站到站查询服务的业务。
175.时间戳指示商品查询请求生成的时间。
176.业务参数是与业务相关的关键信息。例如，车次查询服务业务的关键信息应当包括车次号。
177.业务限流配置信息用于对某些业务的查询请求进行限流。例如，要求业务b2的查询请求的频次不超过30次/小时。
178.查询请求重发配置信息用于对商品查询请求的重复发送进行限制。一般来说，应用客户端发送请求后，如果在预设时间内没有收到响应信息，应用客户端通常会再次发送该请求。在本发明实施例中，通过查询请求重发配置信息用于对商品查询请求的重发进行配置。例如，禁止应用客户端重复发送商品查询请求；例如，允许应用客户端重复发送商品查询请求；例如；禁止业务b1的商品查询请求重复发送；例如，允许业务b2的商品查询请求重复发送。
179.查询请求压缩配置信息用于对查询请求是否进行压缩、以及压缩使用的算法进行配置。
180.本发明实施例中，应用客户端中可以实现对商品查询请求进行压缩后发送，从而可以大大减少流量耗损(带宽节省可以达到2倍以上)。
181.2004、服务机房接收到商品查询请求后，提供https网关服务、web路由服务、负载均衡服务等服务。
182.https网关服务可以包括对http请求进行https证书校验等。
183.负载均衡服务用于对商品查询服务器处理商品查询请求的流量进行分配，以提升查询服务器集群的综合响应速度，避免因为数据流量过大导致查询服务器失效。
184.2006、商品查询服务器接收商品查询请求，对商品查询请求进行预处理。
185.参见图8所示，商品查询服务器接收到商品查询请求后，从商品查询请求的请求头中获取签名、业务标识、时间戳、业务参数等信息。
186.商品查询服务器对业务标识进行校验，在一个具体的例子中，对业务标识的校验包括校验业务标识的数据类型、长度等是否符合预设的规则。例如，按照预设的规则，业务标识应当采用数字，不能采用字符串或者浮点数，业务标识的长度应当为10位。如果商品查询服务器从请求头中获取的业务标识符合预设的规则，业务标识检验通过；如果商品查询服务器从请求头中获取的业务标识不符合预设的规则，业务标识检验不通过，商品查询服务器停止后续的处理步骤，舍弃本条商品查询请求。
187.在一个实施例中，配置服务平台包括数据库，数据库中存储有与业务对应的业务
校验信息，技术人员可以通过配置服务平台对数据库中的业务校验信息进行增加、修改、删除等操作。在业务标识校验通过后，商品查询服务器根据业务标识通过第一消息中间件获取与业务标识对应的业务校验信息。第一消息中间件可以是redis中间件，在高并发场景下，数据库是并发访问最薄弱的环节，本发明实施例中利用redis中间件和数据库对接，redis具有支持高并发的特性，能够及时响应商品查询服务器集群中的多个商品查询服务器提交的对业务校验信息的查询请求。第一消息中间件还可以采用kafka中间件。
188.业务校验信息可以包括签名校验信息、时间戳检验信息、业务参数校验信息等。
189.商品查询请求的请求头中的时间戳用于指示商品查询请求生成的时间，时间戳是一种能够表示一份数据在一个特定时间点已经存在的完整的可验证的数据。在本发明实施例中，商品查询服务器使用签名校验信息对从商品查询请求的请求头中获取的签名进行校验，使用时间戳校验信息对从商品查询请求的请求头中获取的时间戳进行校验，以判断商品查询请求的身份是否合法、商品查询请求是否被篡改等，只要其中任一个校验不通过，停止后续的处理步骤，舍弃本条商品查询请求。此外，如果从商品查询请求的请求头中获取的时间戳所指示的时间和商品查询服务器接收到该商品查询请求的时间两者之间的时间过长，认为该条商品查询请求无效，时间戳校验不通过，从而防止应用客户端重复发送多次的同一条商品查询请求被商品查询服务器重复处理，避免造成商品查询服务器资源的浪费。
190.业务参数校验信息中指示了应该有哪些业务参数，商品查询服务器使用业务参数校验信息对从商品查询请求的请求头中获取的业务参数进行校验，如果从商品查询请求的请求头中获取的业务参数和业务校验参数指示的业务参数匹配，则业务参数校验通过，否则业务参数校验不通过。例如，例如，业务参数校验信息中指示业务参数包括车次号，业务参数校验信息中指示业务参数包括车次号，则业务参数校验失败。
191.本实施例中商品查询服务器对商品查询请求进行上述多个验证，只要其中的任一个验证没有通过，即说明商品查询请求没有通过校验，停止后续处理步骤，舍弃本条商品查询请求。
192.在一个实施例中，配置服务平台的数据库中还存储有商品查询配置信息，技术人员可以在需要时通过配置服务平台对数据库中的商品查询配置信息进行更新。例如，如果当前商品查询请求的流量过大，商品查询服务器集群难以负荷，技术人员可以将查询请求重发配置信息从允许重发改为禁止重发，可以修改业务限流配置信息以对某些业务的商品查询请求进行限流等。
193.配置服务平台获取到具体的配置更新信息后，通过第一消息中间件实时将配置更新信息推送给集群内的商品查询服务器。也就是说，在本发明实施例中，不需要技术人员逐一向商品查询服务器写入新的商品查询配置信息，也不需要商品查询服务器定时从数据库拉取最新的商品查询配置信息，而是利用第一消息中间件的消息广播机制来主动、实时地将配置更新信息推送给集群内的商品查询服务器。这可以降低技术人员的工作量，实现应用层的缓存实时刷新能力，提高配置变更响应的实时性。
194.2008、商品查询服务器平台向应用客户端发送对商品查询请求的响应信息。
195.在步骤2006的校验通过后，商品查询服务器根据商品查询请求进行查询工作，得到查询结果，向应用客户端发送响应信息，该响应信息中包含查询结果。
196.本发明实施例中，响应信息中还可以包含配置更新信息。应用客户端接收到配置
更新信息后，根据配置更新信息来更新应用客户端的商品查询配置信息。例如，根据配置更新信息来更新商品查询配置信息中的查询请求重发配置信息，禁止应用客户端重复发送商品查询请求，以及时响应配置服务平台端对查询请求的最新要求。
197.应用客户端中可以集成有用于发送商品查询请求的程序编译文件，应用客户端通过调用该程序编译文件更新商品查询配置信息。
198.本发明实施例在应用客户端按照本地存储的商品查询配置信息提交商品查询请求，结合配置服务平台通过第一消息中间件对商品查询配置信息的实时更新，利用商品查询服务器对商品查询请求的响应信息来及时更新应用客户端的商品查询配置信息，使得查询服务器集群具有具备较高的处理性能、较好的安全保护以及较低的部署运作成本。
199.本发明实施例中，商品查询服务器可以利用响应信息与应用客户端实现联动，提升配置变更的实时性，同时不影响整体服务性能。
200.本发明实施例提供的电子商务信息的处理方法，可以基于开源免费技术实现，其中，商品查询服务器使用openresty技术实现，商品查询服务器和配置服务平台之间使用redis中间件互通信息。
201.本发明实施例提供的电子商务信息的处理方法，选用openresty技术作为商品查询服务器的核心基础，其在输入/输出密集型请求场景下，性能非常优秀，从而实现了商品查询服务器集群对大流量高并发商品查询请求的处理能力。本发明实施例提供的方法，通过提高单体商品查询服务器节点的处理能力，降低了商品查询服务器集群的搭建、维护成本。
202.本发明实施例提供的电子商务平台设有配置服务平台和商品查询服务器集群，商品查询服务器集群具备可配置、可扩展能力，能轻易根据业务形态实现其它变种服务。
203.根据本发明实施例，提供了一种电子商务信息的处理方法，由商品查询服务器实施，包括以下步骤：
204.接收配置服务平台通过第一消息中间件推送的配置更新信息；
205.接收应用客户端按照本地存储的商品查询配置信息发送的商品查询请求；
206.向应用客户端发送对商品查询请求的响应信息，响应信息中包含配置更新信息，以供应用客户端根据配置更新信息更新商品查询配置信息。
207.根据本发明实施例，提供了一种电子商务信息的处理方法，由应用客户端实施，方法包括：
208.按照本地存储的商品查询配置信息向商品查询服务器发送商品查询请求；
209.接收商品查询服务器返回的响应信息，响应信息中包含配置更新信息；
210.根据配置变更信息更新商品查询配置信息。
211.根据本发明实施例，提供了一种电子商务信息的处理方法，所述方法包括：
212.商品查询服务器接收配置服务平台通过第一消息中间件推送的配置更新信息；
213.应用客户端按照本地存储的商品查询配置信息向商品查询服务器发送商品查询请求；
214.商品查询服务器向应用客户端发送对商品查询请求的响应信息，响应信息中包含配置更新信息，以供应用客户端根据配置更新信息更新商品查询配置信息；
215.应用客户端根据配置变更信息更新商品查询配置信息。
216.根据本发明实施例，提供了一种商品查询服务器，具有存储器和处理器；存储器中存储有计算机可读指令，所述计算机可读指令被处理器执行时实现前述任一项由商品查询服务器执行的方法。
217.根据本发明实施例，提供了商品查询服务器集群，包括前述任一项的商品查询服务器。
218.根据本发明实施例，提供了电子商务平台，包括前述的商品查询服务器集群和配置服务平台。
219.根据本发明实施例，提供了搭载有应用客户端的终端设备，所述应用客户端被配置成用于执行前述任一项由应用客户端执行的方法。
220.根据本发明实施例，提供了计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现前述任一项由商品查询服务器执行的方法。
221.根据本发明实施例，提供了计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现前述任一项由应用客户端执行的方法。
222.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
223.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
224.本说明书的实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本说明书实施例的各个方面的计算机可读程序指令。
225.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
226.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计
算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
227.用于执行本说明书的实施例操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本说明书实施例的各个方面。
228.这里参照根据本说明书实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本说明书实施例的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
229.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
230.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
231.附图中的流程图和框图显示了根据本说明书的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
232.以上已经描述了本说明书的各实施例，上述说明是示例性的，并非穷尽性的，并且
也不限于所披露的各实施例。在不偏离所说明的各实施例的范围的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。