一种数据处理方法和装置的制造方法
【技术领域】
[0001]本发明涉及互联网技术领域，特别是涉及一种数据处理方法和装置。
【背景技术】
[0002]Redis是一款知名的内存数据库，它的优势是运行稳定、性能良好和接口丰富。但最大的问题是，目前只支持单点写入数据。而且，其架构是单进程单线程的。这意味着在负载达到一定程度时，无论CPU上有几个核心，Redis总会表现出计算瓶颈，因为它最多只能使用其中的一个核心。事实上，在现行硬件条件下，当负载超过每秒10万次操作时，Redis已经表现出严重的性能瓶颈。这导致在一些高并发的应用场景下，Redis等内存数据库不能满足性能需要。
【发明内容】
[0003]本发明提供一种数据处理方法和装置，以解决在一些高并发的应用场景下，Redis等内存数据库性能低的问题。
[0004]为了解决上述问题，本发明公开了一种数据处理方法，包括:
[0005]通过计数代理实体接收客户端发送的计数请求指令；所述计数请求指令包括数据的类型和数据的计数数量；
[0006]利用所述计数代理实体根据所述计数请求指令中的数据的计数数量执行计数操作；
[0007]通过所述计数代理实体判断计数结果是否满足计数转移条件；
[0008]当满足时，利用计数转移实体发送计数增加指令到计数服务器，以令所述计数服务器根据所述计数增加指令进行数据处理；所述计数增加指令包括数据的类型和数据的增加数量。
[0009]优选地，所述通过所述计数代理实体判断计数结果是否满足计数转移条件，包括:
[0010]通过所述计数代理实体判断当前计数数值是否大于等于预设阈值，和/或，计数转移频次是否大于等于预设门限；
[0011]当当前计数数值大于等于预设阈值，和/或，计数转移频次大于等于预设门限时，确定计数结果满足计数转移条件；
[0012]当当当前计数数值小于预设阈值，和/或，计数转移频次小于预设门限时，确定计数结果不满足计数转移条件。
[0013]优选地，所述方法还包括:
[0014]在利用计数转移实体发送计数增加指令到计数服务器的同时，通过所述计数转移实体发送计数减少指令至所述计数代理实体；所述计数减少指令包括数据的类型和数据的减少数量；
[0015]通过所述计数代理实体根据所述计数减少指令中的数据的类型和数据的减少数量，减少数据的数量。
[0016]优选地，所述计数增加指令中的数据的增加数量与所述计数减少指令中的数据的减少数量相等。
[0017]优选地，所述通过计数代理实体接收客户端发送的计数请求指令之前，所述方法还包括:
[0018]选择与所述计数请求指令中的数据的类型对应的计数代理实体。
[0019]相应地，本发明还公开了一种数据处理装置，包括:
[0020]计数代理模块，用于接收客户端发送的计数请求指令；所述计数请求指令包括数据的类型和数据的计数数量；
[0021]所述计数代理模块，还用于根据所述计数请求指令中的数据的计数数量执行计数操作；
[0022]所述计数代理模块，还用于判断计数结果是否满足计数转移条件；
[0023]计数转移模块，用于当计数结果满足计数转移条件时，发送计数增加指令到计数服务器，以令所述计数服务器根据所述计数增加指令进行数据处理；所述计数增加指令包括数据的类型和数据的增加数量。
[0024]优选地，所述计数代理模块，包括:
[0025]判断模块，用于判断当前计数数值是否大于等于预设阈值，和/或，计数转移频次是否大于等于预设门限；
[0026]确定模块，用于当当前计数数值大于等于预设阈值，和/或，计数转移频次大于等于预设门限时，确定计数结果满足计数转移条件；当当当前计数数值小于预设阈值，和/或，计数转移频次小于预设门限时，确定计数结果不满足计数转移条件。
[0027]优选地，所述计数转移模块，还用于在发送计数增加指令到计数服务器的同时，发送计数减少指令至所述计数代理模块；所述计数减少指令包括数据的类型和数据的减少数量;
[0028]所述计数代理模块，还用于根据所述计数减少指令中的数据的类型和数据的减少数量，减少数据的数量。
[0029]优选地，所述计数增加指令中的数据的增加数量与所述计数减少指令中的数据的减少数量相等。
[0030]优选地，还包括:
[0031]选择模块，用于在所述计数代理模块接收客户端发送的计数请求指令之前，选择与所述计数请求指令中的数据的类型对应的计数代理模块。
[0032]与【背景技术】相比，本发明包括以下优点:
[0033]本发明技术方案利用计数代理实体接收客户端发送的计数请求指令，并根据计数请求指令中的数据的计数数量执行计数操作；通过计数代理实体判断计数结果是否满足计数转移条件；当满足时，利用计数转移实体发送计数增加指令到计数服务器，以令计数服务器根据计数增加指令进行数据处理。通过在客户端和Redis等内存数据库之间增加包括计数代理实体和技术转移实体在内的中间层代理的方式，使得Redis等内存数据库在被用于高并发计数这个应用场景下，能够满足性能要求。
【附图说明】
[0034]图1是本发明技术方案的系统框图；
[0035]图2是本发明实施例一中的一种数据处理方法的步骤流程图；
[0036]图3是本发明实施例二中的一种数据处理方法的步骤流程图；
[0037]图4是本发明实施例三中的一种数据处理方法的步骤流程图；
[0038]图5是本发明实施例四中的一种数据处理装置的结构示意图；
[0039]图6是本发明实施例五中的一种数据处理装置的结构示意图；
[0040]图7是本发明实施例六中的一种数据处理系统的结构示意图。
【具体实施方式】
[0041]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和【具体实施方式】对本发明作进一步详细的说明。
[0042]本发明技术方案针对Redis等主节点的单点性能瓶颈问题，采用增加中间层代理的方式，来代替主节点接受并处理来自客户端的请求。中间层代理先将处理后的结果进行一定的汇总，然后再发送给Redis等主节点。这样主节点的工作角色，从与客户端直接对话，变为了和中间层代理对话，而与客户端间接对话。
[0043]本发明技术方案的系统框图如图1所示，每个客户端可以与各自对应的中间层代理相连接，各中间层代理与Redis主节点相连接。
[0044]下面通过列举几个具体的实施例详细介绍本发明提供的一种数据处理方法和装置。
[0045]实施例一
[0046]详细介绍本发明实施例提供的一种数据处理方法。
[0047]参照图2，示出了本发明实施例中一种数据处理方法的步骤流程图。
[0048]步骤100，通过计数代理实体接收客户端发送的计数请求指令。
[0049]所述计数代理实体可以为实