数据分配方法、装置和系统的制作方法
【技术领域】
[0001]本发明涉及数据处理领域，特别是指一种数据分配方法、装置和系统。
【背景技术】
[0002]数据处理是对数据的采集、储存、检索、加工、变换和传输。从大量的冗杂抽象的数据中抽取并推导出有某些特定价值或意义的数据。数据处理离不开软件和服务器的支持，但是当前软件技术中对于大数据量处理以及高并发处理是一个技术瓶颈，所以随着数据量日益庞大，大数据处理以及高并发要求，对服务器的处理能力提出了更高的要求。
[0003]现有技术中，为了方便管理，增强数据并行处理能力，常采用并行数据处理结构，包括应用服务器、管理服务器、比对服务器。管理服务器与比对服务器进行通讯，应用服务器与管理服务器之间进行通讯。这种结构极大地提高了数据的处理能力，但由于比对服务器数量较多，极易造成各个比对服务器间的数据分配不合理，进而导致比对服务器超负荷运行或者性能得不到充分发挥。因此，如何能科学合理的分配各服务器的数据量，目前还没有较好的解决方案。
【发明内容】
[0004]本发明要解决的技术问题是提供一种能够实现数据的合理分配并有效提高数据处理效率的数据分配方法、装置和系统。
[0005]为解决上述技术问题，本发明提供的技术方案如下:
[0006]一种数据分配方法，包括:
[0007]步骤1:获取比对服务器的处理性能信息；
[0008]步骤2:根据所述处理性能信息，计算所有比对服务器的总处理性能，以及每个比对服务器的处理性能相对于所有比对服务器的总处理性能的占比；
[0009]步骤3:根据所述占比，将所有数据分配至每个比对服务器。
[0010]一种管理服务器，包括:
[0011]获取模块，用于获取比对服务器的处理性能信息；
[0012]第一计算模块，用于根据所述处理性能信息，计算所有比对服务器的总处理性能，以及每个比对服务器的处理性能相对于所有比对服务器的总处理性能的占比；
[0013]数据分配模块，用于根据所述占比，将所有数据分配至每个比对服务器。
[0014]一种服务器系统，包括应用服务器、至少一个权利要求6所述的管理服务器、以及至少两个比对服务器；所述应用服务器和管理服务器通过网络连接，所述管理服务器和比对服务器也通过网络连接；所述应用服务器和管理服务器为相同或不同的服务器。
[0015]本发明具有以下有益效果:
[0016]与现有技术相比，本发明的数据分配方法，首先根据比对服务器的处理性能信息，计算所有比对服务器的总处理性能，以及每个比对服务器的处理性能相对于所有比对服务器的总处理性能的占比，然后根据占比将所有数据分配至每个比对服务器。本发明依据比对服务器的处理性能，把数据分配到相应的比对服务器中，避免了比对服务器超负荷运行或者性能得不到充分发挥的情况，有效的解决了处理性能不同的多服务器协同工作的问题，使数据的分配具有合理性；本发明还有效的解决了大数据量和高并发数据的处理问题，提升了的数据处理能力，加快了数据处理速度，有效的提高了数据处理效率。
【附图说明】
[0017]图1为本发明的数据分配方法的流程示意图一；
[0018]图2为本发明的数据分配方法的流程示意图二 ；
[0019]图3为本发明的数据分配方法的流程示意图三；
[0020]图4为本发明的管理服务器的结构示意图一；
[0021]图5为本发明的管理服务器的结构示意图二 ；
[0022]图6为本发明的管理服务器的结构示意图三；
[0023]图7为本发明的服务器系统的结构示意图；
[0024]图8为本发明的服务器系统的流程示意图。
【具体实施方式】
[0025]为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
[0026]名词解释
[0027]1、识别:用给定的生物特征从一定范围的生物模板集合中找出一定数量的相符的生物模板，并根据生物模板获取对应的用户的过程，又称1:N比对，即为生物特征与多用户的生物特征模板比对。
[0028]2、认证:给定生物特征和用户的唯一标识，用给定的生物特征和该用户标识所关联的生物模板进行比对判断是否一致的过程；又称1:1比对，即，生物特征与指定用户的生物特征模板比对。
[0029]3、比对节点/比对服务器:一套运行生物特征比对算法的程序，即为生物特征的比对以及数据处理的服务器。
[0030]4、动态负载:实时动态的计算每个比对(包括新增、删除)服务器的数据范围。
[0031]5、管理节点/管理服务器:用于数据管理以及请求分发的服务器。
[0032]6、分片:数据范围。
[0033]7、分片号:数据范围的标识，比如分行号、网点号或者用户身份证号等。
[0034]8、应用系统/应用服务器:提供系统对外的接口与业务逻辑的实现的服务器。
[0035]9、hash算法:将任意长度的二进制值映射为较短的固定长度的二进制值，这个小的二进制值称为hash值。hash值是一段数据唯一且极其紧凑的数值表示形式。
[0036]一方面，本发明提供一种数据分配方法，如图1所示，包括:
[0037]步骤1:获取比对服务器的处理性能信息；
[0038]本步骤中，管理服务器可以通过主动获取、被动接收或者第三方检测等方式，获取所有比对服务器的处理性能信息。
[0039]步骤2:根据处理性能信息，计算所有比对服务器的总处理性能，以及每个比对服务器的处理性能相对于所有比对服务器的总处理性能的占比；
[0040]本步骤中，管理服务器通过计算，得出每个比对服务器的处理性能相对于总处理性能所占的比例，为后续的数据分配提供依据。
[0041]步骤3:根据上述占比，将所有数据分配至每个比对服务器。
[0042]本步骤中，管理服务器把待处理的数据分成与占比相对应的份数，然后把分配好的数据分发给相应的比对服务器(例如，可以将这些数据的标识(如序号等)分发给比对服务器，由比对服务器到数据库中读取相应数据即可；或者，也可以直接指示数据库将相应数据传给比对服务器)，达到对数据合理分配的目的。
[0043]本发明依据比对服务器的处理性能，把数据合理的分配到相应的比对服务器中，避免了比对服务器超负荷运行或者性能得不到充分发挥的情况，有效的解决了大数据量和高并发数据的处理问题，同时有效的解决了处理性能不同的多服务器协同工作的问题，提升了总体的数据处理能力，也加快了数据处理速度。
[0044]上述步骤I优选包括:接收比对服务器发送的注册请求，其中所述注册请求中包括比对服务器自身的处理性能信息。这样使得管理服务器在获取比对服务器注册请求的同时也能获得比对服务器的处理性能信息，管理服务器可以方便快捷的获取比对服务器的处理性能信息，这些信息被作为管理服务器为比对服务器分配数据的依据，并可以存储在管理服务器上。
[0045]当然，步骤I中管理服务器还可以通过各种其他方式获取比对服务器的处理性能信息，例如:人工向管理服务器输入比对服务器的处理性能信息、管理服务器通过第三方干预获得比对服务器的处理性能信息和比对服务器向管理服务器单独发送比对服务器的处理性能信息等，均不影响本发明技术方案的实现。
[0046]本发明中，优选的，对于每条用户记录，预先生成有分片号，其中每条用户记录中的一个或多个字段值经过hash运算计算得到hash值，对该hash值取靠前的一定位数得到所述分片号，所述一个或多个字段包括用户ID字段。同时，步骤3进一步为:根据所述占比，将所述分片号分配至每个比对服务器。
[0047]本步骤中，采用hash运算对数据进行处理，进而得到分片号，由此判断每个比对服务器的数据处理性能，为后续的数据分配提供依据。hash运算能够使任意长度的数据转换成固定长度的数据，方便数据的统一管理和查询，另外，分片号是通过对hash值靠前一定位数的选取得到的，之后，管理服务器按照比对服务器处理性能的占比，把分片号分成与占比相对应的份数，然后将分配好的分片号分发给相应比对服务器。该方法通过分片号方便了数据的分配，没有增加比对服务