分布式数据交换系统客户端登录节点的管理方法与系统与流程

本发明涉及计算机数据交换系统，具体涉及一种分布式数据交换系统中客户端登录节点的管理方法与系统。

背景技术：

1、数据交换系统是一类计算机软件程序，提供数据交换功能，可以将计算机数据从一个区域传递到其他不同区域，实现高效可靠的数据传输，其基本特性如下：

2、常见架构形式

3、数据交换系统常用c/s架构，分为客户端和服务端两部分，客户端部署在数据的源端区域(发送方)和目的端区域(接收方)，每个客户端需登录服务端之后才能进行数据交换，服务端提供客户端登录验证管理功能、数据中转分发功能、以及数据处理和审查相关功能，客户端与服务端之间的交互内容包括身份认证、数据传输、信息同步等。

4、数据交换的过程是由发送方客户端将数据上传到服务端，数据经过服务端处理后转发给接收方，数据交换不能绕过服务端，数据传递路径“发送方客户端-服务端-接收方客户端”。数据交换有单发(一对一)和群发(一对多)两种模式，群发模式时，为优化数据传输效率，一般是发送方客户端上传一份数据到服务端，由服务端将数据分发给多个接收方客户端，不需要发送方客户端上传多份相同数据。

5、服务端支持的部署方式有集中式和分布式两种，集中式的服务端仅支持单机或单节点部署，而分布式的服务端支持跨区域多节点部署，具有“可用性高”、“容量水平拓展”等优点。

6、分布式数据交换系统的一种典型架构如图1所示，整个系统的网络拓扑结构由3部分组成，分别是由客户端与服务端节点之间的网络线路、服务端节点内部服务器与服务器之间的网络线路、服务端节点与服务端节点之间的网络线路共同构成的。

7、服务端的多个节点一般部署在不同地理区域，每个节点内部有多台服务器。节点间由长途线路连接起来，所有节点和线路组成的拓扑图是一个连通图，因此每个节点都能直接或间接与所有其他节点连通。

8、客户端部署在用户处，用户分散在不同地理区域中，为保证可用性，每个客户端的网络条件要求能够访问尽量多的服务端节点，最好能够与全部节点进行连通。数据交换系统的维护者往往会在多个地理区域设立集中的物理接入点，便于用户就近接入，每个物理接入点与各个服务端节点均开通网络线路。每个用户就近开通一条接入某个物理接入点的网络线路，即可与各个服务端节点网络连通。因此，可以认为每个客户端都拥有与全部服务端节点连通的网络线路。

9、加入物理接入点的一种架构示意图如2所示。每个客户端会依据某种策略，登录到某个服务端节点的服务器上进行身份认证、数据传输以及信息交互，该节点称为该客户端的本地节点。从“提高客户端接入效率”、“防止上传数据乱序”、“保证用户数据存储位置的一惯性”、“减少节点间同步数据量”、“便于管理用户链接”、“降低系统设计复杂度”等多方面考虑，每个用户的本地节点一般不允许经常改变，而且在上传数据时，一般仅允许发送方客户端向本地节点上传数据，不允许客户端同时向多个节点上传数据。因此客户端登录的主要意义之一是确定用于上传数据的本地节点。在分布式数据交换系统的设计中，涉及到“每个客户端应登录到哪个服务端节点”，也就是“每个客户端应向哪个服务端节点上传数据”的策略选择问题。

10、客户端登录节点分配策略：

11、一个用户客户端属于哪个本地节点，一般由客户端、负载均衡系统、服务端三方共同控制决定。

12、客户端方面：

13、客户端一般可以配置一个或多个服务端节点地址，客户端支持依次尝试连接已配置的服务器节点地址，直到找到一个可用的服务端节点地址登录成功为止。在此基础上，有的客户端支持对已配置的多个服务端节点进行探测，计算客户端到每个服务端节点的网络线路时延，让用户手动指定登录哪个服务端节点，或者自动登录到网络线路时延最低的服务端节点。

14、负载均衡系统方面：

15、有时候，客户端连接的服务端地址对应的不是真实的服务器地址，而是一些负载均衡系统，如负载均衡器，由负载均衡系统再根据轮替负载均衡、最优时延等策略将客户端分配到某个服务端节点的服务器上。这种情况下负载均衡系统参与了用户本地节点的分配。

16、服务端方面：

17、有时候，服务端本身也具备对客户端本地节点的分配功能，这种情况下，客户端登录服务端的过程一般是分成多段的，例如二段式登录，客户端先向本地配置的服务端地址发起第一段预登录连接，登录到一个服务端节点(例如节点a)上，节点a可以根据一定的策略决定该客户端应该分配到的服务端节点(例如节点b)，如果节点a和节点b不是同一个节点，那么将节点b的地址告知该客户端，该客户端与服务器之间的连接断开之后，该客户端再向节点b发起第二段真正的登录连接。

18、客户端登录到哪个服务端节点上，一般由上述客户端、负载均衡系统、服务端三方面来共同作用，其中，服务端的分配策略起到决定性的作用。

19、服务端分配客户端连接到本地节点的传统策略一般包括：

20、1、根据各个服务端节点的业务负载情况，进行负载均衡分配；

21、2、根据客户端的物理接入点情况，进行就近分配；

22、3、根据用户的各种属性分类进行分配，例如根据用户等级，让vip用户登录到高性能节点，让普通用户登录到低性能节点；

23、现有技术方案存在的问题如下：

24、以上数据交换系统场景下，服务端管理用户客户端连接到服务器传统策略存在如下问题：

25、1、系统中每一段网络线路会受到各种成本的约束，成本体现在带宽、时延、安全性等多种因素方面，例如客户端到物理接入点之间的线路带宽较大，时延较低，而节点与节点之间的长途线路一般带宽较低，发送方和接收方客户端可能登录在不同节点上，如果这种情况出现较多，那么这些客户端集中传输数据时，两个节点之间的线路带宽可能成为瓶颈，影响传输效率。

26、2、在专线等条件下，长途线路的网络带宽资源非常珍贵，同时用户对传输效率有高要求，例如金融机构间的专线环境文件传输应用场景，传统策略下，一个用户登录在哪个节点主要取决于其物理接入点距离哪个节点近，但由于未考虑到全局的用户行为因素(如每个用户与哪些对端用户经常交换数据等)，所以传统决定一个用户登录到哪个节点的方式不是全局最优方式，可能存在长途带宽浪费等问题。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明实施例提出一种分布式数据交换系统中客户端登录节点的管理方法，本方法通过以时延、费用、安全性等单一指标或者由一组单一指标组成的复合指标作为线路的评价指标，再将该指标作为权重，以用户数据传输行为的预测信息进行加权求和作为一种评价算法，按此评价算法，找到一个最优的客户端登录节点分布全局方案，该方案能够让全系统的用户数据尽量多的在低时延、低成本、高安全的线路上传输。同时该算法以系统中每条线路带宽上限值以及单位时间内每条线路最大传输数据量作为约束条件，可以过滤不满足条件的方案。找到最优方案后，对比现有方案和最优方案的差异，决定最优方案是否需要生效。之后按一定的周期，利用最新的用户数据传输行为预测信息和评价算法持续的寻找客户端登录分布最优方案，若当前的客户端登录分布状态已不是最优的，则进行相应的调整和更新。

2、根据本发明的第一方面实施例的一种分布式数据交换系统中客户端登录节点的管理方法，所述方法步骤包括：

3、s1：用户的客户端都稳定登录在对应的服务器节点上之后，等待这种状态持续预设的一段时间，这段时间称为训练期，在训练期内有稳定的全局用户登录分布，能够产生用户传输行为数据；

4、s2：选择最近一个训练期内产生的用户传输行为数据作为历史数据，由预测算法预测未来一段时间的用户传输行为数据；

5、s3：选择评价算法和评价函数，评价用户登录节点分布全局方案优劣程度和合理性，对于一个已确定的用户登录节点分布全局方案，每一项具体的用户数据传输行为，发送方到接收方之间都已确定传输线路路径，每一个已确定的传输线路路径都有对应的评价指标值，所述评价算法为以预设的线路评价指标作为权重，以预测的用户数据传输行为数据进行加权求和得到系统全局用户的加权数据传输总量，以该值来评价该方案，所述评价算法还以实际线路带宽限制作为约束条件，来判断用户登录节点分布全局方案是否合格；

6、s4：选择一种通用的求最优解算法，根据预测的用户传输行为数据，使用所述评价函数，计算出全局用户客户端登录节点分布最优方案；

7、s5对比全局用户客户端登录节点分布最优方案与现有全局用户客户端登录节点分布情况的差异，若差异小于预设条件，可以不调整现有全局用户客户端登录分布，若差异大于预设条件，则需要调整，那么找到需要调整本地节点的用户，改变其登录的节点，实施用户登录分布最优方案；所述差异大小预设条件判断方法：1、在用户传输行为预测数据下，最优方案与现有方案的tv值之差，差值若低于预设阈值，则认为差异较小，反之则认为差异较大；2、从现有方案调整为最优方案，需要调整本地节点的用户数量，该值若低于预设阈值，则认为差异较小，反之则认为差异较大；

8、s6：定期重复步骤s2到步骤s5多次，对比每次步骤s5中需要调整本地节点的用户，如部分用户的客户端经常需要调整本地节点，则该部分用户的预测数据无效，将其加入白名单中，之后再重复进行步骤s2到步骤s5时，白名单中的用户不再对其调整。

9、进一步地，所述线路评价指标包括：线路时延和或线路成本和或线路安全性。

10、进一步地，所述加权数据传输量指分别将每段线路权重指标乘以每段线路上的传输数据量求和得到。

11、进一步地，所述一份用户客户端登录节点分布全局方案的加权数据传输总量计算方法为：对每个用户客户端在单发模式下的加权数据传输量(即加权单发数据传输量)求和，得到加权单发数据传输总量，再对每个用户客户端在群发模式下的加权数据传输量(即加权群发数据传输量)求和，得到加权群发数据传输总量，再对加权单发数据传输总量与加权群发数据传输总量求和，得到加权数据传输总量。

12、进一步地，所述加权单发数据传输量计算方法为：用户x向m个对端用户单发数据，用户x与用户i之间单发的传输数据量记作cxi，用户x与用户i之间线路的线路权重值记作wxi，评价用户x在单发数据时的登录分配节点合理程度的指标“加权单发数据传输量”记作svx，计算公式为：所述加权单发数据传输总量计算方法为：对n个用户中的每个用户客户端的“加权单发数据传输量”求和，记作tsv，计算公式为：所述加权群发数据传输量计算方法为：用户x第i次群发时，有n个接收方用户，用户x上传的数据量记作cxi，用户x客户端与其本地节点之间线路的线路权重值记作wxl，用户x本地节点与接收方用户j之间线路的权重值记作wlj，评价用户x在第i次群发时，登录分配节点合理程度的指标“加权群发数据传输量”记作mvxi，其构成包括“用户x上传数据到本地节点的加权数据量：cxi×wxl”和“本地节点分发数据给n个接收方的加权数据量：”两部分，计算公式为：用户x共m次群发，评价用户x在群发数据时的登录分配节点合理程度指标记作mvx，计算公式如下：

13、所述系统全局的“加权群发数据传输总量”计算方法为：系统全局k个用户中每个用户客户端在群发模式下的“加权数据传输量”之和，记作tmv，计算公式为：对于一份用户客户端登录节点分布全局方案，系统全局的“加权数据传输总量”为tsv与tmv之和，记作tv，计算公式为：tv＝tsv+tmv。

14、进一步地，所述约束条件包括：每条线路单位时间传输数据的最大传输数据量不超过每条线路带宽所允许的单位时间传输数据量上限。

15、进一步地，所述最优方案为：系统全局“加权数据传输总量”值最低的客户端登录节点分布全局方案。

16、根据本发明实施例的分布式数据交换系统中客户端登录节点方法，至少具有如下有益效果：

17、1.传统方法决定一个客户端登录到哪个服务端节点的策略缺乏全局性，因此从全局角度，传输效率、带宽利用率、以及安全性不是最优的。本技术提出的方法可以从系统全局角度找到最优的客户端登录节点分布全局方案；

18、2.传统方法所形成的分布结果是随着每一个用户的客户端登录到了某个服务端节点上而逐步形成的，当这个分布逐步形成之后，缺乏一种有效管理机制来进一步对其进行动态调优。本技术提出的方法能够在用户分布逐步形成、趋于稳定之后，进一步进行调优；

19、3.通常决定一个客户端登录到哪个服务端节点的策略，缺乏一个能够评价当前客户端登录节点分布情况是否合理的评价标准。本技术能够提供一种客户端登录节点分布全局方案的评价算法，该算法利用了用户实际传输行为的统计和预测数据，可以给出传输效率、带宽利用率、安全性等维度的评价分数。

20、本发明实施例第二方面还提出一种分布式数据交换系统中客户端登录节点系统，包括：客户端、服务端节点、物理接入点、网络线路，所述客户端通过物理接点由网络线路与服务端节点连接，其特征在于，还包括客户端登录节点分布全局方案评价模块、客户端登录节点分布最优方案计算模块、最优方案实施模块；所述客户端登录节点分布全局方案评价模块用于评价一份客户端登录节点分布全局方案的优劣程度和合理性；所述客户端登录节点分布最优方案计算模块和最优方案实施模块执行权利要求1所述的方法，得到客户端登录节点分布全局最优方案，再实施该方案，通知每一个需要调整本地节点的客户端，使其更改本地节点，从而使实际的全局客户端登录节点分布情况与最优方案一致。

21、根据本发明第二方面实施例的分布式数据交换系统中客户端登录节点系统，本技术利用了用户实际传输行为的统计和预测数据，来决定每一个用户实际应该登录在哪个节点，避免了传统静态方法的一些不合理的地方，提高了使用效率与合理性。主要有以下三点有较大的有益效果：

22、1.传统方法决定一个客户端登录到哪个服务端节点的策略缺乏全局性，因此从全局角度，传输效率、带宽利用率、以及安全性不是最优的。本技术提出的方法可以从系统全局角度找到最优的客户端登录节点分布全局方案；

23、2.传统方法所形成的分布结果是随着每一个用户的客户端登录到了某个服务端节点上而逐步形成的，当这个分布逐步形成之后，缺乏一种有效管理机制来进一步对其进行动态调优。本技术提出的方法能够在用户分布逐步形成、趋于稳定之后，进一步进行调优；

24、3.通常决定一个客户端登录到哪个服务端节点的策略，缺乏一个能够评价当前客户端登录节点分布情况是否合理的评价标准。本技术能够提供一种客户端登录节点分布全局方案的评价算法，该算法利用了用户实际传输行为的统计和预测数据，可以给出传输效率、带宽利用率、安全性等维度的评价分数。

25、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。