一种适用于大数据分发的Q-learning拥塞控制方法
【技术领域】
[0001] 本发明涉及计算机网络技术，特别地涉及一种在对等网络中查找资源的方法和装 置。
【背景技术】
[0002] 近年来，对等（Peer-t〇-Peer，P2P)网络已逐渐发展成一种重要的网络模式。这是 因为与传统的客户机/服务器（Client/S erver，C/S)模式相比，对等网络具有容错性好、可 扩展性强、成本低廉、可以充分利用分布资源等优势。对等网络在文件共享、分布式计算、流 媒体服务等发面已有广泛的应用。对等网络分为两种：有结构的和无结构的，有结构的对 等网络对节点的连接有严格的限制，而无结构的对等网络节点的连接有很大的自由度。由 于无结构对等网络节点的分布式特点，节点只知道其邻居节点的资源，却并不知道网络中 其它节点上资源的分布情况，因此无结构对等网络中一个极大的难题是网络中的资源定位 问题。为此已经提出许多搜索方法来实现无结构对等网络上资源的有效定位，如洪泛法、 random walks、APS(Adaptive Probability Search)等。然而以上方法在资源查找过程中 由于查找消息的转发，导致网络中部分节点在查找过程中需要处理的消息过多而出现消息 拥塞，进而严重影响搜索的继续进行，造成搜索性能的下降。因而如何在对等网络中实现负 载均衡就显得尤为重要。
【发明内容】
[0003] 有鉴于此，本发明提供一种在对等网络中查找资源的方法和装置，能够使非结构 化P2P网络中的资源查找时间明显降低，并具有更低的网络拥塞，以及提高了查找成功率。
[0004] 为实现上述目的，根据本发明的一个方面，提供了一种在对等网络中查找资源的 方法。
[0005] 本发明的在对等网络中查找资源的方法包括：使用Q-学习方法计算对等网络中 各节点的Q值；在对等网络中，判断发起资源查找的当前节点是否有邻居节点包含所述资 源；若是，则向包含所述资源的邻居节点中的Q值最大的节点发送资源查找消息；否则将资 源查找消息发送给该当前节点的所有邻居节点中Q值最大的节点然后由该Q值最大的节点 发起资源查找。
[0006] 可选地，由该Q值最大的节点发起资源查找的步骤包括：所述该Q值最大的节点确 认收到的资源查找消息的存活时间不为〇,然后发起资源查找。
[0007] 可选地，所述Q-学习方法中，求Q值的公式如下：
[0008] Qnew (s, a) = Q (s, a) + a Qlocal (s, a) + β X I (U-CLi (t)) X CLi (t)；
[0009] 其中，Qmw(s，a)表示Q的新值，Q(s，a)表示Q的老值，α表示学习速率，Q ltreal (s，a) 表示被学习的值，β表示拥塞因素，函数Ι(χ)在χ<〇时取值-1，χ>〇时取值1，函数CL的 计算公式为：
[0011] 其中，G表示节点Pj处理一条查找消息所需的时间；α" (〇表示时刻t节点 缓存队列中待处理的消息数；
【主权项】
1. 一种在对等网络中查找资源的方法，其特征在于，包括： 使用Q-学习方法计算对等网络中各节点的Q值； 在对等网络中，判断发起资源查找的当前节点是否有邻居节点包含所述资源；若是，则 向包含所述资源的邻居节点中的Q值最大的节点发送资源查找消息；否则将资源查找消息 发送给该当前节点的所有邻居节点中Q值最大的节点然后由该Q值最大的节点发起资源查 找。
2. 根据权利要求1所述的方法，其特征在于，由该Q值最大的节点发起资源查找的步骤 包括： 所述该Q值最大的节点确认收到的资源查找消息的存活时间不为〇,然后发起资源查 找。
3. 根据权利要求1所述的方法，其特征在于，所述Q-学习方法中，求Q值的公式如下： Qnew(s, a) =Q(s, a)+aQlocal(s, a)+ 0XI(U-CLj(t))XCLj(t)； 其中，Qn?(s，a)表示Q的新值，Q(s，a)表示Q的老值，a表示学习速率，Q1()c;al(s，a)表 示被学习的值，0表示拥塞因素，函数I(x)在x<0时取值-l，x>0时取值1，函数CL的计 算公式为：
其中，Cp,表示节点匕处理一条查找消息所需的时间；表示时刻t节点匕的缓存 队列中待处理的消息数； Q1(X：al(s，a)的计算公式为：Q1<K：al(s，a) =R(s) +ymaxa,Q(s' ，a' ）； 其中，y表示折扣因子，maxa，Q(s'，a')表示当前状态的下一状态所获得的最大Q值，其中s'和a'分别为下一状态和对应的行为；R表示奖赏值，其计算公式为：
其中，k为搜索到拥有资源段的节点需要的次数，化为节点Pi的吸引能力，ni为节点Pi上的资源数。其中A计算公式为：
其中A是节点i的处理能力，N(i，h)是与节点Pi相距h跳的节点个数，S是控制因 数，k。表示计算连通度的半径，h6用来控制不同距离节点对节点吸引能力影响的比权重。
4. 根据权利要求3所述的方法，其特征在于，a的取值范围是[〇. 28, 0. 32]。
5. 根据权利要求3所述的方法，其特征在于，0的取值范围是[0. 48, 0. 52]。
6. 根据权利要求3所述的方法，其特征在于，Y的取值范围是[〇. 28, 0. 32]。
7. 根据权利要求3所述的方法，其特征在于，S的取值范围是[0.8, 1.2]。
8. 根据权利要求3所述的方法，其特征在于，k。的取值范围是[1. 8, 2. 2]。
9. 一种在对等网络中查找资源的装置，其特征在于，包括： 计算模块，用于使用Q-学习方法计算对等网络中各节点的Q值； 判断模块，用于判断发起资源查找的当前节点是否有邻居节点包含所述资源； 资源获取模块，用于在发起资源查找的当前节点有邻居节点包含所述资源的情况下， 向包含所述资源的邻居节点中的Q值最大的节点发送资源查找消息； 消息发送模块，用于在发起资源查找的当前节点没有邻居节点包含所述资源的情况 下，将资源查找消息发送给该当前节点的所有邻居节点中Q值最大的节点。
10.根据权利要求9所述的方法，其特征在于，还包括判断模块，用于在收到资源查找 消息的情况下，判断所述资源查找消息的存活时间是否为〇,若否，则发起资源查找。
【专利摘要】一种适用于大数据分发的Q-learning拥塞控制方法。本发明提供一种在对等网络中查找资源的方法和装置，能够使非结构化P2P网络中的资源查找时间明显降低，并具有更低的网络拥塞，以及提高了查找成功率。本发明的在对等网络中查找资源的方法包括：使用Q-学习方法计算对等网络中各节点的Q值；在对等网络中，判断发起资源查找的当前节点是否有邻居节点包含所述资源；若是，则向包含所述资源的邻居节点中的Q值最大的节点发送资源查找消息；否则将资源查找消息发送给该当前节点的所有邻居节点中Q值最大的节点然后由该Q值最大的节点发起资源查找。
【IPC分类】H04L29-08, H04L12-801
【公开号】CN104780113
【申请号】CN201510213928
【发明人】崔凯
【申请人】北京智芯原动科技有限公司
【公开日】2015年7月15日
【申请日】2015年4月29日