链接去重方法、装置、设备及存储介质与流程

1.本发明涉及通讯技术领域，尤其涉及一种链接去重方法、装置、设备及存储介质。


背景技术：

2.日常生活中下载一个应用程序往往都是通过一个uri链接资源进行文件下载，随着互联网技术的发展，这种链接文件不再是一个固定的地址，90％以上都是每时每刻不断变化的，那么通过这种海量uri资源进行资源下载时通常会导致以下问题：在大量需要下载应用链接的时候，文件往往超大，如果每个下载链都进行一次处理，将带来海量的无效资源。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供了一种链接去重方法、装置、设备及存储介质，旨在解决现有技术根据下载链接直接进行资源下载导致资源重复下载，资源冗余的技术问题。
5.为实现上述目的，本发明提供了一种链接去重方法，所述方法包括以下步骤：
6.获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；
7.将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；
8.根据匹配结果判断是否对所述格式化链接进行去重操作。
9.可选地，所述将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果的步骤之前，还包括：
10.从链接历史库中获取待处理链接；
11.对所述待处理链接进行无效参数识别，获得无效参数识别结果；
12.在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果；
13.根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。
14.可选地，所述根据所述动态参数识别结果和所述待处理链接生成预设链接模式库的步骤，包括：
15.根据所述动态参数识别结果确定所述待处理链接的有效参数；
16.根据所述有效参数和所述待处理链接生成目标链接；
17.根据所述目标链接构建预设链接模式库。
18.可选地，所述对所述待处理链接进行无效参数识别，获得无效参数识别结果的步骤，包括：
19.获取所述待处理链接对应的链接资源文件；
20.对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除，获得待验
证链接；
21.在每次参数删除后，获取对应的所述待验证链接的待验证链接资源文件；
22.对比所述链接资源文件和所述待验证链接资源文件，获得对比结果；
23.根据所述对比结果生成无效参数识别结果。
24.可选地，所述根据所述对比结果生成无效参数识别结果的步骤，包括：
25.若所述对比结果为对比一致，则判定当前删除的参数为无效参数；
26.若所述对比结果为对比不一致，则判定当前删除的参数为待验证参数。
27.可选地，所述对比所述链接资源文件和所述待验证链接资源文件，获得对比结果的步骤，包括：
28.通过预设算法确定所述链接资源文件对应的目标散列值；
29.通过所述预设算法确定所述待验证链接资源文件对应的验证散列值；
30.对比所述目标散列值和所述验证散列值，获得对比结果。
31.可选地，所述根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果的步骤，包括：
32.根据所述无效参数识别结果确定所述待处理链接中的待验证参数；
33.对所述待验证参数进行格式验证，获得格式验证结果；
34.根据所述格式验证结果确定所述待处理链接对应的动态参数识别结果。
35.可选地，所述对所述待验证参数进行格式验证，获得格式验证结果的步骤，包括：
36.获取预设动态参数格式；
37.确定所述待验证参数对应的参数格式；
38.判断所述参数格式是否属于所述预设动态参数格式，获得格式验证结果。
39.可选地，所述获取待下载链接，对所述待下载链接进行格式化，获得格式化链接的步骤，包括：
40.获取待下载链接，对所述待下载链接进行无效字符删除，获得有效待下载链接；
41.根据ascii码表对所述有效待下载链接中的参数进行顺序调整，获得调整后的待下载链接；
42.将所述调整后的待下载链接转换为预设格式，获得格式化后的待下载链接。
43.可选地，所述根据所述动态参数识别结果和所述待处理链接生成预设链接模式库的步骤之后，还包括：
44.获取所述预设链接模式库中的链接模板；
45.对所述链接模板进行相似度检测，获得相似度检测结果；
46.根据所述相似度检测结果对所述链接模板进行分类，获得分类结果；
47.根据所述分类结果对所述预设链接模式库进行优化。
48.可选地，所述根据所述分类结果对所述预设链接模式库进行优化的步骤，包括：
49.根据所述分类结果确定各类型模式中的链接数量；
50.判断所述链接数量是否大于预设阈值；
51.若大于，则根据所述分类结果对所述预设链接模式库进行链接合并。
52.可选地，所述根据匹配结果判断是否对所述格式化链接进行去重操作的步骤，包括：
53.若所述匹配结果为匹配失败，则将所述格式化链接添加至预设链接模式库。
54.可选地，所述根据匹配结果判断是否对所述格式化链接进行去重操作的步骤，包括：
55.若所述匹配结果为匹配成功，则对所述格式化链接进行去重操作。
56.此外，为实现上述目的，本发明还提供一种链接去重装置，所述装置包括：
57.获取模块，用于获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；
58.匹配模块，用于将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；
59.去重模块，用于根据匹配结果判断是否对所述格式化链接进行去重操作。
60.可选地，所述获取模块，还用于从链接历史库中获取待处理链接；对所述待处理链接进行无效参数识别，获得无效参数识别结果；在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果；根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。
61.可选地，所述获取模块，还用于根据所述动态参数识别结果确定所述待处理链接的有效参数；根据所述有效参数和所述待处理链接生成目标链接；根据所述目标链接构建预设链接模式库。
62.可选地，所述获取模块，还用于获取所述待处理链接对应的链接资源文件；对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除，获得待验证链接；在每次参数删除后，获取对应的所述待验证链接的待验证链接资源文件；对比所述链接资源文件和所述待验证链接资源文件，获得对比结果；根据所述对比结果生成无效参数识别结果。
63.可选地，所述获取模块，还用于若所述对比结果为对比一致，则判定当前删除的参数为无效参数；若所述对比结果为对比不一致，则判定当前删除的参数为待验证参数。
64.可选地，所述获取模块，还用于通过预设算法确定所述链接资源文件对应的目标散列值；通过所述预设算法确定所述待验证链接资源文件对应的验证散列值；对比所述目标散列值和所述验证散列值，获得对比结果。
65.可选地，所述获取模块，还用于根据所述无效参数识别结果确定所述待处理链接中的待验证参数；对所述待验证参数进行格式验证，获得格式验证结果；根据所述格式验证结果确定所述待处理链接对应的动态参数识别结果。
66.可选地，所述获取模块，还用于获取预设动态参数格式；确定所述待验证参数对应的参数格式；判断所述参数格式是否属于所述预设动态参数格式，获得格式验证结果。
67.可选地，所述获取模块，还用于获取待下载链接，对所述待下载链接进行无效字符删除，获得有效待下载链接；根据ascii码表对所述有效待下载链接中的参数进行顺序调整，获得调整后的待下载链接；将所述调整后的待下载链接转换为预设格式，获得格式化后的待下载链接。
68.可选地，所述获取模块，还用于获取所述预设链接模式库中的链接模板；对所述链接模板进行相似度检测，获得相似度检测结果；根据所述相似度检测结果对所述链接模板进行分类，获得分类结果；根据所述分类结果对所述预设链接模式库进行优化。
69.可选地，所述获取模块，还用于根据所述分类结果确定各类型模式中的链接数量；
判断所述链接数量是否大于预设阈值；若大于，则根据所述分类结果对所述预设链接模式库进行链接合并。
70.可选地，所述去重模块，还用于若所述匹配结果为匹配失败，则将所述格式化链接添加至预设链接模式库。
71.可选地，所述去重模块，还用于若所述匹配结果为匹配成功，则对所述格式化链接进行去重操作。
72.此外，为实现上述目的，本发明还提出一种链接去重设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的链接去重程序，所述链接去重程序配置为实现如上文所述的链接去重方法的步骤。
73.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有链接去重程序，所述链接去重程序被处理器执行时实现如上文所述的链接去重方法的步骤。
74.本发明获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；根据匹配结果判断是否对所述格式化链接进行去重操作。由于本发明是将格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；根据匹配结果判断是否对格式化链接进行去重操作。相对于现有的接收到下载链接直接进行资源下载的方式，本发明上述方式能够对下载链接进行去重操作，减少资源的重复下载，保证下载资源的质量。
附图说明
75.图1是本发明实施例方案涉及的硬件运行环境的链接去重设备的结构示意图；
76.图2为本发明链接去重方法第一实施例的流程示意图；
77.图3为本发明链接去重方法第二实施例的流程示意图；
78.图4为本发明链接去重装置第一实施例的结构框图。
79.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
80.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
81.参照图1，图1为本发明实施例方案涉及的硬件运行环境的链接去重设备结构示意图。
82.如图1所示，该链接去重设备可以包括：处理器1001，例如中央处理器 (central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘 (keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真 (wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)，也可以是稳定的非易失性存储器 (non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
83.本领域技术人员可以理解，图1中示出的结构并不构成对链接去重设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
84.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及链接去重程序。
85.在图1所示的链接去重设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明链接去重设备中的处理器1001、存储器1005可以设置在链接去重设备中，所述链接去重设备通过处理器1001调用存储器1005中存储的链接去重程序，并执行本发明实施例提供的链接去重方法。
86.基于上述链接去重设备，本发明实施例提供了一种链接去重方法，参照图2，图2为本发明链接去重方法第一实施例的流程示意图。
87.本实施例中，所述链接去重方法包括以下步骤：
88.步骤s10：获取待下载链接，对所述待下载链接进行格式化，获得格式化链接。
89.需要说明的是，本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备，例如手机、平板电脑、个人电脑等，或者是一种能够实现上述功能的电子设备或链接去重设备。以下以所述链接去重设备为例，对本实施例及下述各实施例进行说明。
90.需要说明的是，所述待下载链接可以是进行资源下载时待下载资源对应的链接。所述对所述待下载链接进行格式化可以是去除所述待下载链接中的无效部分。例如，去除所述待下载链接中的锚部分和无效字符。
91.进一步的，为了提高对待下载链接进行去重操作的效率，所述步骤s10，可包括：获取待下载链接，对所述待下载链接进行无效字符删除，获得有效待下载链接；根据ascii码表对所述有效待下载链接中的参数进行顺序调整，获得调整后的待下载链接；将所述调整后的待下载链接转换为预设格式，获得格式化后的待下载链接。
92.需要说明的是，所述对所述待下载链接进行无效字符删除可以是删除所述待下载链接中的“？”“，”“/”“、”“#”等无效字符。所述根据ascii 码表对所述有效待下载链接中的参数进行顺序调整可以是根据ascii码表将链接中的各个参数按照ascii码表的顺序进行排序，使得不会因为参数在链接中的先后顺序影响参数的识别结果。
93.步骤s20：将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果。
94.需要说明的是，所述预设链接模式库可以是用于存放链接模板的数据表或文件。所述预设链接模式库中的链接模板两两之间均不相同。所述将所述格式化链接与预设链接模式库中存放的链接模板进行匹配可以是判断所述预设链接模式库中是否存在与所述格式化链接相同的链接模板。
95.步骤s30：根据匹配结果判断是否对所述格式化链接进行去重操作。
96.需要说明的是，若预设链接模式库中存在与所述格式化链接相同的链接模板，则说明所述格式化链接为冗余链接，可以将其从链接下载清单中删除。若预设链接模式库中不存在与所述格式化链接相同的链接模板，则说明所述格式化链接不为冗余链接，需要对其进行下载操作。
97.进一步的，为了避免因为下载链接的冗余而下载过多无效资源，占用系统存储空间，所述步骤s30，可包括：若所述匹配结果为匹配失败，则将所述格式化链接添加至预设链接模式库，若所述匹配结果为匹配成功，则对所述格式化链接进行去重操作。
98.需要说明的是，所述匹配失败意味着预设链接模式库中不存在与所述格式化链接相同的链接模板，则说明所述格式化链接不为冗余链接，则将所述格式化链接添加至预设链接模式库，对其进行下载操作。所述匹配成功意味着预设链接模式库中存在与所述格式化链接相同的链接模板，则说明所述格式化链接为冗余链接，则对所述格式化链接进行去重操作。
99.本实施例获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；根据匹配结果判断是否对所述格式化链接进行去重操作。由于本实施例是将格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；根据匹配结果判断是否对格式化链接进行去重操作。相对于现有的接收到下载链接直接进行资源下载的方式，本实施例上述方式能够对下载链接进行去重操作，减少资源的重复下载，保证下载资源的质量。
100.参考图3，图3为本发明链接去重方法第二实施例的流程示意图。
101.基于上述第一实施例，在本实施例中，所述步骤s20之前，还包括：
102.步骤s101：从链接历史库中获取待处理链接。
103.需要说明的是，所述链接历史库可以是存放待处理链接的数据库或文件。所述待处理链接可以是需要进行下载其对应的文件资源的链接。
104.步骤s102：对所述待处理链接进行无效参数识别，获得无效参数识别结果。
105.需要说明的是，所述对所述待处理链接进行无效参数识别可以是识别所述待处理链接中的参数是否为无效参数，具体可以是对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除，判断参数删除后的链接是否能够正常下载，若能够正常下载，则判定当前删除的参数为无效参数。
106.进一步的，为了减少资源的重复下载，保证下载资源的质量，所述步骤 s102，可包括：获取所述待处理链接对应的链接资源文件；对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除，获得待验证链接；在每次参数删除后，获取对应的所述待验证链接的待验证链接资源文件；对比所述链接资源文件和所述待验证链接资源文件，获得对比结果；根据所述对比结果生成无效参数识别结果。
107.需要说明的是，所述链接资源文件可以是将所述待处理链接进行下载后，获得的资源文件。所述对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除可以是对所述待处理链接中的参数挨个删除，并对删除参数后的链接进行下载，获得待验证链接资源文件。例如，待处理链接的参数有参数a、b和c，先删除待处理链接中的参数a。对删除参数a后的待处理链接进行下载，获得待验证链接资源文件，对比所述链接资源文件和所述待验证链接资源文件，获得对比结果，若所述对比结果为对比一致，则说明该参数删除后对下载的资源没有影响，该参数为无效参数。若对比结果为对比不一致，说明该参数删除后影响了资源文件的下载，但是不一定是有用的参数，可能是动态的参数，还需要进行后续的验证，此时将该参数定义为待验证参数。因此，所述无效参数识别结果可以是各个参数是否为无效参数或待验证参数。
108.进一步的，为了提高所述链接资源文件和所述待验证链接资源文件的对比效率，所述对比所述链接资源文件和所述待验证链接资源文件，获得对比结果的步骤，包括：通过预设算法确定所述链接资源文件对应的目标散列值；通过所述预设算法确定所述待验证链
接资源文件对应的验证散列值，对比所述目标散列值和所述验证散列值，获得对比结果。
109.需要说明的是，所述预设算法可以是信息摘要算法(message-digestalgorithm，md5)，md5可以是一种被广泛使用的密码散列函数，可以产生出一个128位(16字节)的散列值(hash value)，用于确保信息传输完整一致。通过根据md5算法对链接资源文件和所述待验证链接资源文件进行散列运算，能够提高所述链接资源文件和所述待验证链接资源文件的对比效率。
110.步骤s103：在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果。
111.需要说明的是，所述无效参数识别结果中包括待验证参数时，即删除该参数后对下载结果有一定影响，但是这并不能说明该参数为有效参数，其可能是动态参数，因此，在所述无效参数识别结果中包含待验证参数时，需要根据所述无效参数识别结果对所述待处理链接进行动态参数识别，具体可以是判断所述待验证参数是否为动态参数。
112.进一步的，为了减少资源的重复下载，保证下载资源的质量，所述步骤 s103，可包括：根据所述无效参数识别结果确定所述待处理链接中的待验证参数；对所述待验证参数进行格式验证，获得格式验证结果；根据所述格式验证结果确定所述待处理链接对应的动态参数识别结果。
113.需要说明的是，常见的几种动态参数包括时间，随机串，动态token等。动态参数一般具有特殊的格式信息，例如，时间参数一般满足时间格式x年 x月x日，动态token一般为16进制的长字符串，以及一些固定字母或长度的组合。通过依次判断所述待验证参数是否满足预设的格式，对待验证参数进行动态参数识别。若待验证参数满足上述其中任意一种格式，则判定所述待验证参数为动态参数，即无效参数。若待验证参数均不满足预先设置的动态参数的格式，则判定所述待验证参数为有效参数。
114.进一步的，为了获得准确的动态参数验证结果，所述对所述待验证参数进行格式验证，获得格式验证结果的步骤，包括：获取预设动态参数格式；确定所述待验证参数对应的参数格式；判断所述参数格式是否属于所述预设动态参数格式，获得格式验证结果。
115.需要说明的是，所述预设动态参数格式可以是预先设置的动态参数可能满足的格式。
116.步骤s104：根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。
117.需要说明的是，所述根据所述动态参数识别结果和所述待处理链接生成预设链接模式库可以是根据所述动态参数识别结果中的有效参数和待处理链接中的协议部分、域名部分、端口部分、文件名部分和/或虚拟目录部分生成目标链接，根据所述目标链接构建所述预设链接模式库。
118.进一步的，为了减少资源的重复下载，保证下载资源的质量，所述步骤 s104，可包括：根据所述动态参数识别结果确定所述待处理链接的有效参数；根据所述有效参数和所述待处理链接生成目标链接；根据所述目标链接构建预设链接模式库。
119.需要说明的是，所述有效参数可以是经过所述动态参数识别确定的非动态参数。
120.进一步的，为了提高格式化链接与预设链接模式库中存放的链接模板进行匹配的匹配效率，所述步骤s104之后，还可包括：获取所述预设链接模式库中的链接模板；对所述链接模板进行相似度检测，获得相似度检测结果；根据所述相似度检测结果对所述链接模
板进行分类，获得分类结果；根据所述分类结果对所述预设链接模式库进行优化。
121.需要说明的是，所述对所述链接模板进行相似度检测，获得相似度检测结果可以是判断所述链接模板中是否存在只有单个参数或路径不相同的链接模板，若存在，则可将这类只有单个参数或路径不同的链接模板归为一类。通过对预设链接模式库中的链接模板进行分类对所述预设链接模式库进行优化。所述根据所述分类结果对所述预设链接模式库进行优化的步骤，包括：根据所述分类结果确定各类型模式中的链接数量；判断所述链接数量是否大于预设阈值；若大于，则根据所述分类结果对所述预设链接模式库进行链接合并。
122.需要说明的是，所述预设阈值可以是预先设置的一种类型的链接模板中的链接模板数量阈值，即若一种分类类型中的链接模板的数量超过所述预设阈值，则可根据所述分类结果对所述预设链接模式库进行链接合并。具体可以是将该分类结果中的链接模板中的不相同的参数或路径用变量表示，进而对类别中的链接模板进行合并。
123.本实施例从链接历史库中获取待处理链接；对所述待处理链接进行无效参数识别，获得无效参数识别结果；在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果；根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。本实施例从链接历史库中获取待处理链接；对待处理链接进行无效参数识别，在无效参数识别结果中包含待验证参数时，对待处理链接进行动态参数识别，进而根据动态参数识别结果和待处理链接生成预设链接模式库。使得后续可以根据所述预设链接模式库。对待下载链接进行去重操作，减少资源的冗余下载，保证下载的资源的质量，提高用户体验感。
124.参照图4，图4为本发明链接去重装置第一实施例的结构框图。
125.如图4所示，本发明实施例提出的链接去重装置包括：
126.获取模块10，用于获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；
127.匹配模块20，用于将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；
128.去重模块30，用于根据匹配结果判断是否对所述格式化链接进行去重操作。
129.本实施例获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；根据匹配结果判断是否对所述格式化链接进行去重操作。由于本实施例是将格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；根据匹配结果判断是否对格式化链接进行去重操作。相对于现有的接收到下载链接直接进行资源下载的方式，本实施例上述方式能够对下载链接进行去重操作，减少资源的重复下载，保证下载资源的质量。
130.需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
131.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的链接去重方法，此处不再赘述。
132.基于本发明上述链接去重装置第一实施例，提出本发明链接去重装置的第二实施例。
133.在本实施例中，所述获取模块10，还用于从链接历史库中获取待处理链接；对所述待处理链接进行无效参数识别，获得无效参数识别结果；在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果；根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。
134.进一步的，所述获取模块10，还用于根据所述动态参数识别结果确定所述待处理链接的有效参数；根据所述有效参数和所述待处理链接生成目标链接；根据所述目标链接构建预设链接模式库。
135.进一步的，所述获取模块10，还用于获取所述待处理链接对应的链接资源文件；对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除，获得待验证链接；在每次参数删除后，获取对应的所述待验证链接的待验证链接资源文件；对比所述链接资源文件和所述待验证链接资源文件，获得对比结果；根据所述对比结果生成无效参数识别结果。
136.进一步的，所述获取模块10，还用于若所述对比结果为对比一致，则判定当前删除的参数为无效参数；若所述对比结果为对比不一致，则判定当前删除的参数为待验证参数。
137.进一步的，所述获取模块10，还用于通过预设算法确定所述链接资源文件对应的目标散列值；通过所述预设算法确定所述待验证链接资源文件对应的验证散列值；对比所述目标散列值和所述验证散列值，获得对比结果。
138.进一步的，所述获取模块10，还用于根据所述无效参数识别结果确定所述待处理链接中的待验证参数；对所述待验证参数进行格式验证，获得格式验证结果；根据所述格式验证结果确定所述待处理链接对应的动态参数识别结果。
139.进一步的，所述获取模块10，还用于获取预设动态参数格式；确定所述待验证参数对应的参数格式；判断所述参数格式是否属于所述预设动态参数格式，获得格式验证结果。
140.进一步的，所述获取模块10，还用于获取待下载链接，对所述待下载链接进行无效字符删除，获得有效待下载链接；根据ascii码表对所述有效待下载链接中的参数进行顺序调整，获得调整后的待下载链接；将所述调整后的待下载链接转换为预设格式，获得格式化后的待下载链接。
141.进一步的，所述获取模块10，还用于获取所述预设链接模式库中的链接模板；对所述链接模板进行相似度检测，获得相似度检测结果；根据所述相似度检测结果对所述链接模板进行分类，获得分类结果；根据所述分类结果对所述预设链接模式库进行优化。
142.进一步的，所述获取模块10，还用于根据所述分类结果确定各类型模式中的链接数量；判断所述链接数量是否大于预设阈值；若大于，则根据所述分类结果对所述预设链接模式库进行链接合并。
143.进一步的，所述去重模块30，还用于若所述匹配结果为匹配失败，则将所述格式化链接添加至预设链接模式库。
144.进一步的，所述去重模块30，还用于若所述匹配结果为匹配成功，则对所述格式化链接进行去重操作。
145.本发明链接去重装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
146.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有链接去重程序，
所述链接去重程序被处理器执行时实现如上文所述的链接去重方法的步骤。
147.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
148.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
149.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
150.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
151.本发明还公开了a1、一种链接去重方法，所述链接去重方法包括以下步骤：
152.获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；
153.将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；
154.根据匹配结果判断是否对所述格式化链接进行去重操作。
155.a2、如a1所述的链接去重方法，所述将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果的步骤之前，还包括：
156.从链接历史库中获取待处理链接；
157.对所述待处理链接进行无效参数识别，获得无效参数识别结果；
158.在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果；
159.根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。
160.a3、如a2所述的链接去重方法，所述根据所述动态参数识别结果和所述待处理链接生成预设链接模式库的步骤，包括：
161.根据所述动态参数识别结果确定所述待处理链接的有效参数；
162.根据所述有效参数和所述待处理链接生成目标链接；
163.根据所述目标链接构建预设链接模式库。
164.a4、如a2所述的链接去重方法，所述对所述待处理链接进行无效参数识别，获得无效参数识别结果的步骤，包括：
165.获取所述待处理链接对应的链接资源文件；
166.对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除，获得待验证链接；
167.在每次参数删除后，获取对应的所述待验证链接的待验证链接资源文件；
168.对比所述链接资源文件和所述待验证链接资源文件，获得对比结果；
169.根据所述对比结果生成无效参数识别结果。
170.a5、如a4所述的链接去重方法，所述根据所述对比结果生成无效参数识别结果的步骤，包括：
171.若所述对比结果为对比一致，则判定当前删除的参数为无效参数；
172.若所述对比结果为对比不一致，则判定当前删除的参数为待验证参数。
173.a6、如a4所述的链接去重方法，所述对比所述链接资源文件和所述待验证链接资源文件，获得对比结果的步骤，包括：
174.通过预设算法确定所述链接资源文件对应的目标散列值；
175.通过所述预设算法确定所述待验证链接资源文件对应的验证散列值；
176.对比所述目标散列值和所述验证散列值，获得对比结果。
177.a7、如a5所述的链接去重方法，所述根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果的步骤，包括：
178.根据所述无效参数识别结果确定所述待处理链接中的待验证参数；
179.对所述待验证参数进行格式验证，获得格式验证结果；
180.根据所述格式验证结果确定所述待处理链接对应的动态参数识别结果。
181.a8、如a7所述的链接去重方法，所述对所述待验证参数进行格式验证，获得格式验证结果的步骤，包括：
182.获取预设动态参数格式；
183.确定所述待验证参数对应的参数格式；
184.判断所述参数格式是否属于所述预设动态参数格式，获得格式验证结果。
185.a9、如a1所述的链接去重方法，所述获取待下载链接，对所述待下载链接进行格式化，获得格式化链接的步骤，包括：
186.获取待下载链接，对所述待下载链接进行无效字符删除，获得有效待下载链接；
187.根据ascii码表对所述有效待下载链接中的参数进行顺序调整，获得调整后的待下载链接；
188.将所述调整后的待下载链接转换为预设格式，获得格式化后的待下载链接。
189.a10、如a2-a8任一项所述的链接去重方法，所述根据所述动态参数识别结果和所述待处理链接生成预设链接模式库的步骤之后，还包括：
190.获取所述预设链接模式库中的链接模板；
191.对所述链接模板进行相似度检测，获得相似度检测结果；
192.根据所述相似度检测结果对所述链接模板进行分类，获得分类结果；
193.根据所述分类结果对所述预设链接模式库进行优化。
194.a11、如a10所述的链接去重方法，所述根据所述分类结果对所述预设链接模式库进行优化的步骤，包括：
195.根据所述分类结果确定各类型模式中的链接数量；
196.判断所述链接数量是否大于预设阈值；
197.若大于，则根据所述分类结果对所述预设链接模式库进行链接合并。
198.a12、如a1-a8任一项所述的链接去重方法，所述根据匹配结果判断是否对所述格
式化链接进行去重操作的步骤，包括：
199.若所述匹配结果为匹配失败，则将所述格式化链接添加至预设链接模式库。
200.a13、如a1-a8任一项所述的链接去重方法，所述根据匹配结果判断是否对所述格式化链接进行去重操作的步骤，包括：
201.若所述匹配结果为匹配成功，则对所述格式化链接进行去重操作。
202.本发明还公开了b14、一种链接去重装置，所述链接去重装置包括：
203.获取模块，用于获取待下载链接，对所述待下载链接进行格式化，获得格式化链接；
204.匹配模块，用于将所述格式化链接与预设链接模式库中存放的链接模板进行匹配，获得匹配结果；
205.去重模块，用于根据匹配结果判断是否对所述格式化链接进行去重操作。
206.b15、如b14所述的链接去重装置，所述获取模块，还用于从链接历史库中获取待处理链接；对所述待处理链接进行无效参数识别，获得无效参数识别结果；在所述无效参数识别结果中包含待验证参数时，根据所述无效参数识别结果对所述待处理链接进行动态参数识别，获得动态参数识别结果；根据所述动态参数识别结果和所述待处理链接生成预设链接模式库。
207.b16、如b15所述的链接去重装置，所述获取模块，还用于根据所述动态参数识别结果确定所述待处理链接的有效参数；根据所述有效参数和所述待处理链接生成目标链接；根据所述目标链接构建预设链接模式库。
208.b17、如b15所述的链接去重装置，所述获取模块，还用于获取所述待处理链接对应的链接资源文件；对每一个所述待处理链接按照每次删除一个参数的方式进行参数删除，获得待验证链接；在每次参数删除后，获取对应的所述待验证链接的待验证链接资源文件；对比所述链接资源文件和所述待验证链接资源文件，获得对比结果；根据所述对比结果生成无效参数识别结果。
209.b18、如b17所述的链接去重装置，所述获取模块，还用于若所述对比结果为对比一致，则判定当前删除的参数为无效参数；若所述对比结果为对比不一致，则判定当前删除的参数为待验证参数。
210.本发明还公开了c19、一种链接去重设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的链接去重程序，所述链接去重程序配置为实现如a1至a13中任一项所述的链接去重方法的步骤。
211.本发明还公开了d20、一种存储介质，所述存储介质上存储有链接去重程序，所述链接去重程序被处理器执行时实现如a1至a13任一项所述的链接去重方法的步骤。