智能聚合接口的方法及系统的制作方法
【技术领域】
[0001]本发明涉及移动互联网领域，特别是涉及智能聚合接口的方法及系统。
【背景技术】
[0002]随着互联网技术的飞速发展，越来越多的人们选择通过互联网获取信息。如今的互联网包括了各种知识，音乐，图书，动漫，电视剧，动漫，公开课，演讲等各种海量数据，种类繁多，内容丰富，互联网企业一般都是使用各种数据接口获取互联网数据，智能聚合接口系统是一种位于企业内部，向外部互联网获取数据，对外部互联网提供公共数据服务接口的软件系统。
[0003]在实际应用中，目前的互联网系统数据接口分布在不同的系统中，不能实现统一配置，而如今随着互联网企业对外部数据的获取需求越来越多，往往需要和许多互联网企业进行数据对接，同样要提供公共数据服务器接口给外部互联网。因此，如何使用一种聚合接口技术实现对接口服务统一配置管理，实现负载均衡，容错机制，搜索引擎智能爬取互联网数据是目前亟待解决的技术问题。
【发明内容】
[0004]鉴于上述状况，有必要提供一种克服上述问题或者至少部分地解决上述问题的智能聚合接口的方法及系统。
[0005]—种智能聚合接口的方法，包括以下步骤:
[0006]统一配置聚合接口，包括配置数据传输接口的地址、参数及路由规则；
[0007]智能化数据传输接口负载均衡、动态映射及容错处理；
[0008]网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据。
[0009]所述统一配置智能聚合接口包括以下步骤:
[0010]数据传输接口地址配置，配置接口的网络地址；
[0011]数据传输接口参数配置，配置接口的请求参数和返回参数；
[0012]数据传输接口路由规则配置，配置接口在交互的系统中路由规则；
[0013]数据传输接口配置信息存储，将上述配置步骤的数据传输接口规则存储到数据库中。
[0014]所述智能化数据传输接口负载均衡、动态映射及容错处理包括以下步骤:
[0015]数据传输接口地址提供统一的调用入口，即所有的接口调用从负载均衡地址进出；
[0016]智能化数据传输接口进一步根据负载均衡算法及所述数据传输接口对应的路由规则，将接口调用请求动态映射到集群服务器上运行的服务单元上；
[0017]在接口服务出现错误的情况下，负载均衡算法自动感知错误，将请求重新映射集群服务器正常工作服务单元上。
[0018]所述网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据包括以下步骤:
[0019]内部系统发出获取互联网数据请求；
[0020]网络搜索引擎通过网络爬虫获取互联网数据；
[0021]云端服务器对获取的互联网数据内容进行分析处理并进行数据分类；
[0022]数据仓库对已分析的互联网数据内容进行聚合并存储。
[0023]所述网络爬虫含有关键字排除程序，所述关键字排除程序用于所述网络搜索引擎抓取互联网数据请求时，排除涉及虚假、色情等非法的信息。
[0024]—种智能聚合接口系统，应用上述智能聚合接口的方法，包括:
[0025]智能聚合接口系统云端服务器，用于统一配置智能聚合接口，智能化处理数据传输接口的负载均衡、动态映射及容错处理，智能获取互联网数据，分析处理获取的互联网数据；
[0026]内部系统，用于发起获取数据请求；
[0027]数据仓库，用于存储所述智能聚合接口系统云端服务器获取并分析的互联网数据。
[0028]所述智能聚合接口系统云端服务器包括聚合接口统一配置模块，用于配置数据传输接口的地址、参数及路由规则，所述聚合接口统一配置模块包括数据传输接口地址配置单元、数据传输接口参数配置单元及数据传输接口路由规则配置单元，所述数据传输接口地址配置单元用于配置接口的网络地址，数据传输接口参数配置单元，用于配置接口的请求参数和返回参数，数据传输接口路由规则配置单元，用于配置接口在交互的系统中路由规则。
[0029]所述智能聚合接口系统云端服务器进一步包括聚合接口系统负载均衡模块和集群服务器服务单元模块，所述聚合接口系统负载均衡模块接收所述内部系统发出的获取互联网数据请求，按照负载均衡算法，将请求动态映射到所述集群服务器服务单元模块，所述聚合接口系统负载均衡模块进一步包括服务容错单元，用于在接口服务出现错误的情况下，自动感知错误，将请求重新映射到所述集群服务器服务单元模块中正常工作的服务单元上，所述集群服务器服务单元模块与所述聚合接口系统负载均衡模块相耦合，执行具体的互联网数据获取请求。
[0030]所述智能聚合接口系统云端服务器进一步包括网络爬虫模块和互联网数据智能分析处理模块，所述网络爬虫模块自动获取互联网数据，所述互联网数据智能分析处理模块对获取的互联网数据内容进行分析处理并进行数据分类。
[0031]本发明提出的智能聚合接口的方法及系统可实现对外部互联网数据的自动化智能获取，通过对聚合接口进行统一的配置和管理，提高软件开发人员的效率，通过负载均衡、容错处理可对数据传输接口进行智能监控，保证系统数据传输的稳定性。
【附图说明】
[0032]图1示出了根据本发明一个实施例的智能聚合接口的方法的流程图。
[0033]图2示出了根据本发明一个实施例的统一配置聚合接口的流程图。
[0034]图3示出了根据本发明一个实施例的智能化数据传输接口负载均衡、动态映射及容错处理的流程图。
[0035]图4示出了根据本发明一个实施例的网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据的流程图。
[0036]图5示出了根据本发明一个实施例的内部系统发出获取互联网数据请求的具体流程图。
[0037]图6示出了根据本发明一个实施例的智能聚合接口系统的结构图。
[0038]图7示出了根据本发明一个实施例的聚合接口统一配置模块的结构图。
[0039]图8示出了根据本发明一个实施例的聚合接口系统负载均衡模块的结构图。
[0040]图9示出了根据本发明一个实施例的网络爬虫模块的结构图。
[0041]图10示出了根据本发明一个实施例的数据仓库的结构图。
【具体实施方式】
[0042]为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
[0043]请参阅图1，本发明实施例提出的智能聚合接口的方法，包括以下步骤:
[0044]步骤S102，统一配置聚合接口，包括配置数据传输接口的地址、参数及路由规则；
[0045]步骤S104，智能化数据传输接口负载均衡、动态映射及容错处理。
[0046]步骤S106，网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据；
[0047]请参阅图2，所述步骤S102，统一配置智能聚合接口包括以下步骤:
[0048]步骤S1022，数据传输接口地址配置，配置接口的网络地址；
[0049]步骤S1024，数据传输接口参数配置，配置接口的请求参数和返回参数；
[0050]步骤S1026，数据传输接口路由规则配置，配置接口在交互的系统中路由规则。
[0051]步骤S1028，数据传输接口配置信息存储，将上述配置步骤的数据传输接口规则存储到数据库中。
[0052]在该实施例中，网络传输接口的地址，数据传输接口请求参数和返回参数确定了网络接口的请求地址和参数对象类型，网络传输接口路由规则确定了数据传输接口在系统中的数据流走向，即从源系统到目的系统的数据流向。
[0053]请参阅图3，所述步骤S104，智能化数据传输接口负载均衡、动态映射及容错处理包括以下步骤:
[0054]步骤S1042，数据传输接口地址提供统一的调用入口，即所有的接口调用从负载均衡地址进出；
[0055]步骤S1044，智能化数据传输接口进一步根据负载均衡算法及所述数据传输接口对应的路由规则，将接口调用请求动态映射到集群服务器上运行的服务单元上；
[0056]步骤S1046，在接口服务出现错误的情况下，负载均衡算法自动感知错误，将请求重新映射集群服务器正常工作服务单元上。
[0057]在该实施例中，通过接口服务负载均衡以及容错机制，能够在集群服务器的单个服务单元出现异常状况时，容错机制在服务器集群上有两个以上服务单元运行的情况下，负载均衡算法将自动感知错误，并且将接口服务请求重新映射到正常工作的服务单元上，这样就极大地保证了系统数据传输的稳定性。
[0058]请参阅图4，所述步骤S106，网络搜索引擎智能获取互联网数据，分析并存储获取的互联网数据包括以下步骤:
[0059]步骤S1062，内部系统发出获取互联网数据请求；
[0060]请参阅图5，所述内部系统发出获取互联网数据请求的具体流程图，内部系统向智能聚合接口系统云端服务器的负载均衡器发起获取数据请求，所述负载均衡器接收上述请求，根据映射规则，将接口请求动态映射到集群服务器的正常运行的服务单元，之后所述聚合接口服务器集群服务单元向具体的互联网数据提供商发起数据获取请求。
[0061]步骤S1064，网络搜索引擎通过网络爬虫获取互联网数据；
[0062]所述网络爬虫用于自动抓取互联网数据，获取互联网数据内容，具体操作时，该网络爬虫可定时在互联网中启动抓取工作，将第三方的数据资源，比如文本、html网页、Web服务、关系数据库等内容进行自动抓取，抓取动作高效便捷，且该网络爬虫还可统计用户的喜好，根据用户的使用特点进行个性化抓取。
[0063]进一步的，所述智能数据抓取工具含有关键字排除程序，该关键字排除程序用于所述智能数据抓取工具发起互联网数据抓取请求时，排除涉及虚假、色情等非法的信息，精简掉多余、无效的互联网内容，保证所述智能数据抓取工具抓取内容的合法、有效。
[0064]步骤S1066，云端服务器对获取的互联网数据内容进行分析处理并进行数据分类；
[0065