聚合互联网内容的方法及系统与流程

本发明涉及电子信息技术领域，特别是涉及一种聚合互联网内容的方法及系统。

背景技术：

随着互联网技术的飞速发展，传统的pc互联网技术已逐渐被移动互联网技术所取代，智能手机、平板电脑等可移动智能设备的普及和进步，使人们可以通过移动互联网更方便地获取信息。互联网包括了各种知识，包括音乐，图书，动漫，电视剧，动漫，公开课，演讲等各种海量数据，种类繁多，内容丰富。对于这些庞大的数据资源，互联网公司都会采用内容聚合的方式将互联网内容呈现给用户。

但在实际应用中，目前的互联网内容聚合系统都比较偏向传统的pc互联网公司，若将该互联网内容聚合系统应用在移动互联网公司中，会导致互联网数据抓取不便捷，数据分析管理步骤繁琐，聚合效果不智能，系统监测不灵敏。因此，如何开发适合于移动互联网公司的聚合互联网内容的方法及系统是目前亟待解决的技术问题。

技术实现要素：

鉴于上述状况，有必要提供一种克服上述问题或者至少部分地解决上述问题的聚合互联网内容的方法及系统。

根据本发明一实施例的聚合互联网内容的方法，包括以下步骤：

云端服务器定时启动互联网数据抓取动作，自动抓取互联网数据，获取互联网数据内容；

云端服务器对获取的互联网数据内容进行分析，分类聚合获取的互联网数据内容，并确认数据内容的合法性和真实性；

云端服务器对已分类聚合且确认后的互联网数据内容进行整合并存储。

根据本发明实施例的聚合互联网内容的方法，通过云端服务器定时启动互联网数据抓取动作，自动抓取互联网数据，获取互联网数据内容，然后对互联网数据内容进行分析，分类聚合获取的互联网数据内容，并确认数据内容的合法性和真实性，最后对已分类聚合且确认后的互联网数据内容进行整合并存储，可实现对互联网各种内容智能化的数据抓取和分析聚合，处理流程简化、操作简单，更适用于移动互联网，且系统运行状况可实现自动化实时监测，更加智能。

另外，根据本发明上述实施例的聚合互联网内容的方法，还可以具有如下附加的技术特征：

进一步地，在本发明的一个实施例中，所述云端服务器包括智能数据抓取工具，所述智能数据抓取工具用于自动抓取互联网数据，获取互联网数据内容。

进一步地，在本发明的一个实施例中，所述智能数据抓取工具含有关键字排除程序，所述关键字排除程序用于所述智能数据抓取工具发起互联网数据抓取请求时，排除涉及虚假、色情的非法信息。

进一步地，在本发明的一个实施例中，所述云端服务器还包括智能数据分析聚合工具，所述智能数据分析聚合工具用于自动分析所述智能数据抓取工具抓取的互联网数据内容，对获取的互联网数据内容进行分类聚合，并再次确认数据内容的合法性和真实性。

进一步地，在本发明的一个实施例中，所述云端服务器还包括智能数据整合存储工具，所述智能数据整合存储工具用于对已分类聚合且确认后的互联网数据内容进行整合并存储。

进一步地，在本发明的一个实施例中，所述聚合互联网内容的方法进一步包括系统运行状况监控方法，包括以下步骤：

云端服务器自动实时获取系统运行数据；

云端服务器对获取的系统运行数据运行监控分析；

云端服务器系统异常运行状况进行处理。

进一步地，在本发明的一个实施例中，所述云端服务器进一步包括系统运行状态数据获取工具、系统运行状态数据分析工具、系统异常信息发送工具和异常处理工具，所述运行状态数据获取工具自动实时获取系统运行数据，所述运行状态数据分析工具对获取的数据运行分析及处理，所述运行状态数据分析工具进一步根据分析的结果判断系统是否处于正常运行状态，如果系统处于正常运行状态，则所述云端服务器继续进行监控，如果系统处于异常运行状态，则所述系统异常信息发送工具发出异常警告，将异常信息发送至所述异常处理工具，并启动相应的预案处理机制。

本发明的另一个实施例提出一种聚合互联网内容的系统。

根据本发明实施例的聚合互联网内容的系统，应用上述方法，上述聚合互联网内容的系统包括智能数据抓取单元、智能数据分析聚合单元和数据整合存储单元，所述智能数据抓取单元自动抓取互联网数据，获取互联网数据内容，所述智能数据抓取单元还包括关键字排除单元，所述关键字排除单元用于所述智能数据抓取模块发起互联网数据获取请求时，排除涉及虚假、色情等非法信息，所述智能数据分析聚合单元自动分析所述智能数据抓取单元抓取的互联网数据内容，对抓取的互联网数据内容进行分类聚合，再次确认数据内容的合法性和真实性，所述智能数据整合存储单元用于整合并存储所述智能数据分析聚合单元分析聚合后的互联网数据内容。

进一步地，在本发明的一个实施例中，所述聚合互联网内容的系统还包括云端服务器系统运行状况监控组件，所述云端服务器系统运行状况监控组件包括运行状态数据获取单元、运行状态数据分析单元、系统异常信息发送单元和异常处理单元，所述运行状态数据获取单元自动实时获取系统运行数据，所述运行状态数据分析单元对获取的系统运行数据进行分析及处理，所述运行状态数据分析单元进一步根据分析的结果判断系统是否处于正常运行状态，如果系统处于正常运行状态，则所述系统运行状况监控组件继续监控，如果系统处于异常运行状态，则所述系统异常信息发送单元发出异常警告，将异常信息发送至所述异常处理单元，并启动相应的预案处理机制。包括：

附图说明

图1示出了根据本发明一个实施例的聚合互联网内容的方法的流程图。

图2示出了根据本发明一个实施例的系统运行状况监控方法的流程示意图。

图3示出了根据本发明一个实施例的聚合互联网内容的系统的结构组成图。

图4示出了根据本发明一个实施例的云端服务器系统运行状况监控组件的结构组成图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

请参阅图1，本发明实施例提出的聚合互联网内容的方法，包括以下步骤：

步骤s102，云端服务器定时启动互联网数据抓取动作，自动抓取互联网数据，获取互联网数据内容；

其中，所述云端服务器设有智能数据抓取工具，所述智能数据抓取工具用于自动抓取互联网数据，获取互联网数据内容，具体操作时，该智能数据抓取工具可定时在互联网中启动抓取工作，将第三方的数据资源，比如文本、html网页、web服务、关系数据库等内容进行自动抓取，抓取动作高效便捷，且该智能数据抓取工具还可统计用户的喜好，根据用户的使用特点进行个性化抓取。

进一步的，所述智能数据抓取工具含有关键字排除程序，该关键字排除程序用于所述智能数据抓取工具发起互联网数据抓取请求时，排除涉及虚假、色情等非法的信息，精简掉多余、无效的互联网内容，保证所述智能数据抓取工具抓取内容的合法、有效。

步骤s104，云端服务器对获取的互联网数据内容进行分析，分类聚合获取的互联网数据内容，并确认数据内容的合法性和真实性；

其中，所述云端服务器进一步设有智能数据分析聚合工具，所述智能数据分析聚合工具用于自动分析所述智能数据抓取工具抓取的互联网数据内容，对抓取的互联网数据内容进行分类聚合，例如所述智能数据分析工具根据音频、视频、图书、图片等类别对抓取到的数据内容进行分类，将同类的数据内容进行聚合归档。之后所述智能数据分析聚合工具再次确认数据内容的合法性和真实性，确认完成后，进一步向步骤s106发出存储请求。

步骤s106，云端服务器对已分类聚合且确认后的互联网数据内容进行整合并存储；

其中，所述云端服务器进一步设有智能数据整合存储工具，所述智能数据整合存储工具接收步骤s104发出的请求，对已分类聚合且确认后的互联网数据内容进行整合并存储，整合时可根据系统设定选择将所有数据内容进行整合，或选择性的整合部分内容。

本发明实施例提出的聚合互联网内容的方法可通过云端服务器自动抓取互联网最新的信息，保证了系统内容与互联网内容保持高度一致，能够根据智能数据抓取工具捕捉到互联网市场的最新发展趋势，且本发明可利用大数据存储技术和大数据分析技术，为企业公司决策提供信息支持。

进一步地，本发明实施例提出的聚合互联网内容的方法还包括系统运行状况监控方法。

请参阅图2，图2为所述系统运行状况监控方法的流程示意图，具体包括以下步骤：

步骤s202，云端服务器自动实时获取系统运行数据；

其中，所述云端服务器设有系统运行状态数据获取工具，所述系统运行状态数据获取工具自动实时获取系统运行数据，并将获取的数据发送给步骤s204。

步骤s204，云端服务器对获取的系统运行数据运行监控分析；

其中，所述云端服务器进一步设有系统运行状态数据分析工具，所述系统运行状态数据分析工具对获取的数据运行分析对比及处理，并根据分析的结果判断系统是否处于正常运行状态，如果系统处于正常运行状态，则进行返回步骤s202，继续对系统进行监控；如果系统处于异常运行状态，则执行步骤s206。

步骤s206，云端服务器对系统异常运行状况进行处理；

其中，所述云端服务器设有系统异常信息发送工具和异常处理工具，所述系统异常信息发送工具根据步骤s204分析的数据结果发出异常警告，将异常信息发送至所述异常处理工具，并通知系统相关人员，及时启动相应的预案处理机制。

本实施例提出的系统运行状况监控方法可通过云端服务器自动实时获取系统运行状态数据，并将实时运行数据提交给系统运行状态数据分析工具，该系统运行状态数据分析工具将根据系统运行的内存占用，如cpu占用，io处理，网络传输时间等运行状态指标来判断系统是否处于运行异常状态，系统运行状态一旦触发了临界值，云端服务器中的系统异常信息发送工具就会自动发送系统异常警告信息给异常处理工具并通知系统相关人员，系统相关人员根据系统异常警告信息启用相应的处理预案，因此该系统运行状况监控方法更加智能、简便。且在具体实施中，云端服务器能够实时监控系统的运行状态，当系统面对突发情况时，系统相关人员能够第一时间启动处理预案，这样就极大地保证了系统的稳定性，数据的安全性。在移动互联网企业，这种保障企业的信息稳定和数据安全机制显得尤为重要。

本发明的实施例还提出了一种聚合互联网内容的系统，该系统应用上述提出的聚合互联网内容的方法。

请参阅图3，该聚合互联网内容的系统30包括智能数据抓取单元301、智能数据分析聚合单元302、数据整合存储单元303和数据仓库304。

该智能数据抓取单元301自动抓取互联网数据，获取互联网数据内容，包括文本、html网页、web服务、关系数据库等内容。该智能数据抓取单元301可定时在互联网中启动抓取工作，抓取工作自动进行，抓取动作高效便捷，且该智能数据抓取单元301还可统计用户的喜好，根据用户的使用特点进行个性化抓取。

该智能数据抓取单元301还包括关键字排除单元3011，该关键字排除单元3011用于智能数据抓取单元301发起互联网数据抓取请求时，排除涉及虚假、色情等非法的信息，精简掉多余、无效的互联网内容，保证智能数据抓取单元301抓取内容的合法、有效。

智能数据分析聚合单元302用于自动分析智能数据抓取单元301抓取的互联网数据内容，对抓取的互联网数据内容进行分类处理，例如所述智能数据分析工具根据音频、视频、图书、图片等类别对抓取到的数据内容进行分类归档。之后所述智能数据分析工具再次确认数据内容的合法性和真实性，确认完成后，向数据整合存储单元303发出存储请求。

数据整合存储单元303接收智能数据分析聚合单元302发出的存储请求，执行存储智能数据分析聚合单元302分析后的互联网数据内容，最终将该数据内容存储在数据仓库304中。

进一步地，本发明实施例提出的聚合互联网内容的系统还包括系统运行状况监控组件。

请参阅图4，所述云端服务器系统运行状况监控组件40包括运行状态数据获取单元401、运行状态数据分析单元402、系统异常信息发送单元403和异常处理单元404。

该运行状态数据获取单元401自动实时获取系统运行的数据，并将获取的数据发送给运行状态数据分析单元402。

该运行状态数据分析单元402对获取的数据运行分析对比及处理，并根据系统运行的内存占用，如cpu占用，io处理，网络传输时间等运行状态指标来判断系统是否处于运行异常状态，如果系统处于正常运行状态，则该运行状态数据分析单元402反馈信息给运行状态数据获取单元401，使运行状态数据获取单元401继续对系统进行监控；如果系统处于异常运行状态，则运行状态数据分析单元402发生异常信息给系统异常信息发送单元403，该系统异常信息发送单元403将异常信息进一步发送至异常处理单元404，并通知系统相关人员，及时启动相应的预案处理机制。

本发明提出的聚合互联网内容的方法及系统可实现对互联网各种内容智能化的数据抓取和分析聚合，处理流程简化、操作简单，更适用于移动互联网，且系统运行状况可实现自动化实时监测，更加智能。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。