本发明涉及养殖数据采集与分析，特别涉及一种基于互联网的养鸡信息全程追踪存储系统。
背景技术：
对于日常的家畜养殖，在环境方面一般是人工进行温湿度的测量，再对风扇、空调、换气扇等进行控制；在饮食方面一般为饲养人员频繁的进行饲料投喂还有加水，浪费大量的人力资源；在家畜的身体数据方面，更是尤为复杂，有每天的专业饲养人员进行抚摸，来感觉家畜温度是否正常，并且还要定时对大量的家畜进行一一称重来掌握家畜的大致重量，这些做法都无法对家畜的身体数据进行准确的测量；而在日常的家畜生活中，饲养人员不能离开养殖区，以便应对突发事件，例如家畜突然患病、外来突发因素的发生等，让饲养变得极为复杂。
家畜的需求随着人们的生活水平提高也在不断的呈现供不应求的趋势，目前，家畜的供求信息发布情况较为单一，没有明确的家畜供求市场，买家与卖家一般依赖于传统的订单式交流，这样的销售渠道完全不能满足家畜行业的发展需求。随着互联网的发展，越来越多的养殖人员以及需求人员开始通过一些供求信息网站（例58同城，赶集网等）来发布自己的需求信息，这样大大提高了家畜养殖行业的通货效率，从而带动了行业发展，但是这样的发展虽然高效，却没有足够的家畜养殖信息，保证不了质量问题，所以订单的成功还要依赖于买家与卖家的正面交流，随着人们生活水平的提高以及对网络的依赖，像这样在网站发布信息式且需实地考察的买卖形式已经无法满足现代人的需求。
技术实现要素：
为解决上述现有技术所存在的问题，本发明提出了一种互联网信息存储系统，包括：数据存储层，用于提供数据库管理，对所采集的数据进行存储规划；通过分布式计算实现各个子系统内部和子系统之间的不同节点上的对象调用；对各个子系统进行参数配置，监控系统各个组成部分的运行情况，管理用户及其权限；数据处理层，用于进行数据采集，对网络内容进行增量式抓取；实现数据迁移、备份和清洗；对监测对象的基本信息和进一步分析出的信息进行管理；监测分析层，用于对采集到的数据进行分析，抽取特征，建立数据索引，对采集到的网络内容进行统计归类；
用户接口层，提供管理功能的操作界面，显示信息采集、信息统计、信息识别和分析的结果，进行系统维护操作。
优选地，所述监测分析层进一步包括：视频采集模块，用于通过关键词，对视频网络内容进行内容采集，返回包含指定关键词的视频文件，以及相应文件内的时间信息；通过关键帧对视频网络内容进行内容采集，返回包含指定关键帧的视频文件，以及相应文件内的时间信息；通过特定视频片段，在本地视频数据库中采集包含相同的视频片段的视频网络内容，通过web界面显示采集到的结果视频的摘要及关键帧全景图；音频采集模块，用于对互联网语音和音频文件建立内容索引，进行特定内容音频采集，通过对特定内容音频信息的采集，实现对网络音频信息的监测，所述特定内容音频信息包括特定关键词、特定说话人，或者特定音频片段；文本采集模块，包括话题采集单元，话题趋向分析单元，关键词过滤匹配单元，其中：所述话题采集单元用于对指定的网站进行流量访问量统计、采集排名位置，从第三方所公布的网络内容获取相关数据；所述话题趋向分析单元用于对网络内容中关键词的所有情感词汇趋向性的统计加权，通过对比和分析用户话题的趋向性矢量来完成话题的趋向性分析。
所述关键词过滤匹配单元用于通过关键字匹配，检测网络内容中是否包含非法内容并进行过滤；通过组合条件对关键字进行配置，并根据关键字时效性配置有效周期。本发明相比现有技术，具有以下优点：本发明提出了一种互联网信息存储系统，对互联网舆情进行多维监测，有效采集和分析出敏感信息，提高了查准率和查全率。
具体实施方式
本发明采用多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
本发明的一方面提供了一种互联网信息存储系统。
本发明把多种信息采集的方式综合在一起，将其在信息监测中实现。考虑到对内容方面的监测，本发明还需要对内容中的敏感信息进行审核，互联网中的大型网站提供很多热点词汇的推荐，这些数据很有可能就是本发明关心的关键词汇，即关键字，这些数据本发明也需要及时的采集下来。其次在监测工作中，信息监测中选择的对象是互联网中门户网站，针对某一个地区的信息进行实时推送。系统按照本发明配置的规则，定期抓取关注的信息，通过各种分析手段，提示用户注意匹配上的数据信息进行审核。
在信息监测系统中，系统分为四个层次，自底向上依次为数据存储层、数据处理层、监测分析层、用户接口层。
数据存储层提供数据库管理功能，需要对采集的数据有合理的存储规划；分布式计算能力，实现各个子系统内部和子系统之间的不同节点上的对象调用；系统维护，可以对各个子系统进行参数配置，监控系统各个组成部分的运行情况，管理用户及其权限等。
数据处理层提供数据采集能力，可以对重点网站的网络内容及音视频内容进行增量式抓取；数据存储，可以管理外部存储系统，能够实现数据迁移、备份和清洗的功能；数据管理功能，可以对网站、网络内容、视音频网络内容等监测对象的基本信息和进一步分析出的信息进行管理，如查询、修改、删除、添加。并支持手动导入音视频网络内容。
监测分析层进行内容分析，对采集到的文本、音频、视频数据进行分析，抽取特征，建立数据索引，识别非法信息和跟踪热点、敏感词等；信息采集，是基于关键词、样例图片、样例音频、样例视频，来进行内容采集；信息统计，根据监测业务的需要，对采集到的视音频站、网络内容、和非法信息进行统计归类。
用户接口层提供各个管理功能友好的操作界面，显示信息采集、信息统计、非法信息识别和分析的结果，进行系统维护等多项操作；系统接口为相关系统提供统一的服务，便于整合监测业务的其他系统，提高各业务系统的集成性和扩展性。
在信息采集过程中，视频采集模块能够通过业务人员提交的关键词，对视频网络内容进行内容采集，返回包含指定关键词的视频文件，以及相应文件内的时间信息。通过业务人员提交的关键帧，对视频网络内容进行内容采集，返回包含指定关键帧的视频文件，以及相应文件内的时间信息。能够通过业务人员提交的特定视频片段，在本地视频数据库中采集包含相同的视频片段的视频网络内容，并进而发现该视频网络内容在网上的分布情况。找到的视频片段与查询样本的内容一致，但是在形式上允许存在区别。业务人员可以通过web界面，查看采集到的结果视频的摘要及关键帧全景图，关键帧可进行定位播放并且观看、转存结果视频。可以在视频大屏上直接点击出现该视频片段的视频网络内容。音频采集模块，对互联网语音和音频文件建立内容索引，支持用户进行特定内容音频采集。通过对特定内容音频信息(或者说敏感信息)的采集，实现对网络音频信息的监测。特定内容的语音和音频信息可以有多种形式，可以是特定关键词，或者特定说话人，或者特定音频片段。
当用户提交关键词文本，系统能够返回包含指定关键词的互联网音频文件，并定位在文件内的时间信息。当用户提交某个特定说话人的语音样本，系统能够返回包含指定说话人的互联网音频文件，并定位在文件内的时间信息。当用户提交某个特定音频片段，系统能够返回包含指定音频片段的互联网音频文件，并定位在文件内的时间信息。
文本采集模块，包括话题采集单元，话题趋向分析单元，关键词过滤匹配单元。其中：话题采集单元根据监测业务需要对指定的网站进行流量访问量统计、采集排名位置等，自动从第三方所公布的网络内容，门户网站，搜索引擎以及大网站网络等渠道获取相关数据。可以通过输入指定的网站名称、采集第三方公布排名信息的网络内容、自动从网络内容中分析出排名数据等获取监测业务需要的数据。话题趋向分析单元，通过基于统计情感词趋向性的方法，对评论中关键词的所有情感词汇趋向性的统计加权，以通过对比和分析用户话题的趋向性矢量而完成话题的趋向性分析。
关键词过滤匹配单元，通过关键字匹配，检测网络内容中是否包含非法内容并进行过滤；根据监测业务的需要对关键字进行配置，可以通过组合条件进行配置，具备与、或、非的各种包含方式，并根据关键字时效性考虑配置有效周期。
根据本发明的进一步的方面，所述话题采集单元提取网络热点话题的关键词，为搜索引擎优化提供参考充分利用社交与公共网络的特点，例如用户之间存在的社会关系和用户的影响力大小等。网络中用户影响力的大小对话题采集有着关键的影响。本发明结合用户的等级计算，提出一种基于用户等级的话题采集系统。用户等级的ul(userlevel)计算是基于用户影响力评价模型。结合网络属性信息和用户等级，计算话题频度值。通过有向图来直观展现网络平台上用户之间的关联关系。用户发布了一条信息，这条信息将会通过其与关注者的关联关系传播，信息就可能成为下一个热点话题。在社交网络中，一个网络用户的等级不仅与其关注者数有关，还与用户网络发布频率、用户评论、发表频率等因素有关。