一种便于大数据交互且自动提取的商务软件平台的制作方法

1.本发明涉及大数据技术领域，具体为一种便于大数据交互且自动提取的商务软件平台。


背景技术：

2.ꢀ“
大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”，从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分，大数据必然无法用单台的计算机进行处理，必须采用分布式架构，它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术；但是目前市场上的大数据交互且自动提取操作复杂，对于不同的数据无法实现正常的快速提取，从而在交换中，出现数据重叠 ，造成数据库的数据存储过多，检索复杂的现象。


技术实现要素：

3.本发明提供一种便于大数据交互且自动提取的商务软件平台，可以有效解决上述背景技术中提出目前市场上的大数据交互且自动提取操作复杂，对于不同的数据无法实现正常的快速提取，从而在交换中，出现数据重叠 ，造成数据库的数据存储过多，检索复杂的现象的问题。
4.为实现上述目的，本发明提供如下技术方案：一种便于大数据交互且自动提取的商务软件平台，包括需求模块、监控管理、统计分析、数据库、采集模块和处理模块；所述需求模块、采集模块和处理模块均安装在主板上；所述监控管理、统计分析和数据库均安装在服务器上；所述主板和服务器有线传输，所述服务器与网络进行数据传输。
5.根据上述技术方案，所述需求模块根据可视化的交换节点配置管理，包括:动态添加数据交换节点、配置交换节点间的表的同步映射关系、配置表的同步规则和过滤条件；所述需求模块对于平台给予的条件和关键词进行搜索，并提出多种大数据信息进行选择比对，从而实现多个选择；选择中，根据关键词的近似度进行比对，通过网络服务器的搜索引擎与自身的数据库进行结合检索。
6.根据上述技术方案，所述监控管理实时监控各节点间的交换进程的统一管理，按照进程的分类来管理，并实时监控每个进程的运行状态，发生异常时通过短信或者声光报警的方式来告知用户；
对于大数据交互和自动提取中，由于数据的交互和提取包括上传和下载，上传中对于数据进行检索，与数据库与网络服务器的数据进行比对，检索程度在20%以内，则可以进行上传，而在低于20%中，操作人员可以进行申诉，申诉的文件通过网络传输到操作人员邮箱，从而实现人工判定；在提取中，部分文献可以进行加密、分解和限定下载，而对于不同国家的文件，进行版权确定。
7.根据上述技术方案，所述统计分析以数据交换节点是各个分系统，各分系统之间存在频繁的，海量的数据交换，其数据类型主要是表格数据、影像文件、地理矢量数据和多媒体数据；数据交换时需要做数据抽取、格式转换、内容过滤、同步、异步传输业务操作，数据共享交换是通过应用层面调用服务接口的方式来实现的。
8.根据上述技术方案，所述数据库包括网络数据库和共享数据库；所述网络数据库为网络信息，包含每日更新的内容，更新的内容来自认证说明，所述共享数据库为软件平台的数据库，定期更新，更新时间为7
‑
15天；所述共享数据库中内容更新中对于每次更新的内容、时间和操作人员代码进行记录，并做好补正。
9.根据上述技术方案，所述采集模块分为以下三类：a、通过感知设备获得；b、人录入计算机形成的，包括数据库中的数据和共享仓库中的数据；c、自我采集，通过传感器进行数据上传。
10.根据上述技术方案，所述采集模块的采集方法还包括搜索引擎下载并存储网页的程序，爬虫顺序地访问初始队列中的一组网页链接，并为所有网页链接分配一个优先级，爬虫从队列中获得具有一定优先级的,url，下载该网页，随后解析网页中包含的urls，并将这些新urls添加到队列中，这个过程一直重复，直到爬虫程序停止为止。
11.根据上述技术方案，所述处理器根据需求模块和采集模块将数据清洗、去掉噪声和无关数据，并且实现数据集成。
12.根据上述技术方案，所述采集模块的数据通过处理器进行综合处理，将模拟量转换为数字量进行处理。
13.根据上述技术方案，所述服务器连接有不间断电源。
14.与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，将需求模块、采集模块和处理模块均安装在主板上，而监控管理、统计分析和数据库均安装在服务器上，从而实现了平台的分开管理，并且实现上下位机械的分离，从而保证了服务器的正常，则可实现多个主板的现象，实现了一个数据库的多类使用；而通过该需求模块对于平台给予的条件和关键词进行搜索，并提出多种大数据信息进行选择比对，从而实现多个选择，且监控管理实时监控各节点间的交换进程的统一管理，保证了数据的正常交换与提取，且保证了版权，且统计分析以数据交换节点是各个分系统，适应了不同的系统，实现了终端的多样化，而采集模块对于外界的非人为数据可以实现采集，大大增加了大数据的采集范围，而将数据清洗、去掉噪声和无关数据，并且实现数据集成，实现了自动提取所需的检索，大大降低了操作的繁琐性。
附图说明
15.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
16.在附图中：图1是本发明的系统结构示意图。
具体实施方式
17.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
18.实施例：如图1所示，本发明提供技术方案，一种便于大数据交互且自动提取的商务软件平台，包括需求模块、监控管理、统计分析、数据库、采集模块和处理模块；需求模块、采集模块和处理模块均安装在主板上；监控管理、统计分析和数据库均安装在服务器上；主板和服务器有线传输，服务器与网络进行数据传输。
19.根据上述技术方案，需求模块根据可视化的交换节点配置管理，包括:动态添加数据交换节点、配置交换节点间的表的同步映射关系、配置表的同步规则和过滤条件；需求模块对于平台给予的条件和关键词进行搜索，并提出多种大数据信息进行选择比对，从而实现多个选择；选择中，根据关键词的近似度进行比对，通过网络服务器的搜索引擎与自身的数据库进行结合检索。
20.根据上述技术方案，监控管理实时监控各节点间的交换进程的统一管理，按照进程的分类来管理，并实时监控每个进程的运行状态，发生异常时通过短信或者声光报警的方式来告知用户；对于大数据交互和自动提取中，由于数据的交互和提取包括上传和下载，上传中对于数据进行检索，与数据库与网络服务器的数据进行比对，检索程度在20%以内，则可以进行上传，而在低于20%中，操作人员可以进行申诉，申诉的文件通过网络传输到操作人员邮箱，从而实现人工判定；在提取中，部分文献可以进行加密、分解和限定下载，而对于不同国家的文件，进行版权确定。
21.根据上述技术方案，统计分析以数据交换节点是各个分系统，各分系统之间存在频繁的，海量的数据交换，其数据类型主要是表格数据、影像文件、地理矢量数据和多媒体数据；数据交换时需要做数据抽取、格式转换、内容过滤、同步、异步传输业务操作，数据共享交换是通过应用层面调用服务接口的方式来实现的。
22.根据上述技术方案，数据库包括网络数据库和共享数据库；网络数据库为网络信息，包含每日更新的内容，更新的内容来自认证说明，共享数据库为软件平台的数据库，定期更新，更新时间为15天；共享数据库中内容更新中对于每次更新的内容、时间和操作人员代码进行记录，并做好补正。
23.根据上述技术方案，采集模块分为以下三类：a、通过感知设备获得；b、人录入计算机形成的，包括数据库中的数据和共享仓库中的数据；c、自我采集，通过传感器进行数据上传。
24.根据上述技术方案，采集模块的采集方法还包括搜索引擎下载并存储网页的程序，爬虫顺序地访问初始队列中的一组网页链接，并为所有网页链接分配一个优先级，爬虫从队列中获得具有一定优先级的,url，下载该网页，随后解析网页中包含的urls，并将这些新urls添加到队列中，这个过程一直重复，直到爬虫程序停止为止。
25.根据上述技术方案，处理器根据需求模块和采集模块将数据清洗、去掉噪声和无关数据，并且实现数据集成。
26.根据上述技术方案，采集模块的数据通过处理器进行综合处理，将模拟量转换为数字量进行处理。
27.根据上述技术方案，服务器连接有不间断电源。
28.与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，将需求模块、采集模块和处理模块均安装在主板上，而监控管理、统计分析和数据库均安装在服务器上，从而实现了平台的分开管理，并且实现上下位机械的分离，从而保证了服务器的正常，则可实现多个主板的现象，实现了一个数据库的多类使用；而通过该需求模块对于平台给予的条件和关键词进行搜索，并提出多种大数据信息进行选择比对，从而实现多个选择，且监控管理实时监控各节点间的交换进程的统一管理，保证了数据的正常交换与提取，且保证了版权，且统计分析以数据交换节点是各个分系统，适应了不同的系统，实现了终端的多样化，而采集模块对于外界的非人为数据可以实现采集，大大增加了大数据的采集范围，而将数据清洗、去掉噪声和无关数据，并且实现数据集成，实现了自动提取所需的检索，大大降低了操作的繁琐性。
29.最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。