一种可扩展的网络流和文件流互转系统及方法
【专利说明】 一种可扩展的网络流和文件流互转系统及方法
[0001]
技术领域
[0002]本发明涉及一种可扩展的网络流和文件流互转系统及方法，属于电力系统辅助监控技术领域。
【背景技术】
[0003]随着近些年来的信息建设飞速发展，“大数据”、“互联网+”等新兴名词的提出，各类信息系统对于数据处理需求越来越多，数据量也越来越大。
[0004]在电力系统内也不例外，变电站的视频监控和用户用电信息等都涉及到庞大的数据信息量，那么如何高效的处理这些数据，如何高效的完成数据信息的转换，就迫切的需要一种技术架构，能够尚效稳定的完成网络流和文件流等数据流之间的转换，从而更好的完成电力系统内信息系统的建设，满足用户的业务需求。
【发明内容】
[0005]为了解决上述技术问题，本发明提供了一种可扩展的网络流和文件流互转系统及方法。
[0006]为了达到上述目的，本发明所采用的技术方案是:
一种可扩展的网络流和文件流互转系统，包括网络流采集模块、文件流采集模块、内存缓冲区模块、网络流发送模块和文件流存储模块；
所述网络流采集模块用以对网络发送过来的网络流进行采集，将采集的网络流发送给内存缓冲区模块；
所述文件流采集模块用以读取本地存储的文件，将读取的文件流发送给内存缓冲区模块；
所述内存缓冲区模块用以存储数据流和文件流；
所述网络流发送模块用以将内存缓冲区模块中的文件流转换成网络流，并将转换后的网络流按照既定的网络协议发送纸目标应用；
所述文件流存储模块用以将内存缓冲区模块中的网络流转换成文件流，并将转换后的文件流按照既定的编码格式生成本地存储文件。
[0007]所述网络流采集模块支持多种网络协议及其扩展接口，可采集多种网络协议的网络流。
[0008]所述网络流采集模块中包含多个采集模块，每个采集模块采集一种网络协议的网络流，采集模块可根据网络协议数量进行拓展。
[0009]所述文件流采集模块支持多种格式的文件流，可读取多种本地存储的文件。
[0010]所述内存缓冲区模块可动态申请多个BUF，可根据需求动态调整BUF的大小;所述BUF采用队列式缓存设计。
[0011]两个BUF之间可相互操作和转换。
[0012]一种可扩展的网络流和文件流互转系统的方法，包括以下步骤，
步骤一，网络流采集模块对网络发送过来的网络流进行采集，将采集的网络流发送给内存缓冲区模块存储；
步骤二，文件流采集模块用以读取本地存储的文件，将读取的文件流发送给内存缓冲区模块存储；
步骤三，网络流发送模块将内存缓冲区模块中的文件流转换成网络流，并将转换后的网络流按照既定的网络协议发送纸目标应用；
步骤四，文件流存储模块将内存缓冲区模块中的网络流转换成文件流，并将转换后的文件流按照既定的编码格式生成本地存储文件。
[0013]本发明所达到的有益效果:本发明能够实现网络流和文件流高效的相互转换，并提供了便捷的扩展接口，以便有新的数据流类型或网络协议接入，从而为电力系统应用提供了便捷的技术框架。
【附图说明】
[0014]图1为本发明的技术架构。
[0015]图2为本发明的内存缓冲区模块。
【具体实施方式】
[0016]下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0017]如图1所示，一种可扩展的网络流和文件流互转系统，包括网络流采集模块、文件流采集模块、内存缓冲区模块、网络流发送模块和文件流存储模块。
[0018]网络流采集模块用以对网络发送过来的网络流进行采集，将采集的网络流发送给内存缓冲区模块。网络流采集模块支持多种网络协议及其扩展接口，可采集多种网络协议的网络流，采集性能高效快速，能满足大数据量应用。网络流采集模块中包含多个采集模块，每个采集模块采集一种网络协议的网络流，采集模块可根据网络协议数量进行拓展，也就是说当新的网络协议的网络流接入时，网络流采集模块中的采集模块相应增加，从而完成对新的网络流的采集。
[0019]文件流采集模块用以读取本地存储的文件，将读取的文件流发送给内存缓冲区模块。文件流采集模块支持多种格式的文件流，可读取多种本地存储的文件
内存缓冲区模块用以存储数据流和文件流。如图2所示，内存缓冲区模块可动态申请多个BUF，即内存缓冲区，可根据需求动态调整内存缓冲区的大小，充分利用内存空间；内存缓冲区采用队列式缓存设计，满足先进先出方式操作需求；内存缓冲区提供便捷的操作接口，能够方便的读取和存入缓冲数据;两个内存缓冲区之间可相互操作和转换，减少内存拷贝造成的性能损失。
[0020]网络流发送模块用以将内存缓冲区模块中的文件流转换成网络流，并将转换后的网络流按照既定的网络协议发送纸目标应用；
文件流存储模块用以将内存缓冲区模块中的网络流转换成文件流，并将转换后的文件流按照既定的编码格式生成本地存储文件。
[0021 ] 一种可扩展的网络流和文件流互转系统的方法，包括以下步骤:
步骤一，网络流采集模块对网络发送过来的网络流进行采集，将采集的网络流发送给内存缓冲区模块存储。
[0022]步骤二，文件流采集模块用以读取本地存储的文件，将读取的文件流发送给内存缓冲区模块存储。
[0023]步骤三，网络流发送模块将内存缓冲区模块中的文件流转换成网络流，并将转换后的网络流按照既定的网络协议发送纸目标应用。
[0024]步骤四，文件流存储模块将内存缓冲区模块中的网络流转换成文件流，并将转换后的文件流按照既定的编码格式生成本地存储文件。
[0025]综上所述，本发明能够实现网络流和文件流高效的相互转换，并提供了便捷的扩展接口，以便有新的数据流类型或网络协议接入，从而为电力系统应用提供了便捷的技术框架。
[0026]以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
【主权项】
1.一种可扩展的网络流和文件流互转系统，其特征在于:包括网络流采集模块、文件流采集模块、内存缓冲区模块、网络流发送模块和文件流存储模块； 所述网络流采集模块用以对网络发送过来的网络流进行采集，将采集的网络流发送给内存缓冲区模块； 所述文件流采集模块用以读取本地存储的文件，将读取的文件流发送给内存缓冲区模块； 所述内存缓冲区模块用以存储数据流和文件流； 所述网络流发送模块用以将内存缓冲区模块中的文件流转换成网络流，并将转换后的网络流按照既定的网络协议发送纸目标应用； 所述文件流存储模块用以将内存缓冲区模块中的网络流转换成文件流，并将转换后的文件流按照既定的编码格式生成本地存储文件。2.根据权利要求1所述的一种可扩展的网络流和文件流互转系统，其特征在于:所述网络流采集模块支持多种网络协议及其扩展接口，可采集多种网络协议的网络流。3.根据权利要求2所述的一种可扩展的网络流和文件流互转系统，其特征在于:所述网络流采集模块中包含多个采集模块，每个采集模块采集一种网络协议的网络流，采集模块可根据网络协议数量进行拓展。4.根据权利要求1所述的一种可扩展的网络流和文件流互转系统，其特征在于:所述文件流采集模块支持多种格式的文件流，可读取多种本地存储的文件。5.根据权利要求1所述的一种可扩展的网络流和文件流互转系统，其特征在于:所述内存缓冲区模块可动态申请多个BUF，可根据需求动态调整BUF的大小;所述BUF采用队列式缓存设计。6.根据权利要求5所述的一种可扩展的网络流和文件流互转系统，其特征在于:两个BUF之间可相互操作和转换。7.基于权利要求1所述的一种可扩展的网络流和文件流互转系统的方法，其特征在于:包括以下步骤， 步骤一，网络流采集模块对网络发送过来的网络流进行采集，将采集的网络流发送给内存缓冲区模块存储； 步骤二，文件流采集模块用以读取本地存储的文件，将读取的文件流发送给内存缓冲区模块存储； 步骤三，网络流发送模块将内存缓冲区模块中的文件流转换成网络流，并将转换后的网络流按照既定的网络协议发送纸目标应用； 步骤四，文件流存储模块将内存缓冲区模块中的网络流转换成文件流，并将转换后的文件流按照既定的编码格式生成本地存储文件。
【专利摘要】本发明公开了一种可扩展的网络流和文件流互转系统，包括网络流采集模块、文件流采集模块、内存缓冲区模块、网络流发送模块和文件流存储模块。同时也公开了该系统的方法。本发明能够实现网络流和文件流高效的相互转换，并提供了便捷的扩展接口，以便有新的数据流类型或网络协议接入，从而为电力系统应用提供了便捷的技术框架。
【IPC分类】H04L29/08
【公开号】CN105471975
【申请号】CN201510796563
【发明人】沈飞, 李培, 王松涛, 王秋军, 陈玉权
【申请人】江苏省电力公司扬州供电公司, 江苏方天电力技术有限公司, 国家电网公司
【公开日】2016年4月6日
【申请日】2015年11月18日