基于广电网络的综合数据采集系统和方法
【专利摘要】本发明实施例提供一种基于广电网络的综合数据采集系统和方法。本系统，包括：数据采集硬件加速器，其中，第一万兆网络接口一端与数据采集服务器的万兆网络接口连接，第二万兆网络接口模块一端与运营商外部网络连接、第三万兆网络接口一端与用户内部网络连接，第一万兆网络接口、第二万兆网络接口和所述第三万兆网络接口另一端与数据采集硬件加速器的FPGA模块连接；至少一个FPGA模块，用于处理与调度所述数据采集硬件加速器内部数据；至少一个TCAM模块，用于接收FPGA模块发送的查询指令，并进行规则匹配查询数据，实现了广电网络大数据量的搜索及控制。保证了广电网络数据高速传输的同时，还可以对数据的进行分析及还原。
【专利说明】基于广电网络的综合数据采集系统和方法
【技术领域】
[0001]本发明实施例涉及电通信领域，尤其涉及一种基于广电网络的综合数据采集系统和方法。
【背景技术】
[0002]随着广电网络的日益发展，传统的广播电视业务也发生了互动点播、内容推送等一系列革命性的转变，除此之外，在三网融合的背景下，广播电视运营商在传统业务的基础上，利用已有的广播电视网络，增加了互联网数据的服务内容，使得广播电视运营商的业务范围及业务量呈现爆炸式的增长。因此，对广电网络中的数据采集就显得尤为重要:首先，能够从海量的广电网络数据中找到符合网络管理员需要的数据；其次，这些广电网络数据能够根据网络管理员的意愿进行分类传送；再次，这些广电网络数据能够被发送到指定的数据采集服务器中；最后，网络管理员能够控制广电网络数据的收发，即不想让用户访问的数据，不发送到用户，想分析使用的数据，网络管理员在得到的同时，还不影响用户的正常使用行为。
[0003]要实现广电网络大数据量的搜索及控制，现有技术中，软件处理广电网络大数据的速度及控制精度远远达不到用户的实际需求，而且硬件对于该些大数据的还原及综合分析能力又束手无策。
【发明内容】
[0004]本发明实施例提供一种基于广电网络的综合采集系统和方法，以克服现有技术中，广电网络数据量大的搜索及控制不够准确和效率低的问题。
[0005]本实施例提供一种基于广电网络的综合数据采集系统，包括:
[0006]数据采集硬件加速器和数据采集服务器，所述数据采集硬件加速器，包括:网络接口模块，所述网络接口模块至少有三个万兆网络接口，用于接收、发送网络报文数据，第一万兆网络接口一端与数据采集服务器的万兆网络接口连接，第二万兆网络接口模块一端与运营商外部网络连接、第三万兆网络接口一端与用户内部网络连接，所述第一万兆网络接口、所述第二万兆网络接口和所述第三万兆网络接口另一端与所述数据采集硬件加速器的FPGA模块连接；
[0007]至少一个FPGA模块，用于处理与调度所述数据采集硬件加速器内部数据；
[0008]至少一个TCAM模块，用于接收所述FPGA模块发送的查询指令，并进行规则匹配查询数据，与所述FPGA模块连接；
[0009]所述数据采集服务器，包括至少一个所述万兆网络接口，用于接收、处理网络报文数据，与所述数据采集硬件加速器的网络接口模块相连接。
[0010]进一步地，所述FPGA模块包括如下模块:
[0011]串行数据解析单元，用于将所述网络接口串行网络报文数据转换为并行网络报文数据；
[0012]报文纠错单元，用于删除错误网络报文数据；
[0013]报文头解析单元，用于解析网络报文数据帧头信息；
[0014]控制查询单元，用于控制所述TCAM模块查询所述网络报文数据负载信息；
[0015]负载均衡单元，用于将待发送的所述网络报文数据进行负载均衡传输；
[0016]报文发送单元，用于发送处理过后所述网络报文数据；
[0017]所述串行数据解析单元与万兆网络接口、报文纠错单元连接，所述报文纠错单元与所述报文头解析单元连接，所述控制查询单元与所述报文头解析单元、TCAM模块连接，所述负载均衡单元与控制查询单元、报文发送单元连接，所述报文发送单元与万兆网络接口连接。
[0018]进一步地，所述TCAM模块采用正则表达式的方式对数据进行查询。
[0019]进一步地，所述报文头解析单元，具体用于:
[0020]解析基于TCP/IP参考模型的网际互联层、传输层、应用层的报文数据帧头信息。
[0021]进一步地，所述数据采集服务器，还用于:
[0022]将接收到的网络报文数据进行还原，并将还原后的数据采集入库。
[0023]本实施例还一种基于广电网络的综合数据采集方法，包括:
[0024]数据采集硬件加速器将网络接口接收的串行网络报文数据转换为FPGA内部并行的网络报文数据；
[0025]所述数据采集硬件加速器删除错误网络报文数据；
[0026]所述数据采集硬件加速器解析所述网络报文数据帧头信息；
[0027]所述数据采集硬件加速器根据解析后的网络报文数据帧头确定查询负载信息；
[0028]所述数据采集硬件加速器根据所述查询负载信息查询网络报文；
[0029]所述数据采集硬件加速器根据所述查询结果向数据采集服务器器进行负载均衡传输网络报文数据。
[0030]进一步地，所述数据采集硬件加速器根据所述查询结果向数据采集服务器进行负载均衡传输网络报文数据之后，还包括:
[0031]所述数据采集服务器根据所述网络报文数据帧头信息还原所述网络报文数据，并将所述网络报文数据采集入库。
[0032]本发明实施例提供了一种数据采集硬件加速器和数据采集服务器，实现了广电网络数据采集的多平台间的协同工作，保证了广电网络数据高速传输的同时，还可以对数据的进行分析、管理、控制及还原。提高了数据的准确性。
【专利附图】
【附图说明】
[0033]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为本发明广电网络的数据采集系统结构示意图；
[0035]图2为本发明FPGA模块各单元之间的结构示意图；
[0036]图3为本发明广电网络的数据采集系统方法流程图。
【具体实施方式】
[0037]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]图1为本发明广电网络的数据采集系统结构示意图，如图1所示，本系统，包括:
[0039]数据采集硬件加速器101和数据采集服务器102 ;
[0040]所述数据采集硬件加速器101，包括:网络接口模块103，所述网络接口模块至少有三个万兆网络接口，用于接收、发送网络报文数据，第一万兆网络接口 104 —端与数据采集服务器的万兆网络接口 107连接，第二万兆网络接口模块105 —端与运营商外部网络108连接、第三万兆网络接口 106—端与用户内部网络109连接，所述第一万兆网络接口 104、所述第二万兆网络接口 105和所述第三万兆网络接口 106另一端与所述数据采集硬件加速器的FPGA模块110连接；
[0041]至少一个FPGA模块110，用于处理与调度所述数据采集硬件加速器内部数据；
[0042]至少一个TCAM模块111，用于接收所述FPGA模块110发送的查询指令，并进行规则匹配查询数据，与所述FPGA模块110连接；
[0043]所述数据采集服务器102，包括至少一个所述万兆网络接口 107，用于接收、处理网络报文数据，与所述数据采集硬件加速器的网络接口模块103中的第一万兆网络接口104相连接。
[0044]具体来说，本实施例的广电网络的综合数据采集系统可包括数据采集硬件加速器和数据采集服务器，该数据采集硬件加速器包括网络接口模块、FPGA模块和TCAM模块，该网络接口模块至少有三个万兆网络接口，用于接收、发送网络报文数据，其中的第一万兆网络接口一端与数据采集服务器的万兆网络接口连接，第二万兆网络接口一端与运营商外部网络连接，第三万兆网络接口一端与用户内部网络连接，上述三个万兆网络接口的另一端与数据采集硬件加速器的FPGA模块连接。该FPGA模块用于处理与调度所述数据采集硬件加速器内部数据。该TCAM模块与FPGA模块相连接，用于接收该FPGA模块发送的查询指令，并根据该查询指令匹配查询数据。
[0045]进一步地，所述FPGA模块包括如下单元:
[0046]串行数据解析单元，用于及将所述网络接口串行网络报文数据转换为并行网络报文数据；
[0047]报文纠错单元，用于删除错误网络报文数据；
[0048]报文头解析单元，用于解析网络报文数据帧头信息；
[0049]控制查询单元，用于控制所述TCAM模块查询所述网络报文数据负载信息；
[0050]负载均衡单元，用于对待发送的所述网络报文数据进行负载均衡传输；
[0051]报文发送单元，用于发送处理过后所述网络报文数据；
[0052]所述串行数据解析单元与万兆网络接口、报文纠错单元连接，所述报文纠错单元与所述报文头解析单元连接，所述控制查询单元与所述报文头解析单元、TCAM模块连接，所述负载均衡单元与控制查询单元、报文发送单元连接，所述报文发送单元与万兆网络接口连接。
[0053]具体来说，图2为本发明FPGA模块各单元之间的结构示意图，如图2所示，运营商外部网络和用户内部网络通过万兆网络接口向FPGA模块发送的网络报文数据作为数据输入该FPGA模块，串行数据解析单元将该串行的网络报文数据转换为并行的网络报文数据，转换的过程中，可以解析到错误的网络报文数据，该错误的报文数据可以包括数据丢失的网络报文数据、错误的网络报文数据以及重复的网络报文数据等。由报文纠错单元将该错误网络报文删除。报文头解析单元对删除错误网络报文后的网络报文进行解析数据帧头信息，控制查询单元根据解析数据帧头信息控制查询该网络报文数据负载信息，以使TCAM模块可以根据该网络报文数据负载信息查询该网络报文数据。负载均衡单元将待发送的所述网络报文数据进行负载均衡传输，从而可以在多个数据采集服务器之间均衡地传输所述网络报文数据，提高了系统的传输速率，保证了系统更高效的工作。
[0054]进一步地，所述TCAM模块采用正则表达式的方式对数据进行查询。
[0055]具体而言，该TCAM模块接收FPGA模块发送的网络报文数据负载信息，采用正则表达式的方式对数据进行查询，举例说明，所需搜索的网络数据报文中含有的源IP地址范围为192.168.1.1至192.168.1.255，则TCAM能够使用源IP为192.168.1.*这样的正则表达式规则对送入的数据进行查询。这样，就能很好的对拥有相似特征的网络数据进行高效的检索，从网络数据中检索出所需的相关数据，最终正确的还原所需的数据。
[0056]进一步地，所述报文头解析单元，具体用于:
[0057]解析基于TCP/IP参考模型的网际互联层、传输层、应用层的报文数据帧头信息。
[0058]具体来说，基于TCP/IP参考模型可以具体解析出互联网报文数据的源MAC地址、目的MAC地址、VLAN ID、会话ID、源IP地址、目的IP地址、源端口、目的端口、协议类型和报文长度，这些信息被提取出来作为各个互联网业务数据的特征信息。
[0059]进一步地，所述数据采集服务器，还用于:
[0060]将接收到的网络报文数据进行还原，并将还原后的数据采集入库。
[0061]具体来说，数据采集服务器接收数据采集硬件加速器发送的网络报数据后，识别并还原相应的互联网数据业务。举例来说，由于互联网数据包有最大长度的限制，一个互联网页面内容有可能是由多个互联网数据包组成，数据采集服务器在解析了这个页面的第一个数据包后，会根据其中对后续第二个数据包的特征码，将含有这个特征码的第二个数据包连接，再在第二个数据包中找到后续第三个数据包的特征码，将含有这个特征码的第三个数据包连接，以此类推，最终成功还原出完整的互联网页面内容。其他网络数据还原也可应用此方法。
[0062]本实施例提供了一种数据采集硬件加速器和数据采集服务器，实现了广电网络数据采集的多平台间的协同工作，保证了广电网络数据高速传输的同时，还可以对数据的进行分析、管理、控制及还原。提高了数据的准确性。
[0063]图3为本发明广电网络的数据采集系统方法流程图，如图3所示，本方法，包括:
[0064]步骤101、数据采集硬件加速器将网络接口接收的串行网络报文数据转换为FPGA模块内部并行的网络报文数据；
[0065]步骤102、数所述数据采集硬件加速器删除错误网络报文数据；
[0066]步骤103、数所述数据采集硬件加速器解析所述网络报文数据帧头信息；
[0067]步骤104、数所述数据采集硬件加速器根据解析后的网络报文数据帧头确定查询负载信息；
[0068]步骤105、数所述数据采集硬件加速器根据所述查询负载信息查询网络报文；
[0069]步骤106、数所述数据采集硬件加速器根据所述查询结果向数据采集服务器器进行负载均衡传输网络报文数据。
[0070]本实施例方法的具体实施过程与图1所示的装置实施方法与作用相同，此处不再赘述。
[0071]最后应说明的是:以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
【权利要求】
1.一种基于广电网络的综合数据采集系统，其特征在于，包括: 数据采集硬件加速器和数据采集服务器，所述数据采集硬件加速器，包括:网络接口模块，所述网络接口模块至少有三个万兆网络接口，用于接收、发送网络报文数据，第一万兆网络接口一端与数据采集服务器的万兆网络接口连接，第二万兆网络接口模块一端与运营商外部网络连接、第三万兆网络接口一端与用户内部网络连接，所述第一万兆网络接口、所述第二万兆网络接口和所述第三万兆网络接口另一端与所述数据采集硬件加速器的FPGA模块连接； 至少一个FPGA模块，用于处理与调度所述数据采集硬件加速器内部数据； 至少一个TCAM模块，用于接收所述FPGA模块发送的查询指令，并进行规则匹配查询数据，与所述FPGA模块连接； 所述数据采集服务器，包括至少一个所述万兆网络接口，用于接收、处理网络报文数据，与所述数据采集硬件加速器的网络接口模块相连接。
2.根据权利要求1所述的系统，其特征在于，所述FPGA模块包括如下模块: 串行数据解析单元，用于将所述网络接口串行网络报文数据转换为并行网络报文数据； 报文纠错单元，用于删除错误网络报文数据； 报文头解析单元，用于解析网络报文数据帧头信息； 控制查询单元，用于控制所述TCAM模块查询所述网络报文数据负载信息； 负载均衡单元，用于将待发送的所述网络报文数据进行负载均衡传输； 报文发送单元，用于发送处理过后所述网络报文数据； 所述串行数据解析单元与万兆网络接口、报文纠错单元连接，所述报文纠错单元与所述报文头解析单元连接，所述控制查询单元与所述报文头解析单元、TCAM模块连接，所述负载均衡单元与控制查询单元、报文发送单元连接，所述报文发送单元与万兆网络接口连接。
3.根据权利要求2所述的系统，其特征在于，所述TCAM模块采用正则表达式的方式对数据进行查询。
4.根据权利要求1至3任一项所述的系统，其特征在于，所述报文头解析单元，具体用于: 解析基于TCP/IP参考模型的网际互联层、传输层、应用层的报文数据帧头信息。
5.根据权利要求1至3任一项所述的系统，其特征在于，所述数据采集服务器，还用于: 将接收到的网络报文数据进行还原，并将还原后的数据采集入库。
6.一种基于广电网络的综合数据采集方法，其特征在于，包括: 数据采集硬件加速器将网络接口接收的串行网络报文数据转换为FPGA模块内部并行的网络报文数据； 所述数据采集硬件加速器删除错误网络报文数据； 所述数据采集硬件加速器解析所述网络报文数据帧头信息； 所述数据采集硬件加速器根据解析后的网络报文数据帧头确定查询负载信息； 所述数据采集硬件加速器根据所述查询负载信息查询网络报文； 所述数据采集硬件加速器根据所述查询结果向数据采集服务器器进行负载均衡传输网络报文数据。
7.根据权利要求6所述的方法，其特征在于，所述数据采集硬件加速器根据所述查询结果向数据采集服务器进行负载均衡传输网络报文数据之后，还包括: 所述数据采集服务器根据所述网络报文数据帧头信息还原所述网络报文数据，并将所述网络报文数据采集入库。
【文档编号】H04L12/24GK104486097SQ201410683458
【公开日】2015年4月1日 申请日期:2014年11月24日 优先权日:2014年11月24日
【发明者】彭博, 王晔, 魏长城, 张晓雷, 栾慎亭, 张宇, 路婧 申请人:大连梯耐德网络技术有限公司