Ott应用的数据抓取方法及装置制造方法
【专利摘要】本发明提供的一种OTT应用的数据抓取方法及装置，向目标终端发送用于抓取信令层数据的第一抓取指令，以使目标终端生成携带同步标识的第一数据包，第一抓取指令指示目标终端从T1至T2时刻关闭待测OTT应用，从T2至T3时刻开启待测OTT应用，从T3至T4时刻关闭待测OTT应用，从T4时刻重启待测OTT应用；同步向核心网设备发送用于抓取应用层数据的第二抓取指令，以使核心网设备生成第二数据包；向目标终端和核心网设备发送抓取结束指令；接收目标终端发送的第一数据包和核心网设备发送的第二数据包；若判定第二数据包携带同步标识，根据同步标识对齐第一数据包和第二数据包。本发明同步抓取OTT应用的信令层和应用层数据。
【专利说明】OTT应用的数据抓取方法及装置
【技术领域】
[0001]本发明涉及通信技术，尤其涉及一种OTT应用的数据抓取方法及装置。
【背景技术】
[0002]随着移动智能终端的发展，越来越多的移动互联用户开始使用微博、微信、腾讯QQ等一系列的(Over The Top，简称0TT)应用，随着OTT应用数量的增多，网络设备中的各项资源正面临着很大的挑战。OTT应用产生的信令消耗，正逐步加大网络的信令负荷。因此，对各OTT应用的信令层数据和应用层数据进行同步抓取，分析各OTT应用的行为对网络侧的影响成为亟待解决的问题。
[0003]实际应用中，OTT应用的信令从终端侧传输到网络侧以使网络侧产生应用层数据的过程中，可能会因为传输环境或者网络质量较差而出现较长的传输时延，这样就会导致获取到的信令层数据与应用层数据之间存在不同步的问题。
【发明内容】
[0004]本发明提供一种OTT应用的数据抓取方法及装置，用以解决OTT应用的信令层数据与应用层数据之间存在不同步的问题。
[0005]为实现上述目的，本发明提供了一种OTT应用的数据抓取方法，包括:
[0006]向目标终端发送用于抓取信令层数据的第一抓取指令，以使所述目标端生成携带同步标识的第一数据包，所述第一抓取指令指示所述目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启所述OTT应用，从T3时刻至T4时刻关闭所述OTT应用，从T4时刻重新开启所述OTT应用；
[0007]在向所述目标终端发送所述第一抓取指令的同时，向核心网设备发送用于抓取应用层数据的第二抓取指令，以使所述核心网设备生成第二数据包；
[0008]向所述目标终端和所述核心网设备同步发送抓取结束指令；
[0009]接收所述目标终端发送的所述第一数据包和所述核心网设备发送的第二数据包；
[0010]判断所述第二数据包是否携带所述同步标识；
[0011]如果判断结果为是，根据所述同步标识对齐所述第一数据包和所述第二数据包。
[0012]为实现上述目的，本发明提供了一种OTT应用的数据抓取装置，包括:
[0013]第一发送模块，用于向目标终端发送用于抓取信令层数据的第一抓取指令，以使所述目标端生成携带同步标识的第一数据包，所述第一抓取指令指示所述目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启所述OTT应用，从T3时刻至T4时刻关闭所述OTT应用，从T4时刻重新开启所述OTT应用，以及在向所述目标终端发送所述第一抓取指令的同时，向核心网设备发送用于抓取应用层数据的第二抓取指令，以使所述核心网设备生成第二数据包；
[0014]第二发送模块，用于向所述目标终端和所述核心网设备同步发送抓取结束指令；[0015]接收模块，用于接收所述目标终端发送的所述第一数据包和所述核心网设备发送的第二数据包；
[0016]同步模块，用于判断所述第二数据包是否携带所述同步标识，如果判断结果为是，根据所述同步标识对齐所述第一数据包和所述第二数据包。
[0017]本发明提供的一种OTT应用的数据抓取方法及装置，向目标终端发送用于抓取信令层数据的第一抓取指令，以使目标终端生成携带同步标识的第一数据包，第一抓取指令指示目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启待测OTT应用，从T3时刻至T4时刻关闭待测OTT应用，从T4时刻重新开启待测OTT应用；其中，同步标识为具有脉冲信号特性的数据片，用于实现目标终端与核心网设备之间的数据同步；在向目标终端发送第一数据抓取指令的同时，向核心网设备发送用于抓取应用层数据的第二抓取指令，以使核心网设备生成第二数据包；向目标终端和核心网设备发送抓取结束指令；接收目标终端发送的第一数据包和核心网设备发送的第二数据包；判断所述第二数据包是否携带所述同步标识；如果判断结果为是，根据同步标识对齐第一数据包和第二数据包。本发明中目标终端从T1-T2关闭待测OTT应用，从T2-T3开启待测OTT应用，从T3-T4关闭待测OTT应用，从T4重新开启待测OTT应用，目标终端通过这种处理后，生成的第一数据包中会携带一个同步标识，相应地，核心网设备生成的第二数据包中也会携带该同步标识，本发明中通过该同步标识将第一数据包和第二数据包进行同步，从而可以实现信令层的数据和应用层的数据的同步。
【专利附图】
【附图说明】
[0018]图1为本发明实施例提供的一种OTT应用的数据抓取方法的示意图；
[0019]图2为本发明实施例提供的第一数据包的示意图；
[0020]图3为本发明实施例提供的另一种OTT应用层数据抓取方法的示意图；
[0021]图4为本发明实施例提供的一种OTT应用的数据抓取装置的结构示意图；
[0022]图5为本发明实施例提供的另一种OTT应用的数据抓取装置的结构示意图；
[0023]图6为本发明实施例提供的一种OTT应用的数据抓取系统的结构示意图。
【具体实施方式】
[0024]下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
[0025]每个OTT应用在终端侧可以向网络侧发送信令，网络侧在应用层根据该信令生成应用层数据。实际应用智能终端上可以安装种类繁多的OTT应用，而且每个OTT应用都可在智能终端上产生不同的行为，例如，腾讯QQ、微博、微信、优酷、搜狐视频等OTT应用。当用户通过智能终端在不同的时刻使用不同的OTT应用，如微信、微博和腾讯QQ等进行聊天、发图片和实时对讲等行为时，由于这些OTT应用均通过同一个智能终端向网络侧发送信令，因此，网络侧的应用层无法判断出发送聊天或者发图片信令的OTT应用的身份，也就是说，网络侧的应用层无法确定出发送该聊天或者发图片信令的OTT应用是微信，还是微博或者腾讯QQ。为了解决上述问题，本实施例提供了一种OTT应用的数据抓取方法。
[0026]图1为本发明实施例提供的一种OTT应用的数据抓取方法的示意图。为了能够将一个OTT应用的信令层数据与该OTT应用的应用层数据相对应，本实施例中用于实现OTT应用的数据抓取的目标终端需要为只安装有操作系统的终端设备。该目标终端可以为手机或个人数字助手(Personal Digital Assistant,简称 PAD)等。
[0027]本实施例提供的OTT应用的数据抓取方法的执行主体可以为OTT应用的数据抓取装置。如图1所示，该方法包括以下步骤:
[0028]101、向目标终端发送用于抓取信令层数据的第一抓取指令，以使所述目标端生成携带同步标识的第一数据包，所述第一抓取指令指示所述目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启所述OTT应用，从T3时刻至T4时刻关闭所述OTT应用，从T4时刻重新开启所述OTT应用，其中，所述同步标识为具有脉冲信号特性的数据片，用于实现终端侧与网络侧之间的数据同步。
[0029]102、向核心网设备发送用于抓取应用层数据的第二抓取指令，以使所述核心网设
备生成第二数据包。
[0030]本实施例中，由于目标终端上只安装操作系统，当需要同步抓取某一个OTT应用的信令层数据和应用层数据时，在该目标终端上安装该待测OTT应用。从第三方服务器上通过传输控制协议/因特网互联协议(Transmission Control Protocol/InternetProtocol，简称TCP/IP)，获取到该待测OTT应用的安装包，然后将该待测OTT应用安装到目标终端上，在安装该OTT应用后，在该OTT应用的服务器上注册登录账号，以实现对OTT应用的数据抓取。
[0031 ] 在目标终端上集成有信令层数据抓取模块，通过该信令层数据抓取模块抓取待测OTT应用发出的信令数据。在网络侧的核心网设备上集成有应用层数据抓取模块，通过该应用层数据抓取模块抓取待测OTT应用的应用层数据。其中，该信令层数据抓取模块和应用层数据抓取模块均可以为通过硬件或者软件来实现。本实施例中，核心网设备可以为网关设备、GPRS服务支持节点(Serving GPRS SUPPORT NODE，简称SGSN)、移动管理实体实体(Mobility Management Entity,简称MME)或者移动交换中心(Mobile Switching Center,简称MSC)。
[0032]数据抓取装置向目标终端发送用于抓取信令层数据的第一抓取指令，以使目标端生成携带同步标识的第一数据包。同步地，数据抓取装置向核心网设备发送用于抓取应用层数据的第二抓取指令，以使所述核心网设备生成第二数据包。
[0033]具体地，第一抓取指令指示目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启所述OTT应用，从T3时刻至T4时刻关闭所述OTT应用，从T4时刻重新开启所述OTT应用。第二抓取指令指示核心网设备开启应用层数据抓取模块，用于抓取应用层数据。
[0034]图2为本实施例提供的第一数据包的示意图。如图2所示，从T1时刻至T2时刻关闭待测OTT应用，此时用户无法使用待测0ΤΤ，这样待测OTT就不会产生信令层数据，相应地，网络侧在T1时刻至T2时刻也不会出现应用层数据。从T2时刻至T3时刻开启待测OTT应用开启时，用户就可以使用待测OTT应用，在待测OTT应用的使用过程中就会产生信令层数据，相应地，网络侧也在T2时刻至T3时刻产生应用层数据。此时，目标终端上的信令层数据抓取模块获取到待测OTT的信令层数据，相应地，核心网设备的应用层数据抓取模块就可以获取到待测OTT的应用层数据。从T3时刻至T4时刻关闭待测OTT应用，此时用户无法使用待测0ΤΤ，这样待测OTT就不会产生信令层数据，相应地，网络侧在T3时刻至T4时刻也不会出现应用层数据。从T4时刻重新开启待测OTT应用，用户就可以从T4时刻正常使用待测OTT应用，信令数据抓取模块就可以实时地抓取到信令层数据。相应地，应用数据抓取模块就可以在网络侧实时地抓取到待测OTT应用的应用层数据。
[0035]通过上述处理过程，目标终端从T1时刻至数据抓取装置发送抓取结束指令的时间段内，生成的第一数据包中会携带一个同步标识。相应地，核心网设备从T1时刻至数据抓取装置发送抓取结束指令的时间段内，生成的第二数据包中也会携带一个同步标识。其中，从T1时刻至T4时刻，信令数据抓取模块会生成一个类似与脉冲信号的数据片。本实施例中将该具有脉冲信号特性的数据片作为同步标识。本实施例中可以将同步标识作为一个特定时间戳，通过该特定时间戳来实现终端侧与网络侧数据同步。
[0036]103、向所述目标终端和所述核心网设备同步发送抓取结束指令。
[0037]数据抓取装置在经过预设的时间后，可以同步地向目标终端和核心网设备通过TCP/IP协议发送抓取结束指令。目标终端在接收到该抓取结束指令后，信令层数据抓取模块可以停止对待测OTT应用的信令层数据的抓取。核心网设备在接收到该抓取结束指令后，应用层数据抓取模块可以停止对待测OTT应用的应用层数据的抓取。
[0038]104、接收所述目标终端发送的所述第一数据包和所述核心网设备发送的第二数据包。
[0039]在发送抓取结束指令后，数据抓取装置可以接收到目标终端发送的第一数据包和核心网设备发送的第二数据包。具体地，目标终端会将信令层数据抓取模块抓取的信令层数据生成第一数据包，通过TCP/IP协议发送给数据抓取装置。目标终端根据TCP/IP协议将抓取的信令层数据，封装成第一数据包发送给数据抓取装置。核心网设备会将应用层数据抓取模块抓取的应用层数据生成第二数据包，通过TCP/IP协议发送给数据抓取装置。核心网设备根据TCP/IP协议将抓取的应用层数据，封装成第二数据包发送给数据抓取装置。
[0040]105、判断所述第二数据包是否携带所述同步标识。
[0041]数据抓取装置在接收到第一数据包和第二数据包后，可以对第二数据包进行判断，判断第二数据包是否携带具有脉冲信号特性的数据片，如果第二数据包具有与第一数据包一致的具有脉冲信号特性的数据片，说明第二数据包携带有同步标识。在判断出第二数据包携带有同步标识后，执行步骤106。
[0042]106、根据所述同步标识同步所述第一数据包和所述第二数据包。
[0043]实际应用中，信令从终端侧传输到网络侧的过程中，由于网络质量或者传输干扰等因素的影响，往往会存在一定的延迟，这样终端侧的信令层数据与网络侧的应用层数据就会出现不同步的问题。
[0044]在本实施例中，第一数据包和第二数据包中均携带同步标识，数据抓取装置可以根据该同步标识，将第一数据包和第二数据包进行对齐处理，同步第一数据包和第二数据包，以消除传输过程中产生的延迟。
[0045]本实施例提供的一种OTT应用的数据抓取方法，向目标终端发送用于抓取信令层数据的第一抓取指令，以使目标终端生成携带同步标识的第一数据包，第一抓取指令指示目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启待测OTT应用，从T3时刻至T4时刻关闭待测OTT应用，从T4时刻重新开启待测OTT应用；同步地向核心网设备发送用于抓取应用层数据的第二抓取指令，以使核心网设备生成第二数据包；向目标终端和核心网设备发送抓取结束指令；接收目标终端发送的第一数据包和核心网设备发送的第二数据包；在判定出第二数据包携带同步标识时，根据同步标识对齐第一数据包和第二数据包。本实施例中第一抓取指令指示目标终端从T1-T2关闭待测OTT应用，从T2-T3开启待测OTT应用，从T3-T4关闭待测OTT应用，从T4重新开启待测OTT应用，通过上述处理后，目标终端生成的第一数据包中会携带一个同步标识，相应地，核心网设备生成的第二数据包中也会携带该同步标识，然后通过该同步标识将第一数据包和第二数据包进行同步，消除第一数据包与第二数据包之间存在的延迟，从而实现了信令层数据和应用层数据的同步抓取。
[0046]图3为本发明实施例提供的另一种OTT应用的数据抓取方法的示意图。如图3所示，该方法包括:
[0047]301、数据抓取装置查询待测终端列表，待测终端列表包括各终端的身份ID。
[0048]302、数据抓取装置从待测终端列表中获取一个终端作为目标终端。
[0049]本实施例中，数据抓取装置中存储并维护一个待测终端列表，该待测终端列表中包括各终端的身份标识(Identity，简称ID)。数据抓取装置可以从待测终端列表中，选取一个终端作为目标终端。一般选取的目标终端在进行数据抓取之前，会进行适配处理，以安装有与数据抓取装置交互的插件，从而可以与数据抓取装置进行信息交互。
[0050]303、数据抓取装置根据目标终端的身份ID，向目标终端发送型号查询请求。
[0051]从待测终端列表中选取中目标终端后，数据抓取装置可以得知目标终端的身份ID。数据抓取装置根据目标终端的身份ID，遍寻网络，可以查找到该目标终端。进一步地，数据抓取装置向该目标终端发送型号查询请求，以得知该目标终端的型号信息，以便于向该目标终端下发与该目标终端的型号匹配的刷机指令。
[0052]304、目标终端向数据抓取装置发送型号信息。
[0053]在接收到信号查询请求后，目标终端通过TCP/IP协议向数据抓取装置返回自身的型号信息。可选地，目标终端还可以将自身的其他信息发送给数据抓取装置，例如，目标终端的硬件版本信息、位置信息和电量信息等。数据抓取装置可以将目标终端的型号信息以及其他信息，按照目标终端的身份ID，在待测终端列表中进行更新。
[0054]305、数据抓取装置向目标终端发送与型号信息对应的刷机指令。
[0055]本实施例中，目标终端为安装有多个OTT应用的终端设备，为了保证在同一时刻上目标终端上只有一个OTT应用，在对目标终端进行数据抓取时，数据抓取装置需要将目标终端设置测试状态。在数据抓取装置中会存储不同型号的待测终端的刷机指令。在获取到目标终端的型号信息后，数据抓取装置获取到与该型号信息对应的刷机指令下发给目标终端。其中，刷机指令用于指示目标终端设置为测试状态。本实施例中，测试状态为目标终端上只安装有操作系统。
[0056]306、目标终端根据刷机指令将自身的状态设置为只安装有操作系统的测试状态。
[0057]在接收到刷机指令后，目标终端将自身的状态设置为测试状态，该测试状态为只有安装有操作系统，也就是说，目标终端上除了操作系统之外，不会安装有OTT应用。
[0058]307、目标终端向数据抓取装置发送刷机完成指令。
[0059]目标终端根据下发的刷机指令将自身状态设置为测试状态后，可以向数据抓取装置返回刷机完成指令。[0060] 308、数据抓取装置向目标终端下发待测OTT应用的安装包和测试账号。
[0061 ] 309、目标终端安装待测OTT应用，并根据测试账号登陆待测OTT应用。
[0062]数据抓住装置将待测OTT应用的安装包下发给目标终端和用于登陆该待测OTT应用的测试账号，通过TCP/IP协议下发给目标终端。目标终端运行该待测OTT应用的安装包，将待测OTT应用安装在目标终端上，然后通过测试账号登陆待测OTT应用。
[0063]310、数据抓取装置向目标终端发送用于抓取信令层数据的第一抓取指令。
[0064]311、数据抓取装置向核心网设备发送用于抓取应用层数据的第二抓取指令。
[0065]本实施例中，数据抓取装置需要同步执行步骤310和步骤311。
[0066]312、目标终端根据第一抓取指令生成携带同步标识的第一数据包。
[0067]313、核心网设备根据第二抓取指令生成第二数据包。
[0068]本实施例中，目标终端在执行步骤312过程中，核心网设备同步执行步骤313。
[0069]具体地，数据抓取装置通过TCP/IP协议向目标终端发送第一抓取指令，以使目标端生成携带同步标识的第一数据包。同步地，数据抓取装置通过TCP/IP协议向核心网设备发送第二抓取指令，以使核心网设备生成第二数据包。具体地，第一抓取指令指示目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启所述OTT应用，从T3时刻至T4时刻关闭所述OTT应用，从T4时刻重新开启所述OTT应用。第二抓取指令指示核心网设备开启应用层数据抓取模块，用于抓取应用层数据。
[0070]在目标终端上可以集成有信令层数据抓取模块，通过该信令层数据抓取模块抓取待测OTT应用发出的信令数据。在网络侧的核心网设备上集成有应用层数据抓取模块，通过该应用层数据抓取模块抓取待测OTT应用的应用层数据。其中，该信令层数据抓取模块和应用层数据抓取模块均可以为通过硬件或者软件来实现。具体地，信令层数据抓取模块作为单独的设备，设置在目标终端和数据抓取装置之间，通过接口与目标终端和数据抓取装置连接，信令层数据抓取模块可以抓取OTT应用的信令层数据，然后通过TCP/IP协议发送给数据抓取装置。应用层数据抓取模块也可以作为单独的设备，设置在数据抓取装置和核心网设备之间，通过接口与数据抓取装置和核心网设备连接，应用层数据抓取模块可以抓取OTT应用的应用层数据，然后通过TCP/IP协议发送给数据抓取装置。
[0071]关于同步标识以及均携带有同步标识的第一数据包和第二数据包的生成过程，可参见上述实例中相关内容的记载，此处不再赘述。其中，第一数据包的示意图如图2所示。
[0072]本实施例中将该具有脉冲信号特性的数据片作为同步标识。本实例中将同步标识作为一个特定时间戳，通过该特定时间戳来实现终端侧与网络侧数据同步。
[0073]314、数据抓取装置向目标终端发送抓取结束指令。
[0074]315、数据抓取装置向核心网设备发送抓取结束指令。
[0075]具体地，数据抓取装置在经过预设的时间后，可以通过TCP/IP协议同步地向目标终端和核心网设备发送抓取结束指令。目标终端在接收到该抓取结束指令后，就可以停止对待测OTT应用的信令层数据的抓取。核心网设备在接收到该抓取结束指令后，就可以停止对待测OTT应用的应用层数据的抓取。
[0076]316、目标终端将第一数据包发送给数据抓取装置。
[0077]317、核心网设备将第二数据包发送给数据抓取装置。
[0078]在发送抓取结束指令后，数据抓取装置可以接收到目标终端发送的第一数据包和核心网设备发送的第二数据包。具体地，目标终端将抓取的信令层数据生成第一数据包，通过TCP/IP协议发送给数据抓取装置。目标终端根据TCP/IP协议将抓取的信令层数据，封装成第一数据包发送给数据抓取装置。核心网设备将抓取的应用层数据生成第二数据包，通过TCP/IP协议发送给数据抓取装置。核心网设备根据TCP/IP协议将抓取的应用层数据，封装成第二数据包发送给数据抓取装置。
[0079]318、数据装置装置判断第二数据包是否携带同步标识。
[0080]具体判断过程可参见上述实施例中相关内容的记载，此处不再赘述。
[0081]319、数据抓取装置根据同步标识同步第一数据包和第二数据包。
[0082]实际应用中，信令从终端侧传输到网络侧的过程中，由于网络质量或者传输干扰等因素的影响，往往会存在一定的延迟，这样终端侧的信令层数据与网络侧的应用层数据就会出现不同步的问题。
[0083]在本实施例中，第一数据包和第二数据包中均携带同步标识，数据抓取模块可以根据该同步标识将第一数据包和第二数据包进行对齐处理，同步第一数据包和第二数据包，以消除传输过程中产生的延迟。
[0084]320、数据抓取装置对第一数据包和第二数据包进行分析，生成待测OTT应用的分析结果。
[0085]本实施例中，通过同步处理后第一数据包和第二数据包之间的时延就会被消除，这样第一数据包中T时刻的信令层数据能够与第二数据包中T时刻的应用层数据对应。在将第一数据包和第二数据包进行同步后，数据抓取装置可以根据分析需求对第一数据包和第二数据包进行分析，生成待测OTT应用的分析结果。通过同步处理后，数据抓取装置生成的待测OTT应用的分析结果准确性较高。
[0086]本实施例中第一抓取指令指示目标终端从T1-T2关闭待测OTT应用，从T2-T3开启待测OTT应用，从T3-T4关闭待测OTT应用，从T4重新开启待测OTT应用，通过上述处理后，目标终端生成的第一数据包中会携带一个同步标识，相应地，核心网设备生成的第二数据包中也会携带该同步标识，然后通过该同步标识将第一数据包和第二数据包进行同步，消除第一数据包与第二数据包之间存在的延迟，从而实现了信令层数据和应用层数据的同步抓取。
[0087]图4为本发明实施例提供的一种OTT应用的数据抓取装置的结构示意图。如图4所示，该数据抓取装置包括:第一发送模块41、第二发送模块42、接收模块43和同步模块44。
[0088]其中，第一发送模块41用于向目标终端发送用于抓取信令层数据的第一抓取指令，以使所述目标端生成携带同步标识的第一数据包，所述第一抓取指令指示所述目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启所述OTT应用，从T3时刻至T4时刻关闭所述OTT应用，从T4时刻重新开启所述OTT应用，以及在向目标终端发送第一抓取指令的同时，向核心网设备发送用于抓取应用层数据的第二抓取指令，以使所述核心网设备生成第二数据包，其中，同步标识为具有脉冲信号特性的数据片，用于实现终端侧与网络侧之间的数据同步。第二发送模块42用于向所述目标终端和所述核心网设备同步发送抓取结束指令。接收模块43用于接收所述目标终端发送所述第一数据包和所述核心网设备发送的第二数据包。同步模块44用于判断所述第二数据包是否携带所述同步标识，如果判断结果为是，根据所述同步标识对齐所述第一数据包和所述第二数据包。
[0089]本实施例中，为了能够将一个OTT应用的信令层数据与该OTT应用的应用层数据相对应，目标终端为只安装有操作系统的终端设备。由于目标终端上只安装操作系统，当需要同步抓取某一个OTT应用的信令层数据和应用层数据时，在该目标终端的安装该待测OTT应用。从第三方服务器上通过TCP/IP协议，获取到该待测OTT应用的安装包，然后将该待测OTT应用安装到目标终端上，在安装该OTT应用后，在该OTT应用的服务器上注册登录账号，以实现对OTT应用的数据抓取。
[0090]数据抓取装置中第一发送模块41向目标终端发送用于抓取信令层数据的第一抓取指令，以使目标端生成携带同步标识的第一数据包。同步地，第一发送模块41向核心网设备发送用于抓取应用层数据的第二抓取指令，以使核心网设备生成第二数据包。
[0091 ] 具体地，第一抓取指令指示目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启所述OTT应用，从T3时刻至T4时刻关闭所述OTT应用，从T4时刻重新开启所述OTT应用。第二抓取指令指示核心网设备开启应用层数据抓取模块，用于抓取应用层数据。
[0092]关于同步标识以及均携带有同步标识的第一数据包和第二数据包的生成过程，可参见上述实例中相关内容的记载，此处不再赘述。其中，第一数据包的示意图如图2所示。本实施例中将该具有脉冲信号特性的数据片作为同步标识。本实例中将同步标识作为一个特定时间戳，通过该特定时间戳来实现终端侧与网络侧数据同步。
[0093]在经过预设的时间后，第二发送模块42可以同步地向目标终端和核心网设备通过TCP/IP协议发送抓取结束指令。目标终端在接收到该抓取结束指令后，信令层数据抓取模块可以停止对待测OTT应用的信令层数据的抓取。核心网设备在接收到该抓取结束指令后，应用层数据抓取模块可以停止对待测OTT应用的应用层数据的抓取。
[0094]在发送抓取结束指令后，接收模块43可以接收到目标终端发送的第一数据包和核心网设备发送的第二数据包。关于目标终端发送第一数据包的过程以及核心网设备发送第二数据包的过程，可参见上述实施例中相关内容的记载，此处不再赘述。
[0095]实际应用中，信令从终端侧传输到网络侧的过程中，由于网络质量或者传输干扰等因素的影响，往往会存在一定的延迟，这样终端侧的信令层数据与网络侧的应用层数据就会出现不同步的问题。在本实施例中，在接收模块43接收到第一数据包和第二数据包后，同步模块44可以对第二数据包进行判断，判断第二数据包是否携带具有脉冲信号特性的数据片，如果第二数据包具有与第一数据包一致的具有脉冲信号特性的数据片，说明第二数据包携带有同步标识。在判断出第二数据包携带有同步标识后，同步模块44可以根据该同步标识，将第一数据包和第二数据包进行对齐处理，同步第一数据包和第二数据包，以消除传输过程中产生的延迟。
[0096]本实施例提供的数据抓取装置的各功能模块可用于执行上述相关实施例中所示的OTT应用的数据抓取方法的流程，其具体工作原理不再赘述，详见方法实施例的描述。
[0097]本实施例提供的一种OTT应用的数据抓取装置，向目标终端发送用于抓取信令层数据的第一抓取指令，以使目标终端生成携带同步标识的第一数据包，第一抓取指令指示目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启待测OTT应用，从T3时刻至T4时刻关闭待测OTT应用，从T4时刻重新开启待测OTT应用；向核心网设备发送用于抓取应用层数据的第二抓取指令，以使核心网设备生成第二数据包；向目标终端和核心网设备发送抓取结束指令；接收目标终端发送的第一数据包和核心网设备发送的第二数据包；根据同步标识同步第一数据包和第二数据包。本实施例中第一抓取指令指示目标终端从T1-T2关闭待测OTT应用，从T2-T3开启待测OTT应用，从T3-T4关闭待测OTT应用，从T4重新开启待测OTT应用，通过上述处理后，目标终端生成的第一数据包中会携带一个同步标识，相应地，核心网设备生成的第二数据包中也会携带该同步标识，然后通过该同步标识将第一数据包和第二数据包进行同步，消除第一数据包与第二数据包之间存在的延迟，从而实现了信令层数据和应用层数据的同步抓取。
[0098]图5为本发明实施例提供的另一种OTT应用的数据抓取装置的结构示意图。如图5所不，该数据抓取装置包括:获取模块51、刷机模块52、下发模块53、第一发送模块54、第二发送模块55、接收模块56、同步模块57和分析模块58。
[0099]本实施例中，数据抓取装置中存储并维护一个待测终端列表，该待测终端列表中包括各终端的身份ID。获取模块51用于获取所述目标终端的身份标识ID。具体地，获取模块51可以从待测终端列表中，选取一个终端作为目标终端。一般选取的目标终端在进行数据抓取之前，会进行适配处理，以安装有与数据抓取装置交互的插件，从而可以与数据抓取装置进行信息交互。
[0100]本实施例中，目标终端可以为安装有多个OTT应用的终端设备。为了保证在同一时刻上目标终端上只有一个OTT应用，在对目标终端进行数据抓取时，数据抓取装置需要将目标终端设置测试状态。
[0101]刷机模块52用于根据目标终端的身份ID向目标终端发送刷机指令，其中，刷机指令指示目标终端将自身的状态设置为测试状态，测试状态为目标终端上只安装有操作系统。具体地，刷机模块52根据目标终端的身份ID向发送型号查询请求，接收目标终端返回的型号信息，根据型号信息向目标终端发送与型号信息对应的刷机指令。
[0102]目标终端在完成刷机后，向数据抓取装置发送刷机完成指令，接收模块56接收该目标终端返回的刷机完成指令。下发模块53与接收模块56连接，在接收到刷机完成指令后，下发模块53向目标终端下发待测OTT应用的安装包以及测试账号，以使目标终端安装待测OTT应用，并根据测试账号登陆待测OTT应用。
[0103]在下发模块53下发待测OTT应用以及测试账号后，第一发送模块54向目标终端发送用于抓取信令层数据的第一抓取指令，以使目标端生成携带同步标识的第一数据包。同步地，第一发送模块54向核心网设备发送用于抓取应用层数据的第二抓取指令，以使核心网设备生成第二数据包。
[0104]具体地，第一抓取指令指示目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启所述OTT应用，从T3时刻至T4时刻关闭所述OTT应用，从T4时刻重新开启所述OTT应用。第二抓取指令指示核心网设备开启应用层数据抓取模块，用于抓取应用层数据。
[0105]关于同步标识以及均携带有同步标识的第一数据包和第二数据包的生成过程，可参见上述实例中相关内容的记载，此处不再赘述。其中，第一数据包的示意图如图2所示。本实施例中将该具有脉冲信号特性的数据片作为同步标识。本实例中将同步标识作为一个特定时间戳，通过该特定时间戳来实现终端侧与网络侧数据同步。[0106]在经过预设的时间后，第二发送模块55可以同步地向目标终端和核心网设备通过TCP/IP协议发送抓取结束指令。目标终端在接收到该抓取结束指令后，信令层数据抓取模块可以停止对待测OTT应用的信令层数据的抓取。核心网设备在接收到该抓取结束指令后，应用层数据抓取模块可以停止对待测OTT应用的应用层数据的抓取。
[0107]在发送抓取结束指令后，接收模块56可以接收到目标终端发送的第一数据包和核心网设备发送的第二数据包。关于目标终端发送第一数据包的过程以及核心网设备发送第二数据包的过程，可参见上述实施例中相关内容的记载，此处不再赘述。
[0108]实际应用中，信令从终端侧传输到网络侧的过程中，由于网络质量或者传输干扰等因素的影响，往往会存在一定的延迟，这样终端侧的信令层数据与网络侧的应用层数据就会出现不同步的问题。在本实施例中，在接收模块56接收到第一数据包和第二数据包后，同步模块57可以判断第二数据包是否携带同步标识，如果第二数据包携带同步标识，同步模块57可以根据该同步标识，将第一数据包和第二数据包进行对齐处理，同步第一数据包和第二数据包，消除了传输过程中存在的延迟。
[0109]本实施例中，通过同步处理后第一数据包和第二数据包之间的时延就会被消除，这样第一数据包中T时刻的信令层数据能够与第二数据包中T时刻的应用层数据对应。在将第一数据包和第二数据包进行同步后，分析模块58可以根据分析需求，对第一数据包和第二数据包进行分析，生成待测OTT应用的分析结果。通过同步处理后，数据抓取装置生成的待测OTT应用的分析结果准确性较高。
[0110]本实施例提供的数据抓取装置的各功能模块可用于执行上述相关实施例中所示的OTT应用的数据抓取方法的流程，其具体工作原理不再赘述，详见方法实施例的描述。
[0111]本实施例中第一抓取指令指示目标终端从T1-T2关闭待测OTT应用，从T2-T3开启待测OTT应用，从T3-T4关闭待测OTT应用，从T4重新开启待测OTT应用，通过上述处理后，目标终端生成的第一数据包中会携带一个同步标识，相应地，核心网设备生成的第二数据包中也会携带该同步标识，然后通过该同步标识将第一数据包和第二数据包进行同步，消除第一数据包与第二数据包之间存在的延迟，从而实现了信令层数据和应用层数据的同步抓取。
[0112]图6为本发明实施例提供的一种OTT应用的数据抓取系统的结果示意图。如图6所示，该系统包括:数据抓取装置61、目标终端62和核心网设备63。其中，关于数据抓取装置61的构成及功能的介绍可参见上述实施例中相关内容的记载，此处不再赘述。关于目标终端62和核心网设备63的介绍，可参见上述实施例中相关内容的记载，此处不再赘述。
[0113]最后应说明的是:以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
【权利要求】
1.一种OTT应用的数据抓取方法，其特征在于，包括: 向目标终端发送用于抓取信令层数据的第一抓取指令，以使所述目标端生成携带同步标识的第一数据包，所述第一抓取指令指示所述目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启所述OTT应用，从T3时刻至T4时刻关闭所述OTT应用，从T4时刻重新开启所述OTT应用；其中，所述同步标识为具有脉冲信号特性的数据片，用于实现终端侧与网络侧之间的数据同步； 在向所述目标终端发送所述第一抓取指令的同时，向核心网设备发送用于抓取应用层数据的第二抓取指令，以使所述核心网设备生成第二数据包； 向所述目标终端和所述核心网设备同步发送抓取结束指令； 接收所述目标终端发送的所述第一数据包和所述核心网设备发送的第二数据包； 判断所述第二数据包是否携带所述同步标识； 如果判断结果为是，根据所述同步标识对齐所述第一数据包和所述第二数据包。
2.根据权利要求1所述的OTT应用的数据抓取方法，其特征在于，所述向所述目标终端发送用于抓取信令层数据的第一抓取指令，以使所述目标终端生成携带同步标识的第一数据包之前，包括: 获取所述目标终端的身份标识ID ； 根据所述身份ID向所述目标终端发送刷机指令，所述刷机指令指示所述目标终端将自身的状态设置为测试状态，所述测试状态为所述目标终端上只安装有操作系统的状态；接收所述目标终端返回的刷机完成指令； 向所述目标终端下发所述OTT应用的安装包以及测试账号，以使所述目标终端安装所述OTT应用，并根据所述测试账号登陆所述OTT应用。
3.根据权利要求2所述的OTT应用的数据抓取方法，其特征在于，所述获取所述目标终端的身份标识ID,包括: 查询待测终端列表，所述待测终端列表包括各终端的身份ID ； 从所述待测终端列表中选取一个终端作为所述目标终端。
4.根据权利要求2或3所述的OTT应用的数据抓取方法，其特征在于，所述根据所述身份ID向所述目标终端发送刷机指令，包括: 根据所述目标终端的身份ID向所述目标终端发送型号查询请求； 接收所述目标终端返回的型号信息； 根据所述型号信息向所述目标终端发送与所述型号信息对应的所述刷机指令。
5.根据权利要求1所述的OTT应用的数据抓取方法，其特征在于，所述根据所述同步标识同步所述第一数据包和所述第二数据包之后，包括: 对同步后的所述第一数据包和所述第二数据包进行分析，生成所述OTT应用的分析结果O
6.一种OTT应用的数据抓取装置，其特征在于，包括: 第一发送模块，用于向目标终端发送用于抓取信令层数据的第一抓取指令，以使所述目标端生成携带同步标识的第一数据包，所述第一抓取指令指示所述目标终端从T1时刻至T2时刻关闭待测OTT应用，从T2时刻至T3时刻开启所述OTT应用，从T3时刻至T4时刻关闭所述OTT应用，从T4时刻重新开启所述OTT应用，以及在向所述目标终端发送所述第一抓取指令的同时，向核心网设备发送用于抓取应用层数据的第二抓取指令，以使所述核心网设备生成第二数据包；其中，所述同步标识为具有脉冲信号特性的数据片，用于实现终端侧与网络侧之间的数据同步； 第二发送模块，用于向所述目标终端和所述核心网设备同步发送抓取结束指令； 接收模块，用于接收所述目标终端发送的所述第一数据包和所述核心网设备发送的第二数据包； 同步模块，用于判断所述第二数据包是否携带所述同步标识，如果判断结果为是，根据所述同步标识对齐所述第一数据包和所述第二数据包。
7.根据权利要求6所述的OTT应用的数据抓取装置，其特征在于，还包括: 获取模块，用于获取所述目标终端的身份标识ID ； 刷机模块，用于根据所述身份ID向所述目标终端发送刷机指令，所述刷机指令指示所述目标终端将自身的状态设置为测试状态，所述测试状态为所述目标终端上只安装有操作系统的状态； 所述接收模块，还用于接收所述目标终端返回的刷机完成指令； 下发模块，用于向所述目标终端下发所述OTT应用的安装包以及测试账号，以使所述目标终端安装所述OTT应用，并根据所述测试账号登陆所述OTT应用。
8.根据权利要求7所述的OTT应用的数据抓取装置，其特征在于，所述获取模块具体用于查询待测终端列表，所述待测终端列表包括各终端的身份ID，从所述待测终端列表中选取一个终端作为所述目标终端。
9.根据权利要求7或8所述的OTT应用的数据抓取装置，其特征在于，所述刷机模块具体用于根据所述目标终端的身份ID向发送型号查询请求，接收所述目标终端返回的型号信息，根据所述型号信息向所述目标终端发送与所述型号信息对应的所述刷机指令。
10.根据权利要求6所述的OTT应用的数据抓取装置，其特征在于，还包括: 分析模块，用于对同步后的所述第一数据包和所述第二数据包进行分析，生成所述OTT应用的分析结果。
【文档编号】H04L29/06GK103546558SQ201310499636
【公开日】2014年1月29日 申请日期:2013年10月22日 优先权日:2013年10月22日
【发明者】叶阳, 安岗, 严斌峰, 廖军, 陈茜 申请人:中国联合网络通信集团有限公司