网络数据获取系统的制作方法
【专利摘要】本实用新型的网络数据获取系统，基于SSL/TLS协议对网络数据获取请求进行加密封装；经由中间层发送到SSL/TLS服务器，由SSL/TLS服务器解密处理后从网络内容服务器获取网络数据；然后将获取的网络数据基于SSL/TLS协议进行加密封装经由中间层返回给终端设备。本实用新型在终端设备与SSL/TLS服务器之间是通过密文的方式进行数据传输，而通过SSL/TLS服务器中转的方式获取网络数据，将能防止出现在访问不支持https协议的网络内容服务器时的流量劫持现象。
【专利说明】网络数据获取系统
【技术领域】
[0001]本实用新型涉及移动通信【技术领域】，更为具体地，涉及网络数据获取系统。
【背景技术】
[0002]目前网络传输的主流传输方式为http。而基于http协议进行网络传输的过程是明文传输的，流量在途中可随心所欲的被控制。传统程序事先已下至本地，运行时只有通信流量；而在线使用的WebApp，流量里既有通信数据，又有程序的界面和代码，劫持简直轻而易举。所以在互联网及移动互联网不少的流量劫持。
[0003]如图1示出了正常访问网络内容服务器的流程图。如图1所示，用户请求访问网络内容服务器时，首先终端设备与网络内容服务器建立基于http协议的连接，然后经由中间层向网络内容服务器发送网络请求。网络内容服务器根据接收的网络请求将所请求的网络数据经由中间层发送至终端设备。
[0004]如图2示出了访问网络内容服务器遭劫持的流程图。如图2所示，用户请求访问网络内容服务器时，首先终端设备与网络内容服务器建立基于http协议的连接，然后经由中间层向网络内容服务器发送网络请求，网络运营商或黑客在中间层使用流量旁路分析系统或网络嗅探系统，截获用户请求内容，然后跳转到伪造的网站地址中，或者将用户请求的网络数据抢先应答给终端设备。访问网络内容服务器遭劫持会导致伪造的网站进行钓鱼式攻击或者植入频繁的非法广告弹窗或者向http的缓存投毒和非法恶意嗅探账号系统等。如果将用户请求的网络数据抢先应答给终端设备会导致终端设备获得的错误数据或者是非正版数据。中间层泛指除终端设备及网络内容服务器之间经过的所有网络节点，包括但不限于如用户的家用路由器、各级网络运营商的服务器、网络设备等。
[0005]现有技术使用了 SSL/TLS加密的数据进行网络传输很难以破解，更容易被修改。从实际情况来看SSL/TLS可以很好的解决流量劫持问题。但目前国内部署https的网站数量还是非常少。所以在访问不支持https协议的网站存在被运营商或者黑客劫持的现象。
实用新型内容
[0006]鉴于上述问题，本实用新型的目的是提供一种网络数据获取系统，能解决访问不支持https协议的网络内容服务器的流量劫持问题。
[0007]根据本实用新型的一个方面，提供一种网络数据获取系统，包括:
[0008]终端设备，中间层，一个或多个SSL/TLS服务器和网络内容服务器，所述终端设备包括SSL/TLS服务器数据库，所述SSL/TLS服务器数据库中存储有网络内容服务器地址与SSL/TLS服务器地址之间的对应关系表；
[0009]所述终端设备被配置为利用https协议，以无线或有线的方式与所述中间层相连；
[0010]所述中间层被配置为利用https协议，以无线或有线的方式与一个或多个SSL/TLS服务器相连；以及[0011 ] 所述一个或多个SSL/TLS服务器利用http协议，以无线或有线的方式与网络内容服务器相连，
[0012]所述终端设备配置为经由中间层和/或一个或多个SSL/TLS服务器中的与网络内容服务器地址对应的SSL/TLS服务器，从所述网络内容服务器获取网络数据。
[0013]其中，还包括外部数据下发平台，所述外部数据下发平台以有线或无线的方式与所述终端设备相连，以向所述终端设备广播所述外部数据下发平台中存储的网络内容服务器地址与SSL/TLS服务器地址之间的对应关系表。
[0014]其中，所述外部数据下发平台包括用户访问数据采集器、用户访问数据统计器、数据存储器和广播器，所述用户访问数据采集器与所述用户访问数据统计器相连，所述用户访问数据统计器与所述数据存储器相连，所述存储器与所述广播器相连。
[0015]其中，所述终端设备包括移动终端、PDA、IPad。
[0016]其中，所述中间层为终端设备与SSL/TLS服务器之间的网络节点。
[0017]其中，所述网络节点包括路由器、各级网络运营商的服务器、网络设备。
[0018]本实用新型的网络数据获取系统，基于SSL/TLS协议对网络数据获取请求进行加密封装；经由中间层发送到SSL/TLS服务器，由SSL/TLS服务器解密处理后从网络内容服务器获取网络数据；然后将获取的网络数据基于SSL/TLS协议进行加密封装经由中间层返回给终端设备。本实用新型在终端设备与SSL/TLS服务器之间是通过密文的方式进行数据传输。通过SSL/TLS服务器中转的方式获取网络数据，将能防止出现在访问不支持https协议的网络内容服务器时的流量劫持现象。
[0019]为了实现上述以及相关目的，本实用新型的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本实用新型的某些示例性方面。然而，这些方面指示的仅仅是可使用本实用新型的原理的各种方式中的一些方式。此外，本实用新型旨在包括所有这些方面以及它们的等同物。
【专利附图】
【附图说明】
[0020]通过参考以下结合附图的说明及权利要求书的内容，并且随着对本实用新型的更全面理解，本实用新型的其它目的及结果将更加明白及易于理解。在附图中:
[0021]图1示出了访问网络内容服务器正常流程图；
[0022]图2示出了访问网络内容服务器被劫持的情况；
[0023]图3示出了根据本实用新型的实施例的网络数据获取系统架构图；
[0024]图4为网络数据获取系统一个示例；
[0025]图5示出了根据本实用新型的另一实施例的网络数据获取系统架构图；
[0026]图6为网络数据获取系统的另一个示例；
[0027]图7示出了根据本实用新型的另一实施例的外部数据下发平台的内部结构图；
[0028]图8示出了根据本实用新型的实施例的网络数据获取系统工作的流程图。
[0029]在所有附图中相同的标号指示相似或相应的特征或功能。
【具体实施方式】
[0030]下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
[0031]本实用新型提供的一种网络数据获取系统，通过在存在流量劫持区域使用加密的数据传输，防止出现在访问不支持https协议的网络内容服务器时的流量劫持问题。
[0032]图3示出了根据本实用新型的实施例的网络数据获取系统架构图。
[0033]图4为网络数据获取系统一个示例。
[0034]如图3、图4所示本实用新型的网络数据获取系统100包括终端设备300、SSL/TLS服务器400 (图4的ssl proxy)、中间层500和网络内容服务器600 (图4的目标网站)。
[0035]终端设备300包括SSL/TLS服务器数据库，所述SSL/TLS服务器数据库中存储有网络内容服务器地址与SSL/TLS服务器地址之间的对应关系表。
[0036]终端设备300被配置为利用https协议，以无线或有线的方式与所述中间层500相连。
[0037]中间层500被配置为利用https协议，以无线或有线的方式与一个或多个SSL/TLS服务器400相连。以及
[0038]SSL/TLS服务器400利用http协议，以无线或有线的方式与网络内容服务器600相连。
[0039]终端设备300配置为经由中间层500和/或一个或多个SSL/TLS服务器400中的与网络内容服务器地址对应的SSL/TLS服务器400，从网络内容服务器600获取网络数据。
[0040]图5示出了根据本实用新型的另一实施例的网络数据获取系统架构图。
[0041]图6为网络数据获取系统的另一个示例。
[0042]如图5、图6所示，本实施例网络数据获取系统200还包括外部数据下发平台700(图6中的⑶服务器)。外部数据下发平台700与终端设备300连接。
[0043]图7示出了根据本实用新型的另一实施例的外部数据下发平台700的内部结构图。
[0044]如图7所示的外部数据下发平台700包括用户访问数据采集器701、用户访问数据统计器702、数据存储器703和广播器704，所述用户访问数据采集器701与所述用户访问数据统计器702相连，所述用户访问数据统计器702与所述数据存储器703相连，所述数据存储器703相连与所述广播器704。
[0045]外部数据下发平台700的用户访问数据采集器701通过采集发现某些地区的用户存在流量被劫持的现象，发送至就用户访问数据统计器702，用户访问数据统计器702记录这些用户所在地区以及这些用户请求访问的网络内容服务器600信息，网络内容服务器600信息可能包含网络内容服务器600的地址等信息，然后根据这些信息分配SSL/TLS服务器地址。之后生成网络内容服务器地址与SSL/TLS服务器地址的对应关系表存储于数据存储器703。
[0046]然后广播器704将标服务器地址与SSL/TLS服务器地址的对应关系表通过广播的形式发送至终端设备300。
[0047]终端设备300接收用户输入的网络数据获取请求后，根据网络数据获取请求中请求的网络内容服务器地址去网络内容服务器地址与SSL/TLS服务器地址的对应关系表，当在表格中能查询到对应的与SSL/TLS服务器地址时，则将普通的基于http写的网络数据获取请求通过SSL/TLS协议进行加密封装，变成基于https协议的网络数据获取请求，在终端设备300与SSL/TLS服务器400之间建立基于https协议的网络连接。之后将加密封装后的网络数据获取请求经由中间层500发送到与SSL/TLS服务器地址对应的SSL/TLS服务器400。SSL/TLS服务器400收到所述请求后，对其进行解密处理，之后按照解密后的网络数据获取请求从所述网络内容服务器600获取网络数据。
[0048]收到网络内容服务器600返回的网络数据后，SSL/TLS服务器400基于SSL/TLS协议对所述网络数据进行加密封装，经由中间层500返回给终端设备300。终端设备300对加密封装的网络数据进行解密得到最终的网络数据。
[0049]本实用新型的终端设备300包括移动终端、PDA、Ipad等具有无线通信功能的终端设备。
[0050]中间层500为终端设备300与SSL/TLS服务器400之间的网络节点。网络节点包括路由器、各级网络运营商的服务器、网络设备。
[0051]本实施例的网络数据获取系统，SSL/TLS服务器地址获取单元根据所检测到的网络数据获取请求中的网络内容服务器地址，在终端设备300本地存储的SSL/TLS服务器数据库中获取对应的SSL/TLS服务器地址。请求加密单元基于SSL/TLS协议对网络数据获取请求进行加密封装；请求发送单元将加密封装后的网络数据获取请求发送到与SSL/TLS服务器地址对应的SSL/TLS服务器400，以供SSL/TLS服务器400解密处理后从网络内容服务器600获取网络数据；网络数据接收单元经由SSL/TLS服务器400接收从网络内容服务器600返回的由SSL/TLS服务器400基于SSL/TLS协议进行加密封装处理后的网络数据。本实施例在终端设备300与SSL/TLS服务器400之间是通过密文的方式进行数据传输，而通过SSL/TLS服务器400中转的方式获取网络数据，将能防止出现在访问不支持https协议的网络内容服务器600时的流量劫持现象。
[0052]图8示出了根据本实用新型的实施例的网络数据获取系统工作的流程图。
[0053]如图8所示，步骤S800，终端设备300根据所检测到的网络数据获取请求中的网络内容服务器地址，在本地存储的SSL/TLS服务器数据库中获取对应的SSL/TLS服务器地址。其中，所述SSL/TLS服务器数据库中存储有网络内容服务器地址与SSL/TLS服务器地址之间的对应关系表。
[0054]网络数据获取请求包括获取网页数据的请求或者获取网络其它数据的请求，例如获取某个软件安装包的请求。
[0055]网络内容服务器600可能是用户请求访问的某个网页的服务器，也可能是用户请求获取某个数据时的服务器。例如获取某个软件安装包时，网络内容服务器600就是提供该软件下载的服务器。
[0056]优选实施例中本地存储的SSL/TLS服务器数据库利用外部数据下发平台700使用广播的形式向所述终端设备300下发的网络内容服务器地址与SSL/TLS服务器地址的对应关系表进行更新。
[0057]优选实施例中所述网络内容服务器地址与SSL/TLS服务器地址的对应关系表由所述外部数据下发平台700根据预先统计的网络数据获取请求劫持信息确定的。且SSL/TLS服务器400与终端设备300之间的中间层500是存在网络数据获取请求劫持风险的中间层500。而SSL/TLS服务器400与网络内容服务器600之间也是存在中间层网络的。优选实施例中选择安全地区的SSL/TLS服务器400进行网络数据获取，即选择不存在劫持风险的SSL/TLS服务器400获取网络数据，使得SSL/TLS服务器400与网络内容服务器600之间的中间层网络是数据传输不存在劫持风险的中间层网络。即SSL/TLS服务器400布局在未受污染的网络区域中。即在通过数据下发平台的统计的未受污染的网络区域中布局SSL/TLS服务器400。
[0058]数据下发平台通过统计发现某些地区的用户存在流量被劫持的现象，就记录这些用户所在地区以及这些用户请求访问的网络内容服务器600信息，网络内容服务器600信息可能包含网络内容服务器600的地址等信息，然后根据这些信息分配SSL/TLS服务器地址。之后生成网络内容服务器地址与SSL/TLS服务器地址的对应关系表。优选实施例中所述外部数据下发平台700采用广播方式向所述终端设备300下发所述网络内容服务器地址与SSL/TLS服务器地址的对应关系表。例如数据下发平台通过统计发现广州用户访问新浪时存在被劫持的现象，就选择一个布局在武汉的SSL/TLS服务器集群的SSL/TLS服务器作为SSL/TLS服务器400，生成一条新浪网服务器地址与武汉的SSL/TLS服务器集群地址的对应关系表。具体可以是新浪域名与武汉的SSL/TLS服务器集群的域名对应关系表。
[0059]本步骤中SSL/TLS服务器地址包括SSL/TLS服务器400的IP地址或者SSL/TLS服务器400的域名地址。
[0060]当SSL/TLS服务器地址是SSL/TLS服务器400的域名地址时，还需要通过域名解析服务器对该域名进行解析，获取SSL/TLS服务器400的IP地址。
[0061]在获取到对应的SSL/TLS服务器地址后，执行步骤S810，终端设备300基于SSL/TLS协议对所述网络数据获取请求进行加密封装。本步骤就相当于原来为http协议的网络数据获取请求通过SSL/TLS协议进行加密封装后转换成基于https协议的请求网络数据获取请求，但是由于网络内容服务器600不支持https，所以需要设置SSL/TLS服务器400对https请求进行解密以得到http协议的网络数据获取请求。现有的http协议的直接由终端设备300直接与网络内容服务器600连接获取网络数据获取方式转换成由SSL/TLS服务器400中转的方式获取网络数据。即在网络数据获取请求中加入SSL/TLS服务器400的地址来实现SSL/TLS服务器400中转的方式获取网络数据。
[0062]完成S810后，执行S820，终端设备300将所述加密封装后的网络数据获取请求发送到与SSL/TLS服务器地址对应的SSL/TLS服务器400。
[0063]在执行步骤S820之前，终端设备300与SSL/TLS服务器400之间需要根据网络数据获取请求建立基于SSL/TLS协议的网络连接。在建立网络连接时，当SSL/TLS服务器地址为IP地址时，则直接与该IP地址对应的SSL/TLS服务器400建立网络连接。当SSL/TLS服务器地址为SSL/TLS服务器400的域名时，首先要经过域名解析服务器对域名进行解析，解析出来的SSL/TLS服务器400的IP地址可能有多个。在优选的实施例中是根据当前网络状态来选择终端设备300进行数据传输的SSL/TLS服务器400，域名解析服务器将该SSL/TLS服务器400的IP地址返回给终端设备300，终端设备300与该IP地址对应的SSL/TLS服务器400进行数据传输。在优选实施例中，域名解析服务器还通过⑶N技术选择SSL/TLS服务器400的IP地址返回给终端设备300。
[0064]当SSL/TLS服务器地址为SSL/TLS服务器400的域名时，根据当前终端设备300网络状态按照通过⑶N技术选择SSL/TLS服务器400，能够选择出最优的SSL/TLS服务器集群及网络线路使得网络数据传输速率更快。提高网络数据传输效率。
[0065]SSL/TLS服务器400接收到加密封装后的网络数据获取请求后，执行S830，SSL/TLS服务器400对所接收的加密封装后的网络数据获取请求进行解密处理。进行解密处理后的网络数据获取请求即相当于http协议的网络数据请求，SSL/TLS服务器400与网络内容服务器600之间通过http协议传输数据，SSL/TLS服务器400与网络内容服务器600之间是通过明文进行数据传输的。
[0066]完成S830后，执行S840，SSL/TLS服务器400将解密后的网络数据获取请求发送至网络内容服务器600。由于解密后的的网络数据请求是基于http协议的，所以这里获取网络数据的方式与普通的基于http协议获取网络数据的方式相同，不再赘述。
[0067]网络内容服务器600接收到网络数据获取请求后，返回网络数据给SSL/TLS服务器400，SSL/TLS服务器400基于SSL/TLS协议对网络数据进行加密封装(S850)。之后SSL/TLS服务器400将加密封装的网络数据经由中间层500返回给终端设备300(S860)。由于之前终端设备300与SSL/TLS服务器400之间建立的网络是SSL/TLS协议的。所以返回的网络数据必须是通过SSL/TLS协议进行加密封装后的网络数据。
[0068]终端设备300收到加密封装后的网络数据后，执行S870，解密加密封装的网络数据，得到最终的网络数据。
[0069]本实施例的网络数据获取系统，通过在终端设备对网络获取请求进行基于SSL/TLS协议的加密封装，然后由SSL/TLS服务器进行解密，之后基于解密后的网络获取请求去网络内容服务器获取网络数据，在获取到网络数据后，对网络数据进行基于SSL/TLS协议的加密封装后返回给终端设备，终端设备对加密封装后的网络数据进行解密得到最终的数据。本实施例在终端设备与SSL/TLS服务器之间是通过密文的方式进行数据传输，而通过SSL/TLS服务器中转的方式获取网络数据，将能防止出现在访问不支持https协议的网络内容服务器时的流量劫持现象。
[0070]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本实用新型的范围。
[0071]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0072]在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0073]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0074]另外，在本实用新型各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0075]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实用新型的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本实用新型各个实施例所述方法的全部或部分步骤。而前述的存储介质包括山盘、移动硬盘、只读存储器^01，1^68(1-01117、随机存取存储器^00688、磁碟或者光盘等各种可以存储程序代码的介质。
[0076]以上所述，仅为本实用新型的【具体实施方式】，但本实用新型的保护范围并不局限于此，任何熟悉本【技术领域】的技术人员在本实用新型揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应所述以权利要求的保护范围为准。
【权利要求】
1.一种网络数据获取系统，包括终端设备，中间层，一个或多个SSL/TLS服务器和网络内容服务器，其特征在于， 所述终端设备包括SSL/TLS服务器数据库，所述SSL/TLS服务器数据库中存储有网络内容服务器地址与SSL/TLS服务器地址之间的对应关系表； 所述终端设备被配置为利用https协议，以无线或有线的方式与所述中间层相连； 所述中间层被配置为利用https协议，以无线或有线的方式与一个或多个SSL/TLS服务器相连；以及 所述一个或多个SSL/TLS服务器利用http协议，以无线或有线的方式与网络内容服务器相连， 所述终端设备配置为经由中间层和/或一个或多个SSL/TLS服务器中的与网络内容服务器地址对应的SSL/TLS服务器，从所述网络内容服务器获取网络数据， 所述中间层为终端设备与SSL/TLS服务器之间的网络节点。
2.如权利要求1所述的网络数据获取系统，其特征在于，还包括外部数据下发平台，所述外部数据下发平台以有线或无线的方式与所述终端设备相连，以向所述终端设备广播所述外部数据下发平台中存储的网络内容服务器地址与SSL/TLS服务器地址之间的对应关系表。
3.如权利要求2所述的网络数据获取系统，其特征在于，所述外部数据下发平台包括用户访问数据采集器、用户访问数据统计器、数据存储器和广播器，所述用户访问数据采集器与所述用户访问数据统计器相连，所述用户访问数据统计器和所述广播器与所述数据存储器相连。
4.如权利要求1所述的网络数据获取系统，其特征在于，所述终端设备包括移动终端、PDA>IPad。
5.如权利要求1所示的网络数据获取系统，其特征在于，所述网络节点包括路由器、各级网络运营商的服务器、网络设备。
【文档编号】H04L29/06GK204168327SQ201420357809
【公开日】2015年2月18日 申请日期:2014年6月30日 优先权日:2014年6月30日
【发明者】梁捷, 何小鹏, 杨伟 申请人:优视科技有限公司