一种网页传输智能处理系统及其方法
【专利摘要】本发明提供一种网页传输智能处理系统及其方法，包括启动模块、分析与配置模块和处理模块；所述启动模块用于启用或停用所述分析与配置模块；所述分析与配置模块用于对网页进行分析并生成一份统一配置文件；所述处理模块用于根据所述分析和配置模块所得到的统一配置文件对网页进行处理。本发明的网页传输智能处理系统及其方法通过对传输阻塞和动态生成耗时长进行优化，减少了网页传输时间；通过调整资源顺序、合并请求与内容、利用浏览器的不同域名请求机制来减少阻塞的发生，加快内容传输的效率；充分利用源站生成动态内容产生的耗时，预先传输必需的静态资源文件，实现异步传输和复用等待时间来减少总体的传输时间。
【专利说明】一种网页传输智能处理系统及其方法
【技术领域】
[0001]本发明涉及互联网的【技术领域】，特别是涉及一种网页传输智能处理系统及其方法。
【背景技术】
[0002]通常，网页的传输时间受到以下几个方面因素的影响:
[0003](I)浏览器自身的请求并发数限制
[0004]浏览器默认对同一域下的资源只保持一定的连接数。不同浏览器的连接数默认值不一样，对于不同的HTTP协议其值也不一样。现有技术中，可以通过HTTP1.1的持久连接可以解决连接数的问题，但是对于并发限制没有太大的改善；还可以通过源站构建多个域名来解决并发限制的问题，但是构建多个域名会使源站设计管理更加复杂，不利于维护。
[0005](2)源站响应时间
[0006]许多页面的HTML文件是动态生成的，服务器需要一定的处理时间，生成HTML的时间受到数据库查询等多方面因素影响会造成客户端等待时间变长。对于源站响应时间慢的问题，目前的方法主要是做数据库的优化，并且改善服务器硬件性能。但是这种方法只能提升部分响应速度，浏览器还是需要等待较长时间。
[0007](3)请求加载顺序
[0008]一个页面中有多种兀素，如 HTML、js (JavaScript)、CSS (Cascading Style Sheet,层叠样式表单)和图片等等。当js在执行时不会进行HTML解析等其它操作，如果加载顺序不当，会导致阻塞大量元素请求，从而造成页面加载时间变长。对于请求加载顺序的优化，现有技术主要的方法是修改网站结构，调整加载顺序，还有将script标签放底部，从而提高页面展现给用户的速度。然而，上述方法还是存在一些问题，例如页面中的有些功能是依赖js的，如果放在后面也有可能导致加载速度变慢，所以更多的还需要根据实际需求进行调整。
[0009](4) DNS (Domain Name System,域名系统)时间
[0010]DNS的解析成本比较高，往往导致了网站加载速度慢。当页面中存在多个域名请求时，DNS影响整体加载时间的概率更大。对于DNS时间的优化，现有技术采用的一种方法是浏览器首先缓存域名，当用户点击其它页面地址后自动地获取域名；另一种方法是DNS预热，通过在〈head〉标签中增加需要DNS预取的域名，例如〈link rel =〃dns_prefetch〃href = 〃/Vfonts.googleapis.com〃>。然而，上述方法针对不同的页面需要进行不同的处理，耗时耗力。
[0011](5)页面文件多
[0012]页面中嵌入式元素较多，会造成请求数增加，请求数的增加则会导致阻塞的概率大大增加。对于一个比较大的页面，开发人员编写CSS和JavaScript的时候,会遇到一个两难的局面:要么将代码写在一个大文件，要么将代码分成多个文件。前者导致文件难以管理，代码复用性差，后者则因为需要在载入多个文件而导致页面性能下降。
[0013](6)存在注释等无用信息
[0014]研发人员在编写网页的时候往往加入注释有助于文件的易读性，还有存在一些空白等，但是对于用户来说，这些是无用的。这些无用数据占据一定大小，增加了传输时间。
[0015]因此，针对上述缺陷和不足，需要提供一种网页传输的智能处理系统及其方法。
【发明内容】
[0016]鉴于以上所述现有技术的缺点，本发明的目的在于提供一种网页传输智能处理系统及其方法，通过网页的加载阻塞优化与传输优化，提升了网页传输的响应速度，减少整个页面加载时间。
[0017]为实现上述目的及其他相关目的，本发明提供一种网页传输智能处理系统，包括启动模块、分析与配置模块和处理模块；所述启动模块用于启用或停用所述分析与配置模块；所述分析与配置模块用于对网页进行分析并生成一份统一配置文件；所述处理模块用于根据所述分析和配置模块所得到的统一配置文件对网页进行处理。
[0018]根据上述的网页传输智能处理系统，其中:所述启动模启用分析与配置模块的所有或部分功能。
[0019]根据上述的网页传输智能处理系统，其中:所述分析与配置模块包括自适应资源加载顺序调整模块、域名改写模块、请求和内容合并模块、DNS预热模块、无用数据删除模块和动态HTML流传输模块。
[0020]进一步地，根据上述的网页传输智能处理系统，其中:
[0021]所述自适应资源加载顺序调整模块用于通过重写HTML文件，以自适应测试的方式生成网页的最优加载顺序并生成配置；
[0022]所述域名改写模块用于分析页面中适合更改的域名及域名数量，并且生成需要使用到的内部域名；
[0023]所述请求和内容合并模块用于分析页面内适合合并的CSS或者js文件，并生成合并文件配置；
[0024]所述DNS预热模块用于分析页面部分外链DNS时间长的元素，并生成预热配置结果;
[0025]所述无用数据删除模块用于分析网页中合适去除的对用户无用的数据，并生成无用数据删除配置；
[0026]所述动态HTML流传输模块用于分析提前加载静态元素列表，生成提前加载静态元素列表配置。
[0027]进一步地，根据上述的网页传输智能处理系统，其中:所述DNS预热模块在HTML文档〈head〉标签中增加DNS预取的域名。
[0028]进一步地，根据上述的网页传输智能处理系统，其中:所述无用数据删除模块去除空格时，不删除标签中的空格，只删除数据部分的空格；将多个空格合并为一个空格，多个换行符合并成一份换行符。
[0029]进一步地，根据上述的网页传输智能处理系统，其中:根据上述的网页传输智能处理系统，其中:所述动态HTML流传输模块，包括页面元素分析统计模块和生成元素列表配置模块，所述页面元素分析统计模块用于分析提前加载静态元素列表；所述生成元素列表并配置模块用于生成提前加载静态元素列表配置。
[0030]进一步地，根据上述的网页传输智能处理系统，其中:所述处理模块根据所述动态HTML流传输模块的配置，在进行动态HTML流传输时，浏览器请求到达代理服务器时先返回浏览器部分HTML，浏览器先请求获得部分分析得出的静态元素；实际源站响应到达时再请求其他文件，实现异步处理。
[0031]进一步地，根据上述的网页传输智能处理系统，其中:所述处理模块根据所述动态HTML流传输模块的配置，在进行动态HTML流传输时，利用源站数据库生成及浏览器等待时间，提前加载静态元素。
[0032]同时，本发明还提供一种上述任一的网页传输智能处理系统的处理方法，包括以下步骤:
[0033]步骤S1、启用分析与配置模块的子模块；
[0034]步骤S2、所启用的各个分析与配置模块的子模块分别对页面进行分析；
[0035]步骤S3、各个所启用的分析与配置模块的子模块分别生成一份分析结果；
[0036]步骤S4、将所生成的所有分析结果生成一份统一配置文件；
[0037]步骤S5、处理模块根据所得到的统一配置文件对网页进行处理。
[0038]如上所述，本发明的网页传输智能处理系统及其方法，具有以下有益效果:
[0039](I)通过对传输阻塞和动态生成耗时长进行优化，减少了网页传输时间；
[0040](2)通过调整资源顺序、合并请求与内容、利用浏览器的不同域名请求机制来减少阻塞的发生，加快内容传输的效率；
[0041](3)充分利用源站生成动态内容产生的耗时，预先传输必需的静态资源文件，实现异步传输和复用等待时间来减少总体的传输时间。
【专利附图】
【附图说明】
[0042]图1显示为本发明的网页传输智能处理系统的结构示意图；
[0043]图2显示为本发明的网页传输智能处理方法的流程图。
[0044]元件标号说明
[0045]I启动模块
[0046]2分析与配置模块
[0047]21自适应资源加载顺序调整模块
[0048]22域名改写模块
[0049]23请求和内容合并模块
[0050]24DNS预热模块
[0051]25无用数据删除模块
[0052]26动态HTML流传输模块
[0053]3处理模块
【具体实施方式】
[0054]以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的【具体实施方式】加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
[0055]需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0056]本发明针对网页传输阻塞以及动态内容生成时间长导致页面加载总时间变长的问题，开发了一个基于⑶N(Content Delivery Network,内容分发网络)平台的智能分析优化系统，提供了网页分析优化功能，并基于客户页面重写的方法添加资源顺序调整、合并请求与内容、利用浏览器的不同域名请求机制、DNS优化、无用数据去除、动态HTML流传输等功能，一方面加快内容传输效率，减少总体传输时间，另一方面充分利用异步传输和复用等待时间来减少总体的传输时间。
[0057]参照图1，本发明的网页传输智能处理系统包括启动模块1、分析与配置模块2和处理模块3。
[0058]启动模块包括启用模块和停用模块，分别用于启用或停用分析与配置模块。具体地，启动模块可以启用分析与配置模块中的所有功能，也可以只启用分析与配置模块中的部分功能。
[0059]分析与配置模块用于对网页进行分析并生成配置。该分析与配置模块包括自适应资源加载顺序调整模块21、域名改写模块22、请求和内容合并模块23、DNS预热模块24、无用数据删除模块25和动态HTML流传输模块26。
[0060]具体地，没有专门的模块用于生成这个配置文件，而是启用的分析与配置模块中的各个子模块依次执行后会生成一个配置文件中的配置项。需要说明的是，该配置文件中除了这些配置项，还有其他的配置项。
[0061]自适应资源加载顺序调整模块21包括重写测试模块和对比分析生成列表模块，用于通过重写HTML文件，以自适应测试的方式生成网页的最优加载顺序并生成配置。其中，重写测试模块用于重写HTML文件。对比分析生成列表用于通过⑶N平台代理服务器以自适应测试的方式生成网页的最优加载顺序并生成配置。具体地，对比分析生成列表模块可根据文件类型进行智能分析，也可以按一定规则进行调整。其中，自适应是指根据处理数据的数据特征自动调整处理方法、处理顺序、处理参数、边界条件或约束条件，以取得最佳的处理效果。
[0062]域名改写模块22包括页面分析模块和内部域名生成模块，用于分析页面中适合更改的域名及域名数量，并且生成需要使用到的内部域名。其中，页面分析模块用于分析页面中适合更改的域名及域名数量。内部域名生成模块用于生成需要使用到的内部域名，用于后续改善浏览器单域名并发限制对加载时间的影响。
[0063]请求和内容合并模块23包括页面元素分析模块和生成合并配置模块，用于分析页面内适合合并的CSS或者js文件，并生成合并文件配置。其中，页面元素分析模块用于分析页面内适合合并的CSS或者js文件。生成合并配置模块用于生成合并文件配置。
[0064]DNS预热模块24包括DNS分析模块和生成配置模块，用于分析页面部分外链DNS时间长的元素，并生成预热配置结果。其中，DNS分析模块用于分析页面部分外链DNS时间长的元素。生成配置模块用于生成预热配置结果。
[0065]在预热配置结果中，需要在HTML文档〈head〉标签中增加DNS预取的域名。比如客户的测试页面中有包含fonts, googleapis.com, google-analytics, com, 2个资源域名，需要对这2个域名进行DNS预取。
[0066]页面中要达到效果如下:
[0067]〈head〉
[0068]〈link rel = 〃dns_prefetch〃href = 〃//fonts.googleapis.com〃>
[0069]〈link rel = 〃dns_prefetch〃href = 〃//google-analytics.com〃>
[0070]无用数据删除模块25包括无用数据分析模块和生成配置模块，用于分析网页中合适去除的对用户无用的数据，并生成无用数据删除配置。其中，无用数据分析模块用于分析网页中合适去除的对用户无用的数据，包括空格和注释等。生成配置模块用于生成无用数据删除配置。其中，去除空格时，不删除标签中的空格，只删除数据部分的空格；将多个空格合并为一个空格，多个换行符合并成一份换行符。
[0071]动态HTML流传输模块26包括页面元素分析统计模块和生成元素列表配置模块，用于分析提前加载静态元素列表，生成提前加载静态元素列表配置。页面元素分析统计模块用于分析提前加载静态元素列表。生成元素列表并配置模块用于生成提前加载静态元素列表配置。
[0072]具体地，实际浏览器请求到达代理服务器时先返回浏览器部分HTML，浏览器先请求获得部分分析得出的静态元素，例如图片等。实际源站响应到达时再请求其他文件，实现异步处理。处理模块在进行动态HTML流传输时，利用源站数据库生成及浏览器等待时间，提前加载静态元素。
[0073]处理模块3用于根据分析和配置模块所得到的统一配置文件对网页进行处理。
[0074]在实际操作中，用户可以根据当前网页传输的实际问题，选择合适的分析与配置模块的子模块进行分析，并生成统一配置文件，最后由处理模块统一的对网页进行处理，从而提高网页的传输性能。
[0075]参照图2，本发明的网页传输智能处理方法包括以下步骤:
[0076]步骤S1、启用分析与配置模块的子模块。
[0077]其中，分析与配置模块包括六个子模块，分别为自适应资源加载顺序调整模块、域名改写模块、请求和内容合并模块、DNS预热模块、无用数据删除模块和动态HTML流传输模块。
[0078]自适应资源加载顺序调整模块包括重写测试模块和对比分析生成列表模块，用于通过重写HTML文件，以自适应测试的方式生成网页的最优加载顺序并生成配置。其中，重写测试模块用于重写HTML文件。对比分析生成列表用于通过⑶N平台代理服务器以自适应测试的方式生成网页的最优加载顺序并生成配置。具体地，对比分析生成列表模块可根据文件类型进行智能分析，也可以按一定规则进行调整。其中，自适应是指根据处理数据的数据特征自动调整处理方法、处理顺序、处理参数、边界条件或约束条件，以取得最佳的处理效果。
[0079]域名改写模块22包括页面分析模块和内部域名生成模块，用于分析页面中适合更改的域名及域名数量，并且生成需要使用到的内部域名。其中，页面分析模块用于分析页面中适合更改的域名及域名数量。内部域名生成模块用于生成需要使用到的内部域名，用于后续改善浏览器单域名并发限制对加载时间的影响。
[0080]请求和内容合并模块包括页面元素分析模块和生成合并配置模块，用于分析页面内适合合并的CSS或者js文件，并生成合并文件配置。其中，页面元素分析模块用于分析页面内适合合并的CSS或者js文件。生成合并配置模块用于生成合并文件配置。
[0081 ] DNS预热模块包括DNS分析模块和生成配置模块，用于分析页面部分外链DNS时间长的元素，并生成预热配置结果。其中，DNS分析模块用于分析页面部分外链DNS时间长的元素。生成配置模块用于生成预热配置结果。
[0082]在预热配置结果中，需要在HTML文档〈head〉标签中增加DNS预取的域名。比如客户的测试页面中有包含fonts, googleapis.com, googl e-analytics, com, 2个资源域名，需要对这2个域名进行DNS预取。
[0083]页面中要达到效果如下:
[0084]〈head〉
[0085]〈link rel = 〃dns_prefetch〃href = 〃//fonts.googleapis.com〃>
[0086]〈link rel = 〃dns_prefetch〃href = 〃//google-analytics.com〃>
[0087]无用数据删除模块包括无用数据分析模块和生成配置模块，用于分析网页中合适去除的对用户无用的数据，并生成无用数据删除配置。其中，无用数据分析模块用于分析网页中合适去除的对用户无用的数据，包括空格和注释等。生成配置模块用于生成无用数据删除配置。其中，去除空格时，不删除标签中的空格，只删除数据部分的空格；将多个空格合并为一个空格，多个换行符合并成一份换行符。
[0088]动态HTML流传输模块包括页面元素分析统计模块和生成元素列表配置模块，用于分析提前加载静态元素列表，生成提前加载静态元素列表配置。页面元素分析统计模块用于分析提前加载静态元素列表。生成元素列表并配置模块用于生成提前加载静态元素列表配置。
[0089]实际浏览器请求到达代理服务器时先返回浏览器部分HTML，浏览器先请求获得部分分析得出的静态元素，例如图片等。实际源站响应到达时再请求其他文件，实现异步处理。处理模块在进行动态HTML流传输时，利用源站数据库生成及浏览器等待时间，提前加载静态元素。
[0090]启用分析与配置模块时，可以启用以上所有子模块，也可以只启用部分子模块。
[0091]步骤S2、所启用的各个分析与配置模块的子模块分别对页面进行分析。
[0092]步骤S3、各个所启用的分析与配置模块的子模块分别生成一份分析结果。
[0093]步骤S4、将所生成的所有分析结果生成一份统一配置文件。
[0094]其中，当访问该页面时，处理模块读取该统一配置文件的配置，并据此对页面进行处理。
[0095]步骤S5、处理模块根据所得到的统一配置文件对网页进行处理。
[0096]在实际操作中，用户可以根据当前网页传输的实际问题，选择合适的分析与配置模块的子模块进行分析，并生成统一配置文件，最后由处理模块统一的对网页进行处理，从而提高网页的传输性能。
[0097]综上所述，本发明的网页传输智能处理系统及其方法通过对传输阻塞和动态生成耗时长进行优化，减少了网页传输时间；通过调整资源顺序、合并请求与内容、利用浏览器的不同域名请求机制来减少阻塞的发生，加快内容传输的效率；充分利用源站生成动态内容产生的耗时，预先传输必需的静态资源文件，实现异步传输和复用等待时间来减少总体的传输时间。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0098]上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属【技术领域】中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
【权利要求】
1.一种网页传输智能处理系统，其特征在于:包括启动模块、分析与配置模块和处理模块； 所述启动模块用于启用或停用所述分析与配置模块； 所述分析与配置模块用于对网页进行分析并生成一份统一配置文件； 所述处理模块用于根据所述分析和配置模块所得到的统一配置文件对网页进行处理。
2.根据权利要求1所述的网页传输智能处理系统，其特征在于:所述启动模块启用分析与配置模块的所有或部分功能。
3.根据权利要求1所述的网页传输智能处理系统，其特征在于:所述分析与配置模块包括自适应资源加载顺序调整模块、域名改写模块、请求和内容合并模块、DNS预热模块、无用数据删除模块和动态HTML流传输模块。
4.根据权利要求3所述的网页传输智能处理系统，其特征在于: 所述自适应资源加载顺序调整模块用于通过重写HTML文件，以自适应测试的方式生成网页的最优加载顺序并生成配置； 所述域名改写模块用于分析页面中适合更改的域名及域名数量，并且生成需要使用到的内部域名； 所述请求和内容合并模块用于分析页面内适合合并的CSS或者js文件，并生成合并文件配直； 所述DNS预热模块用于分析页面部分外链DNS时间长的元素，并生成预热配置结果； 所述无用数据删除模块用于分析网页中合适去除的对用户无用的数据，并生成无用数据删除配置； 所述动态HTML流传输模块用于分析提前加载静态元素列表，生成提前加载静态元素列表配置。
5.根据权利要求4所述的网页传输智能处理系统，其特征在于:所述DNS预热模块在HTML文档〈head〉标签中增加DNS预取的域名。
6.根据权利要求4所述的网页传输智能处理系统，其特征在于:所述无用数据删除模块去除空格时,不删除标签中的空格,只删除数据部分的空格；将多个空格合并为一个空格，多个换行符合并成一份换行符。
7.根据权利要求4所述的网页传输智能处理系统，其特征在于:所述动态HTML流传输模块，包括页面元素分析统计模块和生成元素列表配置模块，所述页面元素分析统计模块用于分析提前加载静态元素列表；所述生成元素列表并配置模块用于生成提前加载静态元素列表配置。
8.根据权利要求4所述的网页传输智能处理系统，其特征在于:所述处理模块根据所述动态HTML流传输模块的配置，在进行动态HTML流传输时，浏览器请求到达代理服务器时先返回浏览器部分HTML，浏览器先请求获得部分分析得出的静态元素；实际源站响应到达时再请求其他文件，实现异步处理。
9.根据权利要求4所述的网页传输智能处理系统，其特征在于:所述处理模块根据所述动态HTML流传输模块的配置，在进行动态HTML流传输时，利用源站数据库生成及浏览器等待时间，提前加载静态元素。
10.一种根据权利要求1-9之一所述的网页传输智能处理系统的处理方法，其特征在于:包括以下步骤: 步骤S1、启用分析与配置模块的子模块； 步骤S2、所启用的各个分析与配置模块的子模块分别对页面进行分析； 步骤S3、各个所启用的分析与配置模块的子模块分别生成一份分析结果； 步骤S4、将所生成的所有分析结果生成一份统一配置文件； 步骤S5、处理模块根据所得到的统一配置文件对网页进行处理。
【文档编号】H04L29/08GK104468740SQ201410674263
【公开日】2015年3月25日 申请日期:2014年11月21日 优先权日:2014年11月21日
【发明者】洪珂, 林祖伟, 梁龙虎 申请人:网宿科技股份有限公司