一种基于网络流量进行实验的方法与设备的制作方法

专利名称：一种基于网络流量进行实验的方法与设备的制作方法
技术领域：
本发明涉及网络实验技术领域，尤其涉及一种基于网络流量进行实验的技术。
背景技术：
随着网络实验技术的不断发展，网络开发维护人员在并行利用网络流量进行实验时，对有效地获得及时准确的实验结果的要求也越来越高。现有的并行利用网络流量进行实验的技术中，一般将获得的实验网络流量进行划分，每个实验将分得该实验网络流量的一部分作为实验的样本，并根据该部分实验网络流量进行实验操作。例如图I所示，实验网络流量为X，待执行实验为El、E2、E3，实验网络流量X通过网络流量分流器被分为多个部分的实验网络流量xl、x2、x3，且满足X = xl+x2+x3，每个实验分得该多个部分的实验网络 流量中的一个部分的实验网络流量作为实验的样本，即xl执行实验El、x2执行实验E2、x3执行实验E3。然而，上述做法产生的问题是，由于每个实验能够得到的实验网络流量样本有限，可能导致实验结果不够准确，或为获得更为准确的实验结果，延长实验时间以获得更多的实验网络流量，这使得网络开发维护人员无法在较短时间之内准确地获取其希望获得理想的实验结果，进而增加执行实验的时间成本。因此，在实验网络流量固定的情况下，如何有效地利用该实验网络流量执行实验，以获得更为准确的实验结果，成为目前亟待解决的问题之一。

发明内容
本发明的目的是提供一种并行利用网络流量进行实验的方法与设备。根据本发明的一个方面，提供了一种计算机实现的并行利用网络流量进行实验的方法，其中，该方法包括以下步骤A并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。根据本发明的另一方面，还提供了一种并行利用网络流量进行实验的设备，其中，该设备包括实验执行装置，用于并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。与现有技术相比，本发明并行利用实验网络流量中至少部分网络流量来执行多个实验，由此提高每个实验获得的网络流量样本数量，在实验时间一定的情况下，使得实验结果准确性得到极大的提高，并降低实验执行的时间成本。


通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显
图I示出现有技术基于利用网络流量进行实验的原理示意图；图2示出根据本发明一个方面的并行利用网络流量进行实验的设备示意图；图3示出根据本发明一个方面的并行利用网络流量进行实验的设备原理示意图；图4示出根据本发明一个优选实施例的并行利用网络流量进行实验的设备示意图；图5示出根据本发明另一个优选实施例的并行利用网络流量进行实验的设备示意图；图6示出根据本发明又一个优选实施例的并行利用网络流量进行实验的设备示意图； 图7示出根据本发明再一个优选实施例的并行利用网络流量进行实验的设备示意图；图8示出根据本发明一个优选实施例的并行利用网络流量进行实验的设备示意图；图9示出根据本发明另一个优选实施例的并行利用网络流量进行实验的设备示意图；图10示出根据本发明另一个优选实施例的并行利用网络流量进行实验的设备原理示意图；图11示出根据本发明另一个优选实施例的并行利用网络流量进行实验的方法流程图；图12示出根据本发明另一个优选实施例的并行利用网络流量进行实验的方法原理流程图；图13示出根据本发明一个优选实施例的并行利用网络流量进行实验方法流程图；图14示出根据本发明另一个优选实施例的并行利用网络流量进行实验的方法流程图；图15示出根据本发明又一个优选实施例的并行利用网络流量进行实验的方法流程图；图16示出根据本发明再一个优选实施例的并行利用网络流量进行实验的方法流程图；图17示出根据本发明一个优选实施例的并行利用网络流量进行实验的方法流程图；图18示出根据本发明另一个优选实施例的并行利用网络流量进行实验的方法流程图。附图中相同或相似的附图标记代表相同或相似的部件。
具体实施例方式下面结合附图对本发明作进一步详细描述。图2为根据本发明一个方面的设备示意图，示出并行利用网络流量进行实验的设备。其中，实验设备I包括实验执行装置U。具体地，实验执行装置11并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。在此，实验设备I包括但不限于网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合，在此，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本领域技术人员应能理解上述实验设备仅为举例，其他现有的或今后可能出现的实验设备如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。更具体地，实验执行装置11并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。具体地，如图3所示，存在多个待执行的并行利用网络流量的实验E1、E2、E3，对于实验网络流量X，实验执行装置11将其中的一部分网络流量用于执行该多个实验中的某一个实验，如E1，以获得相应的实验反馈信息，而并行利用另一部分网络流量执行该多个实验中的至少两个实验，如El、E2，以获得相应的实验反馈信息，或者实验执行装置11并行利用该全部实验网络流量执行该多个实验中的至少两个实验，如E1、E3和E1、E2、E3，以获得相应的实验反馈信息，再或者实验执行装置11并行利用该全部网络流量执行该多个实验中的全部实验，以获得相应的实验反馈信息。在此，“并行利用”意指利用网络流量中的同一部分网络流量执行多个实验，该多个实验的执行方式不限于并发执行或顺序执行。其中，所述实验网络流量包括但不限于用户网页搜索请求、用户页面访问请 求、用户订阅信息、用户历史行为记录、其他网站服务器的访问请求等。例如，如图4所示，El为根据用户网页搜索请求获得搜索结果的实验，E2为将搜索结果按广告价格进行排序的实验，E3为将搜索结果按从左到右的方式展现的实验，实验执行装置11从实验网络流量中提取一条用户搜索网页请求II，并根据Il中的查询序列进行网页搜索，在此过程中实验El执行单元Illa获取搜索结果，然后，实验E2执行单元112a对实验El执行单元Illa获取的搜索结果按广告价格进行排序，接着，实验E3执行单元113a设置实验E2执行单元112a获得的排序后的搜索结果为按从左到右的方式展现，从而获得搜索结果页面作为反馈信息。又例如，如图5所示，El为根据用户网页搜索请求获得搜索结果的实验，E2为将搜索结果按广告价格进行排序的实验，E3为将搜索结果按从左到右的方式展现的实验，实验执行装置11从实验网络流量中提取一条用户搜索网页请求12，并根据12中的查询序列进行网页搜索，在此过程中实验El执行单元Illb获取搜索结果，然后，实验E2执行单元112b对实验El执行单元Illb获得的搜索结果按广告价格进行排序；在执行实验E2的同时，实验E3执行单元113b并发设置实验El执行单元Illb获得的搜索结果为按从左到右的方式展现，从而获得一个搜索结果页面作为反馈信息。再例如，如图6所示，E3为根据用户网页搜索请求将搜索结果按从左到右的方式展现的实验，E4为将页面以黄色背景显示的方式进行展现的实验，E5为压力测试实验，测试网站服务器可承受的最大压力负荷，从实验网络流量中提取一条用户搜索网页请求13，并根据13中的查询序列进行网页搜索，在此过程中实验E3执行单元113c将搜索结果按从左到右的方式展现，从而获得一个搜索结果页面作为反馈信息；在执行实验E3的同时，实验E4执行单元114c并发将搜索结果页面以黄色背景显示的方式进行展现，从而获得另一个搜索结果页面作为反馈信息；在执行实验E3、E4的同时，实验E5执行单元115c并发进行压力测试实验，从而获得网站服务器可承受的最大搜索压力负荷作为又一个反馈信息。再例如，如图7所示，E2为根据用户网页搜索请求，将搜索结果按广告价格进行排序的实验，E3为将搜索结果按从左到右的方式展现的实验，E6为根据用户订阅信息，推送该订阅信息更新内容，实验执行装置11从实验网络流量中提取一条用户搜索网页请求14，根据14中的查询序列进行网页搜索，在此过程中实验E2执行单元112d对该搜索结果按广告价格进行排序，接着，实验E3执行单元113d设置实验E2执行单元112d获得的排序后的搜索结果为按从左到右的方式展现，从而获得搜索结果页面作为反馈信息；然后，从实验网络流量中提取一条用户订阅信息15，15相对应的实验E6执行单元116d推送该用户订阅信息的更新内容，并将该用户订阅信息更新内容作为反馈信息。本领域技术人员应能理解上述执行多个实验或获取反馈信息的方式仅为举例，其他现有的或今后可能出现的执行多个实验和获取反馈信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。优选地，实验执行装置11是持续不断地工作。具体地，实验执行装置11并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。在此，本领域技术人员应理解“持续”是指实验执行装置11按照设定的或实时调整的工作模式要求进行执行多个实验以及获取实验反馈信息，直至实验执行装置11在较长时间内停止并行利用实 验网络流量中至少部分网络流量来执行多个实验。在一个优选实施例中(参照图8)，实验设备I还包括实验相关信息获取装置12’和网络流量获取装置13’，实验获取装置12’获取待执行的并行利用网络流量的多个实验的相关信息；网络流量获取装置13’根据所述多个实验的相关信息来过滤实验网络流量，以获得与所述多个实验相对应的所述至少部分网络流量。以下参照图8对该优选实施例进行详细描述，其中，实验执行装置11’并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息；其具体过程与前述参照图2所描述的实施例中实验执行装置11所执行的过程相同，为简明起见，以引用方式包含于此，而不做赘述。具体地，实验相关信息获取装置12’通过诸如按照预先约定的通信协议接收从网络服务器等网络设备发送的预设的并行利用网络流量的多个实验的相关信息，或通过第三方设备提供的应用程序接口(API)，从第三方设备中获取待执行的并行利用网络流量的多个实验的相关信息。例如，假设实验设备I为网络服务器，实验相关信息获取装置12’按照预先约定的通信协议，如http、https等通信协议，接收该网络服务器发送的预设的并行利用网络流量的待执行多个实验的相关信息。又如，实验相关信息获取装置12’根据第三方设备提供的应用程序接口(API)，向第三方设备发送获取并行利用网络流量的预设的多个实验的相关信息的请求，并接收该第三方设备基于该请求返回的预设多个实验的相关信息。在此，实验的相关信息包括但不限于参与执行用户请求的实验，如执行用户请求处理中的一个步骤，或执行一个完整的用户请求处理；执行内容推送的实验，如根据用户的订阅信息，执行用户订阅内容推送；及无用户交互的实验，如用于获取系统能提供的最大服务级别的压力测试实验。随后，网络流量获取装置13’根据多个实验的相关信息来过滤实验网络流量，以获得与所述多个实验相对应的所述至少部分网络流量。具体地，网络流量获取装置13’过滤实验网络流量，如遍历当前实验网络流量，提取其中一条网络流量，对该网络流量进行分析，提取该网络流量类型，将该网络流量类型与实验相关信息获取装置12’获取的待执行的并行利用网络流量的多个实验的相关信息一一进行匹配比较，若该网络流量类型满足该多个实验的相关信息，则网络流量获取装置13’获取该与该多个实验相对应的该一条网络流量，循环执行该操作，直至网络流量获取装置13’完成过滤全部实验网络流量，并获取与该多个实验相对应的至少部分网络流量。其中，实验网络流量包括但不限于从全网络流量中随机提取的用于实验的部分网络流量或从仿真网络流量中提取的用于实验的仿真网络流量。例如，实验相关信息获取装置12’获取待执行的并行利用网络流量的两个实验E2、E4的相关信息，其中，E2为根据用户搜索网页请求，将搜索结果按广告价格进行排序的实验，E4为将页面以黄色背景显示的方式进行展现的实验；网络流量获取装置13’利用随机从全网络流量中提取的用于实验的实验网络流量，提取其中一条网络流量16，对16进行分析，提取其网络流量类型为用户页面访问请求，将该网络流量类型与实验E2、E4的相关信息中包括的该两个实验能够处理的网络流量类型进行匹配比较，结果为实验E4能够处理的网络流量类型中包括16的网络流量类型，但实验E2能够处理的网络流量类型中不包括16的网络流量类型，则网络流量获取装置13’滤除该网络流量16 ;网络流量获取装置13’循环提取下一条网络流量17，对17进行分析，提取其网络流量类型为用户网页搜索请求，将该网络流量类型与实验E2、E4的相关信息中包括的两个实验能够处理的网络流量类型进行匹配比较，结果为实验E2、E4能够处理的网络流量类型中均包括17的网络流量类型，则网络流量获取 装置13’获取该网络流量17。本领域技术人员应能理解上述获取实验的相关信息或获取至少部分网络流量的方式仅为举例，其他现有的或今后可能出现的获取实验的相关信息和获取至少部分网络流量的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。在另一个优选实施例中(参照图9)实验设备I还包括实验顺序控制装置14”(参照图10)，该实验顺序控制装置14”根据所述多个实验的相关信息，确定所述多个实验的执行顺序；其中，所述实验执行装置11”还用于根据所述执行顺序，并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。以下参照图9对该另一优选实施例进行详细描述，其中，实验相关信息获取装置12”获取待执行的并行利用网络流量的多个实验的相关信息；网络流量获取装置13”根据所述多个实验的相关信息来过滤实验网络流量，以获得与所述多个实验相对应的所述至少部分网络流量；其具体过程与前述参照图8所描述的实施例中实验相关信息获取装置12’、网络流量获取装置13’所执行的过程相同，为简明起见，以引用方式包含于此，而不做赘述。具体地，实验顺序控制装置14”根据实验相关信息获取装置12”获取待执行的并行利用网络流量的多个实验的相关信息，提取多个实验的相关信息中多个实验相互依赖关系，例如实验El的输出是实验E2的输入，确定该多个实验的执行顺序；其中，实验执行装置11”还用于根据该执行顺序，并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。例如，实验相关信息获取装置12”获取待执行的并行利用网络流量的多个实验分别为El根据用户网页搜索请求获得搜索结果的实验、E2将搜索结果按广告价格进行排序的实验、E3将搜索结果按从左到右的方式展现的实验；其中，三个实验的相互依赖关系为El输出为E2和E3的输入，则实验顺序控制装置14”根据该依赖关系确定三个实验执行的顺序为先执行El获得El的实验输出结果，并将该输出作为E2和E3的实验输入并发执行E2和E3 ;然后，实验执行装置11”从实验网络流量中提取一条用户搜索网页请求12，并根据12中的查询序列进行网页搜索，在此过程中执行实验El以获取搜索结果，然后，执行实验E2对搜索结果按广告价格进行排序；在执行实验E2的同时，并发执行E3设置搜索结果为按从左到右的方式展现，从而获得一个搜索结果页面作为反馈信息。本领域技术人员应能理解上述确定多个实验的执行顺序的方式仅为举例，其他现有的或今后可能出现的确定多个实验的执行顺序的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。在另一个优选实施例中(参照图2)，实验执行装置11还并行利用实验网络流量中至少部分网络流量来执行多个实验，将每个实验的输出进行合并以 获得实验反馈信息。具体地，实验执行装置11还并行利用实验网络流量中至少部分网络流量来执行多个实验，从而获得每个实验的实验结果输出，将每个实验的输出进行合并以获得实验反馈信息。例如，E2为将搜索结果按广告价格进行排序的实验，E3为将搜索结果按从左到右的方式展现的实验，E4为将页面以黄色背景显示的方式进行展现的实验；实验执行装置11利用实验网络流量中的一条用户网页搜索请求18，并根据18中的查询序列进行网页搜索，在此过程中执行实验E2从而得到实验E2的实验结果输出，且执行E3从而得到实验E3的实验结果输出，并执行E4从而得到实验E4的实验结果输出，将三个实验结果输出合并，进而获得合并后的搜索结果页面作为反馈信息。本领域技术人员应能理解上述合并获得反馈信息的方式仅为举例，其他现有的或今后可能出现的合并获得反馈信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。在另一个优选实施例中(参照图2)，实验执行装置11并行利用实验网络流量中至少部分网络流量来执行多个实验，并基于每个实验的输出分别获得实验反馈信息。具体地，实验执行装置11还并行利用实验网络流量中至少部分网络流量来执行多个实验，从而获得每个实验的实验结果输出，并将每个实验的输出分别生成反馈结果。例如，E5为压力测试实验，测试网站服务器可承受的最大压力负荷，获得该网站服务器提供的最大的服务级别，E6为根据用户订阅信息，推送该订阅信息更新内容；实验执行装置11利用实验网络流量中的一条用户订阅信息19，执行实验E6对用户订阅信息更新内容进行推送，将该用户订阅信息更新内容作为反馈信息，同时执行实验E5进行压力测试，以获得服务器可承受的最大推送压力负荷作为反馈信息。本领域技术人员应能理解上述分别获得反馈信息的方式仅为举例，其他现有的或今后可能出现的分别获得反馈信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。在又一个优选实施例中(参照图2)，实验设备I还包括收集装置(未示出)，该收集装置根据所述反馈信息，收集实验结果信息。以下参照图2对该又一优选实施例进行详细描述，其中，实验执行装置11并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息；其具体过程与前述参照图2所描述的实施例中实验执行装置11所执行的过程相同，为简明起见，以引用方式包含于此，而不做赘述。具体地，收集装置根据实验执行装置11获得的实验反馈信息，收集实验结果信息。例如反馈信息为结果展示页面，收集装置根据该结果展示页面，收集实验结果信息。在此，实验结果信息包括但不限于内容展现量、千次展现价格等。例如，收集装置根据实验执行装置11获得的所有搜索结果页面，获得在这些搜索结果页面中各广告的展现次数，即各广告的内容展现量；并根据所有搜索结果页面中展现的各广告的广告单次展现价格及其内容展现量，通过公式“千次展现价格=((I广告
i=l
单次展现价格)/内容展现量)X 1000，k=内容展现量”，计算获得各广告的千次
展现价格。本领域技术人员应能理解上述收集实验结果信息的方式仅为举例，其他现有的或今后可能出现的收集实验结果信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。优选地,收集装置还包括提供单元(未示出)和结果收集单元(未示出)，该提供单元向用户提供所述反馈信息；该结果收集单元根据所述反馈信息和所述用户对所述反馈信息的响应，收集所述实验结果信息。具体地，根据实验执行装置11获得的诸如搜索结果页面的反馈信息，提供单元例如将该反馈信息发送至该用户的用户设备，用户通过其用户设备浏览该反馈信息；或者将该反馈信息的URL发送至该用户的用户设备，由该用户经该 用户设备点击该URL，从而进入相应页面以获得该反馈信息。例如，实验执行装置11获得的作为反馈信息的所有搜索结果页面，提供单元将该搜索结果页面发送至用户的用户设备，该用户通过该用户设备浏览该搜索结果页面。结果收集单元根据提供单元向用户提供的反馈信息和该(等)用户对该(等)反馈信息的响应，收集实验结果信息，例如根据提供单元向用户提供的搜索结果页面，和这些用户通过用户设备进行的浏览和点击操作记录，结果收集单元收集实验结果信息。在此，实验结果信息包括但不限于内容展现量、千次展现价格、平均点击率和平均点击价格等。例如，结果收集单元根据实验执行装置11获得的所有搜索结果页面，获得在这些搜索结果页面中各广告的展现次数，即各广告的内容展现量；结果收集单元根据所有搜索结果页面中展现的各广告的广告单次
展现价格及其内容展现量，通过公式“千次展现价格=((i广告单次展
Z=I
现价格)/内容展现量)X 1000，k =内容展现量”，计算获得各广告的千次展现
价格；结果收集单元根据用户通过用户设备对搜索结果页面的浏览和点击操作记录，获得用户对所有搜索结果页面中各广告的点击次数，计算用户对所有搜索结果页面中所展现的各广告的点击次数与在所有搜索结果页面中各广告的展现次数的比值，即用户点击率；结果收集单元根据用户通过用户设备对搜索结果页面的浏览和点击操作记录，获得用户对所有搜索结果页面中各广告的点击次数以及各广告的单次点击价格，通过公式
“平均点击价格=(i广告单次点击价格)/广告点击次数n =广告点击次
数”，例，其他现有的或今后可能出现的提供反馈信息及收集实验结果信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。更优选地，实验设备I还包括实验控制装置(未示出)，该实验控制装置在所述实验结果信息收敛时，结束所述实验。具体地，实验执行装置11并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得反馈信息；收集装置根据实验执行装置获得的反馈信息，收集实验结果信息；实验执行装置11和收集装置不断基于新的实验网络流量循环执行，实验控制装置检测该循环每次获得的实验结果信息，并且在收集的实验结果信息收敛时结束实验。在此，收敛表示实验结果信息数据，如对于用户点击率xl、x2等，存在某一函数f (X)，当f (Xl)、f (x2)等收敛于f (xO)时，实验结果信息收敛。例如，对收集装置收集的用户点击率进行统计，获得点击率为xl、x2、x3等，且这些用户点击率满足函数f(x)，对于任意实数b>0,存在 c>0,并当 0< |xl_xO| < c,0 < |x2_x0| <c,有函数 | f (xl)-f (x2)
<b存在，则用户点击率收敛于f(xO)，实验控制装置结束该实验。本领域技术人员应能理解上述结束实验的方式仅为举例，其他现有的或今后可能出现的结束实验的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。不同时间段的实验网络流量不同，因此根据每段时间的实验网络流量进行实验所获得的实验结果会有波动。根据不同实验网络流量执行该实验以获得不同的实验结果，直到该实验结果趋于收敛，据此所获得的实验结果信息准确性可靠性大大提高。在再一个优选实施例中(参照图8)，实验设备I还包括流量获取装置(未示出)，该流量获取装置根据实验的相关信息，获取与所述多个实验相对应的实验网络流量。以下参照图8对该再一优选实施例进行详细描述，其中，实验相关信息获取装置12’获取待执行 的并行利用网络流量的多个实验的相关信息；网络流量获取装置13’根据所述多个实验的相关信息来过滤实验网络流量，以获得与所述多个实验相对应的所述至少部分网络流量；实验执行装置11’并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息；其具体过程与前述参照图8所描述的实施例中实验相关信息获取装置12’、网络流量获取装置13’和实验执行装置11’所执行的过程相同，为简明起见，以引用方式包含于此，而不做赘述。具体地，流量获取装置根据实验相关信息获取装置12’获得的实验的相关信息，如实验内容或实验参数设置，获取与该(等)实验的相关信息相对应的实验网络流量，其中，实验内容包括但不限于处理用户网页搜索请求、处理用户订阅信息更新内容推送、无用户交互压力测试实验等，实验参数设置包括但不限于如实验所包括地理范围、实验对象等。在此，实验网络流量的获取方式包括但不限于随机地从全网络流量或仿真网络流量中提取流量作为实验网络流量。例如，根据实验的相关信息中预设实验内容为用户页面打开请求，预设实验地理范围为华北地区，流量获取装置根据全网络流量中每条用户请求的IP地址，有针对性的提取来自华北地区用户页面打开请求的网络流量作为实验网络流量。在此，本领域技术人员应能理解上述实验的相关信息中的任一项可以单独用于获取实验网络流量，也可以多项结合用于获取实验网络流量。本领域技术人员应能理解上述获取实验网络流量的方式仅为举例，其他现有的或今后可能出现的获取实验网络流量的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。优选地，流量获取装置还根据实验环境，调整实验网络流量在全网络流量中的比例；其中，所述实验环境包括但不限于以下至少任一项-所述全网络流量中的实际网络流量；-用于执行所述多个实验的时间长度。具体地，在预定实验网络流量下，流量获取装置根据实验环境如全网络流量的实际网络流量的大小、执行多个实验的时长等，提高或降低提取全网络流量的比例以作为实验网络流量。例如，假设当全网络流量的实际网络流量为150M时，提取该全网络流量中50%的流量作为实验网络流量，则当全网络流量的实际网络流量降低为IOOM时，在实验时间长度不变的情况下，为达到满足该实验所需的实验网络流量，流量获取装置提高全网络流量的提取比例至75%。又例如，假设当全网络流量的实际网络流量为250M，提取该全网络流量中的40%的流量作为实验网络流量，则当全网络流量的实际网络流量不变的情况下，实验时间长度缩短，为达到满足该实验所需的实验网络流量，流量获取装置提高全网络流量的提取比例至80%。本领域技术人员应能理解上述获取调整比例的方式仅为举例，其他现有的或今后可能出现的调整比例的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。优选地，所述实验网络流量包括但不限于以下至少任一项-用户网络流量；-仿真网络流量。具体地，若实验网络流量为用户网络流量，则流量获取装置从真实用户的全网络流量中提取部分网络流量作为实验网络流量；若实验网络流量为仿真网络流量，则流量获 取装置通过在专用仿真平台如Opnet、Matlab等进行流量模型的建模和仿真，以获取仿真网络流量。例如，流量获取装置随机地从用户网络流量提取流量作为实验网络流量。再如，流量获取装置利用专用仿真软件Matlab，进行用户网络流量的建模和仿真，获得与用户网络流量相同的仿真网络流量，该仿真网络流量达到预定的流量数据及各项性能指标，并从该仿真网络流量中提取实验网络流量。本领域技术人员应能理解上述实验网络流量仅为举例，其他现有的或今后可能出现的实验网络流量如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。图11为根据本发明一个方面的方法流程图，示出并行利用网络流量进行实验的过程。具体地，在步骤SI中，实验设备I并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。在此，实验设备I包括但不限于网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合，在此，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本领域技术人员应能理解上述实验设备仅为举例，其他现有的或今后可能出现的实验设备如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。更具体地，在步骤SI中，实验设备I并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。具体地，如图12所示，存在多个待执行的并行利用网络流量的实验El、E2、E3，对于实验网络流量X，在步骤SI中，实验设备I将其中的一部分网络流量用于执行该多个实验中的某一个实验，如E1，以获得相应的实验反馈信息，而并行利用另一部分网络流量执行该多个实验中的至少两个实验，如E1、E2，以获得相应的实验反馈信息，或者在步骤SI中，实验设备I并行利用该全部实验网络流量执行该多个实验中的至少两个实验，如E1、E3和E1、E2、E3，以获得相应的实验反馈信息，再或者在步骤SI中，实验设备I并行利用该全部网络流量执行该多个实验中的全部实验，以获得相应的实验反馈信息。在此，“并行利用”意指利用网络流量中的同一部分网络流量执行多个实验，该多个实验的执行方式不限于并发执行或顺序执行。其中，所述实验网络流量包括但不限于用户网页搜索请求、用户页面访问请求、用户订阅信息、用户历史行为记录、其他网站服务器的访问请求等。例如，如图13所示，El为根据用户网页搜索请求获得搜索结果的实验，E2为将搜索结果按广告价格进行排序的实验，E3为将搜索结果按从左到右的方式展现的实验，实验设备I从实验网络流量中提取一条用户搜索网页请求II，并根据Il中的查询序列进行网页搜索，在步骤SIIa中，实验设备I执行实验El以获取搜索结果，然后，在步骤S12a中，实验设备I执行实验E2对其在步骤Slla中获得的搜索结果按广告价格进行排序，接着，在步骤S13a中，实验设备I执行E3设置其在步骤S12a中获得的排序后的搜索结果为按从左到右的方式展现，从而获得搜索结果页面作为反馈信息。又例如，如图14所示，El为根据用户网页搜索请求获得搜索结果的实验，E2为将搜索结果按广告价格进行排序的实验，E3为将搜索结果按从左到右的方式展现的实验，实验设备I从实验网络流量中提取一条用户搜索网页请求12，并根据12中的查询序列进行网页搜索，在步骤Sllb中，实验设备I执行实验El以获取搜索结果，然后，在步骤S12b中，实验设备I对其在步骤Sllb中获得的搜索结果按广告价格进行排序；在执行实验E2的同时，实验设备I并发在步骤S13b中执行E3设置其在步骤Sllb中获得的搜索结果为按从左到右的方式展现，从而获得一个搜索结果页面作为反馈信息。再例如，如图15所示，E3为根据用户网页搜索请求将搜索结果按从左到右的方式展现的实验，E4为将页面以黄色背景显示的方式进行展现的实验，E5为压力测试实验，测 试网站服务器可承受的最大压力负荷，实验设备I从实验网络流量中提取一条用户搜索网页请求13，并根据13中的查询序列进行网页搜索，在步骤S13c中，实验设备I执行实验E3将搜索结果按从左到右的方式展现，从而获得一个搜索结果页面作为反馈信息；在执行实验E3的同时，实验设备I并发在步骤S 14c中并发执行E4将搜索结果页面以黄色背景显示的方式进行展现，从而获得另一个搜索结果页面作为反馈信息；在执行实验E3、E4的同时，实验设备I并发在步骤S15c中并发执行实验E5进行压力测试实验，从而获得网站服务器可承受的最大搜索压力负荷作为又一个反馈信息。再例如，如图16所示，E2为根据用户网页搜索请求，将搜索结果按广告价格进行排序的实验，E3为将搜索结果按从左到右的方式展现的实验，E6为根据用户订阅信息，推送该订阅信息更新内容，实验设备I从实验网络流量中提取一条用户搜索网页请求14，根据14中的查询序列进行网页搜索，在步骤S12d中，实验设备I执行实验E2对该搜索结果按广告价格进行排序，接着，在步骤S13d中，实验设备I执行E3设置其在步骤S12d中获得的排序后的搜索结果为按从左到右的方式展现，从而获得搜索结果页面作为反馈信息；然后，从实验网络流量中提取一条用户订阅信息15，在步骤S 16d中，实验设备I执行15相对应的实验E6以推送该用户订阅信息的更新内容，并将该用户订阅信息更新内容作为反馈信息。本领域技术人员应能理解上述执行多个实验或获取反馈信息的方式仅为举例，其他现有的或今后可能出现的执行多个实验和获取反馈信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。优选地，实验设备I在步骤SI中是持续不断地工作。具体地，在步骤SI中，实验设备I并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。在此，本领域技术人员应理解“持续”是指实验设备I在步骤SI中按照设定的或实时调整的工作模式要求进行执行多个实验以及获取实验反馈信息，直至实验设备I在较长时间内停止并行利用实验网络流量中至少部分网络流量来执行多个实验。在一个优选实施例中(参照图17)，该过程还包括步骤S2’和步骤S3’，在步骤S2’中，实验设备I获取待执行的并行利用网络流量的多个实验的相关信息；在步骤S3’中，实验设备I根据所述多个实验的相关信息来过滤实验网络流量，以获得与所述多个实验相对应的所述至少部分网络流量。以下参照图17对该优选实施例进行详细描述，其中，在步骤SI，中，实验设备I并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息；其具体过程与前述参照图11所描述的实施例中实验设备I在步骤SI中所执行的过程相同，为简明起见，以引用方式包含于此，而不做赘述。具体地，在步骤S2’中，实验设备I通过诸如按照预先约定的通信协议接收从网络服务器等网络设备发送的预设的并行利用网络流量的多个实验的相关信息，或通过第三方设备提供的应用程序接口(API)，从第三方设备中获取待执行的并行利用网络流量的多个实验的相关信息。例如，假设实验设备I为网络服务器，在步骤S2’中，实验设备I按照预先约定的通信协议，如http、https等通信协议，接收该网络服务器发送的预设的并行利用网络流量的待执行多个实验的相关信息。又如，在步骤S2’中，实验设备I根据第三方设备提供的应用程序接口(API)，向第三方设备发送获取并行利用网络流量的预设的多个实验的相关信息的请求，并接收该第三方设备基于该请求返回的预设多个实验的相关信息。在此，实验的相关信息包括但不限于参与执行用户请求的实验，如执行用户请求处理中的一个步 骤，或执行一个完整的用户请求处理；执行内容推送的实验，如根据用户的订阅信息，执行用户订阅内容推送；及无用户交互的实验，如用于获取系统能提供的最大服务级别的压力测试实验。随后，在步骤S3’中，实验设备I根据多个实验的相关信息来过滤实验网络流量，以获得与所述多个实验相对应的所述至少部分网络流量。具体地，在步骤S3’中，实验设备I过滤实验网络流量，如遍历当前实验网络流量，提取其中一条网络流量，对该网络流量进行分析，提取该网络流量类型，将该网络流量类型与实验设备I在步骤S2’中获取的待执行的并行利用网络流量的多个实验的相关信息一一进行匹配比较，若该网络流量类型满足该多个实验的相关信息，则在步骤S3’中，实验设备I获取该与该多个实验相对应的该一条网络流量，循环执行该操作，直至实验设备I在步骤S3’中完成过滤全部实验网络流量，并获取与该多个实验相对应的至少部分网络流量。其中，实验网络流量包括但不限于从全网络流量中随机提取的用于实验的部分网络流量或从仿真网络流量中提取的用于实验的仿真网络流量。例如，在步骤S2’中，实验设备I获取待执行的并行利用网络流量的两个实验E2、E4的相关信息，其中，E2为根据用户搜索网页请求，将搜索结果按广告价格进行排序的实验，E4为将页面以黄色背景显示的方式进行展现的实验；在步骤S3’中，实验设备I利用随机从全网络流量中提取的用于实验的实验网络流量，提取其中一条网络流量16，对16进行分析，提取其网络流量类型为用户页面访问请求，将该网络流量类型与实验E2、E4的相关信息中包括的该两个实验能够处理的网络流量类型进行匹配比较，结果为实验E4能够处理的网络流量类型中包括16的网络流量类型，但实验E2能够处理的网络流量类型中不包括16的网络流量类型，则在步骤S3’中，实验设备I滤除该网络流量16 ;实验设备I在步骤S3’中循环提取下一条网络流量17，对17进行分析，提取其网络流量类型为用户网页搜索请求，将该网络流量类型与实验E2、E4的相关信息中包括的两个实验能够处理的网络流量类型进行匹配比较，结果为实验E2、E4能够处理的网络流量类型中均包括17的网络流量类型，则实验设备I’获取该网络流量17。本领域技术人员应能理解上述获取实验的相关信息或获取至少部分网络流量的方式仅为举例，其他现有的或今后可能出现的获取实验的相关信息和获取至少部分网络流量的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。在另一个优选实施例中(参照图18)，该过程还包括步骤S4”，在步骤S4”中，实验设备I根据所述多个实验的相关信息，确定所述多个实验的执行顺序；其中，在步骤SI”中，实验设备I还用于根据所述执行顺序，并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。以下参照图18对该另一优选实施例进行详细描述，其中，在步骤S2”中，实验设备I获取待执行的并行利用网络流量的多个实验的相关信息；在步骤S3”中，实验设备I根据所述多个实验的相关信息来过滤实验网络流量，以获得与所述多个实验相对应的所述至少部分网络流量；其具体过程与前述参照图17所描述的实施例中实验设备I在步骤S2’和步骤S3’中所执行的过程相同，为简明起见，以引用方式包含于此，而不做赘述。 具体地，在步骤S4”中，实验设备I根据其在步骤S2”中获取待执行的并行利用网络流量的多个实验的相关信息，提取多个实验的相关信息中多个实验相互依赖关系，例如实验El的输出是实验E2的输入，确定该多个实验的执行顺序；其中，在步骤SI”中，实验设备I还用于根据该执行顺序，并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。例如，在步骤S2”中，实验设备I获取待执行的并行利用网络流量的多个实验分别为El根据用户网页搜索请求获得搜索结果的实验、E2将搜索结果按广告价格进行排序的实验、E3将搜索结果按从左到右的方式展现的实验；其中，三个实验的相互依赖关系为El的输出为E2和E3的输入，则在步骤S4”中，实验设备I根据该依赖关系确定三个实验执行的顺序为先执行El获得El的实验输出结果，并将该输出作为E2和E3的实验输入并发执行E2和E3 ;在步骤SI”中，实验设备I从实验网络流量中提取一条用户搜索网页请求12，并根据12中的查询序列进行网页搜索，在此过程中执行实验El以获取搜索结果，然后，执行实验E2对搜索结果按广告价格进行排序；在执行实验E2的同时，并发执行E3设置搜索结果为按从左到右的方式展现，从而获得一个搜索结果页面作为反馈信息。本领域技术人员应能理解上述确定多个实验的执行顺序的方式仅为举例，其他现有的或今后可能出现的确定多个实验的执行顺序的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。在另一个优选实施例中(参照图11)，在步骤SI中，实验设备I还并行利用实验网络流量中至少部分网络流量来执行多个实验，将每个实验的输出进行合并以获得实验反馈信息。具体地，在步骤SI中，实验设备I还并行利用实验网络流量中至少部分网络流量来执行多个实验，从而获得每个实验的实验结果输出，将每个实验的输出进行合并以获得实验反馈信息。例如，E2为将搜索结果按广告价格进行排序的实验，E3为将搜索结果按从左到右的方式展现的实验，E4为将页面以黄色背景显示的方式进行展现的实验；在步骤SI中，实验设备I利用实验网络流量中的一条用户网页搜索请求18，并根据18中的查询序列进行网页搜索，在此过程中执行实验E2从而得到实验E2的实验结果输出，且执行E3从而得到实验E3的实验结果输出，并执行E4从而得到实验E4的实验结果输出，将三个实验结果输出合并，进而获得合并后的搜索结果页面作为反馈信息。本领域技术人员应能理解上述合并获得反馈信息的方式仅为举例，其他现有的或今后可能出现的合并获得反馈信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
在另一个优选实施例中(参照图11)，在步骤SI中，实验设备I并行利用实验网络流量中至少部分网络流量来执行多个实验，并基于每个实验的输出分别获得实验反馈信息。具体地，在步骤SI中，实验设备I还并行利用实验网络流量中至少部分网络流量来执行多个实验，从而获得每个实验的实验结果输出，并将每个实验的输出分别生成反馈结果。例如，E5为压力测试实验，测试网站服务器可承受的最大压力负荷，获得该网站服务器提供的最大的服务级别，E6为根据用户订阅信息，推送该订阅信息更新内容；在步骤SI中，实验设备I利用实验网络流量中的一条用户订阅信息19，执行实验E6对用户订阅信息更新内容进行推送，将该用户订阅信息更新内容作为反馈信息，同时执行实验E5进行压力测试，以获得服务器可承受的最大推送压力负荷作为反馈信息。本领域技术人员应能理解上述分别获得反馈信息的方式仅为举例，其他现有的或今后可能出现的分别获得反馈信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。在又一个优选实施例中(参照图11)，该过程还包括步骤S5(未示出)，在步骤S5中，实验设备I根据所述反馈信息，收集实验结果信息。以下参照图11对该又一优选实施例进行详细描述，其中，在步骤SI中，实验设备I并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息；其具体过程与前述参照图11所描述的实施例中实 验设备I在步骤SI中所执行的过程相同，为简明起见，以引用方式包含于此，而不做赘述。具体地，在步骤S5中，实验设备I根据其在步骤SI中获得的实验反馈信息，收集实验结果信息。例如反馈信息为结果展示页面，在步骤S5中，实验设备I根据该结果展示页面，收集实验结果信息。在此，实验结果信息包括但不限于内容展现量、千次展现价格等。例如，在步骤S5中，实验设备I根据其在步骤SI中获得的所有搜索结果页面，获得在这些搜索结果页面中各广告的展现次数，即各广告的内容展现量；并根据所有搜索结果页面中展现的各广告的广告单次展现价格及其内容展现量，通过公式
“千次展现价格=(广告单次展现价格)/内容展现量)xl000,k =内
容展现量”，计算获得各广告的千次展现价格。本领域技术人员应能理解上述收集实验结果信息的方式仅为举例，其他现有的或今后可能出现的收集实验结果信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。优选地，该过程还包括步骤S51(未示出)和S52(未示出)，在步骤S51中，实验设备I向用户提供所述反馈信息；在步骤S52中，实验设备I根据所述反馈信息和所述用户对所述反馈信息的响应，收集所述实验结果信息。具体地，根据实验设备I在步骤SI中获得的诸如搜索结果页面的反馈信息，在步骤S51中，实验设备I例如将该反馈信息发送至该用户的用户设备，用户通过其用户设备浏览该反馈信息；或者将该反馈信息的URL发送至该用户的用户设备，由该用户经该用户设备点击该URL，从而进入相应页面以获得该反馈信息。例如，在步骤SI中，实验设备I获得的作为反馈信息的所有搜索结果页面，在步骤S51中，实验设备I将该搜索结果页面发送至用户的用户设备，该用户通过该用户设备浏览该搜索结果页面。在步骤S52中，实验设备I根据其在步骤S51中向用户提供的反馈信息和该(等)用户对该(等)反馈信息的响应，收集实验结果信息，例如根据实验设备I在步骤S51中向用户提供的搜索结果页面，和这些用户通过用户设备进行的浏览和点击操作记录，在步骤S52中，实验设备I收集实验结果信息。在此，实验结果信息包括但不限于内容展现量、千次展现价格、平均点击率和平均点击价格等。例如，在步骤S52中，实验设备I根据其在步骤SI中获得的所有搜索结果页面，获得在这些搜索结果页面中各广告的展现次数，即各广告的内容展现量；在步骤S52中，实验设备I根据所有搜索结果页面中展现的各广告的广告
单次展现价格及其内容展现量，通过公式“千次展现价格=((i广告单次展现
卜I
价格)/内容展现量)X 1000，k =内容展现量”，计算获得各广告的千次展现价格；在步骤S52中，实验设备I根据用户通过用户设备对搜索结果页面的浏览和点击操作记录，获得用户对所有搜索结果页面中各广告的点击次数，计算用户对所有搜索结果页面中所展现的各广告的点击次数与在所有搜索结果页面中各广告的展现次数的比值，即用户点击率；在步骤S52中，实验设备I根据用户通过用户设备对搜索结果页面的浏览和点击操作记录，获得用户对所有搜索结果页面中各广告的点击次数以及各广告的单次点击价格，通过 公式“平均点击价格=(a广告单次点击价格)/广告点击次数,n =广告点
击次数”，计算获得各广告的平均点击价格。本领域技术人员应能理解上述提供反馈信息或收集实验结果信息的方式仅为举例，其他现有的或今后可能出现的提供反馈信息及收集实验结果信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。更优选地，该过程还包括步骤S6 (未示出)，在步骤S6中，实验设备I在所述实验结果信息收敛时，结束所述实验。具体地，在步骤SI中，实验设备I并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得反馈信息；在步骤S5中，实验设备I根据其在步骤SI中获得的反馈信息，收集实验结果信息；在步骤SI和步骤S5中，实验设备I不断基于新的实验网络流量循环执行，在步骤S6中，实验设备I检测该循环每次获得的实验结果信息，并且在收集的实验结果信息收敛时结束实验。在此，收敛表示实验结果信息数据，如对于用户点击率xl、x2等，存在某一函数f(x)，当f(xl)、f(x2)等收敛于f(x0)时，实验结果信息收敛。例如，对实验设备I在步骤S5中收集的用户点击率进行统计，获得点击率为xl、x2、x3等，且这些用户点击率满足函数f(x)，对于任意实数b > 0，存在c > 0，并当0
<xl-xO <c，0< x2-x0 < c，有函数|f(xl)-f(x2) I < b存在，则用户点击率收敛于f (xO),在步骤S6中，实验设备I结束该实验。本领域技术人员应能理解上述结束实验的方式仅为举例，其他现有的或今后可能出现的结束实验的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。不同时间段的实验网络流量不同，因此根据每段时间的实验网络流量进行实验所获得的实验结果会有波动。根据不同实验网络流量执行该实验以获得不同的实验结果，直到该实验结果趋于收敛，据此所获得的实验结果信息准确性可靠性大大提高。在再一个优选实施例中(参照图17)，该过程还包括步骤S7’，在步骤S7’中，实验设备I根据实验的相关信息，获取与所述多个实验相对应的实验网络流量。以下参照图17对该再一优选实施例进行详细描述，其中，在步骤S2’中，实验设备I获取待执行的并行利用网络流量的多个实验的相关信息；在步骤S3’中，实验设备I根据所述多个实验的相关信息来过滤实验网络流量，以获得与所述多个实验相对应的所述至少部分网络流量；在步骤SI’中，实验设备I并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息；其具体过程与前述参照图17所描述的实施例中实验设备I在步骤S2’、步骤S3’中和步骤SI’中所执行的过程相同，为简明起见，以引用方式包含于此，而不做赘述。具体地，在步骤S7’中，实验设备I根据其在步骤S2’中获得的实验的相关信息，如实验内容或实验参数设置，获取与该(等)实验的相关信息相对应的实验网络流量，其中，实验内容包括但不限于处理用户网页搜索请求、处理用户订阅信息更新内容推送、无用户交互压力测试实验等，实验参数设置包括但不限于如实验所包括地理范围、实验对象等。在此，实验网络流量的获取方式包括但不限于随机地从全网络流量或仿真网络流量中提取流量作为实验网络流量。例如，根据实验的相关信息中预设实验内容为用户页面打开请求，预设实验地理范围为华北地区，在步骤S7’中，实验设备I根据全网络流量中每条用户请求的IP地址，有针对性的提取来自华北地区用户页面打开请求的网络流量作为实验网络流量。在此，本领域技术人员应能理解上述实验的相关信息中的任一项可以单独用于获取实验网络流量，也可以多项结合用于获取实验网络流量。本领域技术人员应能理解上述获取实验网络流量的方式仅为举例，其他现有的或今后可能出现的获取实验网络流量的方式如 可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。优选地，在步骤S7’中，实验设备I还根据实验环境，调整实验网络流量在全网络流量中的比例；其中，所述实验环境包括但不限于以下至少任一项-所述全网络流量中的实际网络流量；-用于执行所述多个实验的时间长度。具体地，在预定实验网络流量下，在步骤S7’中，实验设备I根据实验环境如全网络流量的实际网络流量的大小、执行多个实验的时长等，提高或降低提取全网络流量的比例以作为实验网络流量。例如，假设当全网络流量的实际网络流量为150M时，提取该全网络流量中50%的流量作为实验网络流量，则当全网络流量的实际网络流量降低为100M时，在实验时间长度不变的情况下，为达到满足该实验所需的实验网络流量，在步骤S7’中，实验设备I提高全网络流量的提取比例至75%。又例如，假设当全网络流量的实际网络流量为250M，提取该全网络流量中的40%的流量作为实验网络流量，则当全网络流量的实际网络流量不变的情况下，实验时间长度缩短，为达到满足该实验所需的实验网络流量，在步骤S7’中，实验设备I提高全网络流量的提取比例至80%。本领域技术人员应能理解上述获取调整比例的方式仅为举例，其他现有的或今后可能出现的调整比例的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。优选地，所述实验网络流量包括但不限于以下至少任一项-用户网络流量；-仿真网络流量。具体地，若实验网络流量为用户网络流量，则在步骤S7’中，实验设备I从真实用户的全网络流量中提取部分网络流量作为实验网络流量；若实验网络流量为仿真网络流量，贝1J在步骤S7’中，实验设备I通过在专用仿真平台如Opnet、Matlab等进行流量模型的建模和仿真，以获取仿真网络流量。例如，在步骤S7’中，实验设备I随机地从用户网络流量提取流量作为实验网络流量。再如，在步骤S7’中，实验设备I利用专用仿真软件Matlab，进行用户网络流量的建模和仿真，获得与用户网络流量相同的仿真网络流量，该仿真网络流量达到预定的流量数据及各项性能指标，并从该仿真网络流量中提取实验网络流量。本领域技术人员应能理解上述实验网络流量仅为举例，其他现有的或今后可能出现的实验网络流量如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有 变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此夕卜，显然“包括” 一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
权利要求
1.一种由计算机实现的基于网络流量进行实验的方法，其中，该方法包括以下步骤 A并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。
2.根据权利要求I所述的方法，其中，该方法还包括 -获取待执行的并行利用网络流量的多个实验的相关信息； -根据所述多个实验的相关信息来过滤实验网络流量，以获得与所述多个实验相对应的所述至少部分网络流量。
3.根据权利要求2所述的方法，其中，该方法还包括 -根据所述多个实验的相关信息，确定所述多个实验的执行顺序； 其中，所述步骤A还包括 -根据所述执行顺序，并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。
4.根据权利要求I至3中任一项所述的方法，其中，所述步骤A还包括 -并行利用实验网络流量中至少部分网络流量来执行多个实验，将每个实验的输出进行合并以获得实验反馈信息。
5.根据权利要求I至3中任一项所述的方法，其中，所述步骤A还包括 -并行利用实验网络流量中至少部分网络流量来执行多个实验，并基于每个实验的输出分别获得实验反馈信息。
6.根据权利要求I至5中任一项所述的方法，其中，该方法还包括 i根据所述反馈信息，收集实验结果信息。
7.根据权利要求6所述的方法，其中，所述步骤i还包括 -向用户提供所述反馈信息； -根据所述反馈信息和所述用户对所述反馈信息的响应，收集所述实验结果信息。
8.根据权利要求6至7中任一项所述的方法，其中，该方法还包括 -重复执行所述步骤A和i，直到所述实验结果信息收敛。
9.根据权利要求2至8中任一项所述的方法，其中，该方法还包括 X根据所述多个实验的相关信息，获取与所述多个实验相对应的实验网络流量。
10.根据权利要求9所述的方法，其中，所述步骤X还包括 -根据实验环境，调整所述实验网络流量在全网络流量中的比例； 其中，所述实验环境包括以下至少任ー项 -所述全网络流量中的实际网络流量； -用于执行所述多个实验的时间长度。
11.根据权利要求10所述的方法，其中，所述实验网络流量包括以下至少任ー项 -用户网络流量； -仿真网络流量。
12.ー种基于网络流量进行实验的设备，其中，该设备包括 实验执行装置，用于并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。
13.根据权利要求12所述的设备，其中，该设备还包括 实验相关信息获取装置，用于获取待执行的并行利用网络流量的多个实验的相关信息； 网络流量获取装置，用于根据所述多个实验的相关信息来过滤实验网络流量，以获得与所述多个实验相对应的所述至少部分网络流量。
14.根据权利要求13所述的设备，其中，该设备还包括 实验顺序控制装置，用于根据所述多个实验的相关信息，确定所述多个实验的执行顺序; 其中，所述实验执行装置还用于根据所述执行顺序，并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。
15.根据权利要求12至14中任一项所述的设备，其中，实验执行装置还用于并行利用实验网络流量中至少部分网络流量来执行多个实验，将每个实验的输出进行合并以获得实验反馈信息。
16.根据权利要求12至14中任一项所述的设备，其中，实验执行装置还用于并行利用实验网络流量中至少部分网络流量来执行多个实验，并基于每个实验的输出分别获得实验反馈信息。
17.根据权利要求12至16中任一项所述的设备，其中，该设备还包括 收集装置，用于根据所述反馈信息，收集实验结果信息。
18.根据权利要求17所述的设备，其中，所述收集装置还包括 提供単元，用于向用户提供所述反馈信息； 结果收集単元，用于根据所述反馈信息和所述用户对所述反馈信息的响应，收集所述实验结果信息。
19.根据权利要求17至18中任一项所述的设备，其中，该设备还包括 实验控制装置，用于当所述实验结果信息收敛吋，结束所述实验。
20.根据权利要求13至19中任一项所述的设备，其中，该设备还包括 流量获取装置，用于根据实验的相关信息，获取与所述多个实验相对应的实验网络流量。
21.根据权利要求20所述的设备，其中，所述流量获取装置还用于根据实验环境，调整实验网络流量在全网络流量中的比例； 其中，所述实验环境包括以下至少任ー项 -所述全网络流量中的实际网络流量； -用于执行所述多个实验的时间长度。
22.根据权利要求21所述的设备，其中，所述实验网络流量包括以下至少任ー项 -用户网络流量； -仿真网络流量。
全文摘要
本发明的目的是提供一种并行利用网络流量进行实验的方法与设备。其中，实验设备并行利用实验网络流量中至少部分网络流量来执行多个实验，以获得实验反馈信息。本发明根据待执行的并行利用网络流量的多个实验的相关信息，通过过滤实验网络流量，获得与所述多个实验相对应的至少部分网络流量，并根据该部分网络流量，执行与部分网络流量相对应的多个实验，由此提高每个实验获得的网络流量样本输入数量，在实验时间一定的情况下，使得实验结果准确性得到极大的提高，并降低实验执行的时间成本。
文档编号H04L12/24GK102780573SQ20111012149
公开日2012年11月14日 申请日期2011年5月11日 优先权日2011年5月11日
发明者毛继明, 高楠 申请人:百度在线网络技术(北京)有限公司