转化数据的处理方法及装置制造方法
【专利摘要】本发明公开了一种转化数据的处理方法和装置。其中，该方法包括：获取转化数据和转化数据的来源信息；分别对转化数据进行汇总处理，对转化数据的来源信息进行汇总处理，对转化数据的来源信息筛选之后进行汇总处理，生成汇总处理结果，其中，汇总处理结果包括：转化数据汇总结果、来源信息汇总结果和筛选后来源信息汇总结果；对汇总处理结果进行归因处理或非归因处理，生成最终数据。通过本发明，能够实现避免了大量数据的重复导入，减少了系统处理时间。
【专利说明】转化数据的处理方法及装置
【技术领域】
[0001]本发明涉及计算机数据处理领域，具体而言，涉及一种转化数据的处理方法和装置。
【背景技术】
[0002]在计算机互联网的应用中，在用户访问目标网站之后，一般会产生一系列的操作，例如用户访问新浪网页之后，可以在新浪网上进行注册操作、点击浏览操作、购买付款操作等，上述在访问网页之后，用户进行的各种操作所生成的数据为转化数据。下面以访问者利用访问网页产品来进行购物的过程进行详细说明。
[0003]访问者在购买产品之前，往往会多次访问目标网站反复确认比较后才会购买，也就是说，访问者曾多次访问过目标网站，在其中的一次访问时发生了购买行为，通常情况下会转化归功于发生购买的那一次访问的来源渠道，但是购买之前的那些访问也对购买行为起到了一定的作用，因此我们将购买产生的转化按照一定的算法模型归功给不同的渠道来源。这些算法模型即归因模型，包含就近模型，首次模型，均摊模型，前4次以及最近次均摊丰吴型等。
[0004]就近模型:将每一次转化的价值分配该转化回溯时间窗口内最近I次有效渠道；首次模型:将每一次转化的价值分配该转化回溯时间窗口内第I次有效渠道；均摊模型:将每一次转化的价值平均分配该转化回溯时间窗口内所有有效渠道；前4次以及最近次均摊模型:将每一次转化的价值平均分配该转化回溯时间窗口内前4次以及最近I次有效渠道；
[0005]如图1所示，在应用了归因模型后，转化数据从物料收集系统导入到物料管理系统时，会先将数据进行初步处理后再导入，然后在物料管理系统里进行归因处理。物料管理系统中，展示给用户的是经过归因处理后的转化数据，而一些用户会想要看未进行归因处理过的数据，如图2所示，也就是转化值直接分配给产生转化的那个有效渠道，使用最接近的模型就近模型产生的数据还是会细微差距。因此如果给用户同时展示经过归因处理和未经过归因处理的数据时，一份源数据需要导入两次，经过两次处理(归因和非归因处理)。具体的，图1中获取entrance的汇总处理过程主要是将访问者和来源渠道进行对接的过程，而获取conversion的汇总会有数据的统计过程。图2中获取entrance的汇总处理是将会话和来源渠道进行对接的过程，实际上就是多个数据表通过会话和时间进行关联的过程。
[0006]目前针对相关技术的在对转化数据进行汇总处理过程中，会产生大量数据的重复处理和导入的问题，目前尚未提出有效的解决方案。会产生大量数据的重复导入，花费大量时间。
【发明内容】
[0007]针对相关技术的在对转化数据进行汇总处理过程中，会产生大量数据的重复处理和导入的问题，目前尚未提出有效的解决方案，为此，本发明的主要目的在于提供一种转化数据的处理方法和装置，以解决上述问题。
[0008]为了实现上述目的，根据本发明的一个方面，提供了一种转化数据的处理方法，该方法包括:获取转化数据和转化数据的来源信息；分别对转化数据进行汇总处理，对转化数据的来源信息进行汇总处理，对转化数据的来源信息筛选之后进行汇总处理，生成汇总处理结果，其中，汇总处理结果包括:转化数据汇总结果、来源信息汇总结果和筛选后来源信息汇总结果；对汇总处理结果进行归因处理或非归因处理，生成最终数据。
[0009]获取转化数据和转化数据的来源信息；对筛选后的转化来源信息汇总处理、转化来源信息汇总处理和转化数据汇总处理，获取汇总处理结果，汇总处理结果包括对转化数据的筛选后的来源信息汇总处理结果、来源信息汇总处理结果和转化数据信息汇总处理结果；对汇总处理结果进行归因处理或非归因处理，生成最终数据。
[0010]为了实现上述目的，根据本发明的另一方面，提供了一种转化数据的处理装置，该装置包括:获取模块，用于获取转化数据和转化数据的来源信息；汇总处理模块，用于分别对转化数据进行汇总处理，对转化数据的来源信息进行汇总处理，对转化数据的来源信息筛选之后进行汇总处理，生成汇总处理结果，其中，汇总处理结果包括:转化数据汇总结果、来源信息汇总结果和筛选后来源信息汇总结果；归因或非归因处理模块，用于对汇总处理结果进行归因处理或非归因处理，生成最终数据。
[0011]通过本发明，采用获取转化数据和转化数据的来源信息；分别对转化数据进行汇总处理，对转化数据的来源信息进行汇总处理，对转化数据的来源信息筛选之后进行汇总处理，生成汇总处理结果，其中，汇总处理结果包括:转化数据汇总结果、来源信息汇总结果和筛选后来源信息汇总结果；对汇总处理结果进行归因处理或非归因处理，生成最终数据，解决了相关技术的在对转化数据进行汇总处理过程中，会产生大量数据的重复处理和导入的问题，进而实现避免了大量数据的重复导入，减少了系统处理时间的效果。
【专利附图】
【附图说明】
[0012]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0013]图1是根据相关现有技术的归因模型的数据处理流程示意图；
[0014]图2是根据相关现有技术的非归因模型的数据处理流程示意图；
[0015]图3是根据本发明实施例的转化数据的处理方法的流程示意图；
[0016]图4是根据本发明实施例的转化数据的处理方法的详细流程示意图；以及
[0017]图5是根据本发明实施例的转化数据的处理装置的结构示意图。
【具体实施方式】
[0018]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0019]本申请涉及到的会话(session)是指一个终端用户与交互系统进行通信的时间间隔，例如从注册进入系统到注销退出系统之间所经过的时间。具体到Web中的Session指的就是用户在浏览某个网站时，从进入网站到浏览器关闭所经过的这段时间，也就是用户浏览这个网站所花费的时间。需要注意的是，一个Session的概念需要包括特定的客户端，特定的服务器端以及不中断的操作时间。引用Session则可以让一个用户访问多个页面之间的切换也会保留该用户的信息。
[0020]其中，Session信息对客户来说，不同的用户用不同的Session信息来记录，各个用户的Session对象互不干扰。A用户和C服务器建立连接时所处的Session同B用户和C服务器建立连接时所处的Session是两个不同的Session。
[0021]Session与Cookie是紧密相关的。Session的使用要求用户浏览器必须支持Cookie，如果浏览器不支持使用Cookie，或者设置为禁用Cookie，那么将不能使用Session。
[0022]本申请实施例中，可以采用会话或者访问者来统计用户的行为数据，一个访问者可能先后发生过若干会话，归因模型汇总的最小单位是访问者和时间，非归因模型汇总的最小数据是会话和时间。
[0023]实施例一:
[0024]在其最基本的配置中，图3是根据本发明实施例的转化数据的处理方法的流程示意图；图4是根据本发明实施例的转化数据的处理方法的详细流程示意图。
[0025]如图3所示，该转化数据的处理方法包括如下步骤:
[0026]步骤S10，获取转化数据和转化数据的来源信息。
[0027]步骤S30，分别对转化数据进行汇总处理，对转化数据的来源信息进行汇总处理，对转化数据的来源信息筛选之后进行汇总处理，生成汇总处理结果，其中，汇总处理结果包括:转化数据汇总结果、来源信息汇总结果和筛选后来源信息汇总结果。
[0028]步骤S50，对汇总处理结果进行归因处理或非归因处理，生成最终数据。
[0029]需要说明的是，本申请上述实施例中的转化数据的来源信息Entrance用于记录转化的来源信息，主要是指用户访问目标对象时的访问渠道的相关信息，例如，用户可以通过搜索引擎这个渠道的输入框输入关键字来搜索得到目标对象、用户可以通过一些网站推送的广告来进入目标网站，或者直接输入目标网站的链接地址，其中，搜索引擎、来源类型、来源网站、关键字，是否付费广告等都是来源信息。而转化数据conversion即用户访问目标网站之后，产生一系列的操作时记录的转化数据的部分，转化数据可以包括多种类型(例如，点击数、跳出率等)，而来源信息只需要一份。
[0030]具体的，上述方案实现了对转化数据进行汇总处理，对转化来源信息进行汇总，对转化来源信息筛选后汇总。其中，转化数据的汇总指的是转化值得汇总，比如点击数据的汇总，可能会涉及到数据计算比如求和的汇总；转化来源信息的汇总指的是转化来源广告类型等信息的汇总，比如会话、关键词等信息的汇总，主要是广告数据的关联，数据的对接，一般不涉及数据的计算；对筛选后的转化来源信息汇总处理结果，应该是针对每种转化，将其数据按照某种粒度进行汇总，是对转化数据的汇总。
[0031]本申请上述实施例所提供的方案，由于一份源数据只需要导入一次，然后分别进行对应的各种汇总处理，在得到汇总处理结果之后，统一进行归因处理或非归因处理，生成最终数据，即实现了将归因模型和非归因模型数据处理过程中一致的地方合并，不同的地方分别处理，从而减少了数据量、节省了处理时间从而在将数据分成转化数据和转化数据的来源信息的两个部分导入，使得处理更方便快捷，且可以节省资源的同时，避免了在对转化数据进行汇总处理过程中，会产生大量数据的重复处理和导入的问题，从而避免了大量数据的重复导入，减少了系统处理时间。
[0032]由此可知，本方案的核心思想是将归因模型和非归因模型数据处理过程中一致的地方合并，不同的地方分开处理。通过对比本方案和以前解决方案，可以发现本发明有如下的优点:可以同时支持归因和非归因的数据处理，不需要同时导入两份数据、做两次数据处理，减少了传递的数据量和处理时间。
[0033]具体的，本申请上述实施例涉及到的归因处理是指将按访问者和时间汇总后的conversion数据和entrance数据按照归因模型的原理进行对接,然后导入相应的数据库表中。而非归因处理是指:将汇总后的转化数据和entrance数据按照sessionkey和时间进行对接，然后导入相应的数据库表中。
[0034]如图4所示，本申请上述实施例中，步骤S30分别对转化数据进行汇总处理，对转化数据的来源信息进行汇总处理，对转化数据的来源信息筛选之后进行汇总处理，生成汇总处理结果的步骤可以包括如下处理方式:
[0035]本实施例提供的一种处理方式如下:
[0036]首先，对转化数据的来源信息进行初始筛选处理，获取通过预定渠道收集的转化数据的来源信息。具体的，如图4所示，该步骤实现的初始筛选处理主要是对来源的渠道信息的初始选择。
[0037]具体的，本申请上述步骤中的初始筛选处理是为后面的汇总也就是数据关联进行初步过滤的过程，根据来源渠道的相关信息在重复的数据中选择期望的数据，使得后续在关联的时候，数据是唯一的。例如，当以访问者为单位统计的时候，如果访问者某个时间产生的一个会话包含了若干个来源渠道，那么系统会根据来源渠道的信息给这次访问选择一个来源渠道作为此会话的有效来源渠道。比如会话信息中可能记录了:是否含有可以识别的参数(比如在百度投放的广告url中添加了某些特定的参数，通过识别这些参数可以了解到，访问者通过点击百度的付费广告来，此广告是百度的哪种广告，其关键词、推广计划、推广单元等)，是否记录了搜索引擎，是否记录了来源渠道等。根据会话中的信息，来选择有效的来源渠道；如果包含了可以识别的参数，那么我们可以更多的了解到用户的行为，这些数据是我们最希望得到的，因此我们把这个渠道作为最优先的选择；其次是我们希望分析的是搜索引擎的广告数据，因此如果有搜索引擎记录也是我们希望的；再次如果有来源渠道记录，也方便我们分析数据，也是我们希望得到的信息；那么如果会话没有相关信息的记录，就不太方便分析这些数据，是我们最不希望的，因此排在最后；根据上面的优先级，我们将会话和来源渠道进行关联，做最初的过滤。
[0038]上述整个数据处理过程中，将数据分成两部分处理，一部分主要是来源渠道相关数据，一部分是转化数据，两部分数据通过访问者id或者会话id关联。
[0039]一般情况下，本申请上述实施例中，归因模型是以人为中心的，所有的数据最后都汇总到人这个单位上，会将此人产生的会话进行综合分析，根据模型将转化归功于合理的那个。不使用归因模型则以会话为单位，不会管会话之间是否有关联，是否是同一个人产生的，转化是在哪个会话中发生的就会归功于哪个会话。如果不使用归因模型，那么会话的来源渠道默认为是着陆页面的渠道，也就是会话生成时，访问网站的来源渠道，不会管这个来源渠道是什么，有没有相关信息。
[0040]会话的数据表中最小的单位是会话和时间，也就是一次会话就是一条数据，但是会话相关的信息可能有若干条，比如若干来源渠道信息，比如访问了若干页面等，本申请中会话的原始数据如下表1所示:
[0041]表1:
[0042]
【权利要求】
1.一种转化数据的处理方法，其特征在于，包括: 获取转化数据和所述转化数据的来源信息； 分别对所述转化数据进行汇总处理，对所述转化数据的来源信息进行汇总处理，对所述转化数据的来源信息筛选之后进行汇总处理，生成汇总处理结果，其中，所述汇总处理结果包括:转化数据汇总结果、来源信息汇总结果和筛选后来源信息汇总结果； 对所述汇总处理结果进行归因处理或非归因处理，生成最终数据。
2.根据权利要求1所述的方法，其特征在于，分别对所述转化数据进行汇总处理，对所述转化数据的来源信息进行汇总处理，对所述转化数据的来源信息筛选之后进行汇总处理，生成汇总处理结果的步骤包括: 对所述转化数据的来源信息进行初始筛选处理，获取通过预定渠道收集的转化数据的来源信息； 按照第一粒度汇总方式对所述通过预定渠道收集的转化数据的来源信息进行汇总处理，生成所述筛选后的来源信息汇总处理结果。
3.根据权利要求1所述的方法，其特征在于，分别对所述转化数据进行汇总处理，对所述转化数据的来源信息进行汇总处理，对所述转化数据的来源信息筛选之后进行汇总处理，生成汇总处理结果的步骤包括:按照第二粒度汇总方式对所述转化数据的来源信息进行汇总处理，生成所述来源信息汇总处理结果。
4.根据权利要求1所述的方法，其特征在于，分别对所述转化数据进行汇总处理，对所述转化数据的来 源信息进行汇总处理，对所述转化数据的来源信息筛选之后进行汇总处理，生成汇总处理结果的步骤包括:按照第二粒度汇总方式对所述转化数据进行汇总处理，生成所述转化类型信息汇总处理结果。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，对所述汇总处理结果进行归因处理或非归因处理，生成最终数据的步骤包括: 读取所述来源信息汇总处理结果和所述转化类型信息汇总处理结果； 对所述来源信息汇总处理结果和所述转化类型信息汇总处理结果进行非归因处理，生成第一最终数据。
6.根据权利要求5所述的方法，其特征在于，在对所述来源信息汇总处理结果和所述转化类型信息汇总处理结果进行非归因处理，生成第一最终数据之后，所述方法还包括: 读取所述转化类型信息汇总处理结果； 按照第一粒度汇总方式对所述转化类型信息汇总处理结果进行汇总处理，得到转化类型中间结果； 获取所述筛选后的来源信息汇总处理结果和所述转化类型中间结果； 对所述筛选后的来源信息汇总处理结果和所述转化类型中间结果进行归因处理，生成最终数据。
7.一种转化数据的处理装置，其特征在于，包括: 获取模块，用于获取转化数据和所述转化数据的来源信息； 汇总处理模块，用于分别对所述转化数据进行汇总处理，对所述转化数据的来源信息进行汇总处理，对所述转化数据的来源信息筛选之后进行汇总处理，生成汇总处理结果，其中，所述汇总处理结果包括:转化数据汇总结果、来源信息汇总结果和筛选后来源信息汇总结果; 归因或非归因处理模块，用于对所述汇总处理结果进行归因处理或非归因处理，生成最终数据。
8.根据权利要求7所述的装置，其特征在于，所述汇总处理模块包括: 初始处理模块，用于对所述转化数据的来源信息进行初始筛选处理，获取通过预定渠道收集的转化数据的来源信息； 第一子生成模块，用于按照第一粒度汇总方式对所述通过预定渠道收集的转化数据的来源信息进行汇总处理，生成所述筛选后的来源信息汇总处理结果。
9.根据权利要求7所述的装置，其特征在于，所述汇总处理模块包括:第二子生成模块，用于按照第二粒度汇总方式对所述转化数据的来源信息进行汇总处理，生成所述来源信息汇总处理结果。
10.根据权利要求7所述装置，其特征在于，所述汇总处理模块包括:第三子生成模块，用于按照第二粒度汇总方式对所述转化数据进行汇总处理，生成所述转化类型信息汇总处理结果。
11.根据权利要求7至10中任意一项所述的装置，其特征在于，所述归因或非归因处理模块包括: 第一读取模块，用于读取所述来源信息汇总处理结果和所述转化类型信息汇总处理结果; 非归因处理模块，用于对所述来源信息汇总处理结果和所述转化类型信息汇总处理结果进行非归因处理，生成第一最终数据。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括: 第二读取模块，用于读取所述转化类型信息汇总处理结果； 汇总模块，用于按照第一粒度汇总方式对所述转化类型信息汇总处理结果进行汇总处理，得到转化类型中间结果； 子获取模块，用于获取所述筛选后的来源信息汇总处理结果和所述转化类型中间结果; 归因处理模块，用于对所述筛选后的来源信息汇总处理结果和所述转化类型中间结果进行归因处理，生成最终数据。
【文档编号】G06F17/30GK103605736SQ201310585781
【公开日】2014年2月26日 申请日期:2013年11月19日 优先权日:2013年11月19日
【发明者】陈改静, 杨基彬 申请人:北京国双科技有限公司