评估广告的多个新素材的方法、装置、存储介质和系统与流程

本发明涉及广告素材领域，尤其涉及评估广告的多个新素材的方法、装置、存储介质和系统。

背景技术：

在游戏行业，广告的投放(上线)对于新用户的获取至关重要，广告素材的选择会直接影响到受众的感观。当有多个新素材需要上线时，需要对这些新素材进行评估，以确定哪些适合于上线。然而，现阶段对于广告素材的评估，都是通过人工完成，比较主观，对于广告素材的效果也难以统计评估。

技术实现要素：

本发明提供一种用于评估广告的多个新素材的方法，新素材具有多个指标，方法包括：

获取步骤，获取多个新素材、以及多个新素材中的每个新素材的多组维度分，多组维度分中的每组维度分包含多个维度分；

新素材筛选步骤，根据多组维度分以及预先确定的一组维度权重，对多个新素材进行筛选，得到多个筛选后新素材；

指标权重计算步骤，根据预先获取的多组相对权重来计算一组指标权重，其中，多组相对权重中的每组相对权重包含多个指标相互之间的多个相对权重；

效果分计算步骤，根据多个筛选后新素材经过上线测试后得到的各自的多个指标的值、以及一组指标权重，计算多个筛选后新素材各自的效果分；

上线步骤，根据多个筛选后新素材各自的效果分，使多个筛选后新素材中的至少一个新素材上线。

其中，在新素材筛选步骤中，根据多组维度分以及一组维度权重计算多个新素材各自的筛选分，并根据筛选分进行筛选，得到多个筛选后新素材。

其中，在指标权重计算步骤中，使用第一预定算法，计算与每组相对权重对应的一组分析权重，从而得到多组分析权重，并将多组分析权重的平均值作为一组指标权重。

其中，通过以下步骤获得一组维度权重：

制作步骤，获取多个当前素材、以及多个当前素材中的每个当前素材的多组维度分；

预测分计算步骤，根据每个当前素材的多组维度分、以及一组当前维度权重，计算每个当前素材的预测分；

评估分计算步骤，根据每个当前素材经过上线测试得到的多个指标的值、以及一组指标权重，计算每个当前素材的评估分；

筛选步骤，根据评估分，对多个当前素材进行筛选，以获取多个筛选素材；

调整步骤，根据多个筛选素材各自的预测分和评估分，对一组当前维度权重进行调整，从而确定一组维度权重。

其中，在筛选步骤中，对多个当前素材进行筛选，得到多个当前筛选素材，将多个当前筛选素材与多个先前筛选素材一起作为多个筛选素材。

其中，调整步骤进一步包括：

第一判断步骤，判断多个筛选素材中的每个筛选素材的预测分和评估分是否匹配，如果匹配，则进入第二判断步骤，否则进入计算步骤；

计算步骤，根据多个当前素材以及先前获取的多个先前素材各自的评估分，利用第二预定算法，计算一组更新维度权重，并将一组更新维度权重作为一组当前维度权重；

第二判断步骤，判断多个当前素材是否是最后的素材，如果是，则进入确定步骤，否则返回制作步骤；

确定步骤，将一组当前维度权重确定为一组维度权重。

本发明还提供一种用于评估广告的多个新素材的装置，新素材具有多个指标，装置包括：

获取单元，获取多个新素材、以及多个新素材中的每个新素材的多组维度分，多组维度分中的每组维度分包含多个维度分；

新素材筛选单元，根据多组维度分以及预先确定的一组维度权重，对多个新素材进行筛选，得到多个筛选后新素材；

指标权重计算单元，根据预先获取的多组相对权重来计算一组指标权重，其中，多组相对权重中的每组相对权重包含多个指标相互之间的多个相对权重；

效果分计算单元，根据多个筛选后新素材经过上线测试后得到的各自的多个指标的值、以及一组指标权重，计算多个筛选后新素材各自的效果分；

上线单元，根据多个筛选后新素材各自的效果分，使多个筛选后新素材中的至少一个新素材上线。

其中，在新素材筛选单元中，根据多组维度分以及一组维度权重计算多个新素材各自的筛选分，并根据筛选分进行筛选，得到多个筛选后新素材。

其中，在指标权重计算单元中，使用第一预定算法，计算与每组相对权重对应的一组分析权重，从而得到多组分析权重，并将多组分析权重的平均值作为一组指标权重。

其中，进一步包括维度权重确定单元，维度权重确定单元包括：

制作单元，获取多个当前素材、以及多个当前素材中的每个当前素材的多组维度分；

预测分计算单元，根据每个当前素材的多组维度分、以及一组当前维度权重，计算每个当前素材的预测分；

评估分计算单元，根据每个当前素材经过上线测试得到的多个指标的值、以及一组指标权重，计算每个当前素材的评估分；

筛选单元，根据效果分，对多个当前素材进行筛选，以获取多个筛选素材；

调整单元，根据多个筛选素材各自的预测分和评估分，对一组当前维度权重进行调整，从而确定一组维度权重。

其中，在筛选单元中，对多个当前素材进行筛选，得到多个当前筛选素材，将多个当前筛选素材与多个先前筛选素材一起作为多个筛选素材。

其中，调整单元进一步包括：

第一判断单元，判断多个筛选素材中的每个筛选素材的预测分和评估分是否匹配，如果匹配，则进入第二判断步骤，否则进入计算步骤；

计算单元，根据多个当前素材以及先前获取的多个先前素材各自的评估分，利用第二预定算法，计算一组更新维度权重，并将一组更新维度权重作为一组当前维度权重；

第二判断单元，判断多个当前素材是否是最后的素材，如果是，则进入确定步骤，否则返回制作步骤；

确定单元，将一组当前维度权重确定为一组维度权重。

本发明还提供一种计算机可读的存储介质，存储介质具有存储在其中的指令，当指令被执行时，使得计算机执行用于评估广告的多个新素材的方法，指令包括：

获取指令，获取多个新素材、以及多个新素材中的每个新素材的多组维度分，多组维度分中的每组维度分包含多个维度分；

新素材筛选指令，根据多组维度分以及预先确定的一组维度权重，对多个新素材进行筛选，得到多个筛选后新素材；

指标权重计算指令，根据多组相对权重来计算一组指标权重，其中，多组相对权重中的每组相对权重包含多个指标相互之间的多个相对权重；

效果分计算指令，根据多个筛选后新素材经过上线测试后得到的各自的多个指标的值、以及一组指标权重，计算多个筛选后新素材各自的效果分；

上线指令，根据多个筛选后新素材各自的效果分，使多个筛选后新素材中的至少一个新素材上线。

本发明进一步提供一种系统，包括：

存储器，用于存储由系统的一个或多个处理器执行的指令，以及

处理器，是系统的处理器之一，用于执行上述的用于评估广告的多个新素材的方法。

通过本发明，可以对新素材进行筛选，并使用筛选后的新素材来更新上线中的素材，可以优化上线中的素材，从而降低广告成本，同时减少人的主观干扰。

附图说明

图1示出了根据本发明实施例的用于评估广告的多个新素材的系统的框图；

图2示出了根据本发明实施例的用于评估广告的多个新素材的方法的流程图；

图3示出了根据本发明实施例的预先确定一组维度权重的方法的流程图；

图4示出了图3中的调整步骤的流程图；

图5示出了根据本发明实施例的用于评估广告的多个新素材的装置的结构图；

图6示出了根据本发明实施例的维度权重确定单元的结构图；

图7示出了图6种的调整单元的结构图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“第一”、“第二”等仅用于区分描述，不表示任何顺序，不能理解为指示或暗示相对重要性。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明所提供的实施方式可以在移动终端、计算机终端、或者类似的运算装置(如ecu(electroniccontrolunit，电子控制单元))、系统中执行。以运行在系统为例，图1是根据本发明实施例的用于评估广告的多个新素材的系统的硬件结构框图。如图1所示，系统100可以包括一个或多个(图中仅示出一个)处理器101(处理器101可以包括但不限于中央处理器cpu、图像处理器gpu、数字信号处理器dsp、微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于与用户交互的输入输出接口102、用于存储数据的存储器103、以及用于通信功能的传输装置104。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，系统100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

输入输出接口102可以连接一个或多个显示器、触控屏等，用于显示从系统100传送的数据，还可以连接键盘、触控笔、触控板和/或鼠标等，用于输入诸如，选择、创建、编辑等的用户指令。

存储器103可用于存储应用软件的软件程序以及模块，例如与本发明实施方式中的用于评估广告的多个新素材的方法对应的程序指令/模块，处理器101通过运行存储在存储器103内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的用于评估广告的多个新素材的方法。存储器103可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器103可进一步包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至系统100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置104用于经由一个网络接收或者发送数据。上述的网络具体实例可包括系统100的通信供应商提供的互联网。在上述运行环境下，提供了本发明的用于评估广告的多个新素材的方法的流程图。

图2示出了根据本发明实施例的用于评估广告的多个新素材的方法的流程图，图5示出了根据本发明实施例的用于评估广告的多个新素材的装置50的结构图。如图5所示，装置50包括获取单元51、新素材筛选单元52、指标权重计算单元53、效果分计算单元54、上线单元55。

结合图2和图5，在获取步骤s21，获取单元51获取多个新素材、以及多个新素材中的每个新素材的多组维度分，多组维度分中的每组维度分包含多个维度分。

本例中，例如多个广告专家分别从创新、清晰、匹配、细节、联想/知识产权这5个维度对多个新素材中的每个新素材进行打分，因此对于每个新素材，可以从多个广告专家获取多组维度分。例如，获取了10个新素材，并且有3个广告专家。如此，对于每个新素材，可以获得3组维度分，且每组维度分具有与创新、清晰、匹配、细节、联想/知识产权分别对应的5个维度分。

在新素材筛选步骤s22，新素材筛选单元52根据每个新素材的多组维度分以及预先确定的一组维度权重，对多个新素材进行筛选，得到多个筛选后新素材。

其中，新素材筛选单元52根据每个新素材的多组维度分以及一组维度权重计算多个新素材各自的筛选分，并根据筛选分进行筛选，得到多个筛选后新素材。

具体的，根据公式1计算每个新素材的每组维度综合分bij，

其中，aijk表示第j个新素材的第i组中的第k个维度分，即，第i个广告专家从第k个维度(例如，创新)对第j个新素材的打分，wk表示一组维度权重中的第k个维度(例如，创新)的权重。其中，一组维度权重包含5个维度权重。

关于预先确定一组维度权重的内容，将在下面详细说明。

接着，根据每组维度综合分bij，利用公式2计算第j个新素材的筛选分cj，

cj＝∑0≤i≤mbij/n公式2

其中，m表示多组维度分的组数，n表示多个新素材的个数。本例中，m例如是3，n例如是10。如此，可以获得10个新素材的10个筛选分。

然后，对这10个筛选分按照从大到小的顺序进行排序，删除末尾的一部分新素材。例如删除末尾10％-20％的新素材。经过筛选之后，例如剩下了9个新素材，并将这9个新素材作为多个筛选后新素材。

在指标权重计算步骤s23，指标权重计算单元53根据预先获取的多组相对权重来计算一组指标权重，其中，多组相对权重中的每组相对权重包含多个指标相互之间的多个相对权重。

这里，每个素材可以有多个指标，例如有如下8个指标：安装数、按安装付费(cpi)、点击通过率(ctr)、点击值比(cvr)、1日投资回报率、2日投资回报率、次留和付费率。

其中，预先获取的多组相对权重是指，由多个(例如4个)广告专家分别对8个指标两两之间的相对权重进行打分。例如，第1个广告专家对8个指标两两之间的相对权重def进行打分，def表示指标e与指标f对素材的重要性(1≤e，f≤8)，从而得到第1组相对权重。如此，本例中，可以预先获取4组相对权重。

具体的，指标权重计算单元53使用第一预定算法，计算与每组相对权重对应的一组分析权重，从而得到多组分析权重，并将多组分析权重的平均值作为一组指标权重。

其中，第一预定算法例如是现有的层次分析法(ahp)。针对第1组相对权重def，指标权重计算单元53使用层次分析法计算出第一组分析权重w1，其中，第一组分析权重w1包含分别与上述8个指标对应的8个权重。同样，可以计算第二组分析权重w2、第三组分析权重w3、第四组分析权重w4，且每一组分析权重包含分别与8个指标对应的8个权重。然后，将4组分析权重w1，w2，w3，w4的平均值作为一组指标权重w。

在效果分计算步骤s24中，效果分计算单元54根据多个筛选后新素材经过上线测试后得到的各自的多个指标的值、以及一组指标权重w，计算多个筛选后新素材各自的效果分。

本例中，例如将经过筛选后的9个新素材上线到广告渠道(例如maia渠道)测试一段时间，例如测试了3天，可以得到每个素材的8个指标(安装数、按安装付费(cpi)、点击通过率(ctr)、点击值比(cvr)、1日投资回报率、2日投资回报率、次留和付费率)的值。

接着，根据公式3计算9个新素材中第j个新素材的效果分。

其中，xr表示第j个新素材的第r个指标(例如，安装数)的值，wr表示在步骤s23中计算得到的一组指标权重w中与第r个指标(例如，安装数)对应的权重。这里，一组指标权重w包含与8个指标分别一一对应的8个指标权重。如此，可以得到9个新素材的9个效果分。

在上线步骤s25，上线单元55根据多个筛选后新素材各自的效果分，使多个筛选后新素材中的至少一个新素材上线。其中，上线单元55根据多个筛选后新素材各自的效果分、以及多个当前上线素材各自的效果分，使至少一个新素材上线。

例如，当前上线素材有100个，且各自都有效果分，将9个新素材的9个效果分和100个当前上线素材的100个效果分一起按从大到小的顺序进行排序，删除末尾的一部分素材。例如删除末尾10％-20％的素材。经过筛选之后，例如剩下了90个素材，且其中包含7个新素材，即，使7个新素材上线。此时，保持上线的素材被更新为这90个素材。

经过上述步骤，对10个新素材经过评估后，最终确定了7个新素材可以完成上线。

可以看出，通过上述过程，本发明对新素材进行筛选，并使用筛选后的新素材来更新上线中的素材，可以优化上线中的素材，从而降低广告成本，同时减少人的主观干扰。

下面详细说明预先确定步骤s22中的一组维度权重的方法。

本发明中，装置50还包括如图6所示的维度权重确定单元60，如图6所示，维度权重确定单元60包括制作单元61、预测分计算单元62、评估分计算单元63、筛选单元64、调整单元65。

图3示出了根据本发明实施例的预先确定一组维度权重的方法的流程图，下面结合图3和图6进行说明。

在制作步骤s31，制作单元61获取多个当前素材、多个当前素材中的每个当前素材的多组维度分。

本例中，例如多个广告专家分别从创新、清晰、匹配、细节、联想/知识产权这5个维度对多个当前素材中的每个当前素材进行打分，因此对于每个当前素材，可以从多个广告专家获取多组维度分。例如，获取了15个当前素材，并且有3个广告专家。如此，对于每个当前素材，可以获得3组维度分，且每组维度分具有与创新、清晰、匹配、细节、联想/知识产权分别一一对应的5个维度分。

在预测分计算步骤s32，预测分计算单元62根据每个当前素材的多组维度分、以及一组当前维度权重，计算每个当前素材的预测分。

具体的，根据公式4计算每个当前素材的每组维度综合分bpq，

其中，apqk表示第q个当前素材的第p组中的第k个维度分，即，第p个广告专家从第k个维度(例如，创新)对第q个当前素材的打分，wv表示一组当前维度权重中的第v个维度(例如，创新)的权重。这里，如果这15个当前素材是维度权重确定单元60获得的第一批当前素材，那么此时的一组当前维度权重是初始预定的一组维度权重。

接着，根据每组维度综合分bpq，利用公式5计算第q个当前素材的测试分cq，cq＝∑0≤p≤mbpq/n公式5

其中，m表示多组维度分的组数，n表示多个当前素材的个数。本例中，m例如是3，n例如是15。如此，可以获得15个当前素材的15个测试分。

在评估分计算步骤s33，评估分计算单元63根据每个当前素材经过上线测试得到的多个指标的值、以及一组指标权重，计算每个当前素材的评估分。

本例中，例如将15个当前素材上线到广告渠道(例如maia渠道)测试一段时间，例如测试了3天，可以得到每个素材的8个指标(安装数、按安装付费(cpi)、点击通过率(ctr)、点击值比(cvr)、1日投资回报率、2日投资回报率、次留和付费率)的值。

接着，根据公式6计算15个当前素材中第j个当前素材的评估分ej’。

其中，xr’表示第j个当前素材的第r个指标(例如，安装数)的值，wr表示在步骤s23中计算得到的一组指标权重w中与第r个指标(例如，安装数)对应的权重。如此，可以得到15个当前素材的15个评估分。

在筛选步骤s34，筛选单元64根据15个效果分，对15个当前素材进行筛选，以获取多个筛选素材。

具体的，筛选单元64对15个评估分按照从大到小的顺序进行排序，删除末尾的一部分素材。例如删除末尾10％-20％的当前素材，并且经过筛选之后，例如剩下了12个当前素材，作为12个当前筛选素材。

这里，如果这15个当前素材是维度权重确定单元60获得的第一批当前素材，那么就将这12个当前筛选素材作为多个筛选素材。如果这15个当前素材是维度权重确定单元60获得的第一批之后的例如第三批当前素材，那么此时还存在先前第一批素材经过上述步骤筛选得到的例如8个先前筛选素材、以及先前第二批素材经过上述步骤筛选得到的例如10个先前筛选素材，因此就将12个当前筛选素材、第一批素材中的8个先前筛选素材、第二批素材中的10个先前筛选素材一起作为多个筛选素材，即，得到了30个筛选素材。

在调整步骤s35，调整单元65根据多个筛选素材各自的预测分和评估分，对一组当前维度权重进行调整，从而确定一组维度权重。

图7示出了图6中的调整单元65的结构图，如图7所示，调整单元65包括第一判断单元651、计算单元652、第二判断单元653、确定单元654。图4示出了图3中的调整步骤的流程图，下面结合图4和图7具体说明。

在第一判断步骤s351，第一判断单元651判断多个筛选素材中的每个筛选素材的预测分和评估分是否匹配，如果匹配，则进入第二判断步骤s353，否则进入计算步骤s352。

具体的，例如15个当前素材是获取的第三批素材，那么如上所述，此时有30个筛选素材。判断这30个筛选素材中的每个筛选素材的预测分和评估分是否匹配，即每个筛选素材的预测分和评估分的表现是否一致(是否具有相关性)。如果是，那么此时的一组当前维度权重保持不变，并在计算获取的下一批(例如第四批)多个当前素材的预测分时使用。

另外，如果这30个筛选素材中的任一个筛选素材的预测分和评估分不匹配，那么进入计算步骤s352。

在计算步骤s352，计算单元652根据15个当前素材以及先前获取的多个先前素材各自的评估分，利用第二预定算法，计算一组更新维度权重，并将一组更新维度权重作为一组当前维度权重。

具体的，本例中，计算单元652根据第三批的全部15个当前素材、第一批全部的例如14个先前素材、第二批全部的例如13个先前素材各自的评估分，利用第二预定算法(例如熵值法)，计算一组更新维度权重wv’，并将一组更新维度权重wv’作为一组当前维度权重。如此，在计算下一批(例如第四批)获取的多个当前素材的预测分时使用一组当前维度权重wv’。

在第二判断步骤s353，第二判断单元653判断多个当前素材是否是最后的素材，如果是，则进入确定步骤s354，否则返回制作步骤s31。

其中，如果判断出此时第三批的15个当前素材是最后一批素材，那么就进入确定步骤s354，如果不是，则返回制作步骤s31，并获取第四批当前素材，然后对第四批当前素材重复上述过程。

在确定步骤s354，确定单元654将一组当前维度权重确定为一组维度权重，并在处理新素材时(在上述步骤s22中)使用。

通过上述方式，可以对一组当前维度权重进行一次或多次调整，并将最终调整后的一组当前维度权重确定为一组维度权重，用于对新素材进行筛选。

本发明还一种计算机可读的存储介质，存储介质具有存储在其中的指令，当指令被执行时，使得计算机执行用于评估广告的多个新素材的方法，指令包括：

获取指令，获取所述多个新素材、以及所述多个新素材中的每个新素材的多组维度分，所述多组维度分中的每组维度分包含多个维度分；

新素材筛选指令，根据所述多组维度分以及预先确定的一组维度权重，对所述多个新素材进行筛选，得到多个筛选后新素材；

指标权重计算指令，根据多组相对权重来计算一组指标权重，其中，所述多组相对权重中的每组相对权重包含所述多个指标相互之间的多个相对权重；

效果分计算指令，根据所述多个筛选后新素材经过上线测试后得到的各自的所述多个指标的值、以及所述一组指标权重，计算所述多个筛选后新素材各自的效果分；

上线指令，根据所述多个筛选后新素材各自的效果分、以及多个当前上线素材各自的效果分，使所述多个筛选后新素材中的至少一个新素材上线。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的终端设备来实现。在列举了若干终端设备的单元权利要求中，这些终端设备中的若干个可以是通过同一个硬件项来具体体现。