本发明涉及互联网信息技术领域，尤其涉及一种内容的价值评价方法和装置。
背景技术：
随着互联网技术的不断发展，吸引了大量的在线用户，用户每天会在网络上停留大量的时间。因此，通过网页或者应用程序向用户进行商品的投放，受众用户广、直观、快速，成为商家重要的商品投放渠道。
在通过应用程序进行商品投放时，可以将商品以设计好的内容展示在应用程序页面中的特定栏位，当该内容刷新在页面中或者用户点击该栏位并对内容进行阅读时，就完成了商品的投放过程。
相关技术中，在应用程序中进行商品投放时，无法对所投放内容的质量进行区分，低质量的投放内容的大量存在，严重影响了用户使用应用程序的体验，降低了商品整体的投放效果。
技术实现要素：
本发明实施例旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明实施例的第一个目的在于提出一种内容的价值评价方法，通过对用户样本进行聚类，并采用倾向评分算法生成相互匹配的第一集合和第二集合，针对第一集合和第二集合内的用户样本进行内容的分发，利用双重差分算法分析分发前后用户行为变化数据，根据用户行为变化数据的差异，实现了内容的价值信息的确定，进而，可根据内容的价值信息过滤掉低价值的内容，提高了内容的整体投放效果。
本发明实施例的第二个目的在于提出一种内容的价值评价装置。
本发明实施例的第三个目的在于提出一种电子设备。
本发明实施例的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种内容的价值评价方法，包括：
根据多个用户样本的用户信息，确定各用户样本所属的类别；
根据所述多个用户样本，生成相互匹配的第一集合和第二集合；其中，所述第二集合内用户样本的用户信息和/或类别，与所述第一集合内对应的用户样本的用户信息和/或类别匹配；
对所述第一集合的用户样本和所述第二集合内的用户样本进行内容的分发，获取分发前后所述第一集合的用户行为变化数据与分发前后所述第二集合的用户行为变化数据；
根据所述第一集合的用户行为变化数据与所述第二集合的用户行为变化数据之间的差异，确定内容的价值信息。
本发明实施例的一种内容的价值评价方法中，通过对用户样本进行聚类，并采用倾向评分算法生成相互匹配的第一集合和第二集合，针对第一集合和第二集合内的用户样本进行内容的分发，利用双重差分算法分析内容分发前后用户行为变化数据，根据用户行为变化数据的差异，实现了对内容的价值信息的确定，进而，可根据内容的价值信息过滤掉低价值的内容，提高内容的整体投放效果。解决了相关技术中，无法确定内容的价值信息，使得价值较低的投放内容严重影响了用户使用应用程序的体验，造成投放内容投放效果较差的问题。
为达上述目的，本发明第二方面实施例提出了一种内容的价值评价装置，包括：
聚类模块，用于根据多个用户样本的用户信息，确定各用户样本所属的类别；
获取模块，用于根据所述多个用户样本，生成相互匹配的第一集合和第二集合；其中，所述第二集合内用户样本的用户信息和/或类别，与所述第一集合内对应的用户样本的用户信息和/或类别匹配；
测试模块，用于对所述第一集合的用户样本和所述第二集合内的用户样本进行不同的内容的分发，获取分发前后所述第一集合的用户行为变化数据与分发前后所述第二集合的用户行为变化数据；
确定模块，用于根据所述第一集合的用户行为变化数据与所述第二集合的用户行为变化数据之间的差异，确定分发内容的价值信息。
本发明实施例的内容的价值评价装置中，聚类模块用于根据多个用户样本的用户信息，确定各用户样本所属的类别，获取模块用于根据多个用户样本，生成相互匹配的第一集合和第二集合，测试模块用于对第一集合的用户样本和第二集合内的用户样本进行不同内容的分发，获取分发前后第一集合的用户行为变化数据与分发前后第二集合的用户行为变化数据，确定模块用于根据第一集合的用户行为变化数据与第二集合的用户行为变化数据之间的差异，确定内容的价值信息。通过对用户样本进行聚类，并采用倾向评分算法生成相互匹配的第一集合和第二集合，针对第一集合和第二集合内的用户样本进行内容的分发，利用双重差分算法分析内容分发前后用户行为变化数据，根据用户行为变化数据的差异，实现了对内容的价值信息的确定，进而，可根据内容的价值信息过滤掉低价值的内容，提高内容的整体投放效果，解决了相关技术中，无法确定投放内容的价值信息，使得价值较低的投放内容严重影响了用户使用应用程序的体验，造成投放内容投放效果较差的问题。
为达上述目的，本发明第三方面实施例提出了一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行第一方面所述的内容的价值评价方法。
为达上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现第一方面所述的内容的价值评价方法。
附图说明
本发明实施例上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种内容的价值评价方法的流程示意图；
图2为本发明实施例所提供的另一种内容的价值评价方法的流程示意图；
图3为本发明实施例提供的根据活跃用户的兴趣标签聚类的结果示意图；
图4为本发明实施例提供的采用倾向评分匹配前后密度分布图的变化示意图；
图5为本发明实施例提供的倾向评分匹配前后用户特征均值变化的示意图；
图6为本发明实施例提供的一种内容的价值评价装置的结构示意图；
图7为本发明实施例所提供的另一种内容的价值评价装置的结构示意图；以及
图8是本发明实施例提供的执行内容的价值评价法的电子设备的硬件结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的内容的价值评价方法和装置。
图1为本发明实施例所提供的一种内容的价值评价方法的流程示意图。
如图1所示，该方法包括以下步骤：
步骤101，根据多个用户样本的用户信息，确定各用户样本所属的类别。
具体地，从各用户样本的用户信息中，获取各用户样本的标签，其中，标签用于指示用户感兴趣的内容，在预设向量空间内，将各用户样本的标签，转化为标签对应的向量，根据各用户样本的标签对应的向量，采用聚类做法，对多个用户样本进行聚簇。作为一种可能的实现方式，可采用k-means算法，在多个用户样本中随机选择预定数量的多个用户样本的标签，将标签对应的向量作为聚簇的质心向量，计算各用户样本的标签对应的向量与聚簇的质心向量之间的相似距离，将相似距离小于阈值的用户样本聚簇到一个聚簇中，得到多个聚簇。进而，根据各用户样本所在的聚簇，确定各用户样本所属的类型，其中，聚簇对应的类别，是根据每一个标签对应的向量与聚簇的质心向量之间的相似距离确定的。
步骤102，根据多个用户样本，生成相互匹配的第一集合和第二集合。
其中，第二集合内用户样本的用户信息和/或类别，与第一集合内对应用户样本的用户信息和/或类别匹配，包括以下三种可能的实现方式，具体实现时，可从以下三种中确定一种实现方式。
第一种实现方式，第二集合内用户样本的用户信息，与第一集合内对应用户样本的用户信息匹配；且第二集合内用户样本所属的类别，与第一集合内对应用户样本所属的类别匹配。
第二种实现方式，第二集合内用户样本所属的类别，与第一集合内对应用户样本所属的类别匹配。
第三种实现方式，第二集合内用户样本的用户信息，与第一集合内对应用户样本的用户信息匹配。
具体地，根据各用户样本所属的类型和各用户样本的用户信息，生成各用户样本的特征，其中，用户信息包括用户行为信息和用户基础信息。根据各用户样本的特征，计算各用户样本的倾向评分，从多个用户样本中，选取倾向评分与第一集合内用户样本匹配的用户样本，以生成第二集合，作为一种可能的实现方式，采用最近邻分类算法(k-nearestneighbor，knn)，确定与第一集合匹配的第二集合，以使得第二集合内各用户样本的倾向评分分布情况与第一集合内用户样本的倾向评分分布情况相似。
需要理解的是，本实施例中是采用用户信息和类别来进行第一集合与第二集合的匹配，而实际应用中，可以采用集合内用户样本的用户信息和类别中的一个或多个组合，进行匹配生成相互匹配的第一集合和第二集合，原理相同，本实施例中不再赘述，也不作限定。
需要说明的是，第一集合可以是对用户样本进行随机选取生成的。
步骤103，对第一集合的用户样本和第二集合内的用户样本进行内容的分发，获取分发前后第一集合的用户行为变化数据与分发前后第二集合的用户行为变化数据。
具体地，对第一集合分发第一内容，对第二集合分发第二内容，或者，对第一集合分发第一内容，对第二集合分发非第一内容。
具体选择以上哪一种内容进行分发，可以根据分发场景进行选择。例如：需要对第一内容和第二内容进行价值比较时，可以对第一集合分发第一内容，对第二集合分发第二内容；需要确定第一内容的价值情况时，可以对第一集合分发第一内容，对第二集合分发非第一内容；同理，需要确定第二内容的价值情况时，可以对第一集合分发第二内容，对第二集合分发非第二内容。
这里所提及的第一内容和第二内容可以为部分相同部分不同的内容，也可以为完全相同的内容。
进而，确定分发前后第一集合的用户行为变化数据，以及分发前后第二集合的用户行为变化数据。
步骤104，根据第一集合的用户行为变化数据与第二集合的用户行为变化数据之间的差异，确定内容的价值信息。
具体地，根据分发前后第一集合的用户行为变化数据，确定分发前后第一集合的用户行为变化数据的差值，其中，行为数据包括点击通过率ctr。根据分发前后第二集合的用户行为变化数据，确定分发前后第二集合的用户行为变化数据差值，根据第一集合的用户行为变化数据差值和第二集合的用户行为变化数据差值之间的差异，比较第一集合分发内容与第二集合分发内容的价值差异，根据价值差异，生成第一集合分发内容和第二集合分发内容的价值信息。
本发明实施例的一种内容的价值评价方法中，通过对用户样本进行聚类，并采用倾向评分算法生成相互匹配的第一集合和第二集合，针对第一集合和第二集合内的用户样本进行内容的分发，利用双重差分算法分析内容分发前后用户行为变化数据，根据用户行为变化数据的差异，实现了对内容的价值信息的确定，进而，可根据内容的价值信息过滤掉低价值的内容，提高内容的整体投放效果。解决了相关技术中，无法确定内容的价值信息，使得价值较低的投放内容严重影响了用户使用应用程序的体验，造成投放内容投放效果较差的问题。
为了清楚说明上一实施例，本实施例提供了另一种内容的价值评价方法，进一步清楚的解释了对用户样本采用聚类算法进行聚类，然后利用倾向评分算法确定与第一集合匹配的第二集合，利用双重差分算法分析内容分发前后用户行为变化数据，确定分发内容的价值信息的过程，图2为本发明实施例所提供的另一种内容的价值评价方法的流程示意图，如图2所示，该方法包括如下步骤：
步骤201，根据多个用户样本的用户信息，确定各用户样本所属的类别。
具体地，从各用户样本的用户信息中，获取各用户样本的标签，其中，标签用于指示用户感兴趣的内容，在预设向量空间内，将各用户样本的标签，转化为标签对应的向量，根据各用户样本的标签对应的向量，采用聚类做法，对多个用户样本进行聚簇。作为一种可能的实现方式，可采用k-means算法，在多个用户样本中随机选择预定数量的多个用户样本的标签，将标签对应的向量作为聚簇的质心向量，计算各用户样本的标签对应的向量与聚簇的质心向量之间的相似距离，将相似距离小于阈值的用户样本聚簇到一个聚簇中，得到多个聚簇。进而，根据各用户样本所在的聚簇，确定各用户样本所属的类型，其中，聚簇对应的类别，是根据每一个标签对应的向量与聚簇的质心向量之间的相似距离确定的。
例如，图3为本发明实施例提供的根据活跃用户的兴趣标签聚类的结果示意图，如图3中所示，采用聚类算法进行聚类后，聚类成20类基于兴趣标签的用户分类，其中，每一行代表一个兴趣标签，每一列是聚簇得到的一个簇，每一簇代表一类人群，每一列中的数字，代表该兴趣标签对应的向量与质心向量的相似距离，相似距离阈值设为4，表中有灰色阴影的即为与质心向量的相似距离不大于4的兴趣标签，用于指示该类人群共有的兴趣。如，簇0代表的人群兴趣主要涉及情感和婴儿新闻，可以推断为该类人群为女性。簇19代表的人群兴趣主要涉及体育新闻和体育视频，可以看作体育爱好者。
步骤202，根据各用户样本所属的类别和各用户样本的用户信息，生成各用户样本的特征。
具体地，用户信息包括用户行为信息和用户基础信息，作为一种可能的实现方式，hadoop的数据仓库中存储有用户信息的数据，hive是基于hadoop的数据库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，通过hivesql提取用户信息的数据。例如，用户基础信息可以包括：年龄、性别等。用户行为信息可以包括：用户时间段t内登录的总天数，用户时间段t内广告点击率等。用户类别是通过对用户的兴趣标签进行聚类确定的，用于指示该类用户感兴趣的主要内容。
进而，根据用户信息和用户类别可确定用户样本的特征。
步骤203，根据各用户样本的特征，计算各用户样本的倾向评分，从多个用户样本中选取倾向评分与第一集合内各用户样本匹配的用户样本，以生成第二集合。
具体地，根据各用户样本的特征，计算各用户样本的倾向评分，作为一种可能的实现方式，可通过倾向评分匹配算法(propensityscorematching，psm)计算各用户样本的倾向评分，并采用最近邻分类算法(k-nearestneighbor，knn)，从多个用户样本中选取倾向评分与第一集合内各用户样本匹配的用户样本，以生成第二集合。通过倾向评分匹配后生成的第二集合，使得第二集合中的特征和第一集合中的各特征更加接近，减少第一集合与匹配的第二集合中偏差和混杂变量的影响，从而使得第一集合与匹配得到的第二集合可以进行更加准确的比较。
以下的图4和图5分别为两个例子，用来说明说明倾向评分匹配后，可以使得第一集合与第二集合之间的差异减小，从而得到与第一集合匹配度更好的第二集合。
针对倾向评分匹配前后密度分布图的形状，来说明倾向评分匹配后，可以得到与第一集合匹配度更好的第二集合，图4为本发明实施例提供的采用倾向评分匹配前后密度分布图的变化示意图，如图4所示，左边是采用倾向评分匹配前，第一集合与第二集合的倾向评分密度分布图，倾向评分前的第一集合和第二集合都是从用户样本中随机抽取相同数量的用户样本生成的，从图中可以看出，从用户样本中随机抽取得到的第一集合与第二集合的密度分布图的形状不同，数据差异较大。右边的图是采用倾向评分匹配后，第一集合与第二集合的倾向评分密度分布图，从图中可以看出，通过倾向评分匹配算法匹配后，第一集合与第二集合的密度分布图的形状，相对于倾向评分匹配前形状差异减小，也就是说第一集合与匹配的第二集合之间的数据差异减小。这是因为，采用了倾向评分匹配后，使得匹配得到的第二集合中混杂的多于变量被去除，使得第二集合与第一集合的匹配度更好。
针对本实施例的用户样本的特征数据为例，来说明倾向评分匹配后，可以得到与第一集合匹配度更好的第二集合，图5为本发明实施例提供的倾向评分匹配前后用户特征均值变化的示意图，如图5所示，图中的数据，代表特征的名称和对应的特征均值，经过倾向评分匹配后，第一集合与第二集合的特征更加接近，例如，第二集合的内容展现的均值从1654.09下降至1523.44，第二集合与第一集合的内容展现的均值的差异从1654.09-1514.03＝140.06，下降至1523.44-1514.03＝9.41，即采用倾向评分匹配后，第一集合与第二集合的用户样本的特征数据差距更小，匹配度更高。
需要说明的是，可从用户样本中生成多组样本，每一组中都包含不同的第一集合，以及与第一集合匹配的第二集合。
步骤204，对第一集合的用户样本和第二集合内的用户样本进行内容的分发，获取分发前后第一集合的用户行为变化数据与分发前后第二集合的用户行为变化数据。
具体的，对第一集合和第二集合内的用户样本进行内容的分发，以确定内容分发前后第一集合的用户行为变化数据与分发前后第二集合的用户行为变化数据。作为一种可能的实现方式，可采用双重差分模型(difference-in-differences，did)确定第一集合和第二集合在内容分发前后，用户行为的变化，通过did模型，实现横向的比较，即可分析内容分发前，第一集合和第二集合用户行为变化数据的差异，以及可分析内容分发后，第一集合和第二集合用户行为变化数据的差异。还可以实现纵向的比较，即可分析内容分发前后，第一集合和第二集合用户行为变化数据的差异，通过横向和纵向的比较方法，避免了分析的偏差，提高了分析的准确性。以下通过实例的数据进行详细说明。
本实施例中以分发内容为广告的游戏行业的广告主为例，选取l、c、w三个广告主，其中，l是曝光量最大的游戏广告主，c是10.1当天被评不喜欢人数最多的广告主，w是游戏品牌广告主。以10.1日为界，对第一集合和第二集合分别进行内容分发，提取10.1以前四周和10.1以后四周第一集合和第二集合的用户行为变化数据，其中，用户行为可以包括用户点击所有分发内容的点击通过率crt。
以选择5组样本为例，每一组都包含第一集合，以及与第一集合匹配的第二集合，针对5组样本，每组中都对第一集合和第二集合进行内容的分发，以10月1日为例，10月1日以前的四周无内容分发，10月1日以后的四周有内容分发，提取10月1日以前四周和10月1日以后四周用户针对分发内容的点击通过率crt，得到的结果相似，以其中一组结果为例，进行说明。
根据选取的l、c、w三个广告主，以下针对第一集合和第二集合采用四种不用的内容进行分发，对内容分发前后用户的行为变化数据进行具体说明：
其中，对第一集合和第二集合分发的内容，即选取的l、c、w三个广告主投放的内容。
第一种：对第一集合分发l游戏广告主的投放内容，第二集合不分发l游戏广告主的投放内容，得到结果对应的数据具体见表1：
表1
第二种：对第一集合分发w游戏广告主的投放内容，第二集合不分发w游戏广告主的投放内容，得到结果对应的数据具体见表2：
表2
第三种：对第一集合分发l游戏广告主的投放内容，第二集合分发w游戏广告主的投放内容，得到结果对应的数据具体见表3：
表3
第四种：对第一集合分发c游戏广告主的投放内容，第二集合分发w游戏广告主的投放内容，得到结果对应的数据具体见表4：
表4
步骤205，根据内容分发前后第一集合的用户行为数据差值和第二集合的用户行为数据差值之间的差异，比较得到分发给第一集合的内容和分发给第二集合的内容之间的价值差异。
表1-表4中，根据内容分发前后第一集合的用户行为变化数据，得到第一集合的用户行为数据差值，根据内容分发前后第二集合中的用户行为变化数据，得到第二集合的用户行为数据差值，根据第一集合的用户行为数据差值和第二集合的用户行为数据差值，比较得到分发给第一集合的内容和分发给第二集合的内容之间的差异程度。
其中，用户行为数据可以为用户针对分发内容的点击通过率crt。
具体地，如表1中所示，第一集合中有l广告主的投放内容展现，内容分发前后用户的内容点击通过率crt从1.45降到了1.354，第一集合内用户的内容点击通过率的下降值为0.096，而第二集合中没有l广告主的投放内容展现，内容分发前后用户的内容点击通过率crt从1.471上升至1.598，第二集合的用户的内容点击通过率的上升值为0.127。通过数据分析得到，分发了l广告主的投放内容的用户的点击通过率下降。
如表2中所示，第一集合中有w广告主的投放内容展现，内容分发前后用户的内容点击通过率crt从1.567上升到了1.627，第一集合的用户的内容点击通过率的上升值为0.06，而第二集合中没有w广告主的投放内容展现，内容分发前后用户的内容点击通过率crt从1.574上升至1.669，第二集合的用户的内容点击通过率的上升值为0.095。通过数据分析得到，分发了w广告主的投放内容的用户的点击通过率上升。
如表3中所示，第一集合中有l广告主的投放内容展现，内容分发前后用户的内容点击通过率crt从1.455下降至1.357，第一集合的用户的内容点击通过率的下降值为0.098，而第二集合中有w广告主的投放内容展现，内容分发前后用户的内容点击通过率crt从1.469上升至1.503，第二集合的用户的内容点击通过率的上升值为0.034，通过数据分析得到，分发了w广告主的投放内容的用户的点击通过率上升，分发了l广告主的投放内容的用户的点击通过率下降。
如表4中所示，第一集合中有c广告主的投放内容展现，内容分发前后用户的内容点击通过率crt从1.302下降至1.126，第一集合的用户的内容点击通过率的下降值为0.176。而第二集合中有w广告主的投放内容展现，内容分发前后用户的内容点击通过率crt从1.3变化为1.308，第二集合的用户的内容点击通过率的上升值较小，基本不变。通过数据分析得到，分发了c广告主的投放内容的用户的点击通过率下降，分发了w广告主的投放内容的用户的点击通过率仍为上升趋势。
步骤206，根据内容分发前第一集合的用户行为数据和第二集合的用户行为数据，确定分发前第一集合用户行为数据和第二集合用户行为数据之间的差异不显著。
具体地，根据内容分发前第一集合的用户行为数据和内容分发前第二集合的用户行为数据，获取分发前第一集合用户行为数据和第二集合用户行为数据之间的行为数据差值，根据分发前第一集合和第二集合之间的用户行为数据差值所对应的假设概率p-value，确定分发前第一集合用户行为数据和第二集合用户行为数据之间的差异不显著。
例如，针对表1至表4中的数据，进行分析，确定分发前第一集合的用户行为数据和分发前第二集合的用户行为数据之间的差异不显著。
具体地，表1中，分发广告主l的投放内容前，第一集合的用户行为数据crt和第二集合的用户行为数据crt，差异对应的p_value值为0.2355，大于阈值0.05，说明差异不显著；表2中，分发广告主w的投放内容前，第一集合的用户行为数据crt和第二集合的用户行为数据crt，差异对应的p_value值为0.7294，大于阈值0.05，说明差异不显著；同理，表3和表4中，内容分发前，第一集合的用户行为数据和测试前第二集合的用户行为数据之间的差异也不显著。
因此，通过上述数据分析得到的结论为，内容分发前，第一集合的用户行为数据和第二集合的用户行为数据之间的差异为不显著。实现了内容分发前，第一集合用户行为数据和第二集合用户行为数据的横向对比，说明了第一集合与第二集合在内容分发前用户行为数据不存在较大的内容分发前差异。
步骤207，根据内容分发后第一集合的用户行为数据和内容分发后第二集合的用户行为数据，确定分发后第一集合用户行为数据和第二集合用户行为数据之间的差异显著性，根据差异显著性，确定分发给第一集合的内容和分发给第二集合的内容的价值差异程度。
具体地，根据分发后第一集合的用户行为数据和分发后第二集合的用户行为数据，获取分发后第一集合和第二集合之间的用户行为数据差值，根据分发后第一集合和第二集合之间的用户行为数据差值所对应的假设概率p-value，确定分发后第一集合用户行为数据和第二集合用户行为数据之间的差异显著性，根据差异显著性，确定分发给第一集合的内容和分发给第二集合的内容的价值差异程度。
例如，针对表1至表4中的数据，进行分析，确定内容分发后第一集合的用户行为数据和分发后第二集合的用户行为数据之间的差异显著性。
具体地，将p_value的阈值设定为0.05，大于阈值，则说明用户的分发内容的crt差异不显著，小于阈值，则说明用户的分发内容的crt差异显著。表1中，分发广告主l的投放内容后，第一集合的用户行为数据crt为1.354，,没有分发广告主l的投放内容的第二集合的用户行为数据crt为1.598，分发了l广告主投放的内容的第一集合的用户行为数据crt数值较小，第一集合和第二集合的用户行为数据crt差值为-0.244，差异对应的p_value值为2.20e-16，小于阈值0.05，说明差异显著，由此，说明了l广告主投放的内容价值不高。
表2中，分发广告主w的投放内容后，第一集合的用户行为数据crt为1.627，没有分发广告主w的投放内容的第二集合的用户行为数据crt为1.669，第一集合和第二集合的用户行为数据crt差值为0.042，差异对应的p_value值为0.09835，大于阈值0.05，说明差异不显著，由此，说明了w广告主投放内容的价值较高。
表3中，分发广告主l的投放内容后，第一集合的用户行为数据crt为1.357，分发广告主w的投放内容后，第二集合的用户行为数据crt为1.503，差异对应的p_value值为1.15e-15，小于阈值0.05，说明差异显著，从数据可以得出，分发了广告主l的投放内容后，第一集合的用户行为数据crt的值明显小于分发了广告主w的投放内容的第二集合的用户行为数据crt，由此，说明了w广告主的投放内容的价值高于l广告主投放内容的价值。
表4中，分发广告主c的投放内容后，第一集合的用户行为数据crt为1.126，分发了广告主w的投放内容后，第二集合的用户行为数据crt为1.308，差异对应的p_value值为2.20e-16，小于阈值0.05，说明差异显著，从数据可以得出，分发了广告主c的投放内容后，第一集合的用户行为数据crt的值明显小于分发了广告主w的投放内容的第二集合的用户行为数据crt，由此，说明了w广告主的投放内容的价值高于c广告主投放内容的价值。
步骤208，根据分发给第一集合的内容和分发给第二集合的内容的价值差异以及价值差异程度，确定第一集合分发内容和第二集合分发内容的价值信息。
具体地，通过对上表1至表4中的数据，采用双重差分的did分析模型分析可知，步骤205中，以l、w、c三个广告主为例，通过数据分析了第一集合和第二集合在不同广告主的投放内容分发前后，第一集合的用户行为crt变化情况，以及第二集合的用户行为crt变化情况，详细分析情况，见步骤205，得出结论为：分发了l广告主的投放内容的用户的点击通过率下降；分发了w广告主的投放内容的用户的点击通过率上升；分发了c广告主的投放内容的用户的点击通过率下降。
进一步，步骤207中，通过数据分析了第一集合和第二集合在不同广告主的投放内容分发后，第一集合的用户行为crt数据与第二集合的用户行为crt数据之间的行为数据差值，详细分析情况，见步骤207，得出的结论为：分发了l广告主的投放内容的第一集合相对于没有分发l广告主的投放内容的第二集合，用户的点击crt数据数值较小；分发了w广告主的投放内容的第一集合相对于没有分发w广告主的投放内容的第二集合，用户的点击crt数据差距较小；分发了l广告主的投放内容的第一集合相对于分发了w广告主的投放内容的第二集合，用户的点击crt数据的数值较小；分发了c广告主的投放内容的第一集合相对于分发了w广告主的投放内容的第二集合，用户的点击crt数据较小。
通过采用双重差分算法得到的结果可知，l广告主的投放内容给用户的点击crt带来了不利的影响，即l广告主的投放内容价值较低；w广告主的投放内容给用户的点击crt带来了有利的影响，即w广告主的投放内容价值较高；c广告主的投放内容给用户的点击crt带来了不利的影响，即c广告主的投放内容价值较低。从而也就得出，w广告主的投放内容，价值最高。
本发明实施例的内容的价值评价方法中，根据多个用户样本的用户信息，进行聚类，以确定各用户样本所属的类别，根据多个用户样本，采用倾向评分匹配算法生成相互匹配的第一集合和第二集合，减少了第二集合与第一集合的偏差，提高了匹配度。针对第一集合和第二集合内的用户样本进行内容分发，利用双重差分算法分析内容分发前后用户行为变化，根据用户行为变化的差异，实现了对分发内容的价值信息的确定，进而，可根据分发内容的价值信息过滤掉低价值的分发内容，提高分发内容的整体投放效果。
为了实现上述实施例，本发明还提出一种内容的价值评价装置。
图6为本发明实施例提供的一种内容的价值评价装置的结构示意图。
如图6所示，该装置包括：聚类模块51、获取模块52、测试模块53和确定模块54。
聚类模块51，用于根据多个用户样本的用户信息，确定各用户样本所属的类别。
获取模块52，用于根据多个用户样本，生成相互匹配的第一集合和第二集合，其中，第二集合内用户样本的用户信息和/或类别，与第一集合内对应用户样本的用户信息和/或类别匹配。
测试模块53，用于对第一集合的用户样本和第二集合内的用户样本进行内容的分发，获取分发前后第一集合的用户行为变化数据与分发前后第二集合的用户行为变化数据。
确定模块54，用于根据第一集合的用户行为变化数据与第二集合的用户行为变化数据之间的差异，确定分发内容的价值信息。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本发明实施例的内容的价值评价装置中，聚类模块用于根据多个用户样本的用户信息，确定各用户样本所属的类别，获取模块用于根据多个用户样本，生成相互匹配的第一集合和第二集合，测试模块用于对第一集合的用户样本和第二集合内的用户样本进行内容的分发，获取分发前后第一集合的用户行为变化数据与分发前后第二集合的用户行为变化数据，确定模块用于根据第一集合的用户行为变化数据与第二集合的用户行为变化数据之间的差异，确定分发内容的价值信息。通过对用户样本进行聚类，并采用倾向评分算法生成相互匹配的第一集合和第二集合，针对第一集合和第二集合内的用户样本进行内容的分发，利用双重差分算法分析内容分发前后用户行为变化数据，根据用户行为变化数据的差异，实现了对内容的价值信息的确定，进而，可根据内容的价值信息过滤掉低价值的内容，提高内容的整体投放效果，解决了相关技术中，无法确定投放内容的价值信息，使得价值较低的投放内容严重影响了用户使用应用程序的体验，造成投放内容投放效果较差的问题。
基于上述实施例，本发明实施例还提供了一种内容的价值评价装置的可能的实现方式，图7为本发明实施例所提供的另一种内容的价值评价装置的结构示意图，在上一实施例的基础上，如图7所示，确定模块54可以包括：第一确定单元541、比较单元542和生成单元543。
第一确定单元541，用于根据内容分发前后第一集合的用户行为变化数据，确定内容分发前后第一集合的用户行为数据差值，根据内容分发前后第二集合的用户行为变化数据，确定内容分发前后第二集合的用户行为数据差值。
比较单元542，用于根据第一集合的用户行为数据差值和第二集合的用户行为数据差值之间的差异，比较分发给第一集合的内容和分发给第二集合的内容之间的价值差异。
生成单元543，用于根据价值差异，生成内容的价值信息。
作为一种可能的实现方式，确定模块还可以包括：第一获取单元544、第二确定单元545。
第一获取单元544，用于根据分发后第一集合的用户行为数据和分发后第二集合的用户行为数据，获取分发后第一集合和第二集合之间的用户行为数据差值。
第二确定单元545，用于根据分发后第一集合和第二集合之间的用户行为数据差值，确定分发后第一集合用户行为数据和第二集合用户行为数据之间的差异显著性，根据差异显著性，确定分发给第一集合的内容和分发给第二集合的内容的价值差异程度。
作为一种可能的实现方式，确定模块54，具体还可以用于：
根据价值差异以及价值差异程度，生成价值信息。
作为一种可能的实现方式，聚类模块51，具体用于：
从各用户样本的用户信息中，获取各用户样本的标签，其中，标签用于指示感兴趣的内容，在预设向量空间内，根据各用户样本的标签对应的向量，对多个用户样本进行聚类，得到多个聚簇，根据各用户样本所在的聚簇，确定各用户样本所属的类别，其中，聚簇对应的类别，是根据每一个标签对应的向量与聚簇的质心向量之间的相似距离确定的。
作为一种可能的实现方式，获取模块52，具体用于：
根据各用户样本所属的类别和各用户样本的用户信息，生成各用户样本的特征，其中，用户信息包括用户行为信息和用户基础信息，根据各用户样本的特征，计算各用户样本的倾向评分，从多个用户样本中，选取倾向评分与第一集合内用户样本匹配的用户样本，以生成第二集合，第二集合内各用户样本的倾向评分分布情况与第一集合内用户样本的倾向评分分布情况相似。
作为一种可能的实现方式，测试模53块，具体用于：
对第一集合分发第一内容，对第二集合分发第二内容；或者，对第一集合分发第一内容，对第二集合分发非第一内容。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本发明实施例的内容的价值评价装置中，聚类模块用于根据多个用户样本的用户信息，确定各用户样本所属的类别，获取模块用于根据多个用户样本，生成相互匹配的第一集合和第二集合，测试模块用于对第一集合的用户样本和第二集合内的用户样本进行内容的分发，获取分发前后第一集合的用户行为变化数据与分发前后第二集合的用户行为变化数据，确定模块用于根据第一集合的用户行为变化数据与第二集合的用户行为变化数据之间的差异，确定分发内容的价值信息。通过对用户样本进行聚类，并采用倾向评分算法生成相互匹配的第一集合和第二集合，针对第一集合和第二集合内的用户样本进行内容的分发，利用双重差分算法分析内容分发前后用户行为变化数据，根据用户行为变化数据的差异，实现了对内容的价值信息的确定，进而，可根据内容的价值信息过滤掉低价值的内容，提高内容的整体投放效果。
为了实现上述实施例，本发明还提出了一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行前述方法实施例所述的内容的价值评价方法。
为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现前述方法实施例所述的内容的价值评价方法。
图8是本发明实施例提供的执行内容的价值评价法的电子设备的硬件结构示意图，如图8所示，该电子设备包括：
一个或多个处理器610以及存储器620，图6中以一个处理器610为例。
该电子设备还可以包括：输入装置630和输出装置640。
其中，处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器620作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的内容的价值评价方法对应的程序指令/模块(例如，附图6所示的聚类模块51、获取模块52测试模块53和确定模块54)。处理器610通过运行存储在存储器620中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的内容的价值评价方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据内容的价值评价装置的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至内容的价值评价装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可接收输入的数字或字符信息，以及产生与内容的价值评价装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
一个或者多个模块存储在存储器620中，当被一个或者多个处理器610执行时，执行上述任意方法实施例所述的内容的价值评价方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本发明实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如ipad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如磁碟、光盘、只读存储记忆体(rom)或随机存储记忆体(ram)等等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。