基于特征动态构造的推荐模型训练方法及系统与流程

本发明涉及机器学习技术领域，具体涉及一种基于特征动态构造的推荐模型训练方法及系统。

背景技术：

为了提高用户的线上购物体检，并更有针对性地将商品推荐给合适的用户，目前各大线上电商平台普遍采用机器学习的商品推荐模型分析用户的购物习惯、购物偏好等用户行为数据，然后基于这些用户行为数据将各种商品更有针对性地推荐给用户。训练商品推荐模型通常以类别型特征和统计特征为训练样本，当前在商品推荐模型的训练过程中，对于类别型特征和基于类别型特征的统计特征的使用方式简述如下：

例如对于商品的品牌特征这个类别型特征，通过独热编码操作将不同的品牌映射成不同的数字，在完成对品牌的独热编码操作后，就可以基于用户的行为数据生成一些统计数据，比如某用户在最近一个月内对某品牌发生了多少次浏览行为、购买行为等，这些统计数据在经过归一化、标准化等数据处理后，与类别型特征一并作为训练样本以训练商品推荐模型。但是，一个类别型特征的特征数量往往庞大，如果对一个类别型特征比如品牌特征进行全部独热操作，维度极高，模型训练的速度很慢，所以为了提高模型的训练速度，往往会选取其中一部分品牌进行单独的独热操作，其余的品牌总体作为一个类别，通常为“other”。但这样的处理方式存在一个问题，模型在迭代训练过程中，被选中进行独热操作的这些类别通常是固定不变的，这会导致：

(1)类别型特征下的新的有价值的类别值(比如品牌类别中的某一品牌)无法及时作为模型迭代训练的训练样本，造成迭代形成的模型性能无法得到有效提升；

(2)无法捕捉到历史类别值的价值变化，过去有价值有意义的某个类别值，随着时间推移可能已经不再发挥那么大的作用了，所以在模型迭代训练过程中，需要过滤掉这些价值较低的类别值，以提高模型的商品推荐性能，但现有的模型训练方法无法及时过滤这些价值较低的类别值。

技术实现要素：

本发明的目的在于提供一种基于特征动态构造的推荐模型训练方法及系统，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种基于特征动态构造的推荐模型训练方法，包括如下步骤：

步骤s1，对商品的类别型特征f0下的每个类别值进行价值判断，得到每个所述类别值对应的价值；

步骤s2，按照所述类别型特征f0下的每个所述类别值对应的所述价值高低进行类别值排序，并由价值从高到底筛选出模型训练所需数量的所述类别值；

步骤s3，基于所筛选的各所述类别值获取模型训练所需的训练样本，训练得到商品推荐模型。

作为本发明的一种优选方案，所述步骤s1中，判断所述类别型特征f0下的每个所述类别值对应的所述价值的过程具体包括如下步骤：

步骤s11，获取n个带标签的样本，并以各所述样本的样本标签为序列元素，构成一长度为n的序列y；n个所述样本中每个所述样本对应所述类别型特征f0的取值作为序列元素，构成一长度同样为n的序列z；

步骤s12，依次选择所述类别型特征f0下的每个所述类别值，并根据所选择的所述类别值，对所述序列z进行序列变换，得到经变换后分别对应各所述类别值的多个序列x；

步骤s13，计算每个所述序列x和所述序列y的关联性，从而得到所述类别型特征f0下的每个所述类别值所具有的所述价值。

作为本发明的一种优选方案，所述步骤s13中，通过计算所述序列x和所述序列y的皮尔森相关系数作为所选择的所述类别值具有的所述价值。

作为本发明的一种优选方案，所述步骤s13中，通过计算所述序列x和所述序列y的kl散度，得到所选择的所述类别值具有的所述价值。

作为本发明的一种优选方案，所述样本的样本数据包括用户属性、用户行为数据、商品属性中的一种或多种。

本发明还提供了一种基于特征动态构造的推荐模型训练系统，可实现所述的方法，所述系统包括：

价值判断模块，用于判断所述商品的所述类别型特征f0下的每个所述类别值具有的所述价值；

数据筛选模块，连接所述价值判断模块，用于根据各所述类别值的所述价值由高到低筛选出模型训练所需的所述类别值；

模型训练模块，连接所述数据筛选模块，用于以筛选出的各所述类别值为训练样本，训练形成商品推荐模型。

作为本发明的一种优选方案，所述价值判断模块中具体包括：

样本获取单元，用于获取可评价所述类别值的所述价值的n个带标签样本；

序列形成单元，连接所述样本获取单元，用于以各所述样本的样本标签为序列元素，构成为一长度为n的序列y；并用于以各所述样本分别对应所述类别型特征f0的取值为序列元素，同样构成为一长度为n的序列z；

类别值读取单元，用于于类别值存储数据库中逐一读取所述类别型特征f0下的各所述类别值；

序列变换单元，分别连接所述类别值读取单元和所述序列形成单元，用于根据每次读取的所述类别值，对所述序列z进行序列变换，得到经变换后的各所述类别值分别对应的序列x；

序列关联性计算单元，分别连接所述序列形成单元和所述序列变换单元，用于计算所述序列x和所述序列y的关联性，以得到每个所述类别值所具有的所述价值并存储。

作为本发明的一种优选方案，通过计算所述序列x和所述序列y的皮尔森相关系数作为读取的所述类别值具有的所述价值。

作为本发明的一种优选方案，通过计算所述序列x和所述序列y的kl散度，得到读取的每个所述类别值具有的所述价值。

作为本发明的一种优选方案，所述数据筛选模块中具体包括：

类别值价值读取单元，用于读取所计算的每个所述类别值具有的所述价值；

价值排序单元，连接所述类别值价值读取单元，用于根据所述类别值的所述价值高低对所述类别值进行排序；

类别值筛选数量设置单元，用于提供给用户设置模型训练所需的所述类别值的筛选数量；

类别值筛选单元，分别连接所述价值排序单元和所述类别值筛选数量设置单元，用于根据所述用户设置的所述类别值的筛选数量，按照各所述类别值的所述价值由高到低从类别值存储数据库中筛选出模型训练所需的所述类别值。

本发明可过滤掉类别型特征f0中的失去训练价值的类别值，可以减少模型训练参数，提高模型的训练速度；另外，可及时捕捉到类别型特征下的各类别值的价值变化趋势，及时对类别值进行更新，进而动态更新获取基于类别值生成的统计特征，最后以更新后的数据为训练样本迭代训练推荐模型，可大幅提高推荐模型的性能，更有针对性地将商品推送给合适的用户，提高用户的购物体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例所述的基于特征动态构造的推荐模型训练方法的步骤图；

图2是判断所述类别值是否具有所述价值的方法步骤图；

图3是本发明一实施例所述的基于特征动态构造的推荐模型训练系统的结构示意图；

图4是本发明实施例所述的推荐模型训练系统中的价值判断模块的内部结构示意图；

图5是本发明实施例所述的推荐模型训练系统中的数据筛选模块的内部结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提出的基于特征动态构造的推荐模型训练方法，通过对类别型特征下的每个类别值进行价值判断，并筛选出具有价值的类别值，然后基于所筛选的各类别值获取模型训练所需的训练样本，最终训练得到商品推荐模型。本发明通过对类别值的价值判断，可及时捕捉到各个类别型特征下的类别值的价值变化趋势，及时更新和过滤作为模型训练样本的类别型特征下的类别值以及关联各类别值的统计特征，可大幅提高模型性能。

本发明实施例提供的基于特征动态构造的推荐模型训练方法，请参照图1，包括如下步骤：

步骤s1，对商品的类别型特征f0下的每个类别值进行价值判断，得到每个类别值对应的价值；

步骤s2，按照类别型特征f0下的每个类别值对应的价值高低进行类别值排序，并由价值从高到底筛选出模型训练所需数量的类别值；

步骤s3，基于筛选的各类别值获取模型训练所需的训练样本，训练得到商品推荐模型。

请参照图2，步骤s1中，判断类别型特征f0下的每个类别值对应的价值的过程具体包括如下步骤：

步骤s11，获取n个带标签的样本，并以各样本的样本标签为序列元素，构成一长度为n的序列x；n个样本中每个样本对应的类别型特征f0的取值作为序列元素，构成一长度同样为n的序列z；

步骤s12，依次选择类别型特征f0下的每个类别值，并根据所选择的类别值，对序列z进行序列变换，得到经变换后分别对应各类别值的多个序列x；

步骤s13，计算每个序列x与序列y的关联性，从而得到每个类别值所具有的价值。

以下对类别值的价值判断过程进行具体阐述：

假设对于类别型特征f0，该类别型特征f0下存在m个类别值，分别为类别值x0、x1、……、xm-1，然后准备n个带标签的样本(比如标签可以是是否点击、是否购买、是否复购等)，标签的值为0或1，比如1代表用户对某品牌的商品进行过点击操作，0表示该用户未对该品牌的商品进行过点击操作。对这n个待标签的样本而言，其标签构成了一个长度为n的序列y，该序列中的各个元素的值为0或1。

然后依次选择该类别型特征f0下存在的m个类别值，比如选择第i个类别值xi。对于n个带标签的样本而言，每个样本对应的类别型特征f0的取值构成一长度同样为n的序列z。然后对序列z进行变换，得到序列x。序列变换方法具体为：若序列z中的元素的元素值等于所选择的类别值xi，则将该元素的元素值置为1，否则置为0。然后根据预设的自定义函数或策略，分别计算各序列x和序列y的关联性，从而得到类别型特征f0下的每个类别值所具有的价值。

本实施例中，优选地，预设的自定义函数或策略为，通过计算序列x和序列y的皮尔森相关系数作为所选择的类别值所具有的价值。

另外优选地，还可通过计算序列x和序列y的kl散度，得到所选择的类别值具有的价值。

计算两个序列的皮尔森相关系数以及kl散度为现有技术，而且，所以关于皮尔森相关系数和kl散度的计算过程在此不作阐述。

步骤s2中需要说明的是，在得到类别型特征f0下的每个类别值的价值后，按照价值高度对每个类别值进行排序，然后根据模型训练所需的样本数量需求，按价值从高到低人为或自动筛选出类别值。

步骤s3中的训练样本包括类别型特征和基于类别型特征生成的统计特征。统计特征包括用户的行为特征，比如针对某类品牌商品的浏览次数、购买次数、复购次数等。

请参照图3，本发明还提供了一种基于特征动态构造的推荐模型训练系统，该系统可实现上述的推荐模型训练方法，该系统包括：

价值判断模块1，用于判断商品的类别型特征f0下的每个类别值具有的价值；

数据筛选模块2，连接价值判断模块1，用于根据各类别值的价值由高到底筛选出模型训练所需的类别值；

模型训练模块3，连接数据筛选模块2，用于以筛选出的各类别值为训练样本，训练形成商品推荐模型。

请参照图4，价值判断模块1中具体包括：

样本获取单元11，用于获取可评价类别值价值的n个带标签样本；

序列形成单元12，连接样本获取单元11，用于以各样本的样本标签为序列元素，构成一长度为n的序列y，并用于以各样本分别对应类别型特征f0的取值为序列元素，同样构成一长度为n的序列z；

类别值读取单元13，用于于类别值存储数据库中逐一读取类别型特征f0下的各类别值；

序列变换单元14，分别连接类别值读取单元13和序列形成单元12，用于根据每次读取的类别值，对序列z进行序列变换，得到经变换后的各类别值分别对应的序列x；关于序列变换的过程如上所述，在此不再赘述；

序列关联性计算单元15，分别连接序列形成单元12和序列变换单元14，用于计算序列x和序列y的关联性，以得到每个类别值所具有的价值并存储。

优选地，通过计算序列x和序列y的皮尔森相关系数作为读取的类别值具有的价值。作为另外一种优选情况，通过计算序列x和序列y的kl散度，得到读取的每个类别值具有的价值。计算两个序列的皮尔森相关系数和kl散度为现有技术，具体计算过程在此不作阐述。

请继续参照图5，数据筛选模块2中具体包括：

类别值价值读取单元21，用于读取所计算的每个类别值具有的价值；

价值排序单元22，连接类别值价值读取单元21，用于根据类别值的价值高度对类别值进行排序；

类别值筛选数量设置单元23，用于提供给用户设置模型训练所需的类别值的筛选数量；

类别值筛选单元24，分别连接价值排序单元22和类别值筛选数量设置单元23，用于根据用户设置的类别值的筛选数量，按照各类别值的价值由高到低从类别值存储数据库16中筛选出模型训练所需的类别值。

综上，本发明可过滤掉类别型特征f0中的失去训练价值的类别值，可以减少模型训练参数，提高模型的训练速度；另外，可及时捕捉到类别型特征下的各类别值的价值变化趋势，及时对类别值进行更新，进而动态更新获取基于类别值生成的统计特征，最后以更新后的数据为训练样本迭代训练推荐模型，可大幅提高推荐模型的性能，更有针对性地将商品推送给合适的用户，提高用户的购物体验。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。