用于目标组的媒体项的标识的制作方法

背景技术：

1、本技术涉及分析媒体内容以用于根据所生成的媒体项的语义描述符确定媒体内容描述符、媒体档案、情感档案和人格档案。媒体内容描述符、媒体档案、情感档案和人格档案可以在多种使用情况下使用，例如，用于确定与目标档案相匹配的媒体项或者用于确定具有与目标档案相匹配的人格档案的媒体用户。使用情况可以包括媒体推荐引擎、虚拟现实、智能助理、广告(定向营销)和计算机游戏。

技术实现思路

1、在广义方面，本公开涉及根据与媒体项相关联的多个媒体内容描述符集合确定与目标内容描述符集合最佳匹配的媒体内容描述符集合。媒体项可以是任何种类的媒体内容，特别是音频剪辑或视频剪辑。音频媒体项优选地包括音乐或音乐部分，并且优选地是音乐片段。图片、一系列图片、视频、幻灯片和图形表示是媒体项的进一步示例。媒体内容描述符集合包括相应媒体项或一组媒体项的语义描述符。

2、用于确定最佳匹配媒体内容描述符集合的方法包括：获取具有档案的元素的多个档案分数的目标档案。典型地，目标档案基于定义包括属性(表示人格特质的值对)的多个档案元素的人格方案。档案元素的值也称为档案分数。人格方案的示例是迈尔斯-布里格斯型指标(myers-briggs type indicator，mbti)、自我平衡(ego equilibrium)、大五人格特质(ocean：开放、尽责、外向、随和、神经质)、或九型人格(enneagram)。定义人格档案元素的其他方案是可能的。

3、目标档案被映射到具有多个特征的目标内容描述符集合。可以通过应用定义了如何根据档案分数计算目标内容描述符集合的特征的至少一个映射规则来执行映射。

4、接下来，获取一个或更多个媒体项的多个媒体内容描述符集合。每个媒体内容描述符集合与媒体项或一组媒体项相关联。媒体项的媒体内容描述符集合(也称为媒体项的媒体档案、或者在音乐媒体项的情况下的音乐档案)或一组媒体项的媒体内容描述符集合包括在不同方面表征媒体项的多个媒体内容描述符(也称为特征)。除了可选的其他描述符之外，媒体内容描述符集合包括媒体项(组)的语义描述符。语义描述符在高级别方面描述媒体项的内容，诸如媒体项所属的流派。在这种意义上，它可以将媒体项分类为多个语义类中的一个，并且以高概率指示媒体项属于哪个语义类。例如，语义描述符可以表示为指示媒体项的类成员资格的二进制值(0或1)，或表示为指示媒体属于语义类的概率的实数。语义描述符可以是指示媒体项与情感方面(诸如情绪)相对应的情感描述符。情感描述符可以将该媒体项分类成多个情感类中的一个或更多个，并以高概率指示该媒体项属于哪个情感类。情感描述符可以被表示为指示媒体项的类成员资格的二进制值(0或1)，或表示为指示媒体属于情感类的概率的实数。

5、可以根据所标识的媒体项计算媒体内容描述符，或者从存储有多个媒体项的预分析的媒体内容描述符的数据库中检索媒体内容描述符。像这样，获取所标识的一个或更多个媒体项中的每个的媒体内容描述符集合的步骤可以包括从数据库检索媒体项的媒体内容描述符集合。可以在获取目标档案并将目标档案映射到目标内容描述符之前执行获取媒体内容描述符集合的步骤。一些媒体内容描述符具有量化针对媒体项呈现的相应语义描述符和/或情感描述符的程度的数值。例如，数值媒体内容描述符可以被归一化并且具有在0与1之间或在0％与100％之间的值。

6、该方法还包括：搜索至少一个媒体内容描述符集合，该至少一个媒体内容描述符集合是相对于目标档案及其目标内容描述符的最佳匹配内容描述符集合。搜索最佳匹配内容描述符集合可以包括：将目标内容描述符集合与媒体项的多个媒体内容描述符集合进行比较。

7、所标识的至少一个最佳匹配媒体内容描述符集合然后被选择用于与目标档案有关的进一步活动，诸如接收与目标档案相关联的信息。如果目标档案对应于品牌或产品，则这允许选择在用户或用户组的人格或情感方面与产品或品牌最佳匹配的用户或用户组。如果目标档案对应于各个用户或用户组，则可以选择与最佳匹配媒体内容描述符集合相对应的媒体项用于向用户或用户组回放或推荐。

8、确定步骤的结果可以被显示在计算设备上或传输至数据库服务器。例如，将至少一个所确定的媒体内容描述符集合的标识传输至数据库服务器。至少一个所确定的媒体内容描述符集合的标识可以用于多种使用情况，诸如用于确定具有与目标档案相匹配的人格档案的媒体用户，例如用于媒体推荐引擎、智能助理、智能家庭、广告、产品定位、营销、虚拟现实和游戏。

9、媒体项的媒体内容描述符集合和/或目标内容描述符集合可以进一步包括媒体项的一个或更多个声学描述符。可以基于媒体项内容的声学数字音频分析来确定媒体项的声学描述符(也称为声学属性)。例如，声学分析可以基于媒体项的音频内容推导的声谱图。可以采用各种技术用于根据音频信号获取声学描述符。声学描述符的示例为音速(每分钟节拍)、持续时间、基调、模式、节奏存在和(频谱)能量。

10、可以至少部分地基于确定媒体项的一个或更多个情感描述符和/或一个或更多个语义描述符的一个或更多个人工智能模型来确定媒体项的媒体内容描述符集合。一个或更多个语义描述符可以包括流派或声乐属性(诸如，语音存在、语音性别(分别为低音或高音))中的至少一个。情感描述符的示例是音乐情绪和节奏情绪。人工智能模型可以基于机器学习技术，诸如深度学习(深度神经网络)。例如，人工神经网络可以被用于确定媒体项的情感描述符和语义描述符。可以通过由音乐专家和数据科学专家提供的大量数据集来训练神经网络。还有可能使用人工智能模型或机器学习技术(例如，神经网络)，来确定媒体项的声学描述符(诸如bpm或基调)。

11、可以对媒体项的分段进行分析，并且基于对各个分段的分析结果来确定媒体项的媒体内容描述符集合。例如，媒体项可以被分段成媒体项部分，声学分析和/或人工智能技术可以被应用于各个部分，以与针对整组媒体项聚合媒体项的媒体内容描述符相似的方式，针对这些部分生成声学描述符和/或语义描述符，随后聚合声学描述符和/或语义描述符，以形成完整媒体项的声学描述符和/或语义描述符。

12、可以由定义如何根据档案分数计算目标内容描述符的特征的映射规则使用目标档案的档案分数(即，档案元素的属性(值对)的值)。映射规则可以定义哪个档案分数对目标内容描述符集合的特征有贡献以及如何对目标内容描述符集合的特征有贡献。例如，基于加权档案分数确定目标内容描述符特征。基于加权，不同的分数可以以不同的程度对目标内容描述符做出贡献。进一步地，可以基于目标档案分数的存在或不存在来确定目标内容描述符的特征。换言之，如果存在给定档案元素的分数，则可以对内容描述符集合的特征做出贡献。可替代地，可以通过对1减去分数值(具有0和1之间的值)的差进行加权来表示在档案分数被认为不存在的情况下对内容描述符特征的贡献。

13、可以通过机器学习技术来学习映射规则。例如，可以通过使用多个目标档案(现实世界用户档案)的机器学习和合适的机器学习技术来确定目标档案分数对目标内容描述符特征贡献的权重，合适的机器学习技术能够确定关于如何从内容描述符映射到档案分数以及反之亦然的规则和/或权重。此外，这种机器学习技术可以确定哪个内容描述符可能对档案分数有贡献并选择相应的内容描述符，反之亦然。

14、对最佳匹配媒体内容描述符集合的搜索可以基于对目标内容描述符集合与多个媒体内容描述符集合的比较。例如，目标内容描述符集合与媒体内容描述符集合的比较可以基于匹配内容描述符元素并且选择具有与目标内容描述符相同或相似的元素的媒体项的内容描述符集合。进一步地，内容描述符集合的比较可以基于相似性搜索，在相似性搜索中比较目标内容描述符集合与媒体内容描述符集合中的对应元素并计算指示相应内容描述符集合对的相似性的匹配分数值。目标内容描述符集合与媒体内容描述符集合对的匹配分数可以基于内容描述符集合的对应元素的各个匹配分数。例如，可以计算内容描述符集合的对应值(分数)之间的差(例如，欧几里得距离、曼哈顿距离、余弦距离等)和由此计算目标内容描述符集合与媒体内容描述符集合对的比较的匹配分数。可以确定多个最佳匹配媒体内容描述符集合，并且根据他们的匹配分数对多个最佳匹配媒体内容描述符集合进行排序。这允许确定最佳匹配的媒体内容描述符集合、第二最佳匹配的媒体内容描述符集合等。

15、内容描述符集合的比较可以进一步根据对应于目标档案或媒体内容描述符集合的用户或用户组的情境或环境。情境或环境的示例是用户的位置、一天中的时间、天气、用户附近的其他人。相似的情境或示例可以用于用户组。

16、在用户或用户组选择合适的媒体项的实施例中，目标档案对应于各个用户或用户组，目标档案基于人格方案，该人格方案定义包括属性(表示人格特质的值对)的多个档案元素。档案元素的值也称为档案分数。人格方案的示例是迈尔斯-布里格斯型指标(myers-briggs type indicator，mbti)、自我平衡(ego equilibrium)、大五人格特质(ocean：开放、尽责、外向、随和、神经质)、或九型人格(enneagram)。

17、可以基于标识了与用户或用户组相关联的一组媒体项的用户或用户组的播放列表或流历史来确定目标档案。可以通过(例如经由url)引用媒体项的存储位置、或通过列出媒体项的名称或标题(例如，艺术家、专辑、歌曲)、或通过唯一标识符(例如，isrc、md5和(md5sum)、音频识别指纹等)来标识播放列表中的媒体项。对应的音频/视频文件的存储位置可以通过查表或搜索过程来确定。

18、播放列表中标识的媒体项允许确定用户的人格档案。如果媒体项涉及用户的短期媒体消费历史(例如，最近收听的音乐片段)，所生成的人格档案表征用户的当前或最近的情绪。如果媒体项与标识用户的长期媒体项使用历史的播放列表有关，则所生成的人格档案表征用户的长期人格档案。对于一些实施例，具体地，对于广告和品牌推广使用情况，还可以将长期人格档案与(基于最近收听的歌曲的情绪的)短期人格档案之间的混合考虑为用户的相关人格档案。在其他实施例中，可以基于用户或用户组的短期媒体消费历史来确定目标档案，并且目标档案表征用户或用户组的当前情绪。

19、可以选择与最佳匹配媒体内容描述符集合相对应的另一个媒体项，以用于呈现给用户或用户组。媒体项可以是被选择用于向用户或用户组回放或推荐的音频或视频剪辑。与对应于最佳匹配媒体内容描述符集合的媒体项相关联的信息可以被提供给用户或提供给与用户相关联的用户设备。

20、在标识与目标档案匹配的合适用户的其他实施例中，目标档案对应于产品或品牌，并且每个媒体内容描述符集合与用户或用户组相关联。方法还可以包括：确定与媒体内容描述符集合相关联的用户或用户组，媒体内容描述符集合相对于目标内容描述符集合最佳匹配。换言之，具有与为产品或品牌设置的目标内容描述符集合最佳匹配的情感档案的用户或用户组被标识并且可以被选择用于进一步活动。可以通过应用如上所述的映射规则根据产品或品牌档案的元素确定目标内容描述符。

21、媒体内容描述符集合可以包括聚合特征，聚合特征表征已经呈现给用户或用户组的一组媒体项，特别是在与用户或用户组相关联的播放列表中标识的媒体项。在这方面，可以基于各个媒体项的相应媒体内容描述符来确定整组一个或更多个媒体项的聚合媒体内容描述符集合。聚合媒体内容描述符表征该组中的媒体项的语义描述符和/或情感描述符(以及可能的声学描述符)。包括情绪并且与用户或用户组相关联的聚合媒体内容描述符集合也被称为用户或用户组的情感档案。可以通过对媒体项的各个媒体内容描述符(特别是具有数值的媒体内容描述符)的值进行平均来计算聚合媒体内容描述符。要注意的是，除了对各个媒体内容描述符的值进行简单平均之外的其他方法也是可能的。例如，均方根(rootmean square，rms)或在聚合中强调较大值的其他方法(例如，“对数均值指数平均”(log-mean-exponent averaging))可以被应用。由此，获取多个媒体项的内容描述符集合的步骤可以包括：根据该组的媒体项的相应数值内容描述符计算聚合数值内容描述符。

22、此外，可以为与媒体内容描述符集合相关联的用户或用户组提供(例如，与用户或用户组的情感档案相关联的)用户人格档案。例如，可以为具有与目标内容描述符集合最佳匹配的情感档案的用户提供用户人格档案。用户人格档案包括档案的元素的多个人格分数，元素基于人格方案表示用户或用户组的人格特质。人格方案可以是如上所述的方案。可以选择对应于最佳匹配内容描述符集合的用户人格档案用于进一步活动，将对应于最佳匹配内容描述符集合的用户人格档案存储和/或转发到其他计算设备。

23、可以通过将相关联的(聚合)媒体内容描述符集合(例如，情感档案)映射至人格分数来生成用户人格档案。根据与媒体内容描述符集合相对应的媒体项，用户人格档案可以表征用户的长期人格或用户的短期情绪。可以基于映射规则来确定用户人格档案的人格分数(即，档案元素的属性(值对)的值)，映射规则定义如何根据与用户相关联的(可能聚合)媒体内容描述符集合(即他/她的情感档案)计算人格分数。映射规则可以定义哪个(聚合)媒体内容描述符对人格分数有贡献以及如何对人格分数有贡献的。例如，基于加权的聚合数值媒体内容描述符来确定人格分数。基于加权，不同的特征可以以不同的程度对分数做出贡献。进一步地，可以基于(聚合)媒体内容描述符的存在或不存在确定人格档案的人格分数。换言之，如果(聚合)媒体内容描述符存在，则可以例如通过对归一化的数值聚合特征进行加权，来对分数做出贡献。可选地，在(聚合)媒体内容描述符被认为不存在的情况下，可以通过对1减去归一化的数值聚合特征值(具有0和1之间的值)的差进行加权来表示对分数做出的贡献。可以通过机器学习技术来学习映射规则，该映射规则类似于上文提到的从目标档案分数映射到目标内容描述符。

24、可以选择与目标档案相对应的另一个媒体项用于呈现给所确定的用户或用户组。媒体项可以是被选择用于向用户或用户组回放或推荐的音频或视频剪辑。与对应于最佳匹配媒体内容描述符集合的媒体项相关联的信息可以被提供给用户或提供给与用户相关联的用户设备。

25、可以为所确定的用户或用户组自动生成电子消息，以及将所生成的消息电子地传输至用户或用户组，电子消息包括关于产品或品牌的信息。该电子消息可以包括关于与目标人格档案相关联的产品或品牌的信息，例如，该电子消息可以包括与目标档案相对应的所选择的另一个媒体项。

26、例如，在确定的时间段之后或者在已经将多个媒体项呈现给用户(组)之后，可以重复地执行目标内容描述符集合与多个媒体内容描述符集合的比较以及具有最佳匹配内容描述符集合的至少一个媒体内容描述符集合的确定。这样，可以例如在向用户呈现媒体项之后，基于最近确定的最近媒体内容描述符集合实时地定期更新另一个媒体项的确定。这允许自适应媒体呈现服务，其中，根据用户先前消费的媒体项，向用户呈现对应于目标档案的新媒体项。

27、目标内容描述符集合与多个媒体内容描述符集合的比较以及具有最佳匹配内容描述符集合的至少一个媒体内容描述符集合的确定可以在服务器平台上生成。该方法还可以包括：将与用户相关联的消费的媒体项的标识从与用户相关联的用户设备传输到服务器平台。因此，服务器接收关于用户的媒体消费(例如，播放列表)的信息并且可以根据该信息确定用户的媒体内容描述符集合和人格档案。如上所述，这可以重复地执行。用户设备可以是任何用户装置，诸如个人计算机、平板计算机、移动计算机、智能电话、可穿戴设备、智能扬声器、智能家庭环境、汽车收音机等或这些设备的任何组合使用。在服务器已经确定最佳匹配内容描述符集合之后，服务器可以将与目标档案相对应的所选择的媒体项传输至用户设备，在用户设备处接收信息并将信息呈现给用户，或引起对所选择的媒体项的回放。

28、在本公开的另一方面，提出了一种用于执行上述方法中任一项的计算设备。计算设备可以是服务器计算机，服务器计算机包括用于存储指令的存储器和用于执行指令的处理器。计算设备可以进一步包括用于与用户设备通信的网络接口。计算设备可以从用户设备接收关于由用户消费的媒体项的信息。计算设备可以被配置为生成如以上所公开的媒体内容描述符集合和人格档案。根据使用情况，媒体内容描述符集合和/或人格档案可以用于推荐相似的媒体项或确定具有与目标档案相匹配的人格档案的媒体用户或显示媒体用户可能感兴趣的广告。关于与目标档案相对应的所标识的另一媒体项的信息可以被传输到用户设备。

29、所公开的设备的实施方式可以包括使用(但不限于)一个或更多个处理器、一个或更多个专用集成电路(application specific integrated circuit，asic)和/或一个或更多个现场可编程门阵列(field programmable gate array，fpga)。设备的实施方式还可以包括使用其他常规和/或定制硬件，诸如软件可编程处理器(诸如图形处理单元(graphicsprocessing unit，gpu)处理器)。

30、本公开的另一个方面可以涉及计算机软件、计算机程序产品、或者包含用于在可编程计算机或专用硬件上执行的计算机软件指令的任何介质或数据，可编程计算机或专用硬件包括至少一个处理器，这使至少一个处理器执行在本公开中公开的方法步骤中的任一方法步骤。

31、虽然本文将具体参考以上申请描述一些示例实施例，但将理解，本公开不限于此类使用领域，而是可以应用于更广泛的情境中。

32、值得注意的是，应当理解，根据本公开的方法涉及操作根据上述示例实施例及其变型的设备的方法，关于设备做出的相应陈述同样适用于相对应的方法，反之亦然，因此，为了简明起见，可以省去相似的描述。此外，即使没有明确公开，也可以以多种方式组合上述方面。本领域技术人员将理解，除非它产生明确排除的矛盾，否则这些方面和特征/步骤的组合是可能的。

33、在以下讨论的过程中并且通过参考附图，本公开的其他和进一步的示例实施例将变得清楚。