面向不完整多视图数据的转换模型的训练方法及装置与流程

1.本技术实施例涉及计算机技术，尤其涉及一种面向不完整多视图数据的转换模型的训练方法及装置。


背景技术：

2.随着数据采集技术的不断发展,人们获得的数据常常具有多个视角,形成多视图数据。
3.聚类分析是根据数据对象间的关系将集合分割成多个簇的过程，并将距离近的数据对象划分到同一个簇中，以及将距离远的数据划分到不同的簇。在实际的工程应用中，一般不可能收集到对于所有事物完整的多视图数据。
4.因为多视图数据可以全面并准确的描述数据对象，因此根据缺失视图的数据进行聚类分析，会导致聚类分析的准确性较差。


技术实现要素：

5.本技术实施例提供一种面向不完整多视图数据的转换模型的训练方法及装置、面向不完整多视图数据的信息聚类方法及装置，以克服聚类分析的准确性较差的问题。
6.第一方面，本技术实施例提供一种面向不完整多视图数据的转换模型的训练方法，包括：
7.获取样本对象的第一描述信息和第二描述信息，所述第一描述信息为第一信息类型，所述第二描述信息为第二信息类型；
8.通过第一转换模型对所述第一描述信息进行特征提取和特征转换处理，得到第一特征信息和第一转换信息，所述第一转换模型用于将所述第一信息类型的描述信息转换为所述第二信息类型的描述信息；
9.通过第二转换模型对所述第二描述信息进行特征提取和特征转换处理，得到第二特征信息和第二转换信息，所述第二转换模型用于将所述第二信息类型的描述信息转换为所述第一信息类型的描述信息；
10.根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息和所述第二描述信息，更新所述第一转换模型和所述第二转换模型的模型参数。
11.在一种可能的设计中，根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息和所述第二描述信息，更新所述第一转换模型和所述第二转换模型的模型参数，包括：
12.通过第一还原模型对所述第一特征信息进行还原处理得到第一还原信息，以及通过第二还原模型对所述第二特征信息进行还原处理，得到第二还原信息；
13.根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息、所述第二描述信息、所述第一还原信息和所述第二还原信息，更新
所述第一转换模型和所述第二转换模型的模型参数。
14.在一种可能的设计中，所述第一转换模型包括第一特征提取模型和第一特征转换模型；所述第二转换模型包括第二特征提取模型和第二特征转换模型；
15.根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息、所述第二描述信息、所述第一还原信息和所述第二还原信息，更新所述第一转换模型和所述第二转换模型的模型参数，包括：
16.根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息，更新所述第一特征提取模型、所述第一还原模型、所述第二特征提取模型、所述第二还原模型的模型参数；
17.根据所述第一特征信息和所述第二特征信息更新第一特征提取模型和所述第二特征提取模型的模型参数；
18.根据所述第一特征信息、所述第一转换信息、所述第二特征信息和所述第二转换信息，更新所述第一特征转换模型和所述第二特征转换模型的模型参数。
19.在一种可能的设计中，根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息，更新所述第一特征提取模型、所述第一还原模型、所述第二特征提取模型、所述第二还原模型的模型参数，包括：
20.根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息，确定第一损失；
21.根据所述第一损失，更新所述第一特征提取模型、所述第一还原模型、所述第二特征提取模型、所述第二还原模型的模型参数。
22.在一种可能的设计中，根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息，确定第一损失，包括：
23.根据第一预设损失函数，对所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息进行处理，确定所述第一损失。
24.在一种可能的设计中，根据所述第一特征信息和所述第二特征信息更新第一特征提取模型和所述第二特征提取模型的模型参数，包括：
25.获取所述第一特征信息和所述第二特征信息的互信息；
26.根据所述第一特征信息、所述第二特征信息和所述互信息，确定所述第一特征信息和所述第二特征信息之间的第二损失；
27.根据所述第二损失，更新第一特征提取模型和所述第二特征提取模型的模型参数。
28.在一种可能的设计中，根据所述第一特征信息、所述第一转换信息、所述第二特征信息和所述第二转换信息，更新所述第一特征转换模型和所述第二特征转换模型的模型参数，包括：
29.根据所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一特征信息，确定第三损失；
30.根据所述第三损失，更新所述第一特征转换模型和所述第二特征转换模型的模型参数。
31.在一种可能的设计中，所述方法还包括：
32.在所述第一损失、所述第二损失和所述第三损失之和最小时，确定所述第一转换模型以及所述第二转换模型收敛。
33.第二方面，本技术实施例提供一种面向不完整多视图数据的信息聚类方法，包括：
34.获取第一对象的第一描述信息，所述第一描述信息为第一信息类型；
35.通过转换模型获取所述第一描述信息的第一特征信息，以及通过所述转换模型获取所述第一特征信息对应的第二特征信息，所述第二特征信息为第二信息类型的描述信息对应的特征信息；
36.根据所述第一特征信息和所述第二特征信息对所述第一对象进行聚类处理。
37.在一种可能的设计中，所述转换模型包括特征提取模型和特征转换模型；通过转换模型获取所述第一描述信息的第一特征信息，以及通过所述转换模型获取所述第一特征信息对应的第二特征信息，包括：
38.通过所述特征提取模型对所述第一描述信息进行特征提取处理，得到所述第一特征信息；
39.通过所述特征转换模型对所述第一特征信息进行转换处理，得到所述第二特征信息。
40.第三方面，本技术实施例提供一种面向不完整多视图数据的转换模型的训练装置，包括：
41.获取模块，用于获取样本对象的第一描述信息和第二描述信息，所述第一描述信息为第一信息类型，所述第二描述信息为第二信息类型；
42.处理模块，用于通过第一转换模型对所述第一描述信息进行特征提取和特征转换处理，得到第一特征信息和第一转换信息，所述第一转换模型用于将所述第一信息类型的描述信息转换为所述第二信息类型的描述信息；
43.所述处理模块，还用于通过第二转换模型对所述第二描述信息进行特征提取和特征转换处理，得到第二特征信息和第二转换信息，所述第二转换模型用于将所述第二信息类型的描述信息转换为所述第一信息类型的描述信息；
44.更新模块，用于根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息和所述第二描述信息，更新所述第一转换模型和所述第二转换模型的模型参数。
45.在一种可能的设计中，所述更新模块，具体用于：
46.通过第一还原模型对所述第一特征信息进行还原处理得到第一还原信息，以及通过第二还原模型对所述第二特征信息进行还原处理，得到第二还原信息；
47.根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息、所述第二描述信息、所述第一还原信息和所述第二还原信息，更新所述第一转换模型和所述第二转换模型的模型参数。
48.在一种可能的设计中，所述第一转换模型包括第一特征提取模型和第一特征转换模型；所述第二转换模型包括第二特征提取模型和第二特征转换模型；
49.所述更新模块，具体用于：
50.根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息，更新所述第一特征提取模型、所述第一还原模型、所述第二特征提取模型、所述第二还
原模型的模型参数；
51.根据所述第一特征信息和所述第二特征信息更新第一特征提取模型和所述第二特征提取模型的模型参数；
52.根据所述第一特征信息、所述第一转换信息、所述第二特征信息和所述第二转换信息，更新所述第一特征转换模型和所述第二特征转换模型的模型参数。
53.在一种可能的设计中，所述更新模块，具体用于：
54.根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息，确定第一损失；
55.根据所述第一损失，更新所述第一特征提取模型、所述第一还原模型、所述第二特征提取模型、所述第二还原模型的模型参数。
56.在一种可能的设计中，所述更新模块，具体用于：
57.根据第一预设损失函数，对所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息进行处理，确定所述第一损失。
58.在一种可能的设计中，所述更新模块，具体用于：
59.获取所述第一特征信息和所述第二特征信息的互信息；
60.根据所述第一特征信息、所述第二特征信息和所述互信息，确定所述第一特征信息和所述第二特征信息之间的第二损失；
61.根据所述第二损失，更新第一特征提取模型和所述第二特征提取模型的模型参数。
62.在一种可能的设计中，所述更新模块，具体用于：
63.根据所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一特征信息，确定第三损失；
64.根据所述第三损失，更新所述第一特征转换模型和所述第二特征转换模型的模型参数。
65.在一种可能的设计中，所述处理模块，还用于：
66.在所述第一损失、所述第二损失和所述第三损失之和最小时，确定所述第一转换模型以及所述第二转换模型收敛。
67.第四方面，本技术实施例提供一种面向不完整多视图数据的信息聚类装置，包括：
68.第一获取模块，用于获取第一对象的第一描述信息，所述第一描述信息为第一信息类型；
69.第二获取模块，用于通过转换模型获取所述第一描述信息的第一特征信息，以及通过所述转换模型获取所述第一特征信息对应的第二特征信息，所述第二特征信息为第二信息类型的描述信息对应的特征信息；
70.聚类模块，用于根据所述第一特征信息和所述第二特征信息对所述第一对象进行聚类处理。
71.在一种可能的设计中，所述转换模型包括特征提取模型和特征转换模型；所述第二获取模块具体用于：
72.通过所述特征提取模型对所述第一描述信息进行特征提取处理，得到所述第一特征信息；
73.通过所述特征转换模型对所述第一特征信息进行转换处理，得到所述第二特征信息。
74.第五方面，本技术实施例提供一种面向不完整多视图数据的转换模型的训练设备，包括：
75.存储器，用于存储程序；
76.处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
77.第六方面，本技术实施例提供一种面向不完整多视图数据的信息聚类设备，包括：
78.存储器，用于存储程序；
79.处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如上第二方面以及第二方面各种可能的设计中任一所述的方法。
80.第七方面，本技术实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上第一方面以及第一方面各种可能的设计、或者如上第二方面以及第二方面各种可能的设计中任一所述的方法。
81.第八方面，本技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计、或者如上第二方面以及第二方面各种可能的设计中任一所述的方法。
82.本技术实施例提供一种面向不完整多视图数据的转换模型的训练方法及装置，该方法包括：获取样本对象的第一描述信息和第二描述信息，第一描述信息为第一信息类型，第二描述信息为第二信息类型。通过第一转换模型对第一描述信息进行特征提取和特征转换处理，得到第一特征信息和第一转换信息，第一转换模型用于将第一信息类型的描述信息转换为第二信息类型的描述信息。通过第二转换模型对第二描述信息进行特征提取和特征转换处理，得到第二特征信息和第二转换信息，第二转换模型用于将第二信息类型的描述信息转换为第一信息类型的描述信息。根据第一特征信息、第一转换信息、第二特征信息、第二转换信息、第一描述信息和第二描述信息，更新第一转换模型和第二转换模型的模型参数。通过获取样本对象的多视角的第一描述信息和第二描述信息，之后根据转换模型对第一描述信息和第二描述信息进行信息类型的转换，并根据转换后的数据和相应的描述信息对转换模型的模型参数进行更新，从而可以训练得到用于对信息类型进行转换的转换模型，以实现可以根据已有视图的数据自动生成缺少视图的数据。
83.以及，本技术实施例提供一种面向不完整多视图数据的信息聚类方法及装置，该方法通过转换模型对进行特征提取，得到当前已有视角数据的特征信息，之后通过转换模型再对已有视角数据的特征信息进行处理，从而得到缺失视角的特征信息，以实现对缺失视角的特征信息的补全，之后可以基于第一特征信息和第二特征信息进行聚类处理，或者还可以基于补全的缺失视角的特征信息还原出缺失视角的描述信息，之后基于第一描述信息和第二描述信息进行聚类处理，因此本实施例中可以在缺失某些视角的数据的情况下，基于已有视角的数据实现对缺失视角的数据的补全，在补全之后，基于多视角的信息进行聚类处理，从而可以有效提升聚类处理的准确性。
附图说明
84.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
85.图1为本技术实施例提供的多视图数据的实现示意图；
86.图2为本技术实施例提供的转换模型的训练方法的流程图；
87.图3为本技术实施例提供的转换模型的训练方法的流程图二；
88.图4为本技术实施例提供的训练转换模型的结构示意图；
89.图5为本技术实施例提供的互信息的实现示意图；
90.图6为本技术实施例提供的转换模型的优化目标示意图；
91.图7为本技术实施例提供的信息聚类方法的流程图；
92.图8为本技术实施例提供的转换模型的处理示意图一；
93.图9为本技术实施例提供的转换模型的处理示意图二；
94.图10为本技术实施例提供的恢复视图的实现示意图；
95.图11为本技术实施例提供的聚类效果的示意图；
96.图12为本技术实施例提供的转换模型的训练装置的结构示意图；
97.图13为本技术实施例提供的信息聚类装置的结构示意图；
98.图14为本技术实施例提供的转换模型的训练设备的硬件结构示意图；
99.图15为本技术实施例提供的信息聚类设备的硬件结构示意图。
具体实施方式
100.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
101.为了更好的理解本技术的技术方案，下面对本技术所涉及的相关概念进行介绍。
102.自编码器：自编码器(auto encoder)是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络。输入数据的这一高效表示称为编码(codings)，其维度一般远小于输入数据，使得自编码器可用于降维。更重要的是，自编码器可作为强大的特征检测器(feature detectors)，应用于深度神经网络的预训练。此外，自编码器还可以随机生成与训练数据类似的数据，这被称作生成模型(generative model)。比如，可以用人脸图片训练一个自编码器，它可以生成新的图片。
103.对比学习：对比学习(contrastive learning)类方法通过将数据分别与正例样本和负例样本在特征空间进行对比，来学习样本的特征表示。对于任意数据x，对比学习的目标是学习一个表征机制f使得：
104.score(f(x)，f(x
+
))＞＞score(f(x)，f(x-))
105.其中，x
+
和x是相似的正样本，x-和x是不相似的负样本，score是一个度量函数来衡量样本间相似度，f()是表征机制f对相应的样本进行处理的表示。
106.如果使用向量内积计算相似度，对比学习损失函数可以表示为：
[0107][0108]
其中n表示样本x的数目，exp是高等数学里以自然常数e为底的指数函数。显然这个形式可以用交叉熵损失函数进行计算，目标就是让样本和正样本更相似，和负样本特征更不相似，这个公式也可以用信息论知识进行解释，即增加正样本之间的互信息度，故而此loss又称为互信息损失。
[0109]
mnist数据集：mnist数据集是机器学习领域中非常经典的一个数据集，由60000个训练样本和10000个测试样本组成，每个样本都是一张28*28像素的灰度手写数字图片。
[0110]
多源异构数据：在企业信息化建设过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响，导致企业在发展过程中积累了大量采用不同存储方式的业务数据，包括采用的数据管理系统也大不相同，从简单的文件数据库到复杂的网络数据库，它们构成了企业的异构数据源。本技术中的多源异构数据也可以称为多视图数据。
[0111]
在上述介绍的相关概念的基础上，下面对本技术所涉及的相关技术背景进行进一步的详细介绍。
[0112]
随着数据采集技术的不断发展，人们获得的数据常常具有多个视角，形成多视图数据。更进一步的，在一些实际问题中，对于同一事物可以从多种不同的途径或不同的角度对其进行描述,这多种描述构成事物的多个视图(multi view)。
[0113]
实际上在日常生活工作中经常会遇到多视图数据，比如对于苹果这个事物，其多视图数据可以参照图1进行理解，图1为本技术实施例提供的多视图数据的实现示意图。
[0114]
参照图1，针对苹果这个事物，可能同时拥有图1中的101所示的关于苹果的图片影像数据，以及图1中的102所示的关于苹果的文本描述数据，这2个类型的数据就统一称为苹果这个事物的两个视图。
[0115]
再比如说，对于网页大数据，可以通过文本或者网页链接的形式获取数据，从而构成了针对网页数据的两个视图的多视图数据。
[0116]
基于图1和上述的示例可以确定的是，多视图对于事物的描述更加多维更加丰富，不同视图的数据可以反映事物的不同特征，因此基于多视图数据的数据分析，就会更加具备更好的完备性和实际应用能力。由于多视图数据大多数没有标签，如何在没有标签的情况下完成更好的数据分析任务也是重要目标之一。
[0117]
然而，在实际的工程应用中，我们通常是不可能收集到对于所有事物的完全并完整的多数据集的，比如对于苹果，可能只有图片数据而没有文字数据，再比如说对于梨，可能只有文字数据而没有图片数据。可以理解的是，基于缺失视图的数据进行数据对象的分析，会导致数据处理的效果较差。
[0118]
下面对数据对象处理的聚类分析进行说明。在如今信息爆炸的时代，数据量也不断增加，在众多数据中，如何找出其中的有用信息称为人们关注的重点，数据挖掘技术作为大数据处理及信息挖掘的重要手段，以得到了广泛应用。具体的，聚类分析是根据数据对象间的关系将集合分割成多个簇(cluster)的过程，并将距离近的对象划分到同一个簇中，将
距离远的局对象划分到不同簇。
[0119]
因此，可以通过相似性对数据进行划分，得到更为准确的聚类结果。如果从机器学习层面进行解释，聚类分析实际上是一种无监督学习方法，可以对标签信息未知的数据进行聚类等操作，从而提取出有用的信息，
[0120]
以及，随着如今对数据信息化的要求越来越高，仅从单一视图进行数据的描述已经无法得到预期效果，因此目前的多数图数据(multi-view data)聚类问题是一个研究重点。其中，聚类由一个视图组成的数据成为单视图聚类(single-view clustering)，而多视图聚类(multi-view clustering)则是用聚类方法处理多视图数据。
[0121]
基于上述介绍可以确定的是，在实际的工程应用中，通常是不可能收集到对于所有事物的完全并完整的多数据集的，综合上述对聚类分析的介绍，若基于缺失视图的数据进行数据对象的聚类分析，会导致聚类分析的准确性和效果较差。
[0122]
针对现有技术中的问题，本技术提出了如下技术构思：通过训练一个转换模型，该转换模型可以基于当前对象的已有视图的数据，自动推算并补全确实视图的一些信息，之后基于补全视图后的数据进行聚类分析，从而可以有效提升聚类分析的准确性和聚类效果。
[0123]
在上述介绍的内容的基础上，下面结合具体的实施例对本技术实施例提供的转换模型的训练方法以及信息聚类方法进行介绍，值得说明的是，本技术中各实施例的执行主体例如可以为服务器、处理器、微处理器等具备数据处理功能的设备，本实施例对执行主体的具体实现不做限制，只要其具备数据处理的功能即可，其具体实现可以根据实际需求进行选择和设置。
[0124]
需要说明的是，本技术提供的方法共包括两个部分，一部分是针对转换模型进行训练的转换模型的训练方法，另一部分是针对转换模型的应用的信息聚类方法，下面对这两部分内容分别进行介绍。
[0125]
首先结合图2对转换模型的训练方法进行介绍，图2为本技术实施例提供的转换模型的训练方法的流程图。
[0126]
如图2所示，该方法包括：
[0127]
s201、获取样本对象的第一描述信息和第二描述信息，第一描述信息为第一信息类型，第二描述信息为第二信息类型。
[0128]
本实施例中的样本对象即为多视角描述对应的数据对象，比如说是上述示例中介绍的苹果、网页等等，本实施例对样本对象的具体实现不做限定，其可以是任意的对象，只要其可以采用多视角数据进行描述即可，
[0129]
以及本实施例中的第一描述信息和第二描述信息就是样本对象的多视角数据，其中第一描述信息为第一信息类型，第二描述信息为第二信息类型，也就是说第一描述信息和第二描述信息用于从不同的视角对样本对象进行描述。
[0130]
在一种可能的示例中，本实施例中的样本对象比如说可以是上述介绍的评估，以及第一描述信息比如说可以是上述介绍的图片影像数据，第二描述信息比如说可以是上述介绍的文本描述数据。
[0131]
本实施例对样本对象以及第一描述信息、第二描述信息的具体实现不做限制，只要样本对象是可以用数据进行描述的对象，以及第一描述信息和第二描述信息是样本对象
的多视角数据即可。
[0132]
同时需要说明的是，因为当前实施例中进行的是模型的训练，因此当前的样本对象是包括完整的多视角数据的，也就是说可以获取到样本对象的第一描述信息以及第二描述信息。
[0133]
s202、通过第一转换模型对第一描述信息进行特征提取和特征转换处理，得到第一特征信息和第一转换信息，第一转换模型用于将第一信息类型的描述信息转换为第二信息类型的描述信息。
[0134]
在确定样本信息的第一描述信息以及第二描述信息之后，本实施例中有第一转换模型，其中第一转换模型用于将第一信息类型的描述信息转换为第二类型的描述信息，比如说是将图片类型的描述信息转换为文字类型的描述信息。
[0135]
以及本实施例中的第一描述信息是第一信息类型的描述信息，则可以通过第一转换模型对第一描述信息进行特征提取以及特征转换处理。具体的，本实施例中的第一转换模型中包括两个部分，其中的一个部分用于对数据进行特征的提取，从而可以得到第一描述信息的第一特征信息，以及其中的另一个部分用于在特征提取之后进行特征转换，从而可以得到第一描述信息的第一转换信息。可以理解的是，此处的第一转换信息实际上对应的就是转换后的第二信息类型的描述信息。
[0136]
s203、通过第二转换模型对第二描述信息进行特征提取和特征转换处理，得到第二特征信息和第二转换信息，第二转换模型用于将第二信息类型的描述信息转换为第一信息类型的描述信息。
[0137]
以及，在确定样本信息的第一描述信息以及第二描述信息之后，本实施例中还有第二转换模型，其中第二转换模型用于将第二信息类型的描述信息转换为第一类型的描述信息，比如说是将文字类型的描述信息转换为图片类型的描述信息。
[0138]
以及本实施例中的第二描述信息是第二信息类型的描述信息，则可以通过第二转换模型对第二描述信息进行特征提取以及特征转换处理。具体的，本实施例中的第二转换模型中包括两个部分，其中的一个部分用于对数据进行特征的提取，从而可以得到第二描述信息的第二特征信息，以及其中的另一个部分用于在特征提取之后进行特征转换，从而可以得到第二描述信息的第二转换信息。可以理解的是，此处的第二转换信息实际上对应的就是转换后的第一信息类型的描述信息。
[0139]
s204、根据第一特征信息、第一转换信息、第二特征信息、第二转换信息、第一描述信息和第二描述信息，更新第一转换模型和第二转换模型的模型参数。
[0140]
在确定第一特征信息、第一转换信息、第二特征信息以及第二转换信息之后，实际上就可以确定转换后的描述信息，因为本实施例中是可以确定样本对象原本的第一描述信息和第二描述信息的，因此可以根据上述确定的内容，对第一转换模型和第二转换模型参数进行更新。
[0141]
可以理解的是，在对转换模型的参数进行更新之后，可以再次重复执行上述的步骤，并重复更新转换模型的参数，直至转换模型到达最终的优化目标，也就得到了我们所需要的转换模型。
[0142]
本技术实施例提供的转换模型的训练方法，包括：获取样本对象的第一描述信息和第二描述信息，第一描述信息为第一信息类型，第二描述信息为第二信息类型。通过第一
转换模型对第一描述信息进行特征提取和特征转换处理，得到第一特征信息和第一转换信息，第一转换模型用于将第一信息类型的描述信息转换为第二信息类型的描述信息。通过第二转换模型对第二描述信息进行特征提取和特征转换处理，得到第二特征信息和第二转换信息，第二转换模型用于将第二信息类型的描述信息转换为第一信息类型的描述信息。根据第一特征信息、第一转换信息、第二特征信息、第二转换信息、第一描述信息和第二描述信息，更新第一转换模型和第二转换模型的模型参数。通过获取样本对象的多视角的第一描述信息和第二描述信息，之后根据转换模型对第一描述信息和第二描述信息进行信息类型的转换，并根据转换后的数据和相应的描述信息对转换模型的模型参数进行更新，从而可以训练得到用于对信息类型进行转换的转换模型，以实现可以根据已有视图的数据自动生成缺少视图的数据。
[0143]
在上述实施例的基础上，下面结合图3至图6对本技术提供的转换模型的训练方法进行进一步的详细介绍。图3为本技术实施例提供的转换模型的训练方法的流程图二，图4为本技术实施例提供的训练转换模型的结构示意图，图5为本技术实施例提供的互信息的实现示意图，图6为本技术实施例提供的转换模型的优化目标示意图。
[0144]
如图3所示，该方法包括：
[0145]
s301、获取样本对象的第一描述信息和第二描述信息，第一描述信息为第一信息类型，第二描述信息为第二信息类型。
[0146]
其中，s301的实现方式与s201的实现方式类似，此处对具体实现不再赘述。
[0147]
为了便于对本实施例中的实现进行介绍，在图4中示出了本实施例中的处理过程示意图，则可以参照图4对本实施例中的第一描述信息和第二描述信息进行进一步的理解。
[0148]
参照图4，在一种可能的实现方式中，图4中的x1可以理解为本实施例中的第一描述信息，图4中的x2可以理解为本实施例中的第二描述信息，也就是说图4中的x1和x2就是针对样本对象的多视角数据。
[0149]
s302、通过第一转换模型对第一描述信息进行特征提取和特征转换处理，得到第一特征信息和第一转换信息，第一转换模型用于将第一信息类型的描述信息转换为第二信息类型的描述信息。
[0150]
其中，s302的实现方式与s202的实现方式类似，此处对具体实现不再赘述。
[0151]
进一步的，本实施例中的第一转换模型包括第一特征提取模型和第一特征转换模型，其中的第一特征提取模型用于对第一描述信息进行特征提取，以得到第一描述信息的第一特征信息，以及第一特征转换模型用于对第一描述信息提取后的第一特征信息进行特征转换处理，从而得到第一转换信息。
[0152]
例如可以参照图4进行理解，图4中的f
(1)
即为本实施例中的第一特征提取模型，如图4所示，第一特征提取模型f
(1)
可以对第一描述信息x1进行特征提取处理，从而得到第一描述信息x1的第一特征信息z1。
[0153]
s303、通过第二转换模型对第二描述信息进行特征提取和特征转换处理，得到第二特征信息和第二转换信息，第二转换模型用于将第二信息类型的描述信息转换为第一信息类型的描述信息。
[0154]
其中，s303的实现方式与s203的实现方式类似，此处对具体实现不再赘述。
[0155]
进一步的，本实施例中的第二转换模型包括第二特征提取模型和第二特征转换模
型，其中的第二特征提取模型用于对第二描述信息进行特征提取，以得到第二描述信息的第二特征信息，以及第二特征转换模型用于对第二描述信息提取后的第二特征信息进行特征转换处理，从而得到第二转换信息。
[0156]
例如可以参照图4进行理解，图4中的f
(2)
即为本实施例中的第二特征提取模型，如图4所示，第二特征提取模型f
(2)
可以对第二描述信息x2进行特征提取处理，从而得到第二描述信息x2的第一特征信息z2。
[0157]
s304、通过第一还原模型对第一特征信息进行还原处理得到第一还原信息，以及通过第二还原模型对第二特征信息进行还原处理，得到第二还原信息。
[0158]
以及，在本实施例中还设置有第一还原模型，其中，第一还原模型用于对第一特征信息进行还原处理，从而得到第一还原信息。例如参照图4，图4中的g
(1)
即为本实施例中的第一还原模型，如图4所示，第一还原模型g
(1)
可以对第一特征信息z1进行还原处理，从而得到第一还原信息
[0159]
同样的，在本实施例中还设置有第二还原模型，其中，第二还原模型用于对第二特征信息进行还原处理，从而得到第二还原信息。例如参照图4，图4中的g
(2)
即为本实施例中的第二还原模型，如图4所示，第二还原模型g
(2)
可以对第二特征信息z2进行还原处理，从而得到第二还原信息
[0160]
s305、根据第一预设损失函数，对第一描述信息、第一还原信息、第二描述信息、第二还原信息进行处理，确定第一损失。
[0161]
可以理解的是，本实施例中经由第一特征提取模型f
(1)
对第一描述信息x1进行特征提取处理，得到第一特征信息z1，以及之后通过第一还原模型g
(1)
对第一特征信息z1进行还原处理，得到第一还原信息实际上是通过第一特征提取模型以及第一还原模型在中间对第一描述信息的特征学习，从而尽可能的还原出第一描述信息，因此本实施例中是需要第一描述信息和第一还原信息尽可能的接近，以保证第一特征提取模型所提取的特征的准确性和有效性。
[0162]
因此本实施例中可以根据第一描述信息、第一还原信息、第二描述信息、第二还原信息，确定第一损失，之后可以根据第一损失，对模型的参数进行更新。
[0163]
在一种可能的实现方式中，例如可以根据第一预设损失函数，对第一描述信息、第一还原信息、第二描述信息、第二还原信息进行处理，确定第一损失。其中，第一预设损失函数例如可以满足如下公式一：
[0164][0165]
其中，v为视图的数量，m为样本对象的数量，表示第t个样本的第v描述信息(比如说v取1的时候，就是上述介绍的第一描述信息，v取2的时候，就是上述介绍的第二描述信息)，表示第v特征提取模型f(v)对第v描述信息进行处理，实际上也就表示的是第v描述信息的第v特征信息，以及表示第v还原模型g
(v)
对第v特征信息进行还原处理，实际上也就表示的是还原得到的第v还原信息，对应图4中的行还原处理，实际上也就表示的是还原得到的第v还原信息，对应图4中的为均
方误差，l
重建
为第一损失，实际上也就对应上述实施例中的重建损失。
[0166]
则基于上述介绍可以理解的是，本实施例中的第一损失实际上描述的就是还原后的还原信息和初始的描述信息之间的差距情况。在实际实现过程中，第一预设损失函数除了可以满足上述介绍的公式一之外，在上述公式一的基础上进行的恒等变形、添加相关的参数、系数等等，也可以作为本实施例中的第一预设损失函数，本实施例对第一预设损失函数的具体实现不做限制，只要第一预设损失函数可以实现根据第一描述信息、第一还原信息、第二描述信息、第二还原信息确定第一损失，其中的第一损失用于描述还原信息和描述信息之间的差距情况即可。
[0167]
因此，本实施例中第一损失对应的重建流程的目的是，采用x1和来重建损失以训练模型f
(1)
和g
(1)
，使得生成的和原先输入的x1越近似越好。其中的模型f
(1)
可以理解为一个编码器，用于将x1映射为z1，而g
(1)
可以理解为一个解码器，用于将z1映射为x1。
[0168]
以及，针对模型f
(2)
和g
(2)
类似，采用x2和来重建损失以训练模型f
(2)
和g
(2)
，使得生成的和原先输入的x2越近似越好。其中的模型f
(2)
可以理解为一个编码器，用于将x2映射为z2，而g
(2)
可以理解为一个解码器，用于将z2映射为x1。
[0169]
以及在一种可能的实现方式中，针对x1和x2可以分别确定重建损失，以各自重建和生成各自对应的x1以及x2，其实现方式与上述介绍的类似，此处不再赘述。
[0170]
s306、根据第一损失，更新第一特征提取模型、第一还原模型、第二特征提取模型、第二还原模型的模型参数。
[0171]
可以理解的是，损失函数实际上就表示了模型的优化目标，相当于根据损失函数确定的损失值，会向模型指明哪个方向是比较好的，接下来模型就会朝着那个方向进行演变，其中，损失值越小表示模型越好，则模型优化的目标就是为了使得损失值尽可能的降低。
[0172]
因此在确定第一损失之后，就可以对相应模型的参数进行调整了。其中，第一损失是根据第一描述信息、第一还原信息、第二描述信息和第二还原信息进行处理得到的，第一损失描述的是还原信息和描述信息之间的差距，当前模型的优化目标是为了使得还原信息和描述信息尽可能的接近。
[0173]
其中第一描述信息和第二描述信息是固定的，而第一还原信息是第一特征提取模型和第一还原模型处理得到的，以及第二还原信息是第二特征提取模型和第二还原模型处理得到的，那么为了缩小还原信息和描述信息之间的差距，就可以对第一特征提取模型、第一还原模型、第二特征提取模型、第二还原模型的模型参数进行更新。换句话说，就是对图4中的第一特征提取模型f
(1)
、第一还原模型g
(1)
、第二特征提取模型f
(2)
、第二还原模型g
(2)
进行优化，其中具体的参数更新方法可以根据实际需求进行选择和设置，例如可以参照机器学习中的相关实现。
[0174]
s307、获取第一特征信息和第二特征信息的互信息。
[0175]
以及，本实施例中需要进行缺失数据的补全，因此需要根据已有的视图推断出缺失视图的一些信息，比如说在上述介绍的示例中，需要根据苹果的文字信息生成苹果的图像信息，或者根据苹果的图像信息生成苹果的文字信息，也就是说需要实现不同视图下的数据的互相生成。
[0176]
例如可以参照图5对互信息进行理解。假设当前存在第一描述信息x1以及第二描述信息x2，其中x1例如可以为视图1的信息，以及x2例如可以为视图2的信息。则参照图5，图5中的实线表示的是多视图数据中的第一描述信息x1所包含的特征信息z1。同样的，图5中的虚线表示的是多视图数据中的第二描述信息x2所包含的特征信息z2。
[0177]
在信息论中，图5中的i(z1，z2)表示的是第一描述信息x1和第二描述信息x2的互信息，表征的是第一描述信息的第一特征信息z1和第二描述信息的第二特征信息z2之间的信息重合度。以及，图5中的h(z1|z2)为在已知z2的情况下，z1的信息熵，也就是说在z2发生的前提下，z1发生新带来的信息量。以及，图5中的h(z2|z1)为在已知z1的情况下，z2的信息熵，也就是说在z1发生的前提下，z2发生新带来的信息量。其中熵是一个随机变量不确定性的度量。
[0178]
在进行信息互相推导的过程中，通常是需要互信息更大的，参照图5，为了让互信息i(z1，z2)更大，我们实际上就是要缩小条件熵h(z1|z2)以及h(z2|z1)，也就是z1由z2决定的部分，以及z2由z1决定的部分，也就是说最小化条件熵h将鼓励丢弃跨视图中不一致的信息，从而可以进一步提高信息的一致性。参照图5可以确定的是，在h(z1|z2)以及h(z2|z1)趋于0的时候，互信息i(z1，z2)是最大的。
[0179]
进一步的，因为x1以及x2中拥有的信息相对来说是可能有数据冗余和无效噪声的，因此本实施例中通过提取有效信息以形成特征信息z，来进行优化是可以有效的提升最终的数据推导的效果的。
[0180]
在上述图5介绍的内容的基础上，可以确定的是，本实施例中的模型优化还有一个目标，就是尽可能的缩小条件熵，而增大互信息。在此基础上，参照图5，本实施例中可以基于第一特征信息z1和第二特征信息z2进行对比学习，并且设置了针对对比学习的损失函数，以希望提升不同视角中相同标签数据各自的特征信息之间的互信息度。
[0181]
则在一种可能的实现方式中，例如可以获取第一特征信息和第二特征信息的互信息，也就是说确定上述介绍的i(z1，z2)，互信息的确定的具体实现可以参照相关技术中的介绍，此处对此不再赘述。
[0182]
s308、根据第一特征信息、第二特征信息和互信息，确定第一特征信息和第二特征信息之间的第二损失。
[0183]
在确定互信息之后，例如可以根据第一特征信息、第二特征信息和互信息，确定第一特征信息和第二特征信息之间的第二损失。在一种可能的实现方式中，例如可以根据第二预设损失函数，对第一特征信息、第二特征信息和互信息进行处理，以确定第二损失。
[0184]
其中，第二预设损失函数例如可以满足如下公式二：
[0185][0186]
其中，m为样本对象的数量，为第t个样本的第一特征信息和第二特征信息的互信息，为第t个样本的第一特征信息的信息熵，为第t个样本的第二特征信息的信息熵，α为平衡参数，α的取值可以根据实际需求进行选择和设置，l
对比
为第二损失。
[0187]
同时，在多视图数据中，假定在第一描述信息对应的视图中，数据样本的第一特征
信息z1可以表示为表征向量z，在表征向量z中包括多个元素z，其中元素z是一个概率输出，在表征向量z中的每一个元素z都代表了某未知类别的概率，那么实际上这个表征向量就是当前数据样本的第一描述信息的边缘概率输出。
[0188]
同理，在第二描述信息对应的视图中，数据样本的第二特征信息z2可以表示为表征向量z`，在表征向量z`中包括多个元素z`，其中元素z`是一个概率输出，在表征向量z`中的每一个元素z`都代表了某未知类别的概率，那么实际上这个表征向量就是当前数据样本的第二描述信息的边缘概率输出。
[0189]
在此基础上，当前对比学习的目的就在于希望学习得到具有最大互信息的z和z
′
，这样就可以学习到视图间的一致性。因此本实施例中，在上述公式二介绍的第二预设损失函数的基础上，经过推导，第二预设损失函数还可以表示为如下的公式三：
[0190][0191]
其中，d表示表征向量z以及表征向量z`的维度大小，p
dd
′
是表征向量z的第d行元素以及表征向量z`的第d行元素的联合概率值(会归一化到1)，pd是表征向量z的第d行元素的值(会归一化到1)，p
d`
是表征向量z`的第d行元素的值(会归一化到1)，α是平衡参数。
[0192]
可以理解的是，上述的公式三实际上是经过上述的公式二推导得到的，因此基于上述的公式二和公式三都可以得到本实施例中的第二损失，此处的第二损失实际上也就是图4中介绍的对比损失。
[0193]
s309、根据第二损失，更新第一特征提取模型和第二特征提取模型的模型参数。
[0194]
与上述介绍的类似，损失函数可以指示模型的优化目标，因此在确定第二损失之后，就可以对相同模型的参数进行调整了。
[0195]
其中，第二损失是根据第一特征信息、第二特征信息和互信息进行处理得到的，以及本实施例中的第二预设损失函数所对应的第二损失是用于拉近特征信息之间相同的部分，那么实际上就是需要模型输出的第一特征信息和第二特征信息尽可能的扩大相同的部分，以学习不同视图间的一致性，进而完成后续的数据推导。
[0196]
而其中的第一特征信息是第一特征提取模块处理得到的，以及第二特征信息是第二特征提取模块处理得到的，那么为了扩大第一特征信息和第二特征信息的相同的部分，就可以对第一特征提取模型和第二特征提取模型进行更新。换句话说，就是对图4中的第一特征提取模型f
(1)
和第二特征提取模型f
(2)
进行优化，其中具体的参数更新方法可以根据实际需求进行选择和设置，例如可以参照机器学习中的相关实现。
[0197]
可以理解的是，在完整的视图中，同一数据样本的不同视图信息必然有一致性链接，即两者必然有较大的互信息，那么对应的，各个视图信息的特征信息也应该有较大的互信息。基于此，在本实施例中引入了对比学习的思想，通过设置上述的第二预设损失函数，基于计算的第二损失对第一特征提取模型和第二特征提取模型进行优化，从而可以有效的扩大第一特征提取模型所提取的第一特征信息以及第二特征提取模型所提取的第二特征信息之间的互信息，进而使得第一特征提取模型和第二特征提取模型所提到到的特征信息中尽可能的包含其余视角的特征信息，以增强后续进行缺失视角的数据推论时的有效性和准确性。
[0198]
因此本实施例中，针对对比流程，输入是视图1和视图2的数据，优化的目标模型是f(1)
和f
(2)
，这个子流程的目的是用z1和z2，通过对比损失训练模型f
(1)
和f
(2)
，使得z1和z2之间的一致性能够最大化。
[0199]
s310、根据第一转换信息、第二特征信息、第二转换信息、第一特征信息，确定第三损失。
[0200]
以及，在本实施例中，第一转换模型还包括第一特征转换模型，以及第二转换模型还包括第二特征转换模型。
[0201]
例如可以参照图4进行理解，图4中的g
(1)
即为本实施例中的第一特征转换模型，如图4所示，第一特征转换模型g
(1)
可以对第一特征信息z1进行特征转换处理，从而得到第一转换信息本实施例中的第一转换信息实际上就是预测的第二特征信息。
[0202]
以及，图4中的g
(2)
即为本实施例中的第二特征转换模型，如图4所示，第二特征转换模型g
(2)
可以对第二特征信息z2进行特征转换处理，从而得到第二转换信息本实施例中的第二转换信息实际上就是预测的第二特征信息。
[0203]
参照图4可以理解的是，本实施例中可以经由第一特征转换模型g
(1)
对第一特征信息z1进行特征转换处理，得到预测的第二特征信息以及可以经由第二特征转换模型g
(2)
对第二特征信息z2进行特征转换处理，得到预测的第一特征信息可以理解的是，在上述介绍的成对预测的过程中，模型优化的目标就是要预测的特征信息和原特征信息一致，以保证预测得到的缺失视角的特征信息的准确性。
[0204]
因此本实施例中可以根据第一转换信息、第二特征信息、第二转换信息、第一特征信息，确定第三损失。在一种可能的实现方式中，例如可以根据第二预设损失函数，对第一转换信息、第二特征信息、第二转换信息、第一特征信息进行处理，以确定第三损失。
[0205]
其中，第二预测损失函数例如可以满足如下公式四：
[0206][0207]
其中，z2是第二特征信息，g
(1)
(z1)表示第一特征转换模型g
(1)
对第一特征信息z1进行处理，实际上也就表示的是上述介绍的预测的第二特征信息也就是第一转换信息，以及z1是第一特征信息，g(2)(z2)表示第二特征转换模型g
(2)
对第二特征信息z2进行处理，实际上也就表示的是上述介绍的预测的第一特征信息也就是第二转换信息，l
预测
是第三损失。其中第三损失也就是是图4中的预测损失。
[0208]
则基于上述介绍可以确定的是，本实施例中的第三损失实际上描述的就是预测的特征信息和真实的特征信息之间的差距情况。在实际实现过程中，第三预设损失函数除了可以满足上述介绍的公式四之外，在上述公式四的基础上进行的恒等变形、添加相关的参数、系数等等，也可以作为本实施例中的第三预设损失函数，本实施例对第三预设损失函数的具体实现不做限制，只要第三预设损失函数可以实现根据第一转换信息、第二特征信息、第二转换信息、第一特征信息确定第三损失，其中的第三损失用于描述预测的特征信息和真实的特征信息之间的差距情况即可。
[0209]
因此本实施例中，针对预测流程，其中模型g
(1)
和模型g
(2)
可类似于上述的重建流程中的模型g，但是两者的参数完全不一样。本实施例中输入z1可以通过模型g
(1)
得到计算
后的当前这个子流程的目的是用z1、和z2通过预测损失来训练模型g(1)，使得和z2越近似越好。这个就对应了上述公式四中的同理，对于z2预测z1的情况类似，也就对应了上述公式四中的第二项
[0210]
这个预测流程的目标是帮助进行缺失视图补充，在上述三个模型都训练完备后，只要拥有样本的某个视图数据如x2，就可以通过f
(2)
得到其特征z2，然后通过g
(2)
得到另一个视图的特征z1，再用z1就可以通过g
(1)
得到缺失视图数据x1了。综上所述，三个损失项目可以是同时训练的，只是训练目标不同。
[0211]
s311、根据第三损失，更新第一特征转换模型和第二特征转换模型的模型参数。
[0212]
同样的，因为损失函数实际上就表示了模型的优化目标，因此在确定第三损失之后，就可以对相应模型的参数进行调整了。其中，第三损失是根据第一转换信息、第二特征信息、第二转换信息、第一特征信息进行处理得到的，第三损失描述的是预测的特征信息和真实的特征信息之间的差距，当前模型的优化目标是为了使得预测的特征信息和真实的特征信息尽可能的接近。
[0213]
在衡量差距的时候，其中第二特征信息和第一特征信息是固定的，而第一转换信息是第一特征转换模型处理得到的，以及第二转换信息是第二特征转换模型处理得到的，那么为了缩小预测的特征信息和真实的特征信息之间的差距，就可以对第一特征转换模型和第二特征转换模型的模型参数进行更新。换句话说，就是对图4中的第一特征转换模型g
(1)
以及第二特征转换模型g
(2)
进行优化，其中具体的参数更新方法可以根据实际需求进行选择和设置，例如可以参照机器学习中的相关实现。
[0214]
可以理解的是，上述介绍的根据损失函数确定损失值，并根据损失值对相应的模型参数进行更新的实现，可以迭代进行多次，本实施例中的各个模型的迭代优化的最终目标例如可以为使得总损失最小，其中总损失例如可以满足如下公式五：
[0215]
l
总
＝l
重建
+l
对比
+l
预测
ꢀꢀꢀ
公式五
[0216]
其中，l
总
为总损失，l
重建
为第一损失，l
对比
为第二损失，l
预测
为第三损失。
[0217]
也就是说，本实施例中可以在第一损失、第二损失和第三损失之和最小时，确定第一转换模型以及第二转换模型收敛。进而可以确定得到训练完成的第一转换模型以及第二转换模型。
[0218]
以及在一种可能的实现方式中，在进行模型的迭代训练的过程中，为了保证模型的稳定训练。例如可以首先根据第一损失和第二损失，对上述介绍的第一特征提取模型、第一还原模型、第二特征提取模型、第二还原模型的模型参数进行更新，以求得模型可以输出比较稳定的特征信息。
[0219]
也就是说在进行模型训练的过程中，可以分阶段的，先对第一特征提取模型、第一还原模型、第二特征提取模型、第二还原模型进行初步的优化，在模型可以输出比较稳定的特征信息的时候，再加入对第一特征提取模型和第二特征提取模型的优化，从而实现对第一特征提取模型、第一还原模型、第二特征提取模型、第二还原模型、第一特征提取模型和第二特征提取模型的优化，通过设置分阶段的优化，可以有效的保证模型训练的效率和正确性。
[0220]
或者在可选的实现方式中，也可以对上述介绍的6个模型一起进行优化，本实施例对此不做限制。
[0221]
在上述介绍的模型训练的处理的基础上，下面结合图6对本实施例中的模型训练的目标进行进一步的介绍。
[0222]
参照图6，针对上述的重建流程优化模型f和g，从而可以实现通过信息重建进行视图的特征z的学习。具体的，参照图6，针对模型f和g，假设输入的是视图1的数据x1，最终输出的是生成的(也是视图1类型的数据)，中间的处理模型是f
(1)
和g
(1)
，中间的输出为特征数据z1，针对上述介绍的优化目标，则当前输入的数据x1和输出的是越接近越好的。以及，假设输入的是视图2的数据x2，最终输出的是生成的(也是视图2类型的数据)，中间的处理模型是f
(1)
和g
(1)
，中间的输出为特征数据z2，针对上述介绍的优化目标，则当前输入的数据x2和输出的是越接近越好的。
[0223]
以及，本实施例中可以通过第一特征信息z1和第二特征信息z2的对比学习，实现跨视图的一致性学习，其目的是为了使得第一特征信息和第二特征信息的互信息i(z1，z2)最大，以实现最大化互信息i(z1，z2)。
[0224]
以及，本实施例中可以通过第一特征信息z1预测第二特征信息，以及可以通过第二特征信息z2预测第一特征信息，通过成对预测实现缺失视图的修复，参照图6理解，可以通过模型g
(1)
对特征信息z1进行特征转换处理，得到预测的特征信息其中预测的特征信息和实际的特征信息z2越相似越好。以及可以通过模型g
(2)
对特征信息z2进行特征转换处理，得到预测的特征信息其中预测的特征信息和实际的特征信息z1越相似越好。
[0225]
上述的具体是为了使得条件熵h(z2|z1)以及h(z1|z2)最小，进而可以使得处理得到的特征信息中，有效减少z1由z2决定的部分，以及z2由z1决定的部分，而尽可能的扩大不同视角的描述信息之间的互信息，从而可以有效的增加提取的特征中所包括的不同视角的数据一致性，进而可以有效实现后续进行不同视角的数据推导的时候，推导得到的数据的准确性和有效性。
[0226]
综上所述，本技术实施例提供的转换模型的训练方法，通过在模型训练的时候加入对比学习以及成对预测，并通过相应的损失函数对相应的模型参数进行调整，以有效增加第一特征特征提取模型以及第二特征提取模型所提取的特征信息中，不同视角的数据的一致性部分，并且提取的特征信息还可以减少对其余视角的数据的依赖，进而保证了后续的对缺失视角的数据推导的有效性和准确性。并且通过设置预测模型，并基于第三损失对预测模型进行优化，从而可以有效的保证预测模型对其余视角的数据进行预测的准确性和有效性，仅此基于上述过程所训练得到的转换模型，可以有效的实现根据已有视角的数据自动的补全缺失视角的数据。
[0227]
以及在可选的实现方式中，上述介绍的都是两个视角的数据的实现方式，实际上针对两个以上视角的数据的实现方式是类似的，只要在两两之间进行相似的处理即可，本实施例对此不再赘述。
[0228]
可以理解的是，在训练得到上述的转换模型之后，就可以基于转换模型对缺失视角的数据进行补全，并进行相应的聚类处理了，因此在上述实施例的基础上，下面结合图7
至图11对本技术提供的信息聚类方法进行介绍。
[0229]
图7为本技术实施例提供的信息聚类方法的流程图，图8为本技术实施例提供的转换模型的处理示意图一，图9为本技术实施例提供的转换模型的处理示意图二，图10为本技术实施例提供的恢复视图的实现示意图，图11为本技术实施例提供的聚类效果的示意图。
[0230]
如图7所示，该方法包括：
[0231]
s701、获取第一对象的第一描述信息，第一描述信息为第一信息类型。
[0232]
在本实施例中，第一对象就是当前的数据所对应的对象，与上述的样本对象类似，本实施例中的第一对象比如说可以为上述示例中的苹果、网页等等，本实施例对第一对象的具体实现不做限制，其可以为任意的可以用数据描述的对象。
[0233]
以及本实施例中的第一对象存在第一描述信息，其中第一描述信息为第一信息类型，与上述介绍的类似，比如说第一描述信息可以是图片影像数据。
[0234]
需要说明的是，当前实施例中介绍的情况是第一对象存在缺失视角的数据，因此本实施例中的第一对象仅存在第一描述信息，而确实第二信息类型的第二描述信息。比如说在一种示例中，当前的第一对象是苹果，第一描述信息是图片影像数据，第二描述信息是文字描述数据，则当前的示例就可以是针对苹果仅有图片影像数据，而缺失文字描述数据。
[0235]
在实际实现过程中，第一对象的具体实现，以及第一对象所缺失视角的数据可以根据实际需求进行选择，也就是说在另一种可能的实现方式中，第一对象也有可能仅存在第二描述信息，而缺失第一描述信息，其实现方式类似。
[0236]
s702、通过转换模型获取第一描述信息的第一特征信息，以及通过转换模型获取第一特征信息对应的第二特征信息，第二特征信息为第二信息类型的描述信息对应的特征信息。
[0237]
基于上述介绍可以确定的是，本实施例中的转换模型可以实现对缺失视角的数据的补全。其中，转换模型可以实现对描述信息的特征提取以及特征转换处理，因此可以通过转换模型获取第一描述信息进行特征提取处理，从而获取第一描述信息的第一特征信息。
[0238]
以及，转换模型还可以对第一特征信息进行特征转换处理，从而获取第一特征信息对应的第二特征信息，本实施例中的第二特征信息实际上就是第二信息类型的描述信息所对应的特征信息。
[0239]
具体的，在第一数据存在第一描述信息，确实第二描述信息的时候，就需要对第二描述信息进行补全，本实施例中例如可以通过第一转换模型进行处理，基于上述介绍可以确定的是，第一转换模型可以包括第一特征提取模型和第一特征转换模型。
[0240]
则例如可以参照图8进行理解，如图8所示，假设其中的x1为第一描述信息，以及f
(1)
为第一特征提取模型，当前示例中的第一转换模型就包括图8所示的第一特征提取模型f
(1)
和第一特征转换模型g
(1)
。
[0241]
则可以通过第一特征提取模型f
(1)
对第一描述信息x1进行特征提取处理，得到图8所示的第一特征信息z1，这一步是对已有的描述信息的特征提取。
[0242]
因为当前针对另一视角的第二描述信息是缺失的，因此需要进行缺失视角的信息的补全，参照图8，可以通过第一特征转换模型g
(1)
对第一特征信息z1进行转换处理，得到第二特征信息z2，可以理解的是，此处的第二特征信息z2实际上是预测的特征信息，因此其具体可以理解为上述介绍的
[0243]
需要说明的是，上述实施例中介绍的第一特征转换模型处理后得到的是第一转换信息，然而第一转换信息实际上就是第一特征转换模型预测的第二特征信息，因此在本实施例中第一特征转换模型对第一特征信息进行转换处理，就可以得到第一特征信息所对应的第二特征信息了，从而可以有效的实现对缺失视角的信息补全。
[0244]
可以理解的是，在确定第二特征信息之后，实际上就已经恢复了缺失视角的数据特征了，本实施例中可以基于数据特征直接进行聚类处理，因此可以直接基于第一特征信息和第二特征信息进行后续的聚类处理。
[0245]
或者，在另一种可能的实现方式中，还例如可以基于数据进行聚类处理，则参照图8，在确定第二特征信息z2之后，还例如可以通过第二还原模型g
(2)
对第二特征信息z2进行处理，以得到第二还原信息此处的第二还原信息实际上就是还原处理得到的第二描述信息x2。因此后续还例如可以根据第一描述信息和还原处理得到的第二描述信息进行后续的聚类处理。
[0246]
上述介绍的是第一数据存在第一描述信息，而缺失第二描述信息，根据第一转换模型还原第二描述信息的实现。在另一种可能的实现方式中，还有可能是第一数据存在第二描述信息，而缺失第一描述信息，则类似的，可以根据第二转换模型还原第一描述信息。
[0247]
则例如可以参照图9进行理解，如图9所示，假设其中的x2为第二描述信息，以及f
(2)
为第二特征提取模型，当前示例中的第二转换模型就包括图9所示的第二特征提取模型f
(2)
和第二特征转换模型g
(2)
。
[0248]
则可以通过第二特征提取模型f
(2)
对第二描述信息x2进行特征提取处理，得到图9所示的第二特征信息z2，这一步是对已有的描述信息的特征提取。
[0249]
因为当前针对另一视角的第一描述信息是缺失的，因此需要进行缺失视角的信息的补全，参照图9，可以通过第二特征转换模型g
(2)
对第二特征信息z2进行转换处理，得到第一特征信息z1，可以理解的是，此处的第一特征信息z1实际上是预测的特征信息，因此其具体可以理解为上述介绍的
[0250]
需要说明的是，上述实施例中介绍的第二特征转换模型处理后得到的是第二转换信息，然而第二转换信息实际上就是第二特征转换模型预测的第一特征信息，因此在本实施例中第二特征转换模型对第二特征信息进行转换处理，就可以得到第二特征信息所对应的第一特征信息了，从而可以有效的实现对缺失视角的信息补全。
[0251]
可以理解的是，在确定第一特征信息之后，实际上就已经恢复了缺失视角的数据特征了，本实施例中可以基于数据特征直接进行聚类处理，因此可以直接基于第一特征信息和第二特征信息进行后续的聚类处理。
[0252]
或者，在另一种可能的实现方式中，还例如可以基于数据进行聚类处理，则参照图9，在确定第一特征信息z1之后，还例如可以通过第一还原模型g
(1)
对第一特征信息z1进行处理，以得到第一还原信息此处的第一还原信息实际上就是还原处理得到的第一描述信息x1。因此后续还例如可以根据第二描述信息和还原处理得到的第一描述信息进行后续的聚类处理。
[0253]
例如可以结合图10对数据的恢复效果进行理解，参照图10，例如可以使用noisemnist数据集(即在mnist数据集上增加高斯噪声)执行本实施例中介绍的缺失视图数
据恢复的操作，恢复的结果参照图10，其中第1行和第4行是完整的视图，第2行和第5行是缺失的视图，第3行和第6行是从完整的视图中恢复的结果。从图10中可以看出，本实施例中的转换模型可以准确有效的实现对缺失视图的恢复和补全。
[0254]
s703、根据第一特征信息和第二特征信息对第一对象进行聚类处理。
[0255]
在实现缺失视角的数据补全之后，就可以基于第一特征信息和第二特征信息对第一对象进行聚类处理了，可以理解的是，在进行聚类处理的过程中，参与聚类处理的对象可以是非常多的，本实施例中的第一对象只是参与聚类处理的一个对象，针对参与聚类处理的每一个对象，都可以按照上述介绍的方式进行视图的补全和恢复，之后再进行聚类处理，从而可以有效的基于多视图实现数据的聚类处理，以有效提升聚类处理的准确性。
[0256]
或者，基于上述介绍的，还可以根据第一描述信息和还原的第二描述信息对第一对象进行聚类处理。或者，如果是缺失第一描述信息，则可以根据第二描述信息和还原的第一描述信息对第一对象进行聚类处理，本实施例对参与聚类处理的具体是特征还是数据不做限制，只要可以实现根据多视角的信息进行聚类处理即可，具体的实现方式可以根据实际需求进行选择。
[0257]
以及，在实际实现过程中，聚类处理的具体实现方式可以根据实际需求进行选择和设置，比如说可以采用k-means(k均值)聚类，或者还可以采用均值漂移聚类、基于密度的聚类方法等等，本实施例对聚类处理的具体实现不做限定，总之，聚类是一种无监督的数据挖掘方法，可以帮助用户发现数据内在的类别关系，一般来说，同类数据距离相近，不同类数据距离较远。
[0258]
其中聚类处理的具体实现方式可以根据实际需求进行选择和设置，只要在本实施例中可以基于多视图的信息进行聚类，得到多视图聚类的结果即可。
[0259]
以及还可以结合图11进行理解，如图11所示，当前可以针对多个数据进行聚类处理，聚类处理的可视化可以表现为将数据聚类成不同的簇。以及参照图11，随着转换模型的迭代次数的增加，聚类处理的效果也表现的越来越好，假设可以使用归一化互信息(normalized mutual information，nmi)作为聚类指标来衡量聚类的效果，其中nmi的值越高，表示聚类性能越好。
[0260]
则参照图11，其中的(a)为迭代次数为20次时的聚类效果，其nmi为0.567，以及其中的(b)为迭代次数为50次时的聚类效果，其nmi为0.651，以及其中的(c)为迭代次数为100次时的聚类效果，其nmi为0.707，以及其中的(d)为迭代次数为200次时的聚类效果，其nmi为0.759。因此基于图11可以确定的是，在进行转换模型的模型训练的过程中，随着迭代次数的增加，相应的聚类效果也表现的越来越好，因此本实施例中的转换模型可以有效的实现对缺失视角的数据补全，以实现基于多视角的聚类处理。
[0261]
需要说明的是，由于多视图数据x1和x2通常来说数据维度不同，比如说图片数据和文本数据的大小和维度是不一样的，因此直接对这原始数据进行聚类是无法实现的。本技术的技术方案，通过将这两种不同类型的数据都转化为具有一样数据维度的特征数据z1和z2之后，由于z1和z2的维度一样，并且保留了源视图的特征信息，所以直接对特征数据z1和z2进行聚类，是有效并且有意义的，例如参照图11中的聚类结果所示，随着迭代次数增加，相同类别的类簇越发内聚，nmi值也越来越高，因此本技术的技术方案还可以有效的解决多视图聚类的问题。
[0262]
本技术实施例提供的信息聚类方法，通过转换模型对进行特征提取，得到当前已有视角数据的特征信息，之后通过转换模型再对已有视角数据的特征信息进行处理，从而得到缺失视角的特征信息，以实现对缺失视角的特征信息的补全，之后可以基于第一特征信息和第二特征信息进行聚类处理，或者还可以基于补全的缺失视角的特征信息还原出缺失视角的描述信息，之后基于第一描述信息和第二描述信息进行聚类处理，因此本实施例中可以在缺失某些视角的数据的情况下，基于已有视角的数据实现对缺失视角的数据的补全，在补全之后，基于多视角的信息进行聚类处理，从而可以有效提升聚类处理的准确性。本技术中介绍的提升聚类处理的准确性，也可以理解为提升聚类处理的效果。
[0263]
图12为本技术实施例提供的转换模型的训练装置的结构示意图。如图12所示，该装置120包括：获取模块1201、处理模块1202以及更新模块1203。
[0264]
获取模块1201，用于获取样本对象的第一描述信息和第二描述信息，所述第一描述信息为第一信息类型，所述第二描述信息为第二信息类型；
[0265]
处理模块1202，用于通过第一转换模型对所述第一描述信息进行特征提取和特征转换处理，得到第一特征信息和第一转换信息，所述第一转换模型用于将所述第一信息类型的描述信息转换为所述第二信息类型的描述信息；
[0266]
所述处理模块1202，还用于通过第二转换模型对所述第二描述信息进行特征提取和特征转换处理，得到第二特征信息和第二转换信息，所述第二转换模型用于将所述第二信息类型的描述信息转换为所述第一信息类型的描述信息；
[0267]
更新模块1203，用于根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息和所述第二描述信息，更新所述第一转换模型和所述第二转换模型的模型参数。
[0268]
在一种可能的设计中，所述更新模块1203，具体用于：
[0269]
通过第一还原模型对所述第一特征信息进行还原处理得到第一还原信息，以及通过第二还原模型对所述第二特征信息进行还原处理，得到第二还原信息；
[0270]
根据所述第一特征信息、所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一描述信息、所述第二描述信息、所述第一还原信息和所述第二还原信息，更新所述第一转换模型和所述第二转换模型的模型参数。
[0271]
在一种可能的设计中，所述第一转换模型包括第一特征提取模型和第一特征转换模型；所述第二转换模型包括第二特征提取模型和第二特征转换模型；
[0272]
所述更新模块1203，具体用于：
[0273]
根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息，更新所述第一特征提取模型、所述第一还原模型、所述第二特征提取模型、所述第二还原模型的模型参数；
[0274]
根据所述第一特征信息和所述第二特征信息更新第一特征提取模型和所述第二特征提取模型的模型参数；
[0275]
根据所述第一特征信息、所述第一转换信息、所述第二特征信息和所述第二转换信息，更新所述第一特征转换模型和所述第二特征转换模型的模型参数。
[0276]
在一种可能的设计中，所述更新模块1203，具体用于：
[0277]
根据所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信
息，确定第一损失；
[0278]
根据所述第一损失，更新所述第一特征提取模型、所述第一还原模型、所述第二特征提取模型、所述第二还原模型的模型参数。
[0279]
在一种可能的设计中，所述更新模块1203，具体用于：
[0280]
根据第一预设损失函数，对所述第一描述信息、所述第一还原信息、所述第二描述信息、所述第二还原信息进行处理，确定所述第一损失。
[0281]
在一种可能的设计中，所述更新模块1203，具体用于：
[0282]
获取所述第一特征信息和所述第二特征信息的互信息；
[0283]
根据所述第一特征信息、所述第二特征信息和所述互信息，确定所述第一特征信息和所述第二特征信息之间的第二损失；
[0284]
根据所述第二损失，更新第一特征提取模型和所述第二特征提取模型的模型参数。
[0285]
在一种可能的设计中，所述更新模块1203，具体用于：
[0286]
根据所述第一转换信息、所述第二特征信息、所述第二转换信息、所述第一特征信息，确定第三损失；
[0287]
根据所述第三损失，更新所述第一特征转换模型和所述第二特征转换模型的模型参数。
[0288]
在一种可能的设计中，所述处理模块1203，还用于：
[0289]
在所述第一损失、所述第二损失和所述第三损失之和最小时，确定所述第一转换模型以及所述第二转换模型收敛。
[0290]
本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
[0291]
图13为本技术实施例提供的信息聚类装置的结构示意图。如图13所示，该装置130包括：第一获取模块1301、第二获取模块1302以及聚类模块1303。
[0292]
第一获取模块1301，用于获取第一对象的第一描述信息，所述第一描述信息为第一信息类型；
[0293]
第二获取模块1302，用于通过转换模型获取所述第一描述信息的第一特征信息，以及通过所述转换模型获取所述第一特征信息对应的第二特征信息，所述第二特征信息为第二信息类型的描述信息对应的特征信息；
[0294]
聚类模块1303，用于根据所述第一特征信息和所述第二特征信息对所述第一对象进行聚类处理。
[0295]
在一种可能的设计中，所述转换模型包括特征提取模型和特征转换模型；所述第二获取模块1302具体用于：
[0296]
通过所述特征提取模型对所述第一描述信息进行特征提取处理，得到所述第一特征信息；
[0297]
通过所述特征转换模型对所述第一特征信息进行转换处理，得到所述第二特征信息。
[0298]
本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
[0299]
图14为本技术实施例提供的转换模型的训练设备的硬件结构示意图，如图14所示，本实施例的转换模型的训练设备140包括：处理器1401以及存储器1402；其中
[0300]
存储器1402，用于存储计算机执行指令；
[0301]
处理器1401，用于执行存储器存储的计算机执行指令，以实现上述实施例中转换模型的训练方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
[0302]
可选地，存储器1402既可以是独立的，也可以跟处理器1401集成在一起。
[0303]
当存储器1402独立设置时，该转换模型的训练设备还包括总线1403，用于连接所述存储器1402和处理器1401。
[0304]
在一种可选的实现方式中，本实施例中的转换模型的训练设备可以为显卡图形处理器(graphics processing unit，gpu)。
[0305]
图15为本技术实施例提供的信息聚类设备的硬件结构示意图，如图15所示，本实施例的信息聚类设备150包括：处理器1501以及存储器1502；其中
[0306]
存储器1502，用于存储计算机执行指令；
[0307]
处理器1501，用于执行存储器存储的计算机执行指令，以实现上述实施例中信息聚类方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
[0308]
可选地，存储器1502既可以是独立的，也可以跟处理器1501集成在一起。
[0309]
当存储器1502独立设置时，该信息聚类设备还包括总线1503，用于连接所述存储器1502和处理器1501。
[0310]
在一种可选的实现方式中，本实施例中的信息聚类设备可以为cpu。
[0311]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上转换模型的训练设备所执行的转换模型的训练方法、或者信息聚类设备所执行的信息聚类方法。
[0312]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0313]
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本技术各个实施例所述方法的部分步骤。
[0314]
应理解，上述处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0315]
存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个
磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
[0316]
总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
[0317]
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0318]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0319]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。