本发明涉及计算机视觉领域，尤其是涉及了一种基于卷积神经网络的无监督多模态子空间聚类方法。
背景技术：
在图像处理、图像识别和语音处理方面的任何实际应用都需要处理非常高维的数据，然而，这些数据通常位于低维的子空间，而子空间聚类方法通过在一个数据集内的不同子空间中找到集群，就可以对高维数据进行处理。子空间聚类方法可以应用于图像处理方面，可以有效提高数据处理的效率；在图像识别方面，子空间聚类方法可以对同一物体不同形式的图像进行处理，提高识别精度；同样在语音处理上，应用子空间聚类方法可以更有效地处理人类各种语气的语句。然而，以往的子空间聚类方法依赖于模态之间的空间对应关系，且输出时会增加数据维度。
本发明中提出了一种基于卷积神经网络的无监督多模态子空间聚类方法，对于输入的多模态数据，先用编码器实现空间融合，通过空间融合网络将其融合到潜在的空间表示中，然后将融合的结果输入自表达层，利用自表达性在潜在空间对联合表示进行编码，最后，由自表达层的输出所产生的联合表示输入到多模态解码器中，对不同的模态进行重构，得到最后的聚类结果。本发明能够利用模态的自表达性获得联合表示，并提高子空间聚类的准确度。
技术实现要素：
针对以往的子空间聚类方法依赖于模态之间的空间对应关系，且输出时会增加数据维度的问题，本发明的目的在于提供一种基于卷积神经网络的无监督多模态子空间聚类方法，对于输入的多模态数据，先用编码器实现空间融合，通过空间融合网络将其融合到潜在的空间表示中，然后将融合的结果输入自表达层，利用自表达性在潜在空间对联合表示进行编码，最后，由自表达层的输出所产生的联合表示输入到多模态解码器中，对不同的模态进行重构，得到最后的聚类结果。
为解决上述问题，本发明提供一种基于卷积神经网络的无监督多模态子空间聚类方法，其主要内容包括：
(一)多模态编码器；
(二)自表达层；
(三)多模态译码器。
其中，所述的多模态编码器，是指将多模态数据作为输入，通过空间融合网络将其融合到潜在的空间表示中。
进一步地，所述的空间融合网络，使用了三种不同的融合技术，能够提供不同空间位置的模态表示，并学习一种包含不同模态的互补信息的联合表示，且联合表示中每一种模式都有对应的空间；空间融合网络的一个重要组成部分是融合函数，融合函数从多个输入表示中合并信息，输出一个融合结果；最后，为所提议的网络制定一个端到端的训练目标。
进一步地，所述的融合技术，是指在深度网络的情况下，由于融合网络选择的灵活性，多模态子空间聚类的空间融合技术可以分为早期、中期和后期三种；早期融合指把多模态数据输入网络之前先在特性级阶段综合多模态数据，后期融合则涉及到网络最后阶段的多模态数据的综合，而中期融合指在较早阶段将较弱或相关的模式聚集在一起，并在深层阶段将剩余的强模式结合在一起，在中期融合中，网络中间层中的特征映射被组合在一起，以实现更好的联合表示。
进一步地，所述的融合函数，是假设对于一个特定的数据点xi，有m个对应于不同模式表示的特征映射，融合函数f:
求和函数z＝sum(x1,x2,···,xm)：
其作用为计算同一空间位置的特征映射的和；
最大池函数z＝max(x1,x2,···,xm)：
其作用为计算输入特征映射中对应位置的最大值；
连接函数z＝cat(x1,x2,···,xm)：
其作用为通过连接输入特征映射构造输出；
通过这三种融合函数可以融合输入的特征映射。
其中，所述的端到端的训练目标，是指对于包含m种模态的n对数据样本
其中θ表示包括θme、θs、θmd在内的所有训练网络参数，联合表示由
其中，所述的自表达层，是指利用联合表示的自表达性，在潜在空间中对联合表示进行编码，同时，通过一种基于关联融合的网络，强制不同模式使用相同的自表达层权重，然后对网络进行端到端训练。
进一步地，所述的基于关联融合的网络，是指结合自表达层的相似性，通过强制网络建立一个联合关联矩阵来获得多模态数据的联合表示；由自表达层权重来计算关联矩阵的函数如下：
其中θs对应一个端到端策略学习到的自表达层的权重，因此共享同一个θs的不同模态有共同的w；对于m模态问题，使用m并行的分布式控制系统(dsc)网络，在其中共享一个自表达层，但每一个模态都有一个编码-解码器网络进行训练，因此可以产生m个对应不同模态的潜在表示；这些潜在表示通过共享的自表达层连接在一起，而最佳的自表达层能够发掘所有模式中的自表达属性。
进一步地，所述的端到端训练，是指用以下的损失函数训练网络，然后找到共享自表达层的权重：
其中θs是共同的自表达层权重，
其中，所述的多模态译码器，可以从潜在联合表示中重构不同的模式，对于m个输入模式的情况，译码器由m个分支组成，每个分支负责重构其中一个模式。
附图说明
图1是本发明一种基于卷积神经网络的无监督多模态子空间聚类方法的系统流程图。
图2是本发明一种基于卷积神经网络的无监督多模态子空间聚类方法的融合技术图。
图3是本发明一种基于卷积神经网络的无监督多模态子空间聚类方法的关联融合技术图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于卷积神经网络的无监督多模态子空间聚类方法的系统流程图。主要包括多模态编码器、自表达层和多模态译码器。
多模态编码器是指将多模态数据作为输入，通过空间融合网络将其融合到潜在的空间表示中。
其中，空间融合网络使用了三种不同的融合技术，能够提供不同空间位置的模态表示，并学习一种包含不同模态的互补信息的联合表示，且联合表示中每一种模式都有对应的空间；空间融合网络的一个重要组成部分是融合函数，融合函数从多个输入表示中合并信息，输出一个融合结果；最后，为所提议的网络制定一个端到端的训练目标。
进一步地，所述的融合函数，是假设对于一个特定的数据点xi，有m个对应于不同模式表示的特征映射，融合函数f:
求和函数z＝sum(x1,x2,···,xm)：
其作用为计算同一空间位置的特征映射的和；
最大池函数z＝max(x1,x2,···,xm)：
其作用为计算输入特征映射中对应位置的最大值；
连接函数z＝cat(x1,x2,···,xm)：
其作用为通过连接输入特征映射构造输出；
通过这三种融合函数可以融合输入的特征映射。
进一步地，所述的端到端的训练目标，是指对于包含m种模态的n对数据样本
其中θ表示包括θme、θs、θmd在内的所有训练网络参数，联合表示由
其中，所述的自表达层，是指利用联合表示的自表达性，在潜在空间中对联合表示进行编码，同时，通过一种基于关联融合的网络，强制不同模式使用相同的自表达层权重，然后对网络进行端到端训练。
进一步地，所述的端到端训练，是指用以下的损失函数训练网络，然后找到共享自表达层的权重：
其中θs是共同的自表达层权重，
其中，所述的多模态译码器，可以从潜在联合表示中重构不同的模式，对于m个输入模式的情况，译码器由m个分支组成，每个分支负责重构其中一个模式。
图2是本发明一种基于卷积神经网络的无监督多模态子空间聚类方法的融合技术图。
除了关联融合技术，在深度网络的情况下，多模态子空间聚类的空间融合技术可以分为早期、中期和后期三种；早期融合指把多模态数据输入网络之前先在特性级阶段综合多模态数据，后期融合则涉及到网络最后阶段的多模态数据的综合，而中期融合指在较早阶段将较弱或相关的模式聚集在一起，并在深层阶段将剩余的强模式结合在一起，在中期融合中，网络中间层中的特征映射被组合在一起，以实现更好的联合表示。同时，这三种方法对应的自表达层和多模态译码器都是一样的。
图3是本发明一种基于卷积神经网络的无监督多模态子空间聚类方法的关联融合技术图。
关联融合技术是指结合自表达层的相似性，通过强制网络建立一个联合关联矩阵来获得多模态数据的联合表示。由自表达层权重来计算关联矩阵的函数如下：
其中θs对应一个端到端策略学习到的自表达层的权重，因此共享同一个θs的不同模态有共同的w；对于m模态问题，使用m并行的分布式控制系统(dsc)网络，在其中共享一个自表达层，但每一个模态都有一个编码-解码器网络进行训练，因此可以产生m个对应不同模态的潜在表示；这些潜在表示通过共享的自表达层连接在一起，而最佳的自表达层能够发掘所有模式中的自表达属性。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。