一种利用多来源数据具有隐私保护功能的图象分类方法与流程

本发明涉及图象特征抽取、应用技术，图象分类技术，特别涉及一种基于从图象抽取多组特征之间关系的图象识别方法以及保护图象具体特征提取方法的隐私保护技术。

背景技术：

目前，随着多媒体技术的发展和智能设备的普及，图象信息的获取日益便捷，同时，对于图象的分类需求也日益提高，如使用只能手机拍照之后，需要对照片进行分类；机器人对物体进行识别时，也会用到图像识别技术；在网络搜索图象时也有相关技术的需求。

目前图象分类的流程主要是先针对图象提取特征，之后使用某些分类器进行分类。对于图象进行标记十分昂贵，需要花费大量的人力资源，而从互联网上获取图象十分便捷，但是获取到的都是没有标记的图象。对于一幅图象，可以有多种不同类型的特征属性集合：如可以使用不同图象特征提取方法对图象进行特征抽取，每一种方法抽取到的特征构成一个属性集；网络上一幅图象往往配有文字、视频等其它多媒体资源，从这些附带的资源中也可以提取出特征；智能手机配备多个传感器，使用手机拍一张照片，其它传感器可以提供时间、温度、光照强度等信息，这些信息也可以辅助图象的分类。传统的方法一方面需要获取有标记的图象进行分类器的训练，一方面依赖于特定的特征，无法较好地利用未标记图象和多组不同的图象特征属性集。

图象分类往往也是多个公司、研究组织的共同需求。不同的公司或者研究组织会针对其获取的数据使用他们自己的方法提取特征，之后根据他们提取的特征进行分类器的训练。将多个公司(组织)的特征进行结合，无疑可以得到更好的特征，但是各组特征涉及多个公司(组织)的隐私信息，如提取特征的具体技术，这些往往不适合和他人共享，因此需要一种具有隐私保护的利用不同特征进行图象分类的方法。

技术实现要素：
：

发明目的：目前关于图象分类的算法往往依赖于有标记的图象，或者只针对 图象的某一类属性集，同时已有的方法几乎没有考虑过在“竞争-合作”的场景下对每一个数据来源的特征进行隐私保护，针对上述问题，本发明提出一种利用多来源数据具有隐私保护功能的图象分类方法，将图像的多个特征集合看作多个视图，通过利用视图之间的相关性提升图象分类的性能。

技术方案：一种利用多来源数据具有隐私保护功能的图象分类方法，首先针对图象收集(提取)不同类型的特征属性，将每一组特征看作一个视图，每一个视图上训练一个分类器，对图象的结果进行预测，要求在有标记数据上预测的结果和真实的结果相同；在之后的训练过程中，要求不同视图的预测结果尽可能相近，使得预测性能强的视图能够辅助其它的视图，从而提升每一个视图以及综合的分类结果；最后利用在迭代训练过程中得到的分类器在每一个视图上进行图象分类。本发明方法可分为图象分类模型训练步骤和图象分类模型分类步骤，具体如下：

所述图象分类模型的训练步骤具体为：

步骤100，从不同的k个数据源获取图象特征属性集，将每一个属性集看作一个视图；

步骤101，在每一个视图上利用本视图的特征属性训练分类器，得到每一个视图上对所有样本的预测结果，训练过程中要求在有标记样本上每一个分类器的预测结果和真实标记相同；

步骤102，将每个视图对所有图象的预测结果收集，拼接成一个矩阵(apm)，优化该矩阵的秩，使每一个视图的预测结果尽可能一致；

步骤103，判断每一个视图预测拼接构成的矩阵秩是否满足要求，如果否，则转入步骤101，继续分类器的训练；如果是，则通过该矩阵重构分类器，即每一个视图最终的预测结果根据该视图上的特征构造出针对该视图的分类器wk确定。

所述图象分类模型的分类步骤具体为：

步骤200，从不同的k个数据源获取图象特征属性集，将每一个属性集看作一个视图；

步骤201，利用训练过程中在每一个视图上得到的分类器wk对每一个视图上 的图象进行分类；

步骤202，判断是否需要综合每一个视图进行图象分类，如果否，则获得每一个视图上的分类结果；如果是，则收集每一个视图的分类结果，将其进行融合，得到综合的分类结果。

所述步骤100从不同的k个数据源获取图象特征属性集的方法包括使用不同的特征提取方法对图象进行特征提取、使用网络上的附带信息作为其它数据源和从真实存在的多数据源(如多传感器)提取特征等。

所述步骤101在每一个视图上利用本视图的特征属性训练分类器具体方法为：在每一个视图上构建线性分类器wk，分类器的维度同时取决于图象类别的数目c和该视图特征属性集的维度dk，使用最小二乘方法在有标记样本上使得分类器的预测结果和真实的结果尽可能相似，具体公式如下：

其中，bk为每个视图上的分类偏置，γ为参数，fk是分类器的输出。

所述步骤102使每一个视图的预测结果尽可能一致的具体方法为：在每一个视图上对训练集中所有图象进行类别的预测，得到预测结果fk，其维度同时取决于训练集中图象的数目和类别数目，将所有视图的预测结果拼接，得到一个扩展的矩阵表示apm，使各个视图的预测结果一致即优化apm的秩，使其尽可能低秩。优化目标及使得apm的秩为c-1，和理想情况下的秩相同。

所述优化apm的秩方法为优化apm的截断核范数的方法，包括加速近端梯度方法和交替方向乘子法，具体优化方法如下：

其中，lk为最小二乘损失函数，fk是第k个视图上分类器的输出，||f||r是扩展矩阵apm的截断核范数，集合d为可用分类器集合，在本申请中d为带偏置的线性分类器集合。

所述步骤201利用训练过程中在每一个视图上得到的分类器wk对每一个视图上的图象进行分类的具体方法为：将该视图上某一幅图象的特征和wk做内积运算，得到一个长为c的向量，其中每一个元素表示分类到每一个类的置信度，图象分类过程即把当前图象分类为置信度最高的一类。

所述步骤202将各类别的预测结果融合，具体是指使用某些集成方法(如多个预测结果投票)得到最终的预测。

有益效果：与现有技术相比，本发明所提供的利用多数具有的图象分类方法，实施过程中能够充分利用有标记数据和未标记数据上不同数据源的多种特征属性，适合数据源很多的情况，同时在整个训练过程中能够确保每一个数据源的特征属性不被其它数据源所获取。

附图说明

图1是本发明的图象分类模型训练阶段的工作流程图；

图2是本发明的图象分类模型分类阶段的工作流程图；

图3是本发明的训练图象分类模型m的工作流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

图象分类模型训练阶段的工作流程如图1所示。图象分类模型在训练阶段需要收集一定数量的带标记和大量不带标记的图象用于训练，具体来说，以公司之间“竞争-合作”为例，首先不同的公司确定对于同一个任务(对于某一类型的图象分类任务)进行协作，从网络上收集大量数据(步骤10)；然后不同公司确定针对相同一部分的图象进行模型的训练(可以某一方搜集图象然后共享，或者由各公司都从同一数据源获取图象，步骤11)；各个公司使用其自己的方法进行对搜集到的图象进行特征提取(步骤12a)，并对同一批图象进行类别的标注(步骤12b)。判断各公司搜集数据、对数据的特征提取是否完成(步骤13)，如果否，等待所有公司数据准备完成；如果是，则各公司使用搜集到的数据以及提取到的特征进行模型训练(步骤14)，最终得到模型m(步骤15)，包含每一个类别的 分类器wk，用于每一个公司的图象分类。

图象分类模型分类工作阶段的工作流程如图2所示。首先各个公司获取训练过程中得到的针对每一个公司(每个视图)的图象分类器wk(步骤16)，然后判定各公司之间是否存在进一步协作(步骤17)，即是否需要综合多个公司的预测结果提供最终的图象分类结果，如果是，则将图象分发给各个公司或各公司收集同一批图象(步骤18b)，各公司使用自己的对应的特征提取技术对该图象提取特征(步骤19b)，之后使用各公司的分类器进行判定，得到预测结果(步骤20b)，最后将这些预测结果进行集成，得到最终的综合的预测结果(步骤21)。如果各公司独立分类，则各个公司分别收集新的数据，这里不要求不同公司搜集的图象相同，也不要求不同公司要同步操作(步骤18a)；对于每一个公司，每当搜集到一个(一批)图象，使用训练过程中同样的方法对该(批)图象进行特征提取，得到图象的特征(步骤19a)；最后，公司使用自己的分类器对图像特征进行类别判定，分类结果为置信度最高的一个类别(步骤20a)。注：在图象分类过程中，各个公司对于数据独立处理，但要保证使用训练过程中相同的方式对图象提取特征。

训练图象分类模型m的工作流程如图3所示。首先各公司使用各自的特征提取方法对图象进行特征提取，获取到的数据记为x1，x2，…，xk(步骤141)；然后每个公司在有标记的图象上分别训练一个线性分类器w1，w2，…，wk(步骤142)；各公司使用训练好的分类器对所有样本的标记进行预测，得到的预测结果分别为f1，f2，…，fk(步骤143)；将各个公司的预测结果集中到一个中间结点，拼接成一个矩阵(步骤144)，在中间结点对该矩阵进行优化，得到更好的预测结果矩阵apm，通过优化该矩阵的秩实现(步骤145)；将更新之后的预测结果分别传给各个公司(步骤146)；判断各公司的预测结果是否足够好(步骤147)，如果否，则返回步骤，继续训练；如果是，则停止，各公司通过预测结果fk更新分类器wk，各公司得到各自的分类器(步骤148)。注：在训练过程中，中心结点只获取各个公司针对图象的预测结果，不需要获取各个公司提取到的图象特 征，保护了各公司图象提取技术的隐私性。在实现中，通过优化apm的秩来对预测结果更新，使用优化apm的截断核范数的方法实现，具体有加速近端梯度方法和交替方向乘子法等。