一种图像识别方法和装置与流程
本发明涉及计算机技术领域，尤其涉及一种图像识别方法和装置。
背景技术：
随着科学技术的不断发展，多媒体设备也越来越多的出现在我们生活中，随着带给我们的体验就是多媒体的形式也越来越丰富，多样的图像表现形式给我们的生活增添了更多的色彩和乐趣。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
然而，随之而来的是，图像等多媒体数据呈现爆炸式增长，如何有效管理海量图像数据已成为一种挑战，同时快速有效处理图像的分类也是亟待解决的问题。
技术实现要素：
有鉴于此，本发明实施例提供一种图像识别方法和装置，能够解决现有技术中无法快速有效处理图像的问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种图像识别方法，包括接收未标记的图像数据集和已标记的图像数据集；利用已标记的图像数据集，对预设的第一多标记分类网络进行训练，以得到训练好的第一多标记分类网络；将未标记的图像数据集，通过训练好的第一多标记分类网络，获得每个图像的标记结果及对应的置信度值；根据所述标记结果及对应的置信度值，更新预设的第二多标记分类网络，进而通过更新后的第二多标记分类网络对图像进行标记。
可选地，利用已标记的图像数据集，对预设的第一多标记分类网络进行训练，以得到训练好的第一多标记分类网络，包括：
对已标记的图像进行标记所在区域的切分，得到候选区域集合；
将所述候选区域输入至预设的第一多标记分类网络中进行训练，以得到待训练好的第一多标记分类网络；
基于已标记的图像数据集，利用加权的交叉熵损失函数训练第一多标记分类网络，以得到训练好的第一多标记分类网络。
可选地，获得每个图像的标记结果及对应的置信度值之后，包括：
对标记结果及对应的置信度值，通过蒙特卡罗方法计算得到标记结果的平均分数向量；
通过计算平均分数向量的熵，得到每个标记的整体置信度值。
可选地，根据所述标记结果及对应的置信度值，更新预设的第二多标记分类网络，包括：
将整体置信度值转换为标准化后验置信度，进而得到未标记的图像的损失值；
计算已标记的图像损失值与未标记的图像损失值之和，以根据标记结果和损失值之和更新预设的第二多标记分类网络；其中，已标记的图像损失值是根据已标记的图像数据集计算的分类交叉熵
可选地，还包括：
第一多标记分类网络是以alexnet为基础的8层网络模型，以及第二多标记分类网络是以alexnet为基础的5层卷积加3层全连接模型。
另外，根据本发明实施例的一个方面，提供了一种图像识别装置，包括接收模块，用于接收未标记的图像数据集和已标记的图像数据集；识别模块，用于利用已标记的图像数据集，对预设的第一多标记分类网络进行训练，以得到训练好的第一多标记分类网络；将未标记的图像数据集，通过训练好的第一多标记分类网络，获得每个图像的标记结果及对应的置信度值；根据所述标记结果及对应的置信度值，更新预设的第二多标记分类网络，进而通过更新后的第二多标记分类网络对图像进行标记。
可选地，所述识别模块利用已标记的图像数据集，对预设的第一多标记分类网络进行训练，以得到训练好的第一多标记分类网络，包括：
对已标记的图像进行标记所在区域的切分，得到候选区域集合；
将所述候选区域输入至预设的第一多标记分类网络中进行训练，以得到待训练好的第一多标记分类网络；
基于已标记的图像数据集，利用加权的交叉熵损失函数训练第一多标记分类网络，以得到训练好的第一多标记分类网络。
可选地，所述识别模块获得每个图像的标记结果及对应的置信度值之后，包括：
对标记结果及对应的置信度值，通过蒙特卡罗方法计算得到标记结果的平均分数向量；
通过计算平均分数向量的熵，得到每个标记的整体置信度值。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一图像识别实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一基于图像识别实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：本发明通过接收未标记的图像数据集和已标记的图像数据集；利用已标记的图像数据集，对预设的第一多标记分类网络进行训练，以得到训练好的第一多标记分类网络；将未标记的图像数据集，通过训练好的第一多标记分类网络，获得每个图像的标记结果及对应的置信度值；根据所述标记结果及对应的置信度值，更新预设的第二多标记分类网络，进而通过更新后的第二多标记分类网络对图像进行标记。从而，本发明所述的图像识别方法能够快速、有效地识别图像，同时能够在有限标记数据的范围内，提升大量的实际可用的未标记数据，以大幅度改进图像识别的性能。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明第一实施例的图像识别方法的主要流程的示意图；
图2是根据本发明第二实施例的图像识别方法的主要流程的示意图；
图3是根据本发明实施例的图像识别装置的主要模块的示意图；
图4是本发明实施例可以应用于其中的示例性系统架构图；
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的图像识别方法的主要流程的示意图，所述图像识别方法可以包括：
步骤s101，接收未标记的图像数据集和已标记的图像数据集。
步骤s102，利用已标记的图像数据集，对预设的第一多标记分类网络进行训练，以得到训练好的第一多标记分类网络。
较佳地，在训练第一多标记分类网络时，首先对已标记的图像进行标记所在区域的切分，得到候选区域集合。然后，将所述候选区域输入至预设的第一多标记分类网络中进行训练，以得到待训练好的第一多标记分类网络。最后，基于已标记的图像数据集，利用加权的交叉熵损失函数训练第一多标记分类网络，以得到训练好的第一多标记分类网络。
步骤s103，将未标记的图像数据集，通过训练好的第一多标记分类网络，获得每个图像的标记结果及对应的置信度值。
较佳地，获得每个图像的标记结果及对应的置信度值之后，可以对标记结果及对应的置信度值，通过蒙特卡罗方法计算得到标记结果的平均分数向量。然后，通过计算平均分数向量的熵，得到每个标记的整体置信度值。
步骤s104，根据所述标记结果及对应的置信度值，更新预设的第二多标记分类网络，进而通过更新后的第二多标记分类网络对图像进行标记。
较佳地，将整体置信度值转换为标准化后验置信度，进而得到未标记的图像的损失值。然后，计算已标记的图像损失值与未标记的图像损失值之和，以根据标记结果和损失值之和训练预设的第二多标记分类网络，以更新第二多标记分类网络的参数。其中，已标记的图像损失值是根据已标记的图像数据集计算的分类交叉熵。
值得说明的是，第一多标记分类网络是以alexnet为基础的8层网络模型，以及第二多标记分类网络是以alexnet为基础的5层卷积加3层全连接模型。其中，alexnet是一种神经网络，在cnn中成功应用了relu、dropout和lrn等trick，同时使用了gpu进行运算加速。
根据上面所述的各种实施例，本发明所述的图像识别方法，可以在较少完整标记图像的情况下，通过第一多标记分类网络和第二多标记分类网络双模型模式(老师-学生双模型模式)，不断地将预测可信度较高的待标记图像样本转化为训练样本，进行不断地训练。在每次迭代过程中，第一多标记分类网络(教师多标记分类网络)都可以筛选出更多的可用待标记图像(置信度值较高的)作为第二多标记分类网络(学生多标记分类网络)的训练样本，从而一定程度上扩增了第二多标记分类网络的训练样本集的数量，最终得到的第二多标记分类网络就可以用于结果的预测输出。
另外，本发明所述的图像识别方法适用于不同形式的多标记图像标记问题，尤其适用于工业界对图像的标记问题的解决。也就是说，在有限标记数据的范围内，提升大量的实际可用的未标记数据，以改进性能。
图2是根据本发明可参考实施例的图像识别方法的主要流程的示意图，所述图像识别方法可以包括：
步骤s201，接收未标记的图像数据集和已标记的图像数据集。
在实施例中，假设接收了大量的未标记的图像du＝(xi)和少量的高质量标记图像dl＝{(xi，yi)}，其中xi是图像，yi是对应标记集合。同时，预设了第一多标记分类网络和第二多标记分类网络，例如：教师多标记分类网络ft(x)和学生多标记分类网络fs(x)。利用已标记数据集基于深度学习的第一多标记分类网络(教师多标记分类网络)进行训练。然后将训练好的第一多标记分类网络(教师多标记分类网络)应用于未标记的数据集中的每个图像，以获得标记结果及对应的置信度值，从而生成“伪”标记样本。置信度值表示第一多标记分类网络(教师多标记分类网络)输出标记可靠性的置信度值，并用于指导第二多标记分类网络(学生多标记分类网络)进行学习训练。
步骤s202，对已标记的图像进行标记所在区域的切分，得到候选区域集合。
在实施例中，利用基于bing首先对图像进行相关标记的候选区域提取，得到候选实物标记的区域集合。其中，将图片涉及到的标记所在的区域切分出来，这里针对多标记图像中存在多个标记实体的情况而言，选择用bing模型进行切分，从而切分得到的区域个数尽可能少的同时，还能覆盖所有的标记。其中，bing是binarizednormedgradientsmodel，用来提取候选区域。
步骤s203，将所述候选区域输入至预设的第一多标记分类网络中进行训练，以得到待训练好的第一多标记分类网络。
在实施例中，将这些提取的候选区域输入到一个共享参数的第一多标记分类网络(教师多标记分类网络)ft(x)中进行训练建模，由于没有大量的多标记数据用于训练模型，本发明可以用目前已有公开的大规模单标记数据集作为模型的训练样本集，然后使用业务场景相关的少量标记完整正确的样本数据对训练好的模型进行参数微调整。其中，常用的单标记数据也可以称为多分类数据，即整个数据集有很多类别，但是一张图片或一个样本只有一个类别。常用的大规模的多分类数据有cifa，imagenet等。
步骤s204，基于已标记的图像数据集，利用加权的交叉熵损失函数训练第一多标记分类网络，以得到训练好的第一多标记分类网络。
其中，加权的交叉熵损失函数，即对于softmax之后的交叉熵乘以权重。
在实施例中，在得到初步的第一多标记分类网络(教师多标记分类网络)ft(x)参数之后，使用多标记数据对模型参数进行微调整。较佳地，使用类加权分类交叉熵损失训练标记样本集dl的ft(x)。
步骤s205，将未标记的图像数据集，通过训练好的第一多标记分类网络，获得每个图像的标记结果及对应的置信度值。
步骤s206，对标记结果及对应的置信度值，通过蒙特卡罗方法计算得到标记结果的平均分数向量。
其中，所述的蒙特卡罗方法是一种以概率统计理论为指导的一类数值计算方法。
在实施例中，对于标记结果及对应置信度值的量化处理，通过蒙特卡罗方法平均到k个样本，得到标记效果的平均分数向量
步骤s207，通过计算平均分数向量的熵，得到每个标记的整体置信度值。
在实施例中，平均分数向量包括每个标记类别的概率分数，即
步骤s208，将整体置信度值转换为标准化后验置信度，进而得到未标记的图像的损失值。
在实施例中，将ft(x)应用于未标记图像的xu∈u，利用等式1得到平均分数向量(也可称之为伪标记)，利用等式2得到对应的标记整体置信度值u。整体置信度值(即置信度值图)中较高的值表示生成的伪标记可能不正确，需要在更新fs(x)时降低权重。
较佳地，将整体置信度值u转换为标准化后验置信度图，如下所示：
ω＝exp[-αu](3)
其中，α是一个正的超参数标量，而置信度映射ω∈[0,1]提供了由ft(x)产生的伪标记的可信度分数，从而使较高的置信度值产生低可信度分数，反之亦然。而ω∈[0,1]就可以表示未标记图像的损失情况，记为lunlab。
步骤s209，计算已标记的图像损失值与未标记的图像损失值之和，以根据损失值之和进行反向传播更新预设的第二多标记分类网络，进而通过更新后的第二多标记分类网络对图像进行标记。
在实施例中，半监督损失是标记损失和未标记损失的总和：
lsemi_sup＝llab+lunlab(4)
其中，llab是根据标记的样本通过交叉熵损失函数计算得到，权重为1。
可以看出，提出的半监督损失函数鼓励丢弃由ft(x)产生的不准确的伪标记。等式3中的超参数α控制从ft(x)到fs(x)的信息流。α值越小可以让第二多标记分类网络盲目跟随第一多标记分类网络，而α值越大则通过强调第一多标记分类网络的置信度来控制学习。例如：设置α＝0相当于使用所有伪标记，而设置α>0则允许概率选择更确定的伪标记。
在一个优选地实施例中，设置输入的未标记数据集
步骤一：从du中小样本取样
步骤二：针对
步骤三：根据等式3，通过整体置信度值u计算得到标准化后验置信度图。
步骤四：根据等式4，计算已标记和未标记的损失和。
步骤五：使用后向传播方法更新fs(x)的参数。
其中，后向传播方法是一种神经网络学习算法。
综上所述，本发明所述的图像识别方法，能够利用大量未标记的噪声数据，并结合不确定性改进多标记图像的标记。在第一多标记分类网络(教师多标记分类网络)引入不确定度，从而让第一多标记分类网络(教师多标记分类网络)不仅能够对无标记数据进行分类，也可以给出不确定度。利用不确定度，可以提高模型训练速度，以及模型训练的效果，并且可以直接应用到工业环境的。因为，工业环境就是存在这样的场景：大量无标记数据，且会存在一定的问题。因为，现有存在大量相关或者不相关的无标记数据，第一多标记分类网络(教师多标记分类网络)可以依据少量准确的数据便可以训练出来。也就是说，第一多标记分类网络(教师多标记分类网络)不仅输出了结果，还输出了对这个的结果的不确定性。
在第二多标记分类网络(学生多标记分类网络)训练的时候，置信度值(不确定性)低的样本就会权重大，高的权重小。从而能够提高第二多标记分类网络(学生多标记分类网络)的准确度，并且也更有实际意义。即重视置信度值低的，不能太重视置信度值高的，从而提高第二多标记分类网络(学生多标记分类网络)的鲁棒性。
另外，针对工业环境中的数据场景及数据类型差异很大的情况，使用公开的单标记大规模数据集进行第一多标记分类网络(教师多标记分类网络)的预训练，然后使用少量的多标记场景数据对第一多标记分类网络(教师多标记分类网络)进行参数的微调整，从而更具泛化能力。因此，所提出的不确定性诱导方法可以有效地将信息从第一多标记分类网络转移到第二多标记分类网络中，用于标记任务，并且能够使用有限数量的标记样本生成专家级标记。
图3是根据本发明实施例的图像识别装置，如图3所示，所述图像识别装置包括接收模块301和识别模块302。其中，接收模块301接收未标记的图像数据集和已标记的图像数据集。然后，识别模块302利用已标记的图像数据集，对预设的第一多标记分类网络进行训练，以得到训练好的第一多标记分类网络；将未标记的图像数据集，通过训练好的第一多标记分类网络，获得每个图像的标记结果及对应的置信度值；根据所述标记结果及对应的置信度值，更新预设的第二多标记分类网络，进而通过更新后的第二多标记分类网络对图像进行标记。
较佳地，所述识别模块302利用已标记的图像数据集，对预设的第一多标记分类网络进行训练，以得到训练好的第一多标记分类网络时可以对已标记的图像进行标记所在区域的切分，得到候选区域集合。将所述候选区域输入至预设的第一多标记分类网络中进行训练，以得到待训练好的第一多标记分类网络。基于已标记的图像数据集，利用加权的交叉熵损失函数训练第一多标记分类网络，以得到训练好的第一多标记分类网络。
另外，较佳地，所述识别模块302获得每个图像的标记结果及对应的置信度值之后，可以对标记结果及对应的置信度值，通过蒙特卡罗方法计算得到标记结果的平均分数向量。通过计算平均分数向量的熵，得到每个标记的整体置信度值。
进一步地，所述识别模块302将整体置信度值转换为标准化后验置信度，进而得到未标记的图像的损失值。计算已标记的图像损失值与未标记的图像损失值之和，以根据标记结果和损失值之和更新预设的第二多标记分类网络。其中，已标记的图像损失值是根据已标记的图像数据集计算的分类交叉熵。
还值得说明的是，第一多标记分类网络是以alexnet为基础的8层网络模型，以及第二多标记分类网络是以alexnet为基础的5层卷积加3层全连接模型。
需要说明的是，在本发明所述图像识别装置的具体实施内容，在上面所述图像识别方法中已经详细说明了，故在此重复内容不再说明。
图4示出了可以应用本发明实施例的图像识别方法或图像识别装置的示例性系统架构400。
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的图像识别方法一般由服务器405执行，相应地，图像识别装置一般设置于服务器405中。
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有系统500操作所需的各种程序和数据。cpu501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块和识别模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收未标记的图像数据集和已标记的图像数据集；利用已标记的图像数据集，对预设的第一多标记分类网络进行训练，以得到训练好的第一多标记分类网络；将未标记的图像数据集，通过训练好的第一多标记分类网络，获得每个图像的标记结果及对应的置信度值；根据所述标记结果及对应的置信度值，更新预设的第二多标记分类网络，进而通过更新后的第二多标记分类网络对图像进行标记。
根据本发明实施例的技术方案，能够解决现有技术中无法快速有效处理图像的问题。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！