物体识别系统和物体识别方法与流程

本发明涉及物体识别系统和物体识别方法。

背景技术：

近年来，随着全球化推进，各国的人民进行交往，但担心治安恶化，安全性需求随之增高。但是，在包括日本的一部分的国家由于劳动人口减少，因此寻求使用计算机的机械的解决方案。

该技术之一具有使用了神经网络的影像解析技术。神经网络是从所赋予的学习用数据集中学习有效的特征提取方法的数据驱动型的方法。学习用数据集越是具有评价用环境的数据，神经网络的识别精度越高。另外，在学习用数据集规模大且多样的情况下，对于广泛应用的环境下，识别精度提高。

学习用数据集由图像和想解决的对象任务的标签构成。图像如果通过摄像机拍摄，则能够机械收集，标签生成的大部分由于需要人工作业，所以在学习用数据集的生成上人力成本大是一个课题。

进行多个推算的多任务用神经网络由于考虑各自的关联性而输出，所以能够实现比单任务用神经网络高的精度。

为了实现这些，需要对多任务进行标签贴附。与单任务相比，任务数多的分作业量大。另外，在人工造成的错误和数据保存、通信环境等的影响上有时产生数据缺损，标签的一部分缺损。

在专利文献1中，为了防止数据缺损，提案生成表示关联度的教师标签的方法。

现有技术文献

专利文献

专利文献1：日本专利第6392478号公报

技术实现要素：

发明所要解决的问题

但是，在专利文献1中，成为前提的数据集的构建作业贴标量多成为实际应用上的课题。

本发明的目的在于，抑制在物体识别系统中成为前提的数据集的构建作业的贴标量。

用于解决问题的技术方案

本发明的一方式的物体识别系统是具有存储部和学习控制部的物体识别系统，其特征在于：所述存储部包括：用于保存物体的图像的图像部；用于保存标签的标签部，其中所述标签是关于作为所述物体的属性的任务的信息；和用于推算所述物体的所述任务并输出推算结果的推算器，所述推算器包括：用于从所述图像中提取物体特征量的物体特征提取部；用于识别所述任务的信息的多个任务类别识别部；和能够保存所述物体特征提取部与多个所述任务类别识别部之间的连接信息的连接切换部，所述学习控制部，根据所述任务的种类，基于保存于所述连接切换部的所述连接信息来改变所述物体特征提取部与多个所述任务类别识别部之间的连接关系。

本发明的一方式的物体识别方法是使用了具有存储部和学习控制部的物体识别系统的物体识别方法，其特征在于：在所述存储部中保存物体的图像和标签，其中所述标签是关于作为所述物体的属性的任务的信息，由物体特征提取部从所述物体的图像中提取物体特征量，由多个任务类别识别部识别所述任务的信息，由所述学习控制部根据所述任务的种类来改变所述物体特征提取部与多个所述任务类别识别部之间的连接关系，推算所述物体的所述任务并输出推算结果。

发明效果

根据本发明的一个方式，能够抑制在物体识别系统中成为前提的数据集的构建作业的贴标量。

附图说明

图1是表示实施例的系统结构的框图。

图2是表示标签部102的一例的图。

图3是表示学习履历存储部103的一例的图。

图4是表示连接切换部1001的一例的图。

图5是表示更新度保存部1003的一例的图。

图6是表示实施例的学习流程的详细的流程图。

图7是表示推算器的实用例的图。

图8是表示实施例的学习的概要的图。

图9是表示图像部101的一例的图。

具体实施方式

以下，使用附图面对实施例进行说明。

【实施例】

参照图1，说明实施例的物体识别系统的结构。

物体识别系统包括存储部10、学习控制部11和任务组合id生成部12。存储部10具有推算器100、图像部101、标签部102以及学习履历存储部103。

推算器100具有物体特征提取部1000、连接切换部1001和任务类别识别部1002。在此，任务类别识别部1002由多个任务类别识别部1002a～1002c构成。推算器100接收人物图像作为输入，且输出该人物相对于各任务的推算结果。推算器100的数据例如保存在图像存储器内。

物体特征提取部1000由神经网络构成。该神经网络具有通过学习而能够更新的参数。物体特征提取部1000的功能将作为输入接收到的人物图像转换为被称为特征量的3阶张量。物体特征提取部1000对于相同的人物的图像进行参数调整(tuning)，使其成为距离彼此近的张量，特征量根据人物图像进行3阶张量化以能够区别各人物。

连接切换部1001根据附属于输入图像的标签，存储表示物体特征提取部1000和任务类别识别部1002a～1002c的连接信息的连接记号和非连接记号。

任务类别识别部1002由神经网络构成。该神经网络具有通过学习可更新的参数。任务类别识别部1002的功能是对于上述物体特征量，将关于各任务的信息解码。该被解码的输出结果的形式由小数向量表示。

在本实施例中，作为一例，以年龄、发色、性别作为任务。任务类别(年龄)识别部1002a的任务是年龄，任务类别(发色)识别部1002b的任务是发色，任务类别(性别)识别部1002c的任务是性别。

更新度保存部1003存储与物体特征提取部1000和任务类别识别部1002对应的学习时的参数更新的程度。

图像部101保存从各种任务用的数据集中收集到的图像。如图9所示，由图像名称9a和图像数据9b构成。图像部101例如作为数据库保存在存储器(ssd或hdd)内。

标签部102保存图像部101所保有的图像的图像名称和各任务的标签。各任务的标签在图像与其任务对应的情况下是标签值，在非对应的情况下是缺损值。标签部102例如作为数据库保存在存储器(ssd或hdd)内。

学习控制部11进行数据的交互和学习的计算等处理。例如，学习控制部11将从图像部101和标签部102接收到的图像和标签传送到物体特征提取部1000。另外，将标签转换为一位有效表达的向量。另外，调整连接切换部1001。另外，变更更新度保存部1003。进而，更新推算器100的参数。学习控制部11例如由cpu或gpu构成。

学习履历存储部103保存至最新时刻的学习条件和结果。学习履历存储部103例如保存在存储器内。

更新度保存部1003根据到最近为止的学习状况，保持用于控制物体特征提取部1000或任务类别识别部1002所保存的参数的更新量的强弱的变量。更新度保存部1003例如保存在存储器内。

参照图2，对标签部102的数据结构进行说明。

标签部102是附属于各图像的各任务的正确值。如图2所示，包括任务组合id2a、各图像名称2b、由3个任务构成的各任务的正确值2c。

任务组合id2a是对应的标签的组合分配给相同的标签的各组的id。学习前为空栏，在学习最初生成且在学习时使用。

图像名称2b保存各记录对应的图像的图像部101的地址。正确值2c中对对应任务存储正确标签，对非对应任务存储缺损值。作为缺损值，在图2中表示为×，也可以是其它的记号。

参照图3，对学习履历存储部103的数据结构进行说明。

学习履历存储部103是记录至最新时刻为止的连接条件和各任务的任务损失的存储部(任务损失的定义后述)。

如图3所示，由各学习步骤的任务组合id3a、任务损失3b构成。在任务组合3a存储各学习步骤的任务组合id。输入对应任务的任务类别识别部1002的输出值与正确值的差，对非对应任务输入缺损值。作为缺损值，图3表示为×，但也可以是其它的记号。

参照图4，对连接切换部1001的数据结构进行说明。

连接切换部1001保存物体特征提取部1000和任务类别识别部1002a～1002c的连接信息。由任务数的个数的字段要成，分别存储连接记号或非连接记号。图4是作为连接记号表示为1，作为非连接记号表示为0的一例。

参照图5，对更新度保存部1003的数据结构进行说明。

更新度保存部1003为了均衡地学习多个任务类别识别部1002a～1002c，存储用于调整参数的更新的程度的值。

如图5所示，对于任务类别识别部1002a～1002c，存储表强弱的小数值。对于非连接的任务类别识别部1002b，保存缺损值。作为缺损值，在图5中表示为0，也可以是其它的记号。

接着，对物体特征提取部1000的数学式计算进行说明。

当将物体特征提取部1002的神经网络的参数设为θ，将计算设为f时，输入图像x时，通过以下的(式1)输出特征量z。

【式1】

z＝f(x；θ)…(式1)

在此，θ指物体特征提取部1002的神经网络所具有的参数。

当将任务类别识别部1002a～1002c的神经网络的参数设为θa～θc，将计算设为ga～gc时，作为特征量z时的任务类别识别部1002a～c的各自的推算向量ya～yc通过以下的(式2)～(式4)导出。

【式2】

ya＝ga(z；θa)…(式2)

【式3】

yb＝gb(z；θb)…(式3)

【式4】

yc＝gc(z；θc)…(式4)

推算向量y是存在于其属性内的类别向量。例如，如果是性别，则存在男性和女性两个类别，yc是二维向量，以下通过(式5)导出。

【式5】

yc＝(yc，1，yc，2)…(式5)

表示与图像xi对应的属性推算的推算向量ya，i和正确向量ta，i的距离的任务(年龄)损失la作为交叉熵差通过以下的(式6)定义。

【式6】

其中，ca是年龄任务的类别数量，ta，i和ya，i是以下的(式7)、(式8)的向量的要素。

【式7】

ya＝(ya，1，…，ya，ca)…(式7)

【式8】

ta＝(ta，1，…，ta，ca)…(式8)

另外，正确向量ta，i是仅正确类别的要素为1，除此以外的要素为0的一位有效表达的向量。

具有预测向量和正确向量越近，则la越小的性质。在la小的情况表示能够获得好的预测。任务(发色)损失lb、任务(性别)损失lc也同样被定义。非连接的任务损失由于不存在正确向量t，所以不计算。

全损失被定义为有连接的任务损失的加权和。该权重是指更新度。例如，如果仅有年龄和性别连接，则1由以下的(式9)表示。

【式9】

i＝λaia+λcic…(式9)

在此，la、lc是与各任务对应的更新度。在学习中更新关联的参数，以减小该l。例如，在仅有年龄和性别的连接的情况下，更新物体特征提取部1002和有连接的任务类别识别部1002a、1002c所具有的参数θ、θa、θc。

接着，参照图6对学习流程进行说明。

如果开始学习(s600)，则设定学习所需的常数。设定用于一次参数的更新的数据的个数即批尺寸(batchsize)。设定参数更新的上限次数即上限循环次数。

另外，定义各任务的类别的顺序。例如，如果是性别的任务，则有男和女的两类别，将男设为第1，将女设为第2。

接着，学习控制部11参照标签部102生成任务组合id。

任务组合id对于存在标签的任务的组合从1开始按顺序分配。例如，存在于标签部的组合如果是(年龄、性别)、(发色、性别)、(性别)三种类，则按顺序将任务组合id分配为1、2、3。而且，对于标签部内的所有数据填入对应的任务组合id。

即使混合前的原始的数据集相同，如果因破损等理由而标签缺损，则如图2分配其它的id。之后，整理标签部的记录，以使相同的组合id彼此连续地排列。(s601)

提取用于一次学习步骤的数据。首先，随机地确定用于本次学习步骤的任务组合id。学习控制部11从批尺寸个数、标签部102的表上获取具有该任务组合id的标签。

在下一个相同的任务组合id时，从其后续获取。如果正在获取时达到该任务组合id的最后记录，则仅拖拽(shuffle)标签部内的具有该任务组合id的记录。继续获取从具有该任务组合id的记录的开头进行。

之后，将各标签作为一位有效表达的向量。例如，如果是性别的标签，则男和女两种类别中，将男设为第1，将女设为第2时，男的一位有效表达的向量tc通过以下的(式10)表示。

【式10】

tc＝(1，0)…(式10)

女的一位有效表达的向量tc由以下的(式11)表示。

【式11】

tc＝(1，0)…(式11)

之后，从图像部101获取标签记载的图像名称的图像(s602)。

学习控制部11更新连接切换部1001。对于本步骤中使用的标签作为对象的任务加入连接记号，对于非对象的任务加入非连接记号(s603)。

学习控制部11参照学习履历存储部140计算新的更新度，将新的更新度代入更新度保存部1003(s604)。

新的更新度的计算方法的一例如下。已连接任务的更新度为在过去的学习时连接的总次数的倒数，非连接任务的更新度为0。图5表示更新度为第三次时的例子(λa＝1/2＝0.5、λb＝0、λc＝1/3＝0.3)。

学习控制部11将图像输入到物体特征提取部1000进行计算，所得的输出对输入到对应任务的任务类别识别部1002中所得的输出结果和标签计算任务损失和总损失。

对于该总损失，应用差逆传播法，更新物体特征提取部1000和有连接的任务类别识别部1002所具有的参数(s605)。

学习控制部11接受已连接的任务的任务损失，将任务的种类和任务损失作为新的记录追加到学习履历存储部103(s606)。

如果满足学习结束条件则结束学习。在不满足学习结束条件的情况下，进行s402的操作(s607)。学习结束条件的一例为是否达到上限循环次数。在此，将从s602至s606的所有处理称为学习步骤。

接着，参照图7和图8对实施例的物体识别方法进行明。

在实施例中，如图7那样将从监视摄像机700传送来的图像通过任意方法剪切出人物区域的图像。而且，通过推算器100推算对于剪切图像反映出的人物的年龄、性别、发色等多个属性，并输出其推算结果。在实施例中，例如将年龄、性别、发色三种属性作为对象。

推算器100由神经网络构成。神经网络具有参数，输出值根据该参数的值而变动。这些参数使用事前准备的学习用数据集，利用称为学习的方法进行调整。由此实现能够适当的推算的推算器100。

学习用数据集由人物图像和相对于与该人物的属性的标签(正确标签)的组构成。标签例如在男性的图像上赋予表示男性的标签。

标签事前由人工等附加。贴标签的成本随着图像数越多而越大。因此，与其每次从零开始准备数据集，不如利用以其它的目的贴了标签的数据集。

但是，以其它的目的贴有标签的数据集不一定齐备必要的标签。例如，仅以年龄和性别的推算目的构建的数据集中只存在年龄和性别，不存在发色的标签。

在现有技术中，不能应用在具有上述那样缺损的标签的情况。本实施例中，在这种情况下也可进行推算器100的学习。

参照图8，说明推算器100的学习过程的概略。

从混合多个数据集而构建的混合数据集取出多个具有相同种类的标签的数据(图像和标签的组)。该个数称为批尺寸，是预设定的常数。

标签被传送到学习控制部11，学习控制部11根据存在的标签的种类，变更推算器100内的物体特征提取部100和任务类别识别部1002a～1002c的连接。例如，如果取出的数据中只有年龄和性别的标签，则年龄的任务类别识别部1002a和性别的任务类别识别部1002c连接，发色的任务类别识别部1002b未连接。

学习控制部11变更控制任务类别识别部1002的参数的更新的强弱的更新度。取出的图像被传送到推算器100，输出年龄的任务类别识别部1002a和性别的任务类别识别部1002c的推算结果。

学习控制部11比较正确标签和推算结果，计算其距离(损失)。将该距离传送到推算器100，推算器100更新参数以减小距离。

以上是学习过程的一次参数的更新(称为学习步骤)的总次序。

根据上述实施例，在物体识别系统中能够抑制成为前提的数据集的构建作业的贴标量。

另外，在上述实施例中，描述了以人物为对象的情况，但本发明不限于人物，也可应用于人物以外的物体。例如，对于汽车，能够应用于汽车的颜色和车型、尺寸的推算等，具有这种功能的推算器能够应用于汽车的检索等。系统结构和学习流程(学习方法)依然可使用与上述实施例相同的情况。

附图标记说明

10存储部

11学习控制部

12任务组合id生成部

100推算器

101图像部

102标签部

103学习履历存储部

1000物体特征提取部

1001连接切换部

1002任务类别识别部。