图像识别方法、相机系统的制作方法
【技术领域】
[0001 ] 本发明属于图像识别的技术领域。
【背景技术】
[0002] 在图像识别中，通过对应该成为识别对象的图像进行解析，提取表征该图像中的 被拍摄体的图案，并判断提取出的图案是否被分类到与通过既存的学习得到的样本集合相 同的集合组。作为识别由相机装置捕捉的被拍摄体的技术，可以列举出利用了机器学习的 脸部检测技术、脸部识别技术以及车牌识别技术等。
[0003] 例如，在脸部检测技术、脸部识别技术中，将通过相机装置得到的图像输入检测器 函数，并判断在图像中是否包含脸部。一般来说，在利用这样的检测器函数时，在使用检测 器函数之前，通过机器学习进行检测器函数的训练。
[0004] 在先技术文献
[0005] 专利文献
[0006] 专利文献1 :日本专利第5197737号
[0007] 专利文献2 :日本特开2013-3751号
[0008] 专利文献3 :日本专利第4157322号
【发明内容】
[0009] 发明要解决的问题
[0010] 在设施、郊外的多个位置的每一个设置相机装置，且各相机装置捕捉到同一人物 的步行的情况下，在以往的使用了检测器函数的图案识别中，存在不少将各图像所表示的 人物作为完全不同的被拍摄体而做出判断结果的事例。这是由于，在利用检测器函数的图 案识别中，识别的成功与否大多受相机的仰角、方位角、周围的亮度影响，如果它们不同，则 识别结果就变得完全不同。
[0011] 因此，一般来说，在利用检测器函数进行图案识别时，进行与相机装置的设置场 所、图像识别的用途相应的追加学习。但是，在该追加学习中，由于需要某种程度的学习期 间，所以在进行该学习的期间，图像识别不能发挥充分的功能。
[0012] 在图像识别使用于防止犯罪等用途的情况下，决不容许图案识别不能发挥充分的 功能的状况。在图案识别使用于防止犯罪等用途等情况下，强烈要求缩短用于追加学习的 训练期间。但是，在以往的图像识别技术中，不存在能够满足该要求的识别方法。
[0013] 本发明的目的在于，提供一种在相同的被拍摄体被多个相机装置拍摄到的情况 下，能够维持对由各相机装置拍摄到的图像的图像识别结果的同一性的图像识别方法和相 机装置。
[0014] 用于解决问题的手段
[0015] 上述问题由一种包含多个相机装置的相机系统中的图像识别方法解决，所述图像 识别方法中，从所述多个相机装置中的第一相机装置取得第一图像和第一拍摄环境信息， 所述第一图像是由该第一相机装置拍摄到的图像，所述第一拍摄环境信息表示拍摄所述第 一图像时的所述第一相机装置的第一拍摄环境，
[0016] 使用参数表从各识别控制参数之中选择第一识别控制参数，所述参数表管理拍摄 环境信息和各识别控制参数，所述拍摄环境信息表示所述多个相机装置中的各相机装置在 过去拍摄图像时的各拍摄环境，所述各识别控制参数表示与所述各拍摄环境对应的各检测 器函数，所述第一识别控制参数表示与从所述第一相机装置取得的第一拍摄环境信息所表 示的第一拍摄环境相同或类似的拍摄环境所对应的第一检测器函数，
[0017] 使用由所述选择的第一识别控制参数表示的第一检测器函数，识别从所述第一相 机装置取得的第一图像。
【附图说明】
[0018] 图1表示相机系统的构成。
[0019] 图2是表示实施方式1中的相机系统的整体构成的示意图。
[0020] 图3是表示了特定图案识别装置110的内部构成的图。
[0021] 图4是表示了由参数表存储单元130保持的参数表的一例的图。
[0022] 图5A表示由图1的相机系统中的相机11拍摄到的图像的一例。
[0023] 图5B表示由图1的相机系统中的相机12拍摄到的图像的一例。
[0024] 图5C表示由图1的相机系统中的相机13拍摄到的图像的一例。
[0025] 图6A表示由任意的相机装置进行了拍摄的情况下的、取得照明方向的过程的一 例。
[0026] 图6B表示由任意的相机装置进行了拍摄的情况下的、取得对象（object)尺寸的 过程的一例。
[0027] 图6C表示由任意的相机装置进行了拍摄的情况下的、取得对象的朝向的过程的 一例。
[0028] 图7A表示示出折射率变化的变化曲线的一例。
[0029] 图7B表示透镜抖动信息作为对象的三维坐标系。
[0030] 图8是表示检测器函数的内部构成和对该检测器函数的构成要件的处理过程的 图。
[0031] 图9表示作为实例空间X的一例的二维特征矢量空间。
[0032] 图10表示由追加学习实现的决定边界的变化。
[0033] 图11表示特征矢量的部分集合化（聚类）。
[0034] 图12是表示了参数管理装置140的内部构成的图。
[0035] 图13表示在对相机装置设定识别控制参数时向终端装置的用户提示的对话画 面。
[0036] 图14是表示将拍摄图像设为对象的图像识别步骤的流程图。
[0037] 图15是表示了利用参数管理装置140取得识别控制参数的取得步骤的一例的流 程图。
[0038] 图16是表示了追加学习的处理步骤的一例的流程图。
[0039] 图17是实施方式2中的特定图案识别装置110的构成图。
[0040] 图18是表示伴随着相机设定的图像识别的整体步骤的流程图。
[0041] 图19是表示相机设定的算出步骤的流程图。
[0042] 图20是表示照明方向的计算和向特征空间的映射步骤的一例的流程图。
[0043] 图21是实施方式3中的参数管理装置140的构成图。
[0044] 图22是表示使用了部分集合化函数的部分集合化的处理步骤的一例的流程图。
[0045] 图23表示以与个人的特征矢量关联的形式管理的多个参数表。
[0046] 图24表示用于向用户提示由图23的参数表的检索得到的拍摄环境的对话画面的 一例。
[0047] 图25是表示识别控制参数中的小分类的图。
【具体实施方式】
[0048] (实施方式的序章）
[0049] 在进行具备了利用图像识别的图案识别功能的相机系统的实施化时，发明人进行 了以下的考察。对检测器函数提供训练数据并进行学习是公知的技术。在这样的脸部的学 习中，当假定一般环境条件并将一般环境条件下的脸部模型和非脸部模型的样本集合确定 作为训练数据时，通过学习得到的检测器函数在一般环境条件下满足充分的性能。然而，在 假定的环境条件、样本集合与实际的拍摄环境大为不同的情况下，由于环境和目标的变化， 可充分认为检测器函数不满足期望的性能。例如，大幅的光线照射的变化大大改变脸部的 模型，成为大大偏离一般环境条件下的脸部模型的模型。另外，如果没有设置相机装置以使 得能拍摄与作为训练数据确定的样本集合同样的对象模型，则当然不能得到期望的性能。
[0050] 作为降低实际上由从相机装置得到的影像与假定的一般环境条件、样本集合的差 异所导致的影响并提高鲁棒性的方法，有两个解决对策。
[0051] -个是使相机装置的设置环境最优化、再现与在学习时假定的一般环境条件同等 的环境条件的方法。一般来说，设置专用的相机装置，并在识别特定图案时实行该对策。
[0052] 第二个是，追加进行机器学习，不是与假定的一般环境条件而是与现状的环境条 件相匹配，使脸部的检测器函数、脸部的特征量等识别控制参数最优化下去。在该方法中， 通过在维持对变动的鲁棒性的同时进行追加学习，生成为特定的目标物、拍摄条件特制的 识别控制参数，能够期待提高识别性能。例如，专利文献1提出了利用追加学习补充相机装 置的设置环境条件下的样本集合的不足量，提高检测器函数的鲁棒性的方法。
[0053] 另外，近年来，开始出售能够经由网络动态地追加应用程序的相机装置。利用该机 制，在从远程位置追加了识别特定图案的应用程序的情况下，大多不能当场确认、变更相机 装置的设置环境，利用上述第一个解决对策，人工改善假定的一般环境条件与实际的拍摄 环境的差异很困难。
[0054] 同样地，在利用了多个相机装置的大规模相机系统中，与一般环境条件相匹配而 分别将各个相机装置最佳地设置很困难，与所述第一个解决对策相比，能够容易地判断所 述第二个解决对策是有希望的。
[0055] 然而，如上所述，在进行追加学习的以往的构成中，由于拍摄环境时刻变化，所以 必须始终进行追加学习。因此，能设想由于追加学习的方法而导致过大的负荷，在学习上花 费许多时间成为问题。
[0056] 特别是在使用多个相机装置进行追加学习时，按各个相机装置的每一个进行追加 学习，需要与相机装置的数量相同数量的学习装置。因此，通过相机系统导入追加学习的机 制，相机系统整体会进一步大规模化也是问题。另外，在利用多个相机装置的情况下，由于 每个装置追加学习的训练数据不同，所以也可认为即使在同样的拍摄环境下学习结果也不 同。
[0057] 在专利文献2中，按每个相机装置计算每个环境的识别控制参数来制作表，进行 与拍摄环境的变化对应的特定图案的识别，但由于不能在多个相机装置之间共有计算得到 的识别控制参数，所以在所述以往的构成中，必须按每个相机装置计算识别控制参数，不能 解决相机装置的数量越增加，则识别控制参数的计算次数越增加、由于追加学习而图案识 别系统整体进一步大规模化的问题。
[0058] 对此在专利文献3中，由于提出了以从终端得到的信息为基础决定识别控制参 数，并对设定为同样的组的终端应用相同的识别控制参数的机制，所以即使不按每个终端 进行学习也没有问题。然而，在所述方法中，虽然能够削减学习器的数量，但由于没有进行 过去的识别控制参数的管理，所以每当从终端得到信息时必须始终进行识别控制参数的计 算这一点是问题。
[0059] 本申请包括能够解决上述问题的图像识别方法、相机系统的各种技术方案。该多 个技术方案形成以下的1、2、3…这样的技术思想的体系。
[0060] (1.基本的技术方案）
[0061] 1.是技术思想的体系的根本，其是一种如下技术方案的图像识别方法，从所述多 个相机装置中的第一相机装置取得第一图像和第一拍摄环境信息，所述第一图像是由该第 一相机装置拍摄得到的图像，所述第一拍摄环境信息表示拍摄所述第一图像时的所述第一 相机装置的第一拍摄环境，
[0062] 使用参数表从各识别控制参数之中选择第一识别控制参数，所述参数表管理拍摄 环境信息和各识别控制参数，所述拍摄环境信息表示所述多个相机装置中的各相机装置在 过去拍摄图像时的各拍摄环境，所述各识别控制参数表示与所述各拍摄环境对应的各检测 器函数，所述第一识别控制参数表示与从所述第一相机装置取得的第一拍摄环境信息所表 示的第一拍摄环境相同或类似的拍摄环境所对应的第一检测器函数，
[0063] 使用由所述选择的第一识别控制参数表示的第一检测器函数，识别从所述第一相 机装置取得的第一图像。
[0064] 根据本技术方案，能够从参数表选择并利用与设置了相机装置的拍摄环境对应的 识别控制参数，抑制由与假定的一般环境条件的差异导致的影响并进行特定图案的识别。 由此，能够提高识别性能而无需人工调整各个相机装置的设置环境、无需始终通过机器学 习来计算识别控制参数。
[0065] (2.图像识别的下位概念化）
[0066] 针对图像识别，能够进行以下的下位概念化。该下位概念化是指，使用所述选择的 第一识别控制参数所表示的第一检测器函数，对表示从所述第一图像提取的所述第一图像 的特征矢量的图案信息进行所述第一图像的识别。由于通过对从第一图像提取的特征矢量 应用第一检测器函数，进行在第一图像中是否出现期望的对象物的检测，所以能够使图像 识别的精度提尚。
[0067] (3.拍摄环境发生了变动时的处理）
[0068] 针对图像识别方法，能够追加拍摄环境发生了变动时的处理。该拍摄环境发生了 变化时的处理是指，从第一相机装置取得第二图像和第二拍摄环境信息，所述第二图像是 由所述第一相机装置拍摄得到的图像，所述第二拍摄环境信息表示拍摄所述第二图像时的 所述第一相机装置的第二拍摄环境，
[0069] 在所述第一环境信息与所述第二环境信息不同的情况下，使用所述参数表选择第 二识别控制参数，所述第二识别控制参数表示与第二拍摄环境信息所表示的第二拍摄环境 相同或类似的拍摄环境所对应的第二检测器函数，
[0070] 使用由所述选择的第二识别控制参数表示的第二检测器函数，识别从所述第一相 机装置取得的第二图像。在用相同的相机拍摄不同的拍摄环境的情况下，由于选择了与该 不同的拍摄环境对应的第二检测器函数，所以能够提高图像识别的精度。
[0071] (4.不存在对应的识别控制参数的情况下的处理）
[0072] 针对图像识别方法，能够追加对应的识别控制参数不存在的情况下的处理。该识 别控制参数不存在的情况下的处理是指，在所述参数表中不存在表示与所述第一图像的拍 摄时的第一拍摄环境相同或类似的拍摄环境所对应的第一检测器函数的第一识别控制参 数的情况下，进一步使用预定的学习算法生成所述第一识别控制参数，并使用所述生成的 第一识别控制参数更新所述参数表。
[0073] 由于识别控制参数的生成限于在参数表中不存在对应的拍摄环境信息的情况，所 以识别控制参数的生成被抑制为必要最低限度。由于参数生成的次数变少，所以能够降低 系统的负荷。
[0074] (5.第二识别控制参数不存在的情况下的处理）
[0075] 针对图像识别方法，能够追加对应的识别控制参数不存在的情况下的处理。该识 别控制参数不存在的情况下的处理是指，在与所述第一拍摄环境不同的第二拍摄环境下第 一相机装置拍摄了第二图像的情况下，所述图像识别方法中，从所述第一相机装置取得第 二图像和第二拍摄环境信息，所述第二拍摄环境信息表示拍摄所述第二图像时的所述第一 相机装置的第二拍摄环境，
[0076] 使用所述参数表，搜索表示与第二拍摄环境相同或类似的拍摄环境所对应的第二 检测器函数的第二识别控制参数，
[0077] 在所述参数表中不存在所述第二识别控制参数的情况下，使用预定的学习算法生 成所述第二识别控制参数，并使用所述生成的第二识别控制参数更新所述参数表。
[0078] 由于识别控制参数的生成限于在参数表中不存在拍摄环境发生了变化后的拍摄 环境信息的情况，所以识别控制参数的生成被抑制为必要最低限度。由于参数生成的次数 变少，所以能够降低系统的负荷。
[0079] (6.对第一相机的处理）
[0080] 针对所述图像识别方法，能够追加对相机的处理。该处理是指，在所述第一识别控 制参数表示与所述第一拍摄环境不相同而类似的拍摄环境所对应的第一检测器函数的情 况下，进一步，为了在所述类似的拍摄环境下进行图像的拍摄而将变更所述第一相机装置 的设定的指示向所述第一相机装置发送，
[0081] 从所述第一相机装置取得在所述类似环境下拍摄得到的第三图像，
[0082] 使用由所述第一识别控制参数表示的第一检测器函数，识别从所述第一相机装置 取得的第三图像。在第一识别控制参数与不同于所述第一拍摄环境而与所述第一拍摄环境 类似的拍摄环境对应的情况下，由于将相机的拍摄环境变更为该类似的拍摄环境并用于由 以后的拍摄得到的图像的识别，所以即使未发现相同的拍摄环境本身，也能够以识别控制 参数所表示的检测器函数为基础，维持相应的识别精度。
[0083] (7.类似度的导入）
[0084] 在选择识别控制参数时，能够导入类似度。以类似度为基础的识别控制参数的选 择是指，根据表示所述第一拍摄环境的拍摄环境信息与表示所述参数表所管理的所述各拍 摄环境的拍摄环境信息的差，算出类似度，
[0085] 在所述参数表中存在多个表示具有超过预定的阈值的类似度的拍摄环境的拍摄 环境信息的情况下，选择表示与类似度最高的拍摄环境对应的检测器函数的识别控制参数 作为所述第一识别控制参数。由于将根据识别控制参数的差算出的类似度作为识别控制参 数的选择的基础，所以识别控制参数的选择变得适当。
[0086] (8.成为识别控制参数生成的基础的参数选择）
[0087] 在识别控制参数生成时，能够以既存的识别控制参数为基础。以既存的识别控制 参数为基础的识别控制参数生成是指，根据表示所述第一图像的拍摄时的拍摄环境的第一 拍摄环境信息与表示所述参数表所管理的所述各拍摄环境的拍摄环境信息的差，算出类似 度，
[0088] 在所述参数表中不存在表示具有超过预定的阈值的类似度的拍摄环境的拍摄环 境信息的情况下，选择表示与在低于预定的阈值的类似度中类似度最高的拍摄环境对应的 检测器函数的第三识别控制参数，以所述选择的第三识别控制参数为基础，使用预定的学 习算法，生成用于新取