图像解析装置、图像解析方法、以及图像解析程序与流程

本发明涉及图像解析装置、图像解析方法、以及图像解析程序。

背景技术：

根据模板匹配等的图像处理技术，能够从拍摄图像中检测出所期望的对象物。但是，如对象物被遮挡物遮挡，则存在从拍摄图像中检测不到对象物的可能性。例如，人戴着口罩，则存在从拍摄图像中检测不到人的脸的可能性。

为解决该问题，在专利文献1中提出了以对于佩戴了口罩的对象物的图像反应的方式学习的机器学习系统、以及利用以对于未佩戴口罩的对象物的图像反应的方式学习的机器学习系统的方法。根据该专利文献1的方法，通过单独地准备分别对应于佩戴口罩时及未佩戴口罩时的状态的机器学习系统，能够进行适合于各种状态的图像解析。

现有技术文献

专利文献

专利文献1：日本特开2010-003117号公报

技术实现要素：

本发明的发明者们在如上述的图像处理方法中发现存在如下的问题点。即，使各机器学习系统事先学习人的脸的所有图案是困难的。因此，各机器学习系统具有在某个时间点发生对象物的误检测的可能性。本发明的发明者们发现上述问题成为瓶颈，提高判定对象物是否被口罩等的遮挡物遮挡的精度是较难的问题点。

本发明在一些方面是鉴于这样的实际情况而提出的，其目的在于，能够提供提高判定对象物是否被遮挡物遮挡的精度的技术。

本发明为解决上述问题，采用以下的构成。

即，与本发明的一方面相关的图像解析装置具备：图像获取部，反复获取作为检测对象的对象物映现的拍摄图像；第一检测部，在所述拍摄图像内检测第一区域，所述第一区域是推定为未被遮挡物遮挡的状态的所述对象物映现的区域；第二检测部，在所述拍摄图像内检测第二区域，所述第二区域是推定为被所述遮挡物遮挡的状态的所述对象物映现的区域；判定部，针对所述拍摄图像判定所述对象物是否被所述遮挡物遮挡；以及区域确定部，根据所述判定部的判定结果，选择利用所述第一检测部及所述第二检测部的检测结果中的哪个检测结果，基于选择的检测结果，确定在所述拍摄图像内所述对象物映现的对象物区域，所述判定部基于所述第一检测部及所述第二检测部的检测结果、以及针对以前获取的所述拍摄图像的所述对象物是否被所述遮挡物遮挡的判定结果，判定所述对象物是否被所述遮挡物遮挡。

在该结构中，不仅利用检测未被遮挡物遮挡的状态的对象物的第一检测部、以及被遮挡物遮挡的状态的对象物的第二检测部的检测结果，还利用针对以前获取的拍摄图像的判定结果，判定对象物是否被遮挡物遮挡。由此，利用以前的判定结果，能够评价各检测部的检测结果的可靠性。再者，在两个检测部的检测结果中，在难以确定对象物是否被遮挡物遮挡的情况下，按照以前的判定结果，能够确定对象物是否被遮挡物遮挡。因此，根据该结构，能够提高判定对象物是否被遮挡物遮挡精度。

与上述一方面相关的图像解析装置还可以进一步具备粗略检测部，所述粗略检测部通过以与所述第一检测部探索所述第一区域的间隔及所述第二检测部探索所述第二区域的间隔相比更稀疏的间隔探索所述拍摄图像，来检测推定为所述对象物映现的粗略推定区域，所述第一检测部在由所述粗略检测部检测到的所述粗略推定区域的附近范围内检测所述第一区域，所述第二检测部在由所述粗略检测部检测到的所述粗略推定区域的附近范围内检测所述第二区域。根据该结构，由于能够减少探索对象物的次数，能够降低图像解析的计算量，因此能够抑制处理器的处理负荷。

在与上述一方面相关的图像解析装置中，所述粗略检测部也可以所述粗略检测部在以前获取的所述拍摄图像内确定的所述对象物区域的附近范围内检测所述粗略推定区域。根据该结构，由于能够将对象物的探索范围缩小至对象物所存在的或然性高的范围，因此不会较大地恶化对象物的检测精度，能够降低图像解析的计算量，由此，能够抑制处理器的处理负荷。

在与上述一方面相关的图像解析装置中，在所述第一区域的数量以所述第一检测部检测到的所述第一区域的数量和所述第二检测部检测到的所述第二区域的数量的差满足规定的条件的方式比所述第二区域的数量多的情况下，所述判定部判定为所述对象物未被所述遮挡物遮挡，在所述第二区域的数量以所述第一检测部检测到的所述第一区域的数量和所述第二检测部检测到的所述第二区域的数量的差满足规定的条件的方式比所述第一区域的数量多的情况下，所述判定部判定为所述对象物被所述遮挡物遮挡，在所述第一检测部检测到的所述第一区域的数量和所述第二检测部检测到的所述第二区域的数量的差不满足规定的条件的情况下，所述判定部基于针对以前获取的所述拍摄图像的所述对象物是否被所述遮挡物遮挡的判定结果，判定所述对象物是否被所述遮挡物遮挡。根据该结构，在基于第一检测部及第二检测部的检测数量不分优劣的情况下，通过利用以前的判定结果，能够提高判定对象物是否被遮挡物遮挡的精度。

在与上述一方面相关的图像解析装置中，在所述第一检测部检测到多个所述第一区域且所述判定部判定为所述对象物未被所述遮挡物遮挡的情况下，所述区域确定部通过结合多个所述第一区域，确定所述对象物映现的对象物区域，在所述第二检测部检测到多个所述第二区域且所述判定部判定为所述对象物被所述遮挡物遮挡的情况下，所述区域确定部通过结合多个所述第二区域，确定所述对象物映现的所述对象物区域。该根据该结构，能够利用各检测部的所有的检测结果，确定对象物映现的区域。

在与上述一方面相关的图像解析装置中，在所述第一检测部检测到的所述第一区域的数量和所述第二检测部检测到的所述第二区域的数量的差不满足规定的条件的情况下，在针对以前获取的所述拍摄图像判定为所述对象物被所述遮挡物遮挡且所述第一区域的数量比所述第二区域的数量多时，或者针对以前获取的所述拍摄图像判定为所述对象物未被所述遮挡物遮挡且所述第二区域的数量比所述第一区域的数量多时，所述判定部判定为难以确定所述对象物是否被所述遮挡物遮挡，在判定为难以确定所述对象物是否被所述遮挡物遮挡的情况下，所述区域确定部通过结合所述第一检测部检测到的所述第一区域及所述第二检测部检测到的所述第二区域，确定所述对象物映现的所述对象物区域。根据该结构，在利用两个检测部的检测结果及以前的判定结果难以确定对象物是否被遮挡物遮挡的情况下，通过结合两个检测部的检测结果，能够确定对象物所存在的或然性高的区域。

在与上述一方面相关的图像解析装置中，所述图像解析装置还具备误检测判定部，所述误检测判定部通过在确定的所述对象物区域内再次实施所述对象物的检测，判定确定的所述对象物区域是否为误检测的区域。根据该结构，由于能够避免对象物区域的误检测，因此能够提高从拍摄图像检测对象物的一连串的处理的可靠性。

在与上述一方面相关的图像解析装置中，作为检测对象的所述对象物可以是人的脸。进一步，所述遮挡物可以是口罩。根据该结构，能够检测是佩戴口罩的脸还是未佩戴口罩的脸。

此外，作为与上述各方式相关的图像解析装置的其他的方式，可以是实现以上各构成的信息处理方法，也可以是程序，也可以是存储这样的程序的计算机以外的装置、设备等可读取的存储介质。在此，计算机等可读取的存储介质是将该程序等的信息通过电、磁、光学、机械或化学作用而积存的介质。

例如，与本发明一些方面相关的图像解析方法是信息处理方法，使计算机执行如下步骤：图像获取步骤，反复获取作为检测对象的对象物映现的拍摄图像；第一检测步骤，在所述拍摄图像内检测第一区域，所述第一区域是推定为未被遮挡物遮挡的状态的所述对象物映现的区域；第二检测步骤，在所述拍摄图像内检测第二区域，所述第二区域是推定为被所述遮挡物遮挡的状态的所述对象物映现的区域；判定步骤，针对所述拍摄图像判定所述对象物是否被所述遮挡物遮挡；以及确定步骤，根据所述判定部的判定结果，选择利用所述第一检测部及所述第二检测部的检测结果中的哪个检测结果，基于选择的检测结果，确定在所述拍摄图像内所述对象物映现的对象物区域，在所述判定步骤，基于所述第一检测部及所述第二检测部的检测结果、以及针对以前获取的所述拍摄图像的所述对象物是否被所述遮挡物遮挡的判定结果，判定所述对象物是否被所述遮挡物遮挡。

另外，例如与本发明的一方面相关的图像解析程序，使计算机执行如下步骤：图像获取步骤，反复获取作为检测对象的对象物映现的拍摄图像；第一检测步骤，在所述拍摄图像内检测第一区域，所述第一区域是推定为未被遮挡物遮挡的状态的所述对象物映现的区域；第二检测步骤，在所述拍摄图像内检测第二区域，所述第二区域是推定为被所述遮挡物遮挡的状态的所述对象物映现的区域；判定步骤，针对所述拍摄图像判定所述对象物是否被所述遮挡物遮挡；以及确定步骤，根据所述判定部的判定结果，选择利用所述第一检测部及所述第二检测部的检测结果中的哪个检测结果，基于选择的检测结果，确定在所述拍摄图像内所述对象物映现的对象物区域，在所述判定步骤，基于所述第一检测部及所述第二检测部的检测结果、以及针对以前获取的所述拍摄图像的所述对象物是否被所述遮挡物遮挡的判定结果，判定所述对象物是否被所述遮挡物遮挡。

发明效果

根据本发明，能够提高判定对象物是否被遮挡物遮挡的精度的技术。

附图说明

图1示意性地例示本发明适用的情况的一例。

图2示意性地例示与实施的方式相关的图像解析装置的硬件构成的一例。

图3示意性地例示与实施的方式相关的图像解析装置的功能构成的一例。

图4例示与实施的方式相关的图像解析装置的处理顺序的一例。

图5示意性地例示粗略探索脸区域的情况的一例。

图6示意性地例示在粗略推定区域的附近范围内检测脸区域的情况的一例。

图7示意性地例示结合检测区域的情况的一例。

图8示意性地例示在以前检测的脸区域的附近范围内粗略探索的情况的一例。

具体实施方式

以下，基于附图对与本发明的一方面相关的实施的方式(以下，也记载为“本实施方式”)进行说明。但是，以下说明的本实施方式在所有的点上只不过是本发明的例示。在不脱离本发明的范围内当然可以进行各种改良或变形。即，在本发明的实施中，也可以适宜地采用根据实施方式的具体的构成。此外，虽然对于本实施方式中出现的数据基于自然语言来说明，更具体而言，是由计算机可识别的伪语言、命令、参数、机器语言等指定。

1.适用例

首先，使用图1，对本发明适用的情况的一例进行说明。图1示意性地例示与本实施方式相关的图像解析装置1的适用情况的一例。

如图1所示，与本实施方式相关的图像解析装置1是从通过由摄像头3拍摄人而得到的拍摄图像31中提取该人的脸映现的区域(以下，也记载为“脸区域”)的计算机。人的脸是本发明的“作为检测对象的对象物”的一例。

具体而言，图像解析装置1从摄像头3反复获取人的脸映现的拍摄图像31。映现在该拍摄图像31的人存在脸上戴着口罩的可能性。即，映现在拍摄图像31的人的脸存在被口罩遮挡的可能性。人有可能佩戴的该口罩是本发明的“遮挡物”的一例。人在脸上戴着口罩和不戴口罩的情况下，拍摄图像31内的人的脸映现的范围的图像可能相差较大。

因此，与本实施方式相关的图像解析装置1在获取的拍摄图像31内检测第一区域，所述第一区域是推定为映现未被口罩遮挡的状态的脸的区域。另外，图像解析装置1在获取的拍摄图像31内检测第二区域，所述第二区域是推定为映现被口罩遮挡的状态的脸的区域。并且，图像解析装置1相对于获取的拍摄图像31判定人的脸是否被口罩遮挡，换言之，判定人在脸上是否佩戴口罩。

与本实施方式相关的图像解析装置1相对于反复获取的拍摄图像31执行这样的检测第一区域及第二区域、以及判定人在脸上是否佩戴口罩的处理。如反复执行这些处理，图像解析装置1能够积存过去判定人在脸上是否佩戴口罩的结果。图像解析装置1利用过去的该判定结果，针对在当前步骤中获取的拍摄图像31，实施人在脸上是否佩戴口罩的判定。

即，图像解析装置1基于第一区域及第二区域的检测结果、以及针对以前获取的拍摄图像31的人在脸上是否佩戴口罩的判定结果，判定在当前步骤中获取的拍摄图像31内映现的人在脸上是否佩戴口罩。并且，图像解析装置1根据该判定结果，选择利用第一区域及第二区域的检测结果中的哪个检测结果，基于选择的检测结果，确定人的脸映现的脸区域。该脸区域相当于本发明的“对象物区域”。

如上所述，与本实施方式相关的图像解析装置1不仅利用分别考虑了未佩戴口罩的状态及佩戴口罩的状态的脸的单独的检测结果，也利用针对以前获取的拍摄图像31的判定结果，判定在当前步骤中获取的拍摄图像31内映现的人在脸上是否佩戴口罩。由此，利用以前的判定结果，能够评价考虑了各种状态的脸的检测结果的可靠性。再者，在相对于各种状态的检测结果中，在难以确定人在脸上是否佩戴口罩的情况下，按照以前的判定结果，能够确定人在脸上是否佩戴口罩。因此，根据本实施方式，能够提高判定人在脸上是否佩戴口罩的精度。

2.构成例

[硬件构成]

接下来，使用图2对于与本实施方式相关的图像解析装置1的硬件构成的一例进行说明。图2示意性地例示与本实施方式相关的图像解析装置1的硬件构成的一例。

如图2所示，与本实施方式相关的图像解析装置1是控制部11、存储部12、外部接口13、输入装置14、输出装置15、以及驱动装置16电连接的计算机。此外，在图2中将外部接口记载为“外部I/F”。

控制部11包含作为硬件处理器的CPU(Central Processing Unit，中央处理器)、RAM(Random Access Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)等，根据信息处理控制各构成要素。存储部12例如由硬盘驱动装置、固态驱动装置等构成，存储在图像解析程序8、控制部11中利用的数据等。存储部12相当于“存储器”。图像解析程序8是用于使图像解析装置1执行后述的提取人的脸的信息处理(图4)的程序。详细内容将后述。

外部接口13是用于与外部装置连接的接口，根据连接的外部装置而适宜地构成。在本实施方式中，经由该外部接口13，在图像解析装置1连接摄像头3。摄像头3可根据实施的方式适宜配置。例如，在为检测驾驶车辆的司机的而利用图像解析装置1的情况下，摄像头3可以以拍摄就坐于驾驶位的司机的方式而配置。另外，例如在为检测在街头步行的人的脸而利用图像解析装置1的情况下，摄像头3可以以拍摄街头的方式而配置。另外，例如在为检测工厂内的作业人员的脸而利用图像解析装置1的情况下，摄像头3可配置在能够拍摄工厂内的作业人员的地方。该摄像头3也可以经由网络连接于图像解析装置1。

输入装置14是例如鼠标、键盘等的用于进行输入的装置。另外，输出装置15是例如显示器、扬声器等的用于进行输出的装置。操作人员可经由输入装置14及输出装置15操作图像解析装置1。

驱动装置16是例如CD驱动装置、DVD驱动装置等，是用于读取存储在存储介质9的程序的驱动装置。驱动装置16的种类可根据存储介质9的种类适宜地选择。上述图像解析程序8也可以存储在该存储介质9中。

存储介质9是以能够读取计算机以外的装置、设备等存储的程序等的信息的方式，将该程序等的信息通过电、磁、光学、机械或化学作用而积存的介质。图像解析装置1也可以从该存储介质9获取上述图像解析程序8。

在此，在图2中例示了CD、DVD等的磁盘型的存储介质作为存储介质9的一例。但是，存储介质9的种类不限定于磁盘型，也可以是磁盘型以外的存储介质。作为磁盘型以外的存储介质，可列举例如闪存等的半导体存储器。

此外，关于图像解析装置1的具体的硬件构成，可根据实施方式适宜地进行构成要素的省略、置换及追加。例如，控制部11可包含多个硬件处理器。硬件处理器可由微处理器、FPGA(field-programmable gate array，现场可编程门阵列)等构成。另外，例如图像解析装置1也可以具备经由网络用于与其他装置进行数据通信的通信模块。图像解析装置1也可以由多台信息处理装置构成。另外，图像解析装置1除了是所提供的为服务专用而设计的信息处理装置以外，也可以是通用的台式PC(PersonalComputer，个人计算机)、平板PC等。

[功能构成]

接下来，使用图3说明与本实施方式相关的图像解析装置1的功能构成的一例。图3示意性地例示了与本实施方式相关的图像解析装置1的功能构成的一例。

图像解析装置1的控制部11将存储在存储部12的图像解析程序8向RAM展开。并且，控制部11基于CPU解释及执行向RAM展开的图像解析程序8，从而控制各构成要素。由此，如图3所示，与本实施方式相关的图像解析装置1作为具备图像获取部111、粗略检测部112、第一检测部113、第二检测部114、判定部115、区域确定部116、以及误检测判定部117的计算机而发挥作用。

图像获取部111从摄像头3反复获取人的脸映现的拍摄图像31。粗略检测部112在获取的拍摄图像31内，与后述的第一检测部113及第二检测部114的探索间隔相比以更稀疏的间隔，与是否佩戴口罩无关，探索人的脸映现的区域。由此，粗略检测部112在获取的拍摄图像31内，检测推定为人的脸映现的粗略推定区域。

第一检测部113在获取的拍摄图像31内检测的粗略推定区域的附近范围内，与粗略检测部112相比以更密集的间隔探索未佩戴口罩状态的脸映现的区域。由此，第一检测部113在获取的拍摄图像31内，检测推定为未佩戴口罩状态的脸映现的第一区域。第二检测部114在获取的拍摄图像31内检测的粗略推定区域的附近范围内，与粗略检测部112相比以更密集的间隔探索佩戴口罩状态的脸映现的区域。由此，第二检测部114在获取的拍摄图像31内，检测推定为佩戴口罩状态的脸映现的第二区域。

判定部115针对获取的拍摄图像31判定人在脸上是否佩戴口罩。尤其，在反复执行提取脸的一连串的处理的过程中，判定部115基于第一检测部113及第二检测部114的检测结果、以及针对以前获取的拍摄图像31的人在脸上是否佩戴口罩的判定结果，判定在当前步骤获取的拍摄图像31内映现的人在脸上是否佩戴口罩。

区域确定部116根据上述判定部115的判定结果，选择利用第一检测部113及第二检测部114的第一区域及第二区域的检测结果中的哪个检测结果，基于选择的检测结果，确定人的脸映现的脸区域。误检测判定部117通过在确定的脸区域内再次实施人的脸的检测，判定确定的脸区域是否为误检测的区域。

关于图像解析装置1的各功能在后述的动作例中详细说明。此外，在本实施方式中，对于图像解析装置1的各功能均基于通用的CPU而实现的例进行说明。但是，以上的功能一部分或者全部可基于一个或多个专用的处理器实现。另外，关于图像解析装置1的功能构成，根据实施方式可适宜地进行功能的省略、置换及追加。

3.动作例

接下来，使用图4说明图像解析装置1的动作例。图4是例示了图像解析装置1的处理顺序的一例的流程图。以下说明的提取人的脸映现的脸区域的处理顺序相当于本发明的“图像解析方法”。但是，以下说明的处理顺序只不过是一例，也可以在可能的范围内变更各处理。另外，对于以下说明的处理顺序，根据实施的方式可适宜地进行步骤的省略、置换及追加。

(步骤S101)

在步骤S101中，控制部11作为图像获取部111而发挥作用，从摄像头3获取人的脸映现的拍摄图像31。如获取拍摄图像31，则控制部11向接下来的步骤S102推进处理。获取的拍摄图像31可以是动态图像，也可以是多个静止图像。以下，为了便于说明，设为控制部11在获取一帧动态图像或一张静止图像后，向接下来的步骤S102推进处理。但是，本步骤S101的处理也可以不限定于这样的例。控制部11可获取由多帧构成的动态图像，也可以获取多张静止图像作为本步骤S101的处理。

(步骤S102)

在步骤S102中，控制部11作为粗略检测部112而发挥作用，在由步骤S101获取的拍摄图像31内，进行人的脸映现的区域的粗略探索。即，控制部11在获取的拍摄图像31内，与基于后述的步骤S103及S104探索第一区域及第二区域的间隔相比以更稀疏的间隔探索人的脸映现的区域。由此，控制部11在获取的拍摄图像31内检测推定为人的脸映现的粗略推定区域。

在此，使用图5详细说明本步骤S102的处理。图5示意性地例示了本步骤S102的处理的一例。如图5所示，控制部11例如以规定数量的像素间隔(在图5的例中为8像素)，在获取的拍摄图像31内探索人的脸映现的区域。探索的间隔可根据实施的方式适宜地设定。

检测推定为人的脸映现的粗略推定区域的方法不受特殊限定，可根据实施的方式适宜地选择。例如，在推定为人的脸映现的粗略推定区域的检测中可使用模板匹配等公知的图像处理手法，也可以使用神经网络、自组织映射等的基于机器学习而构建的识别器。以下，说明基于模板匹配检测粗略推定区域的方法。

图5示出基于模板匹配检测推定为人的脸映现的粗略推定区域的例。图5的填充阴影线的像素表示将模板的左上角的像素合起来的位置。即，控制部11从该拍摄图像31内的任意的基准位置以规定的探索间隔实施拍摄图像31内的规定范围内的区域和模板的比较(对照)。由此，控制部11检测与模板在规定的阈值以上相符合的区域作为推定为人的脸映现的粗略推定区域。此外，在本步骤S102中利用的模板是与是否佩戴口罩无关而用于检测脸是否映现的、作为和对象图像(拍摄图像31)比较的基准的脸图像数据。

此外，如上所述，检测粗略推定区域的方法不限定于这样的例，可根据实施的方式适宜地选择。例如，也可以使用若输入拍摄图像则以输出该拍摄图像内的粗略推定区域的位置及大小的方式而使其学习的完成学习的神经网络。在该情况下，控制部11通过在完成学习的神经网络输入拍摄图像31，且从输入层向正向实施发火判定的运算，能够获取表示粗略推定区域的位置及大小的信息。

在本步骤S102中，控制部11以在佩戴口罩的状态及未佩戴口罩的状态的任一状态下能够检测推定为脸映现的粗略推定区域的方式，以粗略的精度实施该粗略推定区域的检测。由此，控制部11能够检测推定为佩戴口罩或未佩戴口罩的状态的脸映现的粗略推定区域。如完成粗略推定区域的检测，则控制部11向接下来的步骤S103推进处理。

(步骤S103及步骤S104)

回到图4，在步骤S103中，控制部11作为第一检测部113发挥作用，在获取的拍摄图像31内检测推定为未佩戴口罩状态的脸映现的第一区域。在本实施方式中，基于步骤S102进行粗略检测人的脸映现的区域。因此，控制部11在本步骤103中，在拍摄图像31内检测的粗略推定区域的附近范围内，与步骤S102相比以更密集的间隔探索未佩戴口罩状态的脸映现的区域。由此，控制部11在拍摄图像31内检测推定为未佩戴口罩状态的脸映现的第一区域。

另一方面，在步骤S104中，控制部11作为第二检测部114发挥作用，在获取的拍摄图像31内检测推定为佩戴口罩状态的脸映现的第二区域。具体而言，如上述步骤S103，控制部11在拍摄图像31内检测的粗略推定区域的附近范围内，与步骤S102相比以更密集的间隔探索佩戴口罩状态的脸映现的区域。由此，控制部11在拍摄图像31内检测推定为佩戴口罩状态的脸映现的第二区域。

在此，使用图6详细说明本步骤S103及S104的处理。图6示意性地例示了本步骤S103及S104的处理的一例。如图6所示，如基于上述步骤S102检测粗略推定区域311，则控制部11设定粗略推定区域311的附近范围312。附近范围312包含粗略推定区域311，是向粗略推定区域311的周围的至少任一方向将该粗略推定区域311扩大任意数量的像素的范围。在图6的例中，控制部11在附近范围312设定将粗略推定区域311向周围的各方向扩大两个像素的范围。

在步骤S103及S104中，控制部11在设定的该附近范围312内，密集地探索未佩戴口罩状态的脸及佩戴口罩状态的脸。步骤S103及S104中的探索的间隔如比上述步骤S102中的探索的间隔短，则可根据实施的方式设定。例如，控制部11也可以以一个像素间隔探索未佩戴口罩状态的脸及佩戴口罩状态的脸。

检测第一区域及第二区域的方法不受特殊限定，可根据实施的方式适宜地选择。例如，在第一区域及第二区域的检测中可以与上述步骤S102同样地使用模板匹配等的公知的图像处理手法，也可以使用神经网络、自组织映射等的基于机器学习而构建的识别器。图6示出了基于模板匹配检测第一区域及第二区域的例。具体的手法可以与上述步骤S102相同。即，控制部11也可以通过比较(对照)模板和规定范围的图像，检测第一区域及第二区域。此时，与模板对照的范围成为检测的第一区域及第二区域的范围。另外，控制部11也可以使用神经网络检测第一区域及第二区域。

此外，在本步骤S103及S104中，控制部11以能够区别佩戴口罩状态的脸和未佩戴口罩状态的脸而检测的方式，与上述步骤S102相比，以高精度实施第一区域及第二区域的检测。例如，在本步骤S103及S104中，不使用与上述步骤S102相同的模板，可使用作为佩戴口罩的脸的基准的图像数据及未佩戴口罩的脸的基准的图像数据作为模板。由此，控制部11通过执行步骤S103及S104的处理，能够区别推定为未佩戴口罩状态的脸映现的第一区域、以及推定为佩戴口罩状态的脸映现的第二区而检测。如完成第一区域及第二区域的检测，则控制部11向接下来的步骤S105推进处理。

(步骤S105)

回到图4，在步骤S105中，控制部11作为判定部115而发挥作用，基于上述步骤S103及S104的检测结果、以及以前的处理中的判定结果，判定在当前处理获取的拍摄图像31内映现的人在脸上是否佩戴口罩。但是，在首次的动作中不存在以前的判定结果。因此，在首次动作时，控制部11基于上述步骤S103及S104的检测结果，判定在当前处理获取的拍摄图像31内映现的人在脸上是否佩戴口罩。

例如，控制部11也可以基于第一区域及第二区域的可靠度，判定获取的拍摄图像31内映现的人在脸上是否佩戴口罩。即，在第一区域的可靠度比第二区域的可靠度高的情况下，控制部11可判定为拍摄图像31内映现的人在脸上未佩戴口罩。另外，在第二区域的可靠度比第一区域的可靠度高的情况下，控制部11可判定为拍摄图像31内映现的人在脸上佩戴口罩。进一步，在第一区域的可靠度与第二区域的可靠度为相同的程度的情况下，控制部11也可以判定为难以确定拍摄图像31内映现的人在脸上是否佩戴口罩。此外，在上述步骤S103及S104中，在基于模式匹配检测第一区域及第二区域的情况下，能够将与模板的符合率作为可靠度来利用。另外，在使用神经网络检测第一区域及第二区域的情况下，如输入第一区域或第二区域，也可以进一步利用以输出映现在输入的区域的被摄体是人的脸的概率的方式学习的神经网络。在该情况下，能够将从神经网络输出的概率作为可靠度来利用。

另外，例如在上述步骤S103及S104中，在基于模式匹配检测第一区域及第二区域的情况下，能够在未佩戴口罩的状态或佩戴口罩的状态的脸映现的区域的周边检测到多个第一区域或第二区域。因此，控制部11也可以基于检测的第一区域及第二区域的数量，判定在获取的拍摄图像31内映现的人在脸上是否佩戴口罩。

作为该判定方法的一例，以使得在步骤S103中检测的第一区域的数量和在步骤S104中检测的第二区域的数量的差满足规定的条件，在该第一区域的数量比该第二区域的数量多的情况下，控制部11可判定为在拍摄图像31内映现的人在脸上未佩戴口罩。另外，以使得在步骤S103中检测的第一区域的数量和在步骤S104中检测的第二区域的数量的差满足规定的条件，在该第二区域的数量比该第一区域的数量多的情况下，控制部11可判定为在拍摄图像31内映现的人在脸上佩戴口罩。进一步，在步骤S103中检测的第一区域的数量和在步骤S104中检测的第二区域的数量的差不满足规定的条件的情况下，控制部11可判定为难以确定在拍摄图像31内映现的人在脸上是否佩戴口罩。

关于在步骤S103中检测的第一区域的数量和在步骤S104中检测的第二区域的数量的差是否满足规定的条件，也可以根据规定的阈值来判定。即，控制部11在第一区域的数量和第二区域的数量的差是规定的阈值以上的情况下，可判定为该第一区域的数量和第二区域的数量的差满足规定的条件。另外，控制部11在第一区域的数量和第二区域的数量的差是小于规定的阈值的情况下，可判定为该第一区域的数量和第二区域的数量的差不满足规定的条件。在该情况下，规定的阈值可根据实施的方式适宜地设定。

例如，在规定的阈值设定为3的情况下，检测的第一区域的数量是6个、且检测的第二区域的数量是1个时，控制部11判定为在拍摄图像31内映现的人在脸上未佩戴口罩。另外，检测的第一区域的数量是1个，且检测的第二区域的数量是6个时，控制部11判定为在拍摄图像31内映现的人在脸上佩戴口罩。进一步，检测的第一区域的数量是3个，且检测的第二区域的数量是4个时，控制部11判定为难以确定在拍摄图像31内映现的人在脸上是否佩戴口罩。

此外，以下为了便于说明，控制部11如上所述，基于第一区域的数量和第二区域的数量的差是否为规定的阈值以上，判定该第一区域的数量和第二区域的数量的差是否满足规定的条件。但是，判定第一区域的数量和第二区域的数量的差是否满足规定的条件的方法，可以不限定于上述的例。例如，控制部11也可以基于第一区域的数量和第二区域的数量的比，判定第一区域的数量和第二区域的数量的差是否满足规定的条件。在该情况下，作为是否满足规定的条件的基准的阈值可相对于第一区域的数量和第二区域的数量的比适宜地设定。

根据以上的方法，如判定在获取的拍摄图像31内映现的人在脸上是否佩戴口罩，则控制部11向接下来的步骤S106推进处理。

(步骤S106)

在步骤S106中，控制部11通过步骤S105的判定结果，选择利用上述步骤S103及S104的检测结果中的哪个检测结果。并且，控制部11基于选择的检测结果，确定人的脸映现的脸区域的范围。

此外，在上述步骤S103及S104中，存在检测到多个第一区域及多个第二区域的可能性。因此，在步骤S103中检测到多个第一区域，且在步骤S105判定为人在脸上未佩戴口罩的情况下，控制部11通过结合检测的多个第一区域，确定人的脸映现的脸区域的范围。另外，在步骤S104中检测到多个第二区域，且在步骤S105中判定为人在脸上佩戴口罩的情况下，控制部11通过结合检测的多个第二区域，确定人的脸映现的脸区域的范围。进一步，在步骤S105中，在判定为难以确定人在脸上是否佩戴口罩的情况下，控制部11通过结合在上述步骤S103及S104中检测的第一区域及第二区域，确定人的脸映现的脸区域的范围。

在此，使用图7详细说明基于本步骤S106结合多个区域的处理。图7模式化例示了基于本步骤S106结合多个区域的处理的一例。图7例示了结合检测的多个(在图7中是4个)推定区域313，从而确定人的脸映现的脸区域314的范围的情况。

在步骤S105中判定为人在脸上未佩戴口罩的情况下，则在步骤S103中检测的第一区域成为推定区域313。在步骤S105中判定为人在脸上佩戴口罩的情况下，则在步骤S104中检测的第二区域成为推定区域313。在步骤S105中，判定为难以确定人在脸上是否佩戴口罩的情况下，则在步骤S103及S104中检测的第一区域及第二区域分别成为推定区域313。

在图7的例中，控制部11算出推定区域313的重心位置的平均值，将算出的重心位置的平均值作为脸区域314的重心位置。另外，控制部11算出推定区域313的各边的平均值，将算出的各边的平均值作为脸区域314的各边的长度。由此，控制部11结合多个推定区域313，能够确定人的脸映现的脸区域314的范围。

此外，结合多个区域的方法不限定于这样的例，可根据实施的方式适宜地选择。例如，不单纯地算出重心位置及各边的平均值，控制部11也可以根据各推定区域313的可靠度，决定各该推定区域313的比重。由此，能够准确地确定人的脸映现的脸区域314。

(步骤S107)

回到图4，在步骤S107中，控制部11作为误检测判定部117而发挥作用，通过再次实施在步骤S106中确定的脸区域内的人的脸的检测，判定确定的该脸区域是否为误检测的区域。

具体而言，在步骤S105中判定为人在脸上未佩戴口罩的情况下，控制部11在脸区域内试验未佩戴口罩状态的脸的检测。在步骤S105中判定为人在脸上佩戴口罩的情况下，控制部11在脸区域内试验佩戴口罩状态的脸的检测。在步骤S105中，判定为难以确定人在脸上是否佩戴口罩的情况下，控制部11在脸区域内试验未佩戴口罩的状态及佩戴口罩的状态的脸的检测。此外，未佩戴口罩的状态及佩戴口罩的状态的脸的检测，基于与上述步骤S103及S104同样的方法进行。如完成人的脸的检测，则控制部11向接下来的步骤S108推进处理。

(步骤S108及S109)

在步骤S108中，控制部11判定基于步骤S107的处理在脸区域内是否检测到人的脸。基于步骤S107的处理在脸区域内检测到人的脸的情况下，控制部11省略步骤S109，向接下来的步骤S110推进处理。另一方面，基于步骤S107的处理在脸区域内未检测到人的脸的情况下，控制部11执行接下来的步骤S109的处理，废弃脸区域的检测结果。例如，控制部11认定为在步骤S106中确定的脸区域是人的脸以外的对象物映现的区域。并且，控制部11向接下来的步骤S110推进处理，将后续处理脸区域的检测结果。

(步骤S110)

在步骤S110中，控制部11判定是否结束从拍摄图像31检测人的脸映现的区域的一连串的图像解析。在判定为结束检测脸区域的一连串的图像解析的情况下，控制部11结束与本动作例相关的处理。另一方面，在判定为不结束检测脸区域的一连串的图像解析的情况下，控制部11重复从步骤S101的处理。

此外，结束检测脸区域的一连串的图像解析的条件可根据实施的方式设定。例如，由操作者进行用于结束的操作时，控制部11可判定为结束检测脸区域的一连串的图像解析。

[两个循环之后]

对于检测脸区域的一连串的图像解析的两个循环之后的动作，控制部11基本上与上述同样地执行步骤S101～S110的处理。但是，在本实施方式中，控制部11在步骤S102及S105的处理中，如下所述，利用以前的处理结果。

(步骤S102)

在步骤S102中，控制部11在以前获取的拍摄图像31内确定的脸区域的附近范围内检测粗略推定区域。即，在两个循环之后的图像解析中，控制部11在缩小至以前确定的脸区域的附近范围内实施粗略推定区域的检测。

在此，使用图8详细说明检测脸区域的一连串的图像解析的两个循环之后中的本步骤S102的处理。图8示意性地例示了检测脸区域的一连串的图像解析的两个循环之后的本步骤S102的处理的一例。如图8所示，控制部11基于在以前获取的拍摄图像31内确定的脸区域314，设定该脸区域314的附近范围315。

附近范围315包含以前确定的脸区域314，是向以前确定的脸区域314的周围的至少任一方向将该脸区域314扩大任意数量的像素的范围。向周围扩大的量优选是根据从获取确定了脸区域314的以前的拍摄图像31的时间点至在当前处理中获取拍摄图像31的时间点的人的脸可动的范围来设定。在图8的例中，控制部11将以前确定的脸区域314向周围的各方向扩大4个像素的范围设定为附近范围315。

控制部11在设定的该附近范围315内，与上述同样地进行粗略探索人的脸映现的区域。此外，“以前获取的拍摄图像”可以是在即将进行当前处理的处理中获取的拍摄图像，也可以是在规定次数前的处理中获取的拍摄图像，也可以是将从即将进行当前处理至规定次数前的处理为止获取的各拍摄图像平均的图像。

(步骤S105)

在步骤S105中，控制部11如上所述，基于步骤S103及S104的检测结果、以及以前处理中的判定结果，判定在当前处理获取的拍摄图像31内映现的人在脸上是否佩戴口罩。即，在两个循环之后的图像解析中，控制部11利用针对以前获取的拍摄图像31的人在脸上是否佩戴口罩的判定结果，判定在当前处理获取的拍摄图像31内映现的人在脸上是否佩戴口罩。

利用以前处理中的判定结果的方法可根据实施的方式适宜地选择。例如，在步骤S103中检测的第一区域的数量和在步骤S104中检测的第二区域的数量的差为规定的阈值以上，且在该第一区域的数量比该第二区域的数量多的情况下，控制部11可判定为拍摄图像31内映现的人在脸上未佩戴口罩。另外，在步骤S103中检测的第一区域的数量和在步骤S104中检测的第二区域的数量的差为规定的阈值以上，且在该第二区域的数量比该第一区域的数量多的情况下，控制部11可判定为拍摄图像31内映现的人在脸上佩戴口罩。并且，在步骤S103中检测的第一区域的数量和在步骤S104中检测的第二区域的数量的差为小于规定的阈值的情况下，控制部11基于以前处理中的判定结果，可判定在当前处理中获取的拍摄图像31内映现的人在脸上是否佩戴口罩。此外，作为两个循环之后的动作时的上述各判定的基准的阈值可与首次动作时的阈值不同。

另外，在检测的第一区域的数量和第二区域的数量的差为小于规定的阈值的情况下，控制部11也可以维持以前处理中的判定结果。即，在当前处理中检测的第一区域的数量和第二区域的数量的差小于规定的阈值的情况下，在以前的处理中判定为人在脸上未佩戴口罩时，控制部11可判定为在当前处理中获取的拍摄图像31内映现的人在脸上未佩戴口罩。同样地，在当前处理中检测的第一区域的数量和第二区域的数量的差小于规定的阈值的情况下，在以前的处理中判定为人在脸上佩戴口罩时，控制部11可判定为在当前处理中获取的拍摄图像31内映现的人在脸上佩戴口罩。

另外，在检测的第一区域的数量和第二区域的数量的差小于规定的阈值的情况下，控制部11也可以如以下所述区分情况。

(a)针对以前获取的拍摄图像31判定为人未佩戴口罩，且在当前处理中检测的第一区域的数量比第二区域的数量多时

(b)针对以前获取的拍摄图像31判定为人佩戴口罩，且在当前处理中检测的第二区域的数量比第一区域的数量多时

(c)针对以前获取的拍摄图像31判定为人佩戴口罩，且在当前处理中检测的第一区域的数量比第二区域的数量多时

(d)针对以前获取的拍摄图像31判定为人未佩戴口罩，且在当前处理中检测的第二区域的数量比第一区域的数量多时

并且，在(a)及(b)时，控制部11可维持以前处理中的判定结果。即，在(a)时，控制部11可判定为映现在当前处理中获取的拍摄图像31的人在脸上未佩戴口罩。另外，在(b)时，控制部11可判定为映现在当前处理中获取的拍摄图像31的人在脸上佩戴口罩。另一方面，在(c)及(d)时，控制部11可判定为难以确定映现在当前处理中获取的拍摄图像31内的人在脸上是否佩戴口罩。

[作用、效果]

如上所述，与本实施方式相关的图像解析装置1在步骤S105的判定处理中，不仅利用步骤S103及S104的单独状态的检测结果，也利用以前处理中的判定结果。由此，例如在第一区域及第二区域的检测数量中，在难以确定人在脸上是否佩戴口罩的情况下，根据以前处理中的判定结果，能够确定人在脸上是否佩戴口罩。另外，例如基于第一区域及第二区域的检测数量的多少是否与以前处理中的判定结果一致，能够评价考虑了各种状态的脸的检测结果的可靠性。因此，根据本实施方式，能够提高判定人在脸上是否佩戴口罩的精度。

另外，与本实施方式相关的图像解析装置1通过上述步骤S102，在进行粗略探索人的脸映现的区域之后，通过上述步骤S103及S104，密集地探索未佩戴口罩的状态及佩戴口罩的状态的脸。由此，也可以不密集地探索拍摄图像31的整体，由于能够减少探索人的脸的次数，能够降低图像解析的计算量，因此，能够抑制处理器的处理负荷。

另外，与本实施方式相关的图像解析装置1在两个循环之后的步骤S102中，在以前获取的拍摄图像31内确定的脸区域附近范围内检测粗略推定区域。由此，能够将该人的脸的探索范围缩小至人的脸所在的或然性高的范围。因此，根据本实施方式，不会较大地恶化该人的脸的检测精度，能够降低图像解析的计算量，由此，能够抑制处理器的处理负荷。

另外，与本实施方式相关的图像解析装置1通过步骤S107，通过在步骤S106中确定的脸区域内再次实施人的脸的检测，判定确定的该脸区域是否为误检测的区域。由此，根据本实施方式，由于能够避免脸区域的误检测，因此能够提高从拍摄图像检测人的脸的一连串的图像处理的可靠性。

4.变形例

以上，详细说明了本发明的实施的方式，但所述的说明在所有的点上只不过是本发明的例示。在不脱离本发明的范围的情况下能够进行各种改良或变形。例如可进行以下的变更。此外，以下，对于与上述实施方式相同的构成要素使用同样的符号，对于与上述实施方式相同的点，适宜地省略说明。可适宜地组合以下的变形例。

<4.1>

在上述实施方式中，例示了“人的脸”作为检测对象的对象物的一例，例示了“口罩”作为遮挡对象物的遮挡物的一例。但是，对象物及遮挡物不限定于这样的例，可根据实施的方式适宜地选择。例如，在作为检测对象的对象物是与上述相同的“人的脸”的情况下，遮挡物除了口罩也可以是眼罩、太阳镜、书、手机等的遮盖脸的物品。

此外，在上述实施方式中，在对象物是否被遮挡物遮挡的判定中，利用以前处理中的判定结果。因此，遮挡物最好是能够持续遮挡对象物的状态或不遮挡的状态。口罩是能够持续佩戴在上的状态或未佩戴的状态，是符合于上述图像解析的遮挡物。

<4.2>

在上述实施方式中，通过步骤S102，在进行粗略探索人的脸映现的区域之后，通过步骤S103及S104，密集地探索未佩戴口罩的状态及佩戴口罩的状态的脸。但是，本发明的图像解析方法不限定于这样的例子，也可以省略步骤S102。在该情况下，在图像解析装置1的功能构成中，也可以省略粗略检测部112。

<4.3>

在上述实施方式中，在两个循环之后的步骤S102中，在以前获取的拍摄图像31内确定的脸区域的附近范围内检测粗略推定区域。但是，本发明的图像解析方法不限定于这样的例，在步骤S102中，也可以省略利用以前的处理结果。此外，在附近范围内检测不到粗略推定区域的情况下，控制部11也可以扩大探索范围且反复进行粗略推定区域的检测处理。

<4.4>

在上述实施方式中，在步骤S103或S104中检测到多个推定区域的情况下，在步骤S106中，通过结合多个推定区域确定脸区域。但是，本发明的图像解析方法不限定于这样的例。例如，控制部11也可以在步骤S103或S104中检测到多个推定区域的情况下，从检测的多个推定区域中选择一个推定区域，并将选择的推定区域认定为脸区域。选择认定为脸区域的推定区域的方法可根据实施的方式适宜地选择。例如，控制部11也可以将检测的多个推定区域中可靠度最高的推定区域选择为脸区域。此外，也可以调换步骤S103及S104的处理顺序。

<4.5>

在上述实施方式中，通过步骤S107，通过在步骤S106中确定的脸区域内再次实施人的脸的检测，判定确定的该脸区域是否为误检测区域。但是，本发明的图像解析方法不限定于这样的例，可省略步骤S107。在该情况下，在图像解析装置1的功能构成中，也可以省略误检测判定部117。

(附记1)

一种图像解析装置，具备：

硬件处理器；以及

存储器，保存由所述硬件处理器执行的程序，

所述硬件处理器构成为通过执行所述程序执行如下步骤，

图像获取步骤，反复获取作为检测对象的对象物映现的拍摄图像；

第一检测步骤，在所述拍摄图像内检测第一区域，所述第一区域是推定为未被遮挡物遮挡的状态的所述对象物映现的区域；

第二检测步骤，在所述拍摄图像内检测第二区域，所述第二区域是推定为被所述遮挡物遮挡的状态的所述对象物映现的区域；

判定步骤，针对所述拍摄图像判定所述对象物是否被所述遮挡物遮挡；以及

确定步骤，根据所述判定部的判定结果，选择利用所述第一检测部及所述第二检测部的检测结果中的哪个检测结果，基于选择的检测结果，确定在所述拍摄图像内所述对象物映现的对象物区域，

在所述判定步骤，所述硬件处理器基于所述第一检测部及所述第二检测部的检测结果、以及针对以前获取的所述拍摄图像的所述对象物是否被所述遮挡物遮挡的判定结果，判定所述对象物是否被所述遮挡物遮挡。

(附记2)

一种图像解析方法，具备：

图像获取步骤，由硬件处理器反复获取作为检测对象的对象物映现的拍摄图像；

第一检测步骤，由硬件处理器在所述拍摄图像内检测第一区域，所述第一区域是推定为未被遮挡物遮挡的状态的所述对象物映现的区域；

第二检测步骤，由硬件处理器在所述拍摄图像内检测第二区域，所述第二区域是推定为被所述遮挡物遮挡的状态的所述对象物映现的区域；

判定步骤，由硬件处理器针对所述拍摄图像判定所述对象物是否被所述遮挡物遮挡；以及

确定步骤，由硬件处理器根据所述判定部的判定结果，选择利用所述第一检测部及所述第二检测部的检测结果中的哪个检测结果，基于选择的检测结果，确定在所述拍摄图像内所述对象物映现的对象物区域

在所述判定步骤，硬件处理器基于所述第一检测部及所述第二检测部的检测结果、以及针对以前获取的所述拍摄图像的所述对象物是否被所述遮挡物遮挡的判定结果，判定所述对象物是否被所述遮挡物遮挡。

附图标记说明

1...图像解析装置；11...控制部；12...存储部；13...外部接口；14...输入装置；15...输出装置；16...驱动装置；111...图像获取部；112...粗略检测部；113...第一检测部；114...第二检测部；115...判定部；116...区域确定部；117...误检测判定部；3...摄像头；31...拍摄图像；311...粗略推定区域；312...附近范围；313...推定区域；314...脸区域(对象物区域)；315...附近范围；8...图像解析程序；9...存储介质。