认证设备和处理设备的制作方法

本发明涉及认证设备和处理设备。

背景技术：

作为出版物中公开的现有技术中的技术，有这样一种技术，其中设置第一成像单元以在图像形成设备中的前侧朝前，设置第二成像单元以在设置在图像形成设备的上部上的用户界面13上朝上，图像形成设备的主系统基于通过第一成像单元捕获的图像在确定人员接近图像形成设备的情况下从睡眠模式返回等待模式，第二成像单元捕获站在图像形成设备前面的用户的面部的图像，并且利用获得的面部图像执行关于人员的认证处理(参照专利文献1(JP-A-2015-11537))。

技术实现要素：

这里可存在一种方法，其中当图像形成设备周围存在的人员的面部图像被捕获时在人员到达图像形成设备之前执行利用面部图像的认证处理。然而，如果采用这种方法，则不能说图像形成设备周围存在的人员是想要使用图像形成设备的人员(用户)，并且可出现除用户之外的人员被认证的情况。

与当人员的面部图像被捕获时立即开始认证的情况相比，本发明致力于防止除认证目标人员之外的人员被认证。

[1]本发明的一方面提供了一种认证设备，该认证设备包括：成像单元，其对认证设备周围的人员进行成像；认证单元，其利用通过成像单元成像的人员的面部图像来认证个体；以及指令单元，其给出用于开始认证的指令，其中，认证单元在指令单元给出指令之前获取面部图像并且在指令单元给出指令之后执行认证。

[2]可存在根据[1]所述的认证设备，其中成像单元捕获在第一 区中存在的人员的图像，并且指令单元在第二区中存在人员的情况下给出用于开始认证的指令，第二区位于第一区内部并且比第一区更窄。

[3]可存在根据[1]所述的认证设备，其中成像单元捕获在第一区中存在的人员的图像，并且指令单元在存在于第一区中的人员在第一区中停留预先设定的设定时段或更久的情况下给出用于开始认证的指令。

[4]可存在根据[1]所述的认证设备，其中成像单元捕获在第一区中存在的人员的图像，并且指令单元在存在于第一区中的人员接近认证设备的情况下给出用于开始认证的指令。

[5]可存在根据[1]至[4]中的任一个所述的认证设备，其中指令单元在人员满足该人员被估计为意图使用认证设备的条件的情况下给出用于开始认证的指令。

[6]可存在根据[1]所述的认证设备，还包括：保存单元，其保存通过成像单元捕获的面部图像，其中，保存单元从通过成像单元捕获的多个图像中提取满足预定条件的面部图像并且保存该面部图像。

[7]可存在根据[1]所述的认证设备，还包括：保存单元，其保存通过成像单元捕获的面部图像，其中，在成像单元捕获多个人员的面部图像的情况下，保存单元保存每个面部图像。

[8]可存在根据[7]所述的认证设备，还包括：选择单元，其在保存单元保存多个人员的面部图像的情况下选择用于认证的面部图像。

[9]可存在根据[6]至[8]中的任一个所述的认证设备，其中保存单元在认证单元执行认证之后删除除用于认证的人员的面部图像以外的面部图像。

[10]可存在根据[1]至[9]中的任一个所述的认证设备，还包括：通知单元，其执行认证单元中的认证是否成功的通知。

[11]本发明的另一方面提供了一种处理设备，该处理设备包括：成像单元；指定单元，其利用通过成像单元捕获的面部图像指定个体；处理单元，其针对每个指定的个体执行不同的处理；以及指令单元，其在人员满足该人员被估计为意图使用处理设备的条件的情况下给 出用于认证人员的指令，其中，指定单元在指令给出之前已指定了个体，并且处理单元在指令给出之后开始与所指定的个体对应的处理。

根据[1]，与在捕获人员的面部图像时立即开始认证的情况相比，可防止除认证目标人员以外的人员被认证。

根据[2]，与对存在于第一区而不存在于第二区中的人员进行认证的情况相比，可防止除认证目标人员以外的人员被认证。

根据[3]，与对在第一区中停留比预定时间段更短的时间段的人员进行认证的情况相比，可防止除认证目标人员以外的人员被认证。

根据[4]，与对在第一区中逐渐远离认证设备的人员进行认证的情况相比，可防止除认证目标人员以外的人员被认证。

根据[5]，与对不满足人员被估计为意图使用认证设备的条件的人员进行认证的情况相比，可防止除认证目标人员以外的人员被认证。

根据[6]，与将包括不满足预定条件的面部图像的面部图像保存的情况相比，可减小在保存单元中需要的存储容量。

根据[7]，与仅保存单个人员的面部图像的情况相比，可防止除认证目标人员以外的人员被认证。

根据[8]，与不从多个人员的面部图像中选择面部图像的情况相比，可防止除认证目标人员以外的人员被认证。

根据[9]，与将包括不用于认证的面部图像的面部图像保存的情况相比，可减小在保存单元中需要的存储容量。

根据[10]，与不执行认证是否成功的通知的情况相比，可在认证未完成的状态下防止靠近认证设备的人员逐渐远离用于认证的认证设备。

根据[11]，与在人员的面部图像被捕获时立即开始认证的情况相比，可防止除认证目标人员以外的人员被认证。

附图说明

将基于以下附图详细描述本发明的示例性实施例，其中

图1是图像形成设备的透视图；

图2是用户界面的俯视图；

图3是用于解释人员的存在被图像形成设备检测到的区域的俯视图；

图4是用于解释人员的存在被图像形成设备检测到的区域的侧视图；

图5图像形成设备的功能性框图；

图6是示出与图像形成设备的模式的控制有关的处理的流程图；

图7是示出图像形成设备中的认证过程的流程的流程图；

图8是示出认证过程中的面部检测和面部图像获取处理的流程的流程图；

图9是示出认证过程中的面部认证处理的流程的流程图；

图10A示出了预先由用户在图像形成设备中注册的注册表的示例，并且图10B示出了用于面部检测和面部图像获取处理的跟踪表的示例；

图11A至图11E是示出图像形成设备周围存在的人员的位置的时间变化的第一示例的示意图；

图12A至图12D是示出在面部认证处理中显示在用户界面上的引导屏幕的示例的示意图；

图13A和图13B是示出通过第一相机捕获的第一相机图像的示例的示意图；

图14A和图14B是示出通过第一相机捕获的第一相机图像的其它示例的示意图；

图15A至图15D是示出图像形成设备周围存在的人员的位置的时间变化的第二示例的示意图；

图16A至图16E是示出图像形成设备周围存在的人员的位置的时间变化的第三示例的示意图；

图17A至图17E是示出图像形成设备周围存在的人员的位置的时间变化的第四示例的示意图；

图18是示出图像形成设备中的认证过程的流程的流程图；

图19是示出认证过程中的面部认证处理的流程的流程图；

图20A至图20D是示出图像形成设备周围存在的人员的位置的 时间变化的第一示例中的第一模式的示意图；

图21A至图21D是示出图像形成设备周围存在的人员的位置的时间变化的第一示例中的第二模式的示意图；

图22A至图22D是示出图像形成设备周围存在的人员的位置的时间变化的第二示例中的第一模式的示意图；

图23A至图23D是示出图像形成设备周围存在的人员的位置的时间变化的第二示例中的第二模式的示意图；

图24A至图24D是示出图像形成设备周围存在的人员的位置的时间变化的第三示例中的第一模式的示意图；以及

图25A至图25D是示出图像形成设备周围存在的人员的位置的时间变化的第三示例中的第二模式的示意图。

具体实施方式

[示例性实施例1]

下文中，将参照附图详细描述本发明的示例性实施例1。

图1是应用了当前实施例的图像形成设备10的透视图。作为认证设备、处理设备和显示设备的示例的图像形成设备10是具有扫描功能、打印功能、复印功能和传真功能的所谓的多功能外设。

图像形成设备10包括扫描仪11、打印机12和用户界面(UI)13。在这些元件中，扫描仪11是一种读取原始形成的图像的装置，而打印机12是一种将图像形成在记录材料上的装置。用户界面13是一种当用户使用图像形成设备10时从用户接收操作(指令)并向用户显示各种信息的装置。

当前实施例的扫描仪11布置在打印机12上方。用户界面13附着至扫描仪11。这里，用户界面13布置在用户当使用图像形成设备10时所站的图像形成设备10(扫描仪11)中的前侧。用户界面13布置为朝上，以使得站在图像形成设备10的前侧的用户可在从上侧观看下侧的同时操作用户界面13。

图像形成设备10还包括热释电传感器14、第一相机15和第二相机16。在这些元件中，热释电传感器14和第一相机15分别附着 于打印机12的前侧和左侧，以朝前。第一相机15布置在热释电传感器14上方。第二相机16附着为在用户界面13中的左侧上朝上。

这里，热释电传感器14具有检测包括位于图像形成设备10的前侧的用户的运动对象(人员等)的运动的功能。第一相机15由所谓的视频相机构成，并且具有捕获图像形成设备10的前侧的图像的功能。第二相机16也由所谓的视频相机构成，并且具有捕获图像形成设备10的上侧的图像的功能。这里，鱼眼镜头设置在第一相机15和第二相机16中的每一个中。因此，与使用普通镜头的情况相比，第一相机15和第二相机16以更宽的角度捕获图像。

图像形成设备10还包括投影仪17。在该示例中，当从前侧看时，投影仪17布置在图像形成设备10的主体的右侧上。投影仪17将各种画面投影在图像形成设备10的背侧上设置的屏幕(未示出)上。这里，所述屏幕不限于所谓的投影屏幕，并且可使用墙壁等。投影仪17相对于图像形成设备10的主体的安装位置可改变。在该示例中，图像形成设备10的主体和投影仪17彼此分离地设置，但是图像形成设备10的主体和投影仪17可通过利用将投影仪17附着于扫描仪11的背面侧的方法等一体地设置。

图2是图1所示的用户界面13的俯视图。然而，图2还示出了布置在用户界面13中的第二相机16。

用户界面13包括触摸面板130、第一操作按钮组131、第二操作按钮组132和USB存储器附接部分133。这里，第一操作按钮组131布置在触摸面板130的右侧上。第二操作按钮组132、USB存储器附接部分133和第二相机16布置在触摸面板130的右侧上。

这里，触摸面板130具有利用图像向用户显示信息和从用户接收输入操作的功能。第一操作按钮组131和第二操作按钮组132具有从用户接收输入操作的功能。USB存储器附接部分133允许用户将USB存储器附接于其上。

设置在用户界面13中的第二相机16布置在可捕获使用图像形成设备10的用户的面部的图像的位置。通过第二相机16捕获的图像(包括用户的面部的图像)显示在触摸面板130上。这里，在当前实 施例的图像形成设备10中，如将在稍后描述的，通过利用捕获接近图像形成设备10的人员的面部的第一相机15获得的面部图像来执行针对允许使用图像形成设备10的认证。因为这个原因，想要使用图像形成设备10的人员(用户)需要预先注册他的面部图像。当前实施例中的第二相机16用于在该面部图像被注册时捕获人员的面部。

在当前实施例中，通过第一相机15捕获的图像可显示在触摸面板130上。在以下描述中，通过第一相机15捕获的图像将被称作第一相机图像，并且通过第二相机16捕获的图像将被称作第二相机图像。

图3是用于解释人员的存在被图像形成设备10检测到的区域的俯视图。图3是当沿着图像形成设备10的高度方向从顶部观看图像形成设备10及其附近时获得的示图。

图4是用于解释人员的存在被图像形成设备10检测到的区域的侧视图。图4是当从图像形成设备10的侧面(在该示例中，当从图像形成设备10的前侧观看时的右侧)观看图像形成设备10及其附近时获得的示图。图4还示出了人员H，但未示出图3所示的检测区F。

这里，如图3和图4所示，第一相机15(参照图1)在图像形成设备10中附着的位置被称作图像形成设备10的位置P。

在该示例中，热释电传感器14(参照图1)检测在检测区F中存在的人员H。检测区F形成在图像形成设备10的前侧上，并且当沿着高度方向从顶部观看时呈现圆心角设为小于180度的扇形。

在该示例中，通过利用对第一相机15(参照图1)所捕获的第一相机图像进行分析的结果，检测在人员检测区R1、人员操作区R2、进入检测区R3和接近检测区R4中存在的人员H。

在这些区中，人员检测区R1形成在图像形成设备10的前侧上，并当沿着高度方向从顶部观看时呈现圆心角设为小于180度的扇形。人员检测区R1设为包括整个检测区F(在该示例中，不是包括其一部分)。人员检测区R1的圆心角可设为除180度以外的角度。然而，第一相机15至少具有整个人员检测区R1作为成像区。

接着，人员操作区R2设在图像形成设备10的前侧上，并且当 沿着高度方向从顶部观看时呈现矩形形状。在该示例中，矩形区沿着宽度方向的长度等于图像形成设备10沿着宽度方向的长度。整个人员操作区R2位于人员检测区R1以内。在人员检测区R1中，人员操作区R2布置在更靠近图像形成设备10的一侧上。

进入检测区R3形成在图像形成设备10的前侧上，并且当沿着高度方向从顶部观看时呈现圆心角设为180度的扇形。整个进入检测区R3位于人员检测区R1以内。在人员检测区R1中，进入检测区R3布置在更靠近图像形成设备10的一侧上。上述的整个人员操作区R2位于进入检测区R3以内。在进入检测区R3中，人员操作区R2布置在更靠近图像形成设备10的一侧上。

接近检测区R4形成在图像形成设备10的前侧上，并且当沿着高度方向从顶部观看时呈现圆心角设为180度的扇形。整个接近检测区R4位于进入检测区R3以内。在进入检测区R3中，接近检测区R4布置在更靠近图像形成设备10的一侧上。上述的整个人员操作区R2位于接近检测区R4以内。在接近检测区R4中，人员操作区R2布置在更靠近图像形成设备10的一侧上。

在当前实施例的图像形成设备10中，如将在稍后描述的，通过利用对接近图像形成设备10的人员H的面部进行成像的第一相机15所获得的面部图像来执行针对使用图像形成设备10的认证。在图像形成设备10中，如将在稍后描述的，检测在人员检测区R1中存在的人员H的脚尖，并且利用由第一相机15捕获的第一相机图像来确定人员H是否接近图像形成设备10。

这里，为了便于使用，图像形成设备10的高度通常设为约1000mm至1300mm，因此，第一相机15距离安装表面的高度为约700mm至900mm。如上所述，需要利用第一相机15对人员H的脚尖成像，因此在一定程度上，第一相机15的高度限于低的位置。因为这个原因，第一相机15距离安装表面的高度(位置P)小于普通成人(人员H)的面部的高度，如图4所示。因此，在人员H太过靠近图像形成设备10的情况下，即使使用了鱼眼镜头，第一相机15也难以对人员H的面部成像，并且即使对人员H的面部成像，也难以分析获得的 面部图像。

因此，在该示例中，将可通过分析第一相机15捕获的第一相机图像来分析人员H的面部图像的距离的极限定义为面部检测极限L。基于可通过第一相机15对具有正常身高的人员H的面部成像的距离来确定面部检测极限L。在该示例中，面部检测极限L位于人员操作区R2以外且位于接近检测区R4以内。

在有人员H想要使用当前实施例的图像形成设备10的情况下，人员H首先进入检测区F。进入检测区F的人员H接着进入人员检测区R1，并且从进入检测区R3经接近检测区R4再进入人员操作区R2。在该示例中，运动经过人员检测区R1的人员H在从接近检测区R4进入人员操作区R2时经过面部检测极限L。进入人员操作区R2的人员H在停留在人员操作区R2中时利用用户界面13执行操作。人员检测区R1、人员操作区R2、进入检测区R3和接近检测区R4中的每一个不一定需要如图3所示地设置，并且在可基于通过第一相机15捕获的第一相机图像来指定各个区的情况下足矣。面部检测极限L不需要设置在人员操作区R2与接近检测区R4之间，而是可根据第一相机15的性能或附着位置(位置P距离安装表面的高度)改变。

图5是图像形成设备10的功能性框图。当前实施例的图像形成设备10包括控制单元101、通信单元102、操作单元103、显示单元104、存储单元105、图像读取单元106和图像形成单元107。图像形成设备10还包括检测单元108、成像单元109、人员检测单元110、面部检测单元111、面部注册/认证单元112、指令单元113、选择单元114和通知单元115。

例如，控制单元101包括中央处理单元(CPU)和存储器，并且控制图像形成设备10的各个单元。CPU执行存储在存储器或存储单元105中的程序。例如，存储器包括只读存储器(ROM)和随机存取存储器(RAM)。ROM预先存储程序或数据。RAM临时存储程序或数据，并当CPU执行程序时用作工作区域。

通信单元102是连接至通信线(未示出)的通信接口。通信单元102经由通信线与客户端设备或其它图像形成设备(都未示出)执 行通信。

操作单元103将与用户的操作相对应的信息输入至控制单元101。在该示例中，通过设置在用户界面13中的触摸面板130、第一操作按钮组131和第二操作按钮组132实现操作单元103。

显示单元104向用户显示各种信息。在该示例中，通过设置在用户界面13中的触摸面板130实现显示单元104。

例如，存储单元105是硬盘，并且存储由控制单元101使用的各种程序或数据。

图像读取单元106读取原始图像以产生图像数据。在该示例中，通过扫描仪11实现图像读取单元106。

图像形成单元107在诸如纸张的片状记录材料上形成对应于图像数据的图像。在这种情况下，通过打印机12实现图像形成单元107。图像形成单元107可根据电子照相法形成图像，并且可根据其它方法形成图像。

检测单元108对包括人员H的运动对象执行检测。在该示例中，通过热释电传感器14实现检测单元108。

成像单元109对包括人员H的成像目标进行成像。在该示例中，通过第一相机15和第二相机16实现成像单元109。

人员检测单元110分析通过第一相机15捕获的第一相机图像，以检测在人员检测区R1、人员操作区R2、进入检测区R3和接近检测区R4中存在的人员H。

面部检测单元111分析通过第一相机15捕获的第一相机图像，以检测在人员检测区R1以内和面部检测极限L以外存在的人员H的面部图像。

面部注册/认证单元112关于可使用图像形成设备10的人员H(用户)预先利用用户的面部图像执行注册。这里，在注册中，利用第二相机16捕获用户的面部图像，并且从捕获的面部图像中提取特征量。用户的ID(注册ID)、由用户设置的各种信息(称作注册人员信息)和从用户的面部图像提取的特征量(称作面部信息)彼此关联，并且存储在存储单元105中。在以下描述中，其中注册ID、注 册人员信息和面部信息彼此关联的表将被称作注册表，并且在注册表中注册的用户(人员H)将被称作注册人员。

面部注册/认证单元112在用户将要使用图像形成设备10时利用用户的面部图像执行认证。这里，在认证过程中，利用第一相机15捕获人员H(用户)的面部图像，并且还从捕获的面部图像中提取特征量。检查通过当前成像获得的特征量是否与预先注册的特征量匹配，并且在存在匹配特征量的情况下(注册为用户的注册人员的情况)，允许使用图像形成设备10。在无匹配特征量的情况下(未注册为用户的未注册人员的情况)，禁止使用图像形成设备10。

指令单元113将用于利用由第一相机15捕获的面部图像开始认证处理的指令输出至面部注册/认证单元112。

在关于同一人员H利用第一相机15获取所述多个面部图像的情况下，选择单元114选择多个面部图像中的一个面部图像。

通知单元115向在例如人员检测区R1中存在的人员H通知期望根据需要提供的信息。通过投影仪17实现通知单元115。

在当前实施例中，成像单元109(更具体地说，第一相机15)是成像单元的示例，面部注册/认证单元112是认证单元的示例，并且存储单元105是保存单元的示例。面部检测单元111和面部注册/认证单元112是指定单元的示例，并且面部注册/认证单元112是处理单元的示例。在人员检测区R1中比面部检测极限L更加靠内的区(更靠近图像形成设备10的区)是设置区的示例，并且人员检测区R1是第一区的示例。进入检测区R3是第二区的示例，并且在人员检测区R1中比面部检测极限L更加靠外的区是第三区的示例。

这里，当前实施例的图像形成设备10根据功耗量不同的两种模式(诸如“正常模式”和“睡眠模式”)之一进行操作。在图像形成设备10在正常模式下操作的情况下，将执行各种处理所需的电力供应至图像形成设备10的各个单元。另一方面，在图像形成设备10在睡眠模式下操作的情况下，停止将电力供应至图像形成设备10中的至少一些单元，并且图像形成设备10功耗量变得比在正常模式下更小。然而，即使在图像形成设备10在睡眠模式下操作的情况下， 也将电力供应至控制单元101、热释电传感器14和第一相机15，并且上述元件即使在睡眠模式下也可操作。

图6是示出与对图像形成设备10的模式的控制有关的处理的流程的的流程图。

在该示例中，在初始状态下，图像形成设备10设为睡眠模式(步骤S1)。即使在睡眠模式下，也将热释电传感器14激活以执行操作。另一方面，此时，假设第一相机15未被激活。当图像形成设备10在睡眠模式下操作时，控制单元101监控热释电传感器14中的红外线的量的检测结果，以确定在检测区F中是否存在人员H(步骤S2)。在步骤S2中执行否定确定(否)的情况下，流程返回至步骤S2，并且重复执行该处理。

另一方面，在步骤S2中执行肯定确定(是)的情况下，也就是说，在检测区F中检测到人员H的情况下，控制单元101开始将电力供应至第一相机15，并且还激活第一相机15以开始对人员检测区R1成像(步骤S3)。如果通过第一相机15开始成像，则人员检测单元110分析从第一相机15获取的第一相机图像，并且开始检测人员H的运动的处理(步骤S4)。

在步骤S4中开始的检测人员H的运动的处理中，人员检测单元110估计从图像形成设备10至人员H的距离，并且计算指示人员H的运动的运动向量。可根据公知方法执行检测人员H的运动的处理，但是，例如，人员检测单元110基于从捕获的图像检测的身体部分的大小来估计从图像形成设备10至人员H的距离。人员检测单元110对通过第一相机15获得的捕获的图像执行框架处理，并且按照时间次序将对应于多个框架的捕获的图像彼此比较。此时，人员检测单元110检测作为人员H的身体部分的脚尖，并且分析检测的部分的运动，以计算运动向量。人员检测单元110将从第一相机15获取的第一相机图像(利用鱼眼镜头获得的失真图像)校正为平面图像(在平面图中显影第一相机图像)，并且随后检测人员H的运动。

接着，人员检测单元110确定是否检测到在人员检测区R1中存在的接近图像形成设备10的人员H(步骤S5)。例如，在确定有人 员H在人员检测区R1中并且朝着图像形成设备10运动的情况下，人员检测单元110在步骤S5中执行肯定确定(是)。在步骤S5中执行否定确定(否)的情况下，流程返回步骤S5，并且重复执行该处理。

相反，在步骤S5中执行肯定确定(是)的情况下，控制单元101使得图像形成设备10的模式从睡眠模式转变为正常模式(步骤S6)。此时，控制单元101指示将对应于正常模式的电力供应至图像形成设备10的各个单元，以激活图像形成设备10的各个单元。另外，控制单元101开始将电力供应至第二相机16，以激活第二相机16。

在当前实施例中，当检测到在人员检测区R1中存在人员H时，不会发生从睡眠模式瞬时转变为正常模式，但是当检测到在人员检测区R1中存在的人员H接近图像形成设备10时发生从睡眠模式转变为正常模式。作为执行这种控制的结果，例如，在人员H只是经过人员检测区R1的情况下，图像形成设备10从睡眠模式转变为正常模式的机会减小。

如果在步骤S6中发生从睡眠模式至正常模式的转变，则面部检测单元111分析从第一相机15获取的第一相机图像，并且开始检测在人员检测区R1中存在的人员H的面部的处理(步骤S7)。

接着，人员检测单元110分析从第一相机15获取的第一相机图像，以确定人员H是否存在(停留)于人员操作区R2中(步骤S8)。此时，人员检测单元110分析来自第一相机15的第一相机图像，以检测人员H的身体部分，并且基于检测到的部分的位置和大小来检测人员H在人员操作区R2中的存在。例如，人员检测单元110基于检测到的身体部分的大小来估计从图像形成设备10至人员H的距离，并且基于检测到的身体部分的位置来指定人员H存在的方向。

在步骤S8中执行肯定确定(是)的情况下，流程返回至步骤S8，并且步骤S7中开始的对人员H的面部的检测处理继续。因此，人员检测单元110在正常模式下也重复执行对人员H在人员操作区R2中的存在的检测处理，直至在人员操作区R2中未检测到存在人员H为止。

另一方面，在步骤S8中执行否定确定(否)的情况下，也就是 说，在人员操作区R2中不存在人员H(人员H已退出人员操作区R2)的情况下，控制单元101开始利用计时器计时(步骤S9)。换句话说，控制单元101利用计时器测量从人员操作区R2中不存在人员H的时刻经过的时间。

接着，人员检测单元110确定在人员操作区R2中是否存在人员H(步骤S10)。在步骤S10中，在人员操作区R2中不存在人员H之后，人员检测单元110再次确定在人员操作区R2中是否存在人员H。

在步骤S10中执行否定确定(否)的情况下，控制单元101确定通过计时器测量的时间点是否已经超出设定时段(步骤S11)。例如，设定时段是一分钟，但是可设为除一分钟以外的时间段。在步骤S11中执行否定确定(否)的情况下，控制单元101返回至步骤S10并且继续进行处理。在步骤S10和步骤S11中，确定人员操作区R2中不存在人员H的时段是否持续设定时段。

相反，在步骤S11中执行肯定确定(是)的情况下，控制单元101使得图像形成设备10的模式从正常模式转变为睡眠模式(步骤S12)。此时，控制单元101指示将对应于睡眠模式的电力供应至图像形成设备10的各个单元，并且使在睡眠模式中停止的图像形成设备10的各个单元的操作停止。然后，在热释电传感器14未检测到人员H在检测区F中的存在的情况下，控制单元101使第一相机15的操作停止。

这里，假设这样一种情况，其中，在计时器在步骤S9中开始计时之后，从在人员操作区R2中不存在人员H时的时刻开始过去设定时段之前，在人员操作区R2中再次检测人员H的存在。在这种情况下，控制单元101在步骤S10中执行肯定确定(是)，并且再次停止计时器的计时，以使计时器复位(步骤S13)。控制单元101返回步骤S8，并且继续进行处理。换句话说，再次执行在人员操作区R2中存在人员H的情况下执行的处理。这里，举例了同一人员H返回人员操作区R2的情况，但是同样在另一人员H运动进入人员操作区R2的情况下，人员检测单元110在步骤S10中执行肯定确定(是)。

这里，在现有技术中，想要使用图像形成设备10的人员H(用 户)给出捕获面部图像的指令，并且在利用用户的面部图像执行认证的情况下请求对他/她自己的认证。例如，人员H站在人员操作区R2中，并且在用户的面部朝向设置在用户界面13中的第二相机16的状态下使得面部图像被捕获。相反，在当前实施例的图像形成设备10中，预先通过第一相机15捕获在人员检测区R1中存在的人员H的面部图像，并且在满足特定条件的状态下利用捕获到的人员H的面部图像执行认证处理。

图7是示出图像形成设备10中的认证过程的流程的流程图。在图像形成设备10设为正常模式的状态下执行图7所示的处理。

如图6的步骤S7所示，如果图像形成设备10设为正常模式，则分析从第一相机15获取的第一相机图像，并且开始检测在人员检测区R1中存在的人员H的面部的处理。与此同时，面部检测单元111执行从第一相机图像检测人员H的面部以及获取检测到的面部图像的面部检测和面部图像获取处理(步骤S20)。面部注册/认证单元112确定是否存在来自指令单元113的用于开始面部认证处理的指令(步骤S40)。在步骤S40中执行否定确定(否)的情况下，流程返回至步骤S20，并且继续进行处理。

另一方面，在步骤S40中执行肯定确定(是)的情况下，面部注册/认证单元112利用步骤S20中的面部检测和面部图像获取处理的结果(也就是说，从自第一相机15获取的第一相机图像中获得的人员H的面部图像)执行设置是否成功认证的面部认证处理(步骤S60)，并且完成处理。

在图7中，在执行步骤S20之后执行步骤S40，但实际上，步骤S20和步骤S40并行执行。因此，在执行步骤S20中的处理的过程中在步骤S40中执行肯定确定(是)的情况下，也就是说，存在用于开始认证处理的指令的情况下，步骤S20中的处理停止，并且流程前进至步骤S60。

将更详细地描述在以上步骤S20中的面部检测和面部图像获取处理和在以上步骤S60中的面部认证处理中的每一个。

图8是示出当前实施例的认证过程中的面部检测和面部图像获 取处理(步骤S20)的流程的流程图。图9是示出当前实施例的认证过程中的认证处理(步骤S60)的流程的流程图。

首先，参照图8，将描述步骤S20中的面部检测和面部图像获取处理的内容。

这里，首先，人员检测单元110和面部检测单元111获取由第一相机15捕获的第一相机图像(步骤S21)。接着，人员检测单元110分析在步骤S21中获取的第一相机图像，以确定人员H是否存在于人员检测区R1中(步骤S22)。在步骤S22中执行否定确定(否)的情况下，流程返回至步骤S21，并且处理继续进行。

另一方面，在步骤S22中执行肯定确定(是)的情况下，人员检测单元110确定在步骤S22中已检测到存在的人员H是否处于已检测到存在并且是被跟踪人员的状态(步骤S23)。在步骤S23中执行肯定确定(是)的情况下，流程前进至将在稍后描述的步骤S25。

相反，在步骤S23中执行否定确定(否)的情况下，人员检测单元110获取在步骤S22中已检测到存在的人员H的跟踪ID并且将跟踪ID存储在存储单元105中，并且开始人员H的跟踪(步骤S24)。面部检测单元111分析在步骤S21中获取的第一相机图像，以搜索被跟踪人员的面部(步骤S25)。

接着，面部检测单元111确定是否已从第一相机图像中检测到被跟踪人员的面部(步骤S26)。在步骤S26中执行否定确定(否)的情况下，流程前进至将在稍后描述的步骤S30。

另一方面，在步骤S26中执行肯定确定(是)的情况下，面部检测单元111将从被跟踪人员的面部图像中提取的面部信息与被跟踪人员的跟踪ID关联地注册在存储单元105中(步骤S27)。在以下描述中，其中跟踪ID与面部信息关联的表将被称作跟踪表。面部检测单元111确定同一被跟踪人员的面部信息是否关于该被跟踪人员在跟踪表中多次(在该示例中，两次)注册(步骤S28)。在步骤S28中执行否定确定(否)的情况下，流程前进至将在稍后描述的步骤S30。

相反，在步骤S28中执行肯定确定(是)的情况下，选择单元 114在存储单元105中选择作为跟踪表注册的两个面部信息之一，并且从存储单元105中删除未被选择的另一个面部信息(步骤S29)。

人员检测单元110获取通过第一相机15捕获的第一相机图像(步骤S30)。接着，人员检测单元110分析在步骤S30中获取的第一相机图像，以确定被跟踪人员是否在存在于人员检测区R1中(步骤S31)。在步骤S31中执行肯定确定(是)的情况下，流程返回至步骤S21，并且处理继续进行。

另一方面，在步骤S31中执行否定确定(否)的情况下，人员检测单元110从跟踪表中删除在步骤S31中未检测到存在的被跟踪人员(人员H)的跟踪ID和面部信息(步骤S32)，返回至步骤S21，并且处理继续进行。

接着，参照图9，将描述步骤S60中的面部认证处理的内容。

这里，首先，选择单元114选择作为针对其在图7所示的步骤S40中给出用于面部认证处理的指令的目标的人员H(目标人员)，并且面部注册/认证单元112确定目标人员是否是在跟踪表中注册的被跟踪人员(步骤S61)。在步骤S61中执行否定确定(否)的情况下，流程前进至将在稍后描述的步骤S71。

相反，在步骤S61中执行肯定确定(是)的情况下，面部注册/认证单元112确定作为目标人员的同一被跟踪人员的面部信息是否被注册在存储单元105中(步骤S62)。在步骤S62中执行否定确定(否)的情况下，流程前进至将在稍后描述的步骤S71。

另一方面，在步骤S62中执行肯定确定(是)的情况下，面部注册/认证单元112利用在步骤S62中确认在跟踪表中注册的目标人员的面部信息来请求面部认证(步骤S63)。接着，面部注册/认证单元112将目标人员的面部信息与在注册表中注册的全部注册人员的面部信息进行比对(步骤S64)。面部注册/认证单元112确定认证是否成功(步骤S65)。这里，在步骤S65中，如果目标人员的面部信息与全部注册人员的面部信息中的任一个匹配，则执行肯定确定(是)，如果目标人员的面部信息与全部注册人员的面部信息中的任一个都不匹配，则执行否定确定(否)。

在步骤S65中执行肯定确定(是)的情况下，通知单元115利用投影仪17向目标人员等通知已成功认证(步骤S66)。显示单元104向该目标人员显示针对认证过的目标人员设置的UI屏幕(在执行认证之后的屏幕)(步骤S67)，并且前进至将稍后描述的步骤S74。

另一方面，在步骤S65中执行否定确定(否)的情况下，人员检测单元110确定目标人员是否存在于接近检测区R4中(步骤S68)。在步骤S68中执行否定确定(否)的情况下，流程返回至步骤S61，并且处理继续进行。

相反，在步骤S68中执行肯定确定(是)的情况下，通知单元115利用投影仪17向目标人员等通知认证失败(步骤S69)。显示单元104显示针对认证失败设置的对应于认证失败的UI屏幕(在执行认证之前的屏幕)(步骤S70)，并且前进至将在稍后描述的步骤S74。

另一方面，在步骤S61中执行否定确定(否)的情况下并且在步骤S62中执行否定确定(否)的情况下，人员检测单元110确定目标人员是否存在于接近检测区R4中(步骤S71)。在步骤S71中执行否定确定(否)的情况下，流程返回至步骤S61，并且处理继续进行。

相反，在步骤S71中执行肯定确定(是)的情况下，通知单元115利用投影仪17向目标人员等通知未获取目标人员的面部图像(步骤S72)。显示单元104显示与针对利用手动输入的认证处理设置的手动输入认证相对应的UI屏幕(在执行认证之前的屏幕)(步骤S73)，并且前进至将在稍后描述的步骤S74。

面部注册/认证单元112删除在跟踪表中注册的全部被跟踪人员的跟踪ID和面部信息(步骤S74)，并且完成处理。

接着，将利用特定示例更详细地描述当前实施例。

图10A是示出由用户在图像形成设备10中注册的注册表的示例的示意图，并且图10B是示出用于步骤S20中的面部检测和面部图像获取处理的跟踪表的示例的示意图。注册表和跟踪表存储在存储单元105中。

首先，将描述图10A所示的注册表。

在图10A所示的注册表中，如上所述，赋予用户的注册ID、用户设置的注册人员信息和从用户的面部图像中提取的面部信息彼此关联。在这些要素中，注册人员信息包括赋予用户他/她自己的用户名、用户的UI屏幕中使用的应用名称、对应于应用名称的应用功能和对应于应用名称的按钮设计。

在图10A所示的注册表中，将两个人员H(注册ID“R001”和“R002”)注册为用户(注册人员)。这里，举例了将两个人员H注册为用户的情况，但是可注册单个人员或者三个或更多个人员。

在这两个人员中，注册人员信息与注册ID为“R001”的用户关联地如下注册。首先，将“Fujitaro”注册为用户名，并且将“简单复印”、“自动扫描”、“简单盒保存”、“简单盒操作”、“传真”和“私人打印(集体输出)”注册为应用名称。对应于各个应用名称的应用功能和按钮设计也被注册。关于注册ID为“R001”的用户的面部信息也被注册。

注册人员信息与注册ID为“R002”的用户关联地如下注册。首先，将“Fuji Hanako”注册为用户名，并且将“简单复印”、“自动扫描”、“简单盒保存”、“私人打印(简单确认)”、“正常复印三页”、“保存的复印”、“开始打印第一张”和“高度清洁扫描”注册为应用名称。对应于各个应用名称的应用功能和按钮设计也被注册。关于注册ID为“R002”的用户的面部信息也被注册。

接着，将描述图10B所示的跟踪表。

在图10B所示的跟踪表中，如上所述，在人员检测区R1中跟踪的过程中赋予作为人员H的被跟踪人员的跟踪ID与从被跟踪人员的面部图像提取的面部信息关联。在步骤S20中的面部检测和面部图像获取处理中，在针对被跟踪人员设置了跟踪ID但是不能检测到被跟踪人员的面部的情况下，可出现在跟踪表中存在跟踪ID但是不存在与跟踪ID关联的面部信息的情况。

在图10B所示的跟踪表中，将三个人员H(跟踪ID“C001”至“C003”)注册为被跟踪人员。这里，举例了将三个人员H注册为被跟踪人员的情况，但是可注册两个或更少的人员或者四个或更多的人 员。

将描述图7的步骤S40所示的用于开始面部认证处理的指令。

在当前实施例中，在基于通过第一相机15捕获的第一相机图像的分析结果检测到在人员检测区R1中存在的一个或多个人员H中特定(单个)人员H执行满足特定条件的行为的情况下，指令单元113在步骤S60中输出用于开始认证处理的指令。

[第一示例]

图11A至图11E示出了在图像形成设备10周围的人员H的位置的时间变化的第一示例。这里，图11A至图11E例示了将在人员检测区R1中存在的任一个人员H从人员检测区R1进入至进入检测区R3用作用于在步骤S40中开始认证处理的指令的情况。

在下面描述的图11A至图11E(第一示例)以及接着描述的图15A至图17E(第二示例至第四示例)中，举例了在图像形成设备10周围存在包括第一人员H1和第二人员H2的两个人员作为人员H的情况。下面描述的图11A至图11E和接着描述的图15A至图17E示出了通过投影仪17将图像投影于其上的屏幕18。

图11A示出了第一人员H1从人员检测区R1的外部进入人员检测区R1并且第二人员H2位于人员检测区R1以外的状态。在这种情况下，关于第一人员H1，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第一人员H1并且开始跟踪，因此在步骤S25中搜索第一人员H1的面部。在这种情况下，由于第二人员H2存在于人员检测区R1以外，因此第二人员H2不是处理的目标。

图11B示出了第一人员H1仍在人员检测区R1中并且第二人员H2从人员检测区R1的外部进入人员检测区R1的状态。此时，在步骤S23中关于第一人员H1执行否定确定(否)，并且持续搜索第一人员H1的面部。另外，此时，关于第二人员H2，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第二人员H2并且开始跟踪，因此在步骤S25中搜索第二人员H2的面部。

图11C示出了第一人员H1仍在人员检测区R1中并且第二人员H2从人员检测区R1进入到进入检测区R3的状态。在图11C所示的第一示例中，在特定人员H(在该示例中，第二人员H2)从人员检测区R1进入到进入检测区R3的情况下，指令单元113输出用于开始认证处理的指令，因此在步骤S40中执行肯定确定(是)，以使得步骤S60中的认证处理开始。因此，在该示例中，选择单元114选择第二人员H2作为两个被跟踪人员(第一人员H1和第二人员H2)中的目标人员。

这里，在第一示例中，在特定人员H(在该示例中，第二人员H2)从人员检测区R1进入到进入检测区R3并因此被选择为被跟踪人员之后，在特定人员H继续留在进入检测区R3中的状态下，即使另一人员H(在该示例中，第一人员H1)从人员检测区R1进入到进入检测区R3，被跟踪人员也不从该特定人员H改变为另一人员H。

图11D示出了第一人员H1仍在人员检测区R1中并且第二人员H2经过接近检测区R4中的面部检测极限L之前的状态。在该示例中，在已进入到进入检测区R3的被跟踪人员(这里，第二人员H2)经过面部检测极限L之前，步骤S61至步骤S65中的各个处理完成。在该示例中，在已进入到进入检测区R3的被跟踪人员(这里，第二人员H2)经过面部检测极限L之前执行步骤S66、步骤S69或步骤S72中的通知。与此同时，投影仪17在屏幕18上显示消息M。这里，在步骤S61和步骤S62中执行肯定确定(是)并且然后在步骤S65中执行肯定确定(是)的情况下，在步骤S66中，投影仪17显示例如“已成功认证”文本图像作为消息M。在步骤S61和步骤S62中执行肯定确定(是)并且然后在步骤S65中执行否定确定(否)的情况下，在步骤S69中，投影仪17显示例如“认证失败”或“未注册为用户”的文本图像作为消息M。在步骤S61或步骤S62中执行否定确定(否)的情况下，在步骤S72中，投影仪17显示例如“不能获取面部图像”的文本图像。

在按照上述方式成功认证的情况下，作为目标人员的第二人员H2靠近图像形成设备10。在认证失败或者不能获取面部图像的情况 下，作为被跟踪人员的第二人员H2在经过其中利用第一相机15难以获取面部图像的面部检测极限L之前知道认证未成功。

这里，已描述了在步骤S72中呈现“不能获取面部图像”的信息的情况，但是呈现的信息不限于此。例如，在步骤S72中，可执行请求人员H不要靠近设备(图像形成设备10)的通知、由于人员H的面部认证未完成而请求人员H不要靠近设备(图像形成设备10)的通知、请求人员H停止的通知、由于人员H的面部认证未完成而请求人员H停止的通知、用于通知人员H的面部部分偏离第一相机15的成像区的通知等。

图11E示出了第一人员H1仍在人员检测区R1中并且第二人员H2进入接近检测区R4中的人员操作区R2之前的状态。在该示例中，在从图11D所示的状态至图11E所示的状态的转变过程中，投影仪17完成消息M的通知。在该示例中，在已进入到进入检测区R3的目标人员(这里，第二人员H2)进入人员操作区R2之前，执行步骤S67、步骤S70或步骤S73中的显示。

按照上述方式，在作为已经过面部认证处理的目标人员的第二人员H2进入人员操作区R2并站在用户界面13前的状态下，已经在触摸面板130上显示了对应于第二人员H2的UI屏幕。

这里，将描述在步骤S67、步骤S70和步骤S73中显示在触摸面板130上的UI屏幕。

图12A至图12D是示出在图9所示的面部认证处理中显示在用户界面13(更具体地说，触摸面板130)上的UI屏幕的示例的示意图。这里，图12A和图12B示出了图9所示的步骤S67中的关于显示在触摸面板130上的目标人员的UI屏幕(在执行认证之后的屏幕)的示例。图12C示出了图9所示的步骤S70中的显示在触摸面板130上的对应于认证失败的UI屏幕(执行认证之前的屏幕)的示例。图12D示出了图9所示的步骤S73中的显示在触摸面板130上的对应于手动输入认证的UI屏幕(执行认证之前的屏幕)的示例。

首先，在目标人员是作为在注册表(参照图10A)中注册的注册人员的“Fujitaro”，在跟踪表(参照图10B)中“Fujitaro”注册 为被跟踪人员(步骤S61中的是)，在跟踪表中注册“Fujitaro”的面部信息(步骤S62中的是)并且在步骤S65中认证成功(是)的情况下，在步骤S67中显示图12A所示的UI屏幕。根据图10A所示的针对“Fujitaro”的注册表，用户名和对应的应用按钮(在该示例中，六个按钮)显示在UI屏幕上。在触摸面板130中，按下任一个按钮，因此执行对应于该按钮的应用功能。

接着，在目标人员是作为在注册表(参照图10A)中注册的注册人员的“Fuji Hanako”，在跟踪表(参照图10B)中“Fuji Hanako”注册为被跟踪人员(步骤S61中的是)，在跟踪表中注册“Fuji Hanako”的面部信息(步骤S62中的是)并且在步骤S65中认证成功(是)的情况下，在步骤S67中显示图12B所示的UI屏幕。根据图10A所示的针对“Fuji Hanako”的注册表，用户名和对应的应用按钮(在该示例中，八个按钮)显示在UI屏幕上。在触摸面板130中，按下任一个按钮，因此执行对应于该按钮的应用功能。

接着，在目标人员是未在注册表(参照图10A)中注册的未注册人员(例如，“Fujijirou”)，在跟踪表(参照图10B)中“Fujijirou”注册为被跟踪人员(步骤S61中的是)，在跟踪表中注册“Fujijirou”的面部信息(步骤S62中的是)并且在步骤S65中认证失败(否)的情况下，在步骤S70中显示图12C所示的UI屏幕。例如，文本“认证失败”和”关闭”按钮显示在UI屏幕上。

最后，在目标人员是在注册表(参照图10A)中注册的注册人员(这里为“Fujitaro”，但可以是“Fuji Hanako”)并且“Fujitaro”未在跟踪表(参照图10B)中注册为被跟踪人员(步骤S61中的否)的情况下，在步骤S73中显示图12D所示的UI屏幕。在目标人员是在注册表(参照图10A)中注册的注册人员(这里为“Fujitaro”，但可以是“Fuji Hanako”)，在跟踪表(参照图10B)中“Fujitaro”注册为被跟踪人员(步骤S61中的是)并且在跟踪表中未注册“Fujitaro”的面部信息(步骤S62中的否)的情况下，在步骤S73中显示图12D所示的UI屏幕。在目标人员是未在注册表(参照图10A)中注册的未注册人员(例如，“Fujijirou”)并且在跟踪表中未将 “Fujijirou”注册为被跟踪人员(步骤S61中的否)的情况下，在步骤S73中显示图12D所示的UI屏幕。在目标人员是未在注册表(参照图10A)中注册的未注册人员(例如，“Fujijirou”)，在跟踪表(参照图10B)中“Fujijirou”注册为被跟踪人员(步骤S61中的是)并且未在跟踪表中注册“Fujijirou”的面部信息(步骤S62中的否)的情况下，在步骤S73中显示图12D所示的UI屏幕。显示UI屏幕以通过用户的手动输入接收认证请求。虚拟键盘、显示利用虚拟键盘输入的内容(用户ID或密码)的显示区、“取消”按钮和“进入”按钮显示在UI屏幕上。

如上所述，在当前实施例中，图12A和图12B所示的在执行认证之后(当认证成功时)的屏幕内容、图12C所示的在执行认证之前(当认证失败时)的屏幕内容以及图12D所示的对应于手动输入的在执行认证之前(当不可认证时)的屏幕内容彼此不同。在当前实施例中，如图12A和图12B所示，对于各个注册人员，在执行认证之后的屏幕内容不同。

这里，将对于可检测和不可检测被跟踪人员的面部图像的情况进行简单描述。

图13A和图13B示出了通过第一相机15捕获的第一相机图像的示例。这里，图13A示出了通过对未戴面罩的人员H的面部进行成像而获得的第一相机图像，并且图13B示出了通过对佩戴面罩的人员H的面部进行成像而获得的第一相机图像。

当前实施例的面部注册/认证单元112在面部注册和面部认证中检测诸如眼、鼻和嘴的多个面部部分(例如，14个部分或更多)处的特征点，并且在按照三维方式校正面部的大小、方向等之后提取面部的特征量。因为这个原因，在人员H佩戴面罩或太阳镜以覆盖其面部的一部分的情况下，即使在第一相机图像中包括了包括人员H的面部的图像，也不能从第一相机图像执行面部的特征点的检测和特征点的提取。另外，在人员H相对于第一相机15面对正侧面或面向后的情况下，不能从第一相机图像中执行面部的特征点的检测和特征点的提取。在这种情况下，在图8所示的步骤S26中执行否定确定(否)。

接着，将对关于同一被跟踪人员获取多个面部信息的情况下选择一个面部信息的方法进行简单描述。

图14A和图14B示出了通过第一相机15捕获的第一相机图像的示例。这里，图14A示出了通过对在人员检测区R1中位于相对远离面部检测极限L的位置处的人员H进行成像而获得的第一相机图像，并且图14B示出了通过对在人员检测区R1中相对靠近面部检测极限L的位置处的人员H进行成像而获得的第一相机图像。

从图14A和图14B中清楚的是，随着人员H靠近第一相机15，图14B所示的面部图像比图14A所示的面部图像更大(像素数量更大)，因此，更容易提取特征量。因此，例如，在从图14A所示的第一相机图像中获取人员H的面部信息并且其注册在跟踪表中，然后从图14B所示的第一相机图像中获取人员H的面部信息的情况下，在步骤S29中选择后一个面部信息并且删除前一个面部信息。

另外，例如，在从通过对倾斜地面对第一相机15的人员H的面部进行成像而获得的第一相机图像中获取人员H的面部信息并且其注册在跟踪表中，然后从通过对面朝第一相机15的前部的人员H的面部进行成像而获得的第一相机图像中获取人员H的面部信息的情况下，可在步骤S29中选择后一个面部信息并且删除前一个面部信息。

在上述第一示例中，对第二人员H2比第一人员H1更早进入到进入检测区R3的情况进行了描述，并且因此第二人员H2成为目标人员。然而，在第一人员H1比第二人员H2更早进入到进入检测区R3的情况下，第一人员H1成为目标人员。

[第二示例]

图15A至图15D示出了图像形成设备10周围的人员H的位置的时间变化的第二示例。这里，按照与图11A至图11E所示的第一示例的方式相同的方式，图15A至图15D例示了将在人员检测区R1中存在的任一个人员H从人员检测区R1进入到进入检测区R3用作用于在步骤S40中的开始认证处理的指令的情况。

图15A示出了第一人员H1从人员检测区R1的外部进入人员检测区R1并且第二人员H2位于人员检测区R1以外的状态。在这种情 况下，关于第一人员H1，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，以使得在步骤S24中将跟踪ID赋予第一人员H1并且开始跟踪，因此在步骤S25中搜索第一人员H1的面部。此时，由于第二人员H2存在于人员检测区R1以外，因此第二人员H2不是处理目标。

图15B示出了第一人员H1在人员检测区R1中运动并且第二人员H2从人员检测区R1的外部进入人员检测区R1的状态。此时，在步骤S23中关于第一人员H1执行否定确定(否)，并且持续搜索第一人员H1的面部。另外，此时，关于第二人员H2，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第二人员H2并且开始跟踪，因此在步骤S25中搜索第二人员H2的面部。

图15C示出了第一人员H1从人员检测区R1的内部运动至人员检测区R1的外部并且第二人员H2在人员检测区R1中运动的状态。此时，关于第一人员H1，在步骤S31中执行否定确定(否)，因此在步骤S32中从跟踪表中删除关于第一人员H1的跟踪ID和面部信息。此时，关于第二人员H2，在步骤S23中执行否定确定(否)，并且持续搜索第二人员H2的面部。

图15D示出了其中第一人员H1运动至人员检测区R1以外并且第二人员H2从人员检测区R1的内部运动至人员检测区R1的外部的状态。此时，关于第二人员H2，在步骤S31中执行否定确定(否)，并且因此在步骤S32中从跟踪表中删除关于第二人员H2的跟踪ID和面部信息。此时，第一人员H1存在于人员检测区R1以外，因此第一人员H1不是处理目标。

按照上述方式，除非在人员检测区R1中被跟踪的第一人员H1或第二人员H2进入到进入检测区R3，否则不产生目标人员，并且作为结果，步骤S60中的面部认证处理不开始。

[第三示例]

图16A至图16E示出了图像形成设备10周围的人员H的位置的时间变化的第三示例。这里，与第一示例和第二示例不同的是，图 16A至图16E例示了将从关于在人员检测区R1中存在的任一个人员H进入人员检测区R1开始所经过的时间(在人员检测区R1中的停留时间段)达到预定时间段(设定时间段的示例)用作用于开始步骤S40中的认证处理的指令的情况。

图16A示出了第一人员H1从人员检测区R1的外部进入人员检测区R1并且第二人员H2位于人员检测区R1以外的状态。在这种情况下，关于第一人员H1，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第一人员H1并且开始跟踪，因此在步骤S25中搜索第一人员H1的面部。当第一人员H1从人员检测区R1的外部进入人员检测区R1时，利用计时器开始计时，并且将第一人员H1停留在人员检测区R1中的第一停留时间段T1设为0(T1＝0)。在这种情况下，由于第二人员H2存在于人员检测区R1以外，因此第二人员H2不是处理目标。

图16B示出了第一人员H1在人员检测区R1中运动并且第二人员H2从人员检测区R1的外部进入人员检测区R1的状态。在这种情况下，关于第一人员H1在步骤S23中执行否定确定(否)，并且持续搜索第一人员H1的面部。此时，关于第二人员H2，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第二人员H2并且开始跟踪，因此在步骤S25中搜索第二人员H2的面部。当第二人员H2从人员检测区R1的外部进入人员检测区R1时，利用计时器开始计时，并且将第二人员H2停留在人员检测区R1中的第二停留时间段T2设为0(T2＝0)。在这种情况下，随着从图16A所示的状态的时间的流逝，第一人员H1的第一停留时间段T1比第二人员H2的第二停留时间段T2更长(T1＞T2)。

图16C示出了第一人员H1在人员检测区R1中运动并且第二人员H2也在人员检测区R1中运动的状态。在这种情况下，关于第一人员H1，在步骤S23中执行否定确定(否)，并且持续搜索第一人员H1的面部。此时，另外关于第二人员H2，在步骤S23中执行否定确定(否)，并且持续搜索第二人员H2的面部。在这种情况下，第一 人员H1的第一停留时间段T1达到预定时间段T0(T1＝T0)，并且第二人员H2的第二停留时间段T2比第一停留时间段T1(也就是说，预定时间段T0)更短(T2＜T0)。在图16C所示的第三示例中，在特定人员H(在该示例中，第一人员H1)停留在人员检测区R1中的时间段(在该示例中，第一停留时间段T1)达到预定时间段T0的情况下，指令单元113输出用于开始面部认证处理的指令，因此在步骤S40中执行肯定确定(是)，以使得步骤S60中的面部认证处理开始。因此，在该示例中，选择单元114选择第一人员H1作为两个被跟踪人员(第一人员H1和第二人员H2)中的被跟踪人员。

这里，在第三示例中，在特定人员H(在该示例中，第一人员H1)的第一停留时间段T1达到预定时间段T0，因此选择特定人员H作为目标人员之后，在特定人员H持续停留在人员检测区R1中的状态下，即使另一人员(在该示例中，第二人员H2)的第二停留时间段T2达到预定时间段T0，目标人员也不从该特定人员H改变为另一人员。

图16D示出了第一人员H1从人员检测区R1通过进入检测区R3而进入接近检测区R4并且第二人员H2在人员检测区R1中运动的状态。在该示例中，在已进入到进入检测区R3的目标人员(这里，第一人员H1)通过面部检测极限L之前完成了步骤S61至步骤S65中的各个处理。在该示例中，在已进入到进入检测区R3的目标人员(这里，第一人员H1)通过面部检测极限L之前执行步骤S66、步骤S69或步骤S72中的通知。与此同时，投影仪17在屏幕18上显示消息M。这里，消息M的内容与参照图11A至图11E描述的内容相同。

在按照上述方式成功认证的情况下，作为目标人员的第一人员H1靠近图像形成设备10。在认证失败或者不能获取面部图像的情况下，作为被跟踪人员的第一人员H1在通过难以利用第一相机15获取面部图像的面部检测极限L之前发现未成功认证。

图16E示出了第一人员H1就要进入接近检测区R4中的人员操作区R2并且第二人员H2仍保持在人员检测区R1中的状态。在该示例中，投影仪17在从图16D所示的状态转变至图16E所示的状态的 过程中完成消息M的通知。在该示例中，在已进入到进入检测区R3的目标人员(这里，第一人员H1)进入人员操作区R2之前执行步骤S67、步骤S70或步骤S73中的显示。这里，显示的内容与参照图12A至图12D描述的内容相同。

按照上述方式，在已经历面部认证处理的作为目标人员的第一人员H1进入人员操作区R2并且站在用户界面13前的状态下，对应于第一人员H1的UI屏幕已显示在触摸面板130上。

在上述第三示例中，对第一人员H1的第一停留时间段T1比第二人员H2的第二停留时间段T2更早达到预定时间段T0，因此第一人员H1变为目标人员的情况进行了描述。然而，在第二人员H2的第二停留时间段T2比第一人员H1的第一停留时间段T1更早达到预定时间段T0的情况下，第二人员H2变为目标人员。

在上述第三示例中，对第一人员H1和第二人员H2二者均进入人员检测区R1并且然后持续停留在人员检测区R1中的情况进行了描述。然而，例如，在第一人员H1的第一停留时间段T1达到预定时间段T0之前第一人员H1运动至人员检测区R1的外部，并且在第二人员H2的第二停留时间段T2达到预定时间段T0之前第二人员H2运动至人员检测区R1的外部的情况下，按照与在第二示例中的方式相同的方式，不产生目标人员，并且步骤S60中的面部认证处理不开始。

[第四示例]

图17A至图17E示出了在图像形成设备10周围的人员H的位置的时间变化的第四示例。这里，与第一示例至第三示例不同，图17A至图17E例示了将在人员检测区R1中存在的任一个人员H进入人员检测区R1然后接近图像形成设备10用作用于开始步骤S40中的认证处理的指令的情况。

图17A示出了第一人员H1从人员检测区R1的外部进入人员检测区R1并且第二人员H2位于人员检测区R1以外的状态。在这种情况下，关于第一人员H1，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第一人员H1并且开始跟踪，因此在步骤S25中搜索第一人员H1 的面部。在这种情况下，由于第二人员H2存在于人员检测区R1之外，因此第二人员H2不是处理的目标。

图17B示出了第一人员H1在人员检测区R1中运动并且第二人员H2从人员检测区R1的外部进入人员检测区R1的状态。在这种情况下，关于第一人员H1在步骤S23中执行否定确定(否)，并且持续搜索第一人员H1的面部。此时，关于第二人员H2，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第二人员H2并且开始跟踪，因此在步骤S25中搜索第二人员H2的面部。

图17C示出了第一人员H1在人员检测区R1中运动并且第二人员H2也在人员检测区R1中运动的状态。在这种情况下，然而，第一人员H1沿着逐渐远离图像形成设备10的方向运动，并且第二人员H2沿着逐渐靠近图像形成设备10的方向运动。在图17C所示的第四示例中，在检测到特定人员H(在该示例中，第二人员H2)靠近图像形成设备10(第一相机15)的情况下，指令单元113输出用于开始面部认证处理的指令，因此在步骤S40中执行肯定确定(是)，以使得步骤S60中的面部认证处理开始。因此，在该示例中，选择单元114选择第二人员H2作为两个被跟踪人员(第一人员H1和第二人员H2)中的被跟踪人员。

这里，在第四示例中，在特定人员H(在该示例中，第二人员H2)接近图像形成设备10并且因此被选为目标人员之后，在特定人员H持续接近图像形成设备10的状态下，即使另一人员(在该示例中，第一人员H1)接近图像形成设备10，目标人员也不从该特定人员改变为另一人员。

图17D示出了第一人员H1从人员检测区R1的内部运动至人员检测区R1的外部并且第二人员H2从人员检测区R1经由进入检测区R3进入接近检测区R4的状态。在该示例中，在已进入到进入检测区R3的目标人员(这里，第二人员H2)通过面部检测极限L之前完成步骤S61至步骤S65中的各个处理。在该示例中，在以进入到进入检测区R3的目标人员(这里，第二人员H2)通过面部检测极限L之前 执行步骤S66、步骤S69或步骤S72中的通知。与此同时，投影仪17在屏幕18上显示消息M。这里，消息M的内容与参照图11A至图11E描述的内容相同。

在按照上述方式成功认证的情况下，作为目标人员的第二人员H2靠近图像形成设备10。在认证失败或者不能获取面部图像的情况下，作为被跟踪人员的第二人员H2在通过利用第一相机15难以获取面部图像的面部检测极限L之前发现认证不成功。

在图17D所示的状态下，关于第一人员H1，在步骤S31中执行否定确定(否)，并且在步骤S32中从跟踪表中删除关于第一人员H1的跟踪ID和面部信息。

图17E示出了第一人员H1运动至人员检测区R1的外部并且第二人员H2就要进入接近检测区R4中的人员操作区R2的状态。在该示例中，投影仪17在图17D所示的状态转变至图17E所示的状态的过程中完成消息M的通知。在该示例中，在已进入到进入检测区R3的目标人员(这里，第二人员H2)进入人员操作区R2之前执行步骤S67、步骤S70或步骤S73中的显示。这里，显示的内容与参照图12A至图12D描述的内容相同。

按照上述方式，在经历了面部认证处理的作为目标人员的第二人员H2进入人员操作区R2并且站在用户界面13前面的状态下，已在触摸面板130上显示了对应于第二人员H2的UI屏幕。

在上述第四示例中，对在人员检测区R1中存在的第二人员H2接近图像形成设备10、并且在相同人员检测区R1中存在的第一人员H1逐渐远离图像形成设备10、从而第二人员H2变成目标人员的情况进行了描述。然而，在人员检测区R1中存在的第一人员H1接近图像形成设备10并且在相同人员检测区R1中存在的第二人员H2逐渐远离图像形成设备10的情况下，第一人员H1成为目标人员。

在上述第四示例中，对在人员检测区R1中存在的第二人员H2接近图像形成设备10并且在相同人员检测区R1中存在的第一人员H1逐渐远离图像形成设备10的情况进行了描述。然而，在第一人员H1和第二人员H2二者按照与上述第二示例中的方式相同的方式逐渐 远离图像形成设备10的情况下，不产生目标人员，并且步骤S60中的面部认证处理不开始。另一方面，在第一人员H1和第二人员H2二者接近图像形成设备10的情况下，更快地接近图像形成设备10的人员H成为目标人员。

[其它示例]

这里，在上述第一示例至第四示例中，对在图像形成设备10周围存在两个人员H(第一人员H1和第二人员H2)的情况进行了描述，可以存在图像形成设备10周围存在单个人员H的情况和图像形成设备10周围存在三个或更多个人员H的情况。

在当前实施例中，在图9所示的步骤S62中未在面部认证处理中注册目标人员(被跟踪人员)的面部信息(否)的情况下，在步骤S71中在触摸面板130上显示用于手动输入认证的UI屏幕(图12D)，从而通过手动输入接收认证，但是本发明不限于此。例如，可利用设置在用户界面13中的第二相机16捕获停留在人员操作区R2中的人员H的面部图像，并且可从获得的第二相机图像中获取面部信息，从而可再次执行面部认证。在这种情况下，可将第二相机图像在触摸面板130上与提示利用第二相机16捕获面部图像的指令一起显示。

在当前实施例中，在图6所示的控制图像形成设备10的模式的过程中，在步骤S6中发生从睡眠模式转变为正常模式，然后在步骤S7中开始人员H的面部的检测，但是本发明不限于此。例如，可与步骤S4中的开始检测人员H的运动的处理结合地开始对人员H的面部的检测。在这种情况下，在设置睡眠模式的状态下开始对人员H的面部的检测。在采用了在设置睡眠模式的状态下开始对人员H的面部检测的构造的情况下，例如，当存在用于在图7所示的步骤S40中开始面部认证处理的指令时(步骤S40中的是)，可使得图像形成设备10从睡眠模式转变为正常模式。

在当前实施例中，将显示图像的投影仪17用作通知单元115的情况描述为示例，但是本发明不限于此。可使用从例如声源输出声音或者从例如光源(灯)发射光的方法。这里，在当前实施例中，当利用获取的面部图像的认证成功时(步骤S66)，当利用获取的面部图 像的认证失败时(步骤S69)，以及当由于不能获取面部图像而不能执行认证时(步骤S72)，执行通知，但是本发明不限于此。例如，(1)在从第一相机图像检测面部图像之前，(2)在从第一相机图像检测到面部图像之后执行利用面部图像的认证之前，以及(3)在执行认证处理之后，可执行通知。

[示例性实施例2]

接着，将详细描述本发明的示例性实施例2。下文中，将适当地省略对与实施例1中的构成元件相同的构成元件的描述。

在当前实施例中，指令单元113将利用由第一相机15捕获的面部图像开始认证处理的指令输出至面部注册/认证单元112。指令单元113将用于在触摸面板130上显示执行认证处理的认证结果作为UI屏幕的指令输出至显示单元104。

在当前实施例中，在执行认证处理之后不立刻在触摸面板130上显示对应于认证结果的UI屏幕，而是在执行认证处理之后满足预定条件的情况下在触摸面板130上显示对应于认证结果的UI屏幕。

图18是示出图像形成设备10中的认证过程的流程的流程图。在图像形成设备10设为正常模式的状态下执行图18所示的处理。

如果图像形成设备10设为正常模式，如图6的步骤S7所示，则分析从第一相机15获取的第一相机图像，并且开始用于检测人员检测区R1中存在的人员H的面部的处理。与此同时，面部检测单元111执行从第一相机图像检测人员H的面部以及获取检测到的面部图像的面部检测和面部图像获取处理(步骤S20)。面部注册/认证单元112确定是否具有来自指令单元113的用于开始面部认证处理的指令(步骤S40)。在步骤S40中执行否定确定(否)的情况下，流程返回至步骤S20，并且处理继续进行。

另一方面，在步骤S40中执行肯定确定(是)的情况下，面部注册/认证单元112执行利用步骤S20中的面部检测和面部图像获取处理的结果(也就是说，从第一相机15获取的第一相机图像获得的人员H的面部图像)设置认证是否成功的面部认证处理(步骤S60B)。

在图18中，在执行步骤S20之后执行步骤S40，但是实际上， 步骤S20和步骤S40并行执行。因此，在执行步骤S20中的面部检测和面部图像获取处理的过程中在步骤S40中执行肯定确定(是)(也就是说，存在用于开始认证处理的指令)的情况下，步骤S20中的处理停止，并且流程前进至步骤S60B。

在完成步骤S60B中的面部认证处理之后，控制单元101确定是否存在来自指令单元113的用于开始在触摸面板130上显示与作为面部认证处理的结果的认证结果相对应的UI屏幕的指令(步骤S80)。

在步骤S80中执行肯定确定(是)的情况下，显示单元104在触摸面板130上显示与在步骤S60B中的面部认证处理中做出的认证结果相对应的UI屏幕(步骤S100)。将稍后描述在步骤S60B中的面部认证处理中准备并且在步骤S100中显示的UI屏幕的内容。面部注册/认证单元112删除在跟踪表中注册的所有被跟踪人员的跟踪ID和面部信息(步骤S120)，并且完成处理。将稍后描述跟踪表(被跟踪人员的跟踪ID和面部信息)。

相反，在步骤S80中执行否定确定(否)的情况下，人员检测单元110分析从第一相机15获取的第一相机图像，以确定作为步骤S60B中的面部认证处理的目标的人员H(称作目标人员)是否存在于人员检测区R1中(步骤S140)。在步骤S140中执行肯定确定(是)的情况下，流程返回至步骤S80，并且处理继续进行。

另一方面，在步骤S140中执行否定确定(否)的情况下，面部注册/认证单元112确定在步骤S60B中的面部认证处理中目标人员的认证是否成功(认证了面部)(步骤S160)。在步骤S160中执行否定确定(否)的情况下，流程前进至将稍后描述的步骤S200。

相反，在步骤S160中执行肯定确定(是)的情况下，面部注册/认证单元112取消在步骤S60B中的面部认证处理中执行的面部认证(步骤S180)，并且前进至下一步骤S200。

控制单元101放弃在步骤S60B的面部认证处理中准备的与认证结果相对应的UI屏幕(步骤S200)。这里，在步骤S200中放弃的UI屏幕的内容与在以上步骤S100中描述的内容相同。

然后，人员检测单元110从跟踪表中删除在步骤S140中未检测 到存在的人员H(被跟踪人员)的跟踪ID和面部信息(步骤S220)，返回至步骤S20，并且处理继续进行。

将更详细地描述以上步骤S20中的面部检测和面部图像获取处理和以上步骤S60B中的面部认证处理中的每一个。

如上所述，图8是示出当前实施例的认证过程中的面部检测和面部图像获取处理(步骤S20)的流程的流程图。图19是示出当前实施例的认证过程中的认证处理(步骤S60B)的流程的流程图。

接着，参照图19，将描述步骤S60B中的面部认证处理的内容。

这里，首先，选择单元114选择作为目标的人员H(目标人员)，对人员H在图18所示的步骤S40中给出了用于面部认证处理的指令，并且面部注册/认证单元112确定目标人员是否是在跟踪表中注册的被跟踪人员(步骤S61)。在步骤S61中执行否定确定(否)的情况下，流程前进至将稍后描述的步骤S71。

相反，在步骤S61中执行肯定确定(是)的情况下，面部注册/认证单元112确定是否在存储单元105中注册了作为目标人员的相同被跟踪人员的面部信息(步骤S62)。在步骤S62中执行否定确定(否)的情况下，流程前进至将在稍后描述的步骤S71。

另一方面，在步骤S62中执行肯定确定(是)的情况下，面部注册/认证单元112利用在步骤S62中确认其在跟踪表中的注册的目标人员的面部信息来请求面部认证(步骤S63)。接着，面部注册/认证单元112将目标人员的面部信息与在注册表中注册的所有注册人员的面部信息进行比对(步骤S64)。面部注册/认证单元112确定认证是否成功(步骤S65)。这里，在步骤S65中，在目标人员的面部信息与所有注册人员的面部信息中的任一个匹配的情况下执行肯定确定(是)，在目标人员的面部信息与所有注册人员的面部信息中的任一个不匹配的情况下执行否定确定(否)。

在步骤S65中执行肯定确定(是)的情况下，通知单元115利用投影仪17向目标人员等通知认证成功(步骤S66)。显示单元104针对该目标人员准备针对认证过的目标人员设置的UI屏幕(在执行认证之后的屏幕)(步骤S67B)，并且完成处理。

另一方面，在步骤S65中执行否定确定(否)的情况下，人员检测单元110确定目标人员是否存在于接近检测区R4中(步骤S68)。在步骤S68中执行否定确定(否)的情况下，流程返回至步骤S61，并且处理继续进行。

相反，在步骤S68中执行肯定确定(是)的情况下，通知单元115利用投影仪17向目标人员等通知认证失败(步骤S69)。显示单元104准备针对认证失败设置的对应于认证失败的UI屏幕(在执行认证之前的屏幕)(步骤S70B)，并且完成处理。

另一方面，在步骤S61中执行否定确定(否)的情况下以及在步骤S62中执行否定确定(否)的情况下，人员检测单元110确定目标人员是否存在于接近检测区R4中(步骤S71)。在步骤S71中执行否定确定(否)的情况下，流程返回至步骤S61，并且处理继续进行。

相反，在步骤S71中执行肯定确定(是)的情况下，通知单元115利用投影仪17向目标人员等通知没有获取到目标人员的面部图像(步骤S72)。显示单元104准备针对利用手动输入的认证处理设置的对应于手动输入认证的UI屏幕(在执行认证之前的屏幕)(步骤S73B)，并且完成处理。

然后，将利用特定示例描述图18所示的(包括图8和图19)认证过程。

在当前实施例中，在基于通过第一相机15捕获的第一相机图像的分析结果检测到在人员检测区R1中存在的一个或多个人员H中的特定(单个)人员H执行满足特定条件的行为的情况下，在步骤S40中，指令单元113输出用于开始步骤S60B中的认证处理的指令。在当前实施例中，在检测到特定人员H在完成步骤S60B中的面部认证处理之后执行满足预定条件的行为的情况下，在步骤S80中，指令单元113输出用于开始步骤S100中的显示UI屏幕的指令。

下文中，将按次序描述“特定条件”和“预定条件”不同的三个示例(第一示例至第三示例)。在这三个示例中的每一个中，将描述被准备为与作为步骤S60B中的面部认证处理的目标的特定人员H 相对应的UI屏幕显示在触摸面板130上的模式(称作第一模式)和不显示该UI屏幕的模式(称作第二模式)。

这里，在下面描述的图20A至图21D(第一示例)和接着描述的图22A至图25D(第二示例和第三示例)中，例示了在图像形成设备10周围存在的包括第一人员H1和第二人员H2的两个人员作为人员H的情况。图20A至图25D示出了通过投影仪17在其上投影图像的屏幕18。

[第一示例]

首先，将描述“第一示例”，其中将在人员检测区R1中存在的任一个人员H从人员检测区R1进入至进入检测区R3用作用于开始步骤S40中的认证处理的指令，并且将已经从人员检测区R1进入到进入检测区R3的人员H进一步从进入检测区R3进入接近检测区R4用作用于步骤S80中的显示开始处理的指令。

(第一模式)

图20A至图20D示出了图像形成设备10周围的人员H的位置的时间变化的第一示例中的第一模式。

图20A示出了第一人员H1从人员检测区R1的外部进入人员检测区R1并且第二人员H2位于人员检测区R1以外的状态。在这种情况下，关于第一人员H1，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第一人员H1并且开始跟踪，因此在步骤S25中搜索第一人员H1的面部。在这种情况下，由于第二人员H2存在于人员检测区R1以外，因此第二人员H2不是处理的目标。

图20B示出了第一人员H1仍保持在人员检测区R1并且第二人员H2从人员检测区R1的外部进入人员检测区R1的状态。此时，关于第一人员H1，在步骤S22中执行肯定确定(是)，并且还在步骤S23中执行肯定确定(是)，并且持续搜索第一人员H1的面部。另外，此时，关于第二人员H2，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第二人员H2并且开始跟踪，因此在步骤S25中搜索第二人员 H2的面部。

图20C示出了第一人员H1从人员检测区R1进入到进入检测区R3并且第二人员H2仍保持在人员检测区R1中的状态。这里，在第一示例中，在特定人员H从人员检测区R1进入到进入检测区R3的情况下，指令单元113输出用于开始认证处理的指令，因此在步骤S40中执行肯定确定(是)，以使得步骤S60B中的认证处理开始(执行)。因此，在该示例中，选择单元114选择第一人员H1作为两个被跟踪人员(第一人员H1和第二人员H2)中的目标人员。

在第一示例中，在已进入到进入检测区R3的被跟踪人员(这里，第一人员H1)通过面部检测极限L之前完成了步骤S61至步骤S65中的各个处理。在第一示例中，在已进入到进入检测区R3的被跟踪人员(这里，第一人员H1)通过面部检测极限L之前执行步骤S66、步骤S69或步骤S72中的通知。与此同时，投影仪17在屏幕18上显示消息M。这里，在步骤S61和步骤S62中执行肯定确定(是)并且然后在步骤S65中执行肯定确定(是)的情况下，在步骤S66中，投影仪17显示例如“认证成功”的文本图像作为消息M。在步骤S61和步骤S62中执行肯定确定(是)并且然后在步骤S65中执行否定确定(否)的情况下，在步骤S69中，投影仪17显示例如“认证失败”或者“未注册为用户”的文本图像作为消息M。在步骤S61或步骤S62中执行否定确定(否)的情况下，在步骤S72中，投影仪17显示例如“不能获取面部图像”的文本图像。

在认证按照上述方式成功的情况下，作为目标人员的特定人员H(这里，第一人员H1)靠近图像形成设备10。在认证失败或不能获取面部图像的情况下，作为被跟踪人员的特定人员H(这里，第一人员H1)在通过利用第一相机15难以获取面部图像的面部检测极限L之前发现认证未成功。

这里，已描述了在步骤S72中呈现“不能获取面部图像”的信息的情况，但是呈现的信息不限于此。例如，在步骤S72中，可以执行请求人员H不要靠近设备(图像形成设备10)的通知、由于未完成人员H的面部认证而请求人员H不要靠近设备(图像形成设备10) 的通知、请求人员H停止的通知、由于未完成人员H的面部认证而请求人员H停止的通知、用于通知人员H的面部部分偏离第一相机15的成像区的通知等。

在第一示例中，在已进入到进入检测区R3的目标人员(这里，第一人员H1)进入接近检测区R4之前完成步骤S67B、步骤S70B和步骤S73B中的各个处理。稍后将描述分别在步骤S67B、步骤S70B和步骤S73B中准备的UI屏幕的内容。

图20D示出了作为目标人员的第一人员H1从进入检测区R3进入接近检测区R4并且并不是目标人员的第二人员H2仍保持在人员检测区R1中的状态。这里，在第一示例中，在作为从人员检测区R1进入到进入检测区R3的结果而变成目标人员的特定人员H(在该示例中，第一人员H1)从进入检测区R3进入接近检测区R4的情况下，指令单元113输出用于开始显示处理的指令，因此在步骤S80中执行肯定确定(是)，以使得步骤S100中的UI屏幕的显示开始。在第一示例中，投影仪17在从图20C所示的状态转变至图20D所示的状态的过程中完成消息M的通知。

这里，在第一示例中，可以在已进入到接近检测区R4的目标人员(这里，第一人员H1)进入人员操作区R2之前执行步骤S100中的UI屏幕的显示。按照上述方式，在目标人员(这里，第一人员H1)进入人员操作区R2并且站在用户界面13前面的状态下，已在触摸面板130上显示对应于目标人员的认证结果的UI屏幕。

然后，这里，将描述在步骤S67B、步骤S70B和步骤S73B中准备的并且在步骤S100中显示在触摸面板130上的UI屏幕。

图12A至图12D是示出在图19所示的面部认证处理中准备的UI屏幕的示例的示意图。这里，图12A和图12B示出了在图19所示的步骤S67B中准备的关于目标人员的UI屏幕(在执行认证之后的屏幕)的示例。图12C示出了在图19所示的步骤S70B中准备的对应于认证失败的UI屏幕(执行认证之前的屏幕)的示例。图12D示出了在图19所示的步骤S73B中准备的对应于手动输入认证的UI屏幕(执行认证之前的屏幕)的示例。

首先，在目标人员是在注册表(参照图10A)中注册的注册人员“Fujitaro”，在跟踪表(参照图10B)中“Fujitaro”注册为被跟踪人员(步骤S61中的是)，在跟踪表中注册“Fujitaro”的面部信息(步骤S62中的是)并且在步骤S65中认证成功(是)的情况下，在步骤S67B中准备图12A所示的UI屏幕。根据图10A所示的用于“Fujitaro”的注册表，在UI屏幕上显示用户名和对应的应用按钮(在该示例中，六个按钮)。在触摸面板130中，按下任一个按钮，因此执行对应于该按钮的应用功能。

接着，在目标人员是在注册表(参照图10A)中注册的注册人员“Fuji Hanako”，在跟踪表(参照图10B)中“Fuji Hanako”注册为被跟踪人员(步骤S61中的是)，在跟踪表中注册“Fuji Hanako”的面部信息(步骤S62中的是)并且在步骤S65中认证成功(是)的情况下，在步骤S67B中准备图12B所示的UI屏幕。根据图10A所示的用于“Fuji Hanako”的注册表，在UI屏幕上显示用户名和对应的应用按钮(在该示例中，八个按钮)。在触摸面板130中，按下任一个按钮，因此执行对应于该按钮的应用功能。

接着，在目标人员是未在注册表(参照图10A)中注册的未注册人员(例如，“Fujijirou”)，在跟踪表(参照图10B)中“Fujijirou”注册为被跟踪人员(步骤S61中的是)，在跟踪表中注册“Fujijirou”的面部信息(步骤S62中的是)并且在步骤S65中认证失败(否)的情况下，在步骤S70B中准备图12C所示的UI屏幕。例如，在UI屏幕上显示文本“认证失败”和“关闭”按钮。

最后，在目标人员是在注册表(参照图10A)中注册的注册人员(这里是“Fujitaro”但可以是“Fuji Hanako”)并且“Fujitaro”未在跟踪表(参照图10B)中注册为被跟踪人员(步骤S61中的否)的情况下，在步骤S73B中准备图12D所示的UI屏幕。在目标人员是在注册表(参照图10A)中注册的注册人员(这里是“Fujitaro”但可以是“FujiHanako”)，在跟踪表(参照图10B)中“Fujitaro”注册为被跟踪人员(步骤S61中的是)并且未在跟踪表中注册“Fujitaro”的面部信息(步骤S62中的否)的情况下，在步骤S73B 中准备图12D所示的UI屏幕。在目标人员是未在注册表(参照图10A)中注册的未注册人员(例如，“Fujijirou”)并且未将“Fujijirou”在跟踪表中注册为被跟踪人员(步骤S61中的否)的情况下，在步骤S73B中准备图12D所示的UI屏幕。在目标人员是未在注册表(参照图10A)中注册的未注册人员(例如，“Fujijirou”)，在跟踪表(参照图10B)中“Fujijirou”注册为被跟踪人员(步骤S61中的是)并且未在跟踪表中注册“Fujijirou”的面部信息(步骤S62中的否)的情况下，在步骤S73B中准备图12D所示的UI屏幕。显示UI屏幕，以通过用户的手动输入接收认证请求。虚拟键盘、显示利用虚拟键盘输入的内容(用户ID或密码)的显示区、“取消”按钮和“进入”按钮显示在UI屏幕上。

如上所述，在当前实施例中，图12A和图12B所示的在执行认证之后(当认证成功时)的屏幕的内容、图12C所示的在执行认证之前(当认证失败时)的屏幕的内容和图12D所示的对应于手动输入的在执行认证之前(当不可认证时)的屏幕的内容彼此不同。在当前实施例中，如图12A和图12B所示，在执行认证之后的屏幕的内容针对各个注册人员不同。

这里，将对于可检测和不可检测被跟踪人员的面部图像的情况进行简单描述。

图13A和图13B示出了通过第一相机15捕获的第一相机图像的示例。这里，图13A示出了通过对未戴面罩的人员H的面部成像获得的第一相机图像，并且图13B示出了通过对佩戴面罩的人员H的面部成像获得的第一相机图像。

当前实施例的面部注册/认证单元112在面部注册和面部认证中检测诸如眼、鼻和嘴的多个面部部分(例如，14个部分或更多)的特征点，并且在按照三维方式校正面部的大小、方向等之后提取面部的特征量。因为这个原因，在人员H佩戴面罩或太阳镜以覆盖其面部的一部分的情况下，即使在第一相机图像中包括了包括人员H的面部的图像，也不能从第一相机图像执行面部的特征点的检测和特征点的提取。另外，在人员H相对于第一相机15面对正侧面或面向后的情 况下，不能从第一相机图像中执行面部的特征点的检测和特征点的提取。在这种情况下，在图8所示的步骤S26中执行否定确定(否)。

接着，将对在关于相同被跟踪人员获取了多个面部信息的情况下选择一个面部信息的方法进行简单描述。

图14A和图14B示出了通过第一相机15捕获的第一相机图像的示例。这里，图14A示出了通过对在人员检测区R1中位于相对远离面部检测极限L的位置处的人员H进行成像而获得的第一相机图像，并且图14B示出了通过对在人员检测区R1中位于相对靠近面部检测极限L的位置处的人员H进行成像而获得的第一相机图像。

如从图14A和图14B中清楚的是，随着人员H靠近第一相机15，图14B所示的面部图像比图14A所示的面部图像更大(像素数量更大)，因此，更容易提取特征量。因此，例如，在从图14A所示的第一相机图像中获取人员H的面部信息并且将其注册在跟踪表中，然后从图14B所示的第一相机图像中获取人员H的面部信息的情况下，在步骤S29中选择后一个面部信息并且删除前一个面部信息。

另外，例如，在从通过对倾斜地面对第一相机15的人员H的面部进行成像而获得的第一相机图像中获取人员H的面部信息并且将其注册在跟踪表中，然后从通过对面朝第一相机15的前部的人员H的面部进行成像而获得的第一相机图像中获取人员H的面部信息的情况下，在步骤S29中可选择后一个面部信息并且可删除前一个面部信息。

(第二模式)

图21A至图21D示出了在图像形成设备10周围的人员H的位置的时间变化的第一示例中的第二模式。

图21A示出了第一人员H1从人员检测区R1的外部进入人员检测区R1，并且第二人员H2位于人员检测区R1以外的状态。

图21B示出了第一人员H1仍保持在人员检测区R1，并且第二人员H2从人员检测区R1的外部进入人员检测区R1的状态。

图21C示出了第一人员H1从人员检测区R1进入到进入检测区R3，并且第二人员H2仍保持在人员检测区R1的状态。

图21A至图21C分别与在第一模式中描述的图20A至图20C相同，因此这里将省略对其的详细描述。

图21D示出了作为目标人员的第一人员H1从进入检测区R3运动至人员检测区R1的外部，并且不是目标人员的第二人员H2仍保持在人员检测区R1中的状态。在第一示例中，在通过从人员检测区R1进入到进入检测区R3而成为目标人员的第一人员H1运动至人员检测区R1的外部的情况下，在步骤S140中执行否定确定(否)。

这里，在步骤S60B中的面部认证处理中认证成功的情况下(步骤S160中的是)，在步骤S180中取消面部认证。在认证成功(步骤S160中的是)以及在步骤S60B中的面部认证处理中认证失败(步骤S160中的否)的情况下，在步骤S200中均放弃在步骤S67B、步骤S70B和步骤S73B中准备的UI屏幕。在步骤S220中，从跟踪表中删除关于目标人员(这里，第一人员H1)的跟踪ID和面部信息。然而，关于除目标人员以外的人员H(这里，第二人员H2)的信息不会从跟踪表中删除，流程返回至步骤S20，并且随后继续执行跟踪和搜索面部。

(第一示例的总结)

如上所述，在第一示例中，除非在人员检测区R1中被跟踪的第一人员H1或第二人员H2进入到进入检测区R3，否则不产生目标人员，并且因此步骤S60B中的面部认证处理不开始。在第一示例中，除非作为目标人员的特定人员H进一步进入接近检测区R4，否则不在触摸面板130上显示步骤S100中作为目标人员(特定人员H)的认证结果的UI屏幕。

这里，在第一示例中，对第一人员H1和第二人员H2二者进入人员检测区R1、然后第一人员H1比第二人员H2更早进入到进入检测区R3、因此第一人员H1成为目标人员的情况进行了描述。然而，在第二人员H2比第一人员H1更早进入到进入检测区R3的情况下，第二人员H2成为目标人员。在第一人员H1和第二人员H2二者进入人员检测区R1、然后第一人员H1和第二人员H2二者运动至人员检测区R1的外部而不进入到进入检测区R3的情况下，不产生目标人员， 因此步骤S60B中的面部认证处理不开始。

这里，在第一示例中，在特定人员H(在该示例中，第一人员H1)从人员检测区R1进入到进入检测区R3并因此被选择为被跟踪人员之后，在特定人员H持续停留在进入检测区R3中的状态下，即使另一人员H(在该示例中，第二人员H2)从人员检测区R1进入到进入检测区R3，被跟踪人员也不从特定人员H(第一人员H1)改变为另一人员H(第二人员H2)。

[第二示例]

接着，将描述“第二示例”，其中将关于在人员检测区R1中存在的任一个人员H从进入人员检测区R1开始的停留时间段达到预先设置的第一预定时间段用作用于开始步骤S40中的认证处理的指令，并且将停留时间段达到第二预定时间段(第二预定时间段＞第一预定时间段)用作用于开始步骤S80中的显示处理的指令。

(第一模式)

图22A至图22D示出了在图像形成设备10周围的人员H的位置的时间变化的第二示例中的第一模式。

图22A示出了第一人员H1从人员检测区R1的外部进入人员检测区R1，并且第二人员H2位于人员检测区R1以外的状态。在这种情况下，关于第一人员H1，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第一人员H1并且开始跟踪，因此在步骤S25中搜索第一人员H1的面部。当第一人员H1从人员检测区R1的外部进入人员检测区R1时，利用计时器开始计时，并且第一人员H1停留在人员检测区R1中的第一停留时间段T1设为0(T1＝0)。在这种情况下，由于第二人员H2存在于人员检测区R1以外，因此第二人员H2不是处理的目标。

图22B示出了第一人员H1在人员检测区R1中运动，并且第二人员H2从人员检测区R1的外部进入人员检测区R1的状态。此时，在步骤S22中执行肯定确定(是)并且在步骤S23中执行肯定确定(是)，并且持续搜索第一人员H1的面部。另外，此时，关于第二人员H2， 在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第二人员H2并且开始跟踪，因此在步骤S25中搜索第二人员H2的面部。当第二人员H2从人员检测区R1的外部进入人员检测区R1时，利用计时器开始计时，并且第二人员H2停留在人员检测区R1中的第二停留时间段T2设为0(T2＝0)。在这种情况下，随着从图22A所示状态的时间的流逝，第一人员H1的第一停留时间段T1比第二人员H2的第二停留时间段T2更长(T1＞T2)。

图22C示出了第一人员H1仍保持在人员检测区R1，并且第二人员H2在人员检测区R1中运动的状态。在这种情况下，第一人员H1的第一停留时间段T1达到第一预定时间段Ta(T1＝Ta)，并且第二人员H2的第二停留时间段T2比第一停留时间段T1更短，也就是说，比预定时间段Ta更短(T2＜Ta)。这里，在第二示例中，在特定人员H的停留时间段T达到第一预定时间段Ta的情况下(T＝Ta)，指令单元113输出用于开始面部认证处理的指令，因此在步骤S40中执行肯定确定(是)，以使得步骤S60B中的面部认证处理开始(执行)。因此，在该示例中，选择单元114选择第一人员H1作为两个被跟踪人员(第一人员H1和第二人员H2)中的被跟踪人员。

另外，在第二示例中，在已进入到进入检测区R3的目标人员(这里，第一人员H1)通过面部检测极限L之前完成了步骤S61至步骤S65中的各个处理。另外，在第二示例中，在已进入到进入检测区R3的目标人员(这里，第一人员H1)通过面部检测极限L之前执行步骤S66、步骤S69或者步骤S72中的通知。与此同时，投影仪17在屏幕18上显示消息M。消息M的内容与在图20A至图20D所示的第一示例中的第一模式中描述的相同。

在第二示例中，在达到第一预定时间段Ta的目标人员(这里，第一人员H1)的停留时间段T达到第二预定时间段Tb(Tb＞Ta)之前完成步骤S67B、步骤S70B和步骤S73B中的各个处理。在步骤S67B、步骤S70B和步骤S73B中准备的UI屏幕的内容与参照图12A至图12D描述的内容相同。

图22D示出了作为目标人员的第一人员H1在人员检测区R1中运动，并且不是目标人员的第二人员H2仍保持在人员检测区R1中的状态。在这种情况下，第一人员H1的第一停留时间段T1达到第二预定时间段Tb(设定时间段的示例)(T1＝Tb)，并且第二人员H2的第二停留时间段T2比第一停留时间段T1更短(T2＜T1)。这里，在第二示例中，在作为停留时间段T达到第一预定时间段Ta的结果而成为被跟踪人员的特定人员H(在该示例中，第一人员H1)的停留时间段T(这里，第一停留时间段T1)进一步达到第二预定时间段Tb(T＝Tb)的情况下，指令单元113输出用于开始显示处理的指令，因此在步骤S80中执行肯定确定(是)，以使得步骤S100中的UI屏幕的显示开始。在第二示例中，在从图22C所示的状态转变至图22D所示的状态的过程中，投影仪17完成消息M的通知。

这里，在第二示例中，可在其停留时间段T已达到第二预定时间段Tb的目标人员(这里，第一人员H1)进入人员操作区R2之前执行步骤S100中的UI屏幕的显示。按照上述方式，在目标人员(这里，第一人员H1)进入人员操作区R2并且站在用户界面13前面的状态下，已在触摸面板130上显示对应于目标人员的认证结果的UI屏幕。

(第二模式)

图23A至图23D示出了在图像形成设备10周围的人员H的位置的时间变化的第二示例中的第二模式。

图23A示出了第一人员H1从人员检测区R1的外部进入人员检测区R1，并且第二人员H2位于人员检测区R1以外的状态。

图23B示出了第一人员H1在人员检测区R1中运动，并且第二人员H2从人员检测区R1的外部进入人员检测区R1的状态。

图23C示出了第一人员H1仍保持在人员检测区R1中，并且第二人员H2在人员检测区R1中运动的状态。

图23A至图23C分别与在第一模式中描述的图22A至图22C相同，因此本文将省略对其的详细描述。

图23D示出了作为目标人员的第一人员H1从人员检测区R1运 动至人员检测区R1的外部，并且不是目标人员的第二人员H2仍保持在人员检测区R1中的状态。在这种情况下，第一人员H1的第一停留时间段T1没有达到第二预定时间段Tb(T1＜Tb)，并且第二人员H2的第二停留时间段T2比第一停留时间段T1更短(T2＜T1)。在第二示例中，在作为停留时间段T(这里，第一停留时间段T1)达到第一预定时间段Ta的结果而成为目标人员的第一人员H1在停留时间段T达到第二预定时间段Tb之前运动至人员检测区R1的外部的情况下，在步骤S140中执行否定确定(否)。

这里，在步骤S60B中的面部认证处理中认证成功的情况下(步骤S160中的是)，在步骤S180中取消面部认证。在认证成功(步骤S160中的是)以及在步骤S60B中的面部认证处理中认证失败(步骤S160中的否)的情况下，在步骤S200中均放弃在步骤S67B、步骤S70B和步骤S73B中准备的UI屏幕。在步骤S220中，从跟踪表中删除关于目标人员(这里，第一人员H1)的跟踪ID和面部信息。然而，关于除目标人员以外的人员H(这里，第二人员H2)的信息不会从跟踪表中删除，流程返回至步骤S20，并且随后继续执行跟踪和搜索面部。

(第二示例的总结)

如上所述，在第二示例中，除非在人员检测区R1中被跟踪的第一人员H1或第二人员H2的停留时间段T达到第一预定时间段Ta，否则不产生目标人员，并且因此步骤S60B中的面部认证处理不开始。在第二示例中，除非作为目标人员的特定人员H的停留时间段T进一步达到第二预定时间段Tb，否则不在触摸面板130上显示步骤S100中的作为目标人员(特定人员H)的认证结果的UI屏幕。

这里，在第二示例中，对第一人员H1和第二人员H2二者进入人员检测区R1、然后第一人员H1的第一停留时间段T1比第二人员H2的第二停留时间段T2更早达到第一预定时间段Ta、因此第一人员H1成为目标人员的情况进行了描述。然而，在第二人员H2的第二停留时间段T2比第一人员H1的第一停留时间段T1更早达到第一预定时间段Ta的情况下，第二人员H2成为目标人员。在第一人员H1和 第二人员H2二者进入人员检测区R1并且然后第一人员H1和第二人员H2二者在其停留时间段T达到第一预定时间段Ta之前运动至人员检测区R1的外部的情况下，不产生目标人员，因此步骤S60B中的面部认证处理不开始。

这里，在第二示例中，在特定人员H(在该示例中，第一人员H1)的停留时间段T(这里，第一停留时间段T1)达到第一预定时间段Ta，因此特定人员H被选为被跟踪人员之后，在特定人员H持续停留在人员检测区R1中的状态下，即使另一人员H(在该示例中，第二人员H2)的停留时间段(这里，第二停留时间段T2)达到第一预定时间段Ta，被跟踪人员也不从特定人员H(第一人员H1)改变为另一人员H(第二人员H2)。

[第三示例]

最后，将描述“第三示例”，其中将在人员检测区R1中存在的任一个人员H进入人员检测区R1并且然后接近图像形成设备10用作用于开始步骤S40中的面部认证处理的指令，并且将进入人员检测区R1并且然后接近图像形成设备10的人员H进一步接近图像形成设备10用作用于开始步骤S80中的显示处理的指令。

(第一模式)

图24A至图24D示出了在图像形成设备10周围的人员H的位置的时间变化的第三示例中的第一模式。

图24A示出了第一人员H1从人员检测区R1的外部进入人员检测区R1，并且第二人员H2位于人员检测区R1以外的状态。在这种情况下，关于第一人员H1，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第一人员H1并且开始跟踪，因此在步骤S25中搜索第一人员H1的面部。在这种情况下，由于第二人员H2存在于人员检测区R1以外，因此第二人员H2不是处理的目标。

图24B示出了第一人员H1仍保持在人员检测区R1中，并且第二人员H2从人员检测区R1的外部进入人员检测区R1的状态。在这种情况下，关于第一人员H1，在步骤S22中执行肯定确定(是)并 且还在步骤S23中执行肯定确定(是)，并且持续搜索第一人员H1的面部。此时，关于第二人员H2，在步骤S22中执行肯定确定(是)，并且在步骤S23中执行否定确定(否)，从而在步骤S24中将跟踪ID赋予第二人员H2并且开始跟踪，因此在步骤S25中搜索第二人员H2的面部。

图24C示出了第一人员H1在人员检测区R1中运动，并且第二人员H2也在人员检测区R1中运动的状态。然而，在这种情况下，第一人员H1沿着逐渐靠近图像形成设备10的方向运动，并且第二人员H2沿着与第一人员H1相比不逐渐靠近图像形成设备10的方向运动。这里，在第三示例中，在特定人员H进入人员检测区R1并且然后接近图像形成设备10的情况下，指令单元113输出用于开始认证处理的指令，因此在步骤S40中执行肯定确定(是)，从而步骤S60中的认证处理开始(执行)。因此，在该示例中，选择单元114选择第一人员H1作为两个被跟踪人员(第一人员H1和第二人员H2)中的目标人员。

另外，在第三示例中，在已进入到进入检测区R3的目标人员(这里，第一人员H1)通过面部检测极限L之前完成步骤S61至步骤S65中的各个处理。另外，在第三示例中，在已进入到进入检测区R3的目标人员(这里，第一人员H1)通过面部检测极限L之前执行步骤S66、步骤S69或步骤S72中的通知。与此同时，投影仪17在屏幕18上显示消息M。消息M的内容与在图20A至图20D所示的第一示例中的第一模式中描述的内容相同。

在第三示例中，在已进入到进入检测区R3的目标人员(这里，第一人员H1)进入接近检测区R4之前完成步骤S67B、步骤S70B和步骤S73B中的对应的处理。在步骤S67B、步骤S70B和步骤S73B中准备的UI屏幕的内容与参照图12A至图12D描述的相同。

图24D示出了作为目标人员的第一人员H1从人员检测区R1进入到进入检测区R3，并且不是目标人员的第二人员H2在人员检测区R1中运动的状态。然而，在这种情况下，第一人员H1沿着逐渐靠近图像形成设备10的方向运动，并且第二人员H2沿着与第一人员H1 相比逐渐远离图像形成设备10的方向运动。这里，在第三示例中，在通过进入人员检测区R1然后接近图像形成设备10而成为目标人员的特定人员H(在该示例中，第一人员H1)进一步接近图像形成设备10的情况下，指令单元113输出用于开始显示处理的指令，并且因此在步骤S80中执行肯定确定(是)，从而步骤S100中的UI屏幕的显示开始。在第三示例中，投影仪17在从图24C所示的状态转变至图24D所示的状态的过程中完成消息M的通知。

这里，在第三示例中，可在人员检测区R1中接近图像形成设备10的目标人员(这里，第一人员H1)进入人员操作区R2之前执行步骤S100中的UI屏幕的显示。按照上述方式，在目标人员(这里，第一人员H1)进入人员操作区R2并站在用户界面13前面的状态下，已在触摸面板130上显示对应于目标人员的认证结果的UI屏幕。

(第二模式)

图25A至图25D示出了在图像形成设备10周围的人员H的位置的时间变化的第三示例中的第二模式。

图25A示出了第一人员H1从人员检测区R1的外部进入人员检测区R1，并且第二人员H2位于人员检测区R1以外的状态。

图25B示出了第一人员H1仍保持在人员检测区R1中，并且第二人员H2从人员检测区R1的外部进入人员检测区R1的状态。

图25C示出了第一人员H1在人员检测区R1中运动，并且第二人员H2也在人员检测区R1中运动的状态。

图25A至图25C分别与在第一模式中描述的图24A至图24C相同，因此本文将省略对其的详细描述。

图25D示出了作为目标人员的第一人员H1从人员检测区R1运动至人员检测区R1的外部，并且不是目标人员的第二人员H2仍保持在人员检测区R1中的状态。在第三示例中，在作为在人员检测区R1中沿着逐渐靠近图像形成设备10的方向运动的结果而成为目标人员的第一人员H1运动至人员检测区R1的外部的情况下，在步骤S140中执行否定确定(否)。

这里，在步骤S60B中的面部认证处理中认证成功的情况下(步 骤S160中的是)，在步骤S180中取消面部认证。在认证成功(步骤S160中的是)以及在步骤S60B中的面部认证处理中认证失败(步骤S160中的否)的情况下，在步骤S200中均放弃在步骤S67B、步骤S70B和步骤S73B中准备的UI屏幕。在步骤S220中，从跟踪表中删除关于目标人员(这里，第一人员H1)的跟踪ID和面部信息。然而，关于除目标人员以外的人员H(这里，第二人员H2)的信息不会从跟踪表中删除，流程返回至步骤S20，并且随后继续执行跟踪和搜索面部。

(第三示例的总结)

如上所述，在第三示例中，除非在人员检测区R1中被跟踪的第一人员H1或第二人员H2沿着逐渐靠近图像形成设备10的方向运动，否则不产生目标人员，并且因此步骤S60B中的面部认证处理不开始。在第三示例中，除非作为目标人员的特定人员H沿着接近图像形成设备10的方向进一步运动，否则不在触摸面板130上显示步骤S100中的作为目标人员(特定人员H)的认证结果的UI屏幕。

这里，在第三示例中，对第一人员H1和第二人员H2二者进入人员检测区R1、然后第一人员H1更早沿着逐渐靠近图像形成设备10的方向运动、因此第一人员H1成为目标人员的情况进行了描述。然而，在第二人员H2比第一人员H1更早沿着逐渐靠近图像形成设备10的方向运动的情况下，第二人员H2成为目标人员。在第一人员H1和第二人员H2二者进入人员检测区R1，并且然后第一人员H1和第二人员H2二者运动至人员检测区R1的外部而不沿着逐渐靠近图像形成设备10的方向运动的情况下，不产生目标人员，因此步骤S60B中的面部认证处理不开始。

这里，在第三示例中，在特定人员H(在该示例中，第一人员H1)在人员检测区R1中沿着逐渐靠近图像形成设备10的方向运动并因此被选为被跟踪人员之后，在特定人员H继续在人员检测区R1中沿着逐渐靠近图像形成设备10的方向运动的状态下，即使另一人员H(在该示例中，第二人员H2)沿着逐渐靠近图像形成设备10的方向运动，被跟踪人员也不从特定人员H(第一人员H1)改变为另一人 员H(第二人员H2)。

[其它示例]

这里，在上述第一示例至第三示例中，对在图像形成设备10周围存在两个人员H(第一人员H1和第二人员H2)的情况进行了描述，可以存在图像形成设备10周围存在单个人员H的情况以及图像形成设备10周围存在三个或更多个人员H的情况。

虽然在第一示例至第三示例中未描述，在作为从人员检测区R1的外部进入人员检测区R1的结果而在步骤S24中被赋予跟踪ID但是在步骤S60B中未成为目标人员的被跟踪人员(例如，第二人员H2)从人员检测区R1的内部运动至人员检测区R1的外部的情况下，在步骤S32中从跟踪表中删除关于该被跟踪人员(这里，第二人员H2)的跟踪ID和面部信息。

在当前实施例中，在图19所示的步骤S62中的面部认证处理中未注册目标人员(被跟踪人员)的面部信息的情况下(否)，在步骤S71中在触摸面板130上显示用于手动输入认证的UI屏幕(参照图12D)，从而通过手动输入接收认证，但是本发明不限于此。例如，可利用设置在用户界面13中的第二相机16捕获停留在人员操作区R2中的人员H的面部图像，并且可从获得的第二相机图像中获取面部信息，从而可再次执行面部认证。在这种情况下，第二相机图像可与用于提示利用第二相机16捕获面部图像的指令一起显示在触摸面板130上。

在当前实施例中，在图6所示的控制图像形成设备10的模式的过程中，在步骤S6中发生从睡眠模式转变为正常模式，然后在步骤S7中开始人员H的面部的检测，但是本发明不限于此。例如，人员H的面部的检测可与开始步骤S4中的检测人员H的运动的处理结合地开始。在这种情况下，在设定睡眠模式的状态下开始人员H的面部的检测。在采用了在设定睡眠模式的状态下开始人员H的面部的检测的构造的情况下，例如，当在图18所示的步骤S40中存在用于开始面部认证处理的指令时(步骤S40中的是)，可使得图像形成设备10从睡眠模式转变为正常模式。

在当前实施例中，显示图像的投影仪17用作通知单元115的情况作为示例进行了描述，但是本发明不限于此。可使用从例如声源输出声音或者从例如光源(灯)发射光的方法。这里，在当前实施例中，当利用获取的面部图像的认证成功时(步骤S66)，当利用获取的面部图像的认证失败时(步骤S69)，以及当由于不能获取面部图像而不能执行认证时(步骤S72)，执行通知，但是本发明不限于此。例如，(1)在从第一相机图像检测面部图像之前，(2)在从第一相机图像检测到面部图像之后在利用面部图像执行认证之前，以及(3)在执行认证处理之后，可执行通知。

上面讨论的实施例可公开以下内容。

[1]一种处理设备，包括：

成像单元，其对处理设备的附近进行成像；

显示单元，其显示与通过成像单元捕获的人员的图像相关的屏幕；以及

指令单元，其指示显示单元开始显示，

其中，成像单元在通过指令单元给出指令之前开始成像，并且

在通过指令单元给出指令之后，显示单元开始显示与通过成像单元捕获的人员的图像相关的屏幕。

[2]可存在根据[1]所述的处理设备，其中，成像单元捕获在第一区中存在的人员的图像，并且

指令单元在第二区中存在人员的情况下指示显示单元开始显示，第二区位于第一区内部并且比第一区更窄。

[3]可存在根据[1]所述的处理设备，其中，成像单元捕获在第一区中存在的人员的图像，并且

指令单元在存在于第一区中的人员在第一区中停留预先设定的设定时段或更久的情况下指示显示单元开始显示。

[4]可存在根据所述[1]的处理设备，其中，成像单元捕获在第一区中存在的人员的图像，并且

指令单元在存在于第一区中的人员接近处理设备的情况下指示显示单元开始显示。

针对示出和描述的目的提供了本发明的示例性实施例的以上描述。该描述不旨在是全面的，或者将本发明限于公开的具体形式。明显的是，许多修改和改变将对于本领域技术人员来说是显而易见的。选择和描述实施例以最好地解释本发明的原理及其实际应用，从而使得其它技术人员能够理解本发明的各个实施例以及适合于考虑的特定用途的各种变型例。本发明的范围旨在由权利要求及其等同物限定。