信息处理装置、背景图像更新方法和非暂态计算机可读存储介质与流程

本文讨论的实施方式涉及信息处理装置、背景图像更新方法和非暂态计算机可读存储介质。

背景技术：

迄今为止，背景差分法被认为是从由摄像机捕获的运动图像检测作为前景出现的移动对象的方法。在背景差分法中，从由摄像机捕获的运动图像检测不包括要检测的对象的背景图像(也被称为背景模型)并且存储该背景图像。从由摄像机捕获的运动图像获得背景图像的差异，从而检测移动对象出现的图像区域。

作为用于检测要被用于背景差分法的背景图像的技术，已知使用预定透过率来控制监测图像中的每个区域的像素值并且依次更新与背景图像对应的区域的像素值的技术。已知增加除了被确定为处于移动对象区域中的像素之外的像素的计数值并且更新具有已经达到预定值的计数值的像素的背景图像数据的技术。已知以下技术：通过对作为前景连续出现的次数进行计数将具有变得等于或高于用于确定静止的预定阈值的静止时间的部分确定为静止区域，并且创建被确定为静止区域的区域的新背景模型。

[相关领域技术文献]

[专利文献]

[专利文献1]日本公开特许公报第2013-152669号。

[专利文献2]日本公开特许公报第2003-123074号。

[专利文献3]日本公开特许公报第2010-15469号。

技术实现要素：

鉴于前述内容，本公开内容的目的是抑制对包括在背景图像中的移动对象的检测。

根据实施方式的一个方面，一种信息处理装置包括存储器以及耦接至存储器的处理器，并且该处理器被配置成执行处理，该处理包括：基于运动图像中的多个帧彼此之间的比较的结果提取与运动图像中的多个帧中包括的移动对象对应的移动对象区域；在多个帧之中追踪移动对象区域的位置；针对多个帧中的每一个将除了其位置移动超过限定时间段的移动对象区域之外的图像区域确定为背景区域；以及基于确定的结果更新运动图像的背景图像。

附图说明

图1是示出根据第一实施方式的检测设备的功能配置的示例的框图。

图2是说明背景区域的确定的说明图。

图3是说明已经更新的背景图像的说明图。

图4是说明根据第一实施方式的系统配置的示例的说明图。

图5是示出根据第一实施方式的系统的功能配置的示例的框图。

图6是示出根据第一实施方式的系统的操作的示例的流程图。

图7是说明根据第二实施方式的系统配置的示例的说明图。

图8是示出根据第二实施方式的系统的功能配置的示例的框图。

图9a和图9b是示出根据第二实施方式的系统的操作的示例的流程图。

图10是说明振动指令的确定的说明图。

图11是说明根据第三实施方式的系统配置的示例的说明图。

图12是示出根据第三实施方式的系统的功能配置的示例的框图。

图13a和图13b是示出根据第三实施方式的系统的操作的示例的流程图。

图14是示出根据实施方式的检测设备的硬件配置的示例的框图。

具体实施方式

然而，在上述相关技术中，例如，存在以下问题：如果出现在由摄像机捕获的运动图像中的移动对象在一定时间段内停止移动，则检测到其中移动对象就像阴影一样出现的背景图像。

根据一个方面，目的是抑制对包括在背景图像中的移动对象的检测。

在下面，将参照附图给出对根据实施方式的信息处理装置、背景更新方法以及背景更新程序的描述。在实施方式中，对具有相同功能的部件给出相同附图标记，并且将省略冗余的描述。在以下实施方式中描述的信息处理装置、背景更新方法和背景更新程序仅是示例，并且不限制实施方式。下面描述的每个实施方式可以在不会引起不一致的范围内适当地组合。

(第一实施方式)

图1是示出根据第一实施方式的检测设备的功能配置的示例的框图。如图1中所示，将由摄像机2捕获的运动图像输入到检测设备1。检测设备1包括背景检测单元10，背景检测单元10从输入的运动图像检测与除了作为前景出现的移动对象之外的背景对应的背景图像3。检测设备1是对运动图像执行图像处理的信息处理装置，并且例如可以采用pc(个人计算机)、智能电话、平板终端等。

背景图像3是与用于通过背景差分法检测其中移动对象出现的图像区域的背景对应的也被称为背景模型的图像数据，并且例如是指示与背景对应的图像区域的每个像素的包括亮度值等的像素值的图像数据。在背景差分法中，通过从由摄像机2捕获的运动图像获得背景图像3的差异，可以检测其中移动对象出现的图像区域。

背景检测单元10包括移动对象区域提取单元11、移动对象区域保存单元12、移动对象区域追踪单元13、背景区域确定单元14、背景更新单元15和背景保存单元16。

移动对象区域提取单元11基于由摄像机2输入的运动图像的前一帧与后一帧的比较的结果提取移动对象区域，该移动对象区域是与每一帧中出现的移动对象对应的图像区域。也就是说，移动对象区域提取单元11是提取单元的示例。

移动对象区域保存单元12保存由移动对象区域提取单元11提取的移动对象区域。具体地，移动对象区域保存单元12提取并保存由移动对象区域提取单元11从帧提取的移动对象区域中的像素。

移动对象区域追踪单元13参考保存在移动对象区域保存单元12中的移动对象区域，以基于由移动对象区域提取单元11提取的移动对象区域与运动图像的每一帧之间的相关性来在帧之间追踪移动对象区域的位置。也就是说，移动对象区域追踪单元13是追踪单元的示例。

背景区域确定单元14将每一帧的除了由移动对象区域提取单元11提取的移动对象区域之外的背景区域确定为由摄像机2捕获的运动图像的每一帧中的图像区域。如果帧中包括具有由移动对象区域追踪单元13追踪的位置的移动对象区域，则背景区域确定单元14将除了该移动对象区域之外的图像区域确定为每一帧的背景区域。也就是说，背景区域确定单元14是确定单元的示例。

图2是说明背景区域的确定的说明图。在图2中，运动图像g1是由摄像机2捕获并输入到背景检测单元10中的运动图像。相关性信息g2是通过计算运动图像g1的前一帧与后一帧的亮度值的相关性而获得的信息。

如图2中所示，如果包括在运动图像g1的前一帧和后一帧中移动的移动对象，则在相关性信息g2中与移动对象对应的区域r1的相关性变低。

因此，移动对象区域提取单元11根据要处理的帧与前一帧的相关性信息g2获得具有低相关性的区域r1作为包括移动对象的候选区域。移动对象区域提取单元11在所获得的区域r1中提取在亮度值上与要处理的帧具有高相关性的区域r2作为与移动对象对应的移动对象区域。由此，背景区域确定单元14将除了与具有运动的移动对象对应地提取的区域r2之外的图像区域确定为背景区域。

在移动对象如在“帧t-1”和之后中那样停止移动的情况下，根据相关性信息g2未获得具有低相关性的区域r1，移动对象区域提取单元11不提取移动对象区域。

为了应对移动对象的这样的静止，移动对象区域追踪单元13基于移动对象区域保存单元12中保存的移动对象区域即区域r2与运动图像g1的每一帧之间的相关性在帧之中追踪移动对象区域的位置。具体地，移动对象区域追踪单元13在运动图像g1的每一帧中追踪与区域r2具有高相关性的位置。

例如，在图2的示例中，尽管移动对象在“帧t-1”和之后的帧中处于静止，但是移动对象区域追踪单元13基于与直到前一帧获得的区域r2的相关性追踪与已经停止的移动对象对应的区域r3的位置。由此，在已经由移动对象区域追踪单元13追踪其位置的区域r3保留在帧中的情况下，背景区域确定单元14将除了区域r3之外的图像区域确定为背景区域。

背景更新单元15基于由背景区域确定单元14确定的每一帧中的背景区域来检测由摄像机2捕获的运动图像的每一帧中的背景图像3。也就是说，例如，背景更新单元15是背景检测单元的示例。

具体地，例如，背景更新单元15基于由背景区域确定单元14确定的背景区域将要处理的帧的背景区域中的像素值(例如，亮度值)乘以预定值。由此，背景更新单元15从要处理的帧检测与背景区域对应的背景图像。

接下来，背景更新单元15从保存直到要处理的帧的前一帧检测到的背景图像的背景保存单元16读取背景图像，并且与从要处理的帧检测到的背景图像进行相加。由此，背景更新单元15将由背景保存单元16保存的背景图像更新为直到要处理的帧的背景图像。接下来，背景更新单元15输出更新后的背景图像作为背景图像3。

图3是说明已经更新的背景图像的说明图。在图3中，运动图像g1是从帧外移入的商店员工h在收银机处工作的场景。如果将除了由移动对象区域提取单元11提取的移动对象区域之外的图像区域确定为背景区域，则未从处于静止状态和之后的帧中提取到移动对象区域，并且因此与在收银机处的停止移动的商店员工h对应的阴影h'有时被包括在背景图像3'中。以这种方式，如果使用其中移动对象(商店员工h)作为阴影出现的背景图像3'执行背景差分法，则引起移动对象的检测准确度的降低。

相反，在已经由移动对象区域追踪单元13追踪其位置的移动对象区域保留在帧中的情况下，如果将除了该移动对象区域之外的图像区域确定为背景区域，则除了已经停止在收银机前方的商店员工h之外的图像区域被确定为背景区域。因此，可以获得不包括商店员工h的背景图像3。

例示了上述设备1被应用于监视在商店员工照顾顾客时的顾客接待的系统的情况，并且将给出对由检测设备1执行的处理的详细信息的描述。

图4是说明根据第一实施方式的系统配置的示例的说明图。如图4中所示，摄像机2捕获在顾客h1和商店员工h2的顾客接待场景下的商店员工h2的运动图像，并且将捕获的运动图像输出至上司h3的终端设备1a。

终端设备1a是信息处理装置例如应用上述检测设备1的pc等，并且从由摄像机2捕获的运动图像检测背景图像。终端设备1a基于检测到的背景图像通过背景差分法检测商店员工h2在顾客接待时的运动，评估商店员工h2对顾客h1的顾客接待，并且向显示器等显示评估结果。由此，上司h3可以检查商店员工h2的顾客接待。

图5是示出根据第一实施方式的系统的功能配置的示例的框图。如图5中所示，终端设备1a包括背景检测单元10a、背景差分处理单元20、面部检测单元21、运动计算单元22、点头检测单元23、接待质量评估单元24、数据处理单元25和输出单元26。

背景检测单元10a包括移动对象区域提取单元11、移动对象区域保存单元12、移动对象区域追踪单元13、背景区域确定单元14、背景更新单元15、背景保存单元16和运动保存单元17。

移动对象区域提取单元11包括移动对象区域候选提取单元11a、特征点提取单元11b、内区域特征点提取单元11c、移动对象区域候选运动计算单元11d和移动对象区域确定单元11e。

移动对象区域候选提取单元11a基于前一帧与后一帧的相关性来提取移动对象区域的候选。具体地，例如，如由下面的表达式(1)所示的，移动对象区域候选提取单元11a获得具有比要处理的帧与前一帧之间的相关性信息g2的相关性低的相关性的区域r1作为在要处理的帧中的移动对象区域候选。

[表达式1]

∑m＝-m，…，m，n＝-n，…，n|g(t，x+m，y+n)-g(t+1，x+m，y+n)|＞t1…(1)

在表达式(1)中，t是与帧有关的时间，并且g(t,x,y)是在时间(t)处的帧中的像素(x，y)。阈值t1是预先设置的用于确定相关值的阈值。移动对象区域候选提取单元11a获得满足表达式(1)的像素点(x，y)的集合c即移动对象区域候选。

特征点提取单元11b从由移动对象区域候选提取单元11a提取的当前时间(t)处的移动对象区域候选提取图像中的特征点。例如，特征点提取单元11b提取满足以下表达式(2)中的四个表达式中的两个或更多个表达式的点(x，y)∈c作为特征点。阈值t2是预先设置的用于确定特征点的阈值。

由此，特征点提取单元11b提取在附近存在具有不同方向的两个或更多个突出边缘的点作为特征点。作为满足表达式(2)中的四个表达式中的两个或更多个表达式的点被提取的点(x，y)∈c的集合被假设为p。

[表达式2]

内区域特征点提取单元11c基于由特征点提取单元11b提取的特征点提取在下一时间(t+1)处的移动对象区域候选中的特征点作为内区域特征点。具体地，内区域特征点提取单元11c针对在下一时间(t+1)处的帧中的移动对象区域候选中的点中的每个特征点在附近搜索在亮度上具有特定值或更高值的相关性的点，并且将搜索到的点确定为内区域特征点。

例如，假设点(k，l)∈c，内区域特征点提取单元11c获得满足以下表达式(3)的点(x，y)∈p作为内区域特征点。假设阈值t3是预先设置的用于确定相关性的高度的阈值。所获得的点的集合被假设为p'。在下一时间(t+1)处的内区域特征点的集合被假设为c'。

[表达式3]

∑m＝-m,…,m,n＝-n，…，n|g(t,x+m,y+n)-g(t+1,k+m,i+n)|＜t3…(3)

移动对象区域候选运动计算单元11d针对每个内区域特征点通过从目的地位置减去移动之前的位置来获得运动，计算所获得的运动的平均值作为移动对象区域候选的运动。具体地，移动对象区域候选运动计算单元11d通过以下表达式(4)计算移动对象区域候选的运动(u(t)，v(t))。

[表达式4]

移动对象区域确定单元11e从移动对象区域候选确定移动对象区域。具体地，在当前时间处的移动对象区域候选的每个点移动了由移动对象区域候选运动计算单元11d计算的移动对象区域候选的运动的情况下，如果移动之后的位置在移动对象区域候选内，则移动对象区域确定单元11e确定该点包括在移动对象区域中。

例如，如果在每个点(x，y)∈c处(x+u，y+v)∈c'，则确定该点包括在移动对象区域中。接下来，移动对象区域确定单元11e将移动对象区域候选的被确定为包括在移动对象区域中的每个点(集合r)确定为移动对象区域。由此，移动对象区域提取单元11提取移动对象区域，该移动对象区域是与在每一帧中出现的移动对象对应的图像区域。

移动对象区域保存单元12基于由移动对象区域确定单元11e确定的移动对象区域提取并保存移动对象区域中的像素(集合r)。也就是说，移动对象区域保存单元12提取并保存从每一帧提取的移动对象区域。

移动对象区域追踪单元13参考保存在移动对象区域保存单元12中的移动对象区域，并且基于运动图像与每一帧的相关性在帧之中追踪移动对象区域的位置。具体地，移动对象区域追踪单元13使用保存在移动对象区域保存单元12中的移动对象区域mr获得使以下表达式(5)的值最小化的平移量(p，q)。移动对象区域追踪单元13追踪通过平移移动对象区域mr中的每个点而产生的点的集合作为下一时间处的移动对象区域mr'。

[表达式5]

∑(x，y)∈mr|g(t，x，y)-g(t+1，x+p，y+q)|…(5)

移动对象区域追踪单元13将当前时间处的移动对象区域的位置与下一时间处的移动对象区域的位置之间的差值即平移量(p，q)作为运动保存在运动保存单元17中。

背景区域确定单元14将除了由移动对象区域提取单元11提取的移动对象区域之外的图像区域确定为每一帧的背景区域。如果帧包括已经由移动对象区域追踪单元13追踪其位置的移动对象区域，则背景区域确定单元14还基于移动对象区域追踪单元13的追踪结果将除了该移动对象区域之外的图像区域确定为每一帧的背景区域。

更具体地，背景区域确定单元14确定由移动对象区域追踪单元13追踪其位置的移动对象区域的运动(u(k)，v(k))在k＝1,...,t中的每个时间处满足以下表达式(6)的次数。阈值t4是预先设置的用于确定位置的移动的阈值。

[表达式6]

|u(k)|+|v(k)|>t4…(6)

接下来，如果表达式(6)被满足的次数等于或高于阈值t5，则背景区域确定单元14将除了已经由移动对象区域追踪单元13追踪其位置的移动对象区域之外的图像区域确定为背景区域。阈值t5是预先设置的用于确定位置已经移动的帧数的阈值。

也就是说，背景区域确定单元14将除了其位置已经移动了超过等于或大于阈值t5的帧数的移动对象区域之外的图像区域确定为背景区域。以这种方式，在其位置已经被追踪的移动对象区域中，除了其位置已经移动达等于或大于阈值t5的帧数的移动对象区域之外的图像区域被确定为背景区域。因此，例如，可以抑制随风摇摆达数帧的树枝被视为移动对象区域并被从背景中排除的情况。

背景更新单元15基于由背景区域确定单元14确定的背景区域将当前时间处的帧中的背景区域中的每个点的亮度值乘以预定值(固定值α)。由此，背景更新单元15获得当前时间处的帧中的背景区域中的亮度值(用于与直到当前时间处的帧的背景图像(背景模型)相加的当前时间处的帧中的背景图像)。

接下来，背景更新单元15从背景保存单元16读取当前时间之前的背景图像，并且与在当前时间处的帧中的背景区域的亮度值进行相加。背景更新单元15将通过将相加的背景图像除以1和固定值α的总和值而产生的值确定为直到当前时间的背景图像，并且更新背景保存单元16中的背景图像。具体地，背景更新单元15通过以下表达式(7)更新已经被确定为背景图像(h)中的背景的每个点(x，y)的背景。

[表达式7]

h(t+1,x,y)＝(g(t+1,x,y)×α+h(t，x，y)/(α+1)…(7)

背景差分处理单元20执行与背景差分法有关的背景差分处理。具体地，背景差分处理单元20参考背景保存单元16中的背景图像，并且基于摄像机2的运动图像g1的每一帧与背景图像之间的差异来检测与运动图像g1的每一帧中包括的移动对象对应的移动对象图像。也就是说，背景差分处理单元20是差分处理单元的示例。

更具体地，背景差分处理单元20基于运动图像g1的每一帧的点g(t,x,y)与背景保存单元16中的背景图像h(t,x,y)的差异来获得满足以下表达式(8)的点的集合作为移动对象区域hmr。阈值t6是预先设置的用于通过背景差分法确定移动对象区域hmr的阈值。

[表达式8]

∑m＝-m，…，m，n＝-n，…，n|g(t,x+m,y+n)-h(t,x+m,y+n)|>t6…(8)

面部检测单元21从由背景差分处理单元20检测到的移动对象区域hmr检测人的面部图像。具体地，假设预先捕获的商店员工h2的面部图像是f(x,y)(x＝0,...,2x,y＝0,...,2y)，面部检测单元21检测满足以下表达式(9)并且被包括在移动对象区域hmr中的区域作为面部图像。

[表达式9]

∑m＝-x，…，x，n＝-y，…，y|f(x+m，y+n)-g(t，k+m，1+n)|＜t7…(9)

在表达式(9)中，阈值t7是预先设置的用于确定面部的阈值。在表达式(9)中，要作为面部图像的区域(fr)变成以像素(k，l)作为面部的中心的(2x+1)×(2y+1)的矩形。

运动计算单元22计算由面部检测单元21检测到的面部图像在前一帧和后一帧中的运动。具体地，运动计算单元22计算使下面的表达式(10)最小化的(k，l)作为面部的运动。

[表达式10]

∑(x,y)efr|g(t,x,y)-g(t+1,x+k,y+1)|...(10)

点头检测单元23基于由运动计算单元22计算的面部的运动来检测面部的点头即商店员工h2的点头。具体地，在面部运动(u，v)中的v值(点头时面部在竖直方向上的运动)在负方向上变化等于或大于预定阈值t8的量并且然后在正方向上变化等于或大于预定阈值t8的量的情况下，点头检测单元23将其确定为点头。

例如，假设在v变成最低值vmin之前的并且在其处发生小于阈值t5的变化的时间是开始时间，并且此时的v值是vleft。假设在v变成最低值vmin之后的并且在其处发生小于阈值t5的变化的时间是结束时间，并且此时的v值是vright。点头检测单元23通过以下表达式(11)获得点头的时间长度(i)和点头的深度(j)，点头的深度(j)是v的变化量。

[表达式11]

i＝(结束时间)-(开始时间),j＝((vleft-vmin)+(vright-vmin))/2…(11)

接待质量评估单元24基于由点头检测单元23检测到的商店员工h2的点头来评估商店员工h2对顾客h1的接待质量。也就是说，接待质量评估单元24是基于移动对象图像评估移动对象的运动的评估单元的示例。

具体地，接待质量评估单元24基于记载“当相同的点头持续时，交谈的人感觉他或她真的是听到”的相关技术知识根据由点头检测单元23检测到的商店员工h2的点头的时间长度(i)和点头的深度(j)来获得商店员工h2的接待质量。

例如，假设第s次的点头的时间长度是is，并且点头的深度是js，接待质量评估单元24从r为s-1时起减去1直到r满足以下两个表达式(12)。接待质量评估单元24计算表达式(12)变得不被满足时的次数r＝s-r。接下来，接待质量评估单元24使用计算的次数r通过评估值＝1/r来计算接待质量的评估值。

[表达式12]

数据处理单元25基于接待质量评估单元24的评估结果生成要在显示器上显示的评估结果的显示数据。例如，数据处理单元25生成以时间作为水平轴并且以评估值作为竖直轴的图表显示数据。输出单元26在显示器的屏幕上显示由数据处理单元25生成的显示数据，并且将评估结果输出至上司h3。由此，上司h3可以检查商店员工h2的接待质量例如在以时间作为水平轴并且以评估值作为竖直轴的图表的情况下接待质量随时间的变化。

图6是示出根据第一实施方式的系统的操作的示例的流程图。如图6中所示，在处理开始时，移动对象区域候选提取单元11a根据基于来自摄像机2的运动图像g1并且基于当前时间(t)处的帧与前一帧或后一帧之间的相关性来获得移动对象区域候选(s1)。接下来，特征点提取单元11b从当前时间(t)处的移动对象区域候选提取图像中的特征点(s2)。

接下来，内区域特征点提取单元11c针对在下一时间(t+1)处的帧中的移动对象区域候选中的点中的每个特征点在附近搜索具有特定值或更高值的亮度相关性的点，并且将搜索到的点确定为内区域特征点(s3)。

接下来，移动对象区域候选运动计算单元11d针对每个内区域特征点获得通过从目的地位置减去移动之前的位置而产生的运动，并且计算移动对象区域候选的运动(s4)。

接下来，移动对象区域确定单元11e从移动对象区域候选确定移动对象区域(s5)，并且移动对象区域保存单元12保存由移动对象区域确定单元11e确定的移动对象区域(s6)。

接下来，移动对象区域追踪单元13获得下一时间处的移动对象区域候选，并且参考保存在移动对象区域保存单元12中的移动对象区域并获得相关性以在帧之中追踪移动对象区域的位置(s7)。

接下来，移动对象区域追踪单元13基于当前时间处的移动对象区域的位置与下一时间处的移动对象区域的位置之间的差异将移动对象的运动(平移量(p，q))保存在运动保存单元17中(s8)。

接下来，背景区域确定单元14基于由移动对象区域提取单元11提取的移动对象区域和移动对象区域追踪单元13的追踪结果来确定背景保存单元16中的背景图像中的要更新的区域(背景区域)(s9)。

接下来，背景更新单元15基于由背景区域确定单元14确定的背景区域将当前时间处的帧中的背景区域中的每个点的亮度值乘以固定值α，将其乘积与从背景保存单元16读取的背景图像相加，并且更新背景图像的亮度(s10)。接下来，背景更新单元15将更新后的背景图像的亮度保存在背景保存单元16中作为直到当前时间的帧中的背景图像(s11)。

接下来，背景差分处理单元20使用保存在背景保存单元16中的背景(背景图像)通过背景差分法从摄像机2的运动图像g1估计移动对象区域(s12)。接下来，面部检测单元21从在s12中估计的移动对象区域检测面部(s13)。接下来，运动计算单元22检测由面部检测单元21检测到的面部的前一帧与后一帧中的运动(s14)。

接下来，点头检测单元23基于由运动计算单元22检测到的面部的运动来检测面部的点头即商店员工h2的点头(s15)。接下来，接待质量评估单元24基于由点头检测单元23检测到的商店员工h2的点头来评估商店员工h2对顾客h1的接待质量(s16)。接下来，数据处理单元25生成接待质量评估单元24的评估结果的显示数据以在显示器上显示。输出单元26在屏幕上显示由数据处理单元25生成的显示数据，并且向上司h3输出商店员工h2的接待质量的评估结果(s17)。

接下来，背景检测单元10a基于来自摄像机2的运动图像(运动图像g1)的存在来确定运动图像是否已经结束(s18)。如果运动图像已经结束(s18：是)，则终止背景检测单元10a的处理。如果运动图像尚未结束(s18：否)，则背景检测单元10a的处理返回至s1。

(第二实施方式)

图7是说明根据第二实施方式的系统配置的示例的说明图。如图7中所示，摄像机2在顾客h1和商店员工h2的接待场所处捕获商店员工h2的图像，并且将捕获的运动图像输出至商店员工h2的终端设备1b。

终端设备1b是信息处理装置例如应用上述检测设备1的智能电话等，并且从由摄像机2捕获的运动图像检测背景图像。终端设备1b基于背景图像通过背景差分法检测商店员工h2在顾客接待时的运动，评估商店员工h2对顾客h1的顾客接待，并且通过振动等向商店员工h2通知评估结果。由此，商店员工h2可以检查他自己或她自己的顾客接待。

图8是示出根据第二实施方式的系统的功能配置的示例的框图。如图8中所示，终端设备1b与根据第一实施方式的终端设备1a的不同点在于：终端设备1b包括背景检测单元10b、振动指令单元27和振动单元28。

背景检测单元10b中的背景区域确定单元14包括背景度计算单元14a和背景度调整单元14b。背景度计算单元14a基于根据移动对象区域追踪单元13的追踪结果得到的其中被追踪的移动对象区域的位置已经移动的帧的数量来计算移动对象区域的背景度。也就是说，背景度计算单元14是计算单元的示例。

具体地，背景度计算单元14a基于根据移动对象追踪单元13的追踪结果获得的直到当前时间具有移动的位置的帧的数量来计算背景度，该背景度随着具有运动的帧的数量增加而具有较低值。

更具体地，假设从过去至当前时间的帧中具有运动的帧的数量(次数)是a，背景度计算单元14a基于以下表达式(13)计算背景度(hd)，该背景度(hd)限定例如最大值1。

[表达式13]

hd＝1/(a+1)...(13)

背景度调整单元14b基于预定阈值调整由背景度计算单元14a计算的背景度(hd)的大小。例如，背景度调整单元14b将背景度(hd)中的小于预定下限阈值的权重值视为0，并且将小于下限阈值的背景度(hd)的大小视为0。背景度调整单元14b将背景度(hd)中的等于或高于预定上限阈值t10的值视为与阈值t10相同的值。由此，对于等于或高于上限阈值t10的值，背景度(hd)的大小被固定在阈值t10处。

背景更新单元15将更新背景时的固定值α改变成根据由背景度调整单元14b调整的背景度(hd)的值。具体地，基于由背景区域确定单元14确定的背景区域，背景更新单元15将当前时间处的帧中的背景区域中的每个点的亮度值乘以背景度(hd)的值。接下来，背景更新单元15从背景保存单元16读取当前时间之前的背景图像，并且与在当前时间处的帧中的背景区域的亮度值相加。对于背景图像的总和，背景更新单元15将通过该总和除以通过将1与背景度(hd)相加产生的值而获得的值确定为直到当前时间的背景图像，并且更新背景保存单元16中的背景图像。

具体地，背景更新单元15通过以下表达式(14)更新被确定为背景图像(h)中的背景的每个点(x，y)的背景。

[表达式14]

h(t+1，x,y)＝(g(t+1,x,y)×hd+h(t,x,y))/(hd+1)...(14)

以这种方式，背景更新单元15应用基于由移动对象区域追踪单元13追踪的移动对象区域的位置已经移动的帧的数量的背景度代替固定值α来更新背景。因此，例如，背景更新单元15可以适当地从背景排除已经移动了长时间的移动对象。背景更新单元15可以进行更新以将过去在短时段内具有运动并且被估计成背景的移动对象包括背景中。

背景检测单元10b包括结束确定单元18。结束确定单元18参考保存在背景保存单元16中的背景图像，并且基于当前时间处与下一时间处的背景的亮度的相关性确定是否终止对背景的检测。例如，如果根据当前时间处和下一时间处的背景的亮度的相关性，同一背景图像在运动图像g1中持续预定时间段，则结束确定单元18确定该背景不必被检测并且终止对背景的检测。

更具体地，如果当前时间处的背景图像h(t,x,y)与下一时间处的背景图像h(t+1,x,y)之间的亮度的相关性满足以下表达式(15)的情况持续预定阈值t12或更长时间，则结束确定单元18确定终止对背景的检测。阈值t11是预先设置的用于评估同一背景图像是否持续的阈值。

[表达式15]

∑(x,y)∈h|h(t,x,y)-h(t+1,x,y)|＜t11…(15)

背景检测单元10b基于结束确定单元18的确定结果终止对背景的检测。由此，例如，在运动图像g1中背景不发生变化的时段持续的情况下，背景检测单元10b可以终止对背景的检测。

振动指令单元27基于接待质量评估单元24的评估结果确定是否将给予商店员工h2的振动指令发送至振动单元28。例如，如果接待质量评估单元24的评估值小于预定值的状态持续预定时间段，则振动指令单元27将给予商店员工h2的振动指令发送至振动单元28。振动单元28基于振动指令单元27的指令振动并且通过振动通知商店员工h2。由此，商店员工h2可以识别到作为接待质量评估单元24的评估结果的例如接待质量的评估值低于预定值的状态持续。

图9a和图9b是示出根据第二实施方式的系统的操作的示例的流程图。如图9a和图9b中所示，该流程图与根据第一实施方式的流程图的不同点在于包括s20至s25的处理。

具体地，在s9之后，背景度计算单元14a基于移动对象区域追踪单元13的追踪结果来计算移动对象区域的背景度(hd)(s20)。接下来，背景度调整单元14b使用预定阈值调整由背景度计算单元14a计算的背景度(hd)的大小(s21)。

接下来，背景更新单元15将通过将背景区域中的每个点的亮度乘以背景度(hd)的值而产生的值确定为背景的亮度，并且更新背景保存单元16中的背景图像(s22)。

在s11之后，结束确定单元18参考保存在背景保存单元16中的背景图像，并且确定当前时间处与下一时间处的背景图像的亮度的相关性等于或高于阈值的情况是否持续一定次数(s23)。

在s16之后，振动指令单元27基于接待质量评估单元24的评估结果(接待质量)确定是否向振动单元28发送振动指令(s24)。

图10是说明振动指令的确定的说明图。在图10中，水平轴表示时间轴，并且竖直轴表示曲线图的评估值。如图10中所示，关于接待质量评估单元24的评估结果中的评估值的曲线图，在评估值低于阈值t9的时段s持续预定时段的情况下，振动指令单元27向振动单元28发送振动指令。通过由振动指令引起的振动单元28的振动，商店员工h2可以识别到例如接待质量的评估值低于阈值t9的状态持续一定时间段。

返回至图9b，如果s18是否定确定(s18：否)，则背景检测单元10b基于结束确定单元18的确定结果确定是否结束背景检测(背景估计)(s25)。如果要结束背景检测(s25：是)，则背景检测单元10b的处理返回至s12。如果不结束背景检测(s25：否)，则背景检测单元10b的处理返回至s1。

(第三实施方式)

图11是说明根据第三实施方式的系统配置的示例的说明图。如图11中所示，摄像机2a是能够由上司h3经由终端设备1d操作拍摄方向、放大/缩小等的摄像机。摄像机2a基于上司h3的操作捕获顾客h1和商店员工h2的接待场所的图像，并且将捕获的运动图像输出至服务器设备1c。

服务器设备1c是应用检测设备1并且从摄像机2a的运动图像检测背景图像的信息处理装置。服务器设备1c基于检测到的背景图像通过背景差分法检测商店员工h2在顾客接待时的运动，评估商店员工h2对顾客h1的顾客接待，并且通知终端设备1d。终端设备1d向显示器等显示所通知的顾客接待的评估。终端设备1d接收由上司h3针对客户接待的评估向商店员工h2给出的指令(反馈)的输入，并且将输入指令反馈回商店员工h2的终端设备4。

图12是示出根据第三实施方式的系统的功能配置的示例的框图。如图12中所示，服务器设备1c与根据第一实施方式的终端设备1a的不同点在于包括背景检测单元10c和图像校正单元29。

背景检测单元10c包括陀螺仪传感器30和用户输入保存单元31。陀螺仪传感器30是检测摄像机2a在x轴、y轴和z轴方向上的运动的传感器，并且是运动检测单元的示例。用户输入保存单元31保存由用户(上司h3)在终端设备1d处给出的输入指令例如摄像机2a的操作指令等。

背景区域确定单元14基于由陀螺仪传感器30检测到的摄像机2a的运动来校正每一帧中的背景区域中的与摄像机2a的运动有关的位移。具体地，背景区域确定单元14基于由下一表达式(16)表示的旋转矩阵rot来校正与摄像机的运动(以x轴(水平)、y轴(竖直)和z轴(光学轴)为中心的旋转)有关的旋转位移。在表达式(16)中，假设由陀螺仪传感器30检测到的摄像机2a的运动中的旋转角度是θx、θy和θz。由此，背景区域确定单元14可以获得与摄像机2a的运动有关的位移已经被校正的背景图像。

[表达式16]

图像校正单元29基于保存在用户输入保存单元31中的摄像机2a的操作指令来校正摄像机2a的图像(运动图像g1)。具体地，图像校正单元29校正运动图像g1以取消由用户执行的放大/缩小。

更具体地，图像校正单元29通过下一表达式(17)计算校正后的运动图像(g′)，其中由用户执行的放大/缩小的缩放因子是z。在表达式(17)中，假设u(x)是抑制x的小数位数的函数。

[表达式17]

g′(t+1，x，y)＝(x/z-u(x/z))×(y/z-u(y/z))×g(t，u(x/z)，u(y/z))

+(1-x/z+u(x/z))×(y/z-u(y/z))×g(t，u(x/z)+1，u(y/z))

+(x/z-u(x/z))×(1-y/z+u(y/z))×g(t，u(x/z)，u(y/z)+1)

+(1-x/z+u(x/z))×(1-y/z+u(y/z))×g(t，u(x/z)+1，u(y/z)+1)…(17)

终端设备1d包括数据处理单元25、输出单元26、用户输入单元32、摄像机操作输入单元33和反馈单元34。用户输入单元32基于来自输入设备(图中未示出)例如键盘、鼠标等的输入来接收各种用户输入例如处理结束、对商店员工h2的反馈的内容等。用户输入单元32向用户输入保存单元31通知所接收的操作内容。

摄像机操作输入单元33基于来自输入设备(图中未示出)例如键盘、鼠标等的输入接收关于摄像机2a的操作输入(拍摄方向和放大/缩小)等。摄像机操作输入单元33向用户输入保存单元31通知所接收的操作内容。反馈单元34向终端设备4通知已经由用户输入单元32接收到的对商店员工h2的反馈的内容。

图13a和图13b是示出根据第三实施方式的系统的操作的示例的流程图。如图13a和图13b中所示，根据第三实施方式的操作与根据第一实施方式的操作的不同点在于包括s30至s35的处理。

具体地，摄像机操作输入单元33从用户(上司h3)接收放大/缩小的输入(s30)。由摄像机操作输入单元33接收的放大/缩小的输入内容被保存在用户输入保存单元31中。

接下来，图像校正单元29基于保存在用户输入保存单元31中的放大/缩小的输入内容来修改图像(运动图像g1)以取消缩放(s31)。

在s8之后，背景区域确定单元14从陀螺仪传感器30获得摄像机2a的运动(s32)。接下来，背景区域确定单元14基于由陀螺仪传感器30检测到的摄像机2a的运动来校正与每一帧中的背景区域的运动有关的摄像机2a的位移。由此，背景区域确定单元14通过减去摄像机2a的运动来确定背景要更新的区域(背景区域)(s33)。

在s11之后，用户输入单元32在来自输出单元26的显示器上显示正在估计的背景即由背景检测单元10c检测到的背景。接下来，用户输入单元32从用户(上司h3)接收关于背景估计是否已经完成的输入(s34)。如果存在背景估计完成的输入，则用户输入单元32将背景估计完成保存在用户输入保存单元31中。如果背景估计完成被保存在用户输入保存单元31中，则背景检测单元10c终止通过背景检测单元10c进行的对背景的检测。

在s17之后，反馈单元34向终端设备4通知由用户输入单元32从用户(上司h3)接收到的对商店员工h2的反馈的内容(s35)。由此，经由终端设备4向商店员工h2通知从上司h3向商店员工h2给出的指令(反馈)。

如上所述，检测设备1和终端设备1a、1b和1c包括移动对象区域提取单元11、移动对象区域追踪单元13、背景区域确定单元14和背景更新单元15。移动对象区域提取单元11基于输入运动图像的前一帧与后一帧的比较的结果提取帧中包括的移动对象的移动对象区域。移动对象区域追踪单元13基于由移动对象区域提取单元11提取的移动对象区域与运动图像的每一帧之间的相关性来在帧之中追踪移动对象区域的位置。背景区域确定单元14将运动图像的每一帧中的除了所提取的移动对象区域之外的图像区域确定为每一帧的背景区域。如果帧中包括已经由移动对象区域追踪单元13追踪其位置的移动对象区域，则背景区域确定单元14将除了该移动对象区域之外的图像区域确定为每一帧中的背景区域。背景更新单元15基于由背景区域确定单元14确定的每一帧中的背景区域来检测运动图像的每一帧中的背景图像。

因此，例如，如果出现在运动图像中的移动对象处于静止达固定时间段，则检测设备1和终端设备1a、1b和1c可以抑制对背景图像中的运动图像的检测。

背景区域确定单元14将除了位置已经移动超过等于或大于阈值t5的帧数的移动对象区域之外的图像区域确定为背景区域。以这种方式，在其位置已经被跟追踪的移动对象区域中，除了其位置已经移动达等于或大于阈值t5的帧数的移动对象区域之外的图像区域被确定为背景区域。因此，例如，可以抑制随风摇摆达数帧的树枝被视为移动对象区域并被从背景中排除的情况。

检测设备1和终端设备1a、1b和1c包括保存直到运动图像的预定帧的前一帧检测到的背景图像的背景保存单元16。背景更新单元15将在预定帧中确定的背景区域中的像素值乘以预定值(固定值α)，并且将其乘积与保存在背景保存单元16中的背景图像相加以检测与预定帧对应的背景图像。由此，在预定帧中确定的用于背景模型的背景区域中，检测设备1和终端设备1a、1b和1c可以通过与通过将直到预定帧的前一帧的背景图像乘以即预定值而产生的背景图像(预定帧的背景图像)相加来更新背景图像。

代替预定值(固定值α)，检测设备1和终端设备1a、1b和1c可以应用基于其中由移动对象区域追踪单元13追踪的移动对象区域的位置已经移动的帧的数量的背景度(hd)来更新背景。在这种情况下，可以适当地从背景排除例如具有长时间段的运动的移动对象。替选地，可以更新背景以将在过去的短时间段内具有运动并且能够被估计为背景的移动对象包括在背景中。

附图中示出的每个设备的每个部件不必如附图中所示地进行物理配置。也就是说，每个设备的分布和集成的具体形式不限于所示的配置，并且可以根据各种负载、使用状态等将全部或部分配置在功能上或物理上分布或集成在任何单元中。

可以在cpu(或微型计算机例如mpu、mcu(微控制器单元)等)上执行由检测设备1、终端设备1a、1b和1d、服务器设备1c等(在下文中被称为检测设备1作为代表)执行的各种处理功能的全部或任何部分。不言而喻，可以通过在cpu(或者微型计算机例如mpu、mcu等)上分析并执行的程序或者通过基于布线逻辑的硬件来执行各种处理功能的全部或任何部分。可以使用云计算结合多个计算机执行由检测设备1执行的各种处理功能。

顺便提及，可以通过执行预先设置在计算机上的程序来实现上述实施方式中描述的各种处理。因此，在下文中，将给出对具有与上述实施方式的功能相同的功能的计算机(硬件)的示例的描述。图14是示出根据实施方式的检测设备1的硬件配置的示例的框图。将给出对图14中所示的硬件配置的示例的描述作为使用作为代表的检测设备1的计算机的示例。然而，不言而喻，对于终端设备1a、1b和1d以及服务器设备1c等硬件配置是相同的。

如图14中所示，检测设备1包括执行各种操作处理的cpu101、接收数据输入的输入设备102、监视器103和扬声器104。检测设备1包括从存储介质读取程序等的读取设备105、用于连接各种设备的接口设备106以及与外部设备具有有线或无线通信连接的通信设备107。检测设备1包括硬盘设备109以及临时存储各种信息的ram108。检测设备1中的每个单元(101至109)连接至总线110。

硬盘设备109存储用于执行上述实施方式中描述的各种处理的程序111。硬盘设备109存储由程序111引用的各种数据112。输入设备102例如从操作者接收操作信息的输入。监视器103显示例如由操作员操作的各种画面。接口设备106连接至例如打印机等。通信设备107连接至通信网络例如lan(局域网)等，并且经由通信网络与外部设备交换各种信息。

cpu101读取存储在硬盘设备109中的程序111，将程序加载到ram108中，并且执行程序以执行各种处理。通过执行程序111，cpu101用作例如背景检测单元10、10a、10b和10c、背景差分处理单元20、面部检测单元21、运动计算单元22、点头检测单元23、接待质量评估单元24、数据处理单元25、输出单元26、振动指令单元27、图像校正单元29、用户输入单元32、摄像机操作输入单元33、反馈单元34等。程序111可以不存储在硬盘设备109中。例如，检测设备1可以读取存储在可读存储介质中的程序111并且执行程序111。能够由检测设备1读取的存储介质由例如便携式记录介质例如cd-rom、dvd盘、usb(通用串行总线)存储器等、半导体存储器例如闪存等、硬盘驱动器等支持。程序111可以存储在连接至公共线路、因特网、lan等的设备中，并且检测设备1可以从这些设备读取程序111并执行程序111。