信息处理装置、信息处理方法和程序与流程

1.本发明涉及信息处理装置、信息处理方法和程序。


背景技术：

2.存在根据由摄像装置拍摄到的图像来判定是否存在人的技术。作为判定人的存在的方法之一，有基于位于图像的部分区域的像素的颜色是否收敛于预先确定的范围来进行判定的方法。
3.在非专利文献1中，公开了如下技术：通过将像素的颜色输入到规定的函数来取得值，在该值处于规定的范围的情况下判定为该像素是皮肤。
4.现有技术文献
5.专利文献
6.非专利文献1：anew colour space for skin tone detection，abbas cheddad，joan condell，kevin curran and paul mc kevitt，2009ieee international conference on image processing


技术实现要素：

7.发明所要解决的课题
8.由于照明等的影响，有时拍摄到的图像中的皮肤的颜色不收敛于预先确定的颜色的范围。在这样的情况下，有时无法适当地判定人的存在。
9.本发明是鉴于上述课题而完成的，其目的在于提供一种基于图像中的颜色来更高精度地判定是否有人的技术。
10.用于解决课题的手段
11.为了解决上述课题，本发明的信息处理装置包含：提取单元，其从由摄像装置拍摄到的图像中提取被判定为存在人的人区域；代表取得单元，其取得通过将所述人区域中的一部分所包含的像素的颜色分别输入到变换函数而计算出的第一特征值的代表值；校正单元，其基于所述代表值对皮肤范围进行校正，该皮肤范围表示通过所述变换函数取得的特征值所表示的颜色是人的皮肤的颜色；以及判定单元，其根据针对构成由所述摄像装置取得的图像的一部分的多个像素中的各个像素通过所述变换函数计算出的第二特征值是否包含在校正后的所述皮肤范围中，判定在所述图像的一部分中是否有人。
12.另外，本发明的信息处理方法包含如下步骤：从由摄像装置拍摄到的图像中提取被判定为存在人的人区域；取得通过将所述人区域中的一部分所包含的像素的颜色分别输入到变换函数而计算出的第一特征值的代表值；基于所述代表值对皮肤范围进行校正，该皮肤范围表示通过所述变换函数取得的特征值所表示的颜色是人的皮肤的颜色；以及根据针对构成由所述摄像装置取得的图像的一部分的多个像素中的各个像素通过所述变换函数计算出的第二特征值是否包含在校正后的所述皮肤范围中，判定在所述图像的一部分中是否有人。
13.另外，本发明的程序使计算机作为以下单元发挥功能：提取单元，其从由摄像装置拍摄到的图像中提取被判定为存在人的人区域；代表取得单元，其取得通过将所述人区域中的一部分所包含的像素的颜色分别输入到变换函数而计算出的第一特征值的代表值；校正单元，其基于所述代表值对皮肤范围进行校正，该皮肤范围表示通过所述变换函数取得的特征值所表示的颜色是人的皮肤的颜色；以及判定单元，其根据针对构成由所述摄像装置取得的图像的一部分的多个像素中的各个像素通过所述变换函数计算出的第二特征值是否包含在校正后的所述皮肤范围内，判定在所述图像的一部分中是否有人。
14.在本发明的一个方式中，也可以是，所述人区域是脸部区域，所述人区域中的一部分是所述人区域中的包含眼睛附近且不包含嘴附近和额头的上部的区域。
15.在本发明的一个方式中，也可以是，所述校正单元以所述第一特征值不包含于所述皮肤范围的像素的量越少则校正的量越少的方式，校正所述皮肤范围。
16.在本发明的一个方式中，所述代表值可以是所述特征值的平均值。
17.在本发明的一个方式中，在将像素的红色成分设为r、将绿色成分设为g、将蓝色成分设为b、将cr、cg、cb设为预先确定的系数的情况下，所述变换函数的输出e可以通过式子e＝cr
×
r+cg
×
g+cb
×
b-max(g,b)来计算。
18.在本发明的一个方式中，在将校正前的皮肤范围的计算中使用的特征值的平均值设为μr、将所述第一特征值的平均值设为μ1、将所述第一特征值不在所述皮肤范围内的像素的量设为an、将构成所述人区域中的一部分的像素的量设为ap、将n设为1以上且3以下的整数的情况下，可以基于通过式子δμ＝(μ1-μr)
×
(an/ap)n计算出的δμ来修正所述皮肤范围的上限值和下限值。
19.在本发明的一个方式中，在将校正前的皮肤范围的计算所使用的特征值的平均值设为μr、将所述第一特征值的平均值设为μ1、将所述第一特征值不在所述皮肤范围内的像素的量设为an、将构成所述人区域中的一部分的像素的量设为ap、将所述一部分中包含的眼睛的区域的像素的量设为ae、将n设为1以上且3以下的整数的情况下，可以基于通过式子δμ＝(μ1-μr)
×
(an/(ap-ae))n计算出的δμ来修正所述皮肤范围的上限值和下限值。
20.在本发明的一个方式中，也可以是，所述提取单元提取多个脸部区域作为多个人区域，所述代表取得单元将所述多个脸部区域中的最大的脸部区域中的一部分所包含的像素的颜色分别输入到变换函数，取得通过变换函数计算出的各个像素的第一特征值的代表值，所述判定单元根据针对所述多个脸部区域中的未用于取得所述代表值的脸部区域所包含的像素通过所述变换函数计算出的第二特征值是否包含在校正后的所述皮肤范围内，判定该脸部区域是否包含人的脸部。
21.发明效果
22.根据本发明，能够根据图像更高精度地判定是否有人。
附图说明
23.图1是表示本发明的实施方式的信息处理系统的一例的图。
24.图2是表示信息处理系统实现的功能的框图。
25.图3是表示从图像识别的脸部区域的一例的图。
26.图4是表示客户端装置执行的处理的一例的流程图。
27.图5是表示客户端装置执行的处理的一例的流程图。
28.图6是说明脸部区域中包含的参照区域的图。
29.图7是说明皮肤的颜色的分布的图。
30.图8是概略地说明照明的影响的图。
具体实施方式
31.以下，基于附图对本发明的实施方式进行说明。对于标注了相同符号的结构，省略重复的说明。在本实施方式中，对在如远程工作那样未进行严格的入室管理的环境中，基于拍摄到的图像来检测作业者以外的人是否正在窥视的信息处理系统进行说明。
32.图1是表示本发明的实施方式的信息处理系统的一例的图。信息处理系统包含信息处理服务器1和客户端装置2。信息处理服务器1经由网络与1个或多个客户端装置2连接。
33.信息处理服务器1包含处理器11、存储部12、通信部13、输入输出部14。另外，信息处理服务器1是服务器计算机。信息处理服务器1的处理也可以通过多个服务器计算机来实现。客户端装置2包含处理器11、存储部12、通信部13、输入输出部14和照相机25。客户端装置2是个人计算机或平板终端。
34.处理器11、21按照存储于存储部12、22的程序进行动作。另外，处理器11、21控制通信部13、23、输入输出部14、24。处理器21也根据程序来控制照相机25。另外，上述程序可以经由互联网等提供，也可以存储在闪存或dvd-rom等计算机可读取的存储介质中来提供。
35.存储部12、22由ram以及闪存等存储元件和硬盘驱动器那样的外部存储装置构成。存储部12、22存储上述程序。另外，存储部12、22存储从处理器11、21、通信部13、23、输入输出部14、24输入的信息、运算结果。
36.通信部13、23实现与其他装置进行通信的功能，例如由实现无线lan、有线lan的集成电路等构成。通信部13、23基于处理器11、21的控制，将从其他装置接收到的信息输入到处理器11、21、存储部12、22，并向其他装置发送信息。
37.输入输出部14、24由控制显示输出设备的视频控制器、取得来自输入设备的数据的控制器等构成。作为输入设备，有键盘、鼠标、触摸面板等。输入输出部14、24基于处理器11、21的控制，向显示输出设备输出显示数据，取得通过用户操作输入设备而输入的数据。显示输出设备例如是与外部连接的显示器装置。
38.照相机25基于处理器21的控制来拍摄图像。照相机25例如内置于个人计算机、平板终端，配置于使得操作个人计算机、平板终端的人物被拍摄在大致中央那样的位置。
39.接着，对信息处理系统提供的功能进行说明。图2是示出信息处理系统实现的功能的框图。信息处理系统在功能上包含图像取得部51、脸部提取部52、代表值取得部53、皮肤范围校正部54、人判定部55、结果输出部56。这些功能通过由客户端装置2所包含的处理器21执行存储于存储部22的程序并控制通信部23、照相机25等来实现。此外，这些功能也可以通过由信息处理服务器1所包含的处理器11执行存储于存储部12的程序并控制通信部13等来实现。
40.图像取得部51取得由作为摄像装置的照相机25拍摄到的图像。在图像取得部51由信息处理服务器1实现的情况下，可以通过经由通信部13接收从客户端装置2的通信部23发送的拍摄到的图像，来取得该图像。
41.脸部提取部52从所取得的图像中提取被判定为存在脸部的脸部区域70。脸部提取部52将所取得的图像变换为灰度，提取通过基于模式识别的公知的脸部检测技术识别的脸部所在的区域作为脸部区域70。所提取的脸部区域70可以是矩形的区域。此外，脸部提取部52也可以代替脸部区域70，而根据基于模式识别的公知的技术，检测例如手这样的脸部以外的人的部位或者具有人的轮廓的人区域，该人区域代替脸部区域70而在后述的处理中使用。
42.图3是表示从图像识别的脸部区域70的一例的图。在图3中，作为脸部区域70的一例，从图像中提取出脸部区域71、72。脸部区域71是提取操作客户端装置2的人物的脸部的图像而得到的，脸部区域72是通过将处于背景的家具等的图案误识别为脸部而提取出的。
43.代表值取得部53将脸部区域中的一部分所包含的像素的颜色分别输入到变换函数，计算该像素各自的特征值。代表值取得部53取得计算出的特征值的代表值，例如特征值的平均值。成为代表值取得部53的处理的对象的脸部区域70是由脸部提取部52提取出的脸部区域70中的最大的脸部区域70或位于中央的脸部区域70。关于变换函数和特征值的详细情况将在后面叙述。
44.皮肤范围校正部54基于所取得的代表值对皮肤范围进行校正，该皮肤范围表示通过变换函数取得的特征值所表示的颜色是人的皮肤的颜色。关于皮肤范围的详细情况将在后面叙述。
45.人判定部55基于针对构成由照相机25拍摄的图像的一部分的多个像素中的各个像素通过变换函数计算出的特征值是否包含于校正后的皮肤范围，来判定在该图像的该一部分中是否有人。用于人判定部55的处理的图像的一部分可以是由脸部提取部52提取的脸部区域70中的、未用于代表值取得部53中的代表值的取得的脸部区域70。人判定部55的处理可以在由脸部提取部52提取出多个脸部区域70的情况下进行。
46.结果输出部56输出人判定部55的判定结果。更具体而言，在人判定部55的处理中，在判定为由照相机25拍摄到的图像的一部分有人的情况下，更具体而言，在针对未用于代表值的取得的1个或多个脸部区域70中的任意1个判定为有人的情况下，结果输出部56输出表示人正在窥视的警告消息。警告消息的输出目的地可以是客户端装置2的显示器或扬声器。
47.接下来，说明信息处理系统的处理的详细情况。图4、5是表示客户端装置2执行的处理的一例的流程图。图4、5所示的处理可以以一定的时间间隔反复执行。
48.首先，图像取得部51取得由照相机25拍摄到的图像(步骤s101)。接着，脸部提取部52通过公知的脸部识别技术，从所取得的图像中取得1个或多个脸部区域70(步骤s102)。
49.当取得脸部区域70时，代表值取得部53从1个或多个脸部区域70中选择1个脸部区域70，从该选择出的脸部区域70中取得位于眼睛周围的参照区域75(步骤s103)。代表值取得部53可以在所选择的脸部区域70中，取得位于存在眼睛周围的可能性高的相对位置的区域作为参照区域75。另外，代表值取得部53也可以取得通过图像识别而确定为是眼睛周围的区域作为参照区域75。以下，对参照区域75进行说明，并且进一步对前者的方法进行说明。
50.图6是说明脸部区域70所包含的参照区域75的图。脸部区域70包含参照区域75、上区域76、下区域77。参照区域75是包含眼睛附近的区域。上区域76位于参照区域75之上，是
包含额头的上侧的部分的区域。下区域77位于参照区域75之下，是包含口的区域。上区域76的额头的上侧的部分被头发遮挡的可能性高，下区域77的嘴周围被口罩遮挡的可能性高。因此，位于眼睛周围的参照区域75是人的皮肤的颜色最容易被视觉辨认的区域。
51.代表值取得部53基于脸部区域70的内部的相对位置，决定参照区域75。例如，脸部区域70是具有在所拍摄的图像的纵横方向上延伸的边的矩形的区域，设该矩形的脸部区域70的左上的坐标为(tx，ty)、横向的尺寸为th、纵向的尺寸为tv。在该情况下，代表值取得部53可以取得左上的坐标为(tx+0.05
×
th，ty+0.1tv)、右下的坐标为(tx+0.9
×
th，ty+0.45tv)的矩形的区域作为参照区域75。此外，参照区域75也可以是皮肤露出的可能性高的其他区域。
52.代表值取得部53针对位于参照区域75的各个像素，通过变换函数e取得特征值(步骤s104)。更具体而言，代表值取得部53针对位于参照区域75的各个像素，将像素的颜色输入到变换函数e，取得变换函数e的输出作为特征值。变换函数e是以下的式子。
53.e＝cr
×
r+cg
×
g+cb
×
b-max(g,b)
54.在此，r、g、b分别是像素的颜色的红、绿、蓝成分。max(g,b)是输出g、b中较大一方的函数。cr、cg、cb是预先确定的系数。cr、cg、cb通过在作为基准的照明下进行观测来计算，例如为以下的值。这些值也可以基于环境等进行调整。
55.cr＝0.2989
56.cg＝0.5870
57.cb＝0.1402
58.当针对位于参照区域75的各个像素计算出特征值时，代表值取得部53取得平均值作为特征值的代表值(步骤s105)。代表值取得部53也可以通过最频值等其他方法来计算代表值。
59.此外，皮肤范围校正部54计算特征值未包含在皮肤范围r中的像素的量(步骤s106)。
60.图7是说明皮肤的颜色的分布的图。图7示出反映了基于环境差异和遗传差异的个人差异的人的皮肤的颜色的特征值的正态分布。若将正态分布的平均值设为μ，将方差设为σ，则皮肤范围r的下限值设为(μ-σ)，上限值设为(μ+3σ)。μ、σ的值通过实验求出，例如μ为12.3057，σ为5.09026。
61.对处理进行具体记载。皮肤范围校正部54判定各像素的特征值是否包含在皮肤范围r中，并且对特征值不包含在皮肤范围r中的像素的数量(量)进行计数。
62.然后，皮肤范围校正部54基于计算出的代表值和计算出的包含在皮肤范围r中的像素的量来校正皮肤范围r(步骤s107)。
63.基于δμ分别计算皮肤范围r的下限值和上限值，由此来校正皮肤范围r。作为具体的例子，校正后的皮肤范围r的下限值为(μ+δμ-σ)，上限值为(μ+δμ+3σ)。在此，δμ通过以下的式子求出。
64.δμ＝(μ1-μr)
×
(an/ap)n65.图8是概略地说明照明的影响的图，是说明由照明的不同引起的特征值的分布的变化、换言之δμ的产生的图。μ1是根据校正前的分布求出的μ的值。μr是针对位于参照区域75的各个像素计算出的特征值的代表值(在此为平均值)。
66.an是位于参照区域75的像素中的特征值不包含于皮肤范围r的像素的量，ap是包含于参照区域75的所有像素的量。an相当于参照区域75中的特征值不包含于皮肤范围r的部分的面积，ap相当于参照区域75的面积。n为1以上的整数，优选为3，但也可以为1。
67.通过使特征值不包含于皮肤范围r的像素的量越少则校正越弱，能够降低由于照明以外的因素反映于校正等理由而成为过度的校正的可能性。另外，通过增大n，在皮肤范围r所包含的像素较多的情况下，能够降低皮肤范围r的校正变得过度的可能性。
68.此外，δμ也可以通过以下的式子求出。
69.δμ＝(μ1-μr)
×
(an/(ap-ae))n70.在该式中，ae是参照区域75中存在眼睛的像素的量，可以仅是参照区域75的全部像素量中的规定的比例(例如5％)。在该情况下，可以仅通过对参照区域75的像素的量乘以小于1的常数(例如0.95)来求出ap-ae。
71.若校正了皮肤范围r，则人判定部55根据由照相机25拍摄到的图像，判定在为了校正皮肤范围r而求出代表值的脸部区域70以外的脸部区域70中是否包含人的脸部。更具体而言，该处理中，人判定部55判定是否存在由脸部提取部52提取并被求出代表值的脸部区域70以外的脸部区域70(步骤s111)。在不存在其他脸部区域70的情况下(步骤s111的“否”)，判定为不存在与客户端装置2的操作者不同的人而结束处理。
72.另一方面，在存在其他脸部区域70的情况下(步骤s111的“是”)，人判定部55选择其他脸部区域70中的1个(步骤s112)。然后，人判定部55针对位于所选择的脸部区域70中的各个像素，通过变换函数取得特征值(步骤s113)。人判定部55计算特征值处于校正后的皮肤范围r中的像素的量相对于参照区域75的所有像素的量的比例(步骤s114)。
73.在计算出的比例超过预先确定的判定阈值的情况下(步骤s115的“是”)，结果输出部56向操作客户端装置2的用户输出有可能正在被窥视的意思的警告消息(步骤s116)，并且向信息处理服务器1发送该意思的信息。在判定为计算出的比例超过预先确定的判定阈值的次数或时间超过规定的阈值的情况下，结果输出部56强制关闭客户端装置2。另一方面，在计算出的比例未超过判定阈值的情况下(步骤s115的“否”)，跳过步骤s116的处理。
74.然后，人判定部55判定在其他脸部区域70中是否存在未选择的脸部区域(步骤s117)。在存在未选择的脸部区域70的情况下(步骤s117的“是”)，从未选择的其他脸部区域70中选择1个(步骤s118)，反复步骤s113以后的处理。另一方面，在不存在未选择的脸部区域70的情况下(步骤s117的“否”)，结束处理。
75.此外，图4、5所示的处理也可以不通过客户端装置2而通过信息处理服务器1来执行。在该情况下，在步骤s101中，图像取得部51取得从客户端装置2发送的图像。另外，在步骤s116中，将使客户端装置2输出警告消息的信息发送到该客户端装置2。
76.如上所述，通过使用容易识别皮肤的颜色的区域来校正皮肤范围r，并且将校正后的皮肤范围用于判定图像中的皮肤的存在，可以减少照明导致的所拍摄的皮肤的颜色的变化而导致的判定精度的降低。
77.符号说明
78.1信息处理服务器、2客户端装置、11，21处理器、12，22存储部、13，23通信部、14，24输入输出部、25照相机、51图像取得部、52脸部提取部、53代表值取得部、54皮肤范围校正部、55人判定部、56结果输出部、70，71，72脸部区域、75参照区域、76上区域、77下区域。