图像处理装置、图像处理方法、程序及电子装置的制作方法

专利名称：图像处理装置、图像处理方法、程序及电子装置的制作方法
图像处理装置、图像处理方法、程序及电子装置
背景技术：
本发明涉及图像处理装置、图像处理方法、程序及电子装置，具体地，涉及在基于所摄像图像检测到诸如人手的皮肤暴露的部分的情况下适当使用的图像处理装置、图像处理方法、程序及电子装置。已经提出了一种皮肤检测技术，其中，从通过对人进行摄像而获得的图像中检测诸如脸或手的皮肤暴露的区域(下文中，称为“皮肤区域”)(例如，参照日本未审查专利申请公开第2006-47067号)。在这种皮肤检测技术中，获得通过在用波长λ 1的光进行照射的状态下对被摄物 (人)进行摄像所获得的第一图像，以及通过在用比波长λ 1长的波长λ 2的光进行照射的状态下对被摄物进行摄像所获得的第二图像。此外，通过从第一图像的亮度值中减去第二图像的亮度值而获得的差分大于预定阈值的区域，被检测为皮肤区域。根据人类皮肤的反射特性来确定波长λ 1和λ 2。S卩，确定波长λ 1和λ 2，使得当照射人类皮肤时，其反射率彼此不同，并且当照射除了人类皮肤之外的其它部分(例如， 头发或衣服)时，其反射率大致相同。具体地，例如，波长λ 1为870nm，并且波长λ2为 950nmo

发明内容
通常，在皮肤检测技术中，如图34所示，波长λ 1的光和波长λ 2的光交替照射被摄物，并且对被摄物进行摄像，以获得第一图像和第二图像。但是，在这种情况下，如果被摄物移动，则由于被摄物位置在第一图像和第二图像中变化，所以很难高精度地执行皮肤检测。因此，优选地，即使在被摄物移动的情况下，仍高精度地检测皮肤区域。根据本发明的实施方式，提供了一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置，包括照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；第一生成部，安装有至少具有接收第一波长的光的第一光接收元件以及接收第二波长的光的第二光接收元件的图像传感器，并基于当用第一和第二波长的光照射被摄物时，入射至图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；第二生成部，在构成第一镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及检测部，基于第一和第二图像检测皮肤区域。第一生成部可以基于入射至图像传感器的、来自被摄物的反射光来生成第一镶嵌图像，改图像传感器包括第一和第二光接收元件、接收R(红色)成分的第三光接收元件、接收G(绿色)成分的第四光接收元件及接收B (蓝色)成分的第五光接收元件。第一生成部可以基于当没有用第一和第二波长的光照射被摄物时，入射至图像传感器的、来自被摄物的反射光来生成第二镶嵌图像，并且第二生成部可以在构成第二镶嵌图像的各个像素中，基于对应于第三至第五光接收元件中的每个的像素的像素值，生成通过第三内插处理所获得的RGB图像。此外，图像处理装置可以包括调整部，该调整部基于 RGB图像，在满足用于检测皮肤区域的皮肤可检测条件的范围内调整第一生成部的参数。第一生成部可以通过根据预定参数对被摄物进行摄像来生成第一镶嵌图像，以及调整部可以在满足构成RGB图像的像素的亮度值和基于亮度值所计算的计算值中的一个变为小于等于RGB图像所能获得的最大亮度值的一半的皮肤可检测条件的范围内，调整第一生成部的参数。图像处理装置可以还包括第一入射限制部，限制除第一波长之外的波长的光的入射，并且使第一波长的光透过；以及第二入射限制部，限制除第二波长之外的波长的光的入射，并且使第二波长的光透过。第一生成部安装有至少具有接收通过第一入射限制部获得的第一波长的光的第一光接收元件以及接收通过第二入射限制部获得的第二波长的光的第二光接收元件的图像传感器。第一生成部可以基于当没有用第一和第二波长的光照射被摄物被时，入射至图像传感器的、来自被摄物的反射光，生成第二镶嵌图像，并且第二生成部可以在构成第二镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第四内插处理所获得的第三图像。此外，检测部可以第三图像的所有区域中，检测包括如下像素的预定区域，在该像素中，构成第三图像的每个像素的像素值大于等于预定阈值。图像处理装置可以还包括控制照射部的照射的控制部，并且在控制部的控制下执行照射部的照射的情况下，检测部基于第二生成部生成的第一和第二图像来检测皮肤区域，并且在控制部的控制下不执行照射部的照射的情况下，检测部基于第二生成部生成的第三图像来检测预定区域。根据本发明另一个实施方式，提供了一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置的图像处理方法，图像处理装置包括照射部；第一生成部，安装有至少具有接收第一波长的光的第一光接收元件以及接收与第一波长不同的第二波长的光的第二光接收元件的图像传感器；第二生成部；以及检测部；方法包括通过照射部，用第一波长的光和第二波长的光照射被摄物；通过第一生成部，当用第一和第二波长的光照射被摄物时，基于入射至图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；通过第二生成部， 在构成第一镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及通过检测部，基于第一和第二图像，检测皮肤区域。根据本发明再一个实施方式，提供了一种程序，使控制从图像中检测表示人类皮肤的皮肤区域的图像处理装置的计算机具有如下各项功能，图像处理装置包括照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；以及第一生成部，安装有至少具有接收第一波长的光的第一光接收元件和接收第二波长的光的第二光接收元件的图像传感器，并且当用第一和第二波长的光照射被摄物时，基于入射至图像传感器的、来自被摄物的反射光，生成第一镶嵌图像，各项功能包括第二生成部，在构成第一镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及检测部，基于第一和第二图像，检测皮肤区域。
根据上述实施方式，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；基于当用第一和第二波长的光照射被摄物时，入射至至少具有接收第一波长的光的第一光接收元件和接收第二波长的光的第二光接收元件的图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；在构成第一镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，并且在构成第一镶嵌图像的各个像素中，基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；并且基于所生成的第一和第二图像检测皮肤区域。根据本发明再一个实施方式，一种从图像中检测表示人类皮肤的皮肤区域的电子装置，包括照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；第一生成部，安装有至少具有接收第一波长的光的第一光接收元件和接收第二波长的光的第二光接收元件的图像传感器，并且当用第一和第二波长的光照射被摄物时，基于入射至图像传感器的来自被摄物的反射光，生成第一镶嵌图像；第二生成部，在构成第一镶嵌图像的各个像素中， 基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像， 以及基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；检测部，基于第一和第二图像，检测皮肤区域；以及执行部，根据所检测的皮肤区域执行处理。根据上述实施方式，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；基于当以第一和第二波长的光照射被摄物时，入射至至少具有接收第一波长的光的第一光接收元件和接收第二波长的光的第二光接收元件的图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；在构成第一镶嵌图像的各个像素中，基于对应于第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，并且在构成第一镶嵌图像的各个像素中，基于对应于第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；并且基于第一和第二图像检测皮肤区域。此外，根据所检测的皮肤区域执行处理。根据本发明再一个实施方式，一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置包括照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物； 摄像部，对被摄物进行摄像，生成基于第一波长的光的第一图像，并生成基于第二波长的光的第二图像；以及检测部，基于所生成的第一和第二图像检测皮肤区域。此处，照射部根据预定频率改变第一波长光的亮度和第二波长光的亮度，从而照射被摄物，并且摄像部提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分，从而生成第一和第二图像。照射部可以根据预定频率交替地改变第一波长的光的亮度和第二波长的光的亮度，从而照射被摄物，以及摄像部可以提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的交流成分，从而生成第一和第二图像。照射部可以同时执行根据第一频率交替改变第一波长的光的亮度从而照射被摄物的处理以及根据与第一频率不同的第二频率交替改变第二波长的光的亮度从而照射被摄物的处理，以及摄像部通过提取在用第一和第二波长的光照射的状态下通过对被摄物的光学图像进行光电转换所获得的电信号中对应于第一频率的交流成分来生成第一图像，并且通过提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于第二频率的交流成分来生成第二图像。照射部可以交替执行根据第三频率交替改变第一波长的光的亮度从而照射被摄物的处理以及根据第三频率交替改变第二波长的光的亮度从而照射被摄物的处理，以及摄像部可以通过提取在用第一波长的光照射的状态下通过对被摄物的光学图像进行光电转换所获得的电信号中对应于第三频率的交流成分来生成第一图像，并且通过提取在用第二波长的光照射的状态下通过对被摄物的光学图像进行光电转换所获得的电信号中对应于第三频率的交流成分来生成第二图像。根据本发明再一个实施方式，一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置的图像处理方法，图像处理装置包括照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；摄像部，对被摄物进行摄像，生成基于第一波长的光的第一图像，并且生成基于第二波长的光的第二图像；以及检测部，根据所生成的第一和第二图像检测皮肤区域；方法包括通过照射部，根据预定频率改变第一波长的光的亮度和第二波长的光的亮度，从而照射被摄物；以及通过摄像部，提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分来生成第一和第二图像。根据本发明再一个实施方式，一种用于控制从图像中检测表示人类皮肤的皮肤区域的图像处理装置的程序，图像处理装置包括照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物；摄像部，对被摄物进行摄像，生成基于第一波长的光的第一图像，并且生成基于第二波长的光的第二图像；以及检测部，根据所生成的第一和第二图像检测皮肤区域，程序使图像处理装置的计算机执行包括以下步骤的处理通过控制照射部，根据预定频率改变第一波长的光的亮度和第二波长的光的亮度，从而照射被摄物；以及通过控制摄像部，提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分，从而生成第一和第二图像。在上述实施方式中，根据预定频率改变第一波长的光的亮度和第二波长的光的亮度，从而照射被摄物，并且提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分来生成第一和第二图像。根据本发明再一个实施方式，提供了一种从图像中检测表示人类皮肤的皮肤区域电子装置，包括照射部，用第一波长的光和与第一波长不同的第二波长的光照射被摄物； 摄像部，对被摄物进行摄像，生成基于第一波长的光的第一图像，并且生成基于第二波长的光的第二图像；检测部，基于所生成的第一和第二图像，检测皮肤区域，以及执行部，根据所检测的皮肤区域执行处理。此处，照射部根据预定频率改变第一波长的光的亮度和第二波长的光的亮度，从而照射被摄物，以及摄像部提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分，从而生成第一和第二图像。在上述实施方式中，根据预定频率改变第一波长光的亮度和第二波长光的亮度， 从而照射被摄物，并且提取通过对被摄物的光学图像进行光电转换所获得的电信号中对应于预定频率的成分，从而生成第一和第二图像。根据上述实施方式，能够高精度地检测皮肤区域。


9
图1是示出了根据本发明的信息处理系统的结构实例的框图；图2是示出了人类皮肤的光谱反射特性的实例的示图；图3是示出了图像传感器中所安装的滤光板的第一实例的示图；图4是示出了在图3的滤光板中的光透过特性的实例的示图；图5是示出了图像处理装置的结构实例的示图；图6是示出了通过计算部和二值化部所执行的处理的细节的示图；图7是示出了皮肤检测处理的流程图；图8是示出了图像传感器中所安装的滤光板的第二实例的示图；图9是示出了在图8的滤光板中的光透过特性的实例的示图；图10是示出了在外部光图像中直方图的第一实例的示图；图11是示出了皮肤检测调整处理的流程图；图12是示出了外部光图像中的直方图的第二实例的示图；图13是示出了外部光图像中的直方图的第三实例的示图；图14是示出了现有技术的R、G以及B滤光片的透过特性的实例的示图；图15是示出了现有技术的顶截止滤光片的透过特性的实例的示图；图16是示出了将现有技术中的顶截止滤光片安装在现有技术的R、G以及B滤光片中的情况下所获得的透过特性的实例的示图；图17是示出了安装在图像传感器中的滤光板的第三实例的示图；图18是示出了根据拜耳(Bayer)排列所排列的滤光板的实例的示图；图19是示出了安装有λ 1滤光片和λ 2滤光片的顶截止滤光片的实例的示图；图20是示出了安装在图像传感器中的滤光板的第四实例的示图；图21是示出了根据本发明的小模块的实例的示图；图22是示出了安装有小模块被安装的电视机的实例的示图；图23是示出了 LED检测处理的流程图；图M是示出了 LED检测调整处理的流程图；图25A 图25D是示出了显示在显示器上的图像的实例的示图；图沈是示出了与对应于第一实施方式的亮度变化不相关的照射和摄像的时序的示图；图27是示出了与对应于第四实施方式的亮度变化相关的照射和摄像的时序的示图；图观是示出了根据第四实施方式的CMOS图像传感器的结构实例的框图；图四是示出了根据第四实施方式的λ 1图像和λ 2图像的生成处理的流程图；图30是示出了与对应于第五实施方式的亮度变化相关的照射和摄像的时序的示图；图31是示出了根据第五实施方式的CMOS图像传感器的结构实例的框图；图32是示出了根据第五实施方式的λ 1图像和λ 2图像的生成处理的流程图；图33示出了计算机的结构实例的框图；以及图34是示出了在现有技术的皮肤检测技术中的照射和摄像时序的示图。
具体实施例方式下文中，将描述本发明的实施方式。将按照下面的顺序进行描述。1.第一实施方式(在从镶嵌图像生成λ 1图像和λ 2图像的情况下的实例)2.第二实施方式(在基于外部光图像调整相机22的增益的情况下的实例)3.第三实施方式(检测LED位置的电视机的实例)4.第四实施方式(在以不同频率交替(alternately)改变具有波长λ 1的光的亮度和具有波长λ 2的光的亮度用于同时照射的情况下的实例)5.第五实施方式(在以相同频率交替改变具有波长λ 1的光的亮度和具有波长 λ2的光的亮度用于交替照射的情况下的实例)1.第一实施方式[信息处理系统1的结构实例]图1是示出了根据本发明实施方式的信息处理系统1的结构实例的示图。信息处理系统1根据使用用户手部的手势(或姿态)执行预定处理，并且包括发光装置21、相机22及图像处理装置23。为了允许信息处理系统1执行预定处理，用户在相机22的透镜表面前面改变他们手的形状或移动他们的手。此时，信息处理系统1识别用户手的形状或移动，并根据识别结果执行预定处理。在第一实施方式中，假设用户在相机22的透镜表面的前面改变他们手的形状，并且用户将他们的手置于比他们面部、胸部等更接近相机22的透镜表面的位置并执行诸如他们手的形状的改变或移动他们手的动作。发光装置21包括发射波长λ 1的光(例如，870 [nm]的近红外光)的LED (发光二极管)21 和LED 21 ，以及发射与波长λ 1不同的波长λ 2的光(例如，950[nm]的近红外光)的 LED 21、和 LED 21b2。下文中，在不需要在LED 21 和LED 21 之间进行区分的情况下，将其简称作 "LED 21a”，并且在不需要在LED Zlb1和LED 21 之间进行区分的情况下，将其简称作“LED 21b”。LED 21a的数目和LED 21b的数目分别不限于2个。发光装置21允许LED 2Ia和LED 21b在图像处理装置23的控制下例如同时发光。在使用波长λ 1或λ 2的光照射对波长λ 1和λ 2具有相同反射率的被摄物(例如，具有100 [%]反射率的镜面等)的情况下，调整LED 21a和LED21b的光输出，使得通过相机22的摄像所获得的图像中的对应像素的亮度值相同。此外，在LED 21a中波长λ 1和LED 21b中波长λ 2的组合中，例如，当用波长入1 的光照射人类皮肤时的反射率大于当用波长λ2的光照射人类皮肤时的反射率，并且当用光照射除人类皮肤之外的某物时的反射率几乎不改变。即，基于人类皮肤的光谱反射特性
确定组合。接下来，图2示出了人类皮肤的光谱反射特性。不管人类皮肤的颜色(人种差异)或状态(晒黑等)等的差异，光谱反射特性具
有一般性。在图2中，横轴表示照射人类皮肤的照射光的波长，并且纵轴表示照射人类皮肤的照射光的反射率。
总所周知，照射人类皮肤的照射光的反射率在800[nm]波长附近有峰，从约 900[nm]的波长快速降低，在1000[nm]波长附近具有最小值，随后再次增大。具体地，例如，如图2所示，通过用870[nm]波长的光照射人类皮肤所获得的反射光的反射率约为63[% ]，并且通过用950 [nm]波长的光照射人类皮肤所获得的反射光的反射率约为50[% J0这是人类皮肤所特有的。在除人类皮肤之外的被摄物(例如，头发、衣服等)的情况下，反射率的变化在800 1000[nm]附近主要是平滑的。在第一实施方式中，在光谱反射特性方面，例如，将波长λ 1为870[nm]并且波长 λ 2为950 [nm]的组合用作波长λ 1和波长λ 2的组合。在该组合中，人类皮肤反射率之间的差异变得比较大，并且除人类皮肤之外的部分的反射率之间的差异变得比较小。波长λ 1和波长λ 2的组合不限于870 [nm]的波长和950 [nm]的波长，例如，只要组合满足下述关系，就可以采用任意组合。λ 1 < λ 2630 [nm]彡 λ 1 彡 1000 [nm]900 [nm]彡 λ 2 彡 1100[nm]返回图1，相机22除了透镜之外还包括诸如CXD或CMOS的图像传感器。如图3所示，将棋盘状地排列λ 滤光片(对应于图3中的“1”)和λ2滤光片 (对应于图3中的“2”)的滤光板31安装在相机22的图像传感器的正面。如图4所示，λ 1滤光片具有发光光谱的峰值波长为λ 1(此处，λ l=870[nm])的透过光(波长λ 1的光)的透过特性。此外，λ 2滤光片具有发光光谱的峰值波长为λ 2(此处，λ 2 = 950[nm])的透过光(波长λ 2的光)的透过特性。因此，相机22在构成图像传感器的多个光接收元件中仅接收波长λ 1的光和波长 λ 2的光。此外，在构成图像传感器的多个光接收元件中，安装有λ 1滤光片的光接收元件对所接收的波长λ 1的光进行光电转换，以获得像素值X (λ 1)作为对应于光接收元件的像素的像素值。此外，在构成图像传感器的多个光接收元件中，安装有λ2滤光片的光接收元件对所接收的波长λ 2的光进行光电转换，以获得像素值X (λ幻作为对应于光接收元件的像素的像素值。S卩，相机22的图像传感器生成镶嵌图像，其中，棋盘状地排列通过对所接收的波长λ 1的光进行光电转换而获得的具有像素值χ (λ 1)的像素，以及通过对所接收的波长 λ 2的光进行光电转换而获得的具有像素值X (λ幻的像素。随后，相机22使用在构成镶嵌图像的各个像素的像素值中对应于安装有λ 1滤光片的光接收元件的像素的像素值X (λ 1)，执行将接收到波长λ 1的光的情况下所获得的像素值X (λ 1)内插在对应于安装有λ 2滤光片的光接收元件的像素中的λ 内插处理， 并将作为结果而获得的λ 1图像提供至图像处理装置23。此外，相机22使用在构成镶嵌图像的各个像素的像素值中对应于安装有λ 2滤光片的光接收元件的像素的像素值X U 2)，执行将在接收到波长λ2的光的情况下所获得的像素值X (λ 2)内插在对应于安装有λ 1滤光片的光接收元件的像素中的λ 2内插处理，并将作为结果而获得的λ 2图像提供至图像处理装置23。图像处理装置23基于从相机22提供的λ 图像和λ 2图像，计算通过从构成入1图像的像素的像素值(例如，亮度值)中减去对应于构成λ 1图像的像素的、构成λ 2图像的像素的像素值所获得的差分。随后，图像处理装置23基于所计算的差分检测λ 1图像(或λ 2图像)上的皮肤区域。图像处理装置23基于所检测的皮肤区域来识别用户手的形状等，并且根据识别结果执行预定处理。[图像处理装置23的结构实例]图5示出了图像处理装置23的结构实例。图像处理装置23包括控制部41、计算部42以及二值化部43。控制部41控制相机22的摄像时序及摄像时间，以及发光装置23的发光时序和发光时间。此外，例如，控制部41控制计算部42和二值化部43。计算部42使用LPF(低通滤波器)对来自相机22的λ 1图像和λ 2图像执行平滑处理。随后，计算部42在平滑处理之后计算λ 图像和λ 2图像之间的差分，并且将通过将所计算的差分用作像素值的像素所构成的差分图像提供至二值化部43。在这方面，相机22可以将所生成的镶嵌图像提供至计算部42，并且计算部42可以通过对来自相机22的镶嵌图像执行λ 1内插处理来生成λ 1图像，并且可以通过对来自相机22的镶嵌图像执行λ 2内插处理来生成λ 2图像。随后，计算部42可以使用LPF对所计算的λ 1图像和λ 2图像执行平滑处理等。二值化部43对来自计算部42的差分图像进行二值化，基于作为结果而获得的二值化皮肤图像，检测λ 1图像(或λ 2图像)上的皮肤区域，并且将检测结果提供至控制部 41。此处，构成差分图像63的像素的像素值也可以通过构成λ 1图像61的像素中的对应像素的亮度值来归一化(相除)，用于二值化。此外，二值化部43也可以使用λ2图像 62代替λ 1图像61来对差分图像63进行归一化，用于二值化。图6示出了通过计算部42和二值化部43所执行的处理的细节。将包括皮肤区域61a和非皮肤区域61b(除皮肤区域61a之外的区域)的λ 图像61以及包括皮肤区域6 和非皮肤区域62b (除皮肤区域6 之外的区域)的λ 2图像 62，从相机22提供至计算部42。计算部42使用LPF对从相机22提供的λ 1图像61和λ 2图像62执行平滑处理。随后，计算部42计算在平滑处理之后的λ 1图像61与平滑处理之后的λ 2图像62中对应像素的像素值(例如，亮度值)之间的差分，产生将差分用作像素值的差分图像63，随后，将结果提供至二值化部43。二值化部43对来自计算部42的差分图像63执行二值化，其中，在构成差分图像 63的像素的像素值中，将大于等于用于二值化的二值化阈值的像素值设定为“1”，并且将小于等于二值化阈值的像素值设定为“0”。此处，由于差分图像63中的皮肤区域63a包括将皮肤区域61a与皮肤区域6 之间的差分用作像素值的像素，所以构成皮肤区域63a的像素的像素值比较大。此外，由于差分图像63中的非皮肤区域6 包括将非皮肤区域61b与非皮肤区域 62b之间的差分用作像素值的像素，所以构成非皮肤区域63b的像素的像素值比较小。因此，通过二值化部43所执行的二值化，差分图像63被转换成包括构成皮肤区域63a的像素的像素值被设定为“1”的皮肤区域64a以及构成非皮肤区域63b的像素的像素值被设定为“0”的非皮肤区域64b的二值化皮肤图像64。此外，二值化部43将通过二值化所获得的二值化皮肤区域64上的皮肤区域6 提供至控制部41。[通过信息处理系统1执行的皮肤检测处理的细节]接下来，将参照图7的流程图描述通过信息处理系统1执行的皮肤检测处理。在步骤Sl中，LED 21a和LED 21b在控制部41的控制下以相同的照射时序来照射被摄物。相机22接收从使用来自LED 21a的波长λ 1的光以及来自LED 21b的波长λ 2 的光照射的被摄物所反射的光，并且对所接收的反射光进行光电转换，从而生成镶嵌图像。在步骤S2中，相机22基于所生成的镶嵌图像执行λ 1内插处理，并且将作为结果而获得的λ 1图像提供至计算部42。此外，相机22基于所生成的镶嵌图像执行λ 2内插处理，并且将作为结果而获得的λ 2图像提供至计算部42。在步骤S3中，计算部42使用LPF对来自相机22的λ 1图像和λ 2图像执行平滑处理。随后，计算部42计算平滑处理后的λ 2图像与λ 2图像之间的差分，并且将包括将所计算的差分用作像素值的像素的差分图像提供至二值化部43。在步骤S4中，二值化部43通过对来自计算部42的差分图像进行二值化来生成二值化皮肤图像。在步骤S5中，二值化部43基于所生成的二值化皮肤图像来检测λ 1图像(或λ 2 图像)上的皮肤区域，随后，将检测结果提供至控制部41。在步骤S6中，控制部41根据来自二值化部43的检测结果执行处理，即，例如，根据来自二值化部43的皮肤区域的形状来变更诸如电视机(未示出)的频道的处理。这样， 皮肤检测处理结束。如上所述，在皮肤检测处理中，从通过将图3所示的滤光板31安装在相机22的图像传感器的正面所获得的镶嵌图像生成用于皮肤区域检测的λ 1图像和λ2图像。因此，不需要使LED 21a和LED 21b在皮肤检测处理中以不同时序发光，因此，很容易控制LED 21a和LED 21b。此外，例如，在LED 21a和LED 21b以不同时序发光的情况下，可以防止λ 1图像中被摄物的位置与λ2图像中被摄物的位置由于被摄物的移动而造成的不重合。此外，例如，如在使用为了通过仅接收波长λ 1的光来生成λ 1图像而安装仅使波长λ 1的光透过的第一透过滤光片的第一相机以及为了通过仅接收波长λ2的光来生成 λ 2图像而安装仅使波长λ 2的光透过的第二透过滤光片的第二相机的情况一样，可以防止λ 1图像和λ2图像中被摄物的位置由于不一致而不重合。因此，在皮肤检测处理中，由于λ 1图像和λ 2图像中被摄物的位置没有不重合， 所以可以防止皮肤检测的精度被劣化。2.第二实施方式但是，在使用图3所示的滤光板31的情况下，具有对应于所接收的波长λ 1的光强度的灰度级的λ 1图像以及具有对应于所接收的波长λ 2的光强度的灰度级的λ 2图像被获得，但是很难获得每个像素均包括R(红色)值、G(绿色)值及B(蓝色)值的RGB图像。
因此，作为安装在相机22的图像传感器的正面上的滤光板，除了 λ 1滤光板和λ 2 滤光板之外，还可以采用滤光板71，其中，安装有仅使R成分透过的R滤光片、仅使G成分透过的G滤光片以及仅使B成分透过的B滤光片。[使用滤光板的排列的实例]图8示出了安装有λ 1滤光片、λ 2滤光片、R滤光片、G滤光片以及B滤光片的滤光板71的实例。在滤光板71中，如图8所示，将R滤光片(图8中的“R”)每隔两个像素排列在奇数行中，并且将λ 滤光片和λ 2滤光片交替排列在R滤光片之间。此外，在滤光片71中， 如图8所示，G滤光片(图8中的“G”)和B滤光片(图8中的“B”)交替排列在偶数行中。S卩，通过用λ 1滤光片或λ 2滤光片代替在以所谓拜耳排列所排列的R滤光片、G 滤光片以及B滤光片中被排列在奇数行中的G滤光片来获得滤光板71。图9是示出了构成图8所示的滤光板71的每个滤光片的透过特性的实例的示图。 在图9中，横轴表示波长，并且纵轴表示量子效率。在相机22中，如果使用如图8所示的滤光板71，则对基于通过滤光板71所接收的反射光而生成的镶嵌图像执行RGB内插处理，从而使得可以生成RGB图像。S卩，例如，相机22使用在构成所生成的镶嵌图像的各个像素的像素值中对应于安装有R滤光片的光接收元件的像素的像素值，将在接收到R成分的情况下所获得的像素值内插在对应于除安装有R滤光片之外的滤光片的光接收元件的像素中。此外，例如，相机22使用在构成所生成的镶嵌图像的各个像素的像素值中对应于安装有G滤光片的光接收元件的像素的像素值，将在接收到G成分的情况下所获得的像素值内插在对应于除安装有G滤光片之外的滤光片的光接收元件的像素中。此外，例如，相机22使用在构成所生成的镶嵌图像的各个像素的像素值中对应于安装有B滤光片的光接收元件的像素的像素值，将在接收到B成分的情况下所获得的像素值内插在对应于除安装有B滤光片之外的滤光片的光接收元件的像素中。因此，相机22生成在每个像素中具有R值、G值以及B值的RGB图像。以与安装有滤光板31的情况类似的方式，从镶嵌图像生成λ 1图像和λ 2图像。此外，在图像处理装置23中，例如，在LED 21a和LED 21b关闭的状态下，基于根据通过相机22的摄像所获得的镶嵌图像而生成的RGB图像来调整相机22的增益等，因此， 可以高精度地检测皮肤，而不会受到诸如日光或荧光的外部光的影响。即，例如，相机22将在LED 21a和LED 21b关闭的状态下所获得的RGB图像提供至控制部41。此外，控制部41基于来自相机22的RGB图像执行调整相机22的增益及发光装置 21中LED 21a或LED 21b的照射光量的皮肤检测调整处理。控制部41使用来自相机22的RGB图像作为外部光图像关于外部光图像来生成构成外部光图像的像素的像素值(例如，亮度值)的直方图，并基于所生成的直方图来调整相机22的增益。即，例如，控制部41基于所生成的直方图，即使在λ 图像和λ2图像中生成的噪声、LED 21a和LED 21b的照射光量发生变化等的情况下，仍在能够高精度地检测皮肤区域的范围内调整相机22的增益，而不会发生相机22的饱和(雪盲，whiteout等)。
图10示出了通过控制部41生成的直方图的实例。在图10中，横轴表示亮度值，纵轴表示外部光图像中具有横轴中亮度值的像素总数。此处，假设相机22生成将亮度值表示为28( = 256)的灰度级的外部光图像。因此，横轴表示从0至255范围内的亮度值。控制部41基于来自相机22的外部光图像生成如图10所示的直方图，并基于所生成的直方图来计算表示构成外部光图像的像素的亮度值的平均值的平均亮度值。随后，例如，控制部41基于所计算的平均亮度值，在能够高精度地检测皮肤区域的范围内(具体地，在所计算的平均亮度值变得小于等于能够通过外部光图像获得的最大亮度值的一半的范围内)调整相机22的增益。优选地，控制部41调整相机22的增益，使得所计算的平均亮度值变为能够通过外部光图像获得的最大亮度值的一半的亮度值。S卩，例如，如图10所示，在计算出平均亮度值165(通过图10中的粗垂直线表示) 的情况下，控制部41调整增益，使得平均亮度值165变为能够通过外部光图像获得的最大亮度值255的一半的亮度值127 (通过图10中的粗虚线表示)。在调整增益之后，控制部41控制发光装置21的LED 21a和LED 21b，允许LED 21a 和LED 21b同时发光。此外，控制部41控制相机22，通过相机22对被摄物执行摄像，并将从相机22输出的λ 1图像和λ 2图像提供至计算部42。此外，控制部41控制计算部42和二值化部43，以基于λ 1图像和λ 2图像来检测皮肤区域。在从二值化部43获得表示可以检测皮肤区域的检测结果作为皮肤区域的检测结果的情况下，控制部41执行减小LED 21a和LED 21b的照射光量的调整，以获得能够高精度地检测皮肤区域的必要最小照射光量。此外，由于随着LED 21a和LED 21b的照射光量的过度减少而检测不到皮肤区域， 所以在从二值化部43获得表示检测不到皮肤区域检测结果作为皮肤区域的检测结果的情况下，控制部41将相机22的增益调整至大于当前增益的增益，使得能够检测到皮肤区域。在相机22的增益和LED 21a和LED 21b的照射光量调整之后，为了执行基于皮肤区域的检测结果的处理，控制部41控制计算部42和二值化部43，以执行基于λ 1图像和 λ2图像的皮肤区域检测。随后，控制部41执行基于来自二值化部43的皮肤区域检测结果的处理。即，例如， 控制部41基于来自二值化部43的检测结果来识别用户的手势或姿态，并执行对应于所识别的手势等的处理。[通过图像处理装置23执行的皮肤检测调整处理的细节]接下来，将参照图11中的流程图描述通过图像处理装置23执行的皮肤检测调整处理。在步骤S31中，控制部41控制发光装置21和相机22，在发光装置21的LED 21a 和LED 21b关闭的状态下，通过相机22执行被摄物的摄像，并且获得通过摄像获得的镶嵌图像。随后，相机22使用在构成镶嵌图像的各个像素的像素值中具有R值、G值以及B值中的任意一个的像素值，对所获得的镶嵌图像执行RGB内插处理，并将作为结果而获得的RGB图像提供至控制部41作为外部光图像。在步骤32中，例如，控制部41基于来自相机22的外部光图像生成直方图，并且基于所生成的直方图来计算构成外部光图像的像素的亮度值的平均亮度值。随后，控制部41基于所计算的平均亮度值来调整相机22的增益，使得所计算的平均亮度值变得小于等于能够通过外部光图像获得的最大亮度值的一半。优选地，控制部41调整相机22的增益，使得所计算的平均亮度值变为能够通过外部光图像获得的最大亮度值的一半的亮度值。在步骤S33中，执行图7中的皮肤检测处理。具体地，例如，相机22在LED 21a和 LED 21b接通的状态下执行被摄物的摄像。随后，相机22将通过对作为结果而获得的镶嵌图像执行λ 1内插处理所获得的λ 1图像以及通过执行λ 2内插处理所获得的λ 2图像提供至计算部42。计算部42基于来自相机22的λ 图像和λ 2图像生成差分图像，并将其提供至二值化部43。二值化部43将来自计算部42的差分图像转换成二值化皮肤图像，并基于转换后的二值化皮肤图像，测试皮肤区域检测。随后，二值化部43将表示是否能够检测皮肤区域的检测结果提供至控制部41。在步骤S34中，控制部41基于来自二值化部43的检测结果确定是否能够检测皮肤区域，并且在确定无法检测皮肤区域的情况下，处理前进至步骤S35。在步骤S35中，控制部41确定在步骤S32中所调整的增益是否为可调整的最大增益，并且在确定其不是最大增益的情况下，处理前进至步骤S36。在步骤S36中，控制部41控制相机22，将相机22的增益调整至大于当前所设定的增益，随后，处理返回至步骤S33。随后，计算部42获得调整增益之后通过相机22的摄像最新提供的λ 1图像和λ2图像，随后，执行相同的处理。此外，在步骤S35中确定在步骤S32中所调整的增益为可调整的最大增益的情况下，由于控制部41不能将增益调整的大于最大增益，所以处理前进至步骤S37。在步骤S37中，控制部41控制发光装置21，将LED 21a和LED 21b的照射光量初始化为预定值，随后，处理返回至步骤S31。随后，控制部41重新执行皮肤检测调整处理。S卩，在处理前进至步骤S37的情况下，由于考虑到在步骤S39(将在随后描述)中随着LED 21a和LED 21b的照射光量过度减小而检测不到皮肤区域，所以LED 21a和LED 21b的照射光量被初始化为预定值，以重新执行皮肤检测调整处理。另一方面，在步骤S34中确定控制部41能够基于来自二值化部43的检测结果检测皮肤区域的情况下，处理前进至步骤S38。在这种情况下，二值化部43将表示能够检测皮肤区域的检测结果、所生成的二值化皮肤图像以及来自计算部42的差分图像提供至控制部41。在步骤S38中，控制部41基于来自二值化部43的二值化皮肤图像和差分图像，确定LED 21a和LED 21b的照射光量是否为检测皮肤区域的必要最小照射光量。S卩，例如，控制部41基于来自二值化部43的二值化皮肤图像从来自二值化部43 的差分图像中提取对应于二值化皮肤图像上的皮肤区域(例如，包括像素值为“1”的像素的区域)的皮肤区域。此外，在构成所提取的差分图像上的皮肤区域的像素的像素值几乎与皮肤可检测值(充分大于构成来自计算部42的差分图像上的非皮肤区域的像素的像素值的值)相同的情况下，控制部41确定LED 21a和LED 21b的照射光量为必要最小照射光量，并且在构成所提取的差分图像上的皮肤区域的像素的像素值大于皮肤可检测值的情况下，控制部41 确定LED 21a和LED 21b的照射光量不是必要最小照射光量。具体地，例如，在构成所提取的差分图像上的皮肤区域的像素的像素值的平均值几乎与皮肤可检测值相同的情况下，控制部41确定LED 21a和LED 21b的照射光量为必要最小照射光量，并且在构成所提取的差分图像上的皮肤区域的像素的像素值的平均值大于皮肤可检测值的情况下，控制部41确定LED 21a和LED 21b的照射光量不是必要最小照射光量。在步骤S38中，在控制部41确定LED 21a和LED 21b的照射光量不是皮肤区域检测的必要最小照射光量的情况下，处理前进至步骤S39。在步骤S39中，控制部41控制发光装置21执行减小LED 21a和LED21b的照射光量、使其变为用于皮肤区域检测的必要最小照射光量的调整。S卩，例如，控制部41调整LED 21a和LED 21b的照射光量，使得构成通过相机22 的摄像所获得的λ 1图像和λ 2图像上皮肤区域的像素的亮度值变为能够以高精度检测皮肤区域的必要最小亮度值，即，使得构成差分图像上的皮肤区域的像素的像素值的平均值变得几乎与皮肤可检测值相同。在步骤S39中的处理结束之后，控制部41使处理返回步骤S33。在步骤S33中，计算部42通过根据调整了照射光量的LED 21a和LED 21b的接通来执行相机22的摄像而获得从相机22输出的λ 1图像和λ 2图像，随后，执行相同的处理。在步骤S38中确定了 LED 21a和LED 21b的照射光量为皮肤区域检测的必要最小照射光量的情况下，控制部41结束皮肤检测调整处理，随后，执行图7中所示的皮肤检测处理。在上述皮肤检测调整处理中，例如，控制部41调整相机22的增益，使得构成外部光图像的像素的亮度值的平均亮度值变为作为通过相机22的摄像所获得的最大亮度值的一半的亮度值。在这种情况下，由于增益能够在能够以高精度检测皮肤区域的范围内被调整为最大，具体地，例如，在所计算的平均亮度值变得小于等于能够通过外部光图像获得的最大亮度值的一半的情况下，所以控制部41能够扩展(在维持皮肤区域的检测精度的同时，能够检测皮肤区域的)可检测距离。此外，在皮肤检测调整处理中，由于为了获得皮肤区域检测的必要最小照射光量而减小了 LED 21a和LED 21b的照射光量，所以可以在维持皮肤区域的检测精度的同时，降低LED 21a和LED 21b的照射所需电力，从而实现节能，。[第二实施方式的变形例]在皮肤检测调整处理中，控制部41基于来自相机22的外部光图像的直方图来生成外部光图像的平均亮度值，并且基于所生成的平均亮度值来调整相机22的增益，但是相机22的增益的调整方法不限于此。S卩，例如，如图12所示，控制部41也可以调整相机22的增益，使得当表示在基于来自相机22的外部光图像所生成的直方图中像素数最大时的亮度值的峰值(此处，172)变得小于等于能够通过外部光图像获得的最大亮度值的一半。在图12所示的情况下，当亮度值255变为峰值时，控制部41可以计算除了亮度值为255(饱和)的部分之外的峰值，并且可以基于所计算的峰值来调整相机22的增益。此外，例如，如图13所示，控制部41可以调整相机22的增益，使得基于表示通过在基于来自相机22的外部光图像所生成的直方图中具有小亮度值的像素连续累加(相加) 所获得的像素数的像素累加数所指定的亮度值变为小于等于能够通过外部光图像获得的最大亮度值的一半。S卩，例如，控制部41能够调整相机22的增益，使得当像素累加数变为对应于直方图中总像素数的80%的像素数时，所累加像素的亮度值(此处，20 变得小于等于能够通过外部光图像获得的最大亮度值的一半。此外，在皮肤检测调整处理中，控制部41基于外部光图像的直方图调整相机22的增益，但是，可以调整相机22的增益、光接收灵敏度以及曝光(光接收)时间等中的至少一个。但是，在第一实施方式中，为了获得如图9所示的透过特性，准备R滤光片、G滤光片以及B滤光片，并且准备图8所示的滤光板71，但是，也可以通过使用现有技术的R滤光片、G滤光片以及B滤光片构成具有如图9所示的透过特性的滤光板71。接下来，将参照图14 图16描述使用现有技术的R滤光片、G滤光片以及B滤光片来准备与图9所示的滤光板71的R滤光片、G滤光片以及B滤光片相同的滤光片的情况。图14示出了现有技术的R滤光片、G滤光片以及B滤光片的透过特性的实例。图15示出了通过现有技术的IR(红外)截止滤光片遮挡的波长的实例。如图15 所示，现有技术的顶截止滤光片遮挡约800[nm]以上波长的红外光(参照图15所示的两点虚线的右侧)，而使波长短于约800 [nm]的光透过(参照图15所示的两点虚线的左侧)。图16示出了在现有技术的R滤光片、G滤光片以及B滤光片的各正面上安装现有技术的顶截止滤光片的情况下的透过特性的实例。由此，可以通过在现有技术的R滤光片、G滤光片以及B滤光片的各正面上安装现有技术的顶截止滤光片，来实现具有如图16所示透过特性的R滤光片、G滤光片以及B滤光片。此外，如果将现有技术的顶截止滤光片安装在现有技术的R滤光片、G滤光片以及B滤光片的各正面，并且如图8所示地排列λ 1滤光片和λ 1滤光片，则可以实现具有图 9所示的透过特性的滤光板71。在这种情况下，由于使用现有技术的R滤光片、G滤光片、B滤光片以及顶截止滤光片，所以可以轻松实现滤光板71，无需为了获得如图9所示的透过特性而重新准备R滤光片、G滤光片以及B滤光片。滤光板中R滤光片、G滤光片、B滤光片、λ 1滤光片以及λ 2滤光片不限于如图8 所示的排列，并且例如，可以准备具有如图17所示的排列的新的滤光板81。此外，通过事实上使用具有现有技术的拜耳排列的滤光板，可以实现具有如图9 所示的透过特性的滤光板。接下来，将参照图18 图20描述在按照原状使用现有技术的拜耳排列的滤光板来实现具有如图9所示的透过特性的滤光板的情况下的实例。
图18示出了以现有技术的拜耳排列来排列的滤光板91的实例。在滤光板91中，棋盘状地排列G滤光片(对应于图18中的“G”)，在奇数列中将 R滤光片(对应于图18中的“R”)交替排列在G滤光片之间，并且在偶数列中将B滤光片 (对应于图18中的“B”)交替排列在G滤光片之间。作为在滤光板91上包括水平方向上的两个滤光片和垂直方向上的两个滤光片的四个滤光片，存在一个R滤光片、一个B滤光片以及两个G滤光片，并且G滤光片比R滤光片和B滤光片多一个滤光片。这是因为，对应于G成分的绿色比较难被人看见。图19示出了安装有λ 1滤光片和λ 2滤光片的顶截止滤光片92的实例。在顶截止滤光片92中，分别以间隔一个像素的状态棋盘式地排列λ 1滤光片(图 19中的IR 870)和λ 2滤光片(图19中的顶950)。在顶截止滤光片92中，未安装λ 1 滤光片和λ 2滤光片的部分(图19中的空白)具有如图15所示的透过(遮挡)特性的顶截止滤光片的功能。通过以顶截止滤光片92覆盖滤光板91的正面来建立如图20所示的滤光板93。 滤光板93具有如图9所示的透过特性。信息处理系统1可以小型化，以便安装在诸如电视机的电子设备中。图21示出了作为小型化的信息处理系统1的小模块1'的实例。小模块1'包括透镜101，校正来自构成光源组102(随后将被描述)的LED的光，从而照射被摄物；光源组102，具有多个LED 21a和LED 21b ；基板103，包括构成光源组 102的多个LED 2Ia和LED 21b被排列在其上的光源基板103a以及相机104及图像处理部 105 (随后将被描述)被排列在其上的处理基板10 ；相机104，以与图1中相机22类似的方式构成；图像处理部105，以与图1中的图像处理装置23类似的方式构成；以及支撑组件 106，支撑透镜101、光源基板103a以及处理基板103b。如图22所示，例如，将小模块1'安装在电视机141的显示器141a的上面，并执行识别在电视机141的显示器141a的前面出现的用户手部的形状等以及基于识别结果改变电视机141的音量、频道等的处理。3.第三实施方式但是，安装有小模块1'的电视机141可以具有检测用于电视机141的操作的遥控器121的位置的位置检测装置，以及检测皮肤的皮肤检测装置的功能。图22示出了具有位置检测装置功能的电视机141的结构实例。电视机141在显示电视节目的显示器141a上安装有小模块1'。在电视机141中所安装的小模块1'基于通过被摄物的摄像所获得的λ 1图像，检测用户所操作的遥控器121的位置。S卩，例如，在用户移动遥控器121同时使从遥控器121的LED 121a发射波长λ 1 的光的情况下，小模块1'对被摄物进行摄像，并且对通过摄像所获得的镶嵌图像执行入1 内插处理，随后，检测在作为结果而获得的λ 1图像中LED 121a的位置(遥控器121的位置)。随后，小模块1'在对应于所检测的LED 121a的位置的显示器141a上的位置161 中显示指针等。[通过电视机141执行的LED检测处理]
接下来，将参照图23中的流程图描述通过安装在电视机141中的小模块1'执行的LED检测处理。例如，在从遥控器121的LED 121a发射波长λ 1的光的状态下，用户在上下左右方向上移动遥控器121，从而移动显示器141a上的指针。此外，在LED检测处理中，光源组 102不变地处于关闭状态。这与将参照图M描述的LED检测调整处理相同。在步骤S71中，相机104以与图1中相机22类似的方式执行摄像，并且对相机104 的图像传感器所接收的光进行光电转换，以生成镶嵌图像。在步骤S72中，相机104基于所生成的镶嵌图像执行λ 1内插处理，生成作为结果而获得的λ 1图像，随后，将其提供至图像处理部105。在相机104的摄像范围内，LED 121a为发射波长λ 1的光的仅有的光源。因此，在λ 1图像上的所有区域中构成存在LED 121a的LED显示区域的每个像素的像素值变得相对大于构成除LED显示区域之外的区域的每个像素的像素值。因此，在步骤S73中，图像处理部105基于构成来自相机104的λ 1图像的像素的像素值是否大于等于预定LED阈值，尝试在λ 1图像上检测显示发射波长λ 1的光的LED 121a(来自其中的光)的LED显示区域。在步骤S73中，图像处理部105在来自相机104的λ 1图像上的所有区域中检测据确定像素值大于等于LED阈值的区域，作为LED显示区域。在步骤S74中，图像处理部105计算所检测的LED显示区域的中心作为λ 1图像上的LED位置，并且对应于所计算的LED位置在显示器141a上的位置161处显示指针。因此，用户移动遥控器121的LED 121a，从而在显示器141a上移动指针。如上所述，在LED检测处理中，小模块1'基于从遥控器121的LED121a发射的波长λ 1的光来计算遥控器121的LED 121a的位置。随后，在显示器141a上的指针根据所计算的LED 121a的位置而移动。因此，用户可以使用遥控器121a作为用于在显示器141a上移动指针的装置。但是，在主要用来自外部光的波长λ 1的光照射相机104的情况下，由于来自外部光的波长λ 1的光，会发生LED位置的错误检测。[通过电视机141执行的LED检测调整处理]接下来，将参照图M的流程图描述根据外部光来调整相机104的增益、不受外部光的任何影响地检测LED位置的LED检测调整处理。在这种情况下，例如，假设在相机104的图像传感器中，作为能够生成RGB图像的滤光片，安装图8中的滤光板。在步骤SlOl中，相机104执行被摄物的摄像，并且获得通过摄像所获得的镶嵌图像。随后，关于所获得的镶嵌图像，相机22使用在构成镶嵌图像的各个像素的像素值中具有R值、G值以及B值中的任意一种的像素值执行RGB内插处理，并且将作为结果而获得的 RGB图像提供至图像处理部105，作为外部光图像。在步骤S102中，图像处理部105基于来自相机104的外部光图像生成直方图，并基于所生成的直方图来计算构成外部光图像的像素的亮度值的平均亮度值。随后，图像处理部105基于所计算的平均亮度值，调整相机104的增益，使得所计算的平均亮度值变为小于等于能够通过外部光图像获得的最大亮度值的一半。
优选地，图像处理部105调整相机104的增益，使得所计算的平均亮度值变为能够通过外部光图像获得的最大亮度值的一半的亮度值。在步骤S103中，图像处理部105通过执行与图23中的LED检测处理相同的处理来尝试检测LED位置。在步骤S104中，图像处理部105在能够检测LED位置的情况下使处理前进至步骤 S105，例如，对应于所计算的LED位置在电视机141的显示器141a上的位置161处显示指针，使处理返回至步骤S103，随后，执行相同的处理。在步骤S104中，在检测不到LED位置的情况下，图像处理部105使处理前进至步骤S106。随后，在步骤S106中，图像处理部105控制相机104，从而将相机104的增益调整至大于当前所设定的增益，随后，使处理返回步至骤S103。随后，图像处理部105获得通过在增益调整后通过相机104执行摄像所输出的新的λ 1图像，随后执行相同处理。如上所述，根据LED检测调整处理，由于基于来自相机104的外部光图像来调整相机104的增益，从而无论来自外部光的光如何也能够检测LED位置，所以无论外部光的光如何，都可以高精度地检测LED位置。 在LED检测处理和LED检测调整处理中，检测发射波长λ 1的光的LED 121a的位置，但是，在LED 121a发射波长λ 2的光来而不是波长λ 1的光的情况下，能够类似地检测 LED 121a的位置。在这种情况下，使用λ 2图像而不是λ 1图像来执行LED 121a的位置检测。此外，例如，在存在移动具有发射波长λ 1的光的第一 LED的遥控器的第一用户以及移动具有发射波长λ 2的光的第二 LED的遥控器的第二用户的情况下，在LED检测处理中能够检测第一 LED和第二 LED的各个位置。具体地，例如，在检测第一LED和第二LED的各个位置的情况下，相机104在LED检测处理中在步骤S72中，将通过对所生成的镶嵌图像执行λ 1内插处理所获得的λ 1图像以及通过对所生成的镶嵌图像执行λ 2内插处理所获得的λ 2图像提供至图像处理部105。随后，在步骤S73中，图像处理部105基于来自相机104的λ 1图像执行第一 LED 的位置检测，并且基于来自相机104的λ 2图像执行第二 LED的位置检测。在步骤S74中，图像处理部105根据所检测的第一 LED的位置移动相应的第一指针，并且根据所检测的第二 LED的位置移动相应的第二指针。此外，以与LED检测调整处理类似的方式，在步骤S103中，基于λ 1图像尝试第一 LED设备的位置检测，并且基于λ 2图像尝试第二 LED设备的位置检测。随后，在步骤S104 中，例如，确定是否能够检测第一 LED和第二 LED的各个位置。由此，在能够检测第一 LED的位置和第二 LED的位置的情况下，例如，如图25A 图25D所示，通过在通过相机104的RGB内插处理所获得的RGB图像上重叠第一 LED位置和第二 LED位置所获得的图像可以显示在显示器141a上。因此，例如，可以通过使用如上所述的电视机141和遥控器121来实现视频游戏应用。具体地，例如，如图25D所示，在实现了第一用户处于守备侧并且第二用户处于攻击侧的棒球视频游戏的情况下，将第一 LED位置识别为守备侧的手套位置，并且将第二 LED 位置识别为攻击侧的球棒位置。
此外，例如，如果将除第一 LED(LED 121a)之外的第二 LED安装在遥控器121中， 则能够根据通过LED检测处理等所检测的第一 LED和第二 LED位置之间的关系来确定遥控器121的姿态(例如，是否向上或向下握住操作面等)。因此，在这种情况下，由于可以根据遥控器121的姿态确定奥赛罗游戏的棋子、日本象棋棋子等的里返(reversing)操作，所以能够使用电视机141和遥控器121实现奥赛罗游戏、日本象棋等的应用。此外，由于可以根据遥控器121的姿态的改变来确定遥控器121旋转的方向，所以如果遥控器121的姿态与电视机141频道的切换操作、音量改变操作等相匹配，则可以根据遥控器121的移动来改变频道或音量。此外，例如，可以使用如下事实，S卩，随着从小模块1'至遥控器121(LED 121a)的距离变短，LED显示区域变大，基于LED显示区域的检测尺寸，测量从小模块1'至遥控器 121 (LED 121a)的距离。[第三实施方式的变形例]在第三实施方式中，至少具有λ 1滤光片和λ 2滤光片的滤光板用于检测LED的位置，但是可以进一步安装使发光光谱的峰值波长为λ3(不同于入1和λ》的光(下文中，被称作波长λ 3的光)透过的λ 3滤光片。S卩，例如，可以使用具有N个使λ 至λ N的不同波长的光透过的λ 1滤光片至 λ N滤光片的滤光板。在这种情况下，如果使用分别发射λ 1至λ N波长的光的第一至第N个LED，则可以在LED检测处理和LED检测调整处理中检测到第一至第N个LED的位置。因此，例如，在实现能够执行第一用户与第二用户之间的拳击视频游戏的应用的情况下，第一用户的右手可以握住第一 LED设备，其左手可以握住第二 LED设备，第二用户的右手可以握住第三LED设备，并且其左手可以握住第四LED设备。因此，在小模块1'中，可以通过识别第一用户右手和左手的位置及第二用户右手和左手的位置来实现拳击视频游戏应用。此外，在LED检测处理和LED检测调整处理中，在仅检测发射波长λ 1的光的LED 121a的位置的情况下，可以在相机104的图像传感器中安装至少具有λ 1滤光片而没有 λ 2滤光片的滤光板。如上所述，例如，信息处理系统1执行皮肤检测处理，并且安装在电视机141中的小模块1'执行LED检测处理，但是，信息处理系统1和小模块1'都可以执行皮肤检测处理和LED检测处理。这类似地应用于皮肤检测调整处理及LED检测调整处理。具体地，例如，在信息处理系统1中，控制部41控制发光装置21，并且也可以在 LED 21a和LED 21b停止发光的状态下执行LED检测处理，并且控制部41可以控制发光装置21，以在执行LED 21a和LED 21b发光的状态下执行皮肤检测处理。由此，在能够执行皮肤检测处理和LED检测处理的情况下，根据用户的偏好，信息处理系统1能够选择根据用户手部的形状或动作的空手(hands-free)操作以及通过遥控器(例如，图22中的遥控器121)的运动的控制器操作中的任意一种。此外，如上所述，在第一用户和第二用户玩视频游戏的情况下，例如，通过适当切换皮肤检测处理和LED检测处理，对于第一用户，可以执行空手操作，而对于第二用户，可以执行控制器操作。4.第四实施方式在上述第一至第三实施方式中，通过用波长λ 1的光和波长λ 2的光同时进行照射来执行摄像。即，如图26所示，通过用波长λ 1的光以恒定亮度照射预定时间段，并且同时用波长λ 2的光以恒定亮度照射预时序间来执行摄像。此外，在构成相机22的图像传感器中，λ 1滤光片或λ 2滤光片安装在每个光接收元件中，并且基于从图像传感器输出的镶嵌图像通过内插处理来生成λ 1图像和λ 2图像。因此，在第一至第三实施方式中，可以通过一次摄像获得λ 图像和λ2图像。此外，为了获得相同的图像，用于波长λ 和波长 λ 2的光接收元件可以分开安装，并且可以为每个光接收元件安装波长滤光片。另一方面，在此处将被描述的第四实施方式中，对于同时照射，以不同频率交替改变具有波长λ 1的光的亮度和具有波长λ 2的光的亮度，从而执行摄像。图27示出了根据第四实施方式的与亮度改变相关的发光与摄像时序。S卩，在第四实施方式中，发射波长λ 1的光持续预定时间段，同时以预定频率fl交替改变亮度，与此同时，发射波长λ 2的光持续预定时间，同时以预定频率f2交替改变亮度，从而执行摄像。频率f 1和f2是任意的，但是可以适当设定，从而不与通过其它装置(例如，红外遥控器等) 所发射的红外光频率相干涉。此外，在构成相机22的图像传感器中，通过光电转换所获得的电信号被分成两部分，两部分中的每部分通过用于频率Π的窄带滤光片或用于频率f2的窄带滤光片，因此， 生成λ 图像和λ 2图像。因此，在第四实施方式中，可以通过一次摄像获得λ 图像和 λ 2图像。图28示出了根据第四实施方式的对应于构成相机22的CMOS图像传感器的λ 1 图像和λ2图像的一个像素的结构实例。CMOS图像传感器200主要包括光电二极管201、放大器202、fl窄带滤光片203、 电容器204和208、二极管205和209、晶体管206和210以及f2窄带滤光片207。在CMOS图像传感器200中，被摄物的光学图像通过光电二极管201的光电转换被转换成电信号，并且放大器202所放大的电信号被分开进入fl窄带滤光片203和f2窄带滤光片207。此外，在对应于被摄物的光学图像的电信号中，仅有频率fl的交流成分通过 fl窄带滤光片203，并且由电容器204进行AC结合，并且根据信号大小的电荷通过二极管 205蓄积在晶体管206中。蓄积在晶体管206中的电荷为λ 1图像的像素充电。类似地，在对应于被摄物的光学图像的电信号中，仅有频率f2的交流成分通过f2窄带滤光片207，并且由电容器208进行AC结合，并且根据信号大小的电荷通过二极管209蓄积在晶体管210 中。蓄积在晶体管210的电荷为λ2图像的像素充电。如上所述，fl窄带滤光片203和f2窄带滤光片207分别仅使交流成分的频率f 1 或频率f2透过。换句话说，对应于被摄物的光学图像的电信号的直流成分被丢弃。但是，通常地，除了有意发射的波长λ 1和λ 2的照射光之外来自外部光的照射光都包括在来自被摄物的光学图像中。由日光、各种照明光等带来的外部光主要包括直流成分，同时包括少量交流成分。因此，通过fl窄带滤光片203并蓄积在晶体管206中的电荷， 即，λ 1图像可以通过去除外部光成分来获得。类似地，λ 2图像也可以通过去除外部光成分来获得。
图四是示出了直至根据第四实施方式生成了 λ 1图像和λ 2图像为止的处理(下文中，称作λ 和λ 2图像生成处理)的流程图。在步骤S201中，发光装置21控制LED 21a发射波长λ 1的光，同时以预定频率Π 交替改变其亮度，并且控制LED 21b发射波长λ 2的光，同时以预定频率f2交替改变亮度。在步骤S202中，相机22对用发光装置21的波长λ 1和波长λ 2的光照射的被摄物进行摄像。即，构成相机22的CMOS图像传感器200的光电二极管201将被摄物的光学图像转换成电信号。电信号在被放大器202放大后，分开进入fl窄带滤光片203和f2窄带滤光片207，并且fl窄带滤光片203仅使电信号的频率fl的交流成分透过至电容器204。 结果，对λ 1图像的像素进行充电的电荷蓄积在晶体管206中。类似地，在步骤S204中，fl 窄带滤光片207仅使电信号的频率f2的交流成分透过至电容器208。结果，变为λ 2图像的像素的电荷蓄积在晶体管210中。在步骤S203中，读出变为λ 1图像的像素的电荷，以生成λ 1图像。类似地，在步骤S204中，读出变为λ 2图像的像素的电荷，以生成λ 2图像。由此，生成了 λ 1图像和λ 2图像。执行这些处理，而不是在根据第一实施方式的皮肤检测处理中的步骤Sl和S2中的处理。由于此后的处理与上述皮肤检测处理中步骤S3 及之后的处理相同，所以将省略其描述。在根据第四实施方式所获得的λ 图像和λ 2图像中，由于去除了外部光成分 (直流成分)而没有进行像素内插处理，并且被摄物位置没有不重合，所以即使在被摄物移动的情况下，也能高精度地检测皮肤。5.第五实施方式在第五实施方式中，交替发射具有波长λ 1的光和具有波长λ 2的光，同时以相同频率交替改变其亮度，从而执行摄像。图30示出了根据第五实施方式的与亮度变化相关的照射时序和摄像。即，在第五实施方式中，发射波长λ 1的光持续预定时间段，同时以预定频率f3交替改变其亮度，从而执行摄像，随后，发射波长λ 2的光被持续预定时间段，同时以预定频率f3交替改变其亮度，从而执行摄像。此外，在构成相机22的图像传感器中，通过光电转换所获得的电信号通过用于频率f3的窄带滤光片，从而交替生成λ 图像和λ2图像。因此，在第五实施方式中，可以通过进行两次摄像来获得λ 1图像和λ 2图像。图观示出了对应于构成根据第五实施方式的相机22的CMOS图像传感器的λ 1 图像和λ2图像的一个像素的结构实例。CMOS图像传感器300主要包括光电二极管301、放大器302、f3窄带滤光片303、 电容器304、二极管305以及晶体管306。可以由硬件和软件的之一来构成f3窄带滤光片 303。在CMOS图像传感器300中，被摄物的光学图像通过光电二极管301的光电转换来转换。在放大器302所放大的电信号中，仅有频率f3的直流成分通过f3窄带滤光片303， 并且其电荷蓄积在晶体管306中。因此，当用波长λ 1的光照射时，蓄积在晶体管306中的电荷变为λ 1图像的像素，并且当用波长λ 2的光照射时，蓄积在晶体管306中的电荷变为 λ 2图像的像素。
f3窄带滤光片303仅使f3频率的交流成分透过。换句话说，对应于被摄物的光学图像的电信号的直流成分被丢弃。因此，通过f3窄带滤光片303并蓄积在晶体管306中的电荷，g卩，λ 1图像和λ 2图像能够通过去除外部光成分来获得。图32是示出了根据第五实施方式的λ 1和λ 2图像生成处理的流程图。在步骤S211中，发光装置21控制LED 21a发射波长λ 1的光，同时以预定频率f3 交替改变其亮度。在步骤S212中，相机22对用发光装置21的波长λ 1的光照射的被摄物进行摄像。即，构成相机22的CMOS图像传感器300的光电二极管301将被摄物的光学图像转换成电信号。电信号在被放大器302放大后输入至f3窄带滤光片303，并且f3窄带滤光片303仅使电信号的频率f3的交流成分透过至电容器304。结果，对λ 1图像的像素充电的电荷蓄积在晶体管306中。在步骤S213中，读出对λ 1图像的像素充电的电荷，以生成λ 1图像。在步骤S214中，发光装置21控制LED 21b发射波长λ 2的光，同时以预定频率f3 交替改变其亮度。在步骤S215中，相机22对用发光装置21的波长λ 2的光照射的被摄物进行摄像。即，构成相机33的CMOS图像传感器300的光电二极管301将被摄物的光学图像转换成电信号。电信号在被放大器302放大后输入至f3窄带滤光片303。在步骤S216中，f3窄带滤光片303仅使电信号的频率f3的交流成分透过至电容器304。结果，对λ 2图像的像素进行充电的电荷蓄积在晶体管306中。如上所述，生成了 λ 1图像和λ 2图像。执行这些处理，而不是根据第一实施方式的皮肤检测处理中的步骤Sl和S2中的处理。由于此后的处理与上述皮肤检测处理中步骤 S3以及其后的处理相同，所以将省略其描述。在根据第五实施方式所获得的λ 图像和λ 2图像中，由于去除了外部光成分 (直流成分)而没有像素内插处理，所以可以高精度地检测被摄物的皮肤。但是，如上所述的一系列处理可以通过专用硬件执行，或者可以通过软件执行。在通过软件执行一系列处理的情况下，例如，构成软件的程序从记录介质安装在(例如，安装有各种程序以执行各种功能的)所谓的嵌入式计算机、或通用计算机等中。[计算机的结构实例]图33示出了通过程序执行如上所述的一系列处理的计算机的结构实例。在计算机500中，CPU 501根据存储在ROM 502和存储部508中的程序执行各种处理。在RAM 503中，适当地存储通过CPU 501所执行的程序、数据等。CPU 501、ROM 502 以及RAM 503通过总线504彼此连接。此外，输入和输出接口 505通过总线504连接至CPU 501。包括键盘、鼠标、麦克风等的输入部506以及包括显示器、扬声器等的输出部507连接至输入和输出接口 505。CPU 501根据从输入部506输入的指令执行各种处理。随后，CPU 501将处理结果输出至输出部 507。连接至输入和输出接口 505的存储部508包括硬盘，例如，存储待通过CPU 501执行的程序或各种数据。通信部509通过诸如局域网、互联网等执行与外部装置的通信。此外，程序可以通过通信部509来获得，并且可以被存储在存储部508中。当安装诸如磁盘、光盘、磁光盘、半导体存储器等的可移动介质511时，连接至输入和输出接口 505的驱动器510驱动可移动介质511，获得在其上所记录的程序、数据等。
26所获得的程序或数据根据需要被传送并存储在存储部508中。记录(存储)安装在计算机中并且能够由计算机执行的程序的记录介质包括作为包括磁盘、光盘、磁光盘、半导体存储器等的封装介质的可移动介质511、程序被临时或永久存储的ROM 502、构成存储部508的硬盘等。根据需要通过称作局域网、互联网、数字卫星广播的有线或无线通信介质通过作为诸如路由器、调制解调器等的接口的通信部509来向记录介质执行程序的记录。在该说明书中，对应于如上所述的一系列处理的步骤可以以时间序列方式执行， 或者可以并行或单独地执行。此外，在该说明书中，系统指的是包括多个设备或装置的整个系统。本发明包含于2010年6月4日向日本专利局提交的日本在先专利申请第 2010-U9413号和2010年9月2日向日本专利局提交的日本在先专利申请第2010-196803 号的主题，其全部内容结合于此作为参考。需要注意，对于本领域的技术人员来说，本发明可以存在各种修改、组合、再组合、 改进等，凡在所附权利要求及其等价物的范围之内，均应包含在本发明的权利要求范围之内。
权利要求
1.一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置，包括照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；第一生成部，安装有至少具有接收所述第一波长的光的第一光接收元件以及接收所述第二波长的光的第二光接收元件的图像传感器，并基于用所述第一和第二波长的光照射所述被摄物时的入射至所述图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；第二生成部，在构成所述第一镶嵌图像的各个像素中，基于对应于所述第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于所述第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及检测部，基于所述第一和第二图像检测所述皮肤区域。
2.根据权利要求1所述的图像处理装置，其中，所述第一生成部基于入射至所述图像传感器的、来自所述被摄物的反射光来生成所述第一镶嵌图像，所述图像传感器包括所述第一和第二光接收元件、接收R红色成分的第三光接收元件、接收G绿色成分的第四光接收元件及接收B蓝色成分的第五光接收元件。
3.根据权利要求2所述的图像处理装置，其中，所述第一生成部基于当没有用所述第一和第二波长的光照射所述被摄物时，入射至所述图像传感器的、来自所述被摄物的反射光来生成第二镶嵌图像，其中，所述第二生成部在构成所述第二镶嵌图像的各个像素中，基于对应于所述第三至第五光接收元件中的每个的像素的像素值，生成通过第三内插处理所获得的RGB图像， 以及其中，所述图像处理装置还包括调整部，所述调整部基于所述RGB图像，在满足用于检测所述皮肤区域的皮肤可检测条件的范围内调整所述第一生成部的参数。
4.根据权利要求3所述的图像处理装置，其中，所述第一生成部通过根据预定参数对所述被摄物进行摄像来生成所述第一镶嵌图像，以及其中，所述调整部在满足构成所述RGB图像的像素的亮度值和基于所述亮度值所计算的计算值中的一个变为小于等于所述RGB图像所能获得的最大亮度值的一半的皮肤可检测条件的范围内，调整所述第一生成部的所述参数。
5.根据权利要求1所述的图像处理装置，还包括第一入射限制部，限制除所述第一波长之外的波长的光的入射，并且使所述第一波长的光透过；以及第二入射限制部，限制除所述第二波长之外的波长的光的入射，并且使所述第二波长的光透过，其中，所述第一生成部安装有至少具有接收通过所述第一入射限制部获得的第一波长的光的第一光接收元件以及接收通过所述第二入射限制部获得的第二波长的光的第二光接收元件的所述图像传感器。
6.根据权利要求1所述的图像处理装置，其中，所述第一生成部基于当没有用所述第一和第二波长的光照射所述被摄物被时， 入射至所述图像传感器的、来自所述被摄物的反射光，生成第二镶嵌图像，其中，所述第二生成部在构成所述第二镶嵌图像的各个像素中，基于对应于所述第一光接收元件的像素的像素值，生成通过第四内插处理所获得的第三图像，以及其中，所述检测部在所述第三图像的所有区域中，检测包括构成所述第三图像的各个像素中的像素值大于等于预定阈值的像素的预定区域。
7.根据权利要求6所述的图像处理装置，还包括控制所述照射部的照射的控制部，其中，在所述控制部的控制下执行所述照射部的照射的情况下，所述检测部基于所述第二生成部生成的所述第一和第二图像来检测所述皮肤区域，并且在所述控制部的控制下不执行所述照射部的照射的情况下，所述检测部基于所述第二生成部生成的所述第三图像来检测所述预定区域。
8.一种图像处理装置的图像处理方法，所述图像处理装置包括照射部；第一生成部， 安装有至少具有接收第一波长的光的第一光接收元件以及接收与所述第一波长不同的第二波长的光的第二光接收元件的图像传感器；第二生成部；以及检测部；并且所述图像处理装置从图像中检测表示人类皮肤的皮肤区域；所述方法包括通过所述照射部，用所述第一波长的光和所述第二波长的光照射被摄物； 通过所述第一生成部，当用所述第一和第二波长的光照射所述被摄物时，基于入射至所述图像传感器的、来自所述被摄物的反射光，生成第一镶嵌图像；通过所述第二生成部，在构成所述第一镶嵌图像的各个像素中，基于对应于所述第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于所述第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及通过所述检测部，基于所述第一和第二图像检测所述皮肤区域。
9.一种允许计算机控制图像处理装置的程序，所述图像处理装置包括照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；以及第一生成部，安装有至少具有接收所述第一波长的光的第一光接收元件和接收所述第二波长的光的第二光接收元件的图像传感器，并且基于用所述第一和第二波长的光照射所述被摄物时的入射至所述图像传感器的、来自所述被摄物的反射光，生成第一镶嵌图像，所述图像处理装置从图像中检测表示人类皮肤的皮肤区域，所述程序使所述计算机具有以下功能第二生成部，在构成所述第一镶嵌图像的各个像素中，基于对应于所述第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于所述第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像；以及检测部，基于所述第一和第二图像，检测所述皮肤区域。
10.一种从图像中检测表示人类皮肤的皮肤区域的电子装置，包括照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物； 第一生成部，安装有至少具有接收所述第一波长的光的第一光接收元件和接收所述第二波长的光的第二光接收元件的图像传感器，并且基于用所述第一和第二波长的光照射所述被摄物时的入射至所述图像传感器的、来自所述被摄物的反射光，生成第一镶嵌图像；第二生成部，在构成所述第一镶嵌图像的各个像素中，基于对应于所述第一光接收元件的像素的像素值，生成通过第一内插处理所获得的第一图像，以及基于对应于所述第二光接收元件的像素的像素值，生成通过第二内插处理所获得的第二图像； 检测部，基于所述第一和第二图像，检测所述皮肤区域；以及执行部，根据所检测的所述皮肤区域执行处理。
11.一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置，包括照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；摄像部，对所述被摄物进行摄像，生成基于所述第一波长的光的第一图像，并生成基于所述第二波长的光的第二图像；以及检测部，基于所生成的第一和第二图像检测所述皮肤区域，其中，所述照射部根据预定频率改变所述第一波长的光的亮度和所述第二波长的光的亮度，从而照射所述被摄物，以及其中，所述摄像部提取通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述预定频率的成分，从而生成所述第一和第二图像。
12.根据权利要求11所述的图像处理装置，其中，所述照射部根据预定频率交替地改变所述第一波长的光的亮度和所述第二波长的光的亮度，从而照射所述被摄物，以及其中，所述摄像部提取通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述预定频率的交流成分，从而生成所述第一和第二图像。
13.根据权利要求12所述的图像处理装置，其中，所述照射部同时执行根据第一频率交替改变所述第一波长的光的亮度从而照射所述被摄物的处理以及根据与所述第一频率不同的第二频率交替改变所述第二波长的光的亮度从而照射所述被物的处理，以及其中，所述摄像部通过提取在用所述第一和第二波长的光照射的状态下通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述第一频率的交流成分来生成所述第一图像，并且通过提取通过对所述被摄物的光学图像进行光电转换所获得的所述电信号中对应于所述第二频率的交流成分来生成所述第二图像。
14.根据权利要求12所述的图像处理装置，其中，所述照射部交替执行根据第三频率交替改变所述第一波长的光的亮度从而照射所述被摄物的处理以及根据所述第三频率交替改变所述第二波长的光的亮度从而照射所述被摄物的处理，以及其中，所述摄像部通过提取在用所述第一波长的光照射的状态下通过对所述被摄物的所述光学图像进行光电转换所获得的电信号中对应于所述第三频率的交流成分来生成所述第一图像，并且通过提取在用所述第二波长的光照射的状态下通过对所述被摄物的所述光学图像进行光电转换所获得的电信号中对应于所述第三频率的交流成分来生成所述第二图像。
15.一种图像处理装置的图像处理方法，所述图像处理装置包括照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；摄像部，对所述被摄物进行摄像， 生成基于所述第一波长的光的第一图像，并且生成基于所述第二波长的光的第二图像；以及检测部，根据所生成的所述第一和第二图像检测所述皮肤区域；并且所述图像处理装置从图像中检测表示人类皮肤的皮肤区域；所述方法包括通过所述照射部，根据预定频率改变所述第一波长的光的亮度和所述第二波长的光的亮度，从而照射所述被摄物；以及通过所述摄像部，提取通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述预定频率的成分来生成所述第一和第二图像。
16.一种用于控制图像处理装置的程序，所述图像处理装置包括照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物；摄像部，对所述被摄物进行摄像， 生成基于所述第一波长的光的第一图像，并且生成基于所述第二波长的光的第二图像；以及检测部，根据所生成的所述第一和第二图像检测所述皮肤区域；并且所述图像处理装置从图像中检测表示人类皮肤的皮肤区域，所述程序使所述图像处理装置的计算机执行包括以下步骤的处理 通过控制所述照射部，根据预定频率改变所述第一波长的光的亮度和所述第二波长的光的亮度，从而照射所述被摄物；以及通过控制所述摄像部，提取通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述预定频率的成分，从而生成所述第一和第二图像。
17.—种从图像中检测表示人类皮肤的皮肤区域电子装置，包括照射部，用第一波长的光和与所述第一波长不同的第二波长的光照射被摄物； 摄像部，对所述被摄物进行摄像，生成基于所述第一波长的光的第一图像，并且生成基于所述第二波长的光的第二图像；检测部，基于所生成的第一和第二图像检测所述皮肤区域，以及执行部，根据所检测的所述皮肤区域执行处理，其中，所述照射部根据预定频率改变所述第一波长的光的亮度和所述第二波长的光的亮度，从而照射所述被摄物，以及其中，所述摄像部提取通过对所述被摄物的光学图像进行光电转换所获得的电信号中对应于所述预定频率的成分，从而生成所述第一和第二图像。
全文摘要
本发明公开了图像处理装置、图像处理方法、程序及电子装置。一种从图像中检测表示人类皮肤的皮肤区域的图像处理装置，包括照射部，用第一和第二波长光照射被摄物；第一生成部，安装有至少具有接收第一波长光的第一光接收元件和接收第二波长光的第二光接收元件的图像传感器，并基于当用第一和第二波长光照射被摄物被时，入射至图像传感器的、来自被摄物的反射光，生成第一镶嵌图像；第二生成部，在构成第一镶嵌图像的各个像素中，生成通过第一内插处理所获得的第一图像以及通过第二内插处理所获得的第二图像；以及检测部，基于第一和第二图像检测皮肤区域。
文档编号A61B5/00GK102266218SQ20111014136
公开日2011年12月7日 申请日期2011年5月27日 优先权日2010年6月4日
发明者三谷论司, 安藤正博, 椛泽秀年, 清水隆范 申请人:索尼公司