位置检测装置及控制方法

专利名称：位置检测装置及控制方法
技术领域：
本发明涉及一种通过对拍摄对象的拍摄图像进行分析来检测出拍摄对象的像在该拍摄图像上的位置的位置检测装置，其中，该拍摄图像是通过拍摄画面所具有的光传感 器来拍摄接触或者接近了拍摄画面的拍摄对象时所得到的图像。
背景技术：
目前已有通过拍摄用户对触屏上的任意位置进行指示的手指或者触笔等指示部 件(以下统称为指示物体)的图像，并对该图像进行图案匹配的方法，来确定指示物体所指 示的位置的触屏。专利文献1中揭示了此类触屏的一个例子。在专利文献1所揭示的具备图像获取功能的显示装置中，像素区域上设置了光灵 敏度不同的2种以上的光传感器元件。例如，交替设置具备低灵敏度的光传感器元件的像 素的排列行和具备高灵敏度的光传感器元件的像素的排列行，在外部光较弱时使用高灵敏 度的光传感器元件来获取指示物体的图像，而在外部光较强时使用低灵敏度的光传感器元 件取得上述图像。专利文献1 日本国专利申请公开特开2006-18219号公报(
公开日2006年1月 19日)

发明内容
但是，设在该显示装置的不同种类的各个光传感器元件，虽然根据光量的大小显 示出不同的受光灵敏度，但是所能够检测出的光的波长特性相同。因此，例如在由指示物体 的反射光所产生的光传感器的输出和由环境光所产生的光传感器的输出为相等的状态下 使用显示装置时，灵敏度不同的无论是哪个光传感器元件都无法读取图像。本发明是鉴于上述课题进行开发的，其目的在于提供一种能够在广范围的环境照 度下确切检测出拍摄对象的像的位置的位置检测装置。为了解决上述课题，本发明的位置检测装置通过对拍摄接近或者接触到拍摄画面 的拍摄对象而获得的拍摄图像进行分析来判断该拍摄对象的像在上述拍摄图像上的位置， 其中，该拍摄画面具备多个光传感器，并且使用上述光传感器拍摄上述拍摄对象，上述位置 检测装置的特征在于，包括作为上述光传感器的第1光传感器以及第2光传感器，该第1光 传感器以及第2光传感器对波长具有不同的灵敏度特性；还包括推算值算出部，根据上述 第1光传感器取得的拍摄图像算出作为外部光强度指标的推算值，该外部光强度是指上述 拍摄对象的周围的光强度。为了解决上述课题，本发明的位置检测装置的控制方法是一种通过对拍摄接近或 者接触到拍摄画面的拍摄对象而获得的拍摄图像进行分析来判断该拍摄对象的像在上述 拍摄图像上的位置的控制方法，其中，该拍摄画面具备多个光传感器，并且使用上述光传感 器拍摄上述拍摄对象，上述位置检测装置包括作为上述光传感器的第1光传感器以及第2 光传感器，上述第1光传感器以及第2光传感器对波长具有不同的灵敏度特性，上述位置检测装置的控制方法包括推算值算出工序，使用上述第1光传感器取得的拍摄图像，推算出 作为外部光强度指标的推算值，上述外部光强度是指上述拍摄对象的周围的光强度。使用已拍摄有拍摄对象的像的拍摄图像来检测拍摄对象的位置时，优选正确算出 拍摄对象周围的外部光强度，并利用该外部光强度来分析拍摄图像。根据上述结构，上述位置检测装置具备第1光传感器以及第2光传感器作为用于 拍摄拍摄对象的光传感器，该第1光传感器以及第2光传感器对波长具有不同的灵敏度特 性。此外，推算值算出部使用第1光传感器取得的拍摄图像来算出作为外部光强度指标的 推算值。该推算值可以是外部光强度本身，也可以是反映外部光强度变化的值。该推算值 用于位置检测处理的各种处理，并根据外部光强度变化进行处理。由于具备波长灵敏度特性不同的2种光传感器，因此，较之于只具备1种光传感器 的情况，能够在更广范围的环境照度下确切检测出拍摄对象的像的位置。此外，由于使用第 1光传感器取得的拍摄图像来算出外部光强度的推算值，因此无需另设外部光强度测定用 传感器，能够通过简单结构即可检测出外部光强度的变化。
如上所述，本发明的位置检测装置是一种通过对拍摄接近或者接触到拍摄画面的 拍摄对象而获得的拍摄图像进行分析来判断该拍摄对象的像在上述拍摄图像上的位置的 位置检测装置，其中，该拍摄画面具备多个光传感器，并且使用上述光传感器拍摄上述拍摄 对象。上述位置检测装置包括作为上述光传感器的第1光传感器以及第2光传感器，该第 1光传感器以及第2光传感器对波长具有不同的灵敏度特性；还包括推算值算出部，根据上 述第1光传感器取得的拍摄图像算出作为外部光强度指标的推算值，该外部光强度是指上 述拍摄对象的周围的光强度。本发明的控制方法是一种通过对拍摄接近或者接触到拍摄画面的拍摄对象而获 得的拍摄图像进行分析来判断该拍摄对象的像在上述拍摄图像上的位置的位置检测装置 的控制方法，其中，该拍摄画面具备多个光传感器，并且使用上述光传感器拍摄上述拍摄对 象，上述位置检测装置包括作为上述光传感器的第1光传感器以及第2光传感器，上述第1 光传感器以及第2光传感器具有不同的波长灵敏度特性；上述控制方法包括推算值算出工 序，使用上述第1光传感器取得的拍摄图像，推算出作为外部光强度指标的推算值，上述外 部光强度是指上述拍摄对象的周围的光强度。因此，能够在广范围的环境照度下确切检测出拍摄对象的像的位置。


图1是表示本发明的一个实施方式的接触位置检测装置的结构的框图。图2的(a)是表示红外光传感器的结构的概略图，(b)是表示可见光传感器的结 构的概略图。图3是表示上述接触位置检测装置所具备的光传感器内置型IXD的结构概略图。图4的(a)以及(b)是表示红外光传感器以及可见光传感器的配置式样的图。图5的(a)是用于说明从红外光传感器所取得的拍摄图像中算出外部光强度的 图，(b)是表示外部光强度算出部作成的直方图和外部光强度的关系的图。图6是说明外部光强度算出部所进行的处理的意义的图。图7是说明外部光强度算出部所进行的处理的变更例的图。
图8是表示识别处理选择部所进行的处理流程的一个例子的流程图。图9的(a)是表示反射光识别模式下的背光灯的状态的图，(b)是表示影子识别模式下的背光灯的状态的图。图10是表示反射光识别模式和影子识别模式的切换方式的图。图11是示意地表示反射光识别模式下的拍摄图像的例图。图12是示意地表示影子识别模式下的拍摄图像的例图。图13是表示反射光识别模式下的接触与非接触时的拍摄图像的图。图14是表示影子识别模式下的接触与非接触时的拍摄图像的图。图15的(a)是表示在反射光识别模式下的外部光强度和非接触时的指腹下像素 值和接触时的指腹下像素值的关系的曲线图，(b)是表示随着外部光强度的变化而变化的 拍摄图像的图。图16的(a) (d)是表示反射光识别模式下的非接触时的指腹下像素值和接触 时的指腹下像素值和接触非接触间像素值以及无用信息删除用像素值的关系的曲线图。图17的(a)是表示在影子识别模式下的外部光强度和非接触时的指腹下像素值 和接触时的指腹下像素值的关系的曲线图，(b)是表示随着外部光强度的变化而变化的拍 摄图像的图。图18的(a) (d)是表示影子识别模式下的非接触时的指腹下像素值和接触时 的指腹下像素值和接触非接触间像素值以及无用信息删除用像素值的关系的曲线图。图19是说明在影子识别模式下识别无用信息删除部进行的处理的图。图20的(a)以及(b)是说明在影子识别模式下外部光强度达到饱和时的问题点 以及解决方法的图。图21的(a)以及(b)是说明在反射光识别模式下接触非接触间像素值达到饱和 时的问题点以及解决方法。图22是表示在影子识别模式下切换灵敏度和未切换灵敏度的情况下的拍摄图像 的例子的图。图23是说明最适灵敏度算出部的灵敏度切换处理的例子的图。图24是表示上述接触位置检测装置的接触位置检测处理流程的一个例子的流程 图。图25是表示本发明的其他实施方式的接触位置检测装置的结构框图。图26是说明在影子识别模式下识别无用信息删除部的识别无用信息删除处理的 图。图27是表示上述接触位置检测装置的接触位置检测处理流程的一个例子的流程 图。<附图标记说明>1接触位置检测装置(位置检测装置)3外部光强度算出部(推算值算出部)4最适灵敏度算出部(灵敏度设定部)5识别处理选择部(切换部)6接触非接触间像素值算出部(基准值算出部)
7识别无用信息删除部(图像处理部)8特征量提取部9接触位置检测部(位置算出部)11光传感器内置型IXD (拍摄画面)12红外光传感器(第1光传感器)13可见光传感器(第2光传感器)17背光灯(红外光光源)31特征量提取部32识别无用信息删除部(删除部)50接触位置检测装置(位置检测装置)
具体实施例方式(实施方式1)以下，根据图1 图24说明本发明的一个实施方式。作为本发明的一个实施方式， 在此介绍一种通过拍摄用户的手指或者触笔等指示部件(通称指示物体)的图像，并根据 该图像来检测出指示物体的位置的接触位置检测装置1，其中，用户使用指示物体对触屏上 的任意位置进行指示。此外，还可以将接触位置检测装置表述为显示装置、拍摄装置、输入 装置或者电子设备。接触位置检测装置1包括通过利用反射光拍摄指示物体(拍摄对象)像的反射光 识别模式和对指示物体的影子进行拍摄的影子识别模式，两种模式可切换。通过下述的识 别处理选择部5，切换反射光识别模式和影子识别模式。(接触位置检测装置1的结构)图1是表示本实施方式的接触位置检测装置1的结构框图。如图1所示，接触位 置检测装置(位置检测装置)1包括触屏部(拍摄部)10、图像分析部20、应用程序执行部 21以及存储部40。存储部40用于存储各种数据。所谓各种数据是指通过图像分析部20以及应用程 序执行部21执行的各部的控制程序、OS程序、应用程序以及在执行上述程序时所读取的数 据。可使用硬盘、闪存等非挥发性存储装置构成存储部40。此外，接触位置检测装置1具备由RAM (Random Access Memory、随机存取存储器) 等挥发性存储装置构成的暂时性存储部(未图示)。在图像分析部20以及应用程序执行部 21执行上述各种程序的过程中，作为临时保存数据的作业区域使用该暂时性存储部。触屏部10包括光传感器内置型IXD (液晶屏/显示屏)(拍摄画面)11、AD (analog/ digital、模拟/数字)变换器14、背光灯控制部15以及灵敏度调整部16。其中，光传感器 内置型LCDll中作为拍摄元件内藏设置了光传感器(红外光传感器(第1光传感器))12 和可见光传感器(第2光传感器)13。此外，如图3所示，触屏部10包括背光灯17。背光灯17包括能够向作为拍摄对象的指示物体射出红外光的红外光光源和能够射出可见光的可见光光源。在反射光识别模式下，点亮红外光光源和可见光光源两者，在影 子识别模式下，关闭红外光光源而点亮可见光光源，就此将在以下的段落中进行详细说明。 可见光光源具有作为光传感器内置型LCDll中的显示用背光灯光源的功能。
红外光传感器12和可见光传感器13是对于波长具有不同灵敏度特性的光传感 器。为了对于因温度等外在要素发生变化的光传感器的检测特性予以补偿，触屏部10还可 具备作为补偿用传感器的暗电流补偿用光传感器(未图示)。(红外光传感器12以及可见光传感器13的结构)图2(a)是表示红外光传感器12的结构的概略图，图2 (b)是表示可见光传感器13 的结构的概略图。红外光传感器12和可见光传感器13同设在有源矩阵基板51上，光传感 器本身并无区别，两者之相异点在于，红外光传感器12其上方(在对置基板52侧)设有滤 光片53，通过该滤光片53滤除可见光(波长380nm 750歷)，使红外光(波长800nm Imm)透过。由于滤光片53在可见光传感器13的上方形成开口，因此，朝可见光传感器13 入射的可见光不会被遮断。因此，红外光传感器12主要接收红外光，可见光传感器13主要 接收可见光。利用上述不同的结构，红外光传感器12用于拍摄以算出外部光强度的红外光图 像以及反射光识别模式下的红外光图像，可见光传感器13用于拍摄影子识别模式下的可 见光图像。
对滤光片53的组成并无特殊限定，例如可通过彩色滤光片的叠层构造来实现。另外，除了设置滤光片53的方法之外，还可以使用波长灵敏度特性不同的传感器 来分别作为红外光传感器12和可见光传感器13。(光传感器内置型IXDll的结构)光传感器内置型IXDll由于内藏有光传感器，因此，不仅能用于显示还能进行图 像拍摄。从而，光传感器内置型IXDll具有作为拍摄画面的功能，即，能够拍摄包含了指示 物体的像的图像(以下称之为拍摄图像)，其中，指示物体为接触到作为触屏的光传感器内 置型IXDll的表面的指示物体。图3是表示光传感器内置型IXD11的结构的概略图。如图3所示，光传感器内置型 IXDll包括设在有源矩阵基板51上的像素电极18和设在对置基板52上的R(红)、G(绿)、 B (蓝)的彩色滤光片19r、19g、19b。R、G、B的3种子像素构成1个像素。对应光传感器内置型IXDll的每个像素，均设有1个光传感器(红外光传感器12 或者可见光传感器13)。换言之，在光传感器内置型LCDll的有源矩阵基板51上，矩阵状设 置了红外光传感器12以及可见光传感器13。但是，红外光传感器12以及可见光传感器13 的排列方式以及个数并不限定于上述，可适宜进行变更。图3中的红外光传感器12位于设 有蓝色滤光片19b的像素电极18的附近，但是并不限定于此。还可在设有红色滤光片19r 的像素电极18的附近或者设有绿色滤光片19g的像素电极18的附近，设置红外光传感器 12 (或者可见光传感器13)。红外光传感器12以及可见光传感器13所取得信号经AD变换器14进行数字化处 理之后，被输出到图像调整部2。红外光传感器12所取得的拍摄图像称之为红外光图像，可 见光传感器13所取得的拍摄图像称之为可见光图像。此外，红外光图像和可见光图像有时 也统称为传感器图像。(图像分析部2O的结构)图像分析部20包括图像调整部2、外部光强度算出部(推算值算出部)3、最适灵 敏度算出部(灵敏度设定部)4、识别处理选择部(切换部)5、接触非接触间像素值算出部(基准值算出部)6、识别无用信息删除部(图像处理部)7、特征量提取部8以及接触位置检 测部(位置算出部)9。在图像调整部2进行的处理是调整触屏部10拍摄到的拍摄图像(红外光图像以 及可见光图像)的增益以及偏移的校正处理等，并将调整之后的拍摄图像输出给外部光强 度算出部3、识别处理选择部5以及识别无用信息删除部7。在以下的说明中，图像以输出 精度为8位、256灰阶级作为前提条件。在此，图像调整部2还具有作为取得部的功能，从触 屏部10取得拍摄图像。此外，图像调整部2还可将取得的拍摄图像或者调整后的拍摄图像 保存在存储部40。
外部光强度算出部3根据图像调整部2输出的红外光图像，算出作为外部光强度 指标的推算值，该外部光强度是指示物体周围的光强度。该推算值是反映了外部光强度变 化的值。推算值本身并不需要直接体现外部光强度，只要在通过对推算值进行规定的计算 时能够算出外部光强度即可。此外，该推算值是一种能以像素值表现的值。外部光强度算 出部3将算出的外部光强度的推算值输出给最适灵敏度算出部4、识别处理选择部5以及接 触非接触间像素值算出部6。外部光强度是指，射入红外光传感器12的、指示物体(拍摄对象)周围的光强度。 无论是影子识别模式还是反射光识别模式，外部光强度算出部3都进行相同的处理。关于 在外部光强度算出部3所进行的处理，以下将有详细说明。最适灵敏度算出部4根据外部光强度算出部3算出的外部光强度的推算值，算出 为了识别指示物体时最适当的红外光传感器12以及可见光传感器13的灵敏度，并向灵敏 度调整部16输出。关于在最适灵敏度算出部4所进行的处理，以下将有详细说明。如上所 述，红外光传感器12和可见光传感器13的本体部分所使用的是相同的光传感器，最适灵敏 度算出部4算出适合于红外光传感器12和可见光传感器13两者的灵敏度。灵敏度调整部16将红外光传感器12和可见光传感器13的灵敏度调整成由最适 灵敏度算出部4算出的最适灵敏度。识别处理选择部5根据外部光强度算出3算出的外部光强度的推算值，对反射光 识别模式(第1拍摄方法)和影子识别模式(第2拍摄方法)进行切换，其中在反射光识 别模式下，对从背光灯17射向拍摄对象之后被该拍摄对象反射的光的像进行拍摄；在影子 识别模式下，对射向红外光传感器12(或者可见光传感器13)的外部光被拍摄对象遮断所 形成的影子进行拍摄。换言之，识别处理选择部5根据外部光强度算出3算出的外部光强度 的推算值，对反射光识别模式(第1检测方法)和影子识别模式(第2检测方法)进行切 换，其中在反射光识别模式下，在对从背光灯17射向拍摄对象之后被该拍摄对象反射的 光的像进行拍摄而获得的拍摄图像中，检测出该拍摄对象的像的位置；在影子识别模式下， 在对射向红外光传感器12 (或者可见光传感器13)的外部光被拍摄对象遮断所形成的影子 进行拍摄而获得的拍摄图像中，检测出该拍摄对象的像的位置。具体而言，识别处理选择部 5通过背光灯控制部15对背光灯17的红外光光源的接通/关闭进行切换。识别处理选择 部5在切换成反射光识别模式时，点亮背光灯17的红外光光源，而在切换成影子识别模式 时关掉红外光光源。此外，识别处理选择部5还对接触非接触间像素值算出部6所进行的处理内容进 行切换。关于在识别处理选择部5所进行的处理，以下将有详细说明。
接触非接触间像素值算出部6算出在识别无用信息删除部7中为删除拍摄图像中 的对指示物体的识别并不需要的信息而所要利用的像素值的基准值(接触非接触间像素 值以及无用信息删除用像素值)。具体而言，接触非接触间像素值算出部6根据外部光强度 算出部3算出的外部光强度的推算值，算出接触非接触间像素值以及无用信息删除用像素 值，其中，上述接触非接触间像素值是为了从拍摄图像中删除指示物体未接触光传感器内 置型LCD11的情况下该指示物体的像而所要利用的像素值的基准值，上述无用信息删除用 像素值是为了删除妨碍对指示物体的像进行识别而所要利用的像素值的基准值。换言之， 接触非接触间像素值算出部6算出为了从拍摄图像中删除除接触到光传感器内置型LCD11 的指示物体的接触部分的像以外的像而所要利用的像素值的基准值。关于接触非接触间像 素值算出部6进行的处理，以下将有详细说明。识别无用信息删除部7根据接触非接触间像素值算出部6算出接触非接触间像素 值(以及无用信息删除用像素值)，改变在拍摄图像中包含的一部分像素的像素值，从而删 除拍摄图像中的对进行指示物体识别时并不需要的信息。换言之，识别无用信息删除部7 改变拍摄图像所包含的一部分像素的像素值，以使得从拍摄图像中删除指示物体未接触到 拍摄画面的情况下该指示物体的像。该识别无用信息删除部7在反射光识别模式下以红外 光图像作为处理对象，而在影子识别模式下以可见光图像作为处理对象。特征量提取部8通过索贝尔滤波器等进行边缘检测处理，从经过识别无用信息删 除部7处理过的拍摄图像的每个像素中，提取表示指示物体的特征的特征量(边缘特征 量)。特征量提取部8例如提取包含有8个方向上的矢量的特征量作为指示物体的特征量， 该8个方向上的矢量表示目标像素周围的8个方向上的像素值的梯度(分级)方向。例如 日本国专利申请公开特开2008-250949号公报中揭示了此类的特征量提取方法。具体而言，特征量提取部8算出纵方向梯度量和横方向梯度量，并根据上述纵方 向梯度量和横方向梯度量，来确定出亮度发生急剧变化的部分即边缘像素。其中，纵方向梯 度量表示在纵方向上目标像素的像素值和相邻接的像素的像素值之间的梯度，横方向梯度 量表示在横方向上目标像素的像素值和相邻接的像素的像素值之间的梯度。然后，提取由 该边缘像素的像素值的梯度所表示的矢量以作为特征量。关于特征量提取部8进行的特征量提取处理，只要能够检测出指示物体的形状 (尤其是边缘)即可，对此并无特别限定。特征量提取部8可利用现有的图案匹配等图像处 理方法来检测指示物体的像(特征区域)。特征量提取部8向接触位置检测部9输出所提 取的特征量和与所提取的特征量相关联的像素。接触位置检测部9通过对特征量提取部8提取的特征量所表示的特征区域进行图 案匹配，确定出接触位置(拍摄物体的像在拍摄图像上的位置)。具体而言，接触位置检测 部9对于以像素值的梯度方向表示的多个像素所构成的规定模型图案和由特征量提取部8 提取的特征量所表示的梯度方向的图案进行图案匹配，检测出与模型图案所包含的梯度方 向相一致的像素的个数超过规定个数的区域，并将该区域作为指示物体的像。作为接触位置检测部9的位置检测方法，只要能够确切检测出指示物体的像的位 置即可，可采用任何方法。接触位置检测部9向应用程序执行部21输出已确定的接触位置 的坐标。应用程序执行部21使用接触位置检测部9输出的坐标，执行与该坐标相对应的应用程序或者在特定的应用程序进行与该坐标相对应的处理。在此，对于应用程序执行部21 所执行的应用程序并不作限定。也可以说，接触非接触间像素值算出部6、识别无用信息删除部7、特征量提取部8 以及接触位置检测部9是使用外部光强度算出部3算出的外部光强度的推算值进行特定处 理的处理执行部。(红外光传感器12以及可见光传感器13的配置)图4是表示红外光传感器12以及可见光传感器13的配置样式的图。在该图中， “A”表示红外光传感器12，“B”表示可见光传感器13。如图4(a)表示，可在光传感器内置 型IXD11上交替地配置红外光传感器12的列和可见光传感器13的列。此外，如图4(b)表示，还可交替(如“之”字形)配置红外光传感器12和可见光 传感器13。此时，红外光传感器12和可见光传感器13形成棋盘格纹样。只要能够确切取得拍摄图像，配置红外光传感器12和可见光传感器13的方法并 不限定于上述。(外部光强度算出部3的详细处理内容)以下，详细说明外部光强度算出部3的处理内容。图5是用于说明外部光强度算 出部3的处理内容的图。如图5(a)所示，外部光强度算出部3至少选择一部分从红外光传感器12输出的 用于表示受光量的输出值(像素值)，按照从高到低的顺序排列所选择的输出值，并将规定 序位上的输出值作为外部光强度的推算值。S卩，外部光强度算出部3作成表示像素值和具有该像素值的像素的个数的关系的 直方图，此时，按照像素值从大到小的顺序排列红外光传感器12取得的拍摄图像的像素。 该直方图优选包括拍摄图像的全像素的像素值。但是考虑到成本和处理速度，不是利用构 成拍摄图像的全像素(换言之，全红外光传感器12的输出值)，而是以按照一定的均等间隔 从拍摄图像的像素值中选择像素。在影子识别模式下，由于将外部光强度的推算值直接作为外部光强度，因此，在影 子识别模式的相关说明中，外部光强度的推算值称之为外部光强度。在反射光识别模式下， 外部光强度较小时使用指腹的像的像素值来算出外部光强度的推算值，因此，该推算值本 身并不能表示外部光强度。但是，即使在这种情况下，由于指腹的像的像素值随着外部光强 度的增大而增大，因此，上述推算值是反映外部光强度的值。以下，以影子识别模式下的处 理为例说明外部光强度算出部3的处理。图5(b)是表示外部光强度算出部3所作成的直方图和外部光强度之间的关系的 图。在外部光强度不同的环境下，对于将手指放在触屏部10上的状态下的外部光强度进行 检测时，如图5(b)所示，作成的直方图也不同，外部光越强，直方图的分布区域就越集中在 像素值高的部分。在图5(b)，A是拍摄传感器图像(3)时的外部光强度，B是拍摄传感器图 像(2)时的外部光强度，C是拍摄传感器图像(1)时的外部光强度。接下来，进行根据获得的直方图以算出外部光强度的处理时，按照像素值从高到 低的顺序进行计数，以该计数值达到制作直方图所使用的像素值的个数的数％时的像素值 作为外部光强度的值。以下就以直方图的上位的数％的部分的像素值作为外部光强度的理由进行说明。图6是用于说明外部光强度算出部3的处理的意义的图。例如，如图6所示，即使在相同的 外部光强度条件下，所取得的图像因手指和手的放置方法而发生变化。图6的传感器图像 (1)是从屏板的左侧将手指放在屏板的左侧时的拍摄图像，传感器图像(2)是从屏板的左 侧将手指放在屏板的右侧时的拍摄图像。虽然两种情况的外部光强度相同，但由于图像因屏板上的手指的放置位置而异， 因此，图6所示，所作成的直方图也不相同。在此种情况下如果要正确算出外部光强度，例 如以直方图的上位5%的部分作为外部光强度时，图6的传感器图像(1)和图6的传感器图 像(2)之间几乎没有差距。但是以上位50%的部分作为外部光强度时，图6的传感器图像 (1)和图6的传感器图像(2)之间的外部光强度的值出现较大差距。根据上述理由，基于直方图算出外部光强度时，通过根据上位的数个％来算出外 部光强度，能够减小手指和手的放置位置对于算出值的影响。但是，如果根据直方图上位的极小范围的值，例如上位0. 的值等来算出外部光 强度时，因外部光强度算出用图像的像素值的缺陷等可能导致精度下降，因此，优选根据数 个％程度来算出外部光强度。即，按照像素值从大到小的顺序对从外部光强度算出用图像 中的像素中选择的像素进行排列时，作为外部光强度的像素值优选被采用为小于被选择 像素的总数的10%的数所对应的序位上的像素的像素值。换言之，外部光强度算出部3以 位于规定的序位上的输出值作为外部光强度，其中，规定的序位是指，按照输出值从大到小 的顺序排列所选择的红外光传感器12的输出值时，为被选择的输出值的总数的10%以下 的数所对应的序位。此外，外部光强度算出部3可根据与识别处理选择部5进行切换的识别模式相对 应的上述规定序位来算出外部光强度的推算值。即，外部光强度算出部3在反射光识别模 式下根据用于反射光识别模式的上述规定序位而在影子识别模式下根据用于影子识别模 式的上述规定序位来分别算出外部光强度的推算值。尤其是在反射光识别模式下，如上所述，外部光强度比较小时，由于是根据指腹的 像的像素值来算出外部光强度的推算值，因此，根据小于直方图的上位10%的像素值来算 出外部光强度的推算值的方法并不一定就是理想的方法。因此，在反射光识别模式下可进 行如下设定(1)即使受到指腹的像的影响较强也无妨，根据小于直方图的上位10%的像 素值来算出外部光强度的推算值、(2)外部光强度的推算精度虽然会有一些下降，但为尽量 避免受指腹的像的影响，根据直方图的上位的数十％来算出外部光强度。如上所述，通过设定适于各识别模式的上述规定序位，能够更确切地算出外部光 强度的推算值。图7是说明外部光强度算出部3的处理的变更例的图。外部光强度算出部3算出 外部光强度的方式并不限定于直方图，还可以采用例如图7所示的方法圈定拍摄图像内 的取样点区域(符号71 75所示部分)，并分别求出圈定的各区域71 75内的像素(取 样点)的像素值的平均值，采用其中最大平均值作为外部光强度。符号76所示的中空像素 是非样点像素。(利用红外光算出外部光强度的优点)红外光强度算出部3可根据可见光传感器13取得的可见光图像来算出外部光强 度，而更优选根据红外光传感器12取得的红外光图像来算出外部光强度，其理由如下。
荧光灯的光以及较暗的室外环境下的光几乎不含红外光，因此，在室内以及室外 的较暗的光环境下利用背光灯17的红外光的反射光进行拍摄对象的位置检测时，几乎不 受外部光的影响。但是，外部光中的红外光强度增强时，拍摄对象的像和背景部分的反差消 失，将导致无法识别出拍摄对象的像。因此，优选在出现识别障碍前检测出外部光中的红外 光强度，并将识别模式从反射光识别模式切换成影子识别模式。从而，优选预先对外部光中 的红外光强度进行推测。此外，在影子识别模式下，红外光也比可见光更易于透过手指，因此，在如室外较 亮的光环境等红外光含量较多的环境下，通过拍摄拍摄对象的像来进行位置检测时，拍摄 对象的影子的亮度受到透过手指等的红外光强度的影响(主要接收可见光的可见光传感 器13对红外光也有一定的反应，因此像素值上升)，因此，通过正确把握外部光中的红外光 强度，预测拍摄对象的影子的亮度(像素值)，并通过向识别处理进行反馈，可提高识别精 度。根据上述优点，在本实施方式，利用红外光传感器12取得的红外光图像来算出外 部光强度。(识别处理选择部5的详细处理)以下，详细说明识别处理选择部5的处理。图8是表示识别处理选择部5的处理 流程的一个例子的流程图。识别处理选择部5根据外部光强度算出部3算出的外部光强度 的推算值，对反射光识别模式和影子识别模式进行切换。具体而言，识别处理选择部5判断 外部光强度算出部3所输出的外部光强度的推算值是否达到规定的阈值(S1)。在反射光识别模式下，外部光强度为指腹61 (参照图3)的反射光强度以上时，指 腹的像和背景之间的反差消失，从而无法进行反射光识别。因此，优选在考虑可进行反射光 识别的外部光强度的上限值的基础上，设定上述规定的阈值。判断出外部光强度的推算值小于规定的阈值(S1中为“是”)时，识别处理选择部5 接通背光灯17上的红外光光源(S2)，并设定用于对红外光传感器12输出的拍摄图像(红 外光图像)进行分析的参数(S3)。该参数的设定将被反映在下述的图像分析处理中。此 外，识别处理选择部5向接触非接触间像素值算出部6输出用于命令使用红外光图像来算 出接触非接触间像素值的命令(S4)。如上所述，外部光强度的推算值小于规定阈值时，识别 处理选择部5选择设定为反射光识别模式。另一方面，判断出外部光强度的推算值为规定阈值以上时(S1中为“否”)，识别处 理选择部5关闭背光灯17上的红外光的光源(S5)，并设定用于对可见光传感器13输出的 拍摄图像(可见光图像)进行分析的参数(S6)。该参数的设定将被反映在下述的图像分析 处理中。此外，识别处理选择部5向接触非接触间像素值算出部6输出用于命令使用可见 光图像来算出接触非接触间像素值的命令(S7)。如上所述，外部光强度的推算值为规定阈 值以上时，识别处理选择部5选择设定为影子识别模式。在该影子识别模式下，使用可见光 图像来检测指示物体的像的位置。但是，在外部光中含有较多的红外光的可见光环境下，在 影子识别模式下也能够使用红外光图像。(背光灯17的切换方式)以下，说明反射光识别模式下以及影子识别模式下的背光灯17的状态。图9是表 示反射光识别模式下以及影子识别模式下的背光灯17的状态的图。
如图9(a)所示，在反射光识别模式下，红外光以及可见光的背光灯被接通，被指 腹反射的红外光射入光传感器内置型IXD11。此时，来自外部的可见光以及红外光也射入光 传感器内置型IXD11。相对于此，如图9(b)所示，在影子识别模式下，红外光的背光灯被关闭，主要是来 自外部的可见光以及红外光射入光传感器内置型IXD11。(反射光识别模式和影子识别模式的切换方法)为了防止反射光识别模式和影子识别模式因外部光强度的轻度变化而发生频繁 切换，切换成反射光识别模式的切换点和切换成影子识别模式的切换点优选具有滞后特 性。根据图10说明该结构，图10是表示反射光识别模式和影子识别模式的切换方式的图。如图10所示，在切换成反射光识别模式的切换点和切换成影子识别模式的切换 点之间设有规定的间隔。换言之，从影子识别模式切换成反射光识别模式的外部光强度的 推算值的基准值和从反射光识别模式切换成影子识别模式的上述基准值是不同的值。根据 上述，能够防止发生反射光识别模式和影子识别模式之间过于频繁的切换。此时，将切换成影子识别模式的切换点设定在比切换成反射光识别模式的切换点 更靠近外部光强度较强的一侧。根据上述设定方式，能够扩大设定为反射光识别模式的外 部光强度的范围。在影子识别模式下，根据手指的按压方法或者影子的形成方式，有时无法 识别出该手指，因此，优先反射光识别模式。为了扩大被设定为反射光识别模式的外部光强 度的范围，优选增强红外光背光灯的强度。(拍摄图像的例子)以下，说明反射光模式下以及影子识别模式下的拍摄图像的例子。图11是表示反 射光识别模式下的拍摄图像的例子的示意图。在该图，(a)(无光)、(c)(荧光灯)、(e)(白 炽灯)以及(g)(太阳光)表示拍摄手指时的光源种类，(b)、(d)、(f)以及(h)表示拍摄图 像的一个例子。从背光灯17射出的红外光被手指的接触到光传感器内置型LCD11的接触部分 (指腹)所反射，然后反射光射入红外光传感器12。如图11的(b)以及(d)所示，外部光中 几乎不含红外光的情况下，指腹的像是比背景还明亮的白色圆形。如图11的(f)以及(h) 所示，外部光所包含的红外光的量较多时，不易识别出指腹的像。图12是表示影子识别模式下的拍摄图像的例子的示意图。在该图，(a)(无光)、 (c)(荧光灯)、(e)(白炽灯)以及(g)(太阳光)表示拍摄手指时的光源种类，(b)、(d)、 (f)以及(h)表示拍摄图像的一个例子。在影子识别模式下，通过可见光传感器13拍摄外部光被手指遮断所形成的影子。 如图12的(b)所示，无外部光的情况下，拍摄不到手指的影子。如图11的(d)、(f)以及 (h)所示，外部光较强的情况下，拍摄到的指腹的像为成黑色光斑。(接触非接触间像素值算出部6的详细处理)(接触非接触的拍摄图像的例子)图13表示在反射光识别模式下，在接触或者非接触的状态下拍摄获得的拍摄图 像。不存在手指等任何指示物体的状态下，背光灯17射出红外光时，获得如图13的条件 (1)所示的不包含指腹的像的图像(只有背景的图像)。如图13的条件(2)所示，使手指 60靠近光传感器内置型IXD11的上方但并不接触时，所获得的图像中有轻微的指腹的像83映入。如图13的条件(3)所示，在手指完全按压在光传感器内置型IXD11上的状态下，所 获得图像中可见有明显的指腹的像84。图14表示在影子识别模式下，在接触或者非接触的状态下拍摄获得的拍摄图像。 不存在手指等任何指示物体的状态下，外部光81直接射入红外光传感器12或者可见光传 感器13时，获得如图14的条件(1)所示的不包含指腹的像的图像(只有背景的图像)。如 图14的条件(2)所示，使手指靠近光传感器内置型LCD11的上方但并不接触时，由于外部 光82被遮断，因此，所获得的图像中有轻微的指腹的影子85映入。如图14的条件(3)所 示，在手指完全按压在光传感器内置型LCD11上的状态下，能够获得指腹的影子86比条件 (2)的影子更浓的图像。(接触时/非接触时的像素值的关系)图15是表示在反射光识别模式下通过外部光强度算出部3求得的外部光强度、图 13的条件⑵的图像中的非接触时的指腹下像素值、图13的条件(3)的图像中的接触时的 指腹下像素值之间的关系。如图15(a)所示，拍摄图像的背景的像素值(符号91所示)、接 触时的指腹下像素值(符号92所示)以及非接触时的指腹下像素值(符号93所示)随着 外部光强度的增强(变亮)而增大，图15(b)表示上述不同情况下的拍摄图像。如图15(a)所示，由于接触时的指腹下像素值始终大于非接触时的指腹下像素 值，因此，接触时的指腹下像素值和非接触时的指腹下像素值之间始终存在像素值差。在上述关系成立的情况下，如图16(a)所示，能够在非接触时的指腹下像素值(符 号102所示)和接触时的指腹下像素值(符号101所示)之间设定阈值(符号104所示)。 该阈值称之为接触非接触间像素值。通过将该阈值以下的像素值作为无需进行识别的信息 对其进行删除，能够提高手指的识别精度。图16是表示反射光识别模式下的非接触时的指 腹下像素值、接触时的指腹下像素值、接触非接触间像素值和无用信息删除用像素值之间 的关系的曲线图。为了简化说明，在图16的曲线图，将外部光强度为0时的所有像素值全视为0。此外，像素值大于接触时的指腹下部分的像素值101的像素是无用的较强外部光 射入而生成的像素的可能性较高。为了防止此类无用的强外部光导致指腹的像的识别精度 下降，优选将像素值大于可预测的接触时指腹下像素值的像素的信息进行删除。符号103 所示的阈值是用于变更无用像素的像素值的阈值，所谓无用像素是指，像素值大于接触时 的指腹下像素值的像素。此类阈值称之为无用信息删除用像素值。在反射光识别模式下，可以说无用信息删除用像素值是用于对拍摄图像进行识别 的像素值范围的上限值，而接触非接触间像素值是上述像素值范围的下限值。图17表示在影子识别模式下通过外部光强度算出部3求得的外部光强度、图14 的条件⑵的图像中的非接触时的指腹下像素值、图14的条件⑶的图像中的接触时的指 腹下像素值之间的关系。如图17(a)所示，拍摄图像的背景的像素值(符号94所示)、非接 触时的指腹下像素值(符号95所示)以及接触时的指腹下像素值(符号96所示)随着外 部光强度的增强(增亮)而增大。图17(b)表示上述不同情况下的拍摄图像。如图17(a)所示，由于非接触时的指腹下像素值始终大于接触时的指腹下像素 值，因此，非接触时的指腹下像素值和接触时的指腹下像素值之间始终存在像素值差。在上述关系成立的情况下，如图18(a)所示，能够在非接触时的指腹下像素值(符号111所示)和接触时的指腹下像素值(符号112所示)之间设定阈值(符号113所示)。与反射光识别模式的情况同样，该阈值也称之为接触非接触间像素值。能够将该阈值以上 的像素值作为无需进行识别的信息对其进行删除，从而能够提高识别精度。图18是表示影 子识别模式下的非接触时的指腹下像素值、接触时的指腹下像素值、接触非接触间像素值 和无用信息删除用像素值之间的关系的曲线图。此外，像素值小于接触时的指腹下像素值112的像素是无用的影子所形成的像素 的可能性较高。为了防止此类无用的影子导致指腹的像的识别精度下降，优选删除掉像素 值比接触时可预测的指腹的像素值要小的无用像素的信息。符号114所示的阈值是用于变 更无用像素的像素值的阈值，所谓无用像素是指，像素值小于接触时的指腹下像素值的像 素。此类阈值称之为无用信息删除用像素值。在影子识别模式下，可以说无用信息删除用像素值是用于对拍摄图像进行识别的 像素值范围的下限值，而接触非接触间像素值是上述像素值范围的上限值。根据上述技术思想，在接触非接触间像素值算出部6，根据外部光强度的变化，动 态地算出接触非接触间像素值以及无用信息删除用像素值。但是，进行联机处理时(用户实际接触光传感器内置型LCDll时)，由于无法获得 接触时的指腹下像素值以及非接触时的指腹下像素值，因此，通过预先设定一个表示能够 在现场获得的外部光强度的推算值和接触非接触间像素值之间的关系的数学式，并将推算 值代入上述数学式中，以此算出接触非接触间像素值。该数学式例如有如下述数学式(1)所示，通过将外部光强度算出部3算出的外部 光强度的推算值(A)代入该数学式，能够算出接触非接触间像素值(T)。T = AX ...数学式(1)上述数学式(1)中的X是预先求得的常数。为了求得该X，首先设定满足下述数学 式⑵的N的值。T = (Β+0/Ν ...数学式(2)在上述数学式(2)，B是非接触时的指腹下像素值，C是接触时的指腹下像素值。N 是使T成为B和C之间的任意的数值。然后，根据上述数学式(2)，算出满足下述数学式(3)的X。T = AX= (B+C)/N ...数学式(3)进行联机处理时，接触非接触间像素值算出部6将外部光强度算出部3按照每个 帧所求得的A代入上述数学式(1)中，算出T。在此，可将上述数学式(1)存储在接触非接触间像素值算出部6可利用的存储部 (例如存储部40)。此外，接触非接触间像素值算出部6在影子识别模式和反射光识别模式 下也可分别使用不同的用于算出接触非接触间像素值的数学式。关于无用信息删除用像素值也同样，通过预先设定一个表示外部光强度的推算值 和无用信息删除用像素值之间的关系的数学式，并将外部光强度的推算值代入该数学式， 以此算出无用信息删除用像素值。此外，接触非接触间像素值算出部6在影子识别模式和 反射光识别模式下也可分别使用不同的用于算出无用信息删除用像素值的数学式。即，接 触非接触间像素值算出部6也可使用从多个规定的数学式中选择的至少1个数学式来算出 接触非接触间像素值以及无用信息删除用像素值，并根据识别处理选择部5所切换的识别模式，区分使用上述规定的数学式。图16(b) (d)以及图18(b) (d)是表示与环境照度的变化相对应的、接触时 以及非接触时的指腹下像素值发生不同变化时的其他例子的曲线图。如图16(b)以及图 18(b)所示，用于算出接触非接触间像素值以及无用信息删除用像素值的数学式可以是表 示曲线的数学式。此外，求取接触非接触间像素值以及无用信息删除用像素值时，如果接触、非接触 的指腹下像素值的特性如图16(c) (d)以及图18(c) (d)所示以分歧点为界发生变化， 能以分歧点(外部光强度达到某一像素值的点 )为界，变更所使用的用于算出接触非接触 间像素值以及无用信息删除用像素值的数学式。S卩，可预先在存储部40中存储用于求出接触非接触间像素值(或者无用信息删除 用像素值)的2种(或者3种以上)不同的数学式，在外部光强度算出部3算出的外部光 强度达到规定的值之前或之后，由接触非接触间像素值算出部6区分使用2种(或者3种 以上)不同的数学式。换言之，接触非接触间像素值算出部6可根据外部光强度算出部3 算出的外部光强度的推算值，区分使用用于求出接触非接触间像素值的多种规定的数学式 以及用于求出无用信息删除用像素值的多种规定的数学式。上述2种不同的数学式例如是指上述数学式(1)中的常数X各取不同值的数学式。此外，接触非接触间像素值也可几乎等同于接触时的指腹下像素值。在此种情况 下，对上述数学式(1)的常数X进行设定，以使得接触非接触间像素值几乎等同于接触时的 指腹下像素值即可。接触非接触间像素值算出部6并不一定必须要算出接触非接触间像素值和无用 信息删除用像素值的两者，也可以只算出接触非接触间像素值。通过至少使用接触非接触 间像素值来删除无用信息，能够提高识别接触状态/非接触状态的精度。(识别无用信息删除部7的详细处理)以上述方法求出的接触非接触间像素值以及无用信息删除用像素值被输出到识 别无用信息删除部7。识别无用信息删除部7在影子识别模式下以可见光图像作为处理对 象，通过将拍摄图像的像素中像素值大于通过接触非接触间像素值算出部6所求出的接触 非接触间像素值的像素的像素值置换成接触非接触间像素值，并且将拍摄图像的像素中像 素值小于无用信息删除用像素值的像素的像素值置换成无用信息删除用像素值，从而删除 进行指示物体识别时并不需要的信息。相对而言，在反射光识别模式下，识别无用信息删除部7以红外光图像作为处理 对象，通过将拍摄图像的像素中像素值小于通过接触非接触间像素值算出部6所求出的接 触非接触间像素值的像素的像素值置换成接触非接触间像素值，并且将拍摄图像的像素中 像素值大于无用信息删除用像素值的像素的像素值置换成无用信息删除用像素值，从而删 除进行指示物体识别时并不需要的信息。即，识别无用信息删除部7通过将拍摄图像的像素中像素值大于像素值范围的上 限值的像素的像素值置换成该上限值，并将拍摄图像的像素中像素值小于像素值范围的下 限值的像素的像素值置换成该下限值，删除进行指示物体识别时并不需要的信息，其中，像 素值范围是指识别拍摄对象时利用的像素值的范围。
图19是说明影子识别模式下的识别无用信息删除部7的处理的图。该图的最下 段表示了背景像素值和指腹下像素值之间的关系。即，在影子识别模式下，像素值大于接触非接触间像素值的像素被认为是不参与 形成接触到光传感器内置型LCDll的指示物体的像，因此，如图19所示，通过将像素值大于 接触非接触间像素值的像素的像素值置换成接触非接触间像素值，能够删除指示物体在背 景中存在的无用的像。而在反射光识别模式下，像素值小于接触非接触间像素值的像素被认为是不参与 形成接触到光传感器内置型LCDll的指示物体的像，因此，通过将像素值小于接触非接触 间像素值的像素的像素值置换成接触非接触间像素值，能够删除指示物体在背景中存在的 无用的像。识别无用信息删除部7对拍摄图像进行变更的方法并不限定于上述。例如，为了 使进行指示物体识别时并不需要的像素的像素值达到饱和，在影子识别模式下将该像素值 变更成最大值(白)，而在反射光识别模式下将该像素值变更成最小值(黑)。(最适灵敏度算出部4的详细处理)图20是说明在影子识别模式下，外部光强度达到饱和时的问题点以及解决方法 的图。通过对每个帧进行上述处理，能够确切检测出接触位置。但是，如图20(a)所示， 在影子识别模式下，外部光强度(符号121所示)大幅上升，算出的外部光强度达到饱和像 素值的情况下，即使外部光继续增强，也算不出外部光究竟增强到了何种程度。因此，根据外部光强度算出的接触非接触间像素值也将失去其正确性，最差的情 况是，即使在将手指放在触屏上的状态下，所有的像素也都达到饱和状态，形成全白的图 像。在图20(a)，符号122表示在外部光强度达到饱和像素值的情况下通过接触非接触间像 素值算出部6算出的接触非接触间像素值，符号123表示外部光强度在未达到饱和像素值 的情况下(原来)的接触非接触间像素值。为了解决上述问题，需降低红外光传感器12以及可见光传感器13的灵敏度，使图 20 (b)所示的外部光强度处于非饱和状态。通过该降低灵敏度的处理，外部光强度可保持非 饱和状态，因此能够正确算出接触非接触间像素值。切换红外光传感器12以及可见光传感 器13的灵敏度的时机是外部光达到饱和的时刻点(图20(a)中的“灵敏度切换点”)或者 即将达到饱和之前。此外，还可能有外部光强度达到饱和之前手指的影子的像素值就达到饱和的情况 发生。因此，切换红外光传感器12以及可见光传感器13的灵敏度的时机可以是拍摄图像 上的拍摄对象的影子的像达到饱和的时刻点或者即将达到饱和之前。最适灵敏度算出部4根据外部光强度算出部3算出的外部光强度，算出进行指示 物体识别的最适灵敏度，并通过灵敏度调整部16对红外光传感器12以及可见光传感器13 的灵敏度进行调整，以能够取得最适当的拍摄图像。图21是说明反射光识别模式下，接触非接触间像素值达到饱和时的问题点以及 解决方法的图。在反射光识别模式下，如图21(a)所示，外部光强度的推算值(符号131所示)达 到规定的值时，根据外部光强度的推算值算出的接触非接触间像素值(符号132所示)达到饱和像素值。在图21(a)，符号133表示未达到饱和像素值的情况下(原来)的接触非接 触间像素值。为了解决上述问题，需降低红外光传感器12以及可见光传感器13的灵敏度，使图 21 (b)所示的接触非接触间像素值处于非饱和状态。通过该灵敏度降低处理，接触非接触间 像素值可保持非饱和状态，因此能够正确算出接触非接触间像素值。切换红外光传感器12 以及可见光传感器13的灵敏度的时机是接触非接触间像素值达到饱和的时刻点(图21 (a) 中的“灵敏度切换点”)或者即将达到饱和之前。S卩，最适灵敏度算出部4通过灵敏度调整部16设定红外光传感器12以及可见光 传感器13的灵敏度，以使得接触非接触间像素值算出部6算出的接触非接触间像素值保持 非饱和状态。根据上述结构，能够调整红外光传感器12的灵敏度，使得能够取得最适于在反射 光识别模式进行指示物体识别的拍摄图像。(灵敏度切换处理的例子)
图22表示在影子拍摄模式下对灵敏度进行了切换的情况和未进行切换的情况下 的拍摄图像的例子。图22的上段表示未进行灵敏度切换的情况。在未进行灵敏度切换的 情况下，随着外部光强度的增强，由于透过手指的光的存在，指腹下像素值也与背景像素值 同时变大，最终所有的像素都达到饱和，形成全白图像。在此类图像上无法检测出正确的接 触位置。相对而言，如图22的下段所示，在进行了灵敏度切换的情况下，由于灵敏度下降， 因此，即使外部光强度与未进行灵敏度切换的情况相同，背景像素值以及指腹下像素值也 未达到饱和，可保持能够检测出接触位置的图像状态。在此，作为最适灵敏度算出部4所进行的处理的一个例子，参照图23说明在影子 识别模式下将红外光传感器12的灵敏度从灵敏度1/1逐级切换到灵敏度1/4的切换处理。 图23是用于说明最适灵敏度算出部4的灵敏度切换处理的例子的图。首先，说明降低灵敏度的例子。在灵敏度1/1的条件下，外部光强度达到饱和像素 值255时，通过灵敏度下调(DOWN)处理，使得成为灵敏度1/2。此时，由于灵敏度下降为灵 敏度1/2，因此，在灵敏度1/1的条件下外部光强度为255的光，其外部光强度在灵敏度1/2 的条件下成为一半的128。根据上述方法，在灵敏度1/2的条件下，外部光强度达到饱和像 素值255时，通过灵敏度下调处理，使得成为灵敏度1/4，在灵敏度1/2的条件下外部光强度 为255的光其外部光强度在灵敏度1/4的条件下成为128。以下说明提高灵敏度的例子。在灵敏度1/4的条件下，外部光强度小于64即饱和 像素值“255”的大致1/4时，通过灵敏度上调(UP)处理，使得成为灵敏度1/2。由于灵敏度 提高到灵敏度1/2，因此，在灵敏度1/4的条件下外部光强度为64即饱和像素值的大致1/4 的光其外部光强度在灵敏度1/2的条件下成为128。在灵敏度1/2的条件下外部光强度为 64即饱和像素值的大致1/4时，通过灵敏度上调处理，使红外光传感器12以及可见光传感 器13的灵敏度成为灵敏度1/1。外部光强度达到255时即为饱和状态，因此，外部光强度超过255时，就无法再算 出外部光强度的程度。因此，进行灵敏度下调时，优选以灵敏度1/1、1/2、1/4的顺序下调。 但是，进行灵敏度上调时，由于不存在外部光强度达到饱和的问题，因此能够从灵敏度1/4直接跳跃上调到灵敏度1/1。例如在图23，在灵敏度1/4的条件下外部光强度突然从128左右下降到32以下时，可将灵敏度提高到灵敏度1/1而不是灵敏度1/2。S卩，最适灵敏度算出部4根据外部光强度的推算值，对红外光传感器12以及可见 光传感器13的灵敏度进行等级设定，在外部光强度的推算值下降到规定的基准值以下的 情况下，使红外光传感器12以及可见光传感器13的灵敏度一次性提高多个等级。在此，灵 敏度的设定等级并不限定于上述3个等级，还可以设定为2个等级或4个以上的等级。为了避免因轻度的外部光强度变化导致灵敏度过于频繁地进行上调/下调切换， 将灵敏度下调点设定为255 (灵敏度下调之后成为128)，并将灵敏度上调点设定为64 (灵敏 度上调之后为128)，从而具有滞后性。换言之，在红外光传感器12以及可见光传感器13的 灵敏度被设定在第1灵敏度(例如灵敏度1/1)的状态下，外部光强度达到第1基准值(例 如255)时，最适灵敏度算出部4使红外光传感器12以及可见光传感器13的灵敏度从第1 灵敏度下调到比该第1灵敏度低的第2灵敏度(例如灵敏度1/2)。而在红外光传感器12 以及可见光传感器13的灵敏度被设定在第2灵敏度的状态下，外部光强度下降到第2基准 值(例如64)时，最适灵敏度算出部4使红外光传感器12以及可见光传感器13的灵敏度 从第2灵敏度上调到第1灵敏度。在通过被设定为第2灵敏度的红外光传感器12以及可 见光传感器13来检测与第1基准值相对应的实际外部光强度时检测得到外部光强度(例 如128)，上述第2基准值优选被设定为仅比检测得到的外部光强度(例如128)小规定值的 值。该规定值可由从事该领域者适宜进行设定。在此，可将上述第1基准值以及第2基准值存储在最适灵敏度算出部4可利用的 存储部。如上所述，根据外部光强度对红外光传感器12以及可见光传感器13的灵敏度进 行上调/下调的处理，能够将图像的动态量程调整成最适当的值，从而能够在最适当的图 像上进行识别处理。以上说明了影子识别模式下的情况，同样的技术思想也适用于反射光 识别模式。在反射光识别模式下，最适灵敏度算出部4可根据外部光强度的推算值，调整红 外光传感器12以及可见光传感器13的灵敏度，以避免接触非接触间像素值达到饱和。(接触位置检测装置1的处理流程)以下，参照图24说明接触位置检测装置1进行接触位置检测处理的流程的一个例 子。图24是表示接触位置检测装置1进行接触位置检测处理的流程的一个例子的流程图。首先，通过光传感器内置型IXDll的红外光传感器12以及可见光传感器13拍摄 指示物体的拍摄图像。并通过AD变换器，将红外光传感器12取得的拍摄图像即红外光图 像以及可见光传感器13取得的拍摄图像即可见光图像输出到图像调整部2 (Sll)。光传感器内置型IXDll在反射光识别模式下可以只拍摄红外光图像，而在影子识 别模式下可以只拍摄可见光图像。图像调整部2接收到红外光图像以及可见光图像后，进行对该图像的增益以及偏 移进行调整的校正处理，将调整后的红外光图像以及可见光图像存储在存储部40，并且将 调整后的红外光图像输出到外部光强度算出部3 (S12)。外部光强度算出部3接收到红外光图像之后，基于该红外光图像，通过上述方法 算出外部光强度的推算值(外部光强度算出工序)，并将算出的外部光强度的推算值输出 给最适灵敏度算出部4、识别处理选择部5以及接触非接触间像素值算出部6 (S13)。
识别处理选择部5从外部光强度算出部3接收到外部光强度的推算值后，如上所 述，根据该推算值是否小于规定阈值的判断结果，判断是要设成反射光识别模式还是影子 识别模式(S14)。设定成反射光识别模式的情况下，识别处理选择部5通过背光灯控制部15接通背光灯17上的红外光光源，并命令接触非接触间像素值算出部6算出与反射光识别模式相对 应的接触非接触间像素值(S15)。设定成影子识别模式的情况下，识别处理选择部5通过背光灯控制部15关闭背光 灯17上的红外光光源，并命令接触非接触间像素值算出部6算出与影子识别模式相对应的 接触非接触间像素值(S15)。此类识别模式的切换，将在下一帧的拍摄图像中进行反映。相对而言，最适灵敏度算出部4根据外部光强度算出部3算出的外部光强度的推 算值，算出为了识别指示物体的最适灵敏度，并向灵敏度调整部16输出(S16)。灵敏度调整 部16对红外光传感器12以及可见光传感器13的灵敏度进行调整，使得能够对应最适灵敏 度算出部4输出的最适灵敏度。该灵敏度调整将被反映在下一帧的拍摄图像中。然后，接触非接触间像素值算出部6使用与识别处理选择部5输出的命令所表示 的识别模式相对应的数学式，根据外部光强度算出部3算出的外部光强度推算值来算出接 触非接触间像素值，并将算出的接触非接触间像素值输出到识别无用信息删除部7(S17)。 此时，接触非接触间像素值算出部6还可以算出无用信息删除用像素值，并向识别无用信 息删除部7输出。识别无用信息删除部7接收到接触非接触间像素值后，从存储部4中提取与识别 处理选择部5设定的识别模式相对应的拍摄图像。即，识别无用信息删除部7在影子识别 模式下取得可见光图像，而在反射光识别模式下取得红外光图像。然后，识别无用信息删除 部7例如在影子识别模式下，通过将所取得的可见光图像所包含的像素中的像素值为接触 非接触间像素值以上的像素的像素值置换成接触非接触间像素值，删除拍摄图像中的对进 行指示物体的识别时并不需要的信息(即，指示物体的背景的像)(S18)。此时，识别无用信 息删除部7还可使用无用信息删除用像素值来删除拍摄图像中对进行指示物体的识别时 并不需要的信息。识别无用信息删除部7将处理后的拍摄图像输出给特征量提取部8。特征量提取部8从识别无用信息删除部7接收到拍摄图像之后，通过边缘检测处 理来提取拍摄图像的每个像素的特征量(边缘特征量)，该特征量表示指示物体的特征，并 将该提取的特征量以及表示该特征量的像素(特征区域)的位置信息(像素的坐标)输出 到接触位置检测部9 (S19)。接触位置检测部9接收到特征量以及特征区域的位置信息之后，通过对该特征区 域进行图像匹配，算出接触位置(S20)。接触位置检测部9将表示上述算出的接触位置的坐 标输出到应用程序执行部21。另外，图像调整部2将调整后的拍摄图像存储在存储部40的情况下，外部光强度 算出部3从存储部40取得拍摄图像。(实施方式2)以下，根据图25 图27说明本发明的其他实施方式。与实施方式1相同的部件 在此也使用相同的符号表示，并省略其说明。(接触位置检测装置50的结构)
图25是表示本实施方式的接触位置检测装置50的结构的框图。如图25所述，与 接触位置检测装置1的不同在于，接触位置检测装置50具备图像分析部20a，该图像分析部 20a包括特征量提取部31以及识别无用信息删除部(删除部)32。特征量提取部31提取由图像调整部2进行过调整的拍摄图像(红外光图像或者 可见光图像)所包含的、表示指示物体像的特征的特征量，并向识别无用信息删除部32输 出该特征量。该特征量提取部31在反射光识别模式下以红外光图像作为处理对象，而在影 子识别模式下以可见光图像作为处理对象。特征量提取部31的处理与特征量提取部8的 处理同样，但是处理对象以及特征量的输出目的地不同。识别无用信息删除部32根据外部光强度算出部3算出的外部光强度的推算值，对 特征量提取部31提取的特征量的至少一部分进行删除。更详细地说，识别无用信息删除部 32在影子识别模式下，删除由像素值为接触非接触间像素值算出部6算出的接触非接触间 像素值以上的像素所提取到的特征量(特征区域)。此外，在反射光识别模式下，识别无用 信息删除部32删除由像素值为接触非接触间像素值以下的像素所提取到的特征量(特征 区域)。删除了与像素相对应的特征量时，特征区域(表示特征量的像素)的信息也被删 除，因此，删除特征量和删除特征区域具有等同意义。特征量的信息与拍摄图像的各像素形成相对应的关系，例如生成不同于拍摄图像 的特征量表。删除特征量时，通过参照表示特征量的特征量表，删除作为删除对象的像素的 特征量即可。
此外，识别无用信息删除部32在影子识别模式下，可删除由像素值为接触非接触 间像素值算出部6算出的无用信息删除用像素值以下的像素所提取到的特征量。而在反射 光识别模式下，可删除由像素值为接触非接触间像素值算出部6算出的无用信息删除用像 素值以上的像素所提取到的特征量。即，识别无用信息删除部32删除由像素值超出规定的 范围的、从拍摄图像的像素中所提取的特征量，其中，规定的范围是指通过规定的上限值以 及下限值规定出的范围。S卩，接触非接触间像素值算出部6算出像素值的上限值以及下限值，该像素值的 上限值以及下限值用于判断特征量提取部31所提取的特征量是否来源于拍摄对象的接触 到光传感器内置型LCDll的接触部分的像。识别无用信息删除部32可删除与像素值为上 述上限值以上的像素以及像素值为上述下限值以下的像素相对应的特征量。然后，接触位置检测部9根据通过识别无用信息删除部32除去了噪声的特征量， 对接触位置(拍摄对象的像的位置)进行确定。也可以说，接触非接触间像素值算出部6根据外部光算出部3算出的推算值，算出 像素值的基准值，该像素值的基准值是用于判断特征量提取部31所提取的特征量是否来 源于拍摄对象接触到光传感器内置型LCDll的拍摄画面的接触部分的像的基准值。此外， 接触位置检测部9根据被识别无用信息删除部7删除后的特征量，算出接触对象接触到拍 摄画面的接触部分的像的位置(拍摄图像上的特征区域的位置)。图26是说明在影子识别模式下，识别无用信息删除部32进行识别无用信息删除 处理的图。如图26所述，在影子识别模式下，识别无用信息删除部32能够删除非接触时的 拍摄图像中包含的未接触到光传感器内置型LCDll的指示物体的像(像素值为接触非接触 间像素值以上的像素)的特征量。因此，图26的“无用部分删除前”的画面中可见到的特征区域(环状区域)，在非接触时的拍摄图像中已被删除，而在接触时的拍摄图像不被删除。在实施方式1的接触位置检测装置1中，改变背景像素值和指腹下像素值的关系之后(缩小背景像素值和指腹下像素值之间的差距之后)进行特征量提取，因此，为了从已 经删除了无用部分的拍摄图像中提取特征量，必须改变(放宽)用于提取边缘特征量的阈值。相对而言，如本实施方式的接触位置检测装置50，进行特征量提取之后，删除与像 素值为接触非接触间像素值以上的像素相对应的特征量时，并不需要改变特征量提取时的 参数，因此更为有效。根据上述理由，在本实施方式，从拍摄图像提取特征量之后，使用接触非接触间像 素值进行噪音除去处理。(接触位置检测装置50的处理流程)以下，参照图27说明接触位置检测装置50进行接触位置检测处理的流程的一个 例子。图27是表示接触位置检测装置50进行接触位置检测处理的流程的一个例子的流程 图。图27的步骤S21 S26与图24的步骤Sll S16相同。在步骤S27，接触非接触间像素值算出部6将算出的接触非接触间像素值以及无 用信息删除用像素值输出到识别无用信息删除部32。在步骤S28，特征量提取部31从图像调整部2输出的拍摄图像中的、与识别处理选 择部5所设定的识别模式相对应的拍摄图像中提取表示指示物体的像的特征量。然后，特 征量提取部31将特征区域数据和拍摄图像一同输出到识别无用信息删除部32，上述特征 区域数据包含提取到的特征量以及表示该特征量的像素的位置信息。识别无用信息删除部32从接触非接触间像素值算出部6接收到接触非接触间像 素值以及无用信息删除用像素值，并从特征量提取部31接收到拍摄图像以及特征区域数 据之后，在影子识别模式下，删除由像素值为接触非接触间像素值以上的像素所提取到的 特征量(S29)。具体而言，识别无用信息删除部32提取与特征区域数据所示特征量相对应 的、拍摄图像中的像素(特征区域)的像素值，如果该像素值大于接触非接触间像素值，就 从特征区域数据中删除该特征量。识别无用信息删除部32对特征区域数据所表示的每个 特征量(拍摄图像中的每个像素)进行上述处理。识别无用信息删除部32将处理后的特 征区域数据输出到接触位置检测部9。接触位置检测部9接收到识别无用信息删除部32已处理的特征区域数据之后，通 过对该特征区域数据所表示的特征区域进行图像匹配，算出接触位置(指示物体的像在拍 摄图像中的位置)(S30)。接触位置检测部9将算出的上述表示接触位置的坐标输出到应用 程序执行部21。在反射光识别模式下且在步骤S29，识别无用信息删除部32删除由像素值小于接 触非接触间像素值的像素所提取到的特征量。具体而言，识别无用信息删除部32提取与特 征区域数据所示特征量相对应的、拍摄图像中的像素(特征区域)的像素值，如果该像素值 小于接触非接触间像素值，就从特征区域数据中删除该特征量。此外，在影子识别模式下且在步骤S29，识别无用信息删除部32取得与特征区域 数据所表示的特征量相对应的、拍摄图像中的像素(特征区域)的像素值，如果该像素值小 于无用信息删除用像素值，就从特征区域数据中删除该特征量。同样，在步骤S29，识别无用信息删除部32在反射光识别模式下，取得与特征区域数据所表示的特征量相对应的、拍摄 图像中的像素(特征区域)的像素值，如果该像素值大于无用信息删除用像素值，就从特征 区域数据中删除该特征量。(变更例)本发明并不限定于上述各种实施方式，可在权利要求项的范围内进行各种变更，通过对不同实施方式中揭示的技术内容适宜进行组合而获得的实施方式也包含于本发明 的技术范围内。此外，上述接触位置检测装置1、50的各组成部的构成，尤其是图像分析部20、 20a，可通过硬件逻辑来实现，也可使用CPU并通过软件实现。S卩，接触位置检测装置1、50具有执行用于实现各功能的控制程序命令的 CPU (central processing unit 中央处理器)、存储了上述控制程序的ROM (read only memory 只读存储器)、用于展开上述程序的RAM(randon access memory 随机存取存储 器)、用于存储上述程序及各种数据的存储器等的存储装置(记录介质)等。另外，向上述 接触位置检测装置1、50提供记录介质，该记录介质记录有可由计算机读取的并用于实现 上述功能的软件，由其计算机(或CPU、MPU)读出并执行记录介质中记录的软件，这样也能 够实现本发明的目的，其中，上述记录介质所记录的软件为上述接触位置检测装置1、50的 控制程序(图像分析程序)的程序代码(执行形式程序、中间代码程序、源程序)。作为上述记录介质，例如，可以是磁带、盒式带等的带类、包括软盘、硬盘等磁盘以 及⑶-ROM、M0、MD、DVD、⑶-R等光盘的盘类、IC卡(包括存储卡)、光卡等的卡类或掩模型 ROM、EPR0M、EEPR0M、闪存ROM等的半导体存储器类。另外，接触位置检测装置1、50可连接通信网络，借助于通信网络供给上述程序 代码。作为上述通信网络，并没有特别的限制，例如，可利用互联网(internet)、内联网 (intranet)、外联网(extranet)、LAN、ISDN、VAN、CATV 通信网、虚拟专用网络(virtual private network)、电话回线网络、移动通信网络、卫星通信网络等。另外，作为构成通 信网络的传输介质，并没有特别的限制，例如，可以利用IEEE1394电缆、USB电缆、电力 线、电缆电视回线、电话线、ADSL回线等的有线通信，也可以利用诸如IrDA的红外线、 Bluetooth(注册商标)、802. 11无线通信、HDR、便携式电话网络、卫星回线、地面数字广播 网络(terrestrial digital net)等的无线通信。另外，即使是通过电子传输而实现了上 述程序代码的、载置于载波的计算机数字信号的形态，也可以实现本发明。如上所述，本发明优选的是上述第1光传感器是主要接收红外光的红外光传感 器，上述推算值算出部根据上述第1光传感器的受光量算出上述推算值。根据上述结构，推算值算出部根据红外光传感器的受光量来算出上述推算值。荧 光灯以及室外较暗的环境下的光几乎不含红外光，因此，在荧光灯以及室外较暗的环境下， 利用背光灯中红外光的反射光来检测拍摄对象的位置时(反射光识别模式下)，几乎不受 外部光的影响。但是，红外光的外部光强度变强时，拍摄对象的像和背景部分之间的反差消 失，将无法识别拍摄对象的像。因此，优选在成为无法进行识别之前，检测出红外光的外部 光强度，并将识别模式从反射光识别模式切换成影子识别模式(对拍摄对象的影子进行识 别的模式)。即，优选预先对红外光的外部光强度进行探测。此外，在影子识别模式下，由于红外光比可见光更易于透过手指，在诸如室外较亮的环境光等含红外光较多的环境下，通过拍摄拍摄对象的影子来进行位置检测时，由于拍摄对象的影子的亮度会受到透过手指等的红外光强度的影响(由于主要接收可见光的传 感器也对红外光有一定的反应，因此像素值上升)，因此，通过正确把握红外光的外部光强 度，预测拍摄对象的影子的亮度(像素值)，并向识别处理进行反馈，从而能够提高识别精度。此外，上述第2光传感器优选是主要接收可见光的可见光传感器。根据上述结构，上述位置检测装置包括对波长具有不同的灵敏度特性的光传感 器，即，红外光传感器以及可见光传感器。因此，较之于只具备一种光传感器的结构，能够在 更广范围的环境照度下确切检测出拍摄对象的像的位置。此外，上述位置检测装置还优选具备用于向上述拍摄对象出射红外光的红外光光 源。根据上述结构，通过对拍摄对象射出红外光并检测其反射光，能够拍摄到拍摄对 象的像。此外，本发明优选的是，上述推算值算出部根据规定序位上的像素的像素值来算 出上述推算值，该规定序位上的像素是指，以像素值从高到低的顺序排列上述第1光传感 器取得的拍摄图像所包含的至少一部分像素时处于规定序位上的像素。另外，优选根据拍摄图像的像素中像素值比较高的像素来算出外部光强度的推算 值。但是，在作为外部光强度的推算值而选择最高的像素值的情况下，由于易受到噪音等的 影响，进而导致无法正确算出外部光强度的推算值的可能性较高。根据上述结构，推算值算出部从拍摄图像所包含的多个像素中至少选择一部分的 像素，并将所选择的像素按其像素值从高到小的顺序进行排列。然后，推算值算出部使用从 最上位算起的规定序位(例如第10位)上像素的像素值，算出外部光强度的推算值。因此，通过适当设定上述规定序位，能够适当算出外部光强度的推算值。此外，上述位置检测装置优选还包括切换部，该切换部根据上述推算值算出部算 出的推算值，切换第1检测方法和第2检测方法，其中，该第1检测方法是指，在拍摄对着 上述拍摄对象射出之后被该拍摄对象反射的光的像而获得的拍摄图像中，检测出该拍摄对 象的像的位置的检测方法，该第2检测方法是指，在拍摄朝上述光传感器入射的外部光被 上述拍摄对象遮断后形成的影子而获得的拍摄图像中，检测出该拍摄对象的位置的检测方 法，上述推算值算出部根据与上述切换部所切换的检测方法相对应的上述规定序位，算出 上述推算值。根据上述结构，切换部根据推算值算出部算出的外部光强度的推算值，切换第1 检测方法和第2检测方法。然后，推算值算出部根据与切换的检测方法相对应的规定序位， 算出推算值。因此，能够与拍摄对象的像的检测方法对应地算出适当的外部光强度的推算值。此外，上述位置检测装置优选还包括切换部，根据上述推算值算出部算出的推算 值，切换第1检测方法和第2检测方法，其中，该第1检测方法是指，在拍摄对着上述拍摄对 象射出之后被该拍摄对象反射的光的像而获得的拍摄图像中，检测出该拍摄对象的像的位 置的检测方法，该第2检测方法是指，在拍摄朝上述光传感器入射的外部光被上述拍摄对 象遮断后形成的影子而获得的拍摄图像中，检测出该拍摄对象的位置的检测方法。
根据上述结构，切换部根据推算值算出部算出的外部光强度的推算值，切换第1 检测方法和第2检测方法。第1检测方法是一种在拍摄对着上述拍摄对象射出之后被该拍 摄对象反射的光的像而获得的拍摄图像中检测出该拍摄对象的像的位置的检测方法，外部 光强度超过反射光强度时，就无法检测出拍摄对象的像。因此，切换部根据外部光强度的推算值，切换第1检测方法和第2检测方法，从而 能够选择适当的与外部光强度相对应的拍摄方法。
此外，优选的是上述第1光传感器是主要接收红外光的红外光传感器，上述位置 检测装置还包括用于对上述拍摄对象出射红外光的红外光光源，上述切换部在切换成上述 第1检测方法的情况下，点亮上述红外光光源，而在切换成上述第2检测方法的情况下，关 闭上述红外光光源。根据上述结构，切换部在采用第1检测方法检测拍摄对象的像的情况下，通过接 通红外光光源，从红外光光源射出红外光。由此，能够向拍摄对象照射红外光，还能够取得 拍摄对象的反射光。此外，切换部在采用第2检测方法检测拍摄对象的像的情况下，切断红 外光光源。采用第2检测方法时，由于是从拍摄拍摄对象的影子而获得的拍摄图像中检测 拍摄对象的像的位置，因此无需由红外光光源射出红外光。此外，虽然在不关闭红外光光源的状态下也能够识别拍摄对象，但是不切断红外 光光源就会使拍摄对象的影子变亮，在外部光强度较弱的状态下，背景部分和拍摄对象的 影子发生同化，导致可识别范围变窄。因此，采用第2检测方法时，S卩，对拍摄对象的影子进 行识别时，优选切断红外光光源。因此，根据上述结构，能够与拍摄对象的检测方法相对应地控制红外光光源的接 通/切断。此外，从上述第2检测方法切换成上述第1检测方法的上述推算值的基准值和从 上述第1检测方法切换成上述第2检测方法的上述推算值的基准值优选是不同的值。根据上述结构，能够防止第1检测方法和上述第2检测方法因外部光强度的推算 值的小幅度变动而过于频繁地发生切换。此外，上述位置检测装置优选还包括特征量提取部，从上述拍摄图像中提取表示 上述拍摄对象的像的特征的特征量；基准值算出部，基于上述推算值算出部算出的推算值， 算出用于对上述特征量提取部所提取的特征量是否来源于上述拍摄对象接触到上述拍摄 画面的接触部分的像进行判断的像素值的基准值；删除部，根据上述基准值算出部算出的 基准值，删除上述特征量提取部所提取的特征量的至少一部分；位置算出部，根据未被上述 删除部删除的特征量，算出上述拍摄对象的接触到上述拍摄画面的接触部分的像的位置。根据上述结构，特征量提取部从拍摄图像中提取表示拍摄对象的像的特征的特征 量。基准值算出部根据外部光强度的推算值，算出像素值的基准值，该基准值用于判断特征 量是否来源于拍摄对象的接触到拍摄画面的接触部分的像。然后，删除部根据上述基准值， 删除特征量提取部提取的特征量中的至少一部分，位置算出部根据未被删除部删除的特征 量，算出拍摄对象的接触到拍摄画面的接触部分的像的位置。因此，能够删除对指示物体进行识别时并不需要的、来源于指示物体未接触到拍 摄画面时的指示物体的像的特征量，从而能够提高指示物体的识别精度。另外，上述基准值算出部优选算出像素值的上限值作为上述基准值，上述删除部删除与像素值为上述基准值算出部算出的上限值以上的像素相对应的特征量。根据上述结构，能够删除由像素值为上述上限值以上的像素所提取的特征量。因此，能够删除由进行拍摄对象的像的检测时并不需要的像素值大的像素所提取的特征量。此外，上述基准值算出部优选算出像素值的下限值作为上述基准值，上述删除部 删除与像素值为上述基准值算出部算出的下限值以下的像素相对应的特征量。根据上述结构，能够删除从像素值为上述下限值以下的像素中所提取的特征量。 因此，能够删除由在检测拍摄对象的像时并不需要的像素值小的像素中所提取的特征量。另外，上述基准值算出部优选算出像素值的上限值以及下限值作为上述基准值， 上述删除部删除与像素值为上述基准值算出部算出的上限值以上的像素相对应的特征量 以及删除与像素值为上述基准值算出部算出的下限值以下的像素相对应的特征量。根据上述结构，从像素值为上述上限值以上的像素以及像素值为下限值以下的像 素中提取的特征量将被删除。因此，能够删除从像素值属于在检测拍摄对象的像时并不需 要的范围内的像素所提取的特征量。另外，上述位置检测装置优选还具备基准值算出部，根据上述推算值算出部算出 的推算值，算出像素值的基准值，该基准值用于从上述拍摄图像中删除上述拍摄对象接触 到上述拍摄画面的接触部分的像以外的像；图像处理部，根据上述基准值算出部算出的基 准值，改变上述拍摄图像所包含的像素中一部分像素的像素值。根据上述结构，基准值算出部根据外部光强度的推算值来算出像素值的基准值， 其中，该基准值用于从拍摄图像中删除上述拍摄对象接触到拍摄画面的接触部分的像以外 的像(即，识别拍摄对象时并不需要的信息)。然后，图像处理部根据基准值算出部算出的 基准值，对拍摄图像所包含的像素中一部分像素的像素值进行变更，以能够从拍摄图像中 删除掉在识别拍摄对象时并不需要的信息。例如，图像处理部将拍摄图像所包含的像素值 大于上述基准值的像素的像素值置换成基准值。因此，能够从拍摄图像中删除掉在识别拍摄对象时并不需要的信息，从而能够提 高识别拍摄对象的精度。另外，上述基准值算出部优选算出像素值的上限值作为上述基准值，上述图像处 理部对于像素值为上述基准值算出部算出的上限值以上的像素值进行改变。根据上述结构，拍摄图像中像素值为上述基准值算出部算出的上限值以上的像素 值会被改变。例如，可将像素值为上述基准值算出部算出的上限值以上的像素值改变成该 上限值，也可以改变成像素值的最大值，以使得上述上限值以上的像素值达到饱和。因此， 能够从拍摄图像中删除掉识别拍摄对象的像时并不需要的像素值大的像。另外，上述基准值算出部优选算出像素值的下限值作为上述基准值，上述图像处 理部对于像素值为上述基准值算出部算出的下限值以下的像素值进行改变。根据上述结构，拍摄图像中像素值为上述下限值以下的像素值将被改变。例如，可 将像素值为上述基准值算出部算出的下限值以下的像素值改变成该下限值，也可以改变成 像素值的最小值，以使得上述下限值以下的像素值达到饱和。因此，能够从拍摄图像中删除 掉在识别拍摄对象的像时并不需要的且像素值大的像。此外，上述基准值算出部优选算出像素值的上限值以及下限值作为上述基准值， 上述图像处理部对像素值为上述基准值算出部算出的上限值以上的像素值以及像素值为上述基准值算出部算出的下限值以下的像素值进行改变。根据上述结构，拍摄图像中像素值为上述上限值以上的像素值以及像素值为上述 下限值以下的像素值进行改变。因此，能够从拍摄图像中删除掉在识别拍摄对象的像时像 素值为不需要范围内的像素值的像。另外，本发明优选的是，上述基准值算出部使用多个规定的数学式中的至少1个 数学式来算出上述基准值，并根据上述推算值算出部算出的推算值，区分使用多种上述规 定的数学式。根据上述结构，基于表示外部光强度的变化的推算值，能够算出适合于此时的外 部光强度的基准值。例如，基准值算出部能够在外部光强度(或者其推算值)属于第1范 围的情况下，使用第1数学式算出上述基准值，而在外部光强度属于第2范围的情况下，使 用第2数学式算出上述基准值。
另外，本发明优选的是，上述位置检测装置还包括切换部，该切换部根据上述推算 值算出部算出的推算值，切换第1检测方法和第2检测方法，其中，该第1检测方法是指，在 拍摄对着上述拍摄对象射出之后被该拍摄对象反射的光的像而获得的拍摄图像中，检测出 该拍摄对象的像的位置的检测方法，该第2检测方法是指，在拍摄朝上述光传感器入射的 外部光被上述拍摄对象遮断后形成的影子而获得的拍摄图像中，检测出该拍摄对象的位置 的检测方法；上述基准值算出部使用多个规定的数学式中的至少1个数学式算出上述基准 值，并根据上述切换部所切换的检测方法，区分使用上述规定的数学式。第1检测方法和第2检测方法有时采用不同的用于删除在识别拍摄对象时并不需 要的信息的基准值。根据上述结构，能够算出适当的与切换部切换的检测方法相对应的基 准值。此外，上述位置检测装置优选还具备灵敏度设定部，该灵敏度设定部根据上述推 算值算出部算出的推算值来设定上述第1光传感器的灵敏度。根据上述结构，能够根据外部光强度的变化，以适当的灵敏度取得拍摄图像。另外，上述灵敏度设定部优选对上述第1光传感器的灵敏度进行等级设定，在上 述推算值为规定的基准值以下的情况下，使上述第1光传感器的灵敏度一次性上调多个等 级。根据上述结构，外部光强度的推算值为规定的基准值以下时，使第1光传感器的 灵敏度一次性上调多个等级。因此，较之于逐渐提高灵敏度的情况，能够更迅速地调整到适 当的灵敏度。另外，上述灵敏度设定部优选对上述第1光传感器的灵敏度进行设定，以使得上 述推算值算出部算出的推算值不饱和。外部光强度的推算值达到饱和时，识别拍摄对象的像的精度显著下降。在此，“外 部光强度的推算值达到饱和”意指外部光强度超过第1光传感器可对光强度进行定量检测 的范围。外部光强度达到饱和时，表示外部光强度的推算值也达到饱和。根据上述结构，能够以可使外部光强度的推算值不饱和的灵敏度来取得拍摄图 像，从而能够取得适于识别拍摄对象的拍摄图像。此外，本发明优选的是，上述位置检测装置还包括根据上述推算值算出部算出的 推算值来设定上述第1光传感器的灵敏度的灵敏度设定部，上述灵敏度设定部对上述第1光传感器的灵敏度进行设定，以使得上述基准值算出部算出的基准值不饱和。根据上述结构，可调整第1光传感器的灵敏度，以使得基准值算出部算出的基准值不饱和。如果随着外部光强度的增大，基准值算出部算出的基准值达到饱和，将难以对接 触到拍摄画面的拍摄对象的像和未接触拍摄画面的拍摄对象的像进行正确区分。因此，根据上述结构，能够提高对接触到拍摄画面的拍摄对象的像进行识别的精 度。另外，本发明优选的是，上述灵敏度设定部在上述第1光传感器的灵敏度被设定 在第1灵敏度的状态下上述推算值达到第1基准值时，上述灵敏度设定部将上述灵敏度从 上述第1灵敏度下调成比该第1灵敏度低的第2灵敏度；在上述第1光传感器的灵敏度被 设定在上述第2灵敏度的状态下上述推算值降低至第2基准值时，上述灵敏度设定部将上 述灵敏度从上述第2灵敏度上调成上述第1灵敏度，其中，上述第2基准值小于在通过被设 定为上述第2灵敏度的光传感器来检测与上述第1基准值相对应的实际的外部光强度时所 得到的外部光强度。根据上述结构，上述第2基准值小于在通过被设定为第2灵敏度的第1光传感器 来检测与第1基准值相对应的实际的外部光强度时所得到的外部光强度的推算值。其中， 该第2基准值是在第1光传感器的灵敏度被设定在第2灵敏度的状态下，用于使该第1光 传感器的灵敏度上调到第1灵敏度的外部光强度的推算值的基准值。该第1基准值是在第 1光传感器的灵敏度被设定在第1灵敏度的状态下，用于使该第1光传感器的灵敏度下降到 第2灵敏度的外部光强度的推算值的基准值。因此，使第1光传感器的灵敏度从第1灵敏度下降到第2灵敏度时，推算值算出部 算出的外部光强度的推算值立刻达到第2基准值并且第1光传感器的灵敏度再次切换回到 第1灵敏度的可能性变小。因此，能够防止发生只因外部光强度的轻微变化而将第1光传 感器的灵敏度频繁地从第1灵敏度切换成第2灵敏度或者从第2灵敏度切换到第1灵敏度 的问题。另外，通过计算机实现上述各个部的功能的、用于驱动上述位置检测装置的控制 程序以及记录了该控制程序的计算机可读取的记录介质也包含于本发明的技术范畴内。(工业可利用性)本发明由于能够在广范围的环境照度下确切检测出拍摄对象的像的位置，因此适 用于具备触屏的位置检测装置、输入装置等。
权利要求
一种位置检测装置，其通过对拍摄接近或者接触到拍摄画面的拍摄对象而获得的拍摄图像进行分析来判断该拍摄对象的像在上述拍摄图像上的位置，其中，该拍摄画面具备多个光传感器，并且使用上述光传感器拍摄上述拍摄对象，上述位置检测装置的特征在于包括作为上述光传感器的第1光传感器以及第2光传感器，该第1光传感器以及第2光传感器对波长具有不同的灵敏度特性；还包括推算值算出部，该推算值算出部根据上述第1光传感器取得的拍摄图像来算出作为外部光强度的指标的推算值，其中，该外部光强度是指上述拍摄对象周围的光强度。
2.根据权利要求1所述的位置检测装置，其特征在于 上述第1光传感器是主要接收红外光的红外光传感器，上述推算值算出部根据上述第1光传感器的受光量来算出上述推算值。
3.根据权利要求2所述的位置检测装置，其特征在于 上述第2光传感器是主要接收可见光的可见光传感器。
4.根据权利要求2所述的位置检测装置，其特征在于 还具备用于对上述拍摄对象照射红外光的红外光光源。
5.根据权利要求1所述的位置检测装置，其特征在于上述推算值算出部根据规定序位上的像素的像素值来算出上述推算值，该规定序位上 的像素是指，以像素值从高到低的顺序排列上述第1光传感器取得的拍摄图像所包含的至 少一部分像素时处于规定序位上的像素。
6.根据权利要求5所述的位置检测装置，其特征在于还包括切换部，该切换部根据上述推算值算出部算出的推算值，切换第1检测方法和 第2检测方法，其中，该第1检测方法是指，在拍摄对着上述拍摄对象射出之后被该拍摄对 象反射的光的像而获得的拍摄图像中，检测出该拍摄对象的像的位置的检测方法，该第2 检测方法是指，在拍摄朝上述光传感器入射的外部光被上述拍摄对象遮断后形成的影子而 获得的拍摄图像中，检测出该拍摄对象的位置的检测方法，上述推算值算出部根据与上述切换部所切换的检测方法相对应的上述规定序位，算出 上述推算值。
7.根据权利要求1所述的位置检测装置，其特征在于还包括切换部，该切换部根据上述推算值算出部算出的推算值，切换第1检测方法和 第2检测方法，其中，该第1检测方法是指，在拍摄对着上述拍摄对象射出之后被该拍摄对 象反射的光的像而获得的拍摄图像中，检测出该拍摄对象的像的位置的检测方法，该第2 检测方法是指，在拍摄朝上述光传感器入射的外部光被上述拍摄对象遮断后形成的影子而 获得的拍摄图像中，检测出该拍摄对象的位置的检测方法。
8.根据权利要求7所述的位置检测装置，其特征在于 还包括用于对上述拍摄对象出射红外光的红外光光源， 上述第1光传感器是主要接收红外光的红外光传感器，上述切换部在切换成上述第1检测方法的情况下，点亮上述红外光光源，而在切换成 上述第2检测方法的情况下，关闭上述红外光光源。
9.根据权利要求7所述的位置检测装置，其特征在于用于从上述第2检测方法切换成上述第1检测方法的上述推算值的基准值和用于从上 述第1检测方法切换成上述第2检测方法的上述推算值的基准值是不同的值。
10.根据权利要求1所述的位置检测装置，其特征在于还包括特征量提取部，从上述拍摄图像中提取表示上述拍摄对象的像的特征的特征量； 基准值算出部，基于上述推算值算出部算出的推算值，算出用于对上述特征量提取部 所提取的特征量是否来源于上述拍摄对象接触到上述拍摄画面的接触部分的像进行判断 的像素值的基准值；删除部，根据上述基准值算出部算出的基准值，删除上述特征量提取部所提取的特征 量的至少一部分；位置算出部，根据未被上述删除部删除的特征量，算出上述拍摄对象接触到上述拍摄 画面的接触部分的像的位置。
11.根据权利要求10所述的位置检测装置，其特征在于 上述基准值算出部算出像素值的上限值作为上述基准值，上述删除部删除与像素值为上述基准值算出部算出的上限值以上的像素相对应的特征量。
12.根据权利要求10所述的位置检测装置，其特征在于 上述基准值算出部算出像素值的下限值作为上述基准值，上述删除部删除与像素值为上述基准值算出部算出的下限值以下的像素相对应的特征量。
13.根据权利要求10所述的位置检测装置，其特征在于上述基准值算出部算出像素值的上限值以及下限值作为上述基准值， 上述删除部删除与像素值为上述基准值算出部算出的上限值以上的像素相对应的特 征量以及删除与像素值为上述基准值算出部算出的下限值以下的像素相对应的特征量。
14.根据权利要求1所述的位置检测装置，其特征在于还包括基准值算出部，根据上述推算值算出部算出的推算值，算出像素值的基准值，该基准值 用于从上述拍摄图像中删除在上述拍摄对象接触到上述拍摄画面的接触部分的像以外的 像；图像处理部，根据上述基准值算出部算出的基准值，改变上述拍摄图像所包含的像素 中一部分像素的像素值。
15.根据权利要求14所述的位置检测装置，其特征在于 上述基准值算出部算出像素值的上限值作为上述基准值，上述图像处理部对像素值为上述基准值算出部算出的上限值以上的像素值进行改变。
16.根据权利要求14所述的位置检测装置，其特征在于 上述基准值算出部算出像素值的下限值作为上述基准值，上述图像处理部对像素值为上述基准值算出部算出的下限值以下的像素值进行改变。
17.根据权利要求14所述的位置检测装置，其特征在于上述基准值算出部算出像素值的上限值以及下限值作为上述基准值， 上述图像处理部对像素值为上述基准值算出部算出的上限值以上的像素值以及像素 值为上述基准值算出部算出的下限值以下的像素值进行改变。
18.根据权利要求10所述的位置检测装置，其特征在于上述基准值算出部使用多个规定的数学式中的至少1个数学式来算出上述基准值，并 根据上述推算值算出部算出的推算值，区分使用上述规定的数学式。
19.根据权利要求10所述的位置检测装置，其特征在于还包括切换部，该切换部根据上述推算值算出部算出的推算值，切换第1检测方法和 第2检测方法，其中，该第1检测方法是指，在拍摄对着上述拍摄对象射出之后被该拍摄对 象反射的光的像而获得的拍摄图像中，检测出该拍摄对象的像的位置的检测方法，该第2 检测方法是指，在拍摄朝上述光传感器入射的外部光被上述拍摄对象遮断后形成的影子而 获得的拍摄图像中，检测出该拍摄对象的位置的检测方法；上述基准值算出部使用多个规定的数学式中的至少1个数学式来算出上述基准值，并 根据上述切换部所切换的检测方法，区分使用上述规定的数学式。
20.根据权利要求1所述的位置检测装置，其特征在于还包括灵敏度设定部，其中，该灵敏度设定部根据上述推算值算出部算出的推算值来 设定上述第1光传感器的灵敏度。
21.根据权利要求20所述的位置检测装置，其特征在于上述灵敏度设定部对上述第1光传感器的灵敏度进行等级设定，在上述推算值为规定 的基准值以下的情况下，使上述第1光传感器的灵敏度一次性上调多个等级。
22.根据权利要求20所述的位置检测装置，其特征在于上述灵敏度设定部对上述第1光传感器的灵敏度进行设定，以使得上述推算值算出部 算出的推算值不饱和。
23.根据权利要求10所述的位置检测装置，其特征在于还包括根据上述推算值算出部算出的推算值来设定上述第1光传感器的灵敏度的灵 敏度设定部，上述灵敏度设定部对上述第1光传感器的灵敏度进行设定，以使得上述基准值算出部 算出的基准值不饱和。
24.根据权利要求20所述的位置检测装置，其特征在于在上述第1光传感器的灵敏度被设定在第1灵敏度的状态下上述推算值达到第1基准 值时，上述灵敏度设定部将上述灵敏度从上述第1灵敏度下调成比上述第1灵敏度低的第 2灵敏度；在上述第1光传感器的灵敏度被设定在上述第2灵敏度的状态下上述推算值降 低至第2基准值时，上述灵敏度设定部将上述灵敏度从上述第2灵敏度上调至上述第1灵 敏度，其中，上述第2基准值小于在通过被设定为上述第2灵敏度的光传感器来检测与上述 第1基准值相对应的实际的外部光强度时所得到的外部光强度。
25.—种位置检测装置的控制方法，该位置检测装置通过对拍摄接近或者接触到拍摄 画面的拍摄对象而获得的拍摄图像进行分析来判断该拍摄对象的像在上述拍摄图像上的 位置，其中，该拍摄画面具备多个光传感器，并且使用上述光传感器拍摄上述拍摄对象，上述位置检测装置包括作为上述光传感器的第1光传感器以及第2光传感器，该第1 光传感器以及第2光传感器对波长具有不同的灵敏度特性，该位置检测装置的控制方法包括推算值算出工序，使用上述第1光传感器取得的拍摄图像，推算出作为外部光强度指标的推算值，该外部光强度是指上述拍摄对象的周围的光强度。
全文摘要
本发明的接触位置检测装置包括对波长具有不同灵敏度特性的红外光传感器以及可见光传感器、外部光强度算出部。该外部光强度算出部使用红外光传感器取得的拍摄图像，算出作为外部光强度指标的推算值，外部光强度是拍摄对象周围的光强度。因此，能够在广范围的环境照度下，确切检测出拍摄对象的像的位置。
文档编号G01C11/02GK101825462SQ20101012415
公开日2010年9月8日 申请日期2010年3月1日 优先权日2009年3月6日
发明者八幡洋一郎, 吉本良治, 山下大辅, 藤原晶 申请人:夏普株式会社