图像分析装置、图像分析方法以及拍摄装置的制作方法

专利名称：图像分析装置、图像分析方法以及拍摄装置的制作方法
技术领域：
本发明涉及一种通过对拍摄对象的拍摄图像进行分析来判断拍摄对象的位置的 图像分析装置、具备该图像分析装置的拍摄装置以及图像分析方法。
背景技术：
目前已开发出通过拍摄指示部件(以下统称为指示物体)的图像并对该图像进行 图案匹配，从而能够确定出指示物体所指示的位置的触屏。其中，指示物体是指用户用来对 触屏上的任意位置进行指示的手指或者触笔等。专利文献1中揭示了此类触屏的一个例 子。图9是说明专利文献1中记载的液晶显示屏装置的处理概要的图。上述液晶显示屏装置通过对液晶显示屏内的矩阵配置的手指检测用光传感器的 信号进行图像处理，确定出接触到液晶显示屏的指尖的位置。此种情况如图9所示，上述 液晶显示屏装置检测射入液晶显示屏的外部光的亮度，在外部光的亮度较高的情况下(图 9(b)),检测外部光下的手指的影子(图9中，符号56所示光斑)，而在外部光的亮度较低 的情况下(图9(a))，检测手指在背光灯照射下进行反射的光(图9中，符号55所示的光 斑)。如上所述，上述液晶显示屏装置采用的是根据外部光的亮度来切换的图像处理方法。专利文献1 日本国专利申请公开特开2007-183706号公报(
公开日2007年7月 19日)

发明内容
图10和图11是用于说明现有技术的触屏的问题点的图。如图10所示，当有亮度 虽然较低但仍然比背光灯的反射光(图10中，符号60所示光斑)的亮度高的光局部地射 入时，有可能将该外部光射入的部分(图10中，符号61所示的光斑)误判为手指位置。一 般的照度传感器的感应功能局限于所确定的区域，即使有光斑状强光射入到感应功能范围 之外的区域，也无法检测出该光。此外，如图11所示，当在外部光较强的环境下检测手指的影子时，如果用户所处 的环境中光源单一并且照度较高，由于有较强的平行光射入液晶屏，因此有时可能难以判 断出手指的接触状态/非接触状态(图11(b))以及难以同时检测多个手指(图11(a))。 在图11，符号为62的像表示2根手指重叠的影子，符号为63的像表示接触到拍摄画面的手 指的影子，符号为64的像表示未接触拍摄画面的手指的影子。另外，在诸如太阳光等强光从全方位射入液晶屏的情况下，基本上识别不出手指 的像(符号65所示的图像)，难以进行检测(图11的(c))。并且，根据上述现有技术的结构，就外部光环境是否适于进行指示物体检测并不 进行判断，即使在外部光环境可能不适于进行指示物体检测的情况下，也不向用户通知该 可能性的存在从而导致问题发生。本发明是鉴于上述课题而进行开发的，其目的在于提供一种在有可能无法确切检 测作为拍摄对象的指示物体时能够向用户进行通知的图像分析装置以及拍摄装置。
为了解决上述课题，本发明的图像分析装置通过对拍摄接触到拍摄画面的拍摄对 象而获得的拍摄图像进行分析来判断上述拍摄对象的像在该拍摄图像上的位置，其特征在 于包括通知部，该通知部根据对上述拍摄图像进行分析的结果，发出表示难以判断出上述 位置的通知。为了解决上述课题，本发明的图像分析方法用于图像分析装置，该图像分析装置 通过对拍摄接触到拍摄画面的拍摄对象而获得的拍摄图像进行分析来判断上述拍摄对象 的像在该拍摄图像上的位置，该图像分析方法的特征在于包括通知步骤，根据对上述拍摄 图像进行分析的结果，发出表示难以判断出上述位置的通知。根据上述结构，上述图像分析装置对拍摄接触到拍摄画面的拍摄对象而获得的拍 摄图像进行分析。拍摄对象例如是用户的手指或者触笔，用于指示拍摄画面上的确定位置。 在此，本发明并不要求图像分析装置本身需具备拍摄画面，只要能够取得拍摄图像即可。通知部根据对拍摄图像进行分析的结果，发出表示难以判断出拍摄对象的像在拍 摄图像上的位置的通知。因此，在有可能无法确切检测拍摄对象的情况下，能够向用户进行通知。接收到通 知的用户通过变更使用图像分析装置的位置(对拍摄对象进行拍摄的位置)或者变更对拍 摄对象进行拍摄时周围的光环境，能够选择或者调整能确切检测拍摄对象的光环境。本发明的其他目的、特征和优点在以下的描述中会变得十分明了。以下，参照附图 来明确本发明的优点。


图1是表示本发明的一个实施方式的接触位置检测装置的结构的框图。图2是表示传感器内置型IXD拍摄反射像的原理的示意图。图3是用于说明反射光识别模式下的像素数算出部和像素数判断部的处理的图。图4是用于说明影子识别模式下的像素数算出部和像素数判断部所进行的处理 的第1个例子的图。图5是用于说明影子识别模式下的像素数算出部和像素数判断部所进行的处理 的第2个例子的图。图6是用于说明在反射光识别模式下以及影子识别模式下同时判断出难以检测 手指和触笔的状态时的像素数算出部和像素数判断部的处理的图。图7是表示用于通知无法正确检测手指位置的消息和图标的一个例子的图。图8是表示接触位置检测装置的接触位置检测处理流程的一个例子的流程图。图9的(a)和(b)是说明现有技术的液晶显示屏装置的处理的概要图。图10是说明现有技术的触屏的问题点的图。图11的(a) (c)是说明现有技术的触屏的问题点的图。
具体实施例方式以下，根据图1 图8说明本发明的一个实施方式。在此，作为本发明的一个实施 方式介绍一种对指示部件(以下统称为指示物体)的图像进行拍摄并根据该图像来检测指 示物体所指示的位置(在触屏上的接触位置)的接触位置检测装置(拍摄装置)1，其中，指示物体诸如是用户用来指示触屏上的任意位置的用户手指或者触笔等。接触位置检测装置1能够进行识别多个手指的多点识别。用户使用多个手指进行 多点输入时，拍摄多个手指的图像。(接触位置检测装置1的结构)图1是表示本实施方式的接触位置检测装置1的结构的框图。如图1所示，接触位 置检测装置(图像分析装置、拍摄装置)1包括触屏部(拍摄部、通知部)10、主控制部(图 像分析装置)9和存储部40。接触位置检测装置1通过触屏部10所具备的光传感器(拍摄 元件、拍摄装置)12来拍摄接触到触屏部10的拍摄画面的指示物体(拍摄对象)而获得拍 摄图像并对该拍摄图像进行分析来判断上述指示物体的像在该拍摄图像上的位置。存储部40用于存储由主控制部9执行的各部的控制程序、OS程序、应用程序以及 执行上述程序时所读取的各种数据。也可使用硬盘、闪存等非挥发性存储装置来构成存储 部40。此外，接触位置检测装置1具备由RAM (Random Access Memory、随机存取存储器) 等挥发性存储装置构成的暂时性存储部(未图示)。在主控制部9执行上述各种程序的过 程中，作为临时保存数据的作业区域使用该暂时性存储部。(触屏部10的结构)以下说明触屏部10的结构。触屏部10包括光传感器内置型IXD(液晶屏/显示 屏)11和ADbnalog/digital、模拟/数字)变换器13，其中，光传感器内置型LCD11内藏 有作为拍摄元件的光传感器12。此外，如图2所示，触屏部10具备背光灯15。内置有光传感器12的光传感器内置型IXD11不仅能显示图像还能进行图像拍摄。 从而，光传感器内置型LCD11具有作为拍摄图像的功能，S卩，能够拍摄包含了指示物体的像 的图像(以下称之为拍摄图像)，其中，指示物体是指接触到作为触屏的光传感器内置型 LCD 11的表面的指示物体。光传感器内置型IXD11具有用于构成像素的R(红)、G (绿)、B (蓝)的滤光片 14r、14g、14b。相对于光传感器内置型IXD11的每个像素均设有一个光传感器12，换言之， 在光传感器内置型IXD11的有源矩阵基板上呈矩阵状地设置光传感器12。但是，本发明的 光传感器12的设置方式以及数量并不限定于上述，可适宜进行变更。光传感器12所取得的信号经AD变换器13进行数字化之后被输出给图像调整部 2。图2是表示光传感器内置型IXD11对反射像进行拍摄的原理的示意图。背光灯15 射出光51之后，光传感器12对手指50的指腹部50a的反射光进行检测。通过上述，能够 拍摄到指腹部50a的反射像。此外，触屏部10还能够拍摄包含了射向光传感器12的外部光(指示物体周围的 光)被指示物体遮断所形成的影子的拍摄图像。利用反射光拍摄指示物体的像的拍摄模式 称之为反射光识别模式，拍摄指示物体的影子的模式称之为影子识别模式。可根据用户的 指示或者如专利文献1记载的根据外部光的强度，切换反射光识别模式和影子识别模式。(主控制部9的结构)以下，说明主控制部9的结构。主控制部9包括图像调整部2、像素数算出部3、像 素数判断部4、特征量提取部5、接触位置判断部6、接触屏控制部7以及应用程序执行部8。
图像调整部2进行对触屏部10拍摄的拍摄图像的增益和偏移实施调整的校正处 理，并将调整后的拍摄图像输出给像素数算出部3。在以下说明中，均以8位(bit)、256灰 阶精度输出灰度级图像为前提。在此，图像调整部2还具有作为取得部的功能，从触屏部10 取得拍摄图像。此外，图像调整部2可将取得的拍摄图像或者调整后的拍摄图像存储在存 储部40。像素数算出部3用于算出图像调整部2所输出的拍摄图像中像素值超过规定的像 素值(亮度值)范围的像素的个数(以下称之为“阈值外像素个数”)，并且向像素数判断 部4输出算出的像素个数。上述规定的像素值范围是指，在能够确切判断出指示物体的位 置的光环境下拍摄到的拍摄图像中的像素的像素值的范围。关于像素数算出部3进行的处 理，以下另有详细说明。像素数判断部4用于判断像素数算出部3算出的阈值外像素个数是否超过规定的 像素个数，并且向触屏控制部7输出判断结果。如果阈值外像素个数超过规定的像素个数， 表示未能在能够确切判断出指示物体的位置的光环境下拍摄了拍摄图像的可能性较高。因 此，可以说像素数判断部4是用于判断是否在能够确切判断出指示物体的位置的光环境下 拍摄了拍摄图像的部件。关于像素数判断部4的处理内容，以下另有详细说明。触屏控制部7是用于控制触屏部10的部件，例如，对触屏部10的拍摄模式(反射 光识别模式/影子识别模式)进行切换并对触屏部10的显示内容进行指定。尤其是，当触 屏控制部7从像素数判断部4接收到用于表示显示阈值外像素个数超过规定的像素个数的 信息时，通过触屏部10显示出表示难以判断出上述指示物体的位置的消息。换言之，像素 数判断部4判断认为未能在能够确切判断出指示物体的位置的光环境下拍摄到拍摄图像 时，触屏控制部7通过触屏部10显示出表示难以判断出上述指示物体的位置的消息。在阈值外像素个数不超过规定的像素个数的情况下，特征量提取部5通过索贝尔 滤波器等边缘检测处理，从经过像素调整部2处理的拍摄图像的每个像素中提取表示指示 物体的特征的特征量(边缘特征量)。换言之，特征量提取部5从拍摄图像中提取表示指示 物体的像(形状)的特征区域。特征量提取部5作为指示物体的特征量例如提取包含8个方向上的矢量的特征 量，该8个方向上的矢量表示目标像素周围的8个方向上的像素值的梯度(分级)方向。例 如有，日本国专利申请公开特开2008-250949号公报中所揭示的特征量提取方法。作为特 征量提取部5的特征量提取处理，只要能够检测指示物体的形状(尤其是边缘)即可，对此 并未特别限定。特征量提取部5使上述提取的特征量和提取该特征量的像素(特征区域) 相关联并向接触位置判断部6输出。接触位置判断部6通过对表示特征量提取部5提取的特征量的特征区域进行图案 匹配，确定出接触位置。进行该图案匹配时，只要能够确切确定出指示物体的像的位置，可 采用任何方法。接触位置判断部6向应用程序执行部8输出表示已确定的接触位置的坐标。接触位置判断部6将特征量提取部5所提取的特征量和以接触到触屏部10的拍 摄画面的指示物体具有的特征量作为预定的特征量进行比较。两者一致时，检测与特征量 提取部5提取的特征量相对应的指示物体的像的位置。因此，在通常的光环境下，通过接触 位置判断部6的处理，能够检测出接触到拍摄画面的指示物体的位置，从而避免检测出未 接触到拍摄画面的指示物体的位置。
应用程序执行部8根据接触位置判断部6所输出的坐标，执行与 该坐标相对应的 应用程序，或者在确定的应用程序中进行与该坐标相对应的处理。应用程序执行部8可以 执行任何类型的应用程序。(像素数算出部3以及像素数判断部4的详细处理内容)以下，参照图3 5说明像素数算出部3和像素数判断部4的详细处理内容。(反射光识别模式)首先，参照图3详细说明反射光识别模式下的像素数算出部3的处理。图3是用于说明反射光识别模式下的像素数算出部3以及像素数判断部4的处理 的图。图3的(a)表示在反射光识别模式下，可正常进行位置检测的情况下的处理内容。图 3的(b)表示在相同的模式下，有较强的外部光部分地射入的情况下的处理内容。在此，图 3所示的直方图表示按照大小的顺序排列拍摄图像的像素的像素值时，像素值和具有该像 素值的像素的个数的关系。如图3的(a)所示，在反射光识别模式下，有指腹部50a的反射光射入时，触屏部 10对反射光的光斑60进行拍摄。直方图上的峰值66表示背景部分的像素的像素值，峰值 67表示反射光的光斑60的像素值。此时，如图3的(b)所示，有比背光灯的反射光强的外 部光部分地射入时，直方图上出现表示射入光光斑61的峰值68。根据现有的检测技术，将 出现峰值68被当作指腹部50a的反射光进行检测的情形。像素数算出部3算出拍摄图像上像素值比图3所示的亮度阈值(规定阈值)71大 的像素的个数。由于拍摄图像的全像素数是固定的，因此，也可以说像素数算出部3算出的 是像素值比亮度阈值71大的像素所占的比率。上述亮度阈值71是像素的像素值范围的上 限值，其目的在于防止发生错将指腹部50a的反射光以外的外部光当作指腹部50a的反射 光进行检测。换言之，亮度阈值71是能够取得对指腹部50a的反射光进行拍摄的像素的像 素值范围的上限值。像素值比亮度阈值71大的像素即可视为拍摄了指腹部50a的反射光 以外的无用的外部光的像素。像素数判断部4判断像素值比亮度阈值71大的像素的个数是否超过规定的像素 个数。本技术领域人员也可适宜设定上述规定的像素个数。规定的像素个数设得越小，判 断是否有无用外部光射入的基准就越严格。入射光光斑61的大小只要入射光光斑61能够 达到不至于被误识别为指腹部50a的像的程度就不会造成问题，因此，设定上述规定的像 素个数时，考虑不致于被误识别为指腹部50a的像的光斑大小的上限值即可。根据上述结构，像素值比亮度阈值71大的像素的个数超过规定的像素个数时，可 做出难以判断出拍摄对象的像在拍摄图像上的位置这样的判断。根据像素数算出部3，可以作成如图3所示的直方图，也可以将拍摄图像所包含的 各像素的像素值和亮度阈值71进行比较，对像素值比亮度阈值71大的像素进行计数。(影子识别模式)(第1个例子)以下，参照图4详细说明影子识别模式下的像素数算出部3以及像素数判断部4 的处理的第1个例子。图4是用于说明在影子识别模式下的像素数算出部3以及像素数判断部4的处理 的第1个例子的图。图4的(a)表示在影子识别模式下可正常进行检测时的情况，图4的(b)表示无法区分检测出2个手指50时的情况，图4的(c)表示无法判断出手指50是否接 触到触屏部10时的情况，图4的(d)表示强光从多个方向射入，致使手指50的影子几乎消 失时的情况。直方图上的峰值66表示背景部分的像素值(拍摄外部光的像素的像素值)， 峰值67表示手指50的影子的像素值。如图4(c)所示，在利用外部光拍摄手指50的影子的像的情况下，如果外部光增 强，拍摄图像上的与手指50的影子相对应的像素的像素值就减小。S卩，影子变浓。如果外 部光过强，将导致难以判断出手指50是否接触到了触屏部10。其原因在于，外部光过强时， 未接触到触屏部10的手指50的影子(图4(c)中，右侧的图像)也会变浓。另一方面，如图4 (b)所示，多个手指50的影子重叠时，难以正确判断出手指50的 位置。只存在1个光源并且射出的光较强时，多个手指50的影子相重叠的情况较多。多个 手指50的影子相重叠时，存在有与重叠部分的影子相对应像素的像素值比只有1个手指时 的像素值还小的倾向。算出此类拍摄图像上的像素值比图4所示亮度阈值(第1阈值)73小的像素个数。 该亮度阈值73是指，在能够判断出手指50是否接触到触屏部10并且即使多个手指50相重 叠时也能够正确地判断出手指50的位置的光环境下所拍摄得到的拍摄图像的像素值范围 的下限值。换言之，亮度阈值73是能够用来判断接触到拍摄画面(光传感器内置型LCD11) 的拍摄对象的影子的像之位置的、在拍摄图像上像素的像素值范围的下限值。像素数判断部4用于判断像素值比亮度阈值73小的像素的个数是否超过规定的 像素个数。然后，像素数判断部4向触屏控制部7输出上述判断结果。本技术领域人员可 适宜设定上述规定的像素个数，也可考虑指腹部50a的像的标准大小来进行设定。根据上述结构，能够判断是否存在像素值比亮度阈值73小的手指影子的像，并且 能够判断是否存在由于较强的外部光或者由于手指相重叠从而无法确切检测出该手指的 位置的可能性。此外，强光从多个方向射入时，如图4(d)所示，手指的影子几乎消失。其原因在 于，强光从多个方向射入时，即使实际上进行了接触，也由于光传感器12所拍摄的是从侧 面射入触屏部10的玻璃层的光，而拍不出影子。直方图上的峰值68、69分别表示入射光、 指腹部50a的影子的像素值。像素数算出部3算出拍摄图像上像素值比外部光的亮度阈值72大的像素个数。 该亮度阈值72是指在外部光不至于使手指的影子消失的情况下像素的像素值范围的上限值。因此，在像素值比该规定阈值72大的像素个数超过规定的像素个数的情况下，可 判断手指50的影子因外部光而消失。像素数判断部4用于判断像素值比亮度阈值72大的像素个数是否超过规定的像 素个数。本技术领域人员可适宜设定上述规定的像素个数，也可根据可能导致手指的影子 消失的外部光的光量以及强度来进行设定。在本例子中，像素数判断部4判断像素值比亮度阈值73小的像素个数是否超过规 定的像素个数以及像素值比亮度阈值72大的像素个数是否超过规定的像素个数，其中一 个(或两个)的判断结果为“是”时，向触屏控制部7输出显示命令，命令进行表示难以判 断出指示物体的位置的消息显示。该显示命令中可包含要显示的消息的种类。触屏控制部7根据上述显示命令，通过触屏部10进行消息显示。(第2个例子)以下，参照图5详细说明影子识别模式下的像素数算出部3以及像素数判断部4 的处理的第2个例子。图5是用于说明影子识别模式下的像素数算出部3以及像素数判断部4所进行的 处理的第2个例子的图。图5的(a)表示在影子识别模式下可正常进行检测的情况。图5 的(b)表示可检测1个手指50，但是无法区别检测出2个手指50的情况。图5的(c)表 示无法判断出手指50是否接触到触屏部10的情况。直方图上的峰值66表示背景部分的 像素值(拍摄外部光的像素的像素值)，峰值67表示手指50接触到光传感器内置型LCD11 的画面时的影子的像素值。此外，峰值68表示手指50未接触到光传感器内置型IXD11的 画面时的影子的像素值。如图5的(c)所示，如果外部光增强，拍摄图像上的与手指50的影子相对应的像 素的像素值就减小。即，影子变浓。如果外部光过强，将导致难以判断出手指50是否接触 到触屏部10。其原因在于，外部光过强时，未接触到触屏部10的手指50的影子也变浓。相对而言，如图5的(b)所示，当有强度比图5的(c)的强度弱但仍然属于是较强 的光射出的情况下，只有1个手指50时能够检测出，而有多个手指50的影子相重叠时，就 难以正确判断出手指50的位置。对于此类拍摄图像，像素数算出部3根据图5所示的亮度阈值(第1阈值)74以 及亮度阈值(第2阈值)75等多个阈值，算出像素值属于上述阈值规定的多个像素值范围 内的像素个数。亮度阈值74是指，在即使有多个手指50时也能够确切判断出拍摄图像上手指50 的像的位置的光环境下，拍摄了手指50时的像素值范围的下限值。亮度阈值75是指，在拍 摄图像仅包含1个手指50的像时能够确切判断出手指50的位置的光环境下，拍摄了该拍 摄图像时的像素值范围的下限值。像素值小于亮度阈值74并且大于阈值75的像素超过规定的像素个数的情况是 指，虽然在有多个手指50的情况下无法确切判断出手指50的像的位置，但是只有1个手指 50时能够确切判断出手指50的像的位置的情况。像素数算出部3分别算出像素值为0以上亮度阈值75以下的像素的个数(第1 范围像素数)和像素值大于亮度阈值75并且小于亮度阈值74的像素的个数(第2范围像 素数)。像素数判断部4分别对第1范围像素数和第2范围像素数是否超过规定的像素个 数进行判断。然后，像素数判断部4向触屏控制部7输出判断结果。作为上述规定的像素 个数，可分别设定与第1范围像素数相对应的像素个数、与第2范围像素数相对应的像素个 数，也可以设定相同的像素个数。本技术领域人员可适宜设定上述规定的像素个数，可根据 指腹部50a的像的标准大小进行设定。根据上述结构，能够判断是否存在像素值小于亮度阈值74并且大于亮度阈值75 的手指影子的像、像素值为亮度阈值75以下的手指影子的像。其结果，只有1个手指50时 能够确切检测出该手指50，且在有2个手指50时能够判断是否有正确判断出任何手指的可 能性。
在本例子中，可结合上述第1个例子进行实施。例如，亮度阈值72也可适用于第 2个例子。在这种情况下，根据阈值可规定出4个像素值范围。此外，像素数判断部4也可 向触屏控制部7输出显示命令。(同时对手指以及触笔的检测困难状态进行判断的例子)在上述说明中，均以拍摄对象(指示物体)是手指作为前提，上述亮度阈值用于判 断手指的位置。在以下说明的例子中，所使用的亮度阈值可对应拍摄对象为手指或者触笔 的任何情况。在此，触笔是指笔尖上设有能够对背光灯的光进行反射的部件的笔。通过拍 摄笔尖对背光灯进行反射的光，能够检测出触笔的接触位置。图6是用于说明在反射光识别模式以及影子识别模式下，同时对手指50以及触 笔的检测困难状态进行判断时，像素数算出部3以及像素数判断部4的处理的图。图6的 (a)表示在外部光较暗的情况下使用触笔接触触屏部10的状态，图6的(b)表示在外部光 较亮的情况下使用手指接触触屏部10的状态，图6的(c)表示在外部光较亮的情况下使用 触笔接触触屏部10的状态。直方图上的峰值66表示背景部分的像素值(拍摄外部光的像 素的像素值)、峰值67表示手指50的影子的像素值、峰值81表示触笔接触光传感器内置型 IXD11的画面时所接触的部分的像素值。在如图6的(a)所示的外部光较暗的情况下使用触笔时能够检测出，而在图6的 (c)所示的外部光较亮的情况下，由于无法区别笔尖所反射的背光灯的光和外部光，因此检 测不出。使用手指时，如图6的(b)所示，即使在相同的外部光环境下也能够进行检测出。 如上所述，即使在相同的外部光环境条件下，能否检测出也因拍摄对象而异。因此，设定一 个能够针对手指和触笔的位置检测困难性予以区分并判断的亮度阈值。像素数算出部3分别算出此类拍摄图像上的如图6所示的像素值大于手指用亮度 阈值76的像素的个数以及像素值大于触笔用亮度阈值77的像素的个数。该手指用亮度阈 值76是能够判断出手指50是否接触到触屏部10的像素值范围的上限值，该触笔用亮度阈 值77是能够判断触笔是否接触到触屏部10的像素值范围的上限值。像素数判断部4分别对像素值大于手指用亮度阈值76的像素的个数以及像素值 大于触笔用亮度阈值77的像素的个数是否超过规定的像素个数进行判断。然后，像素数判 断部4向触屏控制部7输出判断结果。具体而言，像素数判断部4对像素值大于触笔用亮 度阈值77的像素个数是否超过规定的像素个数(第1判断)、像素值大于手指用亮度阈值 76的像素个数是否超过规定的像素个数(第2判断)进行判断。然后，在第1判断和第2 判断均为“是”的情况下，像素数判断部4输出难以对触笔和手指进行检测的判断结果。在 第1判断为“是”且第2判断为“否”的情况下，像素数判断部4输出难以对触笔进行检测 但能够检测手指的判断结果。在第1判断和第2判断均为“否”的情况下，像素数判断部4 输出能够对触笔和手指进行检测的判断结果。如上所述，像素数判断部4可向触屏控制部 7输出基于判断结果的显示命令。作为上述规定的像素个数，可分别设定与手指用亮度阈值76相对应的像素个数 和与触笔用亮度阈值77相对应的像素个数，也可设定相同的像素个数。本技术领域人员可适宜设定上述规定的像素个数，可根据指腹部50a以及触笔的 像的标准大小来进行设定。如上所述，像素数算出部3根据与拍摄对象的种类相对应的亮度阈值算出像素个数。因此，根据外部光的强度，能够同时判断能否检测手指50以及触笔的像。在此介绍了对手指50和触笔同时进行判断的结构。此外，用户能够通过开关等对 输入方法，即，在手指输入还是触笔输入进行切换的情况下，可以只根据手指用亮度阈值76 或者触笔用亮度阈值77其中之一进行判断。另外，可以在图3 5所示的例子中应用根据阈值来判断能否检测出摄对象的位 置的技术方案，其中阈值是与拍摄对象的种类相对应的阈值，拍摄对象是接触到触屏部10 的拍摄对象。(显示消息的显示例)以下，参照图7说明显示消息的例子。图7是表示为了通知无法正确判断出手指 的位置的消息和图标(icon)的一个例子的图。在像素数判断部4判断认为未在能够确切判断出指示物体的位置的光环境下拍 摄拍摄图像的情况下，触屏控制部7通过触屏部10显示出表示该内容的消息或者图标。所 谓消息，例如可以是图7(a)所示的“此环境下无法检测手指，请移动位置”的提示。除了上述消息之外，还可以显示以下向用户通知用于表示无法正确检测出指示物 体的位置的原因的消息，例如有“此环境下无法检测手指，请移动到无干扰性外部光的环 境”、“此环境下无法检测手指，请移动到可避免日光直射的位置”、“此环境下无法检测手 指，操作时请避开强光”等。此外，在上述第2个例子的情况下，可显示表示在只有1个手指时能够正确判断出 手指的位置而存在有多个手指时就无法正确判断出手指的位置的消息。或者，也可以显示 表示即使只有1个手指也无法正确判断出其位置的消息。即，可以向用户通知在为了正确 判断出手指的位置时的手指个数。此外，如图7的(b)所示，也可显示用于表示无法检测出手指的图标。另外，还可 以通过声音或者警报声来通知无法正确检测出手指的位置。即，本发明的通知部并不限于 触屏部10，还可以利用如上所述的能够发出声音的扩音器。或者，还可以采用在无法正确判 断出手指的位置的情况下点亮发光部(例如，LED (Light Emitting Diode，发光二极管)) 的结构，并在该发光部的旁边打上“无法检测”等标示。在此种情况下，上述发光部为本发 明的通知部。上述消息以及图标的图像预先就存储在存储部40中，触屏控制部7可从存储部40 取得要显示的消息或者图标。(接触位置检测装置1的处理流程)以下，参照图8说明接触位置检测装置1的处理流程的一个例子。图8是表示接 触位置检测装置1的接触位置检测处理流程的一个例子的流程图。首先，光传感器内置型IXD11的光传感器12对手指50进行拍摄得到拍摄图像。光 传感器传感器12通过AD变换器13得到的拍摄图像输出到图像调整部2 (S1)。图像调整部2接收到拍摄图像之后(取得工序)，进行对该拍摄图像的增益和偏移 实施调整的校正处理等，然后将调整后的拍摄图像输出到像素数算出部3，并存储到存储部 40 (S2)。像素数算出部3接收到拍摄图像之后，如上所述算出该拍摄图像的像素个数(像 素数算出工序)，并将算出的像素个数输出到像素数判断部4 (S3)。
像素数判断部4判断像素数算出部3所算出的像素个数是否在规定的像素个数 (阈值)以内(S4)，如果在规定的像素个数以内(S5为“是”)，就向特征量提取部5输出特 征量提取命令，命令提取特征量。特征量提取部5从像素数判断部4接收到特征量提取命令之后，从存储部40接收 已调整的拍摄图像，并通过边缘检测处理从拍摄图像的每个像素中提取表示指示物体的特 征的特征量(边缘特征量)，然后将提取的特征量以及表示该特征量的像素(特征区域)的 位置信息(像素的坐标)输出到接触位置判断部6 (S6)。接触位置判断部6接收特征量以及特征区域的位置信息之后，通过对该特征区域 进行图案匹配，算出接触位置。接触位置判断部6将表示该算出的接触位置的坐标输出给 应用程序执行部8 (S7)。应用程序执行部8根据从接触位置判断部6接收到的接触位置，执行应用程序 (S8)。相对于此，像素数算出部3算出的像素个数超出规定的像素个数时(S5为“否”)， 像素数判断部4将该判断结果输出到触屏控制部7。触屏控制部7从像素数判断部4接收判断结果之后，根据该判断结果，通过触屏部 10进行消息显示(S9)。像素数算出部3算出的像素个数超出规定的像素个数时，也可在显示上述消息之 后，根据此时取得的拍摄图像，算出指示物体的像的位置。(变更例)本发明并不限定于上述各实施方式，可在权利要求项的范围内进行各种变更，通 过对不同的实施方式中揭示的技术内容适宜进行组合而获得的实施方式也包含于本发明 的技术范围内。例如，作为图像分析装置，可以是包括图像调整部2、像素数算出部3、像素数判断 部4、特征量提取部5、接触位置判断部6以及触屏控制部7的装置。此外，上述接触位置检测装置1的各组成部的构成，尤其是主控制部9，可以通过 硬件逻辑来实现，也可以使用CPU，通过软件实现。BP,接触位置检测装置1具有执行用于实现各功能的控制程序的命令的 CPU (central processing unit 中央处理器)、存储了上述控制程序的ROM (read only memory 只读存储器)、用于展开上述程序的RAM&andonaccess memory 随机存取存储 器)、用于存储上述程序及各种数据的存储器等的存储装置(记录介质)等。另外，向上述 接触位置检测装置1提供记录介质，该记录介质记录有可由计算机读取的并用于实现上述 功能的软件，由其计算机(或CPU、MPU)读出并执行记录介质中记录的软件，这样也能够实 现本发明的目的，其中，上述记录介质所记录的软件为上述接触位置检测装置1的控制程 序(图像分析程序)的程序代码(执行形式程序、中间代码程序、源程序)。作为上述记录介质，例如，可以是磁带、盒式带等的带类、包括软盘、硬盘等磁盘以 及⑶-ROM、M0、MD、DVD、⑶-R等光盘的盘类、IC卡(包括存储卡)、光卡等的卡类或掩模型 ROM、EPR0M、EEPR0M、闪存ROM等的半导体存储器类。另外，接触位置检测装置1可以连接通信网络，借助于通信网络供给上述程序 代码。作为上述通信网络，并没有特别的限制，例如，可利用互联网(internet)、内联网
12(intranet)、外联网(extranet)、LAN、ISDN、VAN、CATV 通信网、虚拟专用网络(virtual private network)、电话回线网络、移动通信网络、卫星通信网络等。另外，作为构成通 信网络的传输介质，并没有特别的限制，例如，可以利用IEEE1394电缆、USB电缆、电力 线、电缆电视回线、电话线、ADSL回线等的有线通信，也可以利用诸如IrDA的红外线、 Bluetooth(注册商标)、802. 11无线通信、HDR、便携式电话网络、卫星回线、地面数字广播 网络(terrestrial digital net)等的无线通信。另外，即使是通过电子传输而实现了上 述程序代码的、载置于载波的计算机数字信号的形态，也可以实现本发明。为了解决上述课题，本发明的图像分析装置是一种通过对拍摄接触到拍摄画面的 拍摄对象而获得的拍摄图像进行分析，判断该拍摄对象的像在上述拍摄图像上的位置的图 像分析装置，其特征在于包括通知部，该通知部根据对上述拍摄图像进行分析的结果，由该 通知部发出表示难以判断出上述位置的通知。为了解决上述课题，本发明的图像分析方法是一种通过对拍摄接触到拍摄画面的拍摄对象而获得的拍摄图像进行分析并判断该拍摄对象的像在上述拍摄图像上的位置的 图像分析装置的图像分析方法，其特征在于包括通知步骤，根据对上述拍摄图像进行分析 的结果，由上述通知部发出表示难以判断出上述位置的通知。根据上述结构，上述图像分析装置对拍摄接触到拍摄画面的拍摄对象而获得的拍 摄图像进行分析。拍摄对象例如是用户的手指或者触笔，用于指示拍摄画面上的确定位置。 本发明并不要求图像分析装置本身要具备拍摄画面，只要图像分析装置能够取得拍摄图像 即可。通知部根据对拍摄图像进行分析的结果，发出难以判断出拍摄对象的像在拍摄图 像上的位置的通知。因此，存在有无法确切检测拍摄对象的可能性的情况下，能够向用户进行通知。接 收通知的用户通过变更使用图像分析装置的位置(对拍摄图像进行拍摄的位置)或者变更 周围光环境，能够选择或者调整可确切检测拍摄对象的光环境。上述图像分析装置优选还具备用于算出上述拍摄图像上的像素值超出规定的像 素值范围的像素的个数的像素数算出部、用于判断上述像素数算出部算出的像素个数是否 超出规定的像素个数的像素数判断部，在上述像素数判断部判断认为上述像素个数超出上 述规定的像素个数的情况下，上述通知部发出表示难以判断出上述位置的通知。根据上述结构，像素数算出部算出对拍摄对象进行拍摄而获得的拍摄图像中的像 素值超出规定的像素值范围的像素的个数。例如，像素数算出部算出像素值大于规定的像 素值的像素的个数。像素数判断部判断像素数算出部算出的像素个数是否超出规定的像素 个数。然后，在像素数算出部算出的像素个数超出规定的像素个数的情况下，通知部发出表 示难以判断出拍摄对象的像在拍摄图像上的位置的通知。因此，通过对拍摄图像的像素值进行分析，能够判断出能否确切检测出拍摄对象。本发明的图像分析装置优选的是，上述拍摄图像中包含向着上述拍摄对象射出之 后被该拍摄对象反射的光所形成的像，上述像素数算出部算出上述拍摄图像中像素值大于 规定阈值的像素的个数，上述规定阈值是指，在能够确切判断出上述位置的光环境下拍摄 了上述拍摄图像时的像素的像素值范围的上限值。在利用来自拍摄对象的反射光来拍摄拍摄对象的情况下，由于向拍摄对象进行光照射的光源的光强度通常是固定的，因此，反射光的强度也保持在固定的范围内。在此种情况下，如果有拍摄对象的反射光以外的高强度外部光局部地射入，像素值大于拍摄对象的 像的像素值的光斑就会形成在拍摄图像中。判断拍摄对象的像的位置时，上述光斑将导致 发生误识别的可能性较高。根据上述结构，拍摄图像包含从拍摄画面射向拍摄对象之后被该拍摄对象反射的 光所形成的像。即，上述图像分析装置以拍摄图像作为分析对象，该拍摄图像是指，利用照 射到拍摄对象之后被反射的光来拍摄拍摄对象所得到的像。像素数算出部算出该拍摄图像 上的像素值大于规定的上限值的像素的个数。该规定的上限值是指，在能够确切判断出拍 摄对象的像的位置的光环境下拍摄了拍摄图像时的像素的像素值范围的上限值。更具体而 言，上述规定的上限值是指，在形成上述光的像的拍摄图像中像素所能够取得的像素值范 围的上限值。从而，像素值大于规定的上限值的像素个数超过规定的像素个数时，可认为难以 判断出拍摄对象的像在拍摄图像上的位置。因此，由于外部光的影响，在难以判断出拍摄对象的像在拍摄图像上的位置时，能 够通知用户。本发明的图像分析装置优选的是，上述拍摄图像包含射向上述拍摄画面的外部光 被上述拍摄对象遮断所形成的影子，上述像素数算出部算出像素值小于上述拍摄图像上的 第1阈值的像素的个数，上述第1阈值是指，在能够确切判断出上述位置的光环境下拍摄到 的上述拍摄图像的像素值范围的下限值。根据上述结构，拍摄图像包含射向拍摄画面的外部光被拍摄对象遮断所形成的影 子。即，上述图像分析装置以拍摄图像作为分析对象，该拍摄图像是指利用外部光对拍摄对 象的影子的像进行拍摄而获得的拍摄图像。像素数算出部算出该拍摄图像上的像素值小于 第1阈值的像素的个数。该第1阈值是指，在能够确切判断出上述位置的光环境下拍摄到 的上述拍摄图像的像素值范围的下限值。换言之，上述第1阈值是能够判断出接触到拍摄 画面的拍摄对象的影子的像的位置的、在拍摄图像上的像素值范围的下限值。利用外部光拍摄拍摄对象的影子的像的情况下，如果外部光增强，拍摄图像上的 与拍摄对象的影子相对应的像素的像素值就减小。即，影子变浓。如果外部光过强，将导致 难以判断出拍摄对象是否接触到拍摄画面。其原因在于，如果外部光过强，未接触拍摄画面 的拍摄对象的影子也会变浓。相对而言，多个拍摄对象的影子相重叠时，与重叠部分的影子相对应的像素的像 素值变小。多个拍摄对象的影子相重叠时，难以正确判断出拍摄对象的位置。因此，通过像素数算出部算出像素值小于第1阈值的像素的个数，能够判断是否 存在因较强的外部光或者因拍摄对象重叠而无法确切检测出该拍摄对象的可能性。本发明的图像分析装置优选的是，上述像素数算出部算出上述拍摄图像上的像素 值小于上述第1阈值并且大于第2阈值的像素的个数，上述第2阈值是指，在上述拍摄图像 仅含一个拍摄对象的像并且在能够确切判断出上述位置的光环境下拍摄到的上述拍摄图 像的像素值范围的下限值。根据上述结构，能够算出像素值小于第1阈值并大于第2阈值的像素的个数。第1 阈值是指，在即使有多个拍摄对象也能够确切判断出拍摄图像上的拍摄对象的像的位置的光环境下拍摄了拍摄图像时的该拍摄图像的像素值范围的下限值，第2阈值是指，在拍摄 图像只包含1个拍摄对象的像的情况下且能够确切判断出拍摄对象的位置的光环境下拍 摄了拍摄图像时的该拍摄图像的像素值范围的下限值。像素值小于第1阈值并且大于第2阈值的像素个数超过规定的像素个数的情况是 指，虽然存在多个拍摄对象时无法确切判断出该拍摄对象的像的位置，但是只有1个拍摄 对象时能够确切判断出该拍摄对象的像的位置的情况。因此，能够通知用户只有1个拍摄对象时能够确切检测出拍摄对象，而有2个拍摄 对象时就无法正确检测出两者的可能性。其结果，能够提醒用户进行1个拍摄对象的输入 处理，或者改变光环境。本发明的图像分析装置优选的是，上述像素数算出部根据与上述拍摄对象的种类 相对应的上述阈值，算出像素的个数。上述阈值因拍摄对象而异。具体而言，拍摄对象是手指的情况和拍摄对象是触笔 的情况两种情况下，接触到拍摄画面的部分的面积也各不相同。例如，在利用外部光拍摄的 拍摄图像上，触笔的阈值比手指的阈值小。
因此，根据上述结构，能够根据拍摄对象的种类更确切地判断出拍摄对象的像在 拍摄图像上的位置。此外，用于驱动上述图像分析装置的、通过电子计算机实现上述各个部分的功能 的控制程序以及记录了该控制程序的计算机可读取的记录介质也包含于本发明的技术范畴内。另外，具备上述图像分析装置并且包括用于拍摄拍摄图像的拍摄部并通过上述图 像分析装置对上述拍摄部所拍摄的上述拍摄图像进行分析的拍摄装置也包含于本发明的 技术范畴内。(工业可利用性)本发明能够在难以正确检测拍摄对象的位置的情况下，向用户通知该情况，因此， 本发明适用于各种各样的光环境下具有触屏的位置检测装置、输入装置等。
权利要求
一种图像分析装置(1)，其通过对拍摄接触到拍摄画面(11)的拍摄对象(50)而获得的拍摄图像进行分析来判断上述拍摄对象(50)的像在该拍摄图像上的位置，其特征在于包括通知部(10)，该通知部(10)根据对上述拍摄图像进行分析的结果，发出表示难以判断出上述位置的通知。
2.根据权利要求1所述的图像分析装置(1)，其特征在于还包括像素数算出部(3)和像素数判断部(4)，其中，该像素数算出部(3)算出上述拍 摄图像中像素值超出规定的像素值范围的像素个数，该像素数判断部(4)判断上述像素数 算出部(3)所算出的像素个数是否超出规定的像素个数，在上述像素数判断部(4)判断出上述像素个数超出上述规定的像素个数的情况下，上 述通知部(10)发出表示难以判断出上述位置的通知。
3.根据权利要求2所述的图像分析装置(1)，其特征在于上述拍摄图像中包含从上述拍摄画面(11)射向上述拍摄对象(50)之后被该拍摄对象 (50)反射的光所形成的像，上述像素数算出部(3)算出上述拍摄图像中像素值大于规定阈值的像素个数，上述规定阈值是指，在能够确切判断出上述位置的光环境下拍摄到的上述拍摄图像中 的像素的像素值范围的上限值。
4.根据权利要求2所述的图像分析装置(1)，其特征在于上述拍摄图像包含射向上述拍摄画面(11)的外部光被上述拍摄对象(50)遮断所形成 的影子，上述像素数算出部(3)算出上述拍摄图像中像素值小于第1阈值的像素的个数，上述第1阈值是指，在能够确切判断出上述位置的光环境下拍摄到的上述拍摄图像的 像素值范围的下限值。
5.根据权利要求4所述的图像分析装置(1)，其特征在于上述像素数算出部(3)算出上述拍摄图像中像素值小于上述第1阈值并且大于第2阈 值的像素的个数，上述第2阈值是指，在上述拍摄图像仅含一个拍摄对象(50)的像并且在能够确切判断 出上述位置的光环境下拍摄到的上述拍摄图像的像素值范围的下限值。
6.根据权利要求3所述的图像分析装置(1)，其特征在于上述像素数算出部(3)使用与上述拍摄对象的种类相对应的上述阈值，来算出像素的 个数。
7.一种图像分析方法，其用于图像分析装置(1)，该图像分析装置(1)通过对拍摄接触 到拍摄画面(11)的拍摄对象(50)而获得的拍摄图像进行分析来判断上述拍摄对象(50) 的像在该拍摄图像上的位置，该图像分析方法的特征在于包括通知步骤，根据对上述拍摄图像进行分析的结果，发出表示难以判断出上述位置的通知。
8.一种拍摄装置，其特征在于具备权利要求1所述的图像分析装置(1)和用于拍摄拍摄图像的拍摄部(10)，上述图像分析装置(1)用于对上述拍摄部(10)所拍摄的上述拍摄图像进行分析。
全文摘要
本发明的接触位置检测装置具备光传感器内置型LCD，该光传感器内置型LCD基于对光传感器所拍摄的拍摄图像进行分析后的结果而发出表示难以判断出指示物体的位置的通知。
文档编号G06F3/042GK101825972SQ20101012321
公开日2010年9月8日 申请日期2010年3月2日 优先权日2009年3月6日
发明者山下大辅, 岩崎圭介 申请人:夏普株式会社