本发明涉及图像识别装置、图像识别方法以及图像识别单元。
背景技术：
作为检测手指是否与投影有来自投影仪的图像的屏幕接触的图像识别技术，公知有专利文献1的技术。在专利文献1的图像识别技术中，首先，将格子图案的构造光投影在屏幕上，接着，根据来自摄像装置(照相机)的图像来确认所述手指的位置处的格子图案的变化，从而进行触摸识别。
现有技术文献
专利文献
专利文献1：us2011/0254810号公报
技术实现要素：
发明所要解决的课题
但是，在专利文献1所记载的图像识别技术中，存在如下问题：从摄像装置观察时的手指的深度方向的位置检测精度较差，与此相伴地触摸识别的精度也较差。
本发明的目的在于，提供能够进行高精度的触摸识别的图像识别装置、图像识别方法以及图像识别单元。
用于解决课题的手段
这样的目的是通过下述的本发明而达成的。
本发明的图像识别装置被使用在图像显示单元中，该图像显示单元具有：摄像装置，其对图像显示面进行拍摄；以及检测用图像显示装置，其在所述图像显示面上显示检测用图像，该图像识别装置的特征在于，具有：图案显示部，其使所述检测用图像显示装置显示第1图案，其中，该第1图案具有第1线状图案和第2线状图案，该第1线状图案的亮度沿着与核线平行的方向按照第1周期发生变化，该核线是根据所述摄像装置与所述检测用图像显示装置的位置关系而确定的，该第2线状图案的亮度沿着与所述核线平行的方向按照与所述第1周期不同的第2周期发生变化；计测点判定部，其检测位于所述摄像装置与所述图像显示面之间的对象物，判定所述对象物的计测对象点；以及位置检测部，其根据所述摄像装置所取得的包含所述计测对象点和所述第1图案的图像，检测所述计测对象点相对于所述图像显示面的位置。
由此，能够根据位置检测部的检测结果，高精度地进行触摸识别(对象物与图像显示面接触还是不接触的判断)。
在本发明的图像识别装置中，优选所述第2周期小于所述第1周期的2倍。
由此，能够进行更高精度的触摸识别。
在本发明的图像识别装置中，优选所述第1图案被分割成沿着与所述核线平行的方向具有第3周期的多个区域，对所述多个区域分别赋予用于确定位置的地址。
由此，能够检测出检测对象点所位于的地址，并且能够根据检测出的地址来显示辅助的图案(后述的第2图案等)。因此，能够进行更高精度的触摸识别。
在本发明的图像识别装置中，优选所述第3周期等于所述第1周期与所述第2周期的最小公倍数。
由此，能够减少产生相位缠绕的可能性，能够进行更高精度的触摸识别(另外，关于相位缠绕，将在后面叙述)。
在本发明的图像识别装置中，优选的是，所述图案显示部使所述检测用图像显示装置在除了所述计测对象点所位于的所述区域以外的区域，显示沿着穿过所述计测对象点的所述核线的、线状的第2图案。
由此，能够区分相位缠绕，能够进行更高精度的触摸识别。
在本发明的图像识别装置中，优选所述图案显示部使所述检测用图像显示装置显示如下的第2图案：该第2图案跨越所述计测对象点所位于的所述区域、和与所述计测对象点所位于的所述区域相邻的两个区域。
由此，能够区分相位缠绕，能够进行更高精度的触摸识别。
在本发明的图像识别装置中，优选所述图案显示部使所述检测用图像显示装置显示如下的第2图案：该第2图案具有沿着与所述核线平行的方向的线状图案，并且相邻的所述多个区域的所述线状图案在与所述核线交叉的方向上错开地配置。
由此，能够区分相位缠绕，能够进行更高精度的触摸识别。
本发明的图像识别方法被使用在图像显示单元中，该图像显示单元具有：摄像装置，其对图像显示面进行拍摄；以及检测用图像显示装置，其在所述图像显示面上显示检测用图像，该图像识别方法的特征在于，具有如下的步骤：图案显示步骤，使所述检测用图像显示装置显示第1图案，其中，该第1图案具有第1线状图案和第2线状图案，该第1线状图案的亮度沿着与核线平行的方向按照第1周期发生变化，该核线是根据所述摄像装置与所述检测用图像显示装置的位置关系而确定的，该第2线状图案的亮度沿着与所述核线平行的方向按照与所述第1周期不同的第2周期发生变化；计测点判定步骤，检测位于所述摄像装置与所述图像显示面之间的对象物，判定所述对象物的计测对象点；以及位置检测步骤，根据所述摄像装置所取得的包含所述计测对象点和所述第1图案的图像，检测所述计测对象点相对于所述图像显示面的位置。
由此，能够根据位置检测部的检测结果，高精度地进行触摸识别(对象物与图像显示面接触还是不接触的判断)。
本发明的图像识别单元的特征在于，具有：本发明的图像识别装置；所述摄像装置；以及所述检测用图像显示装置。
由此，获得能够高精度地进行触摸识别的图像识别单元。
在本发明的图像识别单元中，优选具有图像显示装置，该图像显示装置在所述图像显示面上显示图像。
由此，能够在图像显示面上显示期望的图像。
附图说明
图1是示出本发明第1实施方式的图像识别单元的结构的图。
图2是图1所示的投影仪的结构图。
图3是图1所示的投影仪的结构图。
图4是图3所示的投影仪所具有的扫描部的俯视图。
图5是图1所示的图像识别装置的框图。
图6是对核线(epipolarline)进行说明的图。
图7是示出第1图案的图。
图8是对触摸识别的方法进行说明的图。
图9是对触摸识别的方法进行说明的图。
图10是对触摸识别的方法进行说明的图。
图11是对触摸识别的方法进行说明的图。
图12是示出在本发明第2实施方式的图像识别单元中使用的检测用图像的图。
图13是对触摸识别的方法进行说明的图。
图14是对触摸识别的方法进行说明的图。
图15是示出在本发明第3实施方式的图像识别单元中使用的投影仪的结构图。
图16是对触摸识别的方法进行说明的图。
图17是对触摸识别的方法进行说明的图。
图18是对触摸识别的方法进行说明的图。
图19是示出在本发明第4实施方式的图像识别单元中使用的检测用图像的图。
图20是对触摸识别的方法进行说明的图。
图21是对触摸识别的方法进行说明的图。
具体实施方式
以下，参照附图对本发明的图像识别装置、图像识别方法以及图像识别单元的优选实施方式进行说明。
<第1实施方式>
首先，对第1实施方式的图像识别单元进行说明。
图1是示出本发明第1实施方式的图像识别单元的结构的图。图2是图1所示的投影仪的结构图。图3是图1所示的投影仪的结构图。图4是图3所示的投影仪所具有的扫描部的俯视图。图5是图1所示的图像识别装置的框图。图6是对核线进行说明的图。图7是示出第1图案的图。图8到图11是分别对触摸识别的方法进行说明的图。
图1所示的图像识别单元100例如是如下的装置：该图像识别单元100能够判定手指(对象物)f是否与平坦的屏幕(图像显示面)900接触，根据判定结果来切换显示于屏幕900的图像。另外，以下，将手指f是否与屏幕900接触的判断称为“触摸识别”。这样的图像识别单元100例如可以使用在演示中，通过进行演示者的手指的触摸识别，在需要时对呈现在屏幕900的图像进行切换、或者进行放大或缩小，能够使演示顺利地进行。
但是，作为图像显示面，并不限定于屏幕900，例如，也可以是墙壁、玻璃等。并且，图像显示面可以不是平坦的，也可以是球面或凹凸面。并且，图像显示面的形状也可以随时间而发生变化。并且，作为进行触摸识别的对象物，并不限定于手指f，例如，也可以是指示棒、吸附于屏幕900的磁铁等。并且，作为图像识别单元100的用途，并不限定于演示，例如，可以使用在商场等的店铺引导、经办商品的介绍/检索等各种用途中。
如图1所示，这样的图像识别单元100具有图像显示单元和进行触摸识别的图像识别装置500，该图像显示单元具有：投影仪(图像显示装置)200，其在屏幕900上显示图像；投影仪(检测用图像显示装置)300，其在屏幕900上显示作为检测用图像的第1图案800(参照图7)；以及照相机(摄像装置)400，其对屏幕900进行拍摄。
另外，投影仪300和照相机400配置在不同的位置。并且，投影仪300和照相机400的相对(几何)位置关系恒定，与位置关系相关的信息被存储在图像识别装置500所具有的未图示的存储部中，并且被适当使用。
以下，对投影仪200、投影仪300、照相机400以及图像识别装置500按顺序进行说明。
[投影仪200]
投影仪200是将想要使观察者看到的图像(例如，演示用的图像)显示于屏幕900的装置。
这样的投影仪200是lcd方式的投影仪，如图2所示，具有液晶显示元件240r、240g、240b、分色棱镜250以及投射透镜系统260。并且，向液晶显示元件240r入射红色光r，向液晶显示元件240g入射绿色光g，向液晶显示元件240b入射蓝色光b。
液晶显示元件240r、240g、240b是分别与r、g、b的原色对应的透过型的空间光调制器，被液晶显示元件240r、240g、240b分别进行了空间调制的光经分色棱镜250合成而从分色棱镜250射出全色的影像光la。并且，所射出的影像光la被投射透镜系统260放大而投射到屏幕900。由此，在屏幕900上显示图像。
以上，对投影仪200进行了说明，但作为投影仪200，只要能够在屏幕900上显示图像，则并不限定于lcd方式的投影仪，例如，可以是光扫描方式的投影仪，也可以是dmd方式的投影仪。
[投影仪300]
投影仪300是将第1图案800显示于屏幕900的装置。
这样的投影仪300是光扫描型的投影仪，如图3所示，具有光源310、扫描部320以及未图示的投射透镜系统。
光源310具有：光源311r，其射出红色的激光；光源311g，其射出绿色的激光；光源311b，其射出蓝色的激光；准直透镜312r、312g、312b，它们使从光源311r、311g、311b射出的光平行化；光合成部313；以及聚光透镜314。
光合成部313是对来自光源311r、311g、311b的激光进行合成而生成调制光lb的要素，具有3个分色镜313a、313b、313c。并且，由光合成部313生成的调制光lb被聚光透镜314变更为期望的na(数值孔径)之后，被引导至扫描部320。
扫描部320是能够绕两轴摆动的光扫描仪，如图4所示，具有：可动部330，其具有反射镜331；轴部341、342，它们将可动部330支承为能够绕轴j1摆动；驱动框部350，其对轴部341、342进行支承；轴部361、362，它们将驱动框部350支承为能够绕与轴j1垂直的轴j2摆动；以及框状的支承部370，其对轴部361、362进行支承。在这样的扫描部320中，一边通过未图示的驱动单元使驱动框部350相对于支承部370绕轴j2摆动，一边使可动部330相对于驱动框部350绕轴j1摆动，由此，能够对被反射镜331反射的调制光lb进行二维扫描。
然后，被扫描部320扫描后的调制光lb被未图示的投射透镜系统放大而投射到屏幕900。由此，在屏幕900上显示第1图案800。
以上，对投影仪300进行了说明，作为投影仪300，只要能够在屏幕900上显示第1图案800，则并不限定于光扫描方式的投影仪，例如，可以是lcd方式的投影仪，也可以是dmd方式的投影仪。并且，也可以是具有射出激光的光源和对从光源射出的激光进行衍射的衍射光栅的结构。并且，即使是光扫描方式的投影仪，也并不限定于上述的结构，例如，也可以使用两个单轴摆动型的光扫描仪对调制光lb进行二维扫描。并且，投影仪300也可以构成为使用衍射光学元件和激光光源对两种不同的固定图案进行投影。
[照相机400]
照相机400是用于对屏幕900进行拍摄的装置。这样的照相机400例如是rgb照相机，具有：受光单元410，其具有镜头系统411和摄像元件412；以及未图示的处理部，其对来自摄像元件412的影像信号进行处理。
[图像识别装置]
图像识别装置500是使用上述的投影仪300和照相机400进行触摸识别的装置。
如图5所示，这样的图像识别装置500具有图案显示部510、计测点判定部520以及位置检测部530。
图案显示部510驱动投影仪300而显示沿着核线el的第1图案800(图案显示步骤)。
这里，在对第1图案800进行说明之前，简单地说明核线el。核线el是根据投影仪300与照相机400的几何(相对)位置关系而确定的线。具体来说，如图6所示，将直线(基线)l2与投影仪300的假想图像平面π2之间的交点称为核点pe，将在假想图像平面π2内穿过核点pe的所有直线称为核线el，其中，该直线l2是将照相机400的照相机中心(镜头系统411的主点)c1与对扫描部320的调制光lb进行扫描时的角度变更中心(反射镜331的中心)c2连接而得的直线。
并且，如图6所示，如果指尖f1包含在照相机400的图像中，则照相机400的图像平面π1内的指尖f1的坐标(面内坐标)x被确定。将由穿过该坐标x和照相机中心c1的直线l1和直线l2限定的平面称为核平面σ。并且，在将与直线l3一致的核线el称为“核线el'”的情况下，指尖f1位于核线el'上的某处，该直线l3是核平面σ与假想图像平面π2交叉而形成的。
如图7所示，第1图案800是通过在核线el的宽度方向(与核线el交叉的方向)上排列多个与核线el平行延伸的图案而构成的。另外，在图7中图示了对照相机400所取得的图像进行立体平行化处理(核线水平化处理)而得的图像。因此，所有核线el为大致平行并且在水平方向(纸面横向)上延伸的状态。
具体来说，第1图案800具有在与核线el平行的方向上延伸的第1线状图案800a和第2线状图案800b，该第1图案800是通过使第1线状图案800a和第2线状图案800b在核线el的宽度方向(纸面纵向)上交替排列而构成的。
第1线状图案800a具有亮度按照第1周期(间距)t1发生变化的图案。具体来说，第1线状图案800a具有：第1区域810a，其具有规定的亮度；以及第2区域820a，其具有与第1区域810a不同的亮度，这些第1、第2区域810a、820a以相同的宽度t1交替配置。同样，第2线状图案800b具有亮度按照与第1周期t1不同的第2周期(间距)t2发生变化的图案。具体来说，第2线状图案800b具有：第1区域810b，其具有规定的亮度；以及第2区域820b，其具有与第1区域810b不同的亮度，这些第1、第2区域810b、820b以相同的宽度t2交替配置。另外，优选第1区域810a(810b)和第2区域820a(820b)的亮度被确定为使对比度尽可能较高。由此，能够提高图像识别的精度，能够进行更高精度的触摸识别。
这里，作为第2周期t2，没有特别地限定，但优选小于第1周期t1的2倍。当使第2周期t2为第1周期t1的2倍以上时，由于在第2线状图案800b的1个周期t2内包含两个周期以上的第1线状图案800a。因此，后述的指尖f1的深度分析的准确性可能因使用环境等而降低。另外，在本实施方式中，第2周期t2为第1周期t1的1.75倍。在后面对该理由进行说明。
以上，对第1图案800进行了说明，但作为第1图案800，只要能够用于触摸识别，则并不限定于此，例如，也可以具有亮度按照与第1周期t1和第2周期t2不同的周期发生变化的第3线状图案，第1、第2、第3线状图案构成为按顺序重复排列而配置。
计测点判定部520根据照相机400所取得的图像来检测位于照相机400与屏幕900之间的手指f，然后将手指f的指尖f1判定为计测对象点(计测点判定步骤)。
作为指尖f1的判定方法，例如，首先，利用照相机400取得照射了第1图案800的屏幕900的图像，将对该图像进行了立体平行化后的图像存储为第1图案基准图像。然后，能够根据同时呈现出第1图案800和指尖f1的立体平行化图像与第1图案基准图像之间的差分来提取手指f的轮廓，从所提取的手指f的轮廓形状中检测具有与指尖f1类似的轮廓形状的部分，将检测出的部分判定为指尖f1。
另外，作为指尖的判定方法，并不限定于此。例如，也可以使用hsv颜色系统从照相机400所取得的图像中提取类似肤色区域(具有手指f的颜色相似的颜色的区域)，然后，从所提取的类似肤色区域的轮廓形状中检测具有与指尖f1类似的轮廓形状的部分，将检测出的部分判定为指尖f1。
位置检测部530根据包含在照相机400所取得的图像中的第1图案800来检测指尖f1的深度(位置)，根据该检测结果来进行触摸识别(位置检测步骤)。
具体来说，首先，位置检测部530获得对照相机400所取得的图像进行了立体平行化后的图像(以下，也称为“立体平行化图像”)。在该立体平行化图像中，不论屏幕900的表面凹凸或指尖f1的形状等如何，核线el都是沿着水平方向(纸面横向)的直线。因此，各第1、第2线状图案800a、800b也是沿着水平方向的直线，能够容易且高精度地进行第1图案800的变化分析。
接着，位置检测部530根据立体平行化图像中的第1图案800来检测指尖f1的深度，并根据该检测结果来进行触摸识别。在图8所示的立体平行化图像p11中，第1、第2线状图案800a、800b不仅被投影在屏幕900上，还被投射在指尖f1上。并且，在立体平行化图像p11中，在屏幕900上的第1图案800与指尖f1上的第1图案800之间产生了基于指尖f1的深度的周期变动(图案偏移)。即，指尖f1上的第1、第2线状图案800a、800b具有与第1、第2周期t1、t2不同的周期t1’、t2’。
接着，位置检测部530进行呈现在屏幕900上的第1、第2线状图案800a、800b的深度分析，检测(推测)屏幕900的与指尖f1重叠的位置的深度，并且进行呈现在指尖f1上的第1、第2线状图案800a、800b的深度分析，检测指尖f1的深度。
然后，如果在第1线状图案800a的分析结果和第2线状图案800b的分析结果的至少一方中，指尖f1的深度与屏幕900的深度不一致，则位置检测部530判定为指尖f1不与屏幕900接触的“非接触状态”。另一方面，在第1线状图案800a的分析结果和第2线状图案800b的分析结果的双方中，指尖f1的深度与屏幕900的深度一致的情况下，位置检测部530进一步进行如下的判定。
例如，当对第1线状图案800a进行说明时，如图9所示，即使指尖f1从屏幕900离开，在其离开方式产生相当于第1线状图案800a的周期的整数倍的周期变动(图案偏移)的情况下，尽管是非接触状态，但也会得到指尖f1上的图案与指尖f1接触于屏幕900的接触状态相同的图像(以下，将该现象称为“相位缠绕(phasewrapping)”)。关于该点，第2线状图案800b也同样如此。
因此，在指尖f1的离开方式产生相当于第1线状图案800a的周期的整数倍的周期变动、并且产生相当于第2线状图案800b的周期的整数倍的周期变动的情况下，会产生相位缠绕。因此，需要区分是接触状态还是产生了相位缠绕的状态。另外，如前述那样，第2线状图案800b的周期(第2周期t2)是第1线状图案800a的周期(第1周期t1)的1.75倍。通过采用这样的关系，能够使两周期的最小公倍数变得比较大(即，第1周期t1的7倍、第2周期t2的4倍)，因此能够使产生相位缠绕的条件进一步降低。
作为区分是接触状态还是产生了相位缠绕的状态的方法，虽然没有特别地限定，但存在如下的方法。即，在接触状态的情况的立体平行化图像p11中，由于指尖f1与屏幕900接触，所以如图10所示，不会在屏幕900上产生指尖f1的阴影。另一方面，在产生了相位缠绕的情况的立体平行化图像p11中，由于指尖f1从屏幕900离开，所以如图11所示，在屏幕900上产生指尖f1的阴影sh。因此，如果在立体平行化图像p11中在屏幕900上没有产生指尖f1的阴影，则位置检测部530可以判定为“接触状态”，如果产生了阴影，则位置检测部530可以判定为产生了相位缠绕的“相位缠绕状态”。
另外，根据投影仪300或照相机400的配置、指尖f1的形状或大小(个人差异)等，即使是接触状态，有时也会在屏幕900上产生阴影sh。因此，也可以对阴影sh的宽度(大小)设置阈值，如果小于阈值，则判定为“接触状态”，如果为阈值以上，则判定为“相位缠绕状态”。
在判定结果为“接触状态”时，位置检测部530将该判定结果发送到未图示的控制部。接收到该判定结果的所述控制部对投影仪200发送例如使显示于屏幕900的图像放大或缩小的命令、切换图像的命令等根据指尖f1的接触位置而确定的画面操作命令。通过进行这样的控制，仅通过利用指尖f1来触摸屏幕900，便能够对显示于屏幕900的图像进行操作，因此成为便利性高的图像识别单元100。
如以上那样，基于图像识别装置500的触摸识别的过程(图像识别方法)是进行图案显示步骤、计测点判定步骤以及位置检测步骤，通过按照规定的周期反复进行该过程，能够反复进行触摸识别。
根据这样的图像识别装置500，能够减少计算负担，并且能够进行精度高的触摸识别。并且，核线el是根据投影仪300与照相机400的几何位置求出的线，而与屏幕900的三维位置或表面形状无关。因此，一旦设定了投影仪300与照相机400的几何位置，则能够不受屏幕900的位置或形状影响地进行触摸识别。特别是如前述那样，通过使用第1图案800，减少了相位缠绕的产生，因此能够进行高精度的触摸识别。相反地，也可以说相位缠绕的产生被抑制，相应地能够缩短第1线状图案800a和第2线状图案800b的周期，并且相应地能够进行更高精度的触摸识别。
以上，对第1实施方式进行了说明。另外，在上述的结构中，第1图案800由可见光生成，但第1图案800也可以由nir光(具有800nm～2500nm左右的波长的近红外线)生成。由于人类看不到nir光，所以不会使来自投影仪200的图像劣化，该投影仪200在屏幕900上显示第1图案800。并且，在该情况下，例如，将第1区域810a、810b设为nir光照射区域，将第2区域820a、820b设为nir光非照射区域，从而能够生成第1图案800。
<第2实施方式>
接着，对本发明第2实施方式的图像识别单元进行说明。
图12是示出在本发明第2实施方式的图像识别单元中使用的检测用图像的图。图13和图14是对触摸识别的方法进行说明的图。另外，在图13和图14中，为了方便说明，分别省略了第1图案800的图示。
以下，对本发明第2实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第2实施方式的图像识别单元除了检测用图像的结构不同以外，与前述第1实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
在本实施方式中，如图12所示，作为检测用图像，同时照射第1图案800和地址图案ad。地址图案ad被分割成沿着与核线el平行的方向具有第3周期(间距)t3的多个区域，对各区域赋予地址(用于确定位置的信息)。作为赋予地址的方法，并没有特别地限定，例如，可列举配置用于对各区域确定地址的识别图案的方法。
具体来说，地址图案ad由具有第3周期的图案构成，该第3周期为第1线状图案800a的周期的7倍(第2线状图案800b的周期的4倍)，其显示在第1图案800的上侧和下侧。并且，对地址图案ad的各周期赋予地址，由此，能够确定各周期的位置。并且，1个地址被设定为比指尖f1的宽度稍大。
但是，作为地址图案ad的结构，只要能够发挥与上述同样的效果，则没有特别地限定。例如，地址图案ad也可以显示在第1图案800的上侧和下侧的至少一方。
并且，作为检测用图像，除了第1图案800之外，投影仪300照射图13所示的第2图案700。第2图案700是在穿过指尖f1的核线el'上延伸的线状的图案。并且，在除了指尖f1所位于的地址[n+2]以外、并且包含地址[n+2]的两侧相邻的地址[n+1]、[n+3]的范围内照射该第2图案700。另外，第2图案700可以由可见光生成，也可以由nir光生成。并且，第2图案700可以与第1图案800和地址图案ad同时显示，也可以与第1图案800和地址图案ad交替(以分时方式)显示。
通过使用这样的第2图案700，能够高精度地区分是指尖f1处于接触状态还是产生了相位缠绕的状态。具体来说，在接触状态的情况下，第2图案700不会被照射在指尖f1上。因此，如图13所示，此时的立体平行化图像p21在地址[n+2]以外是维持着第2图案700的连续性的状态。并且，由于第2图案700不会被照射在指尖f1上，所以在指尖f1上不会有第2图案700与第1图案800重叠，能够将指尖f1上的第1图案800识别为图像。另一方面，在产生了相位缠绕的情况下，第2图案700被照射在指尖f1上，在第2图案700的某处出现被指尖f1遮盖而成为阴影的部分。因此，如图14所示，在第2图案700中出现阴影部分710，此时的立体平行化图像p21为不连续的状态。并且，由于第2图案700被照射在指尖f1上，所以第2图案700与第1图案800在指尖f1上重叠，不容易将指尖f1上的第1图案800识别为图像。
根据这样的图像的差异，能够高精度地区分是接触状态还是产生了相位缠绕的状态。因此，能够进行更高精度的触摸识别。
通过以上那样的第2实施方式，也能够发挥与上述第1实施方式同样的效果。
<第3实施方式>
接着，对本发明第3实施方式的图像识别单元进行说明。
图15是在本发明第3实施方式的图像识别单元中使用的投影仪的结构图。图16到图18是分别对触摸识别的方法进行说明的图。另外，在图16到图18中，为了方便说明，分别省略了第1图案800的图示。
以下，对本发明第3实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第3实施方式的图像识别单元除了投影仪(检测用图像显示装置)的结构不同以外，与前述第1实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
本实施方式的投影仪300与投影仪200(参照图2)大致相同，如图15所示，具有液晶显示元件381r、381g、381b、分色棱镜382以及投射透镜系统383。与投影仪200的不同之处是nir光与红色光r一起入射到液晶显示元件381r。由于与绿色光g和蓝色光b相比，红色光r与nir光的波长之差较小，所以能够比较简单地实现同一光学系统。根据这样的结构的投影仪300，例如，利用可见光生成第1图案800，利用nir光生成第2图案700，从而能够同时照射第1图案800和第2图案700。
这里，当使用上述的投影仪300以nir光照射第2图案700时，第2图案700被识别为红色(由于红色光r也与nir光一起被调制)。因此，屏幕900上的图像有可能被第2图案700损坏。因此，为了不损坏屏幕900上的图像，在本实施方式中，如图16所示，对第2图案700赋予设计性，使第2图案700为看起来像指针的圆环状(环状)。并且，第2图案700跨越地址图案ad的3个周期(具体来说，指尖f1所位于的地址[n+2]及其两侧相邻的地址[n+1]和[n+3])地显示。并且，第2图案700的内部空间701被定位成跨越指尖f1所位于的地址[n+2]。
通过使用这样的第2图案700，也能够高精度地区分是指尖f1处于接触状态还是产生了相位缠绕的状态。例如，如图16所示，接触状态的情况下的立体平行化图像p31为如下状态：第2图案700也被照射在手指f上，第2图案700显示为整个圆周。另一方面，在产生了1个周期的相位缠绕的情况下，第2图案700被照射在手指f上，在第2图案700中出现被手指f遮盖而成为阴影的部分。因此，如图17所示，此时的立体平行化图像p31是第2图案700的一部分呈现有阴影的状态。并且，在产生了两个周期以上的相位缠绕的情况下，第2图案700被照射在手指f的反面侧(屏幕900侧)。因此，如图18所示，此时的立体平行化图像p31是第2图案700的一部分被手指f遮盖而呈现的状态。
根据这样的图像的差异，能够高精度地区分是接触状态还是产生了相位缠绕的状态。因此，能够进行更高精度的触摸识别。并且，在本实施方式中，由于第2图案700被识别为红色，所以第2图案700不会变得非常明亮，能够与周围形成高对比度。因此，能够进行更高精度的触摸识别。另外，为了更高精度地检测产生了两个周期以上的相位缠绕的情况，优选使第1图案800按照规定的周期闪烁等，使得在取得图像时不显示第1图案800。
通过以上那样的第3实施方式，也能够发挥与上述第1实施方式同样的效果。
<第4实施方式>
接着，对本发明第4实施方式的图像识别单元进行说明。
图19是示出在本发明第4实施方式的图像识别单元中使用的检测用图像的图。图20和图21是分别对触摸识别的方法进行说明的图。另外，在图20和图21中，为了方便说明，分别省略了第1图案800的图示。
以下，对本发明第4实施方式的图像识别单元进行说明，但以与前述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。
第4实施方式的图像识别单元除了检测用图像的结构不同以外，与前述第2实施方式相同。另外，对与前述实施方式同样的结构赋予相同的标号。
在本实施方式中，如图19所示的立体平行化图像p41那样，作为检测用图像，除了第1图案800之外，还照射第2图案700。第2图案700具有沿着与核线el平行的方向的直线状的线状图案790，该线状图案790在纵向(与核线el交叉的方向)上分开而显示有多条(在本实施方式中为3条)。并且，在相邻的地址中，各线状图案790沿纵向错开(即，在每个区域中，线状图案790不连续)。另外，第2图案700可以由可见光生成，也可以由nir光生成。
通过使用这样的第2图案700，也能够高精度地区分是指尖f1处于接触状态还是产生了相位缠绕的状态。例如，在接触状态的情况的立体平行化图像p41中，如图20所示，线状图案790在指尖f1与屏幕900的边界部a处具有连续性。另一方面，在产生了相位缠绕的情况的立体平行化图像p41中，如图21所示，线状图案790在边界部a处不连续。
根据这样的图像的差异，能够高精度地区分是接触状态还是产生了相位缠绕的状态。因此，能够进行更高精度的触摸识别。
另外，为了更高精度地检测产生了两个周期以上的相位缠绕的情况，例如，优选使第1图案800按照规定的周期闪烁等，使得在取得第2图案700的图像时不显示第1图案800。
通过以上那样的第4实施方式，也能够发挥与上述第1实施方式同样的效果。
以上，根据图示的实施方式对本发明的图像识别装置、图像识别方法以及图像识别单元进行了说明，但本发明并不限定于此。例如，在本发明的图像显示装置中，能够将各部分的结构置换成具有同样功能的任意结构，并且，还能够添加其他的任意结构。并且，也可以对前述的各实施方式进行适当组合。
标号说明
100：图像识别单元；200：投影仪；240b、240g、240r：液晶显示元件；250：分色棱镜；260：投射透镜系统；300：投影仪；310：光源；311b、311g、311r：光源；312b、312g、312r：准直透镜；313：光合成部；313a、313b、313c：分色镜；314：聚光透镜；320：扫描部；330：可动部；331：反射镜；341、342：轴部；350：驱动框部；361、362：轴部；370：支承部；381b、381g、381r：液晶显示元件；382：分色棱镜；383：投射透镜系统；400：照相机；410：受光单元；411：镜头系统；412：摄像元件；500：图像识别装置；510：图案显示部；520：计测点判定部；530：位置检测部；700：第2图案；701：内部空间；710：阴影部分；790：线状图案；800：第1图案；800a：第1线状图案；800b：第2线状图案；810a、810b：第1区域；820a、820b：第2区域；900：屏幕；a：边界部；ad：地址图案；b：蓝色光；c1：照相机中心；c2：角度变更中心；el、el'：核线；f：手指；f1：指尖；g：绿色光；j1、j2：轴；l1、l2、l3：直线；la：影像光；lb：调制光；p11、p21、p31、p41：立体平行化图像；pe：核点；r：红色光；sh：阴影；x：坐标；σ：核平面；π1：图像平面；π2：假想图像平面。