交互式投影机及交互式投影系统的制作方法
【专利摘要】本发明涉及交互式投影机及交互式投影系统。未必容易使指示体与投影画面的对比度充分大，根据检测光的照明的方法，得不到充分的对比度。交互式投影机具备：投影部、第1及第2检测光照射部、拍摄部和基于由拍摄部拍摄的包括指示体的图像来检测指示体相对于投影画面的位置的位置检测部。第1及第2检测光照射部配置为，(i)仅从第1检测光照射部照射检测光时的第1图像中的指示体与投影画面的第1对比度与(ii)仅从第2检测光照射部照射检测光时的第2图像中的指示体与投影画面的第2对比度中的至少一方比预先设定的阈值大。
【专利说明】
交互式投影机及交互式投影系统
技术领域
[0001]本发明涉及能够接受用户通过指示体对投影画面的指示的交互式投影机及其系统。【背景技术】
[0002]在专利文献1中公开了如下的投影型显示装置(投影机):可以将投影画面投影于屏幕，并且利用照相机对包括手指等对象物(object)的图像进行拍摄，利用该拍摄图像来检测对象物的位置。手指等对象物被用作:用于对投影画面进行指示的指示体。即，投影机在对象物的顶端接触屏幕时识别为对投影画面输入描绘等预定的指示的物体，并根据该指示重新描绘投影画面。因此，用户可以将投影画面用作用户界面，输入各种指示。这样，将能够利用屏幕上的投影画面作为可输入用户界面的类型的投影机称为“交互式投影机”。另夕卜，将用于对投影画面进行指示的对象物称为“指示体(pointing element)”。
[0003]专利文献1:日本特开2012-150636号公报
【发明内容】
[0004]在交互式投影机中，为了对指示体的位置进行检测，将红外光等检测光照射至指示体，并利用照相机拍摄在反射体反射后的检测光。在从拍摄到的图像检测指示体的位置时，利用指示体与投影画面的对比度之差判定指示体位于图像内的何处。因此，在利用照相机拍摄的图像中，期望指示体与投影图像的对比度之差充分地大。
[0005]但是，本申请的发明人发现:未必容易使指示体与投影画面的对比度充分地大，根据检测光的照明的方法不同，存在得不到充分的对比度的情况。
[0006]本发明用于解决上述问题的至少一部分而提出，可以作为以下的方式或应用例而实现。[〇〇〇7] (1)根据本发明的一个方式，提供可以接受用户通过指示体对投影画面的指示的交互式投影机。该交互式投影机具备:投影部，其将所述投影画面投影在屏幕面上;第1检测光照射部和第2检测光照射部，其朝向所述投影画面的区域照射用于所述指示体的检测的检测光；拍摄部，其接收包括所述检测光的波长的波长范围的光而拍摄所述投影画面的区域；以及位置检测部，其基于由所述拍摄部拍摄到的包括所述指示体的图像来检测所述指示体相对于所述投影画面的位置。所述第1检测光照射部和所述第2检测光照射部被配置为，在所述指示体的顶端与所述投影画面的区域内的任意的位置接触的状态下，(i)和(ii) 中的至少一方比为了从所述投影画面识别所述指示体而预先设定的阈值大，其中，(i)为在仅从所述第1检测光照射部照射所述检测光的情况下由所述拍摄部拍摄的第1图像中的所述指示体与所述投影画面的区域之间的第1对比度，(ii)为在仅从所述第2检测光照射部照射所述检测光的情况下由所述拍摄部拍摄的第2图像中的所述指示体与所述投影画面的区域之间的第2对比度。
[0008]根据所述交互式投影机，由于在投影画面的任意的位置处，第1对比度与第2对比度中的至少一方比预先设定的阈值大，所以在投影画面内的任意的位置处，都能够确定指示体相对于投影画面的位置。
[0009] (2)在上述交互式投影机中，也可以设定为:所述第1检测光照射部和所述第2检测光照射部在所述指示体的顶端与所述投影画面内的至少一部分区域接触的状态下，所述第 1对比度的正负与所述第2对比度的正负反转，所述第1检测光照射部和所述第2检测光照射部以分时的方式朝向所述投影画面照射所述检测光。
[0010]根据该构成，即使存在由第1检测光照射部和第2检测光照射部得到的对比度的正负反转的区域，由于两者以分时的方式进行照射，所以能够确定指示体相对于投影画面的位置。
[0011] (3)在上述交互式投影机中，所述第1检测光照射部和所述第2检测光照射部也可以隔着包含所述投影画面的中心处的所述投影画面的法线的假想的平面彼此配置于相反侧。
[0012]根据该构成，在投影画面的中心附近，由检测光形成的指示体的阴影在第1检测光照射部和第2检测光照射部成为相反朝向，但是，由于第1对比度和第2对比度双方比预先设定的阈值大，因此，能够确定指示体相对于投影画面的位置。
[0013] (4)上述交互式投影机还可以具备第3检测光照射部，其配置于与所述第1检测光照射部和所述第2检测光照射部相比更靠近所述假想的平面的位置，向所述投影画面的区域照射检测光。
[0014]根据该构成，可以使指示体与投影画面的对比度更大。
[0015]本发明可以以各种方式实现，例如，能够以包括屏幕及自发光指示体中的一方或双方和交互式投影机的系统、交互式投影机的控制方法或控制装置、用于实现这些方法或装置的功能的计算机程序、记录有该计算机程序的非暂时性的存储介质(non-transitory storage medium)等各种方式来实现。【附图说明】[〇〇16]图1是交互式投影系统的立体图。
[0017]图2是交互式投影系统的侧视图及主视图。
[0018]图3是表示投影机与自发光指示体的内部构成的框图。[〇〇19]图4是表示利用自发光指示体与非发光指示体的操作的情形的说明图。[〇〇2〇]图5是表示检测光相对于投影图像及非发光指示体的入射角的说明图。
[0021]图6是比较地示出在2个检测光照射部得到的对比度的图。
[0022]图7是第2实施方式中的交互式投影系统的侧视图及主视图。
[0023]图8是第3实施方式中的交互式投影系统的侧视图及主视图。[〇〇24]符号的说明[〇〇25] 70…自发光指示体;71…顶端部；72…轴部；73…按钮开关;74…信号光接收部； 75…控制部;76…顶端开关;77…顶端发光部;80…非发光指不体;81…顶端部；100…交互式投影机;200…投影部；210…投影透镜；220…光调制部;230…光源;300…拍摄部；310 — 第1照相机;320…第2照相机;410、411?413…检测光照射部;430…信号光发送部;500…投影图像生成部；510…投影图像存储器;600…位置检测部;700…控制部;900…交互式投影系统;910…支撑构件;920…屏幕板【具体实施方式】 [〇〇26] A.系统的概要[〇〇27]图1是本发明的一个实施方式中的交互式投影系统900的立体图。该系统900具有交互式投影机100、屏幕板920以及自发光指示体70。屏幕板920的正面用作投影屏幕面SS (Project1n Screen Surface)。投影机100通过支撑构件910固定于屏幕板920的前上方。 此外，虽然在图1中铅垂地配置投影屏幕面SS，但是也可以水平地配置投影屏幕面SS而使用该系统900。[〇〇28] 投影机100将投影画面PS(Pr〇jeCted Screen)投影在投影屏幕面SS上。投影画面 PS通常包括在投影机100内描绘的图像。在投影机100内描绘的图像不存在的情况下，光从投影机100照射至投影画面PS，而显示白色图像。在本说明书中，“投影屏幕面SS”(或“屏幕面SS”)是指图像被投影的构件的表面。另外，“投影画面PS”是指通过投影机100投影在投影屏幕面SS上的图像的区域。通常，投影画面PS投影于投影屏幕面SS的一部分。
[0029]自发光指示体70为具有可发光的顶端部71、使用者所保持的轴部72和设置于轴部 72的按钮开关73的笔型的指示体。关于自发光指示体70的构成和/或功能，在下文中说明。 在该系统900中，可以与1个或多个自发光指示体70—并利用1个或多个非发光指示体80(不发光的笔和/或手指等)。
[0030]图2的(A)为交互式投影系统900的侧视图，图2的(B)为其主视图。在本说明书中， 将沿着屏幕面SS的左右的方向定义为X方向，将沿着屏幕面SS的上下的方向定义为Y方向， 将沿着屏幕面SS的法线的方向定义为Z方向。此外，为了方便，也将X方向称为“左右方向”， 将Y方向称为“上下方向”，将Z方向称为“前后方向”。另外，将Y方向(上下方向)中的、从投影机100观察的投影画面PS所在的方向称为“下方向”。此外，在图2的(A)中，为了图示的方便， 在屏幕板920中的投影画面PS的范围标注阴影线。
[0031]投影机100具有:将投影画面PS投影在屏幕面SS上的投影透镜210、对投影画面PS 的区域进行拍摄的第1照相机310及第2照相机320和用于向指示体(自发光指示体70及非发光指示体80)照明检测光的2个检测光照射部411、412。作为检测光，例如使用近红外光。2个照相机310、320至少具有接收包括检测光的波长的波长范围的光而进行拍摄的第1拍摄功能。优选构成为:2个照相机310、320中的至少一方还具有接收包括可见光的光而进行拍摄的第2拍摄功能，并可以切换这2个拍摄功能。例如，优选地，2个照相机310、320各自具备:可以将遮挡可见光而仅使近红外光通过的近红外滤波器配置于透镜前或从透镜前退后的近红外滤波器切换机构(未图示)。
[0032]图2的(B)的例子表示交互式投影系统900在白板模式下工作的情形。白板模式为用户能够使用自发光指示体70和/或非发光指示体80在投影画面PS上任意地描绘的模式。 在屏幕面SS上，投影包括工具箱TB的投影画面PS。该工具箱TB包括:使处理复原的取消按钮 UDB、选择鼠标指针的指针按钮PTB、选择描绘用的笔工具的笔按钮PEB、选择消除所描绘的图像的擦除工具的擦除按钮ERB和使画面或向前进或向后退的前进/后退按钮FRB。用户通过使用指示体点击这些按钮，可以进行相应于该按钮的处理、或选择工具。此外，也可以在系统900刚启动后，选择鼠标指针作为默认工具。在图2的(B)的例子中，描绘如下情形:用户选择了笔工具后，在使自发光指示体70的顶端部71接触屏幕面SS的状态下在投影画面PS内移动，据此在投影画面PS内描绘线。该线的描绘通过投影机100的内部的投影图像生成部 (下述)而进行。[〇〇33]此外，交互式投影系统900也可以在白板模式以外的其他模式下工作。例如，该系统900也可以在将从个人计算机(未图示)经由通信线路传送来的数据的图像显示于投影画面PS的PC交互模式下工作。在PC交互模式中，显示例如表计算软件等的数据的图像，可以利用显示于该图像内的各种工具和/或图标进行数据的输入、生成、修正等。[〇〇34]图3是表示交互式投影机100与自发光指示体70的内部构成的框图。投影机100具有:控制部700、投影部200、投影图像生成部500、位置检测部600、拍摄部300、检测光照射部 410和信号光发送部430。检测光照射部410包括:第1检测光照射部411和第2检测光照射部 412〇[〇〇35]控制部700进行投影机100内部的各部分的控制。另外，控制部700对由位置检测部 600所检测到的指示体(自发光指示体70和/或非发光指示体80)在投影画面PS上进行的指示的内容进行判定，并且命令投影图像生成部500根据该指示的内容生成或变更投影图像。 [〇〇36]投影图像生成部500具有存储投影图像的投影图像存储器510,具有生成由投影部 200投影在屏幕面SS上的投影图像的功能。优选地，投影图像生成部500还具有作为对投影画面PS(图2的(B))的梯形失真进行校正的梯形失真校正部的功能。[〇〇37]投影部200具有将由投影图像生成部500生成的投影图像投影在屏幕面SS上的功能。投影部200除了图2所说明的投影透镜210之外，还具有光调制部220和光源230。光调制部220对应于由投影图像存储器510给与的投影图像数据对来自光源230的光进行调制，据此形成投影图像光ML。该投影图像光頂L典型性地为包括RGB 3色的可见光的彩色图像光， 通过投影透镜210投影在屏幕面SS上。此外，作为光源230,除了超高压水银灯等光源灯之夕卜，还可以采用发光二极管和/或激光二极管等各种光源。另外，作为光调制部220,可以采用透射型或反射型的液晶面板和/或数字镜器件等，也可以为按色光区分而具备多个光调制部220的构成。[〇〇38]2个检测光照射部411、412将用于对指示体(自发光指示体70以及非发光指示体80)的顶端部进行检测的照射检测光IDL分别照射至屏幕面SS及其前方的空间。作为照射检测光IDL，例如使用近红外光。检测光照射部411、412仅在包括照相机310、320的拍摄定时的预定的期间点亮，在其他的期间熄灭。或者，检测光照射部411、412也可以在系统900的工作中始终维持为点亮状态。[〇〇39]信号光发送部430具有发送通过自发光指示体70接收的装置信号光ASL的功能。装置信号光ASL为同步用的近红外光信号，从投影机100的信号光发送部430相对于自发光指示体70定期地发出。自发光指示体70的顶端发光部77与装置信号光ASL同步地发出作为具有预先规定的发光模式(发光次序)的近红外光的指示体信号光PSL(下述)。另外，拍摄部 300的照相机310、320在进行指示体(自发光指示体70及非发光指示体80)的位置检测时，以与装置信号光ASL同步的预定的定时执行拍摄。
[0040]拍摄部300具有图2所说明的第1照相机310与第2照相机320。如上所述，2个照相机 310、320具有接收包括检测光的波长的波长范围的光而进行拍摄的功能。在图3的例子中， 描述如下情形:由检测光照射部411照射的照射检测光IDL在指示体(自发光指示体70及非发光指示体80)反射，该反射检测光RDL由2个照相机310、320受光而拍摄。2个照相机310、 320还接收作为从自发光指示体70的顶端发光部77发出的近红外光的指示体信号光PSL而进行拍摄。2个照相机310、320的拍摄在作为从检测光照射部410发出的照射检测光IDL为导通状态(发光状态)的第1期间与作为照射检测光IDL为截止状态(不发光状态)的第2期间双方被执行。位置检测部600通过对这2种类型的期间中的图像进行比较，而可以判定图像内所包含的各个指示体是自发光指示体70与非发光指示体80的哪一个。
[0041]此外，优选地，2个照相机310、320的至少一方除了具有利用包括近红外光的光进行拍摄的功能之外，还具有利用包括可见光的光进行拍摄的功能。这样，可以利用该照相机对投影在屏幕面SS上的投影画面PS进行拍摄，并利用该图像由投影图像生成部500执行梯形失真校正。因为利用1个以上的照相机的梯形失真校正的方法是众所周知的，所以在此省略其说明。[〇〇42]位置检测部600具有使用由2个照相机310、320拍摄到的图像、并利用三角测量确定指示体(自发光指示体70和/或非发光指示体80)的顶端部的三维位置的功能。此时，位置检测部600利用自发光指示体70的发光模式，也对于图像内的各个指示体是自发光指示体 70与非发光指示体80的哪一个进行判定。[〇〇43]在自发光指示体70,除了按钮开关73之外，还设置有信号光接收部74、控制部75、 顶端开关76和顶端发光部77。信号光接收部74具有接收从投影机100的信号光发送部430发出的装置信号光ASL的功能。顶端开关76为若按压自发光指示体70的顶端部71则成为导通状态、若释放顶端部71则成为截止状态的开关。顶端开关76通常处于截止状态，若自发光指示体70的顶端部71与屏幕面SS接触则由于该接触压力而成为导通状态。在顶端开关76为截止状态时，控制部75以表示顶端开关76为截止状态的特定的第1发光模式使顶端发光部77 发光，据此发出具有第1发光模式的指示体信号光PSL。另一方面，若顶端开关76成为导通状态，则控制部75以表示顶端开关76为导通状态的特定的第2发光模式使顶端发光部77发光， 据此发出具有第2发光模式的指示体信号光PSL。因为这些第1发光模式与第2发光模式互不相同，所以位置检测部600,通过对由2个照相机310、320拍摄的图像进行分析，可以对顶端开关76为导通状态还是为截止状态进行识别。
[0044]如上所述，在实施方式中，根据顶端开关76的导通/截止来进行自发光指示体70的顶端部71是否接触屏幕面SS的接触判定。可是，由于自发光指示体70的顶端部71的三维位置能够通过使用了由2个照相机310、320拍摄的图像的三角测量而求出，因此，也可以利用该三维位置来执行自发光指示体70的顶端部71的接触判定。但是，存在基于三角测量的Z坐标(屏幕面SS的法线方向的坐标)的检测精度未必高的情况。因此，在如果对应于顶端开关 76的导通/截止来进行接触判定，则能够更高精度地执行接触判定的点上是优选的。[〇〇45]自发光指示体70的按钮开关73具有与顶端开关76相同的功能。因此，控制部75在由用户按压按钮开关73的状态下使顶端发光部77以上述第2发光模式发光，在未按压按钮开关73的状态下使顶端发光部77以上述第1发光模式发光。换言之，控制部75在顶端开关76 与按钮开关73的至少一方为导通的状态下使顶端发光部77以上述第2发光模式发光，在顶端开关76与按钮开关73的双方都为截止的状态下使顶端发光部77以上述第1发光模式发光。
[0046]但是，也可以对于按钮开关73分配与顶端开关76不同的功能。例如，在对于按钮开关73分配与鼠标的右击按钮相同的功能的情况下，若用户按压按钮开关73,则右击的指示转达给投影机100的控制部700,执行对应于该指示的处理。这样，在对于按钮开关73分配了与顶端开关76不同的功能的情况下，顶端发光部77根据顶端开关76的导通/截止状态及按钮开关73的导通/截止状态，以互不相同的4种发光模式发光。在该情况下，自发光指示体70 可以一边区分顶端开关76与按钮开关73的导通/截止状态的4种组合，一边传达给投影机 100〇[〇〇47]图4是表示利用自发光指示体70与非发光指示体80的操作的情形的说明图。在该例中，自发光指示体70的顶端部71与非发光指示体80的顶端部81均离开屏幕面SS。自发光指示体70的顶端部71的XY坐标(XYhYvi)位于工具箱TB的擦除按钮ERB之上。另外，在此，作为表示自发光指示体70的顶端部71的功能的工具，选择鼠标指针PT，鼠标指针PT在投影画面PS上描绘，以使得鼠标指针PT的顶端OPn存在于擦除按钮ERB之上。如上所述，自发光指示体70的顶端部71的三维位置由利用了以2个照相机310、320拍摄的图像的三角测量确定。因此，在投影画面PS上，描绘鼠标指针PT，以使得位于鼠标指针PT的顶端的操作点OPn配置于由三角测量确定的顶端部71的三维坐标(X71，Y71，Z71)中的XY坐标(X71，Y71)的位置。即，鼠标指针PT的顶端0P71配置于自发光指示体70的顶端部71的三维坐标(X71，Y71，Z7i)中的XY坐标 (X71，Y71)，在该位置处执行用户的指示。例如，用户通过在该状态下按压自发光指示体70的按钮开关73,可以选择擦除工具。这样，在本实施方式中，在自发光指示体70处于离开了屏幕面SS的状态下，通过按压按钮开关73,也可以将与配置于顶端部71的XY坐标(Xn，Yn)的操作点〇Pn处的投影画面PS的内容对应的指示赋予给投影机100。[〇〇48]在图4的(B)中，另外，作为表示非发光指示体80的顶端部81的功能的工具，选择笔工具PE，笔工具PE在投影画面PS描绘。如上所述，非发光指示体80的顶端部81的三维位置也由利用了以2个照相机310、320拍摄的图像的三角测量确定。因此，在投影画面PS上，描绘笔工具PE，以使得位于笔工具PE的顶端的操作点0P81配置于由三角测量确定的顶端部81的三维坐标(X81，Y81，Z81)中的XY坐标(X81，Y81)的位置。但是，在用户利用非发光指示体80将指示赋予给投影机100时，在使非发光指示体80的顶端部81与投影画面PS上接触的状态下执行该指示(描绘和/或工具的选择等)。[〇〇49]在图4的例子中，在指示体(自发光指示体70和/或非发光指示体80)的顶端部离开投影画面PS的情况下，由各个指示体选择的工具(鼠标指针PT和/或笔工具PE)也在投影画面PS上描绘而显示。因此，存在如下优点:即使在用户不使指示体的顶端部接触于投影画面 PS的情况下，也容易理解通过该指示体选择了哪种工具，容易操作。另外，因为该工具描绘成工具的操作点0P配置于指示体的顶端部的三维坐标中的XY坐标的位置，所以具有用户能够适当地识别正在使用的工具的位置的优点。
[0050]此外，该交互式投影系统900也可以构成为，可以同时利用多个自发光指示体70。 在该情况下，优选地，上述的指示体信号光PSL的发光模式为能够对多个自发光指示体70进行识别的固有的发光模式。更具体而言，优选地，在可以同时利用N个(N为2以上的整数)自发光指示体70的情况下，指示体信号光PSL的发光模式能够对N个自发光指示体70进行区分。此外，在1组发光模式包括多次单位发光期间的情况下，在1次单位发光期间中，能够表达发光与不发光2个值。在此，1次单位发光期间相当于自发光指示体70的顶端发光部77表达导通/截止的1比特信息的期间。在1组发光模式以M个(M为2以上的整数)单位发光期间构成的情况下，能够通过1组发光模式对2?个状态进行区分。因此，优选地，构成1组发光模式的单位发光期间的个数M被设定成满足下式。
[0051] NXQ<2m---(1)[〇〇52]在此，Q为利用自发光指示体70的开关73、76区分的状态的个数，在本实施方式的例中，Q = 2或Q = 4。例如，优选地，在Q = 4的情况下，在N= 2时将M设定为3以上的整数，在N = 3?4时将M设定为4以上的整数。此时，在位置检测部600(或控制部700)对N个自发光指示体 70及各自发光指示体70的开关73、76的状态进行识别时，在1组发光模式的M个单位发光期间中使用由各照相机310、320分别拍摄的M幅图像来执行该识别。此外，该M比特的发光模式为在将照射检测光IDL维持为截至的状态下将指示体信号光PSL设定为导通或截止的模式， 非发光指示体80不在由照相机310、320拍摄的图像上描绘。于是，优选地，为了拍摄用于检测非发光指示体80的位置的图像，进一步追加使照射检测光IDL为导通状态的1比特的单位发光期间。但是，在位置检测用的单位发光期间中，指示体信号光PSL为导通/截止的任意均可。在该位置检测用的单位发光期间得到的图像也可以用于自发光指示体70的位置检测。 [〇〇53]将图3描述的5种类型的信号光的具体例总结以下。[〇〇54](1)投影图像光ML:用于将投影画面PS投影于屏幕面SS，为通过投影透镜210投影在屏幕面SS上的图像光(可见光)。
[0055](2)照射检测光IDL:用于对指示体(自发光指示体70及非发光指示体80)的顶端部进行检测，为通过检测光照射部410(411、412)照射于屏幕面SS及其前方的空间的近红外光。[〇〇56](3)反射检测光RDL:作为照射检测光IDL照射的近红外光中的、被指示体(自发光指示体70及非发光指示体80)反射且由2个照相机310、320受光的近红外光。[〇〇57](4)装置信号光ASL:用于取得投影机100与自发光指示体70的同步，为从投影机100的信号光发送部430定期地发出的近红外光。[〇〇58](5)指示体信号光PSL:为在与装置信号光ASL同步的定时，从自发光指示体70的顶端部77发出的近红外光。指示体信号光PSL的发光模式可根据自发光指示体70的开关73、76 的导通/截止状态而变更。另外，具有对多个自发光指示体70进行识别的固有的发光模式。 [〇〇59]在本实施方式中，自发光指示体70与非发光指示体80的顶端部的位置检测及通过自发光指示体70与非发光指示体80指示的内容的判别分别按如下方式执行。
[0060]〈自发光指示体70的位置检测方法及指示内容的判别方法的概要〉[〇〇611自发光指示体70的顶端部71的三维位置(X7i，Y7i，Z7i)由位置检测部600利用由2个照相机310、320拍摄到的图像按照三角测量而确定。此时，是否为自发光指示体70可以通过判断顶端发光部77的发光模式是否在预定的多个定时所拍摄到的图像上显现来识别。另夕卜，关于自发光指示体70的顶端部71是否接触于屏幕面SS(即顶端开关76是否为导通)，也可以利用在上述多个定时拍摄的图像中的顶端发光部77的发光模式来进行判别。位置检测部600可以进一步根据自发光指示体70的开关73、76的导通/截止状态及顶端部71的XY坐标 (Xn，Yn)处的投影屏幕面SS的内容，对该指示内容进行判别。例如，如图4的⑶所例示那样，在顶端部71的XY坐标(Xn，Yn)的位置位于工具箱TB内的任意按钮上的状态下顶端开关 76成为导通的情况下，选择该按钮工具。另外，如图2的(B)所例示那样，如果顶端部71的XY 坐标(Xn，Yn)位于投影画面PS内的工具箱TB以外的位置，则基于所选择的工具的处理(例如描绘)被选择。控制部700利用自发光指示体70的顶端部71的XY坐标(X71，Y71)，使投影图像生成部500描绘预先选择的指针和/或标记，以使得该指针和/或标记配置于投影画面PS 内的位置(Xn，Yn)。另外，控制部700执行根据由自发光指示体70指示的内容的处理，使投影图像生成部500描绘包括该处理结果的图像。[〇〇62]〈非发光指示体80的位置检测方法及指示内容的判别方法的概要〉[〇〇63]非发光指示体80的顶端部81的三维位置(X81，Y81，Z81)也利用由2个照相机310、320 拍摄的图像，根据三角测量而确定。此时，是否为非发光指示体80可以通过判断自发光指示体70的发光模式是否在预定的多个定时所拍摄的图像上显现来识别。此外，由2个照相机 310、320拍摄的2幅图像中的非发光指示体80的顶端部81的位置能够利用模板匹配和/或特征提取等公知的技术来确定。例如，在通过模板匹配来识别作为手指的非发光指示体80的顶端部81的情况下，可以预先准备与手指相关的多个模板，在由2个照相机310、320拍摄到的图像中，通过对符合这些模板的部分进行检索，可以对手指的顶端部81进行识别。另外， 非发光指示体80的顶端部81是否接触于屏幕面SS可以根据由三角测量确定的顶端部81的Z 坐标值与屏幕面SS的表面的Z坐标值之差是否为微小的容许差以下、即顶端部81是否充分地接近于屏幕SS的表面来确定。优选地，作为该容许差，例如使用2mm?6_程度的小的值。 另外，位置检测部600,在判定为非发光指示体80的顶端部81与屏幕面SS接触的情况下，根据该接触位置处的投影屏幕SS的内容对其指示内容进行判别。控制部700利用由位置检测部600检测到的非发光指示体80的顶端的XY坐标(X81，Y81)，使投影图像生成部500描绘预先选择的指针和/或标记，以使得该指针和/或标记配置于投影画面PS内的位置(X81，Y81)。另夕卜，控制部700执行根据由非发光指示体80指示的内容的处理，使投影图像生成部500描绘包括该处理结果的图像。[〇〇64]B.检测光照射部的第1实施方式[〇〇65]图5是表示从检测光照射部411射出的检测光IDL相对于投影画面PS及非发光指示体80的入射角0ss、0f^说明图。图5的(A)表示非发光指示体80位于投影画面PS的比较下方的区域的情况，图5的(B)表示非发光指示体80位于投影画面PS的比较上方的区域的情况。 在这些图中，示出检测光IDL在非发光指示体80的顶端的位置处的入射角0ss、0fg。入射角 9ss、9fg是作为对象的入射面相对于法线的角度。关于检测光IDL相对于投影画面PS的入射角0SS，与非发光指示体80位于下方的情况下的入射角0ssl相比，非发光指示体80位于上方的情况下的入射角9ss2小。另一方面，关于检测光IDL相对于非发光指示体80的入射角0fg，与非发光指示体80位于下方的情况下的入射角0fgl相比，非发光指示体80位于上方的情况下的入射角Qfg2大。这些关系由下式给出。
[0066]0Ss2<0ssi■■■(2a)
[0067]9fgi<9fg2???(2b)[〇〇68]另一方面，来自投影画面PS及非发光指示体80的反射光的强度由下式给出。
[0069]Rss = kss Xcos9ss...(38)
[0070]Rfg = kfg X cos9fg???(3b)
[0071]在此，Rss为来自投影画面PS(即屏幕面SS)的反射光强度，kss为检测光IDL在屏幕面SS的反射率，0%为检测光IDL相对于投影画面PS的入射角。另外，Rfg为来自非发光指示体 80的反射光强度，kfgS检测光IDL在非发光指示体80的反射率，0&为检测光IDL相对于非发光指示体80的入射角。此外，反射强度实际上与距离的平方成反比例，但是由于双方的距离被视为基本相等即可，因此，在(3&)、(313)的式中省略距离的影响。因为入射角033、0&为〇? 90度的范围的值，所以入射角0SS、0fg越大，反射光强度Rss、Rfg越小。[〇〇72]根据上述(2a)、(2b)式及(3a)、(3b)式可以明确，随着非发光指示体80从下方向上方前进，相对于投影画面PS的入射角0SS减小而来自投影画面PS的反射光强度Rss增大，相反地，相对于非发光指示体80的入射角0fg增大而来自非发光指示体80的反射光强度Rfg减小。 因此，在利用照相机310、320拍摄检测光IDL的反射光而得的图像中，在投影画面PS的下方的区域和上方的区域中，非发光指示体80与作为其背景的投影画面PS的亮度有可能相反。 这样的趋势为2个检测光照射部411、412双方共同的趋势。
[0073]图6的(A)及图6的(B)是以比较的方式示出由从第1检测光照射部411与第2检测光照射部412分别照射的检测光得到的投影画面PS与非发光指示体80的对比度的说明图。图6 的(A)表示仅从第1检测光照射部411照射了检测光的情况下，由照相机310对该反射光进行拍摄而得的图像的对比度的分布。在该例中，在投影画面PS的下方部分存在正对比度区域 PA1，在投影画面PS的上方部分存在负对比度区域NA1，并在其中间存在低对比度区域LC1。 在此，“正对比度区域PA1”是指非发光指示体80比投影画面PS明亮且该对比度比预定的阈值大的区域。另外，“负对比度区域NA1”是指非发光指示体80比投影画面PS暗且该对比度比预先设定的阈值大的区域。“低对比度区域LC1”是非发光指示体80与投影画面PS的对比度为阈值以下的区域。此外，阈值为用于在图像内从投影画面PS识别非发光指示体80而预先设定的值，可根据识别方法通过预先实验的方式或凭经验设定。此外，由于在正对比度区域 PA1与负对比度区域NA1的任一个中，非发光指示体80与投影画面PS的对比度都充分大，所以可以从投影画面PS识别非发光指示体80。另一方面，因为在低对比度区域LC1中，非发光指示体80与投影画面PS的对比度小，所以难以从投影画面PS识别非发光指示体80。[〇〇74]图6的(B)表示仅从第2检测光照射部412照射了检测光的情况下，由照相机310对该反射光进行拍摄而得的图像的对比度的分布。在该例中，也在投影画面PS的下方部分存在正对比度区域PA2,在投影画面PS的上方部分存在负对比度区域NA2,并在其中间存在低对比度区域LC2。但是，图6的(B)的3个区域NA2、LC2、PA2位于比图6的(A)的3个区域NA1、 LC1、PA1偏向下方侧的位置。换言之，在图6的(B)中，投影画面PS的区域内的上方部分中的负对比度区域NA2与图6的(A)相比扩大。其理由是:由于第2检测光照射部412与第1检测光照射部411相比，距离投影画面PS的垂直距离大，所以来自第2检测光照射部412的检测光 IDL与来自第1检测光照射部411的检测光IDL相比，相对于投影画面PS的入射角0SS小，相对于非发光指示体80的入射角0fg大。
[0075]在图6的(A)、图6的(B)中，以在投影画面PS的区域内低对比度区域LC1、LC2互不重叠的方式配置有2个检测光照射部411、412。即，由2个检测光照射部411、412中的一个检测光形成为低对比度的区域，成为由另一个检测光形成的阈值以上的区域(正对比度区域或负对比度区域)。具体地，图6的(A)的低对比度区域LC1在图6的(B)中位于负对比度区域 NA2,图6的(B)的低对比度区域LC2在图6的(A)中位于正对比度区域PA1。结果，在非发光指示体80的顶端与投影画面PS的区域内的任意的位置接触的状态下，可以从投影画面PS识别非发光指示体80。另外，自发光指示体70也同样地可以从投影画面PS进行识别。此外，也可以采用负对比度区域NA1、NA2,来代替采用正对比度区域PA1、PA2。图6的(A)及图6的(B)所示的各区域的边界能够通过预先进行的校准而知晓。另外，这些各区域的位置可以登记于位置检测部600(图3)或控制部700内的非易失性存储器(未图示)。或者，也可以将投影画面 PS划分为上部区域与下部区域2个，在利用第1检测光照射部411照射检测光IDL的情况下利用投影画面PS的下部区域对非发光指示体80进行识别，并在利用第2检测光照射部412照射检测光IDL的情况下利用投影画面PS的上部区域对非发光指示体80进行识别。[〇〇76]此外，图6的(A)的正对比度区域PA1与图6的(B)的负对比度区域NA2部分重合，于是，图6的(A)中的对比度的正负与图6的(B)所示的对比度的正负反转。优选地，在如此的情况下，第1检测光照射部411与第2检测光照射部412在如图6的(A)及图6的(B)所示那样进行了分时的互不相同的定时朝向投影画面照射检测光。如此一来，通过利用在互不相同的定时拍摄到的图像，可以在投影画面PS的全部的区域中，从投影画面PS识别非发光指示体80 和/或自发光指示体70。
[0077]关于照相机320所拍摄到的图像，也表现与图6的(A)及图6的(B)同样的对比度区域的分布。但是，在本实施方式中，因为2个照相机310、320距离投影画面PS的垂直距离不同，所以对比度区域的分布在2个照相机310、320所拍摄到的图像中互不相同。但是，优选地，与图6的(A)及图6的(B)同样地，以在由照相机320拍摄的图像中，低对比度区域LC1、LC2 互不重合的方式配置2个检测光照射部411、412。此外，也可以将2个照相机310、320设置成2 个照相机310、320距离投影画面PS的垂直距离彼此相等。[〇〇78]另外，在本实施方式中，如图5所示，第2检测光照射部412配置于距离投影画面PS 的垂直距离比第1检测光照射部411大的位置。优选地，在如此的情况下，使第2检测光照射部412的检测光IDL的出射强度比第1检测光照射部411的检测光IDL的出射强度大。如此一来，能够使由来自第2检测光照射部412的检测光IDL拍摄到的图像中的对比度充分地大。
[0079]如上所述，在第1实施方式中，在指示体的顶端与投影画面PS的区域内的任意的位置接触的状态下，在仅从第1检测光照射部411照射检测光IDL的情况下拍摄的图像中的第1 对比度和在仅从第2检测光照射部412照射检测光IDL的情况下拍摄的图像中的第2对比度中的、至少一方比预先设定的阈值大。结果，在投影画面PS的区域内的任意的位置处，都可以从投影画面PS识别指示体(非发光指示体80和/或自发光指示体70)。
[0080]C.检测光照射部的第2实施方式[〇〇81]图7的(A)是第2实施方式中的交互式投影系统900a的侧视图，图7的(B)是其主视图。与图2所示的第1实施方式的区别仅为2个检测光照射部411、412的配置，其他与第1实施方式相同。2个检测光照射部411、412在投影画面PS的中心PSc的左右侧分开配置，朝向投影画面PS的区域照射各自的检测光IDLUIDL2。换言之，2个检测光照射部411、412隔着包含投影画面PS的中心PSc处的法线VNc的假想的平面，彼此配置于相反侧。在图7的(B)中，为了图示的方便，将来自2个检测光照射部411、412的检测光1011、1012描绘成相交叉，但是，实际上，来自2个检测光照射部411、412的检测光IDL1、IDL2朝向投影画面PS的区域的整体分别照射。[〇〇82]在第2实施方式中，在仅从第1检测光照射部411照射检测光IDL1的情况下，以与图 6的(A)同样的模式，在第1检测光照射部411的下方侧出现3个区域NA1、LC1、PA1 (在图7中省略图示)。但是，即使在非发光指示体80存在于该负对比度区域NA1和/或低对比度区域LC1 的情况下，由于通过来自第2检测光照射部412的检测光IDL2照射非发光指示体80的侧面，所以在由照相机310、320拍摄到的图像中，非发光指示体80比投影画面PS明亮，得到正对比度。在仅从第2检测光照射部412照射检测光IDL2的情况下，相反地，通过来自第1检测光照射部411的检测光IDL1得到正对比度。即，在第2实施方式中，也与第1实施方式同样地，在指示体的顶端与投影画面PS的区域内的任意的位置接触的状态下，在仅从第1检测光照射部 411照射检测光IDL1的情况下拍摄的图像中的第1对比度和在仅从第2检测光照射部412照射检测光IDL2的情况下拍摄的图像中的第2对比度中的、至少一方比预先设定的阈值大。结果，在投影画面PS的区域内的任意的位置处，都可以从投影画面PS识别指示体(非发光指示体80和/或自发光指示体70)。此外，在第2实施方式中，2个检测光照射部411、412可以同时地照射检测光IDL1、IDL2,也可以按分时的方式照射检测光IDLUIDL2。但是，如果设定为2 个检测光照射部411、412同时照射检测光IDLUIDL2,则可以缩短整体的处理时间。[〇〇83] D.检测光照射部的第3实施方式[〇〇84]图8的(A)是第3实施方式中的交互式投影系统900b的侧视图，图8的(B)是其主视图。与图7所示的第2实施方式的区别仅在于除了2个检测光照射部411、412之外，还追加了第3检测光照射部413这点，其他与第2实施方式相同。第3检测光照射部413配置于与第1检测光照射部411以及第2检测光照射部412相比，更加靠近包含投影画面PS的中心PSc处的法线VNc的假想的平面的位置，遍及投影画面PS的区域照射检测光IDL3。[〇〇85]在第3实施方式中，在仅从第3检测光照射部413照射检测光IDL3的情况下，与图6 的(A)同样地，出现3个区域NA1、LC1、PA1(在图8中省略图示)。但是，即使在非发光指示体80 存在于该负对比度区域NA1和/或低对比度区域LC1的情况下，由于通过来自第1检测光照射部411与第2检测光照射部412中的至少一方的检测光照射非发光指示体80的侧面，所以在由照相机310、320拍摄到的图像中，非发光指示体80比投影画面PS明亮，得到正对比度。
[0086]在第3实施方式中，由于得到比图7所示的第2实施方式更大的对比度，所以可以从投影画面PS识别非发光指示体80和/或自发光指示体70。此外，在第3实施方式中，第3检测光照射部413可以与第1检测光照射部411及第2检测光照射部412同时地照射投影画面PS的区域，或者也可以采用分时方式，在与第1检测光照射部411及第2检测光照射部412不同的定时照射投影画面PS的区域。[〇〇87] ?变形例:
[0088]此外，本发明并不限于上述的实施例和/或实施方式，可以在不脱离其要旨的范围内在各种方式下实施，例如可以为如下的变形。
[0089]?变形例1:[〇〇9〇]在上述实施方式中，拍摄部300具有2个照相机310、320,但是拍摄部300也可以具有3个以上的照相机。在后者的情况下，基于由m个(m为3以上的整数)照相机拍摄到的m个图像，确定三维坐标(X，Y，Z)。例如，也可以利用从m个图像中任意地选择2个图像而得到的mC2 个组合分别求取三维坐标，采用它们的平均值来确定最终的三维坐标。这样，可以进一步提高三维坐标的检测精度。
[0091] ?变形例2:[〇〇92]在上述实施方式中，交互式投影系统900可以在白板模式与PC交互模式下工作，但也可以按照仅在它们中的一个模式下工作的方式构成系统。另外，交互式投影系统900既可以构成为仅以这2中模式以外的其他模式下工作，进而，也可以构成为可以在包括这2个模式的多个模式下工作。
[0093]?变形例3:[〇〇94]在上述实施方式中，图3所示的照射检测光IDL、反射检测光RDL、装置信号光ASL和指示体信号光PSL全都是近红外光，但是，也可以使它们中的一部分或全部为近红外光以外的光。
[0095]?变形例4:
[0096]在上述实施方式中，投影画面投影于平面状的屏幕板920,但是投影画面也可以投影于曲面状的屏幕。在该情况下，由于使用由2个照相机拍摄到的图像，利用三角测量确定指示体的顶端部的三维位置，因此可以确定指示体的顶端部与投影画面的位置关系。
[0097]以上，基于几个实施例对本发明的实施方式进行了说明，但是上述的发明的实施方式用于使本发明易于理解，并非要对本发明进行限定。本发明在不脱离其主旨以及技术方案的范围内，可以变更、改良，并且本发明中当然包括其等价物。
【主权项】
1.一种交互式投影机，能够接受用户通过指示体对投影画面的指示，其特征在于，具 备:投影部，其将所述投影画面投影在屏幕面上；第1检测光照射部和第2检测光照射部，其朝向所述投影画面的区域照射用于所述指示 体的检测的检测光；拍摄部，其接收包括所述检测光的波长的波长范围的光而拍摄所述投影画面的区域； 以及位置检测部，其基于由所述拍摄部拍摄到的包括所述指示体的图像来检测所述指示体 相对于所述投影画面的位置，所述第1检测光照射部和所述第2检测光照射部被配置为，在所述指示体的顶端与所述 投影画面的区域内的任意的位置接触的状态下，(i)和(ii)中的至少一方比为了从所述投 影画面识别所述指示体而预先设定的阈值大，其中，(i)为在仅从所述第1检测光照射部照射所述检测光的情况下由所述拍摄部拍摄的第1 图像中的所述指示体与所述投影画面的区域之间的第1对比度，(ii)为在仅从所述第2检测光照射部照射所述检测光的情况下由所述拍摄部拍摄的第 2图像中的所述指示体与所述投影画面的区域之间的第2对比度。2.根据权利要求1所述的交互式投影机，其特征在于，所述第1检测光照射部和所述第2检测光照射部被配置为:在所述指示体的顶端与所述 投影画面内的至少一部分区域接触的状态下所述第1对比度的正负与所述第2对比度的正 负反转，所述第1检测光照射部和所述第2检测光照射部以分时的方式朝向所述投影画面照射 所述检测光。3.根据权利要求1所述的交互式投影机，其特征在于，所述第1检测光照射部和所述第2检测光照射部隔着包含所述投影画面的中心处的所 述投影画面的法线的假想的平面彼此配置于相反侧。4.根据权利要求3所述的交互式投影机，其特征在于，还具备第3检测光照射部，其配置于与所述第1检测光照射部和所述第2检测光照射部 相比更靠近所述假想的平面的位置，向所述投影画面的区域照射检测光。5.—种交互式投影系统，其特征在于，具备:权利要求1?4中任一项所述的交互式投影机;和屏幕，其具有供所述投影画面投影的屏幕面。
【文档编号】G06F3/038GK106020511SQ201610166342
【公开日】2016年10月12日
【申请日】2016年3月22日
【发明人】S·海尼南, T·纽斯塔德, 田中健儿
【申请人】精工爱普生株式会社