信息处理装置、操作输入检测方法、程序和存储介质的制作方法
【专利摘要】本发明涉及信息处理装置、操作输入检测方法、程序和存储介质。提供了一种信息处理装置，包括：识别来自激光指示器的激光在投影图像上的照射位置的识别部；获取由所述激光指示器内提供的操作部检测到的用户操作信息的获取部；以及基于由所述识别部识别出的照射位置以及由所述获取部获取的用户操作检测针对所述投影图像的操作输入信息的检测部。
【专利说明】信息处理装置、操作输入检测方法、程序和存储介质
[0001]相关申请的交叉引用
[0002]本申请要求于2013年7月4日提交的日本优先权专利申请JP2013-140856的权益，其中该日本申请的全部内容通过引用结合在此。
【技术领域】
[0003]本公开涉及信息处理装置、操作输入检测方法、程序和存储介质。
【背景技术】
[0004]能够在大型平面上投影图像的投影仪在各种场合下使用，诸如在公司用于会议或报告，或在学校用于讲课。进一步地，周知在对由投影仪放大并投影的图像进行说明时，使用在投影图像上投影激光的激光指示器。近年来，业已提出了诸如下列的在投影仪的Π操作下使用具有投影激光功能的激光指示器的技术。
[0005]例如，JP2001-125738A公开了一种通过计算投影图像数据与拍摄投影图像表面的被拍摄图像数据之间的差异来识别激光指示器的移动并且执行与该激光指示器的指定移动相关联的命令的控制系统。具体地，在其中由激光指示器照射的指示器如同形成右箭头地移动的情况下，这一控制系统将进行控制以执行诸如“行进至下一幻灯片”的关联显示命令。
[0006]进一步地，JP2008-15560A提出了一种即便在屏幕安装位置的亮度改变的情况下也能用于正确检测由投影仪投影图像上激光指示器的指示位置的判定系统。具体地，这一判定系统在开始投影之前设置指示器位置判定阈值，计算当前帧的被拍摄图像数据与之前帧的被拍摄图像数据之差的图像数据，并且将超过阈值的图像位置判定为激光指示器的照射位置。
【发明内容】
[0007]然而，在JP2001-125738A和JP2008-15560A中，仅仅基于被拍摄图像识别来自激光指示器的激光照射位置。
[0008]因此，本公开提出了一种能够通过使用激光指示器对投影图像直观地执行操作输入的信息处理装置、操作输入检测方法、程序和存储介质。
[0009]根据本公开的一个实施方式，提供了一种信息处理装置，包括:识别来自激光指示器的激光在投影图像上的照射位置的识别部；获取由设置在所述激光指示器内的操作部检测到的用户操作信息的获取部；以及基于由所述识别部识别出的照射位置以及由所述获取部获取的用户操作检测针对所述投影图像的操作输入信息的检测部。
[0010]根据本公开的另一个实施方式，提供了一种操作输入检测方法，包括:识别来自激光指示器的激光在投影图像上的照射位置；获取由设置在所述激光指示器内的操作部检测到的用户操作的信息；以及基于识别出的所述照射位置和获取的所述用户操作检测针对所述投影图像的操作输入信息。
[0011]根据本公开的又一个实施方式，提供了一种程序，用于使得计算机用作:识别来自激光指示器的激光在投影图像上的照射位置的识别部；获取由设置在所述激光指示器内的操作部检测到的用户操作信息的获取部；以及基于由所述识别部识别出的照射位置以及由所述获取部获取的用户操作检测针对所述投影图像的操作输入信息的检测部。
[0012]根据本公开的再一个实施方式，提供了一种具有程序存储其上的非暂态计算机可读存储介质，所述程序使得计算机用作:识别来自激光指示器的激光在投影图像上的照射位置的识别部；获取由设置在所述激光指示器内的操作部检测到的用户操作信息的获取部；以及基于由所述识别部识别出的照射位置以及由所述获取部获取的用户操作检测针对所述投影图像的操作输入信息的检测部。
[0013]根据诸如上述的本公开的一个或多个实施方式，变得能够通过使用激光指示器对投影图像直观地执行操作输入。
【专利附图】
【附图说明】
[0014]图1是用于描述根据本公开实施方式的操作系统的概要的图示；
[0015]图2是用于描述根据本公开第一实施方式的操作系统的总体构成的图示；
[0016]图3A是用于描述根据第一实施方式的与由激光指示器的用户操作相对应的激光与不可见光标记的第一照射方法的图示；
[0017]图3B是用于描述根据第一实施方式的与由激光指示器的用户操作相对应的激光与不可见光标记的第二照射方法的图示；
[0018]图4A是用于描述根据第一实施方式的包括在激光指示器内的多个操作按钮的图示；
[0019]图4B是用于描述根据第一实施方式的包括在激光指示器内的触摸面板的图示；
[0020]图5是示出了根据第一实施方式的操作系统的内部构成的一个例子的框图；
[0021]图6是示出了根据第一实施方式的操作处理的序列图；
[0022]图7是示出了根据第一实施方式的投影仪的操作处理的流程图；
[0023]图8是用于描述根据第一实施方式的变形例的激光指示器的图示；
[0024]图9是示出了根据第一实施方式的变形例的操作系统的内部构成的一个例子的框图；
[0025]图10是用于描述根据本公开第二实施方式的操作系统的总体构成的图示；
[0026]图11是示出了根据第二实施方式的操作系统的内部构成的一个例子的框图；
[0027]图12是用于描述根据本公开第三实施方式的操作系统的总体构成的图示；
[0028]图13是示出了根据第三实施方式的操作系统的内部构成的一个例子的框图；
[0029]图14是用于描述根据本公开第四实施方式的操作系统的总体构成的图示；
[0030]图15是示出了根据第四实施方式的通信终端的内部构成的一个例子的框图；
[0031]图16是用于描述根据本公开第五实施方式的操作系统的总体构成的图示；
[0032]图17是示出了根据第五实施方式的操作系统的内部构成的一个例子的框图；
[0033]图18是用于描述根据本公开第六实施方式的操作系统的总体构成的图示；
[0034]图19是示出了根据第六实施方式的操作系统的内部构成的一个例子的框图；
[0035]图20是用于描述根据本公开第七实施方式的操作系统的总体构成的图示；以及
[0036]图21是示出了根据第七实施方式的通信终端的内部构成的一个例子的框图。
【具体实施方式】
[0037]其后，将参考附图详细描述本公开的优选实施方式。注意到，在本说明书和附图中，具有基本相同功能和结构的结构性元件由相同的参考编号所指示，并由此省略对这些结构性元件的重复解释。
[0038]描述将以如下次序给出。
[0039]1.根据本公开第一实施方式的操作系统的概要
[0040]2.各实施方式
[0041]2-1.第一实施方式
[0042]2-1-1.总体构成
[0043]2-1-2.内部构成
[0044]2-1-3.操作处理
[0045]2-1-4.变形例
[0046]2-2.第二实施方式
[0047]2-3.第三实施方式
[0048]2-4.第四实施方式
[0049]2-5.第五实施方式
[0050]2-6.第六实施方式
[0051]2-7.第七实施方式
[0052]3.结论
[0053]?1.根据本公开第一实施方式的操作系统的概要>>
[0054]首先，将参考图1描述根据本公开一个实施方式的操作系统的概要。如图1所示，根据本公开一个实施方式的操作系统包括投影仪1、激光指示器2、向投影仪I输出投影内容的PC(个人计算机)3。投影内容是图像、文本、其他各种图形图像、地图和网站等，并在其后被称为投影图像数据。
[0055]投影仪I根据来自PC3的控制信号将从PC3接收到的图像数据投影到屏幕或墙(其后将使用屏幕S作为例子)上。
[0056]激光指示器2具有根据由用户(演讲者)对操作按钮20a的按下操作照射激光(可见光)的功能。用户可以在通过使用激光指示器2并对在屏幕S上投影的图像照射激光从而指示匹配说明位置的照射位置P的同时进行报告。
[0057]PC3电子生成用于投影的图像，将图像数据有线/无线地传送至投影仪1，并执行投影控制。虽然在图1中示出了笔记本型PC作为例子，但是根据本实施方式的PC3不限于笔记本型PC，并且可以是桌上型PC或网络上的服务器(云)。
[0058](背景)
[0059]在此，如上所述，在JP2001-125738A和JP2008-15560A中，仅仅基于拍摄投影图像的被拍摄图像识别来自激光指示器的激光照射位置。因此，例如为了输入诸如“行进至下一幻灯片”的命令，需要用激光在投影图像上做出诸如画出右箭头图形的复杂手势。
[0060]进一步地，一种已知的方法通过使用分立的遥控器将控制信号传送至投影仪或PC，并且在此情况下，用户(演讲者)通过将他/她的目光从投影图像或观众转移来操作遥控器，并且也会需要用户将他或她的注意转移到投影仪或PC上。
[0061]尚不存在一种通过激光指示器对投影图像执行直观的操作输入(例如像是由鼠标光标移动显示屏上的鼠标光标并点击屏幕上的按钮之类的操作)的方法。
[0062]因此，考虑到上述情况而导致了对根据本公开各实施方式的操作系统的创建。根据本公开各实施方式的操作系统能够通过激光指示器对投影图像执行直观的操作输入。其后将具体描述根据本公开各实施方式的操作系统。
[0063]?2.各实施方式>>
[0064]<2-1.第一实施方式>
[0065]首先将参考图2描述根据本公开第一实施方式的操作系统的总体构成。
[0066](2-1-1.总体构成)
[0067]图2是用于描述根据第一实施方式的操作系统的总体构成的图示。如图2所示，根据本实施方式的操作系统包括投影仪la(根据本公开一个实施方式的信息处理装置)、激光指示器2a和PC3a。
[0068]根据本实施方式的投影仪Ia有线/无线地连接至PC3a并将从PC3a接收到的图像投影至屏幕S上。进一步地，投影仪Ia具有用于识别激光指示器2a在投影图像上的照射的成像部(不可见光成像部12和可见光成像部15)。成像部可以内建在投影仪I中，也可以是外部附接的。
[0069]进一步地，通过包括投影仪la，成像部能够自动执行要被拍摄投影图像的范围校准。具体地，成像部可以与投影仪Ia的投影方向连动地改变成像范围或成像方向。注意到，通过使得成像部拍摄范围的面积比投影图像的范围更广，就能够针对投影图像之外的范围(图像外)在UI操作中使用激光照射。
[0070]激光指示器2a根据包括在激光指示器2a中的操作按钮20a的按下照射能够被人眼看见的可见光线的激光V以及不可见光标记M。激光指示器2a被用户通过激光V来指示投影图像上的任意位置。进一步地，不可见光标记M被照射至与激光V的照射位置P相同或相近的位置，并且由不能被人眼看见的诸如红外光的光线照射。不可见光标记M的照射根据针对激光指示器2a内的被检测投影图像的用户操作(操作输入)来控制。
[0071]具体地，如图3A所示，激光指示器2a在操作按钮20a被半按的情况下仅照射激光V，而在操作按钮20a被全按(完全按下)的情况下照射激光V和不可见光标记M。可以在不可见光标记M内嵌入诸如图3所示二维条形码或一维条形码之类的信息(用户ID等)，或者该不可见光标记M可以仅仅是与激光有相同形状的点，或者可以具有任意形状(十字形或心形等)。进一步地，不可见光标记M不限于静止图像，并且可以是通过改变颜色或形状而闪烁的运动图像。通过使图像改变，变得能够更容易地在位置识别部识别出该图像。
[0072]进一步地，如图3B所示，激光指示器2a可以在操作按钮20a被半按的情况下(第一阶段操作)照射激光V和不可见光标记Ml，并且可以在操作按钮20a被全按(第二阶段操作)的情况下照射激光V和不可见光标记M2。例如，可以在半按状态下照射的不可见光标记Ml中嵌入用户ID，而在全按状态下照射的不可见光标记M2中嵌入用户操作信息(按钮正被全按)。
[0073]以此方式，根据本实施方式的激光指示器2a根据由操作按钮20a检测到的用户操作来控制不可见光标记M的照射。由操作按钮20a检测到的用户操作不限于图3A和图3B所示的“半按”和“全按”，并且可以是按钮被按下的次数(连按两次等)。
[0074]进一步地，包括在激光指示器2a内的操作部不限于其中能够由一个操作按钮20a检测多个阶段的用户操作的配置，并且可以是诸如图4A所示通过多个操作按钮20b和20b’来检测多个阶段的用户操作的配置。如图4A所示，在根据本实施方式的激光指示器2a’壳体的上下表面上分别包括操作按钮20b和20b’。同样地，激光指示器2a’在操作按钮20b被按下的情况下仅照射激光V，而在操作按钮20b’也被按下的情况下照射激光V和不可见光标记M。以此方式，激光指示器2a’检测两个阶段的用户操作(其中按钮被按下一次的阶段(第一阶段)以及其中按钮被按下两次的阶段(第二阶段))，并且根据检测到的用户操作控制不可见光标记M的照射。
[0075]进一步地，在激光指示器2a上表面并排包括左右两个控制按钮，并且可以类似于诸如左点击和右点击的鼠标操作来执行用户操作。激光指示器2a执行控制从而根据左点击或右点击来照射不同的不可见光标记M。进一步地，在此情况下，可以分别在激光指示器2a内包括激光的0N/0FF开关。
[0076]此外，激光指示器2a内包括的操作部不限于由诸如上述操作按钮20a、20b和20b’的物理结构实现，并且可由检测手指接触/接近度的传感器实现。例如，如图4B所示，用户操作由包括在激光指示器2a’ ’内的触摸面板20c检测。激光指示器2a’ ’执行控制从而通过触摸面板20c根据手指的接触/接近度或接触频率(轻击频率)来照射不同的不可见光标记M。进一步地，在此情况下，激光指示器2a’ ’可以在手指持续接触/接近触摸面板20c时照射激光V，并且可以分别在激光指示器2a’ ’内包括激光的0N/0FF开关。
[0077]注意到，激光指示器2a的形状不限于图2至4B示出的形状，并且例如可以是其中将照射部分包括在尖端中的指示器。进一步地，激光指示器2a内包括的按钮数量不限于图3A或图4A的例示，并且例如可以是三个或更多个。通过包括多个按钮，用户可以任意选择可见激光的颜色(例如，一个按钮用于红色激光发射、一个按钮用于蓝色激光发射、一个按钮用于绿色激光发射等)。
[0078]如上所述，根据本实施方式的激光指示器2a照射用于指示投影图像上的任意位置的激光V (可见光)，并且照射与由激光指示器2a检测到的诸如按钮按下或轻击操作的用户操作相对应的不可见光标记M。
[0079]由激光指示器2a照射的激光V(可见光)和不可见光标记M由投影仪Ia中包括的成像部(不可见光成像部12和可见光成像部15)拍摄，并且在投影仪Ia中识别照射位置坐标或用户操作信息等。投影仪Ia基于不可见光标记M将识别出的激光V的照射位置P与用户操作信息相结合，并将该结合作为操作输入信息发送至PC3a。
[0080]PC3a根据从投影仪Ia接收到的操作输入信息执行控制，并将反映了该操作输入信息的投影图像数据传送至投影仪la。
[0081]以此方式，就能够依赖于根据本实施方式的操作系统执行诸如根据从激光指示器2a照射的在投影图像任意位置上的激光V的照射位置P (对应于鼠标光标)按下操作按钮20a的直观操作输入(对应于鼠标点击)。接下来将参考图5具体说明包括在根据本发明实施方式的操作系统中的每个装置的内部构成。
[0082](2-1-2.内部构成)
[0083]图5是示出了根据本公开第一实施方式的操作系统的内部构成的一个例子的框图。
[0084](投影仪Ia)
[0085]如图5所示，投影仪Ia具有投影图像接收部10、图像投影部11、不可见光成像部12、用户操作信息获取部13a、可见光成像部15、位置识别部16a和操作输入信息输出部17。
[0086]投影图像接收部10有线/无线地接收来自PC3a的投影图像数据，并将接收到的图像数据传送至图像投影部11。
[0087]图像投影部11在投影屏幕或墙上反映(投影)从图像投影部11发送的图像数据。
[0088]不可见光(非可见光)成像部12具有拍摄由激光指示器2a照射在投影图像上的不可见光标记M的功能。例如，不可见光成像部12由红外相机或紫外相机实现。不可见光成像部12将拍摄到的不可见光输出至用户操作信息获取部13a。
[0089]用户操作信息获取部13a用作基于拍摄了不可见光标记M的不可见光拍摄图像获取由包括在激光指示器2a中的操作部20检测到的用户操作的信息。例如，用户操作信息获取部13a通过分析不可见光拍摄图像识别不可见光标记M的存在、不可见光标记M的形状以及嵌入在不可见光标记M中的信息等，并获取相关联的用户操作信息。例如，相关联的用户操作信息是操作按钮20a被全按、连续按两次、右点击或左点击等。
[0090]用户操作信息获取部13a将获取的用户操作信息输出至操作输入信息输出部17。
[0091]可见光成像部15具有拍摄由激光指示器2a通过图像投影部11照射在投影图像上的激光V的指示符(照射位置P)的功能。可见光成像部15将拍摄到的可见光图像输出至位置识别部16a。
[0092]位置识别部16a用作基于拍摄了投影图像的可见光拍摄图像识别由激光指示器2a在投影图像上的激光V的照射位置P的识别部。例如，位置识别部16a通过检测拍摄投影图像的可见光拍摄图像与由图像投影部11投影的图像之差来检测照射位置P(例如，位置坐标)。进一步地，位置识别部16a可以通过将当前投影图像的在前帧的可见光拍摄图像与当前投影图像的可见光拍摄图像之差添加至分析以改善精确性。注意到上述“当前投影图像的在前帧”不限于前一帧，并且可以是在前的多个帧，例如前两帧、前三帧等。与多个帧相比能够进一步改善精确性。
[0093]位置识别部16a将示出识别出的照射位置P(例如，位置坐标)的信息输出至操作输入信息输出部17。
[0094]操作输入信息输出部17用作基于从用户操作信息获取部13a输出的用户操作信息以及示出了从位置识别部16a输出的照射位置P的信息来检测针对该投影图像的操作输入信息的检测部。具体地，操作输入信息输出部17针对由照射位置P在投影图像上示出的位置坐标检测输入的规定用户操作输入信息作为操作输入信息。进一步地，操作输入信息输出部17还用作将检测到的操作输入信息有线/无线地传送至PC3a的传输部。
[0095]至此已经具体描述了投影仪Ia的内部构成。注意到为了改善位置识别部16a识别照射位置P的精确度，以及用户操作信息获取部13a识别不可见光标记M的精确度，投影仪Ia的图像投影部11可以窄化颜色区域。
[0096]具体地，例如为了改善不可见光标记M的识别精确度，图像投影部11可以从投影光中剪切不可见光。进一步地，为了改善照射位置P的识别精确度，图像投影部11可以适当暗化投影图像。暗化投影图像的定时可以在从位置识别部16a照射激光V的情况下(例如，在识别出照射位置P的情况下)被触发。进一步地，通过由图像投影部11扫描照射投影图像，可以容易地识别照射位置P。
[0097](激光指示器2a)
[0098]如图5所示，激光指示器2a具有操作部20、可见光激光照射部21以及不可见光标记照射部22。
[0099]操作部20具有检测用户操作的功能，并由例如图3A所示的操作按钮20a、图4A所示的操作按钮20b和20b’、图4B所示的触摸面板20c，或激光0N/0FF开关(未在图中示出)实现。操作部20将检测到的用户操作输出至可见光激光照射部21或不可见光标记照射部22。
[0100]可见光激光照射部21具有根据用户操作照射可见光激光(被称为激光)的功能。例如，可见光激光照射部21在操作按钮20a被半按的情况下、在操作按钮20b被全按的情况下、或在激光0N/0FF开关指向“0N”的情况下照射可见光激光。
[0101]不可见光标记照射部22具有根据用户操作照射不可见光标记(被称为不可见光图像)的功能。例如，不可见光标记照射部22在在操作按钮20a被全按的情况下、在操作按钮20b和20b’被同时按下的情况下、或在触摸面板20c被轻击的情况下照射不可见光标记。不可见光标记可以仅仅是与激光形状相同的点，也可以具有任意形状(十字形或心形坐^
寸/ ο
[0102]进一步地，在可见光激光由可见光激光照射部21照射的情况下，不可见光标记照射部22可以在与激光的照射位置P相同的位置处或其附近照射不可见光标记。在此情况下，不可见光标记照射部22可以照射例如以二维条形码或一维条形码的形式的、作为不可见光标记的嵌入的信息(用户ID等)。同样地，在其中检测到诸如操作按钮20a被全按之类的多个阶段的用户操作的情况下，不可见光标记照射部22根据该用户操作改变被照射的不可见光标记。
[0103](PC3a)
[0104]如图5所示，PC3a具有控制部30、图像输出部31和操作输入部32a。
[0105]控制部30具有控制PC3a的所有部件的功能。具体地，例如控制部30可以在由图像输出部31输出(传送)至投影仪Ia的投影图像数据中反映由操作输入部32a检测到的操作输入信息。
[0106]操作输入部32a具有从PC3a的键盘或鼠标等接受用户操作的输入(操作输入信息)的功能。进一步地，操作输入部32a用作接收来自投影仪Ia的操作输入信息的接收部。操作输入部32a将接受的操作输入信息输出至控制部30。
[0107]图像输出部31具有将投影图像数据有线/无线地传送至投影仪Ia的功能。投影图像数据的传送可以持续执行。进一步地，操作输入部32a接收到的操作输入信息可以通过控制部30反映到传送至投影仪Ia的投影图像数据中。
[0108]通过上述构成，首先经由不可见光标记在投影仪Ia中识别由用户使用激光指示器2a为投影图像执行的用户操作(操作按钮20a的全按操作、触摸面板20c的接触操作等)。随后投影仪Ia将包括可见光激光的照射位置P和基于不可见光标记识别出的用户操作的操作输入信息传送至PC3a。PC3a根据操作输入信息执行处理并将针对反映该处理的投影的图像传送至投影仪la。同样地，用于其中反映了根据操作输入信息的处理的投影的图像由投影仪Ia投影。
[0109]以此方式，用户能够在无需激光指示器2a与PC3a通信的情况下通过使用激光指示器2a来执行对投影图像的直观操作输入。注意到，根据本实施方式的投影仪Ia的构成不限于图5的示例。例如，投影仪Ia可以不具有可见光成像部15。在此情况下，位置识别部16a将由不可见光成像部12拍摄到的不可见光标记的坐标位置识别为照射位置P。
[0110]或者，投影仪Ia可以不具有不可见光成像部12。在此情况下，激光指示器2a的可见光激光照射部21照射根据用户操作变化的可见光标记。可以在该可见光标记内嵌入诸如二维条形码或一维条形码之类的信息(用户ID等)，或者该可见光标记可以仅仅是与激光有相同形状的点，或者可以具有任意形状(十字形或心形等)。进一步地，该可见光标记不限于静止图像，并且可以是通过改变颜色或形状而闪烁的运动图像。通过使图像改变，变得能够更容易地在位置识别部识别出该图像。同样地，投影仪Ia的用户操作信息获取部13a通过分析由可见光成像部15拍摄到的可见光标记的存在、颜色或形状等来获取用户操作信息。以此方式，通过使用根据用户操作照射的可由人眼看见的可见光标记，可以为用户实现操作输入的反馈。
[0111](2-1-3.操作处理)
[0112]首先将参考图6描述根据本实施方式的这一操作系统的操作处理。图6是示出了根据本公开第一实施方式的操作处理的序列图。如图6所示，首先在步骤S106，PC3a和投影仪Ia有线/无线连接。连接方法在本公开内无具体限制。
[0113]接下来在步骤S109，PC3a的图像输出部31将投影图像数据传送至投影仪la。
[0114]接下来在步骤S112，投影仪Ia的图像投影部11将由投影图像接收部10从投影仪Ia接收到的投影图像投影在屏幕S上。
[0115]接下来在步骤S115，投影仪Ia开始由可见光成像部15针对投影图像范围的可见光成像以及由不可见光成像部12针对投影图像范围的不可见光成像。
[0116]另一方面，在步骤S118和S121，激光指示器2a根据用户操作照射可见光激光。具体地，例如在操作按钮20a被半按的情况下，激光指示器2a通过可见光激光照射部21照射激光。以此方式，用户(演讲者)可以在使用激光指示投影图像内的任意位置的同时对观众进行解释。
[0117]接下来，在步骤S124，投影仪Ia的位置识别部16a基于由可见光成像部15拍摄到的可见光识别激光的照射位置P (坐标位置)。
[0118]接下来在步骤S127和S130，激光指示器2a根据用户操作照射不可见光标记。具体地，例如在操作按钮20a被全按的情况下，激光指示器2a通过不可见光标记照射部22在与激光相同的位置处或其附近照射不可见光标记。以此方式，用户(演讲者)可以在使用激光指示投影图像内的任意位置的同时直观地执行对被指示位置的点击操作。
[0119]随后在步骤S133，投影仪Ia的用户操作信息获取部13a基于由不可见光成像部12拍摄到的不可见光拍摄图像分析不可见光标记的存在或形状等，并获取用户操作信息。例如，在不可见光标记被照射在投影图像上的情况下，或者在不可见光标记具有预定形状的情况下，用户操作信息获取部13a获取“全按操作”作为用户操作信息。进一步地，用户操作信息获取部13a可以从嵌入在照射于投影图像上的不可见光标记的信息中获取“全按操作”作为用户操作信息。
[0120]接下来在步骤S136，投影仪Ia的操作输入信息输出部17基于由位置识别部16a识别的照射位置P以及由用户操作信息获取部13a获取的用户操作信息来检测针对该投影图像的操作输入信息。
[0121]接下来在步骤S139，投影仪Ia的操作输入信息输出部17将检测到的操作输入信息传送至PC3a。
[0122]随后在步骤S142，PC3a的操作输入部32a接收来自投影仪Ia的操作输入信息。
[0123]接下来在步骤S145，PC3a的控制部30在投影图像数据中反映接收到的操作输入信息。具体地，例如在其中操作输入信息是示出了“针对照射位置P(坐标位置)的(全按操作)”的信息的情况下，控制部30执行其中点击操作作为与当前投影图像的照射位置P相对应的位置的输入的处理。
[0124]于是在步骤S148，PC3a的图像输出部31将反映后(根据操作输入信息的处理之后)的投影用图像传送至投影仪la。
[0125]此后，重复上述步骤S112至S148。
[0126]以此方式，用户(演讲者)可以在使用激光指示投影图像内的任意位置的同时通过使用激光指示器2a直观地执行针对被指示位置的操作输入。例如，用户(演讲者)可以对投影图像直观地执行与使用鼠标进行的操作相类似的操作，诸如点击操作、拖曳操作或双击操作。
[0127]注意到如上所述，根据本实施方式的投影仪Ia的位置识别部16a可以将不可见光标记的坐标位置识别为由激光指示器2a指示的位置(照射位置P)。在此情况下，在上述步骤S115中，投影仪Ia仅开始由不可见光成像部12对投影图像范围的不可见光成像。于是在上述步骤S124中，位置识别部16a基于由不可见光成像部12拍摄到的可见光拍摄图像识别该照射位置P。
[0128]如上参考图6描述的操作处理是由包括在根据本实施方式的操作系统内的投影仪la、激光指示器2a和PC3a进行的所有处理。在此将参考图7具体描述特定于根据本实施方式的投影仪Ia(根据本公开一个实施方式的信息处理装置)的操作处理。
[0129]图7是示出了根据本公开第一实施方式的投影仪Ia的操作处理的流程图。如图7所示，首先在步骤S203，投影仪Ia有线/无线地连接至PC3a。
[0130]接下来在步骤S206，投影仪Ia判断是否正确连接，并且在没有正确连接的情况下(S206/否)，在步骤S209，提示对PC3a的正确连接。
[0131]另一方面，在正确连接的情况下(S206/是)，投影仪Ia通过图像投影部11执行图像投影(S212)，通过可见光成像部15执行可见光成像(S215)，并且通过不可见光成像部12执行不可见光成像(S227)。
[0132]具体地，在步骤S112，投影仪Ia通过图像投影部11将由投影图像接收部10从PC3a接收到的图像投影在屏幕S上。
[0133]进一步地，在步骤S215，投影仪Ia通过可见光成像部15执行针对在屏幕S上投影的投影图像的可见光成像。
[0134]接下来在步骤S218，投影仪Ia的位置识别部16a分析可见光拍摄图像。
[0135]接下来在步骤S221，位置识别部16a判断是否能够从可见光拍摄图像中识别可见光激光的点。
[0136]接下来在能够识别出可见光激光的点的情况下(S221/是)，在步骤S224，位置识别部16a识别该可见光激光的点的位置坐标(照射位置P)。
[0137]另一方面，在步骤S227，投影仪Ia通过不可见光成像部12执行针对在屏幕S上的投影图像的不可见光成像。
[0138]接下来在步骤S230，投影仪Ia的用户操作信息获取部13a分析不可见光拍摄图像。
[0139]接下来在步骤S233，用户操作信息获取部13a判断是否能够从该不可见光拍摄图像中识别出不可见光标记。
[0140]接下来在能够识别出不可见光标记的情况下(S233/是)，在步骤S236，用户操作信息获取部13a从该不可见光标记的存在或形状等中获取用户操作信息。
[0141]随后在步骤S239，操作输入信息输出部17基于由位置识别部16a识别的照射位置P以及由用户操作信息获取部13a获取的用户操作信息来检测针对该投影图像的操作输入信息。
[0142]接下来在步骤S242，操作输入信息输出部17将检测到的操作输入信息传送至PC3a。传送至PC3a的操作输入信息在用于在PC3a中投影的图像中反映，用于投影的该反映图像被传送至PC3a，并且用于投影的该反映图像由图像投影部11在上述步骤S212中投影。
[0143]于是在步骤S245，重复在上述步骤206至S242中示出的处理，直到存在结束指令(关电源指令)为止。
[0144]随后在存在结束指令的情况下(S245/是)，在步骤S248，投影仪Ia将该投影仪Ia的电源关闭。
[0145](2-1-4.变形例)
[0146]至此，已经具体描述了根据第一实施方式的操作系统。虽然根据上述事实上的投影仪Ia的用户操作信息获取部13a基于不可见光标记获取了由激光指示器2a检测到的用户操作信息(操作按钮20a的全按操作等)，但是根据本实施方式的用户操作信息的获取方法不限于此。例如，投影仪Ia可以无线地接收来自激光指示器2a的用户操作信息。其后将参考图8至图9描述其中无线接收用户操作信息的情况作为第一实施方式的变形例。根据该变形例的操作系统包括投影仪la’ (根据本公开一个实施方式的信息处理装置)、激光指示器2a’和PC3a。由于PC3a的内部构成与参考图5描述的模块相类似，因此在此将省略对其的描述。
[0147]图8是用于描述根据第一实施方式的变形例的激光指示器2a’的图示。如图8左侧所示，激光指示器2a’在操作按钮20a被半按的同时由可见光线照射激光V。
[0148]同样地，如图8右侧所示，在操作按钮20a被全按(完全按下)的情况下，激光指示器2a’在持续照射激光V的同时还把示出了全按操作已被执行的用户操作信息无线传送至投影仪la’。以此方式，根据本变形例的激光指示器2a’不同于图3A和图3B的示例，并且根据用户对操作按钮20a的全按操作将用户操作信息无线传送至投影仪la’。
[0149]随后将参考图9具体说明形成根据这一变形例的操作系统的每个装置的内部构成。
[0150]图9是示出了根据本公开第一实施方式的变形例的操作系统的内部构成的一个例子的框图。如图9所示，投影仪la’具有投影图像接收部10、图像投影部11、用户操作信息获取部13a’、可见光成像部15、位置识别部16a和操作输入信息输出部17。由于投影图像接收部10、图像投影部11、可见光成像部15、位置识别部16a和操作输入信息输出部17与参考图5描述的模块相类似，因此在此将省略对其的描述。
[0151]用户操作信息获取部13a’具有从激光指示器2a’无线接收用户操作信息的功能。虽然投影仪la’和激光指示器2a’之间的无线通信系统不受具体限制，但是数据的收发例如通过W1-Fi (注册商标)或Bluetooth (注册商标)等执行。
[0152]进一步地，如图9所示，根据该变形例的激光指示器2a’具有操作部20、可见光激光照射部21和传输部23。由于操作部20和可见光激光照射部21与参考图5描述的模块相同，因此在此将省略对其的描述。
[0153]传输部23具有与配对的投影仪la’ (连接设置)无线通信的功能。具体地，在由操作部20检测到用户操作的情况下，该传输部23将示出上述用户操作(例如，操作按钮20a的全按操作)的信息(用户操作信息)传送至投影仪la’。
[0154]通过上述构成，首先通过使用激光指示器2a’的用户针对投影图像执行的用户操作(操作按钮20a的全按操作等)经由无线通信传送至投影仪la’。随后投影仪la’将包括可见光激光的照射位置P和从激光指示器2a’接收到的用户操作的操作输入信息传送至PC3a。PC3a根据操作输入信息执行处理并将针对反映该信息的投影的图像传送至投影仪la’。于是，用于其中反映了根据操作输入信息的处理的投影的图像由投影仪la’投影。
[0155]以此方式，用户能够在无需激光指示器2a’与PC3a通信的情况下通过使用激光指示器2a’来执行对投影图像的直观操作输入。
[0156]〈2-2.第二实施方式〉
[0157]接下来将具体参考图10至图11描述根据本公开的第二实施方式。在该实施方式中，根据上述第一实施方式的投影仪Ia的不可见光成像部12、用户操作信息获取部13a、可见光成像部15、位置识别部16a和用户操作信息获取部13a被包括在与投影仪Ia分离的装置(为了方便称为指示器识别相机)内。以此方式，通过将根据本实施方式的指示器识别相机(根据本公开一个实施方式的信息处理装置)新引入现有的投影仪系统，可以建立能够通过激光指示器进行直观操作插入的操作系统。
[0158](2-2-1.总体构成)
[0159]首先将参考图10描述根据本公开第二实施方式的操作系统的总体构成。图10是用于描述根据本公开第二实施方式的操作系统的总体构成的图示。如图10所示，根据本实施方式的操作系统包括投影仪lb、指示器识别相机4a、激光指示器2a和PC3a。由于激光指不器2a和PC3a的功能与参考图2描述的第一实施方式中的相同，因此将省略对其的描述。
[0160]投影仪Ib有线/无线地连接至PC3a，并且接收来自该PC3a的投影图像数据。投影仪Ib于是基于接收到的图像数据在屏幕S上投影图像。
[0161]指示器识别相机4a成像用于投影图像的可见光，识别不可见光标记M，并检测由激光指示器2a指示的位置(照射位置P)和操作输入信息。于是，指示器识别相机4a将检测到的操作输入信息传送至PC3a。
[0162]PC3a根据从指示器识别相机4a接收到的操作输入信息执行控制，并将反映了该操作输入信息的投影图像数据传送至投影仪lb。
[0163]以此方式，依赖于根据本实施方式的操作系统，用户能够执行直观的操作输入，诸如根据从激光指示器2a照射的在投影图像上任意位置处的激光V的照射位置P按下操作按钮20a。
[0164](2-2-2.内部构成)
[0165]接下来将参考图11具体说明包括在根据本发明实施方式的操作系统中的每个装置的内部构成。图11是示出了根据本公开第二实施方式的操作系统的内部构成的一个例子的框图。
[0166](投影仪Ib)
[0167]如图11所示，投影仪Ib具有投影图像接收部10和图像投影部11。与第一实施方式相类似，投影图像接收部10有线/无线地接收来自PC3a的投影图像数据，并将接收到的图像数据传送至图像投影部U。图像投影部11基于从投影图像接收部10输出的图像数据指示图像在屏幕S上的投影。
[0168](指示器识别相机4a)
[0169]如图11所示，指示器识别相机4a具有不可见光成像部42、用户操作信息获取部43、位置识别部46和操作输入信息输出部47。
[0170]类似于根据第一实施方式的不可见光成像部12，不可见光成像部42具有在投影图像上成像由激光指示器2a照射的不可见光标记M的功能。不可见光成像部42的成像范围被调整为包括在屏幕S上投影的投影图像的范围。
[0171]位置识别部46基于由不可见光成像部42拍摄到的不可见光拍摄图像识别不可见光标记M的坐标位置。由于该不可见光标记M被照射在与激光的照射位置P相同的位置处或其附近，位置识别部46可以将该不可见光标记M的坐标位置识别为激光的照射位置P。
[0172]类似于根据第一实施方式的用户操作信息获取部13a，用户操作信息获取部43用作基于拍摄不可见光标记M的不可见光拍摄图像获取由激光指示器2a检测到的用户操作信息的获取部。
[0173]类似于据第一实施方式的操作输入信息输出部17,操作输入信息输出部47具有基于从用户操作信息获取部43输出的用户操作信息以及示出了从位置识别部46输出的照射位置P的信息来检测针对该投影图像的操作输入信息的功能。进一步地，操作输入信息输出部47还具有将检测到的操作输入信息有线/无线地传送至PC3a的功能。
[0174](激光指示器2a)
[0175]由于激光指不器2a的内部构成与参考图5描述的第一实施方式的相类似，因此在此将省略对其的描述。
[0176](PC3a)
[0177]PC3a的内部构成与参考图5描述的第一实施方式的相类似。具体地，根据本实施方式的操作输入部32a具有接收来自指示器识别相机4a的操作输入信息的功能。操作输入部32a将从该指示器识别相机4a接收到的操作输入信息输出至控制部30。于是，控制部30根据操作输入信息执行处理，并将反映了该处理的投影图像数据从图像输出部31传送至投影仪lb。
[0178]如上所述，通过包括与投影仪Ib相分离的指示器识别相机4a (根据本公开一个实施方式的信息处理装置)的构成，根据第二实施方式的操作系统能够使用激光指示器2a实现用于投影图像的直观用户操作。
[0179]〈2-3.第三实施方式〉
[0180]接下来将具体参考图12至图13描述根据本公开的第三实施方式。在本实施方式中，包括根据上述第二实施方式的指示器识别相机4a的用户操作信息获取部43、位置识别部46和操作输入信息输出部47的功能的指示器识别引擎内建在PC3内。以此方式，通过将具有根据本实施方式的指示器识别引擎的PC(其后称为指示器识别PC)新引入具有投影仪和相机的现有投影仪系统内，就能够建立可由激光指示器进行直观操作输入的操作系统。指示器识别引擎的并入可以通过硬件也可以将通过软件实现。例如，可以通过将指示器识别应用并入通用PC来实现该指示器识别PC。
[0181](2-3-1.总体构成)
[0182]首先将参考图12描述根据本公开第三实施方式的操作系统的总体构成。图12是用于描述根据本公开第三实施方式的操作系统的总体构成的图示。如图12所示，根据本实施方式的操作系统包括投影仪lb、相机4b、激光指示器2a和指示器识别PC3b (根据本发明一个实施方式的信息处理装置)。由于投影仪Ib和激光指示器2a的功能与参考图11描述的第二实施方式中的相同，因此将省略对其的描述。
[0183]相机4b有线/无线地连接至指示器识别PC3b，并且拍摄用于投影图像的不可见光的不可见光拍摄图像传送至PC3b。
[0184]指示器识别PC3b基于不可见光拍摄图像识别不可见光标记M，并检测由激光指示器2a指示的位置(照射位置P)和操作输入信息。于是，PC3b根据检测到的操作输入信息执行控制，并将反映了该操作输入信息的投影图像数据传送至投影仪lb。
[0185]以此方式，依赖于根据本实施方式的操作系统，用户能够执行直观的操作输入，诸如根据从激光指示器2a照射的在投影图像上任意位置处的激光V的照射位置P按下操作按钮20a。
[0186](2-3-2.内部构成)
[0187]接下来将参考图13具体公开包括在根据本发明实施方式的操作系统中的每个装置的内部构成。图13是示出了根据本公开第三实施方式的操作系统的内部构成的一个例子的框图。注意到，由于投影仪Ib和激光指示器2a的内部构成与参考图11公开的第二实施方式中的相同，因此将省略对其的描述。
[0188](相机4b)
[0189]如图13所示，相机4b具有不可见光成像部42和拍摄图像传输部49。类似于根据第二实施方式的相同模块，不可见光成像部42具有在投影图像上成像由激光指示器2a照射的不可见光标记M的功能。拍摄图像传输部49将由不可见光成像部42拍摄到的不可见光拍摄图像有线/无线地传送至指示器识别PC3b。
[0190](指示器识别PC3b)
[0191]如图13所示，指示器识别PC3b具有控制部30、图像输出部31、操作输入部32b、用户操作信息获取部33、拍摄图像接收部34和位置识别部36。
[0192]拍摄图像接收部34从相机4b有线/无线地接收不可见光拍摄图像，将接收到的不可见光拍摄图像输出至位置识别部36和用户操作信息获取部33。
[0193]与图11所示的根据第二实施方式的位置识别部46相类似，该位置识别部36基于不可见光拍摄图像识别不可见光标记M的坐标位置。由于该不可见光标记M被照射在与激光的照射位置P相同的位置处或其附近，位置识别部36可以将该不可见光标记M的坐标位置识别为激光的照射位置P。
[0194]类似于图11所示的根据第二实施方式的用户操作信息获取部43，用户操作信息获取部33用作基于拍摄不可见光标记M的不可见光拍摄图像获取由激光指示器2a检测到的用户操作信息的获取部。
[0195]操作输入部32b具有与图11所示的根据第二实施方式的操作输入信息输出部47类似的功能。具体地，操作输入部32b具有基于从用户操作信息获取部33检测到的用户操作信息以及示出了从位置识别部36检测到的照射位置P的信息来检测针对该投影图像的操作输入信息的功能。于是，操作输入部32b将检测到的操作输入信息输出至控制部30。
[0196]控制部30根据操作输入信息执行处理，并将反映了该处理的投影图像数据从图像输出部31传送至投影仪lb。
[0197]如上所述，根据该第三实施方式的操作系统包括与相机4b分立的具有内建指示器识别引擎的PC3b (根据本公开一个实施方式的信息处理装置)，并且能够使用激光指示器2a执行针对投影图像的直观用户操作。
[0198]〈2-4.第四实施方式〉
[0199]接下来将具体参考图14至图15描述根据本公开的第四实施方式。在本实施方式中，根据上述第三实施方式的相机4b和具有内建指示器识别引擎的PC3b由一体化装置实现。具体地，例如可以通过将指示器识别引擎并入具有内建相机的移动通信终端(智能电话或平板终端等)来实现相机4b和PC3b。以此方式，通过将其中并入了根据本实施方式的指示器识别引擎的通信终端引入具有投影仪的现有投影仪系统，就可以建立能够由激光指示器执行直观的操作输入的操作系统。指示器识别引擎的并入可以通过硬件也可以将通过软件实现。例如，可以通过将应用指示器识别的应用并入通用通信终端来实现用于指示器识别的通信终端。
[0200](2-4-1.总体构成)
[0201]首先将参考图14描述根据本公开第四实施方式的操作系统的总体构成。图14是用于描述根据本公开第四实施方式的操作系统的总体构成的图示。如图14所示，根据本实施方式的操作系统包括投影仪lb、通信终端5 (根据本公开一个实施方式的信息处理装置)和激光指示器2a。由于投影仪Ib和激光指示器2a的功能与图12和图13所示的第三实施方式中的相类似，因此将省略对其的描述。
[0202]通信终端5有线/无线地连接至投影仪Ib，并且传送投影图像数据。进一步地，通信终端5基于从投影在屏幕S上的图像中拍摄不可见光的不可见光拍摄图像分析由激光指示器2a照射的不可见光标记M，并且获取照射位置P和用户操作信息。进一步地，通信终端5基于照射位置P和用户操作信息检测操作输入信息，并且根据检测到的操作输入信息执行控制。随后，该通信终端5将反映了上述操作输入信息的用于投影的投影图像数据传送至投影仪lb。
[0203]以此方式，依赖于根据本实施方式的操作系统，用户能够执行直观的操作输入，诸如根据从激光指示器2a照射的在投影图像上任意位置处的激光V的照射位置P按下操作按钮20a。
[0204](2-4-2.内部构成)
[0205]接下来将参考图15具体说明包括在根据本发明实施方式的操作系统中的通信终端5的内部构成。图15是示出了根据本公开第四实施方式的通信终端5的内部构成的一个例子的框图。
[0206]通信终端5具有控制部50、图像输出部51、操作输入部52、用户操作信息获取部53、不可见光成像部54和位置识别部56。
[0207]不可见光成像部54具有拍摄由激光指示器2a照射在投影于屏幕S的图像上的不可见光标记M的功能。
[0208]与根据图13所示的第三实施方式的位置识别部36相类似，该位置识别部56基于不可见光拍摄图像识别不可见光标记M的坐标位置。由于该不可见光标记M被照射在与激光的照射位置P相同的位置处或其附近，位置识别部56可以将该不可见光标记M的坐标位置识别为激光的照射位置P。
[0209]类似于图13所示的根据第三实施方式的用户操作信息获取部33，用户操作信息获取部53用作基于拍摄不可见光标记M的不可见光拍摄图像获取由激光指示器2a检测到的用户操作信息的获取部。
[0210]操作输入部52具有与图13所示的根据第三实施方式的操作输入部32b类似的功能。具体地，操作输入部52具有基于从用户操作信息获取部53输出的用户操作信息以及示出了从位置识别部56输出的照射位置P的信息来检测针对该投影图像的操作输入信息的功能。于是，操作输入部52将检测到的操作输入信息输出至控制部30。
[0211]控制部30根据操作输入信息执行处理，并将反映了该处理的投影图像数据从图像输出部31传送至投影仪lb。
[0212]如上所述，根据该第四实施方式的操作系统包括具有内建的相机4b以及并入的指示器识别引擎的通信终端5 (根据本公开一个实施方式的信息处理装置)，并且能够使用激光指示器2a执行针对投影图像的直观用户操作。
[0213]〈2-5.第五实施方式〉
[0214]接下来将具体参考图16至图17描述本公开的第五实施方式。在上述的每一个实施方式中，投影在屏幕S上的图像(投影图像)由包括在投影仪Ia内的相机、单独的相机或是包括在通信终端5内的相机所拍摄，并且基于拍摄到的图像识别照射位置P。然而，由根据本公开一个实施方式的操作系统执行的照射位置P识别方法不限于上述的每一个实施方式，并且例如可以是在激光指示器2内包括相机并且仅在操作按钮20a被按下时执行对不可见光图像和照射位置P进行识别的方法。以此方式，通过仅在操作按钮20a被按下时执行对不可见光图像和照射位置P的识别，就能够排除非必须的功率消耗。
[0215](2-5-1.总体构成)
[0216]首先将参考图16描述根据本公开第五实施方式的操作系统的总体构成。图16是用于描述根据本公开第五实施方式的操作系统的总体构成的图示。如图16所示，根据本实施方式的操作系统包括投影仪Ic (根据本公开一个实施方式的信息处理装置)、激光指示器2b和PC3a。由于PC3a的功能与上述第一实施方式中的相类似，因此将省略对其的描述。
[0217]投影仪Ic有线/无线地连接至PC3a，并且接收来自该PC3a的投影图像数据。进一步地，投影仪Ic将投影图像数据投影在屏幕S上。此外，根据本实施方式的投影仪Ic将诸如红外光的不可见光的坐标特定映射图(被称为坐标识别图像)Q叠加在屏幕S (图像投影区域)上。不可见光的坐标特定映射图Q的投影区域可以在包括图像投影区域的范围内。
[0218]进一步地，在被初始化时，投影仪Ic可以将嵌入了用于激光指示器2b执行与该投影仪Ic的无线通信连接设置的信息的不可见光图像重叠地投影在屏幕S (图像投影区域)上。
[0219]激光指示器2b根据操作按钮20a的按压状态执行可见光线(激光V)的照射以及用户操作信息的传输控制。具体地，例如激光指示器2b在操作按钮20a被半按的情况下照射激光V，在持续照射激光V的同时在操作按钮20a被全按的情况下通过无线通信向投影仪Ic传送示出了该全按操作的信息(用户操作信息)。
[0220]此外，在操作按钮20a被全按的情况下，根据该实施方式的激光指示器2b在包括激光V的照射位置P的范围内拍摄不可见光。在被初始化的情况下，激光指示器2b可以从不可见光拍摄图像中读取连接信息，并且能够基于该连接信息自动执行与投影仪Ic的无线连接设置。注意到，激光指示器2b和投影仪Ic的连接设置(配对)可由用户手动执行。
[0221]此外，激光指示器2b识别包括在不可见光拍摄图像中的坐标特定映射图Q’，并且读取坐标特定信息等。激光指示器2b将已被读取的信息(其后称为读取信息)连同用户操作信息一起经由无线通信传送至投影仪lc。
[0222]已经接收到来自激光指示器2b的用户操作信息和读取信息的投影仪Ic可以基于该读取信息识别激光指示器2b的照射位置P。进一步地，投影仪Ic基于照射位置P和用户操作信息检测操作输入信息，并且将检测到的操作输入信息传送至PC3a。
[0223]PC3a根据传送的操作输入信息执行控制，并将反映了该操作输入信息的投影图像数据传送至投影仪lc。
[0224]以此方式，依赖于根据本实施方式的操作系统，来自投影仪Ic的不可见光的坐标特定映射图被重叠地投影在投影图像上，在激光指示器2b侧拍摄不可见光，并且基于该不可见光拍摄图像由激光指示器2b识别照射位置P。
[0225](2-5-2.内部构成)
[0226]接下来将参考图17具体说明包括在根据本发明实施方式的操作系统中的每个装置的内部构成。图17是示出了根据本公开第五实施方式的操作系统的内部构成的一个例子的框图。
[0227](投影仪Ic)
[0228]投影仪Ic具有投影图像接收部10、图像投影部11、不可见光图像生成部18、不可见光投影部19、信息获取部13c、位置识别部16c和操作输入信息输出部17。
[0229]由于投影图像接收部10和图像投影部11与根据第一实施方式的相同模块类似，因此在此省略对其的描述。
[0230]不可见光图像生成部18生成嵌入了在由激光指示器2b识别照射位置P时使用的坐标特定信息的不可见光坐标特定映射图Q，以及其中嵌入了连接信息的不可见光的图像。
[0231]不可见光投影部19将由不可见光图像生成部18生成的不可见光坐标特定映射图Q以及其中嵌入了连接信息的图像重叠地投影在屏幕S的投影图像上。注意到，不可见光投影部19和图像投影部11的投影可以是由同一光源经由不同滤波器进行的投影。
[0232]信息获取部13c与激光指示器2b无线通信，并从激光指示器2b接收用户操作信息和读取信息。
[0233]位置识别部16c基于由不可见光图像生成部18创建的坐标特定映射图Q以及包括在由信息获取部13c接收并从拍摄不可见光的坐标特定映射图Q’读取的坐标特定信息来识别激光指示器2b的照射位置P (坐标位置)。如，位置识别部16c将坐标特定映射图Q与由坐标特定信息示出的坐标特定映射图Q’相比较，并且指定坐标特定映射图Q’在坐标特定映射图Q中的位置。于是，位置识别部16c将坐标特定映射图Q’的中心位置识别为激光指示器2b的照射位置P (坐标位置)。
[0234]操作输入信息输出部17具有基于从信息获取部13a接收到的用户操作信息以及示出了从位置识别部16c识别出的照射位置P的信息来检测针对该投影图像的操作输入信息的功能。进一步地，操作输入信息输出部17还将检测到的操作输入信息有线/无线地传送至PC3a。
[0235](激光指示器2b)
[0236]如图17所示，激光指示器2b具有操作部20、可见光激光照射部21、不可见光成像部25、信息读取部26和传输部23。
[0237]可见光激光照射部21具有根据由操作部20检测到的用户操作照射激光V(可见光)的功能。具体地，例如在操作按钮20a被半按的情况下，可见光激光照射部21照射激光V。
[0238]不可见光成像部25具有根据由操作部20检测到的用户操作拍摄在包括由激光V照射的位置(照射位置P)的范围内的不可见光的功能。例如，该不可见光成像部25仅在操作按钮20a被全按的情况下执行不可见光成像。
[0239]信息读取部26基于不可见光拍摄图像识别坐标特定映射图Q’并且读取坐标特定信息等。
[0240]传输部23将由信息读取部26读取的信息(读取信息)以及由操作部20检测到的用户操作信息(例如，全按操作)经由无线通信传送至投影仪lc。
[0241]以此方式，例如根据本实施方式的激光指示器2b在操作按钮20a被半按(第一阶段操作)的情况下照射激光V。同样地，在操作按钮20a被全按(第二阶段操作)的情况下，激光指示器2b在照射激光V的同时执行不可见光成像，并将从不可见光拍摄图像中读取的信息和用户操作信息无线传送至投影仪lc。以此方式，用户就能够通过使用激光指示器2b直观地执行用于投影图像的操作输入。
[0242](PC3a)
[0243]PC3a的内部构成与第一实施方式的相类似。也就是说，操作输入部32a从投影仪Ic接收操作输入信息，并且控制部30根据这一操作输入信息执行处理。进一步地，图像输出部31将其中反映了由控制部30执行的处理的投影图像数据传送至投影仪lc。
[0244]如上所述，在根据第五实施方式的操作系统中，相机(不可见光成像部25)被包括在激光指示器2b中，并且根据由激光指示器2b检测到的用户操作执行不可见光成像。进一步地，投影仪Ic能够接收从在激光指示器2b侧拍摄不可见光的坐标指定映射图Q’中读取的坐标指定信息，并且能够基于这一坐标指定信息识别激光指示器2b的照射位置P。
[0245]<2-6.第六实施方式>
[0246]包括在根据上述第五实施方式的操作系统中的每个装置的构成仅仅是一个例子，并且根据本公开一个实施方式的操作系统的每个构成都不限于图17的示例。例如，根据上述第五实施方式的投影仪Ic的不可见光图像生成部18、不可见光投影部19、信息获取部13c、位置识别部16c和用户操作信息获取部13a可以被包括在与投影仪Ic分离的装置(为了方便称为指示器识别装置)内。以此方式，通过将根据本实施方式的指示器识别装置(根据本公开一个实施方式的信息处理装置)新引入现有的投影仪系统，可以建立能够通过激光指示器进行直观操作插入的操作系统。
[0247](2-6-1.总体构成)
[0248]首先将参考图18描述根据本公开第六实施方式的操作系统的总体构成。图18是用于描述根据本公开第六实施方式的操作系统的总体构成的图示。如图18所示，根据本实施方式的操作系统包括投影仪lb、指示器识别装置6、激光指示器2b和PC3a。由于PC3a与上述第一实施方式中的相类似，投影仪Ib与上述第二实施方式中的相类似，而激光指示器2b与上述第五实施方式中的相类似，因此在此将省略对其的描述。
[0249]指示器识别装置6将诸如红外光的不可见光的坐标特定映射图Q叠加在屏幕S(图像投影区域)上。不可见光的坐标特定映射图Q的投影区域可以在包括图像投影区域的范围内。
[0250]与第五实施方式类似，激光指示器2b根据操作按钮20a的按下操作照射激光V，拍摄在屏幕S上包括照射位置P的范围内的不可见光，并且识别包括在不可见光拍摄图像中的坐标特定映射图Q’。随后该激光指示器2b将检测到的用户操作信息以及从坐标特定映射图Q’中读取的信息传送至指示器识别装置6。
[0251]该指示器识别装置6基于从激光指示器2b接收到的读取信息识别激光指示器2b的照射位置P。进一步地，该指示器识别装置6基于识别出的照射位置P以及从激光指示器2b接收到的用户操作信息检测操作输入信息，并且将检测到的操作输入信息传送至PC3a。
[0252]PC3a根据传送的操作输入信息执行控制，并将反映了该操作输入信息的投影图像数据传送至投影仪lc。
[0253]以此方式，依赖于根据本实施方式的操作系统，通过将根据本实施方式的指示器识别装置6 (根据本公开一个实施方式的信息处理装置)新引入现有的投影仪系统，可以建立能够通过激光指示器进行直观操作插入的操作系统。
[0254](2-6-2.内部构成)
[0255]接下来将参考图19具体说明包括在根据本发明实施方式的操作系统中的每个装置的内部构成。图19是示出了根据本公开第六实施方式的操作系统的内部构成的一个例子的框图。注意到由于PC3a的构成与上述第一实施方式中的构成相类似，投影仪Ib的构成与上述第二实施方式中的构成相类似，而激光指示器2b的构成与上述第五实施方式中的构成相类似，因此在此将省略对其的具体描述。
[0256](指示器识别装置6)
[0257]如图19所示，指示器识别装置6具有不可见光图像生成部68、不可见光投影部69、信息获取部63、位置识别部66和操作输入信息输出部67。
[0258]与根据第五实施方式的不可见光图像生成部18类似，不可见光图像生成部68生成不可见光的坐标特定映射图Q，以及其中嵌入了连接信息的不可见光的图像。
[0259]与根据第五实施方式的不可见光投影部19类似，不可见光投影部69将由不可见光图像生成部68生成的不可见光的坐标特定映射图Q以及其中嵌入了连接信息的图像重叠地投影在屏幕S的投影图像上。
[0260]与根据第五实施方式的信息获取部13c类似，信息获取部63与激光指示器2b无线通信，并从激光指示器2b接收用户操作信息和读取信息。
[0261]与根据第五实施方式的位置识别部16c类似，位置识别部66基于由不可见光图像生成部68生成的坐标特定映射图Q以及从拍摄不可见光的坐标特定映射图Q’读取的坐标特定信息来识别激光指示器2b的照射位置P (坐标位置)。
[0262]类似于据第五实施方式的操作输入信息输出部17,操作输入信息输出部67具有基于从信息获取部63接收到的用户操作信息以及由位置识别部66识别出的照射位置P来检测针对该投影图像的操作输入信息的功能。进一步地，操作输入信息输出部67还将检测到的操作输入信息有线/无线地传送至PC3a。
[0263]如上所述，通过包括与投影仪Ib相分离的指示器识别装置6 (根据本公开一个实施方式的信息处理装置)的构成，根据第六实施方式的操作系统能够使用激光指示器2b实现用于投影图像的直观用户操作。
[0264]〈2-7.第七实施方式>
[0265]接下来将具体参考图20至图21具体描述根据本公开的第七实施方式。在本实施方式中，根据上述第六实施方式的指示器识别装置6和PC3a由一体化装置实现。具体地，例如可以通过将指示器识别引擎并入具有内建相机的移动通信终端(智能电话或平板终端等)来实现指示器识别装置6和PC3a。以此方式，通过将其中并入了根据本实施方式的指示器识别引擎的通信终端引入具有投影仪的现有投影仪系统，就可以建立能够由激光指示器执行直观的操作输入的操作系统。
[0266](2-7-1.总体构成)
[0267]首先将参考图20描述根据本公开第七实施方式的操作系统的总体构成。图20是用于描述根据本公开第七实施方式的操作系统的总体构成的图示。如图20所示，根据本实施方式的操作系统包括投影仪lb、通信终端7 (根据本公开一个实施方式的信息处理装置)和激光指示器2b。由于投影仪Ib的功能已在上述第二实施方式中描述，而激光指示器2b的功能已在上述第五实施方式中描述，因此在此将省略对其的描述。
[0268]通信终端7有线/无线地连接至投影仪Ib，并且传送投影图像数据。进一步地，通信终端7将诸如红外光的不可见光的坐标特定映射图Q投影在屏幕S上投影的图像上。
[0269]进一步地，通信终端7经由无线通信从激光指示器2b接收用户操作信息以及从由激光指示器2b拍摄的不可见光拍摄图像中读取的读取信息，并且基于这些信息检测操作输入信息。于是，通信终端7根据检测到的操作输入信息执行控制，并将反映了该操作输入信息的投影图像数据传送至投影仪lb。
[0270]以此方式，依赖于根据本实施方式的操作系统，通过将其中并入了指示器识别引擎的通信终端7 (根据本公开一个实施方式的信息处理装置)引入现有的投影仪系统，就能够由激光指示器执行直观的操作输入。
[0271](2-7-2.内部构成)
[0272]接下来将参考图21具体说明包括在根据本发明实施方式的操作系统中的通信终端I的内部构成。图21是示出了根据本公开第七实施方式的通信终端7的内部构成的一个例子的框图。
[0273]如图21所示，通信终端7具有控制部70、图像输出部71、不可见光图像生成部78、不可见光投影部79、信息获取部73、位置识别部76和操作输入部72。不可见光图像生成部78、不可见光投影部79、信息获取部73和位置识别部76分别具有与根据第六实施方式的不可见光图像生成部68、不可见光投影部69、信息获取部63和位置识别部66相类似的功能。
[0274]进一步地，类似于据第六实施方式的操作输入部52，操作输入部72具有基于从信息获取部73输出的用户操作信息以及示出了由位置识别部76检测到的照射位置P的信息来检测针对该投影图像的操作输入信息的功能。于是，操作输入部72将检测到的操作输入信息输出至控制部70。
[0275]控制部70根据操作输入信息执行处理，并将反映了该处理的投影图像数据从图像输出部71传送至投影仪lb。
[0276]如上所述，根据第六实施方式，通过将包括具有内建的相机以及并入的指示器识别引擎的通信终端7 (根据本公开一个实施方式的信息处理装置)引入现有的投影仪系统，变得能够使用激光指示器2b执行针对投影图像的直观用户操作。
[0277]?3.结论》
[0278]如上所述，通过在根据本实施方式的操作系统中使用激光指示器2，能够在照射激光V的状态下执行针对投影图像的直观操作输入。由第一阶段操作(例如，操作按钮20a半按)开始激光V的照射，并且继续第二阶段操作(例如，操作按钮20a全按、按两次等)，以对应直观的操作输入。以此方式，就能够由激光指示器2针对投影图像(例如，地图或网站等)执行与鼠标GUI的点击、拖曳、范围选择或双击等相对应的直观操作输入。
[0279]具体地，在上述第一至第七实施方式中，由激光指示器2a检测到的用户操作信息(操作按钮20a的全按操作等)经由从激光指示器2a照射的不可见光标记M或经由无线图像传送。进一步地，在上述第一至第四实施方式中，根据本公开一个实施方式的信息处理装置由投影仪Ia和la’、指示器识别相机4a、指示器识别PC3b和通信终端5实现。这一信息处理装置通过分析拍摄不可见光标记M的不可见光图像或是通过与激光指示器2a的无线通信获取由激光指示器2a检测到的用户操作信息。此外，这一信息处理装置基于可见光图像/不可见光图像识别由激光指示器2a的激光V在投影图像上指示的照射位置P。同样地，该信息处理装置能够基于识别出的照射位置P和上述获取的用户操作信息来检测操作输入信息。
[0280]注意到，由激光指示器2a检测到的用户操作信息(操作按钮20a的全按操作等)的传送不限于由从激光指示器2a照射的不可见光标记M的传送，并且可以是对可见光标记的传送。
[0281]进一步地，在第五至第七实施方式中，不可见光的坐标特定映射图Q被重叠投影在屏幕S的投影图像上，并且不可见光由激光指示器2b拍摄。激光指示器2b将由操作部20检测到的用户操作信息(操作按钮20a的全按操作等)以及从不可见光拍摄图像读取的读取图像经由无线通信传送至信息处理装置。在上述第五至第七实施方式中，根据本公开一个实施方式的信息处理装置由投影仪lc、指示器识别装置6和通信终端7实现。这一信息处理装置基于从激光指示器2b接收到的读取信息识别由激光指示器2a的激光V在投影图像上指示的照射位置P。同样地，该信息处理装置能够基于识别出的照射位置P和上述接收到的用户操作信息来检测操作输入信息。
[0282]本领域技术人员应该理解的是，取决于设计要求和其他因素，会出现各种修改、组合、子组合和变化，而这些修改、组合、子组合和变化仍将位于所附权利要求或其等效方案的范围内。
[0283]例如，能够创建用于使得诸如内建在投影仪la、la’和lc、指示器识别相机4a、指示器识别装置6、指示器识别PC3b或通信终端5和7中的CPU、R0M和RAM之类的硬件呈现出上述投影仪la、la’和lc、指示器识别相机4a、指示器识别装置6、指示器识别PC3b或通信终端5和7的功能的计算机程序。进一步地，可以提供其上记录有这一计算机程序的计算机可读存储介质。
[0284]进一步地，根据本公开一个实施方式的操作系统可以通过多个投影仪I执行直观的操作输入。以此方式，变得能够由多人执行协同操作，或者使用双手由多个激光指示器2执行UI操作。
[0285]例如，对多个激光指示器2的每个照射位置P的识别可以基于嵌入在与激光V —同照射的不可见光的一维条形码或二维条形码中的用户ID来进行。或者，对每个照射位置P的识别可以基于激光V(可见光)的颜色或形状来进行。用户可以通过包括在激光指示器2a内的开关、在触摸面板的显示屏幕上或在投影图像上来选择激光V的颜色或形状。
[0286]进一步地，通过执行连同根据第二阶段用户操作照射不可见光标记M—起的音频输出，根据上述第一至第四实施方式的激光指示器2a能够向用户提供直观操作输入的反馈。
[0287]此外，本技术还可如下构成。
[0288](I) 一种信息处理装置，包括:
[0289]识别来自激光指示器的激光在投影图像上的照射位置的识别部；
[0290]获取由设置在所述激光指示器内的操作部检测到的用户操作的信息的获取部；以及
[0291]基于由所述识别部识别出的照射位置以及由所述获取部获取的用户操作检测针对所述投影图像的操作输入信息的检测部。
[0292](2)根据⑴的信息处理装置，
[0293]其中所述识别部基于拍摄投影表面的拍摄图像识别所述照射位置。
[0294](3)根据⑴或⑵所述的信息处理装置，
[0295]其中所述激光指示器照射与由所述操作部检测到的用户操作相对应的不可见光标记，以及
[0296]其中所述获取部基于拍摄由所述激光指示器照射的不可见光标记的拍摄图像获取所述用户操作的信息。
[0297](4)根据(3)所述的信息处理装置，
[0298]其中所述不可见光标记是点、图形、一维/ 二维条形码或运动图像。
[0299](5)根据(3)或(4)所述的信息处理装置，
[0300]其中所述识别部基于拍摄所述不可见光标记的拍摄图像而将所述不可见光标记的位置坐标识别为所述激光指示器的照射位置。
[0301](6)根据⑴或⑵所述的信息处理装置，
[0302]其中所述获取部从所述激光指示器接收并获取由所述激光指示器检测到的所述用户操作的信息。
[0303](7)根据⑴或⑵所述的信息处理装置，
[0304]其中所述激光指示器照射与由所述操作部检测到的用户操作相对应的可见光标记，以及
[0305]其中所述获取部基于拍摄由所述激光指示器照射的可见光标记的拍摄图像获取所述用户操作的信息。
[0306](8)根据(7)所述的信息处理装置，
[0307]其中所述激光指示器根据所述用户操作使得所述可见光标记的形状和颜色中的至少一种改变。
[0308](9)根据⑴至⑶中任一项所述的信息处理装置，
[0309]其中所述识别部基于拍摄整个所述投影图像的拍摄图像识别来自所述激光指示器的激光在所述投影图像上的照射位置。
[0310](10)根据⑴至⑶中任一项所述的信息处理装置，
[0311]其中所述识别部基于拍摄重叠和投影在所述投影图像上的不可见光的坐标识别图像的拍摄图像来识别来自所述激光指示器的激光在所述投影图像上的照射位置。
[0312](11)根据(10)所述的信息处理装置，
[0313]其中拍摄所述不可见光的坐标识别图像的所述拍摄图像是拍摄来自所述激光指示器的激光在所述投影图像上的照射位置周边的拍摄图像。
[0314](12)根据⑴至(10)中任一项所述的信息处理装置，
[0315]其中所述识别部识别来自多个激光指示器的激光在所述投影图像上的照射位置，
[0316]其中所述多个激光指示器照射示出了所述多个激光指示器的识别信息的不可见光或可见光标记，以及
[0317]其中所述获取部基于拍摄由所述多个激光指示器中的每一个激光指示器照射的所述不可见光或可见光标记的拍摄图像，获取用于识别所述激光指示器中的每一个的识别信息。
[0318](13) 一种操作输入检测方法，包括:
[0319]识别来自激光指示器的激光在投影图像上的照射位置；
[0320]获取由设置在所述激光指示器内的操作部检测到的用户操作的信息；以及
[0321]基于识别出的所述照射位置和获取的所述用户操作检测针对所述投影图像的操作输入信息。
[0322](14) 一种程序，用于使得计算机用作:
[0323]识别来自激光指示器的激光在投影图像上的照射位置的识别部；
[0324]获取由设置在所述激光指示器内的操作部检测到的用户操作信息的获取部；以及
[0325]基于由所述识别部识别出的照射位置以及由所述获取部获取的用户操作检测针对所述投影图像的操作输入信息的检测部。
[0326](15)具有程序存储其上的非暂态计算机可读存储介质，所述程序使得计算机用作:
[0327]识别来自激光指示器的激光在投影图像上的照射位置的识别部；
[0328]获取由设置在所述激光指示器内的操作部检测到的用户操作信息的获取部；以及
[0329]基于由所述识别部识别出的照射位置以及由所述获取部获取的用户操作检测针对所述投影图像的操作输入信息的检测部。
【权利要求】
1.一种信息处理装置，包括: 识别来自激光指示器的激光在投影图像上的照射位置的识别部； 获取由设置在所述激光指示器内的操作部检测到的用户操作的信息的获取部；以及基于由所述识别部识别出的照射位置以及由所述获取部获取的用户操作检测针对所述投影图像的操作输入信息的检测部。
2.如权利要求1所述的信息处理装置， 其中所述识别部基于拍摄投影表面的拍摄图像识别所述照射位置。
3.如权利要求1所述的信息处理装置， 其中所述激光指示器照射与由所述操作部检测到的用户操作相对应的不可见光标记，以及 其中所述获取部基于拍摄由所述激光指示器照射的不可见光标记的拍摄图像获取所述用户操作的信息。
4.如权利要求3所述的信息处理装置， 其中所述不可见光标记是点、图形、一维/二维条形码或运动图像。
5.如权利要求3所述的信息处理装置， 其中所述识别部基于拍摄所述不可见光标记的拍摄图像而将所述不可见光标记的位置坐标识别为所述激光指示器的照射位置。
6.如权利要求1所述的信息处理装置， 其中所述获取部从所述激光指示器接收并获取由所述激光指示器检测到的所述用户操作的信息。
7.如权利要求1所述的信息处理装置， 其中所述激光指示器照射与由所述操作部检测到的用户操作相对应的可见光标记，以及 其中所述获取部基于拍摄由所述激光指示器照射的可见光标记的拍摄图像获取所述用户操作的信息。
8.如权利要求7所述的信息处理装置， 其中所述激光指示器根据所述用户操作使得所述可见光标记的形状和颜色中的至少一种改变。
9.如权利要求1所述的信息处理装置， 其中所述识别部基于拍摄整个所述投影图像的拍摄图像识别来自所述激光指示器的激光在所述投影图像上的照射位置。
10.如权利要求1所述的信息处理装置， 其中所述识别部基于拍摄重叠和投影在所述投影图像上的不可见光的坐标识别图像的拍摄图像来识别来自所述激光指示器的激光在所述投影图像上的照射位置。
11.如权利要求10所述的信息处理装置， 其中拍摄所述不可见光的坐标识别图像的所述拍摄图像是拍摄来自所述激光指示器的激光在所述投影图像上的照射位置周边的拍摄图像。
12.如权利要求1所述的信息处理装置， 其中所述识别部识别来自多个激光指示器的激光在所述投影图像上的照射位置， 其中所述多个激光指示器照射示出了所述多个激光指示器的识别信息的不可见光或可见光标记，以及 其中所述获取部基于拍摄由所述多个激光指示器中的每一个激光指示器照射的所述不可见光或可见光标记的拍摄图像，获取用于识别所述激光指示器中的每一个的识别信肩、Ο
13.一种操作输入检测方法，包括: 识别来自激光指示器的激光在投影图像上的照射位置； 获取由设置在所述激光指示器内的操作部检测到的用户操作的信息；以及基于识别出的所述照射位置和获取的所述用户操作检测针对所述投影图像的操作输入信息。
14.一种程序，用于使得计算机用作: 识别来自激光指示器的激光在投影图像上的照射位置的识别部； 获取由设置在所述激光指示器内的操作部检测到的用户操作的信息的获取部；以及基于由所述识别部识别出的照射位置以及由所述获取部获取的用户操作检测针对所述投影图像的操作输入信息的检测部。
15.一种具有程序存储其上的非暂态计算机可读存储介质，所述程序使得计算机用作: 识别来自激光指示器的激光在投影图像上的照射位置的识别部； 获取由设置在所述激光指示器内的操作部检测到的用户操作的信息的获取部；以及基于由所述识别部识别出的照射位置以及由所述获取部获取的用户操作检测针对所述投影图像的操作输入信息的检测部。
【文档编号】G06F3/033GK104281276SQ201410302243
【公开日】2015年1月14日 申请日期:2014年6月27日 优先权日:2013年7月4日
【发明者】成田智也, 萩原丈博, 井上卓 申请人:索尼公司