信息处理单元140分析扩展工作空间中的对象的位置和运动，并且响应于分析结果对扩展工作空间中的数字信息执行显示处理。如图2所示，信息处理单元140包括设定存储单元148、显示控制单元146、操作决定单元144以及分析单元142。
[0061]分析单元142基于检测单元120的检测结果和由成像单元130获取的拍摄图像中的至少之一的信息来分析扩展工作空间中的对象的位置和运动。例如，分析单元142根据检测单元120的检测结果来计算用户的手在运动中的变化。然后，参照设定存储单元148，分析单元142根据所识别的用户的手的运动的变化来识别用户在扩展工作空间中做出的手势，例如触摸、缩小和放大。分析单元142的分析结果是用户在扩展工作空间中进行的操作输入信息，并且基于分析结果，将数字信息显示在虚拟工作空间中。分析单元142向操作决定单元146输出分析结果。
[0062]操作决定单元144基于分析单元142的分析结果来决定扩展工作空间中的数字信息的操作方法。例如，参照设定存储单元148，操作决定单元144决定与由分析单元142识别的用户的手势相对应的数字信息的操作方法。数字信息的操作方法为:例如，将信息终端的数字信息拷贝到工作面2 ;将工作面2的数字信息移动到信息终端；放大和缩小在工作面2上显示的数字信息等。操作决定单元144向显示控制单元146输出所决定的操作方法。
[0063]显示控制单元146基于由操作决定单元144决定的操作方法来执行对扩展工作空间中的数字信息的显示处理。例如，显示控制单元146执行显示处理以用于显示在信息终端与工作面2之间的数字信息的传输、对在扩展工作空间中显示的数字信息进行的显示变化处理(放大、缩小、移动等)等。显示控制单元146向投影单元110输出数字信息的显示处理方法以指示数字信息的显示。
[0064]设定存储单元148存储用于决定在信息处理单元140中执行的分析的信息、数字信息的操作方法等。例如，参照在设定存储单元148中存储的信息，分析单元142识别用户在扩展工作空间中进行的操作输入信息，并且操作决定单元144决定扩展工作空间中的数字信息的操作方法。
[0065]通信单元150向另一扩展工作空间的信息识别显示设备100发送信息并且接收来自该信息识别显示设备100的信息。通信单元150使得能够与另一扩展工作空间的信息识别显示设备100进行信息交换，使得每个扩展工作空间相互反映另一扩展工作空间的情况。
[0066][1.3.扩展工作空间中的工作]
[0067]根据本实施方式的信息识别显示设备100为如下设备:响应于在扩展工作空间中输入的操作输入信息，该设备控制在扩展工作空间中真实对象的操作并且控制信息终端中的数字信息。出于消除过去在扩展工作空间中处理数字信息时所作的复杂操作和努力的目的，信息识别显示设备100执行控制，以使得能够简单直观地处理数字信息。
[0068]首先，将基于图3至图5对在扩展工作空间中的工作面2与信息终端之间进行的数字信息的传输处理进行描述，所述传输处理为信息识别显示设备100的基础处理。图3为示出数字信息从信息终端200到扩展工作空间的并入处理的流程图。图4为示出在工作面上显示的数字信息从扩展工作空间到信息终端200的移除处理的流程图。图5为用于描述在信息终端200与扩展工作空间的工作面2之间进行的相片传输处理的说明图。
[0069]当能够在信息终端200与扩展工作空间中的工作面2之间传输数字信息时，可以在数字信息的操作较容易的地方进行工作，例如编辑，并且在该项工作完成之后，可以将数字信息并入到便携式信息终端200中。注意，信息终端200例如为诸如智能手机、平板电脑终端和数字相机的设备。
[0070]信息终端200具有有限的操作区域，并且能够在扩展工作空间中创建宽阔的工作面2。因此，例如，当编辑在信息终端200中所存储的多个图像时，由于操作区域的限制，在信息终端200中只能一个接一个地显示和编辑正在编辑的对象图像。因而，为了使人能够在看到不同的图像时同时编辑图像，将存储在信息终端200中的图像并入到工作面2上，并且将所并入的图像展示在工作面2上。此外，当要提供较大的工作空间时，例如当多个人浏览和共享相片时或者当在屏幕图像上写入消息时，数字信息利用扩展工作空间的工作特别有效。
[0071]注意，在下文中，数字信息可以为各种信息，包括诸如运动图像和声音的内容、诸如Twitter(注册商标)的信息发布服务、诸如时钟、新闻、游戏等的应用。此外，在信息终端200中选择的数字信息可以存储在信息终端200的主体中，或者可以存储在经由网络以可通信方式(如云计算)连接到信息终端200的服务器中。信息终端200和扩展工作空间的信息识别显示设备100预先通过无线通信彼此连接。可以通过使用操作终端的设定屏幕图像的过去的设定方法或者可以通过触摸配对来对这些设备进行配对，在所述触摸配对情况下，通过在信息识别显示设备100上接触要配对的信息终端200来自动进行配对。
[0072](I)数字信息并入处理
[0073]首先，将对用于在信息终端200中选择的数字信息从信息终端200并入到扩展工作空间的工作面2中的处理进行描述。如图3所示，首先，用户操作信息终端200以选择要并入到工作面2中的数字信息(S100)。可以并入一条或多条数字信息。在图5的左侧，将相片作为数字信息的示例，以说明用于将信息终端200的相片并入到扩展工作空间的工作面2中的示例性操作。在本示例中，并入目标的相片300被显示在信息终端200的屏幕上，以使得并入目标能够被选择。注意，当并入多张相片时，用户用信息终端200进行用于决定并入目标的操作(例如，长时间按压屏幕图像以显示并入目标决定按钮并且按压该按钮等等)O
[0074]在选择并入目标的数字信息之后，用户将信息终端200放置于扩展工作空间的工作面2上，作为用于指示数字信息并入的操作(S102)。在图5的左侧的示例中，用户将信息终端200放置于工作面2的桌面上。当信息识别显示设备100识别到用户将信息终端200放置于工作面2上时，响应于通过将信息终端200放置于工作面2上所创建的显示控制触发信息，将并入目标的数字信息并入工作面2(S104)。用于确定进行数字信息的并入动作的方法可以是例如使用图像识别技术的方法、使用时间戳的方法等。
[0075]在使用图像识别技术的方法中，首先，信息识别显示设备100的成像单元130获取信息终端200上所显示的数字信息的图像，并且分析单元142识别所捕获到的数字信息的图像。例如，通过如下步骤进行图像识别:预先在信息识别显示设备100中记录与信息终端200上所显示的数字信息相对应的所记录图像；以及将由成像单元130所捕获的图像与所记录的图像进行匹配。此外，可以例如通过识别信息终端200上所显示的诸如QR码(注册商标)的二维条形码或者通过识别信息终端200的屏幕图像的时序照明图案来识别并入目标的数字信息。预先获取的用于图像识别的信息被记录在图像识别显示设备100的设定存储单元148中。
[0076]另一方面，在使用时间戳的方法中，可以根据被检测到运动的信息终端200停止其运动时的时间点(“运动停止确定时间点”)的时间戳与检测单元120获取的运动停止确定时间点的时间戳之间的时间差来确定并入动作。注意，预先使信息终端200的内部时钟与信息识别显示设备100的内部时钟同步。可替代地，预先测量内部时钟的时间差，并且通过该时间差来校正时间戳中之一。此外，除了比较时间戳之外，分析单元142可以计算在由信息终端200所识别的运动信息与由信息识别显示设备100所识别的信息终端200的运动信息之间的归一化的互相关性，使得可以基于相关值最高时的时间差来确定并入动作的执行。
[0077]除了对数字信息的并入动作进行这样的执行确定之外，分析单元142根据检测单元120的检测结果来确定信息终端200是否已接触工作面2。如果基于分析单元142的分析结果确定信息终端200已接触工作面2并且根据图像识别而识别出并入目标的数字信息，那么操作决定单元144开始数字信息向工作面2的并入处理(S106)。
[0078]具体地，并入目标的数字信息从信息终端200经由通信单元被发送至信息识别显示设备100。当信息终端200的主体没有存储并入目标的数字信息时，可以从存储有数字信息的服务器等将数字信息发送至信息识别显示设备100。此外，尽管信息识别显示设备100可以被配置成不具有存储数字信息的信息识别显示设备100的主体，但可以将数字信息存储在经由网络以可通信方式连接的服务器中，这与信息终端200的情况相同。在此情况下，信息终端200将并入目标的数字信息发送到存储有信息识别显示设备100的数字信息的服务器。
[0079]在步骤S106中，并入目标的数字信息被显示在扩展工作空间的工作面2上，从而示出了数字信息从信息终端200传输到工作面2。当操作决定单元144开始数字信息的并入处理时，显示控制单元146响应于该处理的开始，从存储有并入目标的数字信息的设备中获取数字信息。并入目标的数字信息被存储在能够经由信息终端200或网络进行通信的服务器等中，并且操作决定单元144经由通信单元150被连接到网络，以获取并入目标的数字信息。
[0080]然后，显示控制单元146使投影单元110投射所获取的数字信息(S108)。以此方式，信息终端200的数字信息被并入扩展工作空间。例如，在图5左侧的示例中，正常地执行放置于桌面上的信息终端200的屏幕上所显示的相片300的图像识别，并且识别放置于桌面上的信息终端200。在此情况下，相片从信息终端200发送到信息识别显示设备100，使得投影单元110将相片投射到桌面上。当用户从桌面上抬起信息终端200时，在信息终端200上所显示的相片被显示在桌面上，用户可以识别出信息终端200的相片被并入扩展工作空间。
[0081]在上文中，已经对数字信息的并入处理进行了描述。注意，数字信息从信息终端200并入到扩展工作空间的工作面2可以是从信息终端200拷贝到信息识别显示设备100，或者将信息终端200的数字信息移动到信息识别显示设备100。当信息终端200的数字信息被移动到信息识别显示设备100时，数字信息仅可以被显示在工作面2上，而信息终端200不显示数字信息。此外，当信息终端200的数字信息被移动到信息识别显示设备100时，信息终端200可以显示如下显示信息:所述显示信息表示已移动到信息识别显示设备100的信息终端200的数字信息。由此，用户可以直观地识别出数字信息从信息终端200移动。在响应于数字信息的并入处理时通过将用于改变信息终端200的显示的信息从信息识别显示设备100发送到信息终端200，实现了信息终端200的这种显示控制。当用信息终端200移除在工作面2上显示的数字信息时，可以执行相同或相似的显示处理。如图5的右侧所示，当将数字信息移动到信