信息处理设备、信息处理系统和信息处理方法与流程

本发明涉及信息处理设备、信息处理系统和信息处理方法。

背景技术：

pct日本译文专利第2016-506565号公报提出了一种电子装置的示例，其允许实际查看真实世界环境，并且同时向最终用户的视野投射虚拟物体的图像，以便通过使用虚拟物体扩展最终用户感知到的真实世界环境。

关于pct日本译文专利第2016-506565号公报中描述的电子装置，如果被个别识别出的或可识别的属于特定组的特定人存在于头戴式显示(hmd：head-mounteddisplay)装置的视野内，或者如果特定人存在于与hmd装置的特定距离内，则电子装置向使用hmd装置的用户生成并显示扩展的真实环境，其中，可显示与特定人关联的提示。

技术实现要素：

本发明的目的是，提供可以在输入对象附近的位置处虚拟显示与向输入对象输入的信息有关的信息的信息处理设备、信息处理系统和信息处理方法。

根据本发明的第一方面，提供了一种包括检测器和命令单元的信息处理设备。所述检测器基于由所述显示装置拍摄的图像，来检测使用显示装置的用户的移动，显示装置以与真实空间交叠的方式来显示虚拟空间图像，且具有拍摄功能。所述命令单元基于检测到的所述用户的移动，来命令所述显示装置在输入对象附近的位置处，显示与向所述输入对象输入的输入信息有关的相关信息，作为所述虚拟空间图像。

根据本发明的第二方面，在根据第一方面的信息处理设备中，所述相关信息可以是格线(ruledline)。

根据本发明的第三方面，在根据第二方面的信息处理设备中，所述命令单元可以作出命令，以根据所述输入信息的尺寸改变所述格线。

根据本发明的第四方面，在根据第一至第三方面中的任意一个方面的信息处理设备，所述检测器可以检测保持写入单元的所述用户的手指或手的移动，写入单元用于向所述输入对象输入所述输入信息，并且所述命令单元可以作出命令，以显示根据所述用户的手指或手的所述移动的所述相关信息。

根据本发明的第五方面，在根据第一至第四方面中的任意一个方面的信息处理设备中，所述命令单元可以作出命令，以在所述输入对象的表面、前侧处或相邻位置处显示所述相关信息。

根据本发明的第六方面，在根据第一方面至第五方面中的一个方面的信息处理设备中，所述相关信息可以是支持向所述输入对象输入所述输入信息的信息。

根据本发明的第七方面，在根据第六方面的信息处理设备中，所述支持信息可以是响应于检测到的、由所述用户在半空中(midair)执行的手写操作的词语候选。

根据本发明的第八方面，在根据第六方面的信息处理设备中，在所述输入信息包括所述排印错误的情况下，所述支持信息可以是指示排印错误(typographicalerror)的位置的信息。

根据本发明的第九方面，在根据第一方面至第五方面中的任意一个方面的信息处理设备中，所述相关信息可以是作为与所述输入信息有关的文件列表或网页搜索结果的支持信息。

根据本发明的第十方面，在根据第一至第九方面的任意一个方面的信息处理设备中，所述命令单元可以作出命令，以在位于所述输入对象前方的位置处，显示所述相关信息，所述相关信息包括所述输入信息，并且所述信息处理设备可以还包括处理器，该处理器基于由所述用户相对于所述输入信息执行的操作来执行处理。

根据本发明的第十一方面，在根据第一至第十方面中的任意一个方面的信息处理设备中，所述显示装置可以包括声音输入单元，所述信息处理设备可以还包括转换器，该转换器从所述声音输入单元获取的语音提取一部分，并且将所述部分转换成文本，并且所述命令单元可以作出命令以显示所述转换后的文本，作为所述相关信息。

根据本发明的第十二方面，提供了一种包括显示单元、检测器和命令单元的信息处理系统。所述显示装置以与真实空间交叠的方式来显示虚拟空间图像，并且具有拍摄功能。检测器基于由所述显示装置拍摄的图像，来检测使用所述显示装置的用户的移动。所述命令单元基于检测到的所述用户的移动，来命令所述显示装置在所述输入对象附近的位置处，显示与向所述输入对象输入的输入信息有关的相关信息，作为所述虚拟空间图像。

根据本发明的第十三方面，提供了一种信息处理方法，该信息处理方法包括如下步骤：基于由所述显示装置拍摄的图像，来检测使用显示装置的用户的移动，显示装置以与真实空间交叠的方式来显示虚拟空间图像，且具有拍摄功能；并且基于检测到的所述用户的移动，来命令所述显示装置在所述输入对象附近的位置处，显示与向输入对象输入的输入信息有关的相关信息，作为所述虚拟空间图像。

根据第一、第十二和第十三方面，可以命令显示装置在输入对象附近的位置处虚拟显示与向输入对象输入的信息有关的信息。

根据第二方面，可以命令显示装置在输入对象附近视觉显示格线。

根据第三方面，可以命令显示装置虚拟显示根据输入信息的尺寸的格线。

根据第四方面，可以根据用户的手指或手的移动，来命令显示装置虚拟显示相关信息。

根据第五方面，可以命令显示装置在输入对象的表面、前方或附近位置处虚拟显示相关信息。

根据第六方面，可以命令显示装置显示支持输入信息的输入的信息。

根据第七方面，可以命令显示装置显示响应于检测到的用户在半空中执行的手写操作的词语候选。

根据第八方面，在输入信息包括排印错误的情况下，可以命令显示装置显示指示排印错误的位置的信息。

根据第九方面，可以命令显示装置显示与输入信息有关的文件列表或网页搜索结果。

根据第十方面，可以在用户不直接触摸输入对象的情况下，执行基于用户所执行的操作的处理。

根据第十一方面，从参与者的语音提取的文本可以被虚拟显示为相关信息。

附图说明

将基于以下附图来详细描述本发明的示例性实施方式，附图中：

图1a例示了根据本发明的示例性实施方式的信息处理系统的构造示例，并且图1b是例示了头戴式显示装置的示例的外观图；

图2例示了各个hmd装置的控制系统的示例；

图3是例示了信息处理设备的控制系统的示例的框图；

图4a至图4c例示了虚拟图像的示例，图4a例示了与格线有关的虚拟图像的示例，图4b例示了与格线有关的虚拟图像的示例，格线具有的间隔不同于图4a中所示的格线的间隔，并且图4c例示了与盒形格线有关的虚拟图像的示例；

图5是例示了根据本发明的示例性实施方式的图像处理设备的操作的流程图；

图6例示了支持信息的示例；

图7例示了支持信息的示例；

图8例示了支持信息的示例；

图9例示了支持信息的示例；以及

图10例示了相关信息的示例。

具体实施方式

下面将参照附图来描述本发明的示例性实施方式。在附图中，具有大致相同功能的部件给予相同的附图标记，并且将省略其冗余描述。

根据本发明的示例性实施方式的信息处理设备包括检测器和命令单元。检测器基于由显示装置拍摄的图像，检测使用显示装置的用户的移动，显示装置以要与真实空间交叠的方式显示虚拟空间图像，且具有拍摄功能。命令单元基于检测到的用户的移动，而命令显示装置在输入对象附近的位置处，显示与向输入对象输入的输入信息有关的相关信息，作为虚拟空间图像。

术语“显示装置”包括：透光头戴式显示装置，其戴在用户的头上，并且借助该透光头戴式显示装置，用户能够直接查看真实空间(背景)，同时查看作为虚拟空间图像的显示图像；以及便携式信息终端，其以交叠方式在所拍摄的背景图像上显示显示图像，作为虚拟空间图像。透光头戴式显示装置可以是护目镜或眼镜的形式。便携式信息终端可以是头戴式类型。

“输入对象”指的是这样的对象：通过使用写入单元向其输入输入信息，并且对应于例如白板，或代替白板附接到桌子或墙壁的塑料片材。输入对象可以具有嵌入在内部的坐标，诸如安诺拓(anoto)图案(五点图案)。写入单元根据输入对象来选择，并且对应于例如白板笔(即，白板麦克笔)或安诺拓图案可读数字笔。

相关信息是与输入信息有关的信息。相关信息包括：例如与用于引导文本输入位置和文本尺寸的格线(ruledline)有关的显示图像，与文件或网页图像有关的显示图像，和用于支持由用户执行的、用于向输入对象输入输入信息的输入过程的支持信息。

示例性实施方式

图1a例示了根据本发明的示例性实施方式的图像处理系统的构造示例。图2是例示了头戴式显示装置的示例的外观图。

信息处理系统1包括：由第一用户使用的头戴式显示装置(下文中称为“hmd”装置)2a；由第二用户使用的hmd装置2b；控制hmd装置2a和2b(下文中总称为“hmd装置2”)的信息处理设备3；以及由第一用户用于输入文本或图形的白板4。hmd装置2和信息处理设备3以可通信方式彼此无线连接。第一用户和第二用户是用户的示例。白板4是输入对象的示例。文本和图形是输入信息的示例。

在该示例性实施方式的情况下，信息处理系统1可以用于例如办公室、公共设施、医院中的会议室、多功能室、休息室或演讲室。在该示例性实施方式中，第一用户是例如在会议或演讲中作陈述的演示者(通常，每个会议或演讲一个人)，并且第二用户是例如参与会议或演讲的参与者(通常，多个人)。演示者和参与者在下文中可以有时总称为“用户”。

hmd装置2被构造为，通过以与真实空间交叠的方式虚拟显示所谓的虚拟图像(下文中称为“虚拟图像”)。具体地，如图1b所示，hmd装置2是透光头戴式显示装置，其戴在用户的头上，并且借助该透光头戴式显示装置，用户能够直接查看真实空间(背景)和虚拟图像。

各个hmd装置2包括显示单元22和向外照相机23a。显示单元22包括要安装到耳朵的框架220，并且还包括右透射式显示器221a和左透射式显示器221b(有时总称为“透射式显示器221”)。

透射式显示器221可以是例如透射式液晶显示器、透射式有机电致发光(el)显示器、或透射式无机el显示器。右透射式显示器221a对于右眼显示显示图像，并且左透射式显示器221b对于左眼显示显示图像。右眼显示图像和左眼显示图像与背景交叠，并且由用户视觉识别为虚拟图像。

图2例示了各个hmd装置2的控制系统的示例。hmd装置2包括：控制器20，其控制hmd装置2的各个部件；存储单元21，其存储各种类型的信息；上述显示单元22；上述向外照相机23a；向内照相机23b；传感器单元24；声音输入单元25；位置检测器26；处理器27；和无线通信单元28。

控制器20由例如中央处理单元(cpu)和接口构成。cpu根据存储单元21中存储的程序210来操作，以便充当例如发送器200、接收器201和显示控制器202。后面将详细描述部件200至202。

存储单元21由例如只读存储器(rom)、随机存取存储器(ram)和硬盘构成，并且在其中存储例如程序和数据。

向外照相机23a对包括对面的人的脸部以及用户的手的背景进行拍摄，并且向控制器20发送所拍摄的图像。向内照相机23b使用hmd装置2拍摄用户的眼睛，并且向控制器20发送所拍摄的图像。要由向外照相机23a和向内图像23b拍摄的图像可以是静止图像或移动图像。在从脸部图像确定用户的情况下，可以使用静止图像。在通过对用户的手进行拍摄来检测姿势或者要检测视线的情况下，移动图像是期望的，或者通过每秒对多个图像进行拍摄而获得的连续静止图像是期望的。

传感器单元24包括距离图像传感器、加速度传感器和陀螺仪。距离图像传感器可以是例如红外距离传感器、激光距离传感器或超声距离传感器。距离图像传感器辐射红外光、激光或超声波，并且从其反射的时间差读取各个像素的距离，以便获得距离图像。加速度传感器检测施加于hmd装置2的加速度。陀螺仪检测施加于hmd装置2的角速度。

声音输入单元25由麦克风构成，并且将用户使用hmd装置2输出的声音转换成声音信号(作为电信号)，并且接收语音信号。

处理器27处理由向外照相机23a、向内照相机23b、传感器单元24和声音输入单元25输入的信息，并且包括姿势检测器270、视线检测器271和语音识别器272。

姿势检测器270检测指示用户使用hmd装置2的用户的移动的姿势。具体地，姿势检测器270从被传感器单元24的距离图像传感器检测到的距离图像，根据用户的手的移动(例如，两个手指收缩放大操作)，来检测预定手势。而且，姿势检测器270基于传感器单元24的加速度传感器检测到的hmd装置2的加速度、和由陀螺仪检测的hmd装置2的角速度，根据用户头部的移动(例如，头向一侧摇晃)，来检测预定头部姿势。姿势检测器270向控制器20发送与检测到的姿势对应的命令。

视线检测器271从由向内照相机23b拍摄的用户的眼睛的图像，检测用户的视线方向，并且向控制器20发送与检测到的视线方向对应的命令。检测视线的方法可以涉及：例如，使用视线照相机作为向内照相机23b，基于与眼睛的内角的位置相对的虹膜的位置，来检测视线方向，或者使用红外照相机和红外发光二极管，作为向内照相机23b，基于与角膜反射的位置相对的瞳孔的位置，来检测视线方向。视线方向可以代替姿势使用。

语音识别器272将由声音输入单元25接收的语音信号转换成数字语音数据，并且向控制器20发送语音数据。语音可以代替姿势使用。

无线通信单元28通过使用近场通信与信息处理设备3通信，诸如wifi(无线保真)，诸如wi-fi直连、蓝牙(注册商标)或红外通信这样的无线局域网(lan)。无线通信单元28可以用于hmd装置2之间的通信。

位置检测器26通过使用全球定位系统(gps)，规律性地检测指示hmd装置2的位置的位置信息，并且向控制器20发送检测到的位置信息。另选地，可以通过使用信标信号来检测hmd装置2的位置。具体地，位置检测器26检测含有信标id的信标信号，信标id用于识别信标发送器，并且位置检测器26向信息处理设备3发送信标id和关于信标信号的强度信息。信息处理设备3从与信标id对应的信标发送器的位置信息且从信标信号的强度获取hmd装置2的位置信息。位置信息使用例如指示经度和纬度的(x，y)来表达。另选地，位置信息使用例如指示经度、纬度和高度的(x，y，z)来表达。

接着，将描述各个hmd装置2的部件200至202。

发送器200向信息处理设备3经由无线通信单元28，发送由向外照相机23a拍摄的图像、由处理器27获得的处理结果(例如，与由姿势检测器270检测到的姿势对应的命令、由视线检测器271检测到的视线方向和与视线方向对应的命令，或者由语音识别器272识别的语音数据)，或者由位置检测器26检测到的位置信息，以及用于识别使用hmd装置2的用户的用户id。

接收器201接收从信息处理设备3的发送器304发送的显示图像和指示显示图像要被视觉识别为虚拟图像的位置的位置信息。

显示控制器202基于由接收器201接收到的显示图像和位置信息，控制显示单元22。具体地，显示控制器202执行控制，以基于由接收器201接收到的显示图像和位置信息来生成右眼显示图像和左眼显示图像，使右透射式显示器221a显示右眼显示图像，并且使左透射式显示器221b显示左眼显示图像，使得使用hmd装置2的用户在与位置信息对应的位置处对虚拟图像进行视觉识别。

显示图像包括与由演示者向白板4的表面4a输入的输入信息有关的相关信息的图像。相关信息包括：例如，与用于引导文本输入位置和文本尺寸的格线有关的显示图像，与网页搜索画面或文件列表有关的显示画面，和与用于支持由演示者执行的输入过程的支持信息(例如，模板列表、词语候选列表和校正候选列表)有关的显示图像。后面将详细描述这些显示图像。

具体地，显示控制器202控制显示单元22，使得与格线有关的虚拟图像可由演示者在白板4的表面4a上(参见图1a和图1b)视觉识别。而且，显示控制器202控制显示单元22，使得与支持信息有关的虚拟图像可由演示者在白板4附近视觉识别。表达“白板4附近”指的是，与真实空间交叠的虚拟空间中由白板4的表面4a占用的区域之外的位置，并且包括例如，白板4的表面4a的上、下、左、右侧的位置，白板4的表面4a前方(即，用户侧的)的位置(即，远离表面4a的前侧)，和相邻位置。

图3是例示了信息处理设备3的控制系统的示例的框图。信息处理设备3包括：控制器30，其控制信息处理设备3的各个部件；存储单元31，其存储各种类型的信息；无线通信单元32，其与各个hmd装置2无线通信；以及网络通信单元33，其经由网络330与外部装置331通信。

无线通信单元32通过使用近场通信，与各个hmd装置2通信，诸如wifi(无线保真)，诸如wi-fi直连、蓝牙(注册商标)或红外通信这样的无线局域网(lan)。

网络通信单元33经由网络330与外部装置331交换信号。网络330是例如局域网(lan)、因特网或内联网，并且可以具有有线或无线配置。显示装置331是例如网页服务器装置。

控制器30由例如中央处理单元(cpu)和接口构成。cpu根据程序310操作，以便用作例如接收器300、文本信息获取单元301、显示图像生成单元302、和发送器303。显示图像生成单元302和发送器303是命令单元的示例。后面将详细描述部件300至303。

存储单元31由例如只读存储器(rom)、随机访问存储器(ram)和硬盘构成，并且在其中存储例如程序310和格线信息311。在格线信息311中，彼此关联地记录由演示者向白板4输入的文本信息和格线的间隔。在该描述中，当向表中写入信息时，使用术语“记录”或“登记”，而当向存储单元中写入信息时，使用术语“存储”。

接着，将描述信息处理设备3的部件300至303。

接收器300接收例如所拍摄的图像、语音数据、位置信息和从各个hmd装置2发送的各种类型的命令。

文本信息获取单元301对由接收器300接收的所拍摄的图像执行文本字符识别过程，以便获取所拍摄的图像中包括的文本信息。文本字符识别过程涉及例如对所拍摄的图像执行光学字符识别(ocr)，以便获取所拍摄的图像中包括的文本信息。例如，由文本信息获取单元301获取的文本信息不仅包括与关于文本本身的输入信息有关的信息和文本的含义，还包括指示文本尺寸的信息，诸如各个文本字符的水平宽度和垂直宽度。

而且，文本信息获取单元301还获取关于当前被显示为虚拟图像的格线的间隔是否适合于输入文本的尺寸的信息。具体地，文本信息获取单元301确定作为文本信息获取的文本的尺寸与当前显示为虚拟图像的格线的间隔之间的差，并且获取关于该差是否在预定范围内的信息。

显示图像生成单元302生成要显示在hmd装置2的显示单元22上的显示图像。例如，显示图像生成单元302通过将由文本信息获取单元301获取的文本信息与信息处理设备3的存储单元31中存储的格线信息311中记录的文本信息进行比较，来确定格线的间隔，并且生成与具有所确定的间隔的格线有关的显示图像。而且，显示图像生成单元302计算所生成的显示图像要被视觉识别为虚拟图像的位置信息。

发送器303命令hmd装置2显示所生成的显示图像，作为虚拟空间图像。具体地，发送器303向hmd装置2发送由显示图像生成单元302生成的显示图像、和显示图像要被视觉识别为虚拟空间图像时的位置信息(即，本示例性实施方式中由演示者使用的hmd装置2a)。

根据示例性实施方式的操作

接着，将根据图5的流程图，参照图4a至图4c来描述由信息处理系统1执行的操作的示例。图4a至图4c例示了虚拟图像的示例。具体地，图4a例示了与格线有关的虚拟图像的示例，图4b例示了与图4a中所示的格线有关的虚拟图像的示例，并且图4c例示了与盒形的格线有关的虚拟图像的示例。图5是例示了根据本发明的示例性实施方式的图像处理设备3的操作的示例的流程图。

1.格线的显示

当演示者移动他/她的手以执行用于命令显示格线的姿势(第一姿势)时，hmd装置2a的姿势检测器270从由传感器单元24的距离图像传感器获取的距离图像，来检测第一姿势，并且向控制器20发送与第一姿势对应的第一命令。位置检测器26规律性地检测指示hmd装置2a的位置的位置信息，并且向控制器20发送检测到的位置信息。控制器20从距离图像传感器获取相对于白板4的距离图像。根据距离图像来确定白板4相对于hmd装置2a的位置。控制器20的发送器200经由无线通信单元28，向信息处理设备3发送第一命令、距离图像和hmd装置2a的位置信息。

在步骤s1中，接收器300接收从hmd装置2a发送的hmd装置2a的第一命令、距离图像、以及位置信息。当接收器300接收第一命令时，在步骤s2中，显示图像生成单元302生成要显示在hmd装置2a的显示单元22上的格线相关的显示图像，并且在步骤s3中，计算格线相关的显示图像要被视觉识别为虚拟图像的位置信息。例如，这里要生成的格线相关的显示图像基于格线信息311中记录的信息而生成，并且包括以它们之间设置的预定间隔而设置的多条线。

在步骤s4中，信息处理设备3的发送器303向演示者所使用的hmd装置2a发送由显示图像生成单元302生成的格线相关的显示图像、和格线相关的显示图像要被视觉识别为虚拟图像时所在的位置信息。

接收器201接收从信息处理设备3的发送器303发送的格线相关的显示图像、和格线相关的显示图像要被视觉识别为虚拟图像时所在的位置信息。

如图4a所示，显示控制器202基于由接收器201接收的显示图像和位置信息，来控制显示单元22，使得与具有预定间隔的格线40a有关的显示图像在白板4的表面4a上被演示者视觉识别为虚拟图像。

2.文本信息的获取

每当第一命令从姿势检测器270发送，以便拍摄关于由演示者向白板4的表面4a输入的文本的输入信息时，hmd装置2a的控制器20控制向外照相机23a。控制器20获取由于向外照相机23a对白板4的表面4a进行拍摄而获得的所拍摄的图像。

hmd装置2a的发送器200向信息处理设备3发送所拍摄的图像。

在步骤s5中，信息处理设备3的接收器300接收从hmd装置2a发送的所拍摄的图像。

在步骤s6中，文本信息获取单元301对由接收器300接收的所拍摄的图像执行文本字符识别过程，以便获取所拍摄的图像中包括的文本信息。

3.格线的改变

在步骤s7中，如果当前被显示为虚拟图像的格线的间隔不适于输入文本的尺寸，则显示图像生成单元302在步骤s8中，通过将由文本信息获取单元301获取的文本信息与信息处理设备3的存储单元31中存储的格线信息311进行比较，来确定格线的间隔，并且在步骤s9中，生成与具有确定的间隔的格线有关的显示图像。

在步骤s10中，发送器303向由演示者使用的hmd装置2a发送由显示图像生成单元302生成的、与具有确定间隔的格线有关的显示图像。

如图4b所示，hmd装置2a的显示控制器202控制显示单元22，使得与具有预定间隔的格线40b有关的显示图像被演示者在白板4的表面4a上视觉识别为虚拟图像。

期望执行控制，使得与上述格线有关的虚拟图像仅显示在由演示者戴着的hmd装置2a上。而且，虽然在本示例性实施方式中，为了方便，描述了参与者也戴着hmd装置2b，但参与者不是必须戴hmd装置2b，只要演示者戴hmd装置2a即可。

因此，根据本发明的示例性实施方式的信息处理设备3，使演示者视觉查看根据向白板4的表面4a输入的文本的尺寸的格线，以便支持减小输入文本的尺寸的变化，并且还支持与白板4的上边缘和下边缘平行输入多个文本字符的过程。

虽然上面已经描述了本发明的示例性实施方式，但是本发明不限于上述示例性实施方式，并且允许各种修改例，只要它们不偏离本发明的范围即可。下面将详细描述具体修改例。在以下描述中，hmd装置2a的控制器20的部件和信息处理设备3的控制器30的部件各自执行操作，除非以其他方式陈述，并且将省略上述示例性实施方式中描述的部件的细节。

第一修改例

虽然显示图像生成单元302在以上示例中显示与沿一个方向(例如，水平方向)延伸的格线有关的显示画面，但是如图4c所示，显示单元22可以受控，使得与盒形的格线40c有关的显示图像由演示者视觉识别。

第二修改例

格线的类型可以根据由演示者执行的姿势来改变。下面将提供详细描述。表达“改变格线的类型”指的是，例如将图4a中所示的水平格线改变为图4c中所示的盒形格线。

当演示者移动他/她的手以执行用于改变格线的类型的姿势(第二姿势)时，hmd装置2a的姿势检测器270检测第二姿势，并且hmd装置2a的发送器200向信息处理设备3发送与第二姿势对应的第二命令。

接收到第二命令的信息处理设备3生成与格线有关的显示图像，该格线的类型与当前显示为虚拟图像的格线的类型不同，并且向hmd装置2a发送所生成的显示图像。接收到显示图像的hmd装置2a控制显示单元22，使得与改变后的格线有关的显示图像在白板4的表面4a上被演示者视觉识别为虚拟图像。

例如，在演示者保持用于向白板4的表面4a输入输入信息的笔100(参见图7)的情况下，第二姿势对应于演示者用预定手指(例如，食指)轻击笔100预定次数(例如，两次或五次)的操作。

因此，hmd装置2a根据演示者的姿势来改变格线，以便使演示者视觉识别格线为虚拟图像。

第三修改例

作为对格线的间隔根据由文本信息获取单元301获取的文本信息来改变的上述示例性实施方式的替换，可以根据演示者的姿势来改变格线的间隔。下面将提供详细描述。

当演示者移动他/她的手以执行用于改变格线的间隔的姿势(第三姿势)时，hmd装置2a的姿势检测器270检测第三姿势，并且hmd装置2a的发送器200向信息处理设备3发送与第三姿势对应的第三命令。

接收到第三命令的信息处理设备3生成与格线有关的显示图像，该格线的类型与当前显示为虚拟图像的格线的类型不同，并且向hmd装置2a发送所生成的显示图像。接收显示图像的hmd装置2a控制显示单元22，使得与具有改变后的预定间隔的格线有关的显示图像被演示者在白板4的表面4a上视觉识别为虚拟图像。

例如，在演示者保持用于向白板4的表面4a输入输入信息的笔100的情况下，第三姿势对应于演示者滑动笔100的操作。

第四修改例

图6例示了支持信息的示例。如图6所示，hmd装置2a可以控制显示单元22，使得包括多个模板51的模板集5由演示者在白板4的表面4a附近(例如，在白板4的表面4a的上、下、左、或右侧的相邻位置)视觉识别为虚拟图像。下面将提供详细描述。

当演示者移动他/她的手以执行用于改变格线的间隔的姿势(第四姿势)时，hmd装置2a的姿势检测器270检测第四姿势，并且hmd装置2a的发送器200向信息处理设备3发送与第四姿势对应的第四命令。

接收到第四命令的信息处理设备3生成与包括多个模板51的模板集5有关的显示图像，并且向hmd装置2a发送所生成的显示图像。接收显示图像的hmd装置2a可以控制显示单元22，使得与模板集5有关的显示图像由演示者在白板4的表面4a的上、下、左、或右侧的相邻位置处视觉识别为虚拟图像。

例如，第四姿势对应于这样的操作：演示者在预定时间段(例如，两秒或五秒)指定虚拟空间中白板4的表面上的预定位置。可以执行控制，使得例如充当麦克笔的对象(诸如指针52)在虚拟空间中显示在预定位置处。模板集5对应于例如smartart(注册商标)。

第五修改例

图7例示了支持信息的示例。如图7所示，hmd装置2a可以控制显示单元22，使得包括多个词语候选61的词语列表6由演示者在白板4的表面4a上视觉识别为虚拟图像。下面将提供详细描述。

当演示者移动他/她的手以执行用于显示词语列表6的姿势(第五姿势)时，hmd装置2a的姿势检测器270检测第五姿势，并且hmd装置2a的发送器200向信息处理设备3发送与第五姿势对应的第五命令。

每当第五命令从姿势检测器270发送，以便拍摄笔尖100a的轨迹时，hmd装置2a的控制器20控制向外照相机23a。换言之，向外照相机23a检测由用户在半空中执行的手写操作。控制器20获取由于向外照相机23a对笔尖100a的轨迹进行拍摄而获得的所拍摄的图像。

文本信息获取单元301对所拍摄的图像执行文本字符识别过程，以便获取所拍摄的图像中包括的文本信息。而且，文本信息获取单元301从已识别出的文本(例如，字母字符或字符)预测充当输入候选的词语候选61。例如，词语候选61可以通过使用已知方法进行预测，诸如基于预定相关字典生成候选。而且，词语候选61可以通过使用例如学习功能，诸如深度学习来学习。词语候选61是对检测到的用户在半空中执行的手写操作的响应。

显示图像生成单元302生成与包括多个词语候选61的词语列表6有关的显示图像，并且向hmd装置2a发送显示图像。接收显示图像的hmd装置2a控制显示单元22，使得与词语列表6有关的显示图像被演示者在白板4的表面4a上视觉识别为虚拟图像。

例如，第五姿势对应于演示者使预定手指(例如，食指)接触笔100的操作。

第六修改例

图8例示了支持信息的示例。如图8所示，hmd装置2a可以控制显示单元22，使得校正候选7由演示者在白板4的表面4a上视觉识别为虚拟图像。下面将提供详细描述。

hmd装置2a的控制器20控制向外照相机23a，以便拍摄由演示者向白板4的表面4a输入的输入信息，诸如文本。控制器20获取由于向外照相机23a对白板4的表面4a进行拍摄而获得的所拍摄的图像。

文本信息获取单元301对所拍摄的图像执行文本字符识别过程，以便获取所拍摄的图像中包括的文本信息。而且，文本信息获取单元301检查所获取的文本信息是否包括拼错或遗漏，并且如果输入信息包括拼错或遗漏(有时总称为“排印错误(typographicalerror)”)，则文本信息获取单元301获取指示排印错误的位置的信息，并且预测校正候选。已知方法可以用于提取拼错或遗漏，且用于预测校正候选。

显示图像生成单元302生成包括预测校正候选7的显示图像，并且向hmd装置2a发送显示图像。接收显示图像的hmd装置2a控制显示单元22，使得与具有预定间隔的格线40b有关的显示图像被演示者在白板4的表面4a上视觉识别为虚拟图像。

第七修改例

图9例示了相关信息的示例。如图9所示，hmd装置2a可以控制显示单元22，使得文件列表8和文件82由演示者在白板4的表面4a上视觉识别为虚拟图像。文件82是例如：根据文档创建程序、图形创建程序或表格计算程序而创建的数据。下面将提供详细描述。

当演示者移动他/她的手以执行用于显示文件列表8的姿势(第六姿势)时，hmd装置2a的姿势检测器270检测第六姿势，并且hmd装置2a的发送器200向信息处理设备3发送与第六姿势对应的第六命令。

接收到第六命令的信息处理设备3生成与文件列表8有关的显示图像，并且向hmd装置2a发送显示图像。接收到显示图像的hmd装置2a控制显示单元22，使得与文件列表8有关的显示图像被演示者在白板4的表面4a上视觉识别为虚拟图像。

当演示者从虚拟空间中显示的文件列表8选择特定文件名81时，hmd装置2a控制显示单元22，使得与特定文件名81对应的文件82有关的显示图像由演示者在白板4的表面4a上视觉识别为虚拟图像。

期望的是，文件82显示在提前存储在例如信息处理设备3的存储单元31中的虚拟空间中。

第八修改例

信息处理设备3的控制器30可以还包括：转换器，其从语音数据提取文本，通过将转换信息(例如，话题)的一部分转换成文本；和集成器，其集成彼此相关的会话信息。下面将详细描述装配有集成器的信息处理设备。

信息处理设备3的接收器300确定是否接收语音数据。

当参与者有会话时，由参与者使用的hmd装置2b的声音输入单元25将由参与者提供的语音转换成语音信号，并且接收语音信号。语音识别器272将语音信号转换成语音数据。发送单元200向信息处理设备3发送语音数据。

信息处理设备3的接收器300接收语音数据。当接收器300接收到语音数据时，转换器从语音数据提取会话信息。集成器在所提取的会话信息中集成彼此相关的会话信息，以便生成集成信息。

现在将描述示例。例如，在由转换器从语音数据提取的会话信息包括“inventionproposal(最后期限、明天)”、“inventionproposal(发明提案)”、“intellectualpropertydepartment(知识产权部门)”、“supervisor,consult(监督人、商议)”、“program,implement(程序、实施)”、“originaltechnology(原始技术)”和“highaccuracy,highspeed(高精度、高速度)”，集成器集成“deadline,tomorrow(最后期限、明天)”、“inventionproposal(发明提案)”、“intellectualpropertydepartment(知识产权部门)”、“supervisor,consult(监督人、商议)”，以便生成集成信息“patent,invention(专利、发明)”，并且还集成“program,implement(程序、实施)”、“originaltechnology(原始技术)”、和“highaccuracy,highspeed(高精度、高速度)”，以便生成集成信息“originaltechnology,develop(原始技术，开发)”。已知方法可以用于提取会话信息并且用于生成集成信息。

而且，信息处理设备3可以生成与集成信息有关的显示图像，并且向hmd装置2a发送显示图像。接收显示图像的hmd装置2a可以控制显示单元22，使得与集成信息有关的显示图像被演示者在白板4的表面4a上视觉识别为虚拟图像。而且，当演示者选择被显示为虚拟图像的集成信息时，hmd装置2a可以控制显示单元22，使得所选的集成信息中包括的转换信息由演示者视觉识别为虚拟图像。

第九修改例

图10例示了相关信息的示例。信息处理设备3可以还包括处理器，其基于演示者的移动来执行特定处理。具体地，如图10所示，基于从信息处理设备3发送的显示图像，hmd装置2a的显示控制器202可以控制显示单元22，使得网页搜索画面9由演示者在白板4的表面4a上视觉识别为虚拟图像。下面将提供详细描述。

当演示者移动他/她的手以执行用于命令朝向演示者检索输入信息的姿势(第七姿势)时，hmd装置2a的姿势检测器270检测第七姿势，并且hmd装置2a的发送器200向信息处理设备3发送与第七姿势对应的第七命令。

接收第七命令的信息处理设备3生成与输入信息有关的显示图像，并且向hmd装置2a发送显示图像。接收显示图像的hmd装置2a控制显示单元22，使得与输入信息有关的显示图像被演示者在白板4的表面4a的演示者侧(即，前侧)视觉识别为虚拟图像(参见图10中的符号“a”)。

当演示者在演示者侧从被检索为虚拟画面的输入信息a选择网页上要搜索的字符串(例如，图10中的“patentapplications(专利申请)”)时，信息处理设备3基于所选字符串生成与要用于搜索的网页搜索画面9有关的显示图像，并且向hmd装置2a发送显示图像。接收到显示图像的hmd装置2a控制显示单元22，使得与网页搜索画面9有关的显示图像被演示者在白板4的表面4a上视觉识别为虚拟图像。在这种情况下，“选择”是由用户执行的操作的示例。用于基于所选字符串进行搜索的网页搜索画面的显示是基于由用户执行的操作的处理的示例。虽然演示者选择的文本“patentapplications(专利申请)”在图10中为了方便加下划线并且粗体显示，但是文本可以另选地以例如彩色显示。

例如，第七姿势对应于演示者画更靠近他/她的他/她的手的操作。

因此，允许演示者选择朝向演示者检索的虚拟画面中的字符串，使得演示者可以选择要搜索的字符串，而不必触摸向真实空间中白板4的表面4a的文本输入。

第十修改例

可以根据以下方法获取白板4的位置信息。

例如，可以根据使用地图数据的方法来获取白板4的位置信息。具体地，地图数据预先存储在信息处理设备3的存储单元中。在地图数据中，内部设置白板4的建筑物或房间内的三维图形和用于识别白板4的白板id彼此关联，并且地图数据含有位置信息，其指示建筑物或房间内设置的白板4的三维位置。三维图形与由各个hmd装置2的向外照相机23a拍摄的白板的图像进行比较。白板4的位置信息和白板id基于hmd装置2的位置信息来获取，该图像包括由hmd装置2的向外照相机23a拍摄白板4和地图数据。

另一种方法可以涉及向白板4附接代码图像，诸如qr代码(注册商标)，其中，指示白板4的位置的位置信息及其白板id被编码，向信息处理设备3发送由hmd装置2的向外照相机23a拍摄的代码图像，以及通过在信息处理设备3解码代码图像，获取白板4的位置信息。

当发送器303向hmd装置2发送显示图像以及显示图像要被视觉识别为虚拟图像时的位置信息时，hmd装置2的显示控制器202执行控制，使得显示图像在位置信息中指示的位置处被显示为虚拟图像。

虽然上面已经描述了本发明的示例性实施方式，但本发明的示例性实施方式不限于上述示例性实施方式，并且本发明的范围内允许各种修改例。

控制器20和30中包括的各个部件可以部分或全部由硬件电路构成，诸如场可编程门阵列(fpga)或专用集成电路(asic)。

上述每一个示例性实施方式的部件中的一个或一些部件可以省略或在本发明的范围内修改。而且，在以上各个示例性实施方式的流程图中，例如，可以在本发明的范围内添加、删除、改变或互换一个或多个步骤。而且，各个上述示例性实施方式中使用的程序可以通过记录在计算机可读记录介质上来提供，诸如光盘只读存储器(cd-rom)。另选地，各个上述示例性实施方式中使用的程序可以存储在外部服务器中，诸如云服务器，并且可以经由网络使用。

对本发明的示例性实施方式的上述说明是为了例示和说明的目的而提供的。并非旨在对本发明进行穷尽，或者将本发明限于所公开的精确形式。显而易见的是，很多修改例和变型例对于本领域技术人员是明显的。选择了实施方式进行说明，以最好地解释本发明的原理及其实际应用，以使本领域其它技术人员能够理解本发明的各种实施方式，以及适合于所设想的具体用途的各种变型。本发明的范围旨在由所附权利要求及其等同物来限定。