信息处理设备和记录介质的制作方法
【专利摘要】提供了一种信息处理设备，其包括：显示控制单元，其被配置成包括其中以由第一成像单元捕捉的来自用户视点的第一图像被显示在显示单元上的方式来执行控制或者以显示单元为透射式的方式来执行控制的第一显示控制模式以及其中以由在视角内包括用户的第二成像单元捕捉的第二图像被显示在显示单元上的方式来执行控制的第二显示控制模式；以及切换控制单元，其被配置成以显示控制单元的显示控制模式被从第一显示控制模式切换至第二显示控制模式的方式响应于来自用户的指令而执行控制。
【专利说明】信息处理设备和记录介质
[0001]相关申请的交叉引用
[0002]本申请要求2012年12月10日提交的日本优先权专利申请JP2012-269270的权
益，其全部内容被通过弓I用结合到本文中。
【背景技术】
[0003]本公开涉及一种信息处理设备和一种记录介质。
[0004]近年来，已提出了一种系统，其中，将指示用户的称为化身(avatar)的对象传送至以三维图形显示的虚拟空间中，其即为三维虚拟空间，该化身能够在虚拟空间中到处行走，并且该化身还能够具有与用于另一用户的化身的会话(交谈)。以三维图形显示的虚拟空间允许用户感觉更强烈，如同用户处于虚拟空间而不是二维图形中一样。
[0005]在三维虚拟空间中可以促使在真实空间中几乎不可想象的事件或仅在用户的幻想世界中发生的事件发生。例如，JP H11-161812A提出了一种技术，其用于通过切换虚拟世界中的第一人视点(向导化身视点)和第三人视点来使得用户感觉如同用户处于三维虚拟世界中且漂浮在身体外面一样。
【发明内容】
[0006]虽然JP H11-161812A当然是一种用于使得用户感觉如同在虚拟空间中漂浮在身体外面的一样的技术，但没有提到关于使得用户感觉如同在真实世界中用户实际上漂浮在身体外面一样的任何东西。
[0007]本公开因此提出了一种新颖且改进的信息处理设备和记录介质，其能够从真实世界中的第三人视点(从那里俯瞰用户)对图像执行显示控制。
[0008]根据本公开的实施例，提供了一种包括显示控制单元以及切换控制单元的信息处理设备，该显示控制单元被配置成包括其中以由第一成像单元捕捉的来自用户视点的第一图像被显示在显示单元上的方式来执行控制或者以显示单元为透射式的方式来执行控制的第一显示控制模式以及其中以由在视角内包括用户的第二成像单元捕捉的第二图像被显示在显示单元上的方式来执行控制的第二显示控制模式，并且该切换控制单元被配置成以显示控制单元的显示控制模式被从第一显示控制模式切换至第二显示控制模式的方式响应于来自用户的指令而执行控制。
[0009]根据本公开的另一实施例，提供了一种具有存储在其上面的程序的非临时计算机可读记录媒体，该程序促使计算机充当显示控制单元以及切换控制单元，该显示控制单元被配置成包括其中以由第一成像单元捕捉的来自用户视点的第一图像被显示在显示单元上的方式来执行控制或者以显示单元为透射式的方式来执行控制的第一显示控制模式以及其中以由在视角内包括用户的第二成像单元捕捉的第二图像被显示在显示单元上的方式来执行控制的第二显示控制模式，并且该切换控制单元被配置成以显示控制单元的显示控制模式被从第一显示控制模式切换至第二显示控制模式的方式响应于来自用户的指令而执行控制。[0010]根据本公开的实施例中的一个或多个，变得可以从真实世界中的第三人视点(从那里俯瞰用户)对图像执行显示控制。
【专利附图】
【附图说明】
[0011]图1是用于描述根据本公开的实施例的显示控制系统的概述的图；
[0012]图2是图示出根据本公开的实施例的HMD的外部的框图；
[0013]图3是图示出根据本公开的实施例的HMD的内部配置示例的框图；
[0014]图4是图示出根据本公开的实施例的显示控制处理的流程图；
[0015]图5是用于描述指示用户的位置被叠加在第二捕捉图像上的位置的指示器的图；
[0016]图6A是图示出显示在根据本实施例的外显示单元上且指示用户正在经历体外体验的图像的示例的图；
[0017]图6B是图示出显示在根据本实施例的外显示单元上且指示用户正在经历体外体验的图像的示例的图；
[0018]图7是用于描述具有被认为存在于其中的虚拟相机的显示控制系统的图；
[0019]图8是图示出具有被认为存在于其中的虚拟相机的显示控制系统的显示控制处理的流程图；
[0020]图9是图示出包括服务器的显示控制系统中的显示控制处理的流程图；
[0021]图10是图示出包括服务器的显示控制系统的另一显示控制处理的流程图；
[0022]图1lA是用于描述其中来自体外视点的场景(第二捕捉图像)被显示在智能电话的显示单元上的第一系统配置示例的图；以及
[0023]图1lB是用于描述其中来自体外视点的场景(第二捕捉图像)被显示在智能电话的显示单元上的第二系统配置示例的图。
【具体实施方式】
[0024]在下文中，将参考附图来详细地描述本公开的优选实施例。请注意，在本说明书和所附权利要求中，用相同的附图标记来表示具有基本上相同的功能和结构的结构元件，并且省略这些结构元件的重复说明。
[0025]将按以下顺序进行描述。
[0026]1.根据本公开的实施例的显示控制系统的概述
[0027]2.HMD的配置和操作处理
[0028]2-1.HMD 的外部
[0029]2-2.HMD的内部配置
[0030]2-3.显示控制处理
[0031]2-4.补充
[0032]3.其他实施例
[0033]3-1.虚拟相机
[0034]3-2.由服务器执行的控制处理
[0035]3-3.另一设备示例
[0036]4.结论[0037]《1.根据本公开的实施例的显示控制系统的概述》
[0038]图1是用于描述根据本公开的实施例的显示控制系统的概述的图。如图1中所示，根据本实施例的显示控制系统包括头戴式显示器(HMD) I和外部相机32。HMDl通过诸如W1-Fi的无线通信向和从外部相机32传送和接收数据。
[0039]HMDl是由用户P佩戴的眼镜式可佩戴设备，如图1中所示。当HMDl被佩戴时，用于右眼和左眼的一对显示单元2直接设置在用户的两只眼睛前面，一般眼镜的透镜即位于那里。
[0040]显示单元2可以是透射式的。HMDl将显示单元2设置于通透状态，其即为透明状态或半透明状态。相应地，如果用户P像一般眼镜一样始终佩戴HMDl，则HMDl不干扰日常生活。
[0041]因此，当显示单元2被控制而处于透射状态时，用户P能够经由显示单元2在视觉上从用户视点(第一人视点)识别场景201，如图1中的左侧所示。替换地，HMDl基本上能够通过在显示单元2上实时地显示由成像单元(第一成像单元)捕捉的捕捉图像而如图1的左侧所示从用户视点(第一人视点)提供场景2-1，该成像单元(第一成像单元)被安装在HMDl上并被配置成在用户的注视方向上捕捉一定区域的图像。这样，在显示单元2上执行透光率控制，或者执行控制，使得显示由第一成像单元捕捉的来自用户视点的第一捕捉图像。在本文中将其中在这种控制下提供来自用户视点(第一人视点)的场景的模式称为第一显示控制模式。
[0042]在这里，JP H11-161812A当然通过将视点切换至第三人视点(从那里在视觉上识别向导化身)而使得用户从向导化身视点感觉如同漂浮在身体外面一样。然而，JPH11-161812A仅在虚拟空间中提供仿真图像(CG图像)。相反，根据本公开的实施例的显示控制系统能够使得用户感觉如同在真实世界中用户实际上漂浮在身体外面一样。
[0043]具体地，根据本实施例的HMDl响应于来自用户P的视点切换指令(体外指令)而在显示单元2上显示来自真实世界中的第三人视点(从那里俯瞰用户P)的场景(拍摄图像)。在本文中将其中显示来自体外视点(第三人视点)的场景的这种模式称为第二显示控制模式。
[0044]例如，如图1的中心和图1的右侧所示，HMDl响应于来自用户P的指令而控制显示单元2以实时地显示由在视角内包括用户P的外部相机32 (第二成像单元)捕捉的第二捕捉图像2-2和2-3。如图1中所示，捕捉图像2-2和2-3是来自在视角内包括用户P的预定第三人视点的视频。例如，捕捉图像2-2和2-3是响应于来自HMDl的指令或在由外部相机32自动地执行变焦控制时获取的。另外，捕捉图像2-2和2-3被依次地显示在HMDl的显示单元2上。在显示单元2上实时地依次显示捕捉图像2-2和2-3使得用户P感觉如同在真实世界中用户P实际上具有体外体验且正在飘向天空中一样。
[0045]如上所述，已描述了根据本实施例的显示控制系统的概述。接下来，参考图2至4，将描述根据本实施例的显示控制系统中包括的HMDl (信息处理设备)的配置和操作处理。
[0046]另外，上述外部相机32 (第二成像单元)还可以是安装在室内空间或室外空间中的固定保安/监督相机或安装在飞行对象(诸如经受无线电控制的小型设备或飞船)上的相机。尤其是在其中在全世界设置了许多相机的环境中，无论用户P在那里，HMDl都能够搜索设置在HMDl周围的相机并实时地获取通过用在视角内包括用户P的相机来捕捉用户P的图像而获得的图像(第二捕捉图像)。
[0047]此外，外部相机32 (第二成像单元)可以是被附接于从HMDl延伸的臂的尖端的相机(潜望镜相机)，该HMDl被佩戴在用户P的头上并能够捕捉视角内的用户P的图像。
[0048]《2.HMD的配置和操作处理》
[0049]<2-1.HMD 的外部 >
[0050]图2是用于描述根据本实施例的HMDl的外部的图。图2中所示的眼镜式HMDl也称为透视HMD，并且可以控制显示单元2处于透射状态，如上所述。
[0051]具体地，HMDl包括例如像从头的两侧向头的后面围绕头的一半的框架一样配置的可佩戴单元。如图2中所示，用户通过在两个耳廓处悬挂HMDl来佩戴HMDl。
[0052]当如图2中所示地佩戴HMDl时，用于右眼和左眼的一对显示单元2被直接设置在用户的两只眼睛前面，一般眼镜的透镜即位于那里。例如，将液晶面板用于显示单元2。HMDl能够控制液晶面板的透光率，使得液晶面板处于通透状态，即为如图2中所示的透明或半透明状态(透射状态或半透射状态)。如果用户像眼镜一样始终佩戴HMl，处于通透状态的显示单元2不会干扰平常的日常生活。
[0053]显示单元2还能够显示通过用成像透镜3a捕捉真实空间的图像而获得的捕捉图像。显示单元2还能够再现和显示由HMl从外部设备接收到的内容和存储在HMl的存储介质中的内容。如图1中所示的外部相机32之外，该外部设备还是诸如移动电话终端、智能电话、个人计算机以及服务器的信息处理设备。
[0054]除了由上述外部相机32捕捉的来自在视角内包括用户P的第三人视点的捕捉图像2-2和2-3之外，由显示单元2再现和显示的内容还可以是运动图像内容，诸如电影和视频剪辑以及诸如电子书的文本数据。该内容还可以包括作为显示目标的各种各样的数据，诸如包括例如由用户用个人计算机等创建的图像数据、文本数据以及电子数据表数据的计算机使用数据，以及基于游戏程序的游戏图像。
[0055]当用户P如图2中所示地佩戴HMDl时，成像透镜3a面朝前，使得在由用户在视觉上识别的方向上的一定区域的图像被捕捉为主题方向。此外，安装有发光单元4a，其照亮在成像透镜3a的图像捕捉方向上的一定区域。发光单元4a由例如发光二极管(LED)构成。
[0056]图2仅图示出用于左耳的单个耳机扬声器，但安装有一对耳机扬声器5a，其能够在用户佩戴HMDl时插入用户的右耳孔和左耳孔中。
[0057]被配置成收集外部声音的扩音器6a和6b设置在用于右眼的显示单元2的右侧处和用于左眼的显示单元2的左侧处。
[0058]图1中所示的HMDl的外部仅仅是示例。可设想用于用户佩戴HMDl的各种配置。HMDl可以由一般地类似于眼镜或者可佩戴在头上的可佩戴单元构成。至少在本实施例中，显示单元2可以刚好直接设置在用户的眼睛前面。不仅该对显示单元2被安装为从而对应于两个眼睛，而且还可以将显示单元2中的仅一个安装为从而对应于一个眼睛。
[0059]类似地，不仅耳机扬声器5a被安装为右和左立体扬声器，而且还可以将耳机扬声器5a中的进一个安装为从而插入一个耳孔中。还可以仅安装扩音器6a和6b中的一个。
[0060]可以不安装扩音器6a和6b以及耳机扬声器5a。同样地，还可以不安装发光元件4。
[0061]如上所述，已描述了根据本实施例的HMDl的外部。另外，本实施例已描述了在由用户P佩戴的眼镜式HMDl的显示单元2上执行显示控制，并且在HMDl上显示来自体外视点(第二捕捉图像)的场景。然而，本实施例不限于HMD1。例如，根据本实施例的显示控制系统可以执行控制，使得在智能电话、移动电话终端、个人数字助理(PDA)、个人计算机(PC)、平板终端、数字式相机、数字视频相机、便携式音乐再现设备、便携式视频处理设备、便携式游戏设备等的显示单元上显示来自体外视点的场景(第二捕捉图像)。
[0062]<2-2.HMD的内部配置>
[0063]接下来，参考图3，将描述根据本实施例的HMDl的内部配置示例。图3是图示出图2中所示的HMDl的内部配置示例的框图。
[0064]如图3中所示,HMDI包括显示单元2、成像单元3、照明单元4、音频输出单元5、音频输入单元6、系统控制器10、成像控制单元11、显示图像处理单元12、显示驱动单元13、显示控制单元14、成像信号处理单元15、音频信号处理单元16、图像分析单元17、照明控制单元18、GPS接收单元21、存储单元25、通信单元26、图像输入/输出控制机构27、音频输入/输出控制机构28以及音频合成单元29。
[0065](系统控制器)
[0066]系统控制器10包括装配有例如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、非易失性存储器以及接口单元的微型计算机。系统控制器10控制HMDl的结构元件。
[0067]系统控制器10还充当被配置成识别HMDl的位置的位置识别单元IOa和被配置成控制HMDl的操作的操作控制单元10b，如图2中所示。
[0068]位置识别单元IOa基于从GPS接收单元21、图像分析单元17或音频信号处理单元16输出的数据来识别HMDl的当前位置(当前地点)。具体地，例如，位置识别单元IOa将实时地从GPS接收单元21接收到的当前位置信息(诸如经度和纬度)识别为当前位置。位置识别单元IOa还可以将实时地由成像单元3捕捉并由图像分析单元17分析的捕捉图像识别为当前位置。位置识别单元IOa还可以将由实时地由音频输入单元6收集并由音频信号处理单元16处理的声音所表示的名称识别为当前位置。另外，该名称包括例如地址、地名、设施名称(包括公园名称)或建筑物名称。
[0069]操作控制单元IOb控制HMDl的每个操作。更具体地，根据本实施例的操作控制单元IOb充当切换控制单元，其被配置成响应于来自用户的切换指令而执行控制以便将视点切换至体外视点，使得显示控制单元14的显示控制模式从第一显示控制模式切换至第二显示控制模式。如上所述，来自第一人视点的场景在第一显示控制模式下被提供给用户P，而来自体外视点(其即为第三人视点)的用户P的捕捉在第二显示控制模式下被实时地提供给用户P。
[0070]操作控制单元IOb (切换控制单元)能够从用户接收指令以便通过按钮/开关操作输入、注视输入、音频输入、手势输入、肌电输入或脑电波输入而将视点切换至体外视点。
[0071]按钮/开关操作输入是经由安装在HMDl上的物理按钮/开关(未示出)的操作输入。用户P按下按钮/开关以便发布用于将视点切换至体外视点的指令，从而发布该指令。
[0072]注视输入是输入指令的一种方式，其基于由在HMDl中向内安装的成像透镜(未示出)捕捉的图像而被检测，从而拍摄用户P的眼睛的图像。操作控制单元IOb跟踪其图像已被捕捉的用户P的眼睛的瞳孔，并计算注视的取向。操作控制单元IOb能够从而识别用户注视哪里(注视方向)。用户P能够通过在预定方向上注视大预定时间并眨眼预定时间来发布用于将视点切换至体外视点的指令。
[0073]音频输入是输入指令的一种方式，其可以被收集声音的音频输入单元6和识别该声音的音频信号处理单元16检测。例如，用户P能够通过说出(在身体外面)等来发布用于将视点切换至体外视点的指令。
[0074]手势输入是输入指令的一种方式，其可以在图像分析单元17中被成像透镜3a识另O，成像透镜3a拍摄由用户P的手完成的手势的图像。另外，手势输入还可以是通过用户P的头的移动来输入指令的一种方式，该移动可以被安装在HMDl中的加速度传感器或陀螺仪传感器检测到。
[0075]肌电输入是输入指令的一种方式，其基于由安装在HMDl中的肌电传感器(未不出)获得的结果而被检测，该肌电传感器测量在用户P很快地睁开和闭上左眼、右眼或两只眼睛时产生的肌电变化。例如，用户P能够通过眨左眼来发布用于将视点切换至体外视点的指令，能够通过眨右眼来将体外视点从天空引入到诸如俯瞰用户P的较高位置，并且能够通过闭上两只眼睛来使体外视点返回至原始视点(第一人视点)。
[0076]此外，脑电波输入是输入指令的一种方式，其基于由安装在HMDl中的脑电波传感器(未示出)获得的结果而被检测，该脑电波传感器测量在用户P放松或全神贯注时产生的脑电波的变化。例如，用户P能够通过想象用户正漂浮在身体外面并全神贯注来发布用于将视点切换至体外视点的指令。
[0077](成像单元)
[0078]成像单元3包括例如包括成像透镜3a、光阑、变焦透镜以及聚焦透镜的透镜系统、被配置成引起对透镜系统的聚焦操作或变焦操作的驱动系统以及被配置成通过对由透镜系统获取的成像光执行光电转换而生成成像信号的固态图像传感器阵列。固态图像传感器阵列可以例如由电荷耦合器件(CCD)传感器阵列和互补金属氧化物半导体(CMOS)传感器阵列实现。
[0079]捕捉图像由成像透镜3a捕捉，其面朝前从而在被用户P在视觉上识别为主题方向的方向上拍摄一定区域的图像，如图2中所示。此类捕捉图像是来自用户视点(第一人视点)的第一捕捉图像。能够从用户视点捕捉此类捕捉图像的成像单元3是根据本公开的实施例的第一成像单元的示例。
[0080](成像信号处理单元)
[0081]成像信号处理单元15包括样本保持/自动增益控制(AGC)电路，其被配置成对由成像单元3的固态图像传感器或视频模/数(A/D)转换器获取的信号执行增益控制或波形成形。成像信号处理单元15从而获取成像信号作为数字数据。成像信号处理单元15还对例如成像信号执行白平衡处理、辉度处理、彩色信号处理以及抖动修正处理。
[0082](成像控制单元)
[0083]成像控制单元11基于来自系统控制器10的指令来控制成像单元3和成像信号处理单元15的操作。例如，成像控制单元11控制成像单元3和图像信号处理单元15的操作被开启/关掉。成像控制单元11还被配置成对成像单元3执行控制(电动机控制)以执行诸如自动聚焦操作、自动曝光调整、光阑调整以及变焦操作的操作。成像控制单元11包括时序发生器，并用由时序发生器生成的时序信号来控制固态图像传感器以及成像信号处理单元15的样本保持/AGC电路和视频A/D转换器的信号处理操作。此类时序控制允许对成像帧数据的可变控制。
[0084]成像控制单元11还控制固态图像传感器和成像信号处理单元15中的成像灵敏度和信号处理。例如，成像控制单元11能够增益控制，诸如对从固态图像传感器读出的信号的成像灵敏度控制、黑色水平设置控制、用于作为数字数据的成像信号的处理中的各种系数控制、抖动修正处理中的修正水平控制等。相对于成像灵敏度，还能够执行未对波长带宽给出特定考虑的整体灵敏度调整或用于调整诸如红外线范围和紫外线范围的特定波长宽度的成像灵敏度的灵敏度调整(诸如通过切割特定波长带宽的成像)。将波长滤波器插入成像透镜系统中，或者对成像信号执行波长滤波操作处理，从而允许根据波长来进行灵敏度调整。在这种情况下，成像控制单元11能够通过对波长滤波器执行插入控制、指定滤波器操作系数等来执行灵敏度控制。
[0085](图像输入/输出控制机构)
[0086]图像输入/输出控制机构27被提供由捕捉图像的上述成像单元3获得并由成像信号处理单元15处理的成像信号(通过捕捉图像获得的图像数据)。图像输入/输出控制机构27根据由系统控制器10执行的控制来控制图像数据的传输。也就是说，图像输入/输出控制机构27控制图像数据在成像系统(成像信号处理单元15)、显示系统(显示图像处理单元12)、存储单元25以及通信单元26之间的传输。
[0087]例如，图像输入/输出控制机构27执行为显示图像处理单元12、存储单元25或通信单元26供应图像数据的操作，该图像数据是在成像信号处理单元15中处理的成像信号。成像输入/输出控制机构27还执行例如为显示图像处理单元12或通信单元26供应由存储单元25再现的图像数据的操作。图像输入/输出控制机构27还执行例如为显示图像处理单元12或存储单元25供应由通信单元26接收到的图像数据(诸如从外部相机32接收到的第二捕捉图像)的操作。
[0088](显示图像处理单元)
[0089]显示图像处理单元12是例如所谓的视频处理器，其即为能够对供应的图像数据执行各种显示处理的部分。例如，显示图像处理单元12能够对图像数据执行辉度水平调整、色彩修正、对比度调整、锐度(轮廓强调)调整。
[0090](显示驱动单元)
[0091]显示驱动单元13包括像素驱动电路，其用于在显示单元2上显示从显示图像处理单元12供应的图像数据，该显示单元2例如由液晶显示器构成。也就是说，基于视频信号的驱动信号被以预定水平/垂直驱动时序施加于以矩阵形式设置在显示单元2上的像素，并显示每个像素。显示驱动单元13还能够通过根据显示控制单元14的指令来控制显示单元2上的每个像素的透光率而使显示单元2进入通透状态。
[0092](显示控制单元)
[0093]显示控制单元14根据由系统控制器10执行的控制来控制显示图像处理单元12的处理操作和显示驱动单元13的操作。具体地，显示控制单元14控制显示图像处理单元12对图像数据执行辉度水平调整等，这在上文已描述。
[0094]根据本实施例的显示控制单元14具有第一显示控制模式和第二显示控制模式，并且根据由系统控制器10中的操作控制单元IOb (切换控制单元)执行电控制来切换显示控制模式。第一显示控制模式执行控制模式，使得显示单元2显示来自用户视点的第一捕捉图像，其由成像单元3 (第一成像单元)捕捉，或者执行控制，使得显示单元2是透射式的。显示控制单元14从而能够从用户视点(第一人视点)向用户P提供场景。
[0095]在第二显示控制模式下执行控制，使得显示单元2显示由在视角内包括用户P的外部相机32 (第二成像单元)捕捉的第二捕捉图像。显示控制单元14从而能够从体外视点(第三人视点)向用户P提供场景。还实时地经由通信单元26从外部相机获取由上述外部相机(第二成像单元)捕捉的第二捕捉图像。
[0096](音频输入单元)
[0097]音频输入单兀6包括图2中所不的扩音器6a和6b、被配置成对从扩音器6a和6b获取的音频信号执行放大处理的扩音器/放大器单元以及A/D转换器。音频输入单元6向音频输入/输出控制机构28输出音频数据。
[0098](音频输入/输出控制机构)
[0099]音频输入/输出控制机构28根据由系统控制器执行的控制来控制音频数据的传输。具体地，音频输入/输出控制机构28控制音频信号在音频输入单元6、音频信号处理单元16、存储单元25以及通信单元26之间的传输。例如，音频输入/输出控制机构执行为音频信号处理单元16、存储单元25或通信单元26供应由音频输入单元6获取的音频数据的操作。
[0100]音频输入/输出控制机构28还执行为音频信号处理单元16或通信单元26供应例如由存储单元25再现的音频数据的操作。音频输入/输出控制机构28还执行为音频信号处理单元16或存储单元25供应例如由通信单元26接收到的音频数据的操作。
[0101]更具体地，根据本实施例的音频输入/输出控制机构28充当音频输出控制单元，其被配置成当操作控制单元IOb (切换控制单元)对显示控制模式执行切换控制时，输出预定声音效果。例如，如果音频输入/输出控制机构28 (音频输出控制单元)输出促使对用户P发生体外体验的预定声音效果，则用户P可能不仅在视觉上而且在听觉上经历体外体验。
[0102](音频信号处理单元)
[0103]音频信号处理单元16包括例如和D/A转换器。经由音频输入/输出控制机构28为音频信号处理单元16供应由音频输入单元6获取的音频数据或从存储单元25或通信单元26供应的音频数据。音频信号处理单元16根据由系统控制器10执行的控制对供应的音频数据执行例如用于音量调整、声音质量调整或声音效果的处理。已处理音频数据被转换成模拟信号，并供应给音频输出单元5。另外，音频信号处理单元16不限于被配置成执行数字信号处理的结构元件，而是还可以是被配置成通过使用模拟放大器或模拟滤波器来执行信号处理的结构元件。
[0104](音频输出单元)
[0105]音频输出单兀5包括图2中所不的一对耳机扬声器5a和用于耳机扬声器5a的放大器电路。音频输出单元5还可以被配置为所谓的骨传导扬声器。此外，用户能够收听外部声音、由存储单元25再现的声音以及由通信单元26经由音频输出单元5接收到的声音。
[0106](存储单元)
[0107]存储单元25将数据记录到预定记录介质上，并再现该预定记录介质中的数据。存储单元25例如由硬盘驱动器(HDD)实现。当然，例如，可以设想诸如闪速存储器的固态存储器、具有内置于其中的固态存储器的存储卡、光盘、磁光盘以及全息图存储器作为记录介质。存储单元25可以刚好被配置成从而根据要采用的记录介质来执行记录和再现操作。
[0108]经由图像输入/输出控制机构27为存储单元25供应图像数据——该图像数据是其图像被成像单元3捕捉且被成像信号处理单元15处理的成像信号——或者是由通信单元26接收到的图像数据。还经由音频输入/输出控制机构28为存储单元25供应由音频输入单元6获取的音频数据或由通信单元26接收到的音频数据。
[0109]存储单元25对供应的图像数据和音频数据执行编码处理以便根据由系统控制器10执行的控制将其记录到记录介质上，从而将图像数据和音频数据记录到记录介质上。存储单元25还根据由系统控制器10执行的控制从记录介质再现图像数据和音频数据。由存储单元25再现的图像数据被输出到图像输入/输出控制机构27。同时地，由存储单元25再现的音频数据被输出到音频输入/输出控制机构28。
[0110](通信单元)
[0111]通信单元26向和从外部设备传送和接收数据。通信单元26是用于获取外部信息的结构元件的示例。通信单元26在诸如无线LAN、W1-F1、红外线通信以及蓝牙的方案中直接地或经由网络接入点而无线地与外部设备通信。
[0112]除上述外部相机32之外，还可以设想诸如计算机设备、PDA、移动电话终端、智能电话、视频设备、音频设备以及调谐器设备的各种设备作为外部设备，其具有信息处理和通信功能。例如，还可以设想被连接到诸如因特网的网络的终端设备和服务器设备作为已是通信目标的外部设备。例如，还可以将具有内置于其中的IC芯片的非接触通信IC卡、诸如QR代码(注册商标)的二维条形码以及全息图存储器视为外部设备，并且还可以将通信单元26配置成从此类外部设备读取信息。此外，可设想另一 HMDl作为外部设备。
[0113]经由图像输入/输出控制机构27为通信单元26供应图像数据——该图像数据是其图像被成像单元3捕捉且被成像单个处理单元15处理的成像信号——以及由存储单元25再现的图像数据。同时的，经由音频输入/输出控制机构28为通信单元26供应由音频输入单元6获取的音频数据以及由存储单元25再现的音频数据。
[0114]通信单元26执行根据由系统控制器10执行的控制对供应的图像数据和音频数据执行编码处理、调制处理等，从而将图像数据和音频数据传送到外部设备。根据本实施例的通信单元26向附近外部相机32传送例如信息报告请求或视角/方向调整指令。通信单元26执行从外部设备接收数据的操作，其例如为从外部相机32接收捕捉图像的操作。被接收并解调的图像数据被输出到图像输入/输出控制机构27。同时，被接收并解调的音频数据被输出到音频输入/输出控制机构28。
[0115](音频合成单元)
[0116]音频合成单元29根据由系统控制器10执行的控制来执行音频合成，并输出音频信号。从音频合成单元29输出的音频信号经由音频输入/输出控制机构28被供应给信号处理单元并被音频信号处理单元16处理。其后，已处理音频信号被进一步供应给音频输出单兀5,并向用户输出声音。
[0117](照明单元和照明控制单元)
[0118]照明单元4包括图2中所示的发光单元4a以及用于促使发光单元4a (诸如LED)发射光的发光电路。照明控制单元18促使照明单元4根据由系统控制器10执行的控制来执行发光操作。照明单元4的发光单元4a被附接成从而照亮前面区域，如图2中所示。照明单元4从而在用户的视野方向上执行照明操作。
[0119](GPS接收单元)
[0120]GPS接收单元21是用于获取外部信息的结构元件的示例。具体地，GPS接收单元21从全球定位系统(GPS)卫星接收无线电波，并输出关于用于当前位置的经度和纬度的信
肩、O
[0121](图像分析单元)
[0122]图像分析单元17是用于获取外部信息的结构元件的示例。具体地，图像分析单元17分析图像数据，并获取关于包括在图像数据中的图像的信息。经由图像输入/输出控制机构27为图像分析单元17供应图像数据。其图像被图像分析单元17分析的图像数据是由成像单元3和图像信号处理单元15获取的捕捉图像的图像数据、由通信单元26接收到的图像数据或由存储单元25从记录介质再现的图像数据。
[0123]如上所述，已详细地描述了根据本实施例的HMDl的内部配置。另外，已将GPS接收单元21、图像分析单元17以及通信单元26示为用于获取外部信息的结构元件。然而，并不是必须包括其中的全部。还可以另一传感器，诸如被配置成检测并分析附近声音的音频分析单元。
[0124]<2-3.显示控制处理〉
[0125]接下来，参考图4，将具体地描述根据本实施例的由HMDl执行的显示控制处理。
[0126]图4是图示出根据本实施例的显示控制处理的流程图。首先，如图4的S103中所示，HMDl的显示控制单元14从第一人视点向用户P提供场景作为第一显示控制模式。具体地，执行控制，使得显示单元2是透射式的,或者执行控制,使得显示单元2显示由成像单元3用成像透镜3a (参见图2)捕捉的捕捉图像，该成像透镜3a被配置成在由用户P在视觉上识别的方向上捕捉一定区域的图像。如图1的左侧中所示，从而能够在视觉上识别来自用户视点(第一人视点)的场景2-1。
[0127]接下来，在步骤S106中，HMDl确定用户P是否发布用于将视点切换至体外视点的指令。
[0128]随后，如果发布了体外指令(S106/是)，则HMDl在布置S109中搜索能够从在视角内包括用户P的体外视点捕捉图像的外部相机322。具体地,例如HMDl通过近场通信向一个或多个附近外部相机32传送信息报告请求，并获取每个相机的位置信息、视角信息以及图像拍摄方向信息。HMDl基于获取信息和HMDl的当前位置(诸如由GPS接收单元21获取的位置信息)来选择在视角内包括佩戴HMDl的用户P的外部相机32，并从外部相机32获取捕捉图像。
[0129]替换地，HMDl还可以从一个或多个附近外部相机32获取捕捉图像，分析每个捕捉图像，并自动地选择在视角内宽泛地包括用户P的捕捉图像。替换地，HMDl还可以向显示单元2呈现从附近外部相机32获取的捕捉图像，并促使用户P手动地选择捕捉图像。
[0130]接下来，在步骤SI 12中，HMDl的操作控制单元IOb (切换控制单元)执行控制，从而将显示控制单元14的显示控制模式切换至第二显示控制模式。显示控制单元14从而能够在视角内包括用户P的体外视点(第三人视点)向用户P提供场景作为第二显示控制模式。用户P能够感觉如同用户P在真实世界中漂浮在身体外面一样。[0131]具体地,显示控制单元14实时地在显示单元2上显示从在步骤S109中搜索的外部相机32接收到的捕捉图像(或自动/手动地选择的捕捉图像)作为来自体外视点(第三人视点)的场景。例如，如图1的中心上所示，由外部相机32捕捉的图像2-2作为来自体外视点(第三人视点)的场景显示在显示单元2上。当显示控制单元14将显示控制模式切换到第二显示控制模式时，显示控制单元14可以基于在切换显示控制模式(来自用户视点的第一和第二图像，其由第一成像单元捕捉)之前和之后的图像来生成指示正在切换显示控制模式的过渡图像，并显示单元2上显示过渡图像。
[0132]在显示控制单元14在显示单元2上显示捕捉图像2-2之后，显示控制单元14可以向外部相机32传送变焦指令，并实时地在显示单元2上显示如在图1的右侧中所示的被放大的来自第三人视点的捕捉图像2-3。用户P从而能够感觉如同用户P更高地飘在空中一样。
[0133]如上所述，已详细地描述了根据本实施例的显示控制处理。另外，如同I中所示，当依次地显示捕捉图像2-2和2-3时，用户P当然能够感觉如同用户P更高地飘在空中一样。然而，视角变得越宽，用户P变得越小，并且变得越难以在视觉上识别用户P。相应地，通过将指示用户P的位置的指示符叠加在第二捕捉图像上，在本实施例中能够明确地指示用户P的位置。接下来，参考图5，将进行特定描述。
[0134]图5是用于描述指示用户P的位置的指示符被叠加在第二步骤图像上的图。如图5中所示，例如，当HMDl的显示控制单元14在第二显示控制模式下在显示单元2上显示捕捉图像2-5时，不显示指示符，因为用户P以视觉上可识别的方式显示在捕捉图像2-5上。基于图像分析单元17的分析结果，可以以视觉可识别方式来确定用户P是否显示在捕捉图像2-5上。替换地，当用户未发布指示符显示指令时，可以以视觉上可识别方式确定显示了用户P。
[0135]相反，当用于从体外视点捕捉一个捕捉图像(其显示在显示单元2上)的视角被加宽时，可以显示由安装在例如摩天大楼或飞船上的外部相机32捕捉的捕捉图像2-6。在这种情况下，由于如图5中所示用户P在捕捉图像2-6中是不可识别的，所以显示控制单元14叠加指示用户P的位置的指示符40。如上所述，基于图像分析单元17的分析结果，可以确定用户P是否是可识别的。替换地，当用户发布指示符显示指令时，可以确定用户P是不可识别的。
[0136]另外，可以基于例如HMDl的位置信息或者捕捉该捕捉图像2-6的外部相机32的位置信息、高度信息或视角信息或图像分析单元17的分析结果来确定用户P在捕捉图像2-6中的位置(指示符40的显示位置)。
[0137]指示符40从而允许用户P从体外视点(第三人视点)识别用户P在捕捉图像2-6中的位置，其显示在显示单元2上，即使用户P在捕捉图像2-6中是不可识别的。
[0138]〈2-4.补充〉
[0139]接下来，将补充根据本实施例的显示控制系统。在上述实施例中，用户P感觉如同在真实世界中漂浮在身体外面一样。HMDl还可以执行控制，使得明确地向附近的人指示用户P正在经历体外体验。
[0140]例如，通过使发光单元4a闪烁或在已在HMDl的侧面或背面上向外安装的显示单元上显示预定图像，HMDl明确地向附近的人指示用户P正在经历体外体验(第二显示控制模式在使用中)。参考图6A和6B，下面将具体描述的是在安装于外面的显示单元上显示预定图像，以便明确地向附近的人指示用户P正在经历体外体验。
[0141]图6A和6B每个是图示出显示于外显示单元上的图像示例的图。在这里,如图6A中所示，让我们假设HMDl的显示单元2由双面显示器构成，其包括被配置成面对佩戴者(内侧)的内显示单元21和被配置成面对与内显示单元21相对的一侧(外侧)的外显示单元20。在这种情况下，显示控制单元14在第二显示控制模式下在内显示单元21上显示来自体外视点(第三人视点)的捕捉图像，并在外显示单元20上显示指示用户P正在经历体外体验的预定图像。
[0142]在外显示单元20上显示的预定图像还可以是指示体外情况的图标化过渡图像，如图6A中所示。具体地,如图6A中所示,外显示单元20依次地显示指示图标化人的图像20-1、指示图标化人开始在身体外面漂浮的图像20-2以及指示图标化人正漂浮在身体外面的图像20-3。替换地，显示在外显示单元20上的预定图像还可以是通过使用如图6中所示的用户P的图像而生成的图像20-6，并指示其中用户P正在漂浮的情况。
[0143]这样,通过在显示单元2的外显示单元20上显示指示用户正在经历体外体验的预定图像，可以明确地向附近的人指示用户P正在经历体外体验。
[0144]如上所述，已详细地描述了根据本实施例的包括在显示控制系统中的HMDl的配置和显示控制处理。然而，上文已描述的仅仅是根据本公开的实施例的显示控制系统的示例。本技术不限于上述实施例。下面将描述根据本公开的其他实施例的显示控制系统。
[0145]《3.其他实施例》
[0146]<3-1.虚拟相机〉
[0147]在上述实施例中从外部相机32获取来自第三人视点的图像，其在视角内包括用户P。然而，根据本公开的实施例的显示控制系统不限于此。还可以使用虚拟外部相机(其将被称为虚拟相机)。HMDl控制虚拟相机的位置或图像捕捉方向，基于从多个外部相机32获取的捕捉图像而生成被认为由虚拟相机捕捉的图像，并在显示单元2上显示该图像。接下来，参考图7和8，将具体地描述使用此类虚拟相机的显示控制系统。
[0148](概述)
[0149]图7是用于描述使用虚拟相机的显示控制系统的图。如图7中所示，HMDl能够连接到附近外部相机32A至32D，并向那里和从那里传送和接收数据。外部相机32A至32D每个包括位置信息和图像拍摄方向信息。
[0150]在这里，外部相机32A是安装于HMDl的背面(当用户佩戴HMDl时，对应于用户的头的后面)中的第二成像单元，如图7中所示。外部相机32A是由在HMDl的上、下和向内方向上捕捉图像的多个超广角透镜实现的，如图7中所示。在头的后面、头的侧面以及佩戴者的背后(身体)的图像被超广角透镜捕捉。外部相机32A能够将用多个超广角透镜捕捉的多个捕捉图像组和以生成来自第三人视点的图像，其在视角内包括佩戴者(用户P)的头部的后面。
[0151]HMDl还根据用户操作来控制虚拟相机34的位置和图像拍摄方向，并且生成被认为由虚拟相机34捕捉的图像。具体地，从参考外部相机32A至32D的位置/图像拍摄方向而安装于HMDl的外部相机32A至32D获取所需捕捉图像。获取的捕捉图像被用来生成被认为由虚拟相机34捕捉的图像。这样，HMDl能够通过使用从外部相机32A至32D获取的捕捉图像根据用户操作而从自由视点生成体外图像，并在显示单元2上显示生成的图像。
[0152](操作处理)
[0153]接下来，参考图8，将描述根据本实施例的操作处理。图8是图示出根据本实施例的显示控制处理的流程图。
[0154]首先，在图8的步骤S200中，HMDl接收由用户设定的虚拟相机34的位置和方向。
[0155]接下来，在步骤S210中，HMDl从HMDl的通信单元26向附近的外部相机32A至32D传送信息报告请求。该信息报告请求请求要报告的每个外部相机32的位置信息(诸如维度、经度以及高度)和方向信息。
[0156]接下来，在步骤S220中，外部相机32A至32D响应于来自HMDl的信息报告请求而向HMDl报告包括位置信息和方向信息的信息。
[0157]随后，在步骤S230中，HMDl调整每个相机32的视角(远和宽)和图像拍摄方向(摇摄和倾斜)以便根据在S200中设定的虚拟相机的位置和方向来获取图像。在图8的示例中，作为示例，向外部相机32B至32D发布调整指令。
[0158]随后，在步骤S240中，HMDl向已经向其发布调整指令的外部相机32B至32D传送图像获取请求。图像获取请求请求传送已经由外部相机32捕捉的捕捉图像。
[0159]接下来，在步骤S250中，外部相机32B至32D响应于来自HMDl的图像获取请求而向HMDl传送捕捉图像。
[0160]随后，在步骤S260中，HMDl基于从外部相机32B至32D获取的捕捉图像而执行计算以根据在S200中设定的位置和方向来生成图像(被认为由虚拟相机34捕捉的图像)。计算方法并不受特别限制。例如，可以使用在JP2007-334583A中公开的用于生成自由视点图像的方法。更具体地，HMDl能够通过块匹配来检测视差矢量，并通过使用该视差矢量从给定视点生成图像。
[0161]在步骤S270中，HMDl在显示单元2上显示从第三人视点生成的图像，其即为被认为由虚拟相机34捕捉的图像，该虚拟相机34的位置和方向是根据用户操作而设定的，并在视角内包括用户P。
[0162]<3-2.由服务器执行的控制处理〉
[0163]根据上述实施例所述的显示控制处理由HMDl执行。然而，根据本公开的实施例的显示控制系统不限于此。可连接到HDMl和外部相机A至D的服务器还可以执行显示控制处理。接下来，参考图9至10，将进行特定描述。
[0164]图9是图示出包括服务器的显示控制系统中的显示控制处理的流程图。首先，如图9中所示，在步骤S300中，外部相机32A至32D中的每一个在位置、方向等的状态改变时向服务器报告关于位置和图像拍摄方向的信息。服务器从而能够不断地掌握外部相机32A至32D中的每一个的位置、图像拍摄方向等的状态。
[0165]接下来，在步骤S310中，HMDl接收由用户设定的虚拟相机34的位置和方向。
[0166]随后，在步骤S320中，HMDl向服务器报告关于虚拟相机34的设定位置和方向的信息。
[0167]接下来，在步骤S330中，服务器向预定相机32传送图像获取请求以便根据在S320中从HMDl报告的虚拟相机34的位置和方向来获取图像。在图9的示例中，假设外部相机32A的位置和方向与虚拟相机34的位置和方向相同，服务器向外部相机32A传送图像获取请求。
[0168]随后，在步骤S340中，外部相机32A响应于来自服务器的图像获取请求而向服务器传送捕捉图像。
[0169]接下来，在步骤S350中，服务器在不处理捕捉图像的情况下将从外部相机32A传送的捕捉图像传送至HMD1。如上所述，在图9的示例中，假设外部相机32A的位置和方向与虚拟相机34的位置和方向相同。相应地，服务器不必处理从外部相机32A获取的捕捉图像。
[0170]在步骤S360中，HMDl在显示单元2上显示从服务器传送的来自第三人视点的捕捉图像，其即为被认为由虚拟相机34捕捉的图像，该虚拟相机34的位置和方向已根据用户操作而设定，并在视角内包括用户P。
[0171]在上述示例中假设外部相机32A的位置和方向与虚拟相机34的位置和方向相同。然而，当外部相机32的位置和方向并未与虚拟相机34的那些相同时，服务器可以基于从多个外部相机32获取的捕捉图像而生成图像。参考图10，下面将描述的是服务器从多个外部相机32获取的捕捉图像而生成(处理)图像。
[0172]图10是图示出包括服务器的显示控制系统的另一显示控制处理的流程图。图10的步骤S300至S320中所示的处理与图9的相应步骤中所示的处理相同。相应地，在这里将省略它们。
[0173]接下来，在步骤S400中，服务器调整每个外部相机32的视角(远和宽)和图像拍摄方向(摇摄和倾斜)以便根据在S320中由HMDl报告的虚拟相机34的位置和方向来获取图像。在图10的示例中，作为示例，向外部相机32B至32D发布调整指令。
[0174]随后，在步骤S410中，服务器向已经向其发布调整指令的外部相机32B至32D传送图像获取请求。该图像获取请求请求传送由外部相机32捕捉的捕捉图像。
[0175]接下来，在步骤420中，外部相机32B至32D响应于来自服务器的图像获取请求而向服务器传送捕捉图像。
[0176]随后，在步骤S430中，HMDl基于从外部相机32B至32D获取的捕捉图像来执行计算以根据在S320中报告的位置和方向来生成图像(被认为由虚拟相机34捕捉的图像)。
[0177]接下来，在步骤S440中，服务器将生成的图像传送至HMD1。
[0178]随后，在步骤S450中，HMDl在显示单元2上显示从服务器传送的来自第三人视点的捕捉图像，其即为被认为由虚拟相机34捕捉的图像，该虚拟相机34的位置和方向已根据用户操作而设定，并在视角内包括用户P。
[0179]〈3-3.另一设备示例〉
[0180]参考图1lA和11B，将具体地描述显示控制系统，其中，根据本公开的实施例的信息处理设备是例如除图1和2中所示的HMDl之外的诸如智能电话的设备。
[0181]图1IA是用于描述在智能电话的显示单元上显示来自体外视点的场景(第二捕捉图像)的第一系统配置示例的图。如图1lA中所示，智能电话100包括显示单元120和成像单元130。成像单元130是安装在智能电话100的外表面上且能够在用户P的注视方向上拍摄一定区域的图像的第一成像单元。
[0182]以这种方式配置的智能电话100在第一显示控制模式下在显示单元120上显示由成像单元130 (第一成像单元)拍摄的来自用户视点(第一人视点)的拍摄图像(第一捕捉图像)。
[0183]接下来，当用户P发布体外指令时，智能电话100将显示控制模式切换到第二显示控制模式。具体地，智能电话100在第二显示控制模式下在显示单元120上显示由附近外部相机32 (第二成像单元)捕捉的来自体外视点(第三人视点)的捕捉图像(第二捕捉图像)。
[0184]这样，例如，除HMDl之外，还可以将根据本公开实施例的显示控制系统应用于智能电话100。在图1lA的示例中，与智能电话100集成的成像单元130被用作第一成像单元，但根据本公开的实施例的第一成像单元不限于此。例如，可以与智能电话100分开地安装成像单元。参考图11B，下面将进行特定描述。
[0185]图1lB是用于描述其中来自体外视点的场景(第二捕捉图像)被显示在智能电话的显示单元上的第二系统配置示例的图。如图1lB中所示，用户P佩戴被认为是所谓的救生圈且能够连续地拍摄和记录外部信息的可佩戴设备200。在这种情况下，当可佩戴设备200的成像单元230能够在用户P的注视方向拍摄一定区域的图像时，成像单元230能够用作本显示控制系统中的第一成像单元。
[0186]具体地，智能电话100接收由可佩戴设备200的成像单元230 (第一成像单元)拍摄的来自用户视点(第一人视点)的拍摄图像(第一捕捉图像)，并在第一显示控制模式下在智能电话100的显示单元120上显示接收到的拍摄图像。
[0187]智能电话100以与针对图1lA中所示的系统配置所述的相同方式在第二显示控制模式下在显示单元120上显示由附近外部相机32 (第二成像单元)捕捉的来自体外视点(第三人视点)的捕捉图像(第二捕捉图像)。
[0188]这样，根据本实施例的智能电话100 (信息处理设备河以使用与智能电话100 (信息处理设备)分开安装的成像单元作为第一成像单元。
[0189]《4.结论》
[0190]如上所述，在根据本实施例的显示控制系统中的显示单元2上实时地显示来自第三人视点(从其俯瞰用户)的真实世界的图像。用户从而能够感觉如同用户实际上漂浮在身体外面一样。
[0191]虽然已参考附图详细地描述了本公开的优选实施例，但本公开不限于此。对于本领域的技术人员显而易见的是可以有各种修改或变更，只要其在所附权利要求或其等效物的技术范围内即可。应理解的是此类修改或变更也在本公开的技术范围内。
[0192]例如，还可以创建计算机程序以便促使内置于上述HMDl中的诸如CPU、ROM以及RAM的硬件执行与HMDl的上述结构元件相同的功能。还提供了具有存储在其中的计算机程序的计算机可读存储介质。
[0193]在显示单元2上实时地显示来自第三人视点(从其俯瞰用户)的真实世界的图像。用户从而能够经历体外体验，并且例如当发生灾难、外面很黑或用户迷路时很容易掌握周围的情况。
[0194]另外，还可以如下配置将本技术。
[0195](I) 一种信息处理设备，包括:
[0196]显示控制单元，配置成包括第一显示控制模式和第二显示控制模式，在第一显示控制模式中以在显示单元上显示由第一成像单元捕捉的来自用户视点的第一图像的方式来执行控制，或以显示单元为透射式的方式来执行控制，在第二显示控制模式中以在显示单元上显示由在视角内包括用户的第二成像单元捕捉的第二图像的方式来执行控制；以及
[0197]切换控制单元，配置成响应于来自用户的指令，以显示控制单元的显示控制模式从第一显示控制模式切换至第二显示控制模式的方式来执行控制。
[0198](2)根据(I)所述的信息处理设备，
[0199]其中，所述显示单元是能够经受透光率控制的显示单元，以及
[0200]其中，所述显示控制单元根据由切换控制单元执行的控制将其中以显示单元为透射式的方式来执行控制的第一显示控制器模式切换至其中以在显示单元上显示由在视角内包括用户的第二成像单元捕捉的第二图像的方式来执行控制的第二显示控制模式。
[0201](3)根据(I)所述的信息处理设备，
[0202]其中，所述显示控制单元根据由切换控制单元执行的控制将其中在显示单元上显示来自用户视点的第一图像的第一显示控制模式切换至其中以在显示单元上显示由在视角内包括用户的第二成像单元捕捉的第二图像的方式来执行控制的第二显示控制模式，第一图像是由第一成像单元捕捉的。
[0203](4)根据(I)或(2)所述的信息处理设备，
[0204]其中，当将显示控制模式切换至第二显示控制模式时，所述显示控制单元生成过渡图像，其基于来自用户视点的第一图像和第二图像而指示正在切换显示控制模式，并在显示单元上显示该过渡图像，该第一图像是由第一成像单元捕捉的。
[0205](5)根据(I)至(4)中的任一项所述的信息处理设备，
[0206]其中，所述显示单元安装于HMD上并设置在用户的眼睛前面，所述HMD被佩戴在用户的头或脸上。
[0207](6)根据(I)至(5)中的任一项所述的信息处理设备，
[0208]其中，所述切换控制单元以操作输入、注视输入、音频输入、手势输入、肌电输入或脑电波输入的形式从用户接收指令。
[0209](7)根据(I)至(6)中的任一项所述的信息处理设备，
[0210]其中，所述显示控制单元显示第二图像上的用户位置的指示符。
[0211](8)根据(I)至(7)中的任一项所述的信息处理设备，
[0212]其中，所述显示控制单元根据来自用户的指令而从一定位置生成在视角内包括用户的虚拟捕捉图像作为第二图像，并在第二显示控制模式下在显示单元上显示生成的图像。
[0213](9)根据(I)至(8)中的任一项所述的信息处理设备，还包括:
[0214]音频输出控制单元，被配置成以当切换控制单元切换显示控制模式时输出预定声音效果的方式来执行控制。
[0215](10)根据(I)至(9)中的任一项所述的信息处理设备，
[0216]其中，所述第一成像单元被安装在HMD上并以第一成像单元在用户的注视方向上捕捉一定区域的图像的方式设置，该HMD被佩戴在用户的头或脸上。
[0217](11)根据(I)至(10)中的任一项所述的信息处理设备，
[0218]其中，所述第二成像单元是安装在用户周围的固定相机。
[0219](12)根据(I)至(11)中的任一项所述的信息处理设备，
[0220]其中，所述第二成像单元是安装在飞行对象上的相机。[0221](13)根据(I)至(12)中的任一项所述的信息处理设备，
[0222]其中，所述第二成像单元包括安装在HMD上的多个超宽相机，该HMD被佩戴在用户的头或脸上，以及
[0223]其中，所述限制控制单元基于由多个超宽相机捕捉的多个捕捉图像而在第二显示控制模式下生成第二图像。
[0224](14)根据(I)至(13)中的任一项所述的信息处理设备，
[0225]其中，所述显示单元包括被配置成显示第二图像的内显示单元以及被配置成面对与内显示单元相对的一侧的外显示单元，以及
[0226]其中，所述显示控制单元以在外显示单元上显示指示显示控制模式已被切换至第二显示控制模式的图像的方式在第二显示控制模式下执行控制。
[0227]( 15) 一种具有记录在其上面的程序的非临时计算机可读记录介质，该程序促使计算机充当:
[0228]显示控制单元，配置成包括第一显示控制模式和第二显示控制模式，在第一显示控制模式中以在显示单元上显示由第一成像单元捕捉的来自用户视点的第一图像的方式来执行控制，或以显示单元为透射式的方式来执行控制，在第二显示控制模式中以在显示单元上显示由在视角内包括用户的第二成像单元捕捉的第二图像的方式来执行控制；以及
[0229]切换控制单元，配置成响应于来自用户的指令，以显示控制单元的显示控制模式从第一显示控制模式切换至第二显示控制模式的方式来执行控制。
【权利要求】
1.一种信息处理设备,包括: 显示控制单元，配置成包括第一显示控制模式和第二显示控制模式，在第一显示控制模式中以在显示单元上显示由第一成像单元捕捉的来自用户视点的第一图像的方式来执行控制，或以显示单元为透射式的方式来执行控制，在第二显示控制模式中以在显示单元上显示由在视角内包括用户的第二成像单元捕捉的第二图像的方式来执行控制；以及 切换控制单元，配置成响应于来自用户的指令，以显示控制单元的显示控制模式从第一显示控制模式切换至第二显示控制模式的方式来执行控制。
2.根据权利要求1所述的信息处理设备， 其中，所述显示单元是能够经受透光率控制的显示单元，以及 其中，所述显示控制单元根据由切换控制单元执行的控制，将其中以显示单元为透射式的方式来执行控制的第一显示控制器模式，切换至其中以在显示单元上显示由在视角内包括用户的第二成像单元捕捉的第二图像的方式来执行控制的第二显示控制模式。
3.根据权利要求1所述的信息处理设备， 其中，所述显示控制单元根据由切换控制单元执行的控制，将其中在显示单元上显示来自用户视点的第一图像的第一显示控制模式，切换至其中以在显示单元上显示由在视角内包括用户的第二成像单元捕捉的第二图像的方式来执行控制的第二显示控制模式，第一图像是由第一成像单元捕捉的。
4.根据权利要求1所述的信息处理设备， 其中，当将显示控制模式切换至第二显示控制模式时，所述显示控制单元基于来自用户视点的第一图像和第二图像，生成指示正在切换显示控制模式的过渡图像，并在显示单元上显示该过渡图像，该第一图`像是由第一成像单元捕捉的。
5.根据权利要求1所述的信息处理设备， 其中，所述显示单元安装于HMD上并设置在用户的眼睛前面，所述HMD被佩戴在用户的头或脸上。
6.根据权利要求1所述的信息处理设备， 其中，所述切换控制单元以操作输入、注视输入、音频输入、手势输入、肌电输入或脑电波输入的形式从用户接收指令。
7.根据权利要求1所述的信息处理设备， 其中，所述显示控制单元显示指示第二图像上的用户位置的指示符。
8.根据权利要求1所述的信息处理设备， 其中，所述显示控制单元根据来自用户的指令，从一定位置生成在视角内包括用户的虚拟捕捉图像作为第二图像，并在第二显示控制模式下在显示单元上显示生成的图像。
9.根据权利要求1所述的信息处理设备，还包括: 音频输出控制单元，配置成以当切换控制单元切换显示控制模式时输出预定声音效果的方式来执行控制。
10.根据权利要求1所述的信息处理设备， 其中，所述第一成像单元安装在HMD上并以第一成像单元在用户的注视方向上捕捉一定区域的图像的方式设置，该HMD被佩戴在用户的头或脸上。
11.根据权利要求1所述的信息处理设备，其中，所述第二成像单元是安装在用户周围的固定相机。
12.根据权利要求1所述的信息处理设备， 其中，所述第二成像单元是安装在飞行对象上的相机。
13.根据权利要求1所述的信息处理设备， 其中，所述第二成像单元包括安装在HMD上的多个超宽相机，该HMD被佩戴在用户的头或脸上，以及 其中，所述显示控制单元基于由多个超宽相机捕捉的多个捕捉图像，在第二显示控制模式下生成第二图像。
14.根据权利要求1所述的信息处理设备， 其中，所述显示单元包括配置成显示第二图像的内显示单元，以及配置成面对与内显示单元相对的一侧的外显示单元，以及 其中，所述显示控制单元以在外显示单元上显示指示显示控制模式被切换至第二显示控制模式的图像的方式，在第二显示控制模式下执行控制。
15.一种具有记录在其上面的程序的非临时计算机可读记录介质，该程序促使计算机充当: 显示控制单元，配置成包括第一显示控制模式和第二显示控制模式，在第一显示控制模式中以在显示单元上显示由第一成像单元捕捉的来自用户视点的第一图像的方式来执行控制，或以显示单元为透射式的方式来执行控制，在第二显示控制模式中以在显示单元上显示由在视角内包括用户的第二成像单元捕捉的第二图像的方式来执行控制；以及 切换控制单元，配置成响应于来自`用户的指令，以显示控制单元的显示控制模式从第一显示控制模式切换至第二显示控制模式的方式来执行控制。
【文档编号】H04N5/232GK103869468SQ201310641526
【公开日】2014年6月18日 申请日期:2013年12月3日 优先权日:2012年12月10日
【发明者】佐古曜一郎, 中村隆俊, 花谷博幸, 渡边一弘, 迫田和之, 竹原充, 林和则, 鎌田恭则, 今孝安, 丹下明, 大沼智也, 甲贺有希, 浅田宏平 申请人:索尼公司