信息再现装置、信息再现方法、信息记录装置和信息记录方法与流程

本说明书中公开的技术涉及用于再现记录的声音和记录的图像的信息再现装置和信息再现方法，以及用于记录诸如声音和图像的信息的信息记录装置和信息记录方法。

背景技术：

当再现电影或者实时内容时，能够通过根据图像定位在左侧和右侧的声音，向观看者提供逼真的感受。

例如，5.1声道环绕声系统是包括五个扬声器和一个超低音扬声器的立体声再现系统，通过根据ITU-R BS775(国际电信联盟无线电通信部门)的约定设置扬声器并且从对应于相应的声道的扬声器中输出不同的声波，5.1声道环绕声系统可以向听者播放具有逼真的感受的声音。

立体声再现系统具有可以获得的声音图像的目标定位的范围窄的问题。与此相反，己知多声道音频系统记录声源在原始声场建立的波前，并且基于记录的波前使用波前合成技术在不同于当前声场的空间中再现波前。例如，已提出波前合成信号转换装置，其根据再现装置计算波前合成再现信号并且再现合成的声场，实际上通过假设的扬声器的数量或者扬声器的间隔的规格来使用再现装置(例如，参见专利文献1)。

进一步，己知一种方法，从期望将声音定位到听者的两个耳朵的声源位置，分配头部相关传输函数(HRTF)至声源信号并且定位声音图像仿佛在期望的位置有声源。例如，已提出声再现装置，当从设置在听者周围的两个或更多个扬声器中的多个再现的声音被定位在虚拟位置时，通过计算多声道输入信号的重心并且在将根据重心位置确定的权重系数反射至虚拟声音图像生成处理的同时再现输入信号，而强调虚拟声音图像的定位的效果并且提高声场的听者环绕感。

引用列表

专利文献

专利文献1：JP2013-128314A

专利文献2：JP2011-211312A

技术实现要素：

本说明书中公开的技术的目的是提供可以再现记录的声音和记录的图像的优良的信息再现装置和信息再现方法。

技术问题

进一步，本说明书中公开的技术的目的是提供优选地可以记录诸如声音和图像的信息的优良的信息记录装置和信息记录方法。

解决问题的方案

考虑到上述问题提出本申请，并且根据在权利要求1中所描述的技术设置有信息再现装置，包括：位置信息计算单元，被配置为计算在提供了图像和声音的空间中的观看者的位置；图像处理单元，被配置为基于记录有摄像机的位置信息和姿势信息的图像信息在观看者的位置处处理图像；以及声音处理单元，被配置为基于记录有声源的位置信息的声音信息在观看者的位置处定位声音图像。

根据在本申请的权利要求2中所描述的技术，根据权利要求1所述的信息再现装置的位置信息计算单元被配置为基于用于拍摄的摄像机的位置信息和姿势信息计算观看者的位置。

根据在本申请的权利要求3中所描述的技术，根据权利要求1所述的信息再现装置的位置信息计算单元被配置为基于观看者的实际运动或者实际位置计算观看者的位置。

根据在本申请的权利要求4中描述的技术，根据权利要求1所述的信息再现装置的位置信息计算单元被配置为基于多个摄像机之间的重心位置计算观看者的位置。

根据在本申请的权利要求5中所描述的技术，根据权利要求1所述的信息再现装置的位置信息计算单元被配置为基于多个摄像机之间的重心位置计算观看者的位置，其中基于对摇摄(panning)和切换的频率进行加权而得到重心位置。

根据在本申请的权利要求6中所描述的技术，根据权利要求1所述的信息再现装置的图像处理单元被配置为基于由在观看者的位置处的摄像机拍摄的摄像机的图像在观看者的位置处生成图像。

根据在本申请的权利要求7中所描述的技术，根据权利要求1所述的信息再现装置的图像处理单元被配置为使用由多个摄像机拍摄的图像在观看者的位置处生成视点插入图像。

根据在本申请的权利要求8中所描述的技术，根据权利要求7所述的信息再现装置的声音处理单元被配置为在插入视点的位置处定位声音图像。

根据在本申请的权利要求9中所描述的技术，根据权利要求7所述的信息再现装置的声音处理单元被配置为基于插入了从观看者收集的语音信息的视点的位置定位声音图像。

根据在本申请的权利要求10中所描述的技术，根据权利要求7所述的信息再现装置的图像处理单元被配置为在视点插入图像中对应于观看者的位置处显示观看者的头像或者位置信息。

根据在本申请的权利要求11中所描述的技术，根据权利要求1所述的信息再现装置的声音处理单元被配置为，将包含在来自观看者的位置的视点图像中的声源的绝对位置信息转换为相对于观看者的位置的相对位置，以定位在视点图像中的声音图像的声音图像。

进一步，根据在本申请的权利要求12中所描述的技术，设置有信息再现方法，包括：位置信息计算步骤，计算在提供了图像和声音的空间中的观看者的位置；图像处理步骤，基于记录有摄像机的位置信息和姿势信息的图像信息在观看者的位置处处理图像；以及声音处理步骤，基于记录有声源的位置信息的声音信息在观看者的位置处定位声音图像。

进一步，根据在本申请的权利要求13中所描述的技术，设置有信息记录装置，包括：图像信息记录单元，被配置为记录由摄像机拍摄的图像以及摄像机的位置信息和姿势信息；以及声音信息记录单元，被配置为记录声源的位置信息。

根据在本申请的权利要求14中所描述的技术，根据权利要求13所述的信息记录装置的图像信息记录单元被配置为以用于图像的数据包形式记录由摄像机拍摄的图像以及摄像机的位置信息和姿势信息，并且声音信息记录单元被配置为以用于声音的数据包形式记录声源的位置信息。

根据在本申请的权利要求15中所描述的技术，根据权利要求13所述的信息记录装置的图像信息记录单元被配置为在用于图像的轨道中记录由摄像机拍摄的图像以及摄像机的位置信息和姿势信息，并且声音信息记录单元被配置为在用于声音的轨道中记录声源的位置信息。

根据在本申请的权利要求16中所描述的技术，根据权利要求13所述的信息记录装置的图像信息记录单元被配置为记录从摄像机接收的所拍摄的图像以及从摄像机位置传感器接收的位置信息和姿势信息。

根据在本申请的权利要求17中所描述的技术，根据权利要求13所述的信息记录装置的声音信息记录单元被配置为记录从声源检测装置接收的声源的位置信息。

根据在本申请的权利要求18中所描述的技术，根据权利要求13所述的信息记录装置的声音信息记录单元被配置为将从声源检测装置接收的声音信息或者随后记录的声音信息与声源的位置信息一起记录。

根据本申请的权利要求19中描述的技术，根据权利要求13所述的信息记录装置被配置为与用于图像记录的同步信号(时钟)相同步地记录或者基于频率划分或者频率抽取的定时信号记录摄像机的位置信息和姿势信息以及声源的位置信息。

进一步，根据本申请的权利要求20中描述的技术，设置有信息记录方法，包括：接收由摄像机拍摄的图像以及摄像机的位置信息和姿势信息的步骤，记录所接收的由摄像机拍摄的图像以及所接收的摄像机的位置信息和姿势信息的步骤，接收声源的位置信息的步骤，以及被配置为记录接收的声源的位置信息的声音信息记录单元。

本发明的有益效果

根据在本说明书中所描述的技术，能够提供可以记录并且再现声音和图像的信息的优良的信息记录装置和信息记录方法以及信息再现装置和信息再现方法，使得在提供逼真的感受的同时，提供使观看者感兴趣的且防止观看者厌烦的内容。

应当注意的是，本说明书中参照实例描述了本发明的有益效果，并且本发明的有益效果不限于此。此外，在一些情况下，本发明也可以表现出除以上给出的有益效果以外的额外的有益效果。

通过基于在下文中论述的示例性实施方式和附图的更加详细的描述，本说明书中公开的另外的目的、特征以及优点将变得清晰。

附图说明

[图1]图1是示意性地示出记录图像和声音的信息的记录系统100的配置实例的示图。

[图2]图2是示意性地示出布置在真实空间中的摄像机110-1、110-2、...以及麦克风120-1、120-2、...的方面的示图。

[图3]图3是示意性地示出记录图像和声音的信息的记录系统300的另一个配置实例的示图。

[图4]图4是示意性地示出布置在真实空间中的摄像机310-1、310-2、...以及声音位置传感器320-1、320-2、...的方面的示图。

[图5]图5是示出用于记录由摄像机拍摄的图像(动态图像或者静态图像)以及摄像机的位置信息和姿势信息，同时记录来自声源(诸如发声者)的声音信息以及声源的位置信息的记录格式实例的示图。

[图6]图6是示出用于记录由摄像机拍摄的图像(动态图像或者静态图像)以及摄像机的位置信息和姿势信息，同时记录来自声源(诸如发声者)的声音信息以及声源的位置信息的记录格式的另一个实例的示图。

[图7]图7是示出用于在记录系统300内传送摄像机或者发声者的位置信息的数据包500的配置实例的示图。

[图8]图8是示出包括在摄像机或者声源的位置信息中的数据的示图。

[图9]图9是示出头戴式显示器900的外部配置的示图(立体图)。

[图10]图10是示出头戴式显示器900的外部配置的示图(左侧视图)。

[图11]图11是示意性地示出再现利用位置信息记录的图像信息和声音信息的图像显示系统1100的配置实例的示图。

[图12]图12是示意性地示出图像显示系统1100的变形例的示图。

[图13]图13是示出用于在图11或者图12中所示的图像显示系统1100中的显示装置1140上跟随用户的头部的运动显示图像的结构的示图。

[图14]图14是示意性地示出在绘图装置1130内的绘图处理单元1132的配置的示图。

[图15]图15是示出用于再现图像和声音的处理程序的流程图。

[图16]图16是示出确定虚拟点并且虚拟点被布置在向用户提供图像和声音的空间中的方面的示图。

[图17]图17是示出当再现图像和声音时，声音图像被定位在虚拟点的方面的示图。

[图18]图18是示出在头戴式显示器上再现图像和声音的方面的示图。

[图19]图19是示出呈现布置在任意位置的视点的图像的实例的示图。

[图20]图20是示出在头戴式显示器上再现视点插入图像的方面的示图。

[图21]图21是示出再现图像的头戴式显示器的佩戴者也作为发声对象处理并且定位所说内容的声音图像的方面的示图。

具体实施方式

以下将参考附图详细描述本说明书中公开的技术的实施方式。

当使用诸如波前合成技术和头部传输函数(例如参见专利文献1和专利文献2)的方法定位声音图像时，通常可以认为在记录图像和声音时记录从摄像机至对象(发声者、声源)的相对位置，并且当再现时根据相对位置信息定位声音图像。

如果使用一个摄像机进行拍摄，使用这种声音图像定位方法能够提供逼真的感受。然而，即使来自一个摄像机的图像持续作为实时内容呈现，观看者对于这种图像是不感兴趣的。

通过使用多个摄像机拍摄整个圆周的图像，并且当再现时通过示出角度视情况改变且焦距缩放或者移动的图像，能够提供使观看者感兴趣的且防止观看者感到厌烦的内容。

然而，当切换相机角度时，由于从摄像机至声源的相对位置同样改变，定位的声音图像的位置急剧改变，这是异常的。

因此，在本说明书描述的技术中，在记录图像和声音的信息时，由多个摄像机拍摄的图像信息与每一个摄像机的位置信息和姿势信息被一起记录，同时来自多个声源的声音信息与每一个声源的位置信息被一起记录。然后，当再现时，通过将观看者的位置设定于某一点，并且在观看者的位置(视觉方向)处再现图像同时在观看者的位置处定位声音图像，能够提供使观看者感兴趣的且防止观看者感到厌烦的内容，并且提供具有逼真感受的自然的声音。例如，仅需要将观看者的位置设定在典型的位置(诸如提供图像的空间的中心)处，并且观看者的位置可以是用于拍摄的多个摄像机的重心位置。

图1示意性地示出记录图像和声音的信息的记录系统100的配置实例。所示的记录系统100包括：布置在真实空间中的多个摄像机110-1、110-2、...以及多个麦克风120-1、120-2、...，被配置为将同步信号供应至摄像机110-1、110-2、...和麦克风120-1、120-2、...的同步信号发生装置130以及记录装置140。

图2示意性地示出布置在真实空间中的摄像机110-1、110-2、...以及麦克风120-1、120-2、...的方面。在所示的实例中，为发声者201、202、...中的每一个提供麦克风120-1、120-2、...(或者成为分别具有麦克风120-1、120-2、...的对象的发声者201、202、...)。相应的摄像机110-1、110-2、...从相应的视点拍摄发声者201、202、...。

将再次参考图1描述记录系统100。例如，同步信号发生装置130将称为GenLock的同步信号作为30fps的主时钟供应至摄像机110-1、110-2、...中的每一个。接收同步信号GenLock的摄像机110-1、110-2、...拍摄发声者201、202、...。然后记录装置140基于从同步信号发生装置130接收的同步信号，彼此同步地记录摄像机110-1、110-2、...的图像信号。

进一步，同步信号发生装置130将称为WordClock的同步信号供应至麦克风120-1、120-2、...中的每一个。麦克风120-1、120-2、...中的每一个基于WordClock以48kHz或者96kHz的采样速率收集发声者201、202、...的声音。然后记录装置140基于从同步信号发生装置130接收的同步信号，彼此同步地记录在麦克风120-1、120-2、...处收集的声音信号。

同步信号发生装置130将WordClock与GenLock同步用于图像和声音。因此，在记录装置140处记录的图像和声音彼此匹配。进一步，除了WordClock和GenLock之外，可以嵌入在电影和电视工程师协会(SMPTE)中限定的时间代码。

进一步，在图1和图2中所示的记录系统100中，诸如摄像机110-1、110-2、...以及麦克风120-1、120-2、...的设备包括位置信息发送器。摄像机110-1、110-2、...将自身的位置信息和姿势信息与所拍摄的图像信号一起发送给记录装置140。进一步，麦克风120-1、120-2、...将自身(发声者)的位置信息与所收集的声音信号一起发送给记录装置140。

记录装置140使用与GenLock同步的时钟记录由摄像机110-1、110-2、...拍摄的图像信号以及彼此关联的相应的位置信息和姿势信息。进一步，记录装置140使用与WordClock同步的时钟记录在麦克风120-1、120-2、...处收集的声音信息以及彼此关联的相应的位置信息。

当记录图像和声音的信息时，在图1中所示的记录系统100记录由多个摄像机拍摄的图像信息以及相应的摄像机的位置信息和姿势信息，同时记录来自多个声源的声音信息以及相应的声源的位置信息。

图5示出用于记录由摄像机拍摄的图像(动态图像或者静态图像)以及摄像机的位置信息和姿势信息，同时记录来自声源(诸如发声者)的声音信息以及声源的位置信息的记录格式的实例。在所示的记录格式500中，图像信息和声音信息对于数据包是多路复用的。

在存储由摄像机拍摄的图像的数据包的报头部501中，描述了指示图像是由第m个摄像机拍摄的图像的信息以及呈现时间，并且由摄像机拍摄的动态图像(或者静态图像)存储在有效载荷部502中。在存储摄像机的位置信息和姿势信息的数据包的报头部511中，描述了指示图像是第m个摄像机的位置和姿势的图像的信息、以及采样的开始时间和采样速率，并且摄像机的位置信息存储在有效载荷部512中。进一步，与摄像机工作有关的信息(诸如摇摄和切换的频率)可以与位置信息和姿势信息一起存储在有效载荷部512中。还存在将诸如摇摄和切换的频率的信息用于确定优选地定位声音图像的坐标的情况(其将被稍后描述)。

进一步，在存储了声音信息(发声者的声音)的数据包的报头部521中，描述了指示声音是第n个发声者的声音的信息以及呈现时间，并且发声者的声音信息被存储在有效载荷部522中。进一步，在存储了作为声源的发声者的位置信息的数据包的报头部531中，描述了指示图像是第n个发声者的位置图像的信息以及采样的开始时间和采样速率，并且发声者的位置信息被存储在有效载荷部532中。

在图5中所示的记录格式中，可以与用于图像记录的同步信号(时钟)同步记录，或者基于频率划分或者频率抽取的定时信号记录摄像机的位置信息和姿势信息以及声源的位置信息。

进一步，图6示出用于记录由摄像机拍摄的图像(动态图像或者静态图像)以及摄像机的位置信息和姿势信息，同时记录来自声源(诸如发声者)的声音信息以及声源的位置信息的记录格式的另一个实例。在所示的记录格式600中，图像信息和声音信息记录在不同的轨道或者不同的文件中。

在存储了由摄像机拍摄的图像的轨道的报头部601中，描述了指示图像是由第m个摄像机拍摄的图像的信息以及呈现时间，并且由摄像机拍摄的动态图像(或者静态图像)被存储在有效载荷部602中。在存储了摄像机的位置信息的轨道的报头部611中，描述了指示图像是第m个摄像机的位置的图像的信息以及采样的开始时间和采样速率，并且摄像机的位置信息被存储在有效载荷部612中。进一步，在存储了声音信息(发声者的声音)的轨道的报头部621中，描述了指示声音是第n个发声者的声音的信息以及呈现时间，并且发声者的声音信息被存储在有效载荷部622中。进一步，在存储了发声者(其是声源)的位置信息的轨道的报头部631中，描述了指示图像是第n个发声者的位置的图像的信息、采样的开始时间以及采样速率，并且发声者的位置信息被存储在有效载荷部632中。

在图6中所示的记录格式中，可以与用于图像记录的同步信号(时钟)同步记录，或者基于频率划分或者频率抽取的定时信号记录摄像机的位置信息和姿势信息以及声源的位置信息。

应当注意的是，还存在使用在记录之后创建像电影、电视剧或者音乐宣传片的方法的情况，即在执行拍摄之后单独记录声音的方法。在这种情况下，重要的是在相应的麦克风120-1、120-2、...处记录发声者(歌手、演讲者以及发声对象)的位置信息，而不是在拍摄位置处收集或者记录声音。在这种情况下，不需要图5中的声音信息(发声者的声音)的数据包，而仅需要提供存储了发声者(其是声源)的位置信息的数据包。进一步，不需要存储图6中的声音信息(发声者的声音)的轨道，而仅需要提供存储发声者(其是声源)的位置信息的轨道。

进一步，图3示意性地示出了记录图像和声音的信息的记录系统300的另一个配置实例。

所示的记录系统300包括布置在真实空间中的多个摄像机310-1、310-2、...。摄像机310-1、310-2、...中的每一个包括用于检测位置信息的位置传感器。例如，通过组合加速度传感器、全球定位系统(GPS)传感器以及地磁传感器中的一个或两个或更多个来配置位置传感器。可替换地，位置传感器可以通过对从摄像机拍摄的图像进行图像识别来获取位置信息。

进一步，记录系统300包括声音位置传感器320-1、320-2、...，其代替在拍摄位置处收集声音的麦克风来检测成为诸如发声者(歌手、演讲者、发声对象)的声源的相应的对象的位置。在记录系统300中，假设使用在记录之后创建像电影、电视剧或者音乐宣传片的方法，即在执行拍摄之后单独记录声音的方法。

进一步，记录系统300包括：同步信号发生装置330，被配置为将同步信号供应至摄像机310-1、310-2、...中的每一个；以及声音位置传感器320-1、320-2、...；位置信息接收装置340，被配置为从摄像机310-1、310-2、...以及声音位置传感器320-1、320-2、...中的每一个接收位置信息；以及记录装置350。

图4示意性地示出了布置在真实空间中的摄像机310-1、310-2、...以及声音位置传感器320-1、320-2、...的方面。在所示的实例中，为发声者401、402、...中的每一个提供了声音位置传感器320-1、320-2、...(或者声音位置传感器320-1、320-2、...被分别附着于发声者401、402、...)。摄像机310-1、310-2、...分别从相应的视点拍摄发声者401、402、...。

将再次参考图3描述记录系统300。例如，同步信号发生装置330将称为GenLock的同步信号作为30fps的主时钟供应至摄像机310-1、310-2、...中的每一个。接收该同步信号的摄像机310-1、310-2、...拍摄发声者401、402、...。进一步，摄像机310-1、310-2、...的位置传感器获取与GenLock同步的位置信息。摄像机310-1、310-2、...将图像信号发送至记录装置350。进一步，摄像机310-1、310-2、...的位置传感器将位置信息发送至位置信息接收装置340，并且位置信息接收装置340将所收集的位置信息传输至记录装置350。

进一步，同步信号发生装置330将称为WordClock的同步信号供应至声音位置传感器320-1、320-2、...中的每一个。声音位置传感器320-1、320-2、...基于WordClock以诸如48kHz和96kHz的采样速率获取发声者401、402、...的位置信息，并且将位置信息发送至位置信息接收装置340。位置信息接收装置340将所收集的位置信息发送至记录装置350。

在图3中所示的记录系统300中，用于记录位置信息的同步信号WordClock和用于记录姿势信息的同步信号GenLock彼此同步。具体地，速率变成等于图像或者音频的速率，或者变成可以认为是接近人的声音的移动的延迟界限的速率。

图7示出用于发送在记录系统300内的摄像机310-1、310-2、...以及发声者(声音位置传感器320-1、320-2)的位置信息的数据包700的配置实例。所示的数据包700配置有报头部701和位置信息部702。在报头部701中，描述了采样的开始时间Ts和采样速率Fs。进一步，在位置信息部702中，存储了用于从采样的开始时间Ts起的采样频率1/Fs中的每一个的所检测的位置信息POS(Ts)、POS(TS+1×1/Fs)、POS(TS+2×2/Fs)、...。然而，POS(t)是在时刻t的位置信息。如图8所示，假设POS(t)包括利用xyz坐标(x，y，z)或者极坐标(r，θ，)表示的位置信息以及利用(Θ，Φ)表示的姿势信息。姿势信息可以利用四元数(以旋转轴(矢量)和旋转角(标量)形成的四元数)表示。

当记录图像和声音的信息时，图3中所示的记录系统300记录由多个摄像机拍摄的图像信息以及每一个摄像机的位置信息和姿势信息，同时记录来自多个声源的声音信息以及每一个声源的位置信息。应当注意的是，当使用在记录之后的方法，即在执行拍摄之后单独记录声音的方法时，如在用于相关领域内的宣传片的拍摄方法中，记录轨道被应用于与发声者的位置一致的位置或者用具有位置信息的坐标代替。同样在图3中所示的记录系统300中，利用图5中所示的数据包配置或者图6中所示的轨道配置，能够与位置信息一起记录图像信息和声音信息。

当再现由图1中所示的记录系统100或者由图3中所示的记录系统300记录的图像信息和声音信息以及位置信息时，通过再现在观看者的位置(视觉方向)处的图像同时将声音图像定位在观看者的位置处，能够提供使观看者感兴趣的且防止观看者厌烦的内容，并且提供具有逼真的感受的声音。

例如，当在图像显示系统(诸如头戴式显示器)中再现所记录的图像信息和声音信息，以及位置信息和姿势信息时，能够提供跟随用户头部的运动的整个360度的空间的图像。通过移动在广角图像中的显示区域以便抵消通过附着至用户头部的头部运动追踪装置检测到的头部的运动，能够跟随头部的运动再现图像并且给出仿佛他/她查看整个空间的用户体验。

图9和图10示出了通过固定在观察图像的用户的头部或者面部所使用的头戴式显示器900的外部配置。然而，图9是头戴式显示器900的立体图，而图10是头戴式显示器900的左侧视图。

所示的头戴式显示器900具有覆盖头部的整个圆周的帽形或者类似带子的结构，并且头戴式显示器900在佩戴同时通过将装置的重量分布至整个头部而减小用户的负荷。

头戴式显示器900以包括大多数的部分的主体部901形成，该部分包括显示系统、从主体部901的上面突出的前额保护部902、岔开为上带904和下带905的头带以及左耳机和右耳机。在主体部901内，装有显示单元和电路板。进一步，在主体部901下方设置了接着鼻背的鼻垫部903。

当用户在头上佩戴头戴式显示器900时，前额保护部902抵接用户的前额，并且头带的上带904和下带905各自抵接头的后部。即，通过在前额保护部902、上带904以及下带905的三个点处支撑，使头戴式显示器900佩戴在用户头部上。因此，头戴式显示器900的结构与重量主要在鼻垫部支撑的常规眼镜的结构不同，并且头戴式显示器900可以在佩戴同时通过将重量分布至整个头部而减小用户的负荷。虽然所示的头戴式显示器900还包括鼻垫部903，但是该鼻垫部903仅有助于辅助支撑。进一步，通过利用头带紧固前额保护部902，能够支撑在旋转方向上的运动，使得头戴式显示器900不在佩戴头戴式显示器900的用户的头部上旋转。

图11示意性地示出了再现记录的图像信息和声音信息以及位置信息的图像显示系统1100的配置实例。所述的图像显示系统1100包括头部运动追踪装置1120、绘图装置1130以及显示装置1140。

例如，通过佩戴在观察图像的用户头上来使用被配置为图9和图10中所示的头戴式显示器900的显示装置1140。

对于每一个预定的传输周期，头部运动追踪装置1120将观察在显示装置1140上显示的图像的用户的头部的姿势信息输出至绘图装置1130。在所示的实例中，头部运动追踪装置1120包括传感器单元1121、姿势角计算单元1122以及被配置为将所获得的姿势信息发送至绘图装置1130的发送单元1123。

头部运动追踪装置1120可以被安装在配置为头戴式显示器900的显示装置1140的主体部901内。然而，在这个实施方式中，为了使显示装置1140更小、更轻并且低廉，假设头部运动追踪装置1120被设置为外部附接至显示装置1140的可选产品。例如，通过附接至包括头戴式显示器900的上带904、下带905以及前额保护部902的任意位置来作为配件使用头部运动追踪装置1120。

例如，通过组合多个传感器元件(诸如陀螺仪传感器、加速度传感器以及地磁传感器)来配置传感器单元1121。在此，传感器单元1121被限定为可以检测包括三维陀螺仪传感器、三维加速度传感器以及三维地磁传感器的总共九个轴的传感器。姿势角计算单元1122基于传感器单元1121的九个轴的检测结果计算用户的头部的姿势信息。发送单元1123将所获得的姿势信息发送至绘图装置1130。

在所示的图像显示系统1100中，假设头部运动追踪装置1120通过诸如蓝牙(注册商标)通信的无线通信连接至绘图装置1130。当然，头部运动追踪装置1120可以经由诸如通用串行总线(USB)的高速有线接口而不是通过无线通信连接至绘图装置1130。

绘图装置1130在显示装置1140上对待再现的图像和待输出的声音执行渲染处理。例如，虽然绘图装置1130被配置为采用安卓(注册商标)的终端(诸如智能手机、个人计算机或者游戏机)，但是绘图装置1130不限于这些装置。进一步，绘图装置1130可以是互联网上的服务器装置。头部运动追踪装置1120将用户的头部姿势/位置信息发送至服务器(其是绘图装置1130)，并且绘图装置1130生成对应于所接收的头部姿势/位置信息的动态图像流，并且将动态图像流发送至显示装置1140。

在所示的实例中，绘图装置1130包括：接收单元1131，被配置为从头部运动追踪装置1120接收姿势信息；绘图处理单元1132，被配置为基于姿势信息对图像和声音进行渲染处理；发送单元1133，被配置为将所渲染的图像发送至显示装置1140；以及内容输入单元1134，被配置为从供应源接受图像声音的数据流。

接收单元1131通过蓝牙(注册商标)通信等从头部运动追踪装置1120接收用户的位置信息和姿势信息。如上所述，以旋转矩阵表示姿势信息。

例如，由以下装置来形成内容输入单元1134：利用图1中所示的记录装置140和图3中所示的记录装置340，读取以图6中所示的格式记录在记录装置140、记录装置340中的图像和声音内容的再现装置，经由网络或者作为广播信号等接收以图5中所示的格式记录在记录装置140、记录装置340中的图像和声音内容的接收装置(广播调谐器、通信接口)。

绘图处理单元1132对从内容输入单元1134供应的图像数据和声音数据进行渲染以生成待显示在显示装置1140侧上的图像和声音。在这个实施方式中，绘图处理单元1132生成对应于佩戴头戴式显示器900作为显示装置1140的用户的位置信息和姿势信息(视觉方向)的图像并且在用户的位置处定位声音图像，从而提供使用户感兴趣的并防止用户厌烦的内容，并且提供具有逼真的感受的声音。稍后将详细描述在绘图处理单元1132处渲染图像以及渲染声音的处理。

例如，绘图装置1130使用诸如高清晰度多媒体接口(HDMI)(注册商标)以及移动高清链接(MHL)的电缆连接至显示装置1140。可替换地，绘图装置1130可以通过诸如无线HD以及Miracast的无线通信连接至显示装置1140。发送单元1133在不压缩数据的情况下使用任意通信路径发送在绘图处理单元1132处渲染的图像数据和声音数据。

显示装置1140包括被配置为从绘图装置1130接收图像的接收单元1141以及图像声音输出单元1142。如上所述，显示装置1140被配置为固定在观察图像的用户的头部或者面部的头戴式显示器900。可替换地，显示装置1140可以是常规显示器、在剧院的屏幕上投影图像的投影仪等。

例如，接收单元1141通过诸如HDMI(注册商标)以及MHL的通信路径从绘图装置300接收未压缩的图像数据和声音数据。利用输出图像的显示器和输出声音的麦克风而形成的图像声音输出单元1142在屏幕上显示所接收的图像数据并且输出声音。

例如，当显示装置1140被配置为头戴式显示器900时，图像声音输出单元1142包括分别固定在用户的左眼和右眼的左屏幕和右屏幕，并且为左眼显示图像以及为右眼显示图像。例如，该屏幕配置有显示面板，诸如微显示器(诸如有机电致发光(EL)元件)以及液晶显示器，或者激光扫描型显示器(诸如视网膜直接绘图显示器)。进一步，显示装置1140包括虚拟图像光学单元，虚拟图像光学单元被配置为放大并投影显示图像并且形成利用在用户的瞳孔上的预定视场角而形成的放大的虚拟图像。

图12示意性地示出了图像显示系统1100的变形例。虽然在图11中所示的实例中，图像显示系统1100被配置有包括头部运动追踪装置1120、绘图装置1130以及显示装置1140的三个独立的装置，但是在图12中所示的实例中，在显示装置1140内安装了绘图装置1130(即接收单元1131、绘图处理单元1132以及内容输入单元1134)的功能件。如在图11中所示，通过将头部运动追踪装置1120配置为外部附接至显示装置1140的可选产品，显示装置1140变得更小、更轻以及低廉。

图13示出在图11或者图12中所示的图像显示系统1100中，在显示装置1140上显示跟随头部的运动(即用户的视线)的图像的结构。

假设用户的视线的深度方向是z_w轴、水平方向是y_w轴、垂直方向是x_w轴并且用户参考轴x_w、y_w、z_w的原点的位置是用户的视点的位置。因此，转动θz对应于围绕用户的头部的z_w轴的运动，倾斜θ_y对应于围绕用户的头部的y_w轴的运动，以及平移θz对应于围绕用户的头部的x_w轴的运动。

头部运动追踪装置1120检测通过在用户头部的转动、倾斜以及平移的每一个方向上的运动(θ_x、θ_y、θ_z)或者头部的平行运动而形成的姿势信息，并且将姿势信息作为旋转矩阵M_R输出至绘图装置1130。

例如，绘图装置1130移动待从具有宽视场角的原始图像1301(诸如原始球体图像和4K)剪切的区域1302的中心以便跟随用户的头部的姿势，并且渲染以预定的视场角在中心位置处剪切的区域502的图像。绘图装置1130通过根据用户头部的运动的转动分量旋转区域1302-1、根据用户头部运动的倾斜分量移动区域1302-2或者根据用户头部的运动的平移分量移动区域1302-3移动显示区域，以便抵消通过头部运动追踪装置1120所检测的头部的运动。

显示装置1140侧可以呈现显示区域在原始图像1301中移动的图像，以便跟随用户的头部(视线)的运动。进一步，本实施方式具有声音图像也随着图像定位，以便跟随用户的头部(视线)的运动的特征。

应当注意的是，当不存在由对应于用户的视点的摄像机拍摄的图像时，使用具有相对接近的视线的两个或更多个图像插入视点。

图14示意性地示出了在绘图装置1130内的绘图处理单元1132的配置。

解多路复用器(DEMUX)1401将来自内容输入单元1134的输入流解多路复用为声音信息、图像信息、声源的位置信息以及拍摄图像的摄像机的位置信息和姿势信息。声音的位置信息利用对象(诸如用于收集声音的麦克风以及发声者)的位置信息形成。进一步，位置信息是用于拍摄的所有摄像机的坐标信息。

视频解码器1402对在解多路复用器1401处从输入流解多路复用的图像信息(诸如动态图像)进行解码处理。进一步，音频解码器1403对在解多路复用器1401处从输入流解多路复用的声音信息进行解码处理。

位置信息计算单元1404输入拍摄图像的摄像机的位置信息和姿势信息以及声源的位置信息，确定查看图像的用户的位置(即在向用户提供图像和声音的空间中的虚拟点)，并且计算用户坐标。虚拟点是待定位声音图像的位置。例如，虚拟点可以是典型的位置，诸如待提供图像的空间的中心(认为声音图像优选地定位到其中)，并且可以是用于拍摄的多个摄像机的重心位置。进一步，位置信息计算单元1404进一步输入从头部运动追踪装置1120接收的用户的真实的位置信息和姿势信息，以移动虚拟点或者改变虚拟点上的视觉方向。当绘图装置1130是头戴式显示器900时，虚拟点对应于佩戴头戴式显示器900的用户头部的位置和姿势。

图像调整单元1405基于每一个摄像机的坐标位置和通过位置信息计算单元1404确定的虚拟点的坐标位置，对在视频解码器1402处经受解码处理的图像进行调整处理。当不存在由与在虚拟点的用户具有相同视点的摄像机拍摄的图像时，图像调整单元1405使用与虚拟点相对接近的两个或更多个摄像机拍摄的图像，通过视点插入(viewpoint interpolation)从虚拟点生成视点图像。

进一步，声音调整单元1406在通过位置信息计算单元1404确定的虚拟点处，定位在音频解码器1403处经受解码处理的每一个声源的声音的声音图像。具体地，声音调整单元1406将包括在用户的视点图像中的发声对象(或者收集发声对象的声音的麦克风)的绝对位置信息转换为相对于用户的视点摄像机的相对位置，以在视点图像中定位发声对象的声音图像。进一步，如上所述，当在图像调整单元1405处使用由多个摄像机拍摄的图像来插入视点时，声音调整单元1406将发声对象的绝对位置信息转换为视点插入摄像机的相对位置信息，以在视点插入图像中定位发声对象的声音图像。通过这种方式，能够解决当视点摄像机的角度切换时声音图像的位置快速改变的异常。使用利用扬声器阵列(诸如波前合成)的方法可以定位声音图像。

图像/声音渲染单元1407对在图像调整单元1405中处理的图像和在声音调整单元1406中处理的声音图像进行同步图像的处理，并且例如，使用HDMI(注册商标)接口将所同步的图像和声音图像输出至显示装置1140。

图15以流程图格式示出了再现图像和声音的处理步骤。

例如，使用头部运动追踪装置1120检测用户的位置信息(步骤S1502)。进一步，解多路复用器1401将输入流解多路复用为声音信息、图像信息以及声音和图像的位置信息(步骤S1503)。然后，直到输入流完成(步骤S1501：否)，同时执行以下将描述的图像信息的处理和声音信息的处理。

图像调整单元1405输入在视频解码器1402处经受解码处理的由每一个摄像机拍摄的图像(步骤S1504)，输入每一个摄像机的坐标位置以及通过位置信息计算单元1404确定的在虚拟点的用户坐标，以生成用户的视点图像(步骤S1505)。当不存在由设置在用户坐标处的摄像机拍摄的图像时，图像调整单元1405使用与虚拟点相对接近的两个或更多个摄像机拍摄的图像，通过视点插入法从虚拟点生成视点图像。然后，所生成的视点图像被输出至显示装置1140，同时与声音图像同步生成图像并且呈现给用户(步骤S1506)。

进一步，当声音调整单元1406获取所有声源(或者收集发声对象的声音的麦克风)的绝对位置信息时(步骤S1507)，声音调整单元1406将绝对位置信息转换为相对于虚拟点(或者用户的视点摄像机)的位置坐标的相对位置(步骤S1508)，并且在视点图像中定位每一个声源的声音图像(步骤S1509)。然后，所生成的声音图像被输出至显示装置1140，同时与图像同步生成声音图像并且呈现给用户(步骤S1510)。

图16示出了确定虚拟点1601并且虚拟点被布置在向用户提供图像和声音的空间中的方面。虚拟点1601是待定位声音图像的位置。

当待呈现给用户的图像是宣传片或者实时分发时，位置信息计算单元1404确定其中认为声音图像被优选地定位在作为虚拟点1601的原始地点的位置(或者典型的位置)。在图16所示的实例中，在拍摄位置处，设置两个摄像机Cam 1和Cam 2来拍摄两个发声者Obj 1和Obj 2。例如，当使用由多个摄像机Cam 1和Cam 2拍摄的图像来生成视点插入图像时，可以确定摄像机Cam 1和摄像机Cam 2的重心作为虚拟点1601。进一步，也可以基于摇摄和切换的频率对摄像机Cam 1和摄像机Cam 2中的每一个的位置信息进行加权来计算中心位置并且将中心位置设为虚拟点1601。

进一步，图17示出了当再现图像和声音时，声音图像被定位在虚拟点1701的方面。当在剧院再现宣传片或者实时分发图像时，图像通过投影到屏幕1702上而被呈现，以便使剧院内的座位的中心与所确定的虚拟点一致(如图16中所示)。进一步，在剧院中，三个扬声器1711、1712以及1713设置在前部，并且两个扬声器1714和1715设置在后部，从而配置5.1声道环绕型扬声器。当根据在屏幕1702上呈现的图像来渲染声源时，使用诸如5.1声道摇摄的扬声器阵列1711至1715(声音图像定位沿着水平方向的改变)以及波前合成的声音图像定位方法被用于再现逼真的感受，这使得用户感觉仿佛他/她处于场景中。

当对于一个摄像机确定声音图像的位置坐标时(例如，参见专利文献1和专利文献2)，在摇摄或者切换屏幕时声音图像定位改变，并且出现用户不知道他/她从哪里听到声音的现象。当相机角度切换时，由于从摄像机至声源的相对位置也改变，因此定位声音图像的位置急剧改变，这是异常的。与此相反，在这个实施方式中，发声对象的绝对位置信息被转换为相对于设置在剧院内的用户的位置(即虚拟点1701)的相对位置信息，并且相对于剧院内的座位位置来定位发声对象的声音图像。通过这种方式，能够避免用户不知道他/她从哪里听到声音的现象。

进一步，图18示出在头戴式显示器上再现每一个摄像机的视点图像的方面。在所所示的实施例中，再现了每一个拍摄的图像，同时头戴式显示器的佩戴者1801和1802分别映射在拍摄发声对象1811和1812的任意摄像机Cam 1和Cam 2的位置处。在这种情况下，在所拍摄的图像中的每一个发声对象的绝对位置信息被转换为相对于任意摄像机Cam 1和Cam 2的相对位置信息，并且相对于拍摄发声对象的摄像机的位置来定位声音图像。因此，即使在切换多个摄像机的视点的同时呈现图像，由于声音图像被呈现在所呈现的图像中的发声对象处，因此用户1801和用户1802中的每一个知道他/她从哪里听见声音，使得用户可以享受声音图像定位。

还有可以针对拍摄发声对象的摄像机Cam 1和Cam 2中的每一个，记录每一个所拍摄的发声对象的相对位置信息的方法。在这种情况下，存在发声对象的相对位置信息随着所设置的摄像机的数量(即视点的数量)的增加而增加的问题。与此相反，在这个实施方式中，由于记录装置140和340记录每一个发声对象的绝对位置信息，并且当再现图像和声音时，每次切换视点时，绝对位置信息都被转换为相对于摄像机的相对位置信息以定位声音图像，因此不存在发声对象的位置信息随着视点的数量的增加而增加的问题。

进一步，除了使用头戴式显示器的情况，还可以使用用户通过任意切换视点来使他/她自己满足的情况，来自所切换的视点的摄像机的位置的声音图像的定位对应于来自在图16中的剧院中所确定的虚拟点1601的位置的声音图像的定位。

进一步，图19示出在向用户提供图像和声音的空间中呈现布置在任意位置的视点的图像的实例。在所示的实例中，用户的视点被布置在与拍摄发声对象Obj 1和Obj 2的摄像机Cam 1和Cam 2中的任一个不同的位置处。当用户的视点被布置在摄像机Cam 1和摄像机Cam 2之间的位置时，设置视点插入摄像机Cam P1，合成通过摄像机Cam 1和摄像机Cam 2拍摄的图像以生成在视点插入摄像机Cam P1处拍摄的视点插入图像。进一步，发声对象Obj 1和Obj 2的绝对位置信息被转换为相对于视点插入摄像机Cam P1的相对位置信息，以相对于视点插入摄像机Cam P1定位声音图像。按类似方式呈现在视点插入摄像机Cam P2处的视点插入图像。因此，由于在没有设置执行拍摄的实际摄像机的视点处也呈现视点插入图像，并且声音图像被呈现给视点插入图像中的发声对象，因此用户可以知道他/她从哪里听到声音，并且因此可以享受声音图像的定位。

还存在可以对于拍摄发声对象的摄像机Cam 1和Cam 2中的每一个，记录每一个所拍摄的发声对象的相对位置信息的方法。在这种情况下，由于主要基于在摄像机之间异步记录的发声对象的声源位置信息来计算摄像机之间的相对位置，所以处理是没有效率的。与此相反，在这个实施方式中，由于记录每一个发声对象的绝对位置信息，并且在生成视点插入图像时，图像中的每一个发声对象的绝对位置信息都被转换为相对于视点插入图像摄像机的相对位置信息，因此处理是高效率的。

进一步，图20示出了在头戴式显示器上再现视点插入图像的方面。在所示的实例中，在头戴式显示器H1被映射至视点插入摄像机Cam P1的位置的同时再现视点插入图像。进一步，在视点插入图像中的发声对象Obj 1和Obj 2中的每一个的绝对位置信息被转换为相对于视点插入摄像机Cam P1的相对位置信息，以相对于视点插入摄像机Cam P1定位声音图像。按类似方式在头戴式显示器H2上呈现在视点插入摄像机Cam P2处的视点插入图像。因此，还能够在没有设置执行拍摄的实际摄像机的任意视点处呈现视点插入图像，并且从视点插入图像中的发声对象的位置实现正确的声音图像的定位。

当用户使用渲染装置(诸如常规显示器和屏幕以及头戴式显示器)，来享受所记录的位置(摄像机位置)的图像或者任意视点的图像时，通过在渲染装置处设置麦克风也能够实现仿佛发声对象就在那里的交谈。

图21示出再现图像的头戴式显示器的佩戴者也作为发声对象处理并且定位话语内容的声音图像的方面。当麦克风安装在头戴式显示器H1上时，佩戴头戴式显示器H1的用户也作为发声对象处理，并且定位在视点插入图像中的发声对象Obj 1和Obj 2中的每一个的声音图像，同时从H1的方向定位在头戴式显示器H1的麦克风处所收集的声音2101的声音图像并且再现该声音图像。进一步，按类似方式，当麦克风被安装在头戴式显示器H2上时，佩戴头戴式显示器H2的用户也作为发声对象处理，并且定位在视点插入图像中的发声对象Obj 1和Obj 2中的每一个的声音图像，同时从H2的方向定位在头戴式显示器H2的麦克风处所收集的声音2102的声音图像并且再现该声音图像。通过这种方式，佩戴头戴式显示器H1和H2的用户中的每一个可以进行交谈，仿佛他们在那一样。

进一步，头戴式显示器H1和H2可以在每一个用户的视点插入图像中对应于其他用户的位置处显示头像或者位置信息，以指明他们的存在。进一步，当在现场事件位置中存在再现装置(诸如扬声器阵列1201)等时，能够向发声对象Obj 1和Obj 2再现佩戴头戴式显示器H1的观众的欢呼声2101和2102，其中从观众的位置来看发声对象Obj 1和Obj 2是表演者。

按这种方式，在现场演唱会时，通过实时地反映表演者和观众的动作，他们可以具有进一步互动的体验并且具有逼真的感受。

工业实用性

因此，上述详细地并且参考具体实施方式描述了本说明书中公开的技术。然而，对于本领域内的技术人员显而易见的是，可以对这些实施方式作出变形和替代而不偏离本说明书中公开的技术的精神。

本说明书中公开的技术可以应用于使用各种渲染装置诸如常规显示器和屏幕以及头戴式显示器，伴随图像呈现声音的情况，以实现正确的声音图像的定位。

实质上，已通过举例的方式，描述本说明书中公开的技术，并且本说明书中陈述的内容不应该作为限制来解释。本说明书中公开的技术的精神应该考虑权利要求来确定。

此外，本技术也可按如下配置。

(1)一种信息再现装置，包括：

位置信息计算单元，被配置为计算在提供了图像和声音的空间中的观看者的位置；

图像处理单元，被配置为基于记录有摄像机的位置信息和姿势信息的图像信息在观看者的位置处处理图像；以及

声音处理单元，被配置为基于记录有声源的位置信息的声音信息在观看者的位置处定位声音图像。

(2)根据(1)所述的信息再现装置，

其中，位置信息计算单元基于用于拍摄的摄像机的位置信息和姿势信息计算观看者的位置。

(3)根据(1)或(2)所述的信息再现装置，

其中，位置信息计算单元基于观看者的实际运动或者实际位置计算观看者的位置。

(4)根据(1)或(2)所述的信息再现装置，

其中，位置信息计算单元基于多个摄像机之间的重心位置计算观看者的位置。

(5)根据(1)或(2)所述的信息再现装置，

其中，位置信息计算单元基于多个摄像机之间的重心位置计算观看者的位置，基于对摇摄和切换的频率进行加权而得到该重心位置。

(6)根据(1)至(5)中任一项所述的信息再现装置，

其中，图像处理单元基于在观看者的位置处的摄像机拍摄的摄像机的图像在观看者的位置处生成图像。

(7)根据(1)至(5)中任一项所述的信息再现装置，

其中，图像处理单元利用多个摄像机拍摄的图像在观看者的位置处生成视点插入图像。

(8)根据(7)所述的信息再现装置，

其中，声音处理单元在插入视点的位置处定位声音图像。

(9)根据(7)或(8)所述的信息再现装置，

其中，声音处理单元基于插入了从观看者收集的话语信息的视点的位置定位声音图像。

(10)根据(7)或(8)所述的信息再现装置，

其中，图像处理单元在视点插入图像中对应于观看者的位置处显示观看者的头像或者位置信息。

(11)根据(1)至(10)中任一项所述的信息再现装置，

其中，声音处理单元将包含在来自观看者的位置的视点图像中的声源的绝对位置信息转换为相对于观看者的位置的相对位置，以定位在视点图像中声音图像的声音图像。

(12)一种信息再现方法，包括：

位置信息计算步骤，计算在提供了图像和声音的空间中的观看者的位置；

图像处理步骤，基于记录有摄像机的位置信息和姿势信息的图像信息在观看者的位置处处理图像；以及

声音处理步骤，基于记录有声源的位置信息的声音信息在观看者的位置处定位声音图像。

(13)一种信息记录装置，包括：

图像信息记录单元，被配置为记录由摄像机拍摄的图像以及摄像机的位置信息和姿势信息；以及

声音信息记录单元，被配置为记录声源的位置信息。

(14)根据(13)所述的信息记录装置，

其中，图像信息记录单元以用于图像的数据包形式记录由摄像机拍摄的图像以及摄像机的位置信息和姿势信息，并且

声音信息记录单元以用于声音的数据包形式记录声源的位置信息。

(15)根据(13)所述的信息记录装置，

其中，图像信息记录单元在用于图像的轨道中记录由摄像机拍摄的图像以及摄像机的位置信息和姿势信息，并且

声音信息记录单元在用于声音的轨道中记录声源的位置信息。

(16)根据(13)至(15)中任一项所述的信息记录装置，

其中，图像信息记录单元记录从摄像机接收的拍摄的图像以及从摄像机位置传感器接收的位置信息和姿势信息。

(17)根据(13)至(15)中任一项所述的信息记录装置，

其中，声音信息记录单元记录从声源检测装置接收的声源的位置信息。

(18)根据(13)至(17)中任一项所述的信息记录装置，

其中，声音信息记录单元将从声源检测装置接收的声音信息或者随后记录的声音信息与声源的位置信息一起记录。

(19)根据(13)至(18)中任一项所述的信息记录装置，

其中，与用于图像记录的同步信号(时钟)相同步地记录或者基于频率划分或者频率抽取的定时信号记录摄像机的位置信息和姿势信息以及声源的位置信息。

(20)一种信息记录方法，包括：

接收由摄像机拍摄的图像以及摄像机的位置信息和姿势信息的步骤；

记录所接收的由摄像机拍摄的图像以及所接收的摄像机的位置信息和姿势信息的步骤；

接收声源的位置信息的步骤；以及

声音信息记录单元被配置为记录所接收的声源的位置信息。

(21)一种信息记录和再现系统，包括：

记录装置，被配置为记录具有声源的位置信息的声音信息，同时记录具有摄像机的位置信息和姿势信息的拍摄图像；以及

再现装置，被配置为在将观看者的位置置于某一点的同时，使用记录有位置信息和姿势信息的图像从观看者的视点呈现图像，并且基于所记录的声音信息和位置信息在观看者的位置处定位声音图像。

符号说明

100 记录系统

110-1，110-2 摄像机

120-1，120-2 麦克风

130 同步信号发生装置

140 记录装置

300 记录系统

310-1，310-2 摄像机

320-1，320-2 声音位置传感器

330 同步信号发生装置

340 位置信息接收装置

350 记录装置

900 头戴式显示器

901 主体部

902 前额保护部

903 鼻垫部

904 上带

905 下带

1100 图像显示系统

1120 头部运动追踪装置

1121 传感器单元

1122 姿势角计算单元

1123 发送单元

1130 绘图装置

1131 接收单元

1132 绘图处理单元

1133 发送单元

1134 内容输入单元

1140 显示装置

1141 接收单元

1142 图像声音输出单元

1401 解多路复用器

1402 视频解码器

1403 音频解码器

1404 位置信息计算单元

1405 图像调整单元

1406 声音调整单元

1407 图像/声音渲染单元