虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序与流程

本发明涉及一种虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序，尤其适用于由头戴式显示器通过内置计算机再生主内容，由外部计算机再生副内容的虚拟现实视听系统。

背景技术：

近年来，让人如同现实般地体验计算机中创造的虚拟世界的虚拟现实(vr：virtualreality)技术越来越广泛地得到应用。vr的应用例多种多样，例如有通过在用户佩戴的hmd(头戴式显示器)中显示三维空间图像，从而用户能够在hmd上描绘的三维空间图像中虚拟地进行各种体验。

目前，还已知有一种内容再生系统，其与hmd的显示器上显示的作为主内容的影像同步地从hmd的扬声器输出作为副内容的解说声音(例如参照专利文献1)。

专利文献1：日本专利特开2011-101196号公报

技术实现要素：

另外，也存在通过内置的计算机再生动态图像并显示动态图像的hmd。在使用这种hmd来构建带声音的vr视听系统的情况下，可以考虑下述两种方式。一种是将hmd中与动态图像一同再生的声音发送至外部扬声器并输出的方式。另一种是通过与hmd不同的外部计算机再生声音，并将再生的声音从外部扬声器输出的方式。

然而，在以后者那样的方式来构建vr视听系统的情况下，存在由hmd再生的动态图像与由外部计算机再生的外部声音之间产生时间差这一问题。尤其是在构建多个用户佩戴的各hmd中再生相同的动态图像，并通过外部计算机再生声音并从外部扬声器输出的方式的vr视听系统的情况下，有时也会在各hmd间的动态图像的再生中产生时间差。该情况下，每个用户的动态图像与外部声音的时间差各不相同。

今后还考虑提供在hmd中再生动态图像，并与该动态图像的再生相对应地通过外部计算机提示各种内容这样的演出。例如，考虑根据再生的动态图像的场景，通过外部计算机来执行静态图像的再生、文本的显示、气味的输出、对振动等的触觉的呈现、送风、控制温度、产生水雾或降水等的演出。关于这些内容的再生，同样也会产生与动态图像的再生之间产生时间差这一问题。

本发明是为了解决上述问题而完成的，其目的在于，能够使通过hmd的内置计算机再生并显示在hmd上的作为主内容的动态图像与通过外部计算机再生的副内容同步。

为了解决上述问题，在本发明中，在由hmd通过内置计算机再生动态图像，并由外部计算机控制副内容的再生的虚拟现实视听系统中，以与外部计算机进行的副内容的再生同步的方式对与内置计算机进行的动态图像的再生相关的基准再生经过时间进行主管理。并且，检测hmd中再生的动态图像的再生经过时间与外部计算机中主管理的基准再生经过时间之间的差分，并对hmd的内置计算机进行的动态图像的再生进行调整，以消除检测出的差分。

根据上述那样构成的本发明，以与副内容的再生同步的方式对动态图像的基准再生经过时间进行主管理，当该基准再生经过时间与实际的动态图像的再生经过时间之间产生差分时，对动态图像的再生进行调整以消除该差分，因此，调整后的动态图像的再生经过时间与基准再生经过时间变得同步(一致)。在此，由于基准再生经过时间与副内容的再生同步，因此，与基准再生经过时间同步的动态图像的再生也与副内容的再生同步。由此，根据本发明，能够使通过hmd的内置计算机再生并显示在hmd上的作为主内容的动态图像与通过外部计算机再生的副内容同步。

附图说明

图1是表示第一实施方式涉及的vr视听系统的构成例的图。

图2是表示第一实施方式涉及的vr视听系统的功能构成例的框图。

图3是表示第一实施方式涉及的vr视听系统的动作例的流程图。

图4是表示第二实施方式涉及的vr视听系统的构成例的图。

图5是表示第二实施方式涉及的vr视听系统的功能构成例的框图。

图6是表示第二实施方式涉及的vr视听系统的动作例的流程图。

【符号说明】

11：动态图像再生部

12：差分时间检测部

13：动态图像再生调整部

21：副内容再生部(声音再生部)

22：基准再生经过时间管理部

23：差分时间检测部

24：动态图像再生调整部

100、100’：hmd

20、200’：外部计算机

300：外部扬声器

具体实施方式

(第一实施方式)

以下，根据附图对本发明的第一实施方式进行说明。图1是表示第一实施方式涉及的虚拟现实视听系统(以下称为“vr视听系统”)的构成例的图。

第一实施方式涉及的vr视听系统的构成包括多台hmd100、外部计算机200以及外部扬声器300，其中，多台hmd100分别内置有进行虚拟现实的动态图像(以下称为“vr视频”)的再生的计算机。多台hmd100与外部计算机200之间通过有线或无线的通信网络进行连接。外部计算机200与外部扬声器300之间以有线或无线的方式连接。

在本实施方式的vr视听系统中，由多台hmd100分别通过内置计算机再生vr视频，由外部计算机200控制副内容的再生。在第一实施方式中，作为副内容的一例而使用声音。即，外部计算机200再生声音，并从外部扬声器300输出声音。如以下详细说明，在第一实施方式中，使通过多台hmd100的内置计算机分别再生的vr视频与通过外部计算机200再生的声音同步。

即，在第一实施方式中，外部计算机200执行向外部扬声器300输出声音，并以与该声音输出同步的方式对vr视频的基准再生经过时间进行主管理。另外，检测hmd100的内置计算机再生vr视频的再生经过时间与通过外部计算机200进行主管理的基准再生经过时间的差分，并对hmd100的内置计算机进行的vr视频的再生进行调整，以消除检测出的差分。

具体而言，各台hmd100的内置计算机向外部计算机200发出查询，并且，检测内置计算机再生vr视频的再生经过时间与通过外部计算机200进行主管理的基准再生经过时间的差分，并对内置计算机进行的vr视频的再生进行调整，以消除检测出的差分。例如，通过再生的快进、快退、暂时放缓等来调整内置计算机再生vr视频的位置。

图2是表示第一实施方式涉及的vr视听系统的功能构成例的框图。如图2所示，hmd100的内置计算机100a的功能构成包括通信部10、动态图像再生部11、差分时间检测部12以及动态图像再生调整部13。另外，内置计算机100a具备动态图像存储部15作为存储介质。另一方面，外部计算机200的功能构成包括通信部20、副内容再生部21以及基准再生经过时间管理部22。另外，外部计算机200具备声音存储部25作为存储介质。

hmd100的内置计算机100a所具备的各功能块10～13可以由硬件、dsp(digitalsignalprocessor、数字信号处理器)、软件中的任意一种构成。例如，在由软件构成的情况下，上述各功能块10～13的构成实际上包括计算机的cpu、ram、rom等，并通过运行ram或rom、硬盘或者半导体存储器等的记录介质中存储的程序而实现。

外部计算机200所具备的各功能块20～22也可以由硬件、dsp、软件中的任意一种构成。例如，在由软件构成的情况下，上述各功能块20～25的构成实际上包括计算机的cpu、ram、rom等，并通过运行ram或rom、硬盘或者半导体存储器等的记录介质中存储的程序而实现。

hmd100的内置计算机100a的通信部10和外部计算机200的通信部20用于进行双向数据通信。通信部10、20可以是用于进行无线通信的接口，也可以是用于进行有线通信的接口。

hmd100的动态图像存储部15存储通过虚拟现实呈现三维空间的动态图像(vr视频)的图像数据。多台hmd100各自的动态图像存储部15中存储的动态图像基本上关于同一vr视频的动态图像。另外，外部计算机200的声音存储部25存储与vr视频相关联的声音。动态图像存储部15中存储的vr视频与声音存储部25中存储的声音需要在互相同步的状态下进行再生。例如，可以考虑由动态图像存储部15存储无声的动态图像，而由声音存储部25存储该动态图像中登场的人物的对话或歌声、背景音乐等的声音这样的方式。

动态图像再生部11通过对存储于动态图像存储部15中的vr视频的图像数据进行再生，并将再生的图像数据输出至hmd100的显示器100b，从而使vr视频显示在显示器100b上。另一方面，作为副内容的一例，外部计算机200的副内容再生部21对存储于声音存储部25中的声音进行再生，并从外部扬声器300输出再生的声音。以下，将副内容再生部21称为声音再生部21。

外部计算机200的基准再生经过时间管理部22以与外部计算机200所具备的声音再生部21进行的声音再生同步的方式，对与hmd100的内置计算机100a所具备的动态图像再生部11进行的vr视频的再生相关的基准再生经过时间进行主管理。即，基准再生经过时间管理部22以与声音再生部21进行的声音的再生同步的方式对vr视频的基准再生经过时间进行主管理。

作为一例，基准再生经过时间管理部22通过与声音再生部21进行的声音再生同步地再生与hmd100的动态图像再生部11再生的vr视频相同的vr视频，从而对vr视频的基准再生经过时间进行主管理。在此，基准再生经过时间管理部22在指示hmd100的内置计算机100a开始再生vr视频的同时，开始进行基准再生经过时间的主管理。该情况下，hmd100的动态图像再生部11根据从外部计算机200经由通信部10、20发送来的指示，开始再生vr视频。由此，通过各hmd100的动态图像再生部11再生的vr视频、为了对基准再生经过时间进行主管理而通过基准再生经过时间管理部22再生的vr视频、以及通过声音再生部21再生的声音全部的再生经过时间同步。

此外，为了对基准再生经过时间进行主管理，并非必须由基准再生经过时间管理部22再生vr视频本身。例如，也可以是基准再生经过时间管理部22在声音再生部21开始再生声音的同时，指示hmd100的内置计算机100a开始再生vr视频，并且对从指示的时间点开始的经过时间进行计数，从而将该计数得到的时间作为vr视频的基准再生经过时间进行主管理。另外，也可以是基准再生经过时间管理部22在开始计数经过时间的同时，指示声音再生部21开始再生声音、以及指示hmd100的内置计算机100a开始再生vr视频。

hmd100的差分时间检测部12检测通过hmd100的动态图像再生部11再生的vr视频的再生经过时间与通过外部计算机200的基准再生经过时间管理部22进行主管理的基准再生经过时间之间的差分。具体而言，差分时间检测部12经由通信部10、20向外部计算机200的基准再生经过时间管理部22发出查询而获得基准再生经过时间，并检测该获得的基准再生经过时间与通过动态图像再生部11再生的vr视频的再生经过时间之间的差分。

如上所述，动态图像再生部11从基准再生经过时间管理部22收到开始再生视频的指示后再生vr视频，基准再生经过时间与声音再生部21再生声音的再生经过时间同步，因此，在刚开始再生vr视频之后不久的短暂期间内，通过动态图像再生部11再生的vr视频的再生经过时间与通过声音再生部21再生的声音的再生经过时间之间不会产生差分。即，vr视频的再生经过时间与通过基准再生经过时间管理部22进行主管理的基准再生经过时间之间不会产生差分。

然而，如果继续再生vr视频，则会因为hmd100的内置计算机100a的处理资源的负载量与外部计算机200的处理资源的负载量的不同、内置计算机100a的基准时钟与外部计算机200的基准时钟的误差、或者其他因素，使得hmd100中的vr视频的再生经过时间偏离外部计算机200中的声音的再生经过时间(＝vr视频的基准再生经过时间)。

因此，差分时间检测部12在动态图像再生部11开始再生vr视频之后，逐次检测上述差分。即，差分时间检测部12以规定的时间间隔定期向外部计算机200的基准再生经过时间管理部22发出查询，并逐次检测由此获得的基准再生经过时间与通过动态图像再生部11再生的vr视频的再生经过时间之间的差分。

当差分时间检测部12检测出差分时，hmd100的动态图像再生调整部13对动态图像再生部11进行的vr视频的再生进行调整，以消除该检测出的差分。此外，在通过差分时间检测部12检测出的差分的值超过规定阈值的情况下，动态图像再生调整部13对vr视频的再生进行调整。

在此，在动态图像再生部11再生vr视频的再生经过时间比基准再生经过时间慢的情况下，动态图像再生调整部13通过指示动态图像再生部11快进vr视频的再生，从而消除延迟的差分。在差分被消除的时间点停止快进，恢复为原来的正常再生。反之，在动态图像再生部11再生vr视频的再生经过时间比基准再生经过时间快的情况下，通过指示动态图像再生部11快退或放缓vr视频的再生，从而消除超前的差分。在差分被消除的时间点停止快退或放缓再生，恢复为原来的正常再生。

图3是表示以上那样构成的第一实施方式涉及的vr视听系统的动作例的流程图。此外，图3中示出了一台hmd100与外部计算机200之间交互进行的动作例，但是，在各hmd100与外部计算机200之间执行同样的动作。

首先，外部计算机200的声音再生部21开始再生存储于声音存储部25中的声音(步骤s1)。与此同时，基准再生经过时间管理部22开始进行vr视频的基准再生经过时间的主管理(即，基准再生经过时间的计数动作)(步骤s2)。另外，与此同时，基准再生经过时间管理部22经由通信部10、20向hmd100发送vr视频的再生开始指示(步骤s3)。

hmd100的动态图像再生部11根据从外部计算机200经由通信部10、20发送来的再生开始指示，开始再生存储于动态图像存储部15中的vr视频(步骤s11)。在该时间点，通过hmd100的动态图像再生部11再生的vr视频的再生经过时间、通过外部计算机200进行主管理的基准再生经过时间、以及通过声音再生部21再生的声音的再生经过时间全部同步。

然后，差分时间检测部12判断是否经过了规定时间(步骤s12)。在未经过规定时间的情况下，处理转移至步骤s17。另一方面，在经过了规定时间的情况下，差分时间检测部12经由通信部10、20向外部计算机200的基准再生经过时间管理部22发出基准再生经过时间的查询(步骤s13)。

在上述步骤s3中基准再生经过时间管理部22向hmd100发送了再生开始指示之后，基准再生经过时间管理部22判断是否存在来自hmd100的查询(步骤s4)，在没有查询的情况下，处理转移至步骤s6。另一方面，在存在查询的情况下，基准再生经过时间管理部22将此时的基准再生经过时间发送至hmd100(步骤s5)。hmd100的差分时间检测部12获取从外部计算机200发送来的基准再生经过时间。

接着，差分时间检测部12检测从外部计算机200获得的基准再生经过时间与通过动态图像再生部11再生的vr视频的再生经过时间之间的差分(步骤s14)。然后，动态图像再生调整部13判断通过差分时间检测部12检测出的差分是否超过了规定阈值(步骤s15)。在差分未超过阈值的情况下，处理转移至步骤s17。另一方面，在差分超过了阈值的情况下，动态图像再生调整部13对动态图像再生部11进行的vr视频的再生进行调整以消除该差分(步骤s16)。

然后，动态图像再生部11判断存储于动态图像存储部15中的vr视频的再生是否已结束(步骤s17)。在vr视频的再生仍未结束的情况下，处理回到步骤s12。另一方面，在vr视频的再生已结束的情况下，hmd100的处理结束。

另外，在外部计算机200中，在步骤s5中将基准再生经过时间发送至hmd100之后，声音再生部21判断存储于声音存储部25中的声音的再生是否已结束(步骤s6)。在声音的再生仍未结束的情况下，处理回到步骤s4。另一方面，在声音的再生已结束的情况下，外部计算机200的处理结束。

如上所述，由于在步骤s16中通过hmd100的动态图像再生调整部13适当地对vr视频的再生进行调整，因此，步骤s17中vr视频的再生结束的时刻与步骤s6中声音的再生结束的时刻同步。

如以上详细说明，根据第一实施方式，通过以与外部计算机200中的声音的再生同步的方式通过外部计算机200对vr视频的基准再生经过时间进行主管理，并且，当该基准再生经过时间与实际的vr视频的再生经过时间之间产生差分时，对动态图像再生部11进行的vr视频的再生进行调整以消除该差分。因此，调整后的vr视频的再生经过时间与基准再生经过时间变同步(一致)。在此，由于基准再生经过时间与声音的再生同步，因此，与基准再生经过时间同步的vr视频的再生变得也与声音的再生同步。由此，根据第一实施方式，能够使通过hmd100的内置计算机100a再生并显示在hmd100的显示器100b上的作为主内容的vr视频与通过外部计算机200再生的作为副内容的声音同步。

(第二实施方式)

接着，根据附图对本发明的第二实施方式进行说明。图4是表示第二实施方式涉及的vr视听系统的构成例的图。vr视听系统的整体构成与图1相同。然而，第二实施方式涉及的hmd100’和外部计算机200’所进行的处理内容与第一实施方式的hmd100和外部计算机200所进行的处理内容不同。

即，在第二实施方式中，外部计算机200’向各台hmd100’的内置计算机100a’发出查询，获取内置计算机100a’的vr视频的再生经过时间。然后，由外部计算机200’分别检测从各hmd100’获得的实际的再生经过时间与由外部计算机200’进行主管理的vr视频的基准再生经过时间之间的差分。在此，通过对产生了差分的hmd100’输出用于调整内置计算机100a’进行的vr视频的再生的指示，从而消除该差分。

具体而言，从外部计算机200’向多台hmd100’的内置计算机100a’输出开始再生vr视频的指示，在多台hmd100’的内置计算机100a’根据该指示同时开始再生vr视频之后，外部计算机200’检测从各hmd100’获得的vr视频的再生经过时间与基准再生经过时间之间的差分。然后，在任意一台hmd100’中检测出差分的情况下，在检测出差分的hmd100’中，根据从外部计算机200’发送至hmd100’的指示调整内置计算机100a’进行的vr视频的再生，以消除该差分。

图5是表示第二实施方式涉及的vr视听系统的功能构成例的框图。此外，在该图5中，标注与图2所示符号相同的符号的部件具有相同的功能，故此处省略重复说明。

如图5所示，hmd100’的内置计算机100a’的功能构成包括通信部10和动态图像再生部11。另外，内置计算机100a’具备动态图像存储部15作为存储介质。另一方面，外部计算机200’的功能构成包括通信部20、声音再生部21、基准再生经过时间管理部22、差分时间检测部23以及动态图像再生调整部24。另外，外部计算机200’具备声音存储部25作为存储介质。

外部计算机200’的差分时间检测部23通过经由通信部10、20向hmd100’的动态图像再生部11发出查询，获取通过动态图像再生部11再生的vr视频的再生经过时间。然后，检测该获得的vr视频的再生经过时间与通过基准再生经过时间管理部22进行主管理的基准再生经过时间之间的差分。此外，基准再生经过时间管理部22与第一实施方式同样在指示多台hmd100’的内置计算机100a’开始再生vr视频的同时，开始进行基准再生经过时间的主管理。

在此，在动态图像再生部11开始再生vr视频之后(基准再生经过时间管理部22指示hmd100’开始再生vr视频之后)，差分时间检测部23对于多台hmd100’分别逐次检测差分。即，差分时间检测部23以规定的时间间隔定期向各hmd100’发送再生经过时间的查询，并分别逐次检测由此获得的各hmd100’的再生经过时间与通过基准再生经过时间管理部22进行主管理的基准再生经过时间之间的差分。

当差分时间检测部23在任意一台hmd100’中检测出比阈值大的差分时，动态图像再生调整部24向该检测出差分的hmd100’输出用于调整动态图像再生部11进行的vr视频的再生的指示，以消除该检测出的差分。即，动态图像再生调整部24输出用于使动态图像再生部11进行的vr视频的再生快进、快退或放缓等的指示。

图6是表示以上那样构成的第二实施方式涉及的vr视听系统的动作例的流程图。此外，图6中示出了一台hmd100’与外部计算机200’之间交互进行的动作例，但是，在各台hmd100’与外部计算机200’之间执行同样的动作。

首先，外部计算机200’的声音再生部21开始再生存储于声音再生部25中的声音(步骤s31)。与此同时，基准再生经过时间管理部22开始进行vr视频的基准再生经过时间的主管理(即，基准再生经过时间的计数动作)(步骤s32)。另外，与此同时，基准再生经过时间管理部22经由通信部10、20向hmd100’发送vr视频的再生开始指示(步骤s33)。

hmd100’的动态图像再生部11根据从外部计算机200’经由通信部10、20发送来的再生开始指示，开始再生存储于动态图像存储部15中的vr视频(步骤s41)。在该时间点，通过hmd100’的动态图像再生部11再生的vr视频的再生经过时间、通过外部计算机200’进行主管理的基准再生经过时间、以及通过声音再生部21再生的声音的再生经过时间全部同步。

在上述步骤s33中基准再生经过时间管理部22向hmd100’发送了再生开始指示之后，差分时间检测部23判断是否经过了规定时间(步骤s34)。在未经过规定时间的情况下，处理转移至步骤s39。另一方面，在经过了规定时间的情况下，差分时间检测部23经由通信部10、20向hmd100’的动态图像再生部11发出vr视频的再生经过时间的查询(步骤s35)。

在上述步骤s41中动态图像再生部11开始再生vr视频之后，动态图像再生部11判断是否存在来自外部计算机200’的查询(步骤s42)，在没有查询的情况下，处理转移至步骤s46。另一方面，在存在查询的情况下，动态图像再生部11将此时的vr视频的再生经过时间发送至外部计算机200’(步骤s43)。外部计算机200’的差分时间检测部23获取从hmd100’发送来的再生经过时间。

接着，差分时间检测部23检测从hmd100’获得的vr视频的再生经过时间与通过基准再生经过时间管理部22进行主管理的基准再生经过时间之间的差分(步骤s36)。然后，动态图像再生调整部24判断通过差分时间检测部23检测出的差分是否超过了规定阈值(步骤s37)。在差分未超过阈值的情况下，处理转移至步骤s39。另一方面，在差分超过了阈值的情况下，动态图像再生调整部24向hmd100’发送用于调整动态图像再生部11进行的vr视频的再生的指示以消除该差分(步骤s38)。

在上述步骤s43中动态图像再生部11将vr视频的再生经过时间发送至外部计算机200’之后，动态图像再生部11判断是否从外部计算机200’接收到再生调整指示(步骤s44)，在未接收到指示的情况下，处理转移至步骤s46。另一方面，在接收到指示的情况下，动态图像再生部11根据该指示调整vr视频的再生(步骤s45)。

然后，动态图像再生部11判断存储于动态图像存储部15中的vr视频的再生是否已结束(步骤s46)。在vr视频的再生仍未结束的情况下，处理回到步骤s42。另一方面，在vr视频的再生已结束的情况下，hmd100’的处理结束。

另外，在外部计算机200’中，在步骤s39中，声音再生部21判断存储于声音再生部25中的声音的再生是否已结束。在声音的再生仍未结束的情况下，处理回到步骤s34。另一方面，在声音的再生已结束的情况下，外部计算机200’的处理结束。

如上所述，由于在步骤s45中按照来自外部计算机200’的动态图像再生调整部24的指示，动态图像再生部11对vr视频的再生进行适当调整，因此，步骤s46中vr视频的再生结束的时刻与步骤s39中声音的再生结束的时刻同步。

如以上详细说明，与第一实施方式同样地，在第二实施方式中也以与外部计算机200’中的声音再生同步的方式通过外部计算机200’对vr视频的基准再生经过时间进行主管理，当该基准再生经过时间与实际的vr视频的再生经过时间之间产生差分时，对动态图像再生部11进行的vr视频的再生进行调整以消除该差分。因此，调整后的vr视频的再生经过时间与基准再生经过时间变得同步(一致)。由此，根据第二实施方式，能够使通过hmd100’的内置计算机100a’再生并显示在hmd100’的显示器100b上的作为主内容的vr视频与通过外部计算机200’再生的作为副内容的声音同步。

此外，在上述第一及第二实施方式中，对于在外部计算机200、200’开始进行基准再生经过时间的主管理的同时，hmd100、100’开始再生vr动作的例子进行了说明，但本发明并不限于此。即，本发明也可以适用于与通过外部计算机200、200’进行主管理的vr视频的基准再生经过时间不同步地通过hmd100、100’的内置计算机100a、100a’开始再生vr动作的情况。

例如，并非多台hmd100、100’中的一台从外部计算机200、200’收到再生开始的指示并开始再生vr视频，而是想从其他hmd100、100’中已在进行vr视频的再生的中途开始再生vr视频的情况符合该非同步再生。或者，在多台hmd100、100’从外部计算机200、200’收到再生开始的指示并开始再生vr视频之后，其中一台在暂时停止再生vr视频后重新开始再生的情况、或者一台在再生中途因为发生不良情况而欲从最初开始进行再生的情况等也符合该非同步再生。

在hmd100、100’中进行上述那样的非同步再生的情况下，能够检测内置计算机100a、100a’开始再生vr视频的再生开始时间与通过外部计算机200、200’进行主管理的vr视频的基准再生经过时间之间的差分，并对内置计算机100a、100a’进行的vr视频的再生进行调整，以消除检测出的差分。

该情况下，在与基准再生经过时间不同步地开始再生vr视频的情况下，差分时间检测部12、23在该vr视频的再生开始的时刻检测差分。然后，动态图像再生调整部13、24使与基准再生经过时间不同步地开始再生vr视频的hmd100、100’的内置计算机100a、100a’调整vr视频的再生，以消除通过差分时间检测部12、23检测出的差分。

另外，在上述第一及第二实施方式中，对于使用多台hmd100、100’的例子进行了说明，但也可以是一台hmd100、100’。该情况下，也是从外部计算机200、200’向hmd100、100’的内置计算机100a、100a’输出开始再生vr视频的指示，内置计算机100a、100a’根据该指示开始再生vr视频之后，在检测出上述差分的情况下，对内置计算机100a、100a’进行的vr视频的再生进行调整，以消除检测出的差分。

另外，在上述第一及第二实施方式中，对hmd100、100’将vr视频的图像数据预先存储在动态图像存储部15中的例子进行了说明，但本发明并不限于此。例如，也可以将vr视频的图像数据预先存储于外部计算机200、200’中，一边将图像数据从外部计算机200、200’发送至hmd100、100’并依次存储于动态图像存储部15中，一边由动态图像再生部11从动态图像存储部15读出图像数据并进行vr视频的再生。

另外，在上述第一及第二实施方式中，对于使vr视频的再生与声音输出同步的例子进行了说明，但本发明并不限于此。即，也可以是由hmd100、100’通过内置计算机100a、100a’再生vr视频作为主内容，由外部计算机200、200’从外部设备再生声音以外的副内容这样的vr视听系统。

该情况下，外部计算机200、200’执行相对于外部设备的副内容的再生，并且以与该副内容的再生同步的方式对vr视频的基准再生经过时间进行主管理。然后，检测hmd100、100’的内置计算机100a、100a’再生vr视频的再生经过时间与通过外部计算机200、200’进行主管理的vr视频的基准再生经过时间之间的差分，并对内置计算机100a、100a’进行的vr视频的再生进行调整，以消除检测出的差分。

作为声音以外的副内容的再生，可以使用动态图像再生、文本显示、气味输出、对振动等的触觉呈现、送风、温度控制、水雾或降水的产生等。在此，与上述声音的再生同样地，副内容的再生可以是在vr视频的再生开始至再生结束的期间持续进行同步再生的方式，也可以是在vr视频的再生开始至再生结束的期间中的规定时刻断续进行同步再生的方式。

此外，上述第一及第二实施方式均仅表示本发明的具体实施方式的一例，并不能据此限定性地解释本发明的技术范围。即，本发明能够在不脱离其主旨或其主要特征的情况下以各种形态实施。