输出控制装置和方法、内容存储装置和方法以及存储介质与流程

本发明涉及输出控制装置、内容存储装置、输出控制方法、内容存储方法以及存储介质。

背景技术：

以往，已知能进行全景投影的设备(例如，参照特表2010-536061号公报)。

技术实现要素：

发明要解决的问题

然而，在现有的全景投影的技术中，无论收看者以何种高度收看，输出的声音均不变，无法得到临场感。

本发明要解决的问题是能输出与收看者的高度相应的具有临场感的声音。

用于解决问题的方案

本发明是一种输出控制装置，其特征在于，具备：

检测单元，其检测收看内容的收看者的高度；以及

控制单元，其根据由上述检测单元检测出的高度使输出单元输出上述内容的声音。

另外，本发明是一种内容存储装置，其特征在于，具备：

声音取得单元，其在多个高度方向的位置上取得与内容的动态图像配合输出的声音，以及

存储单元，其将由上述声音取得单元取得的多个声音的声音数据分别赋予声音取得时的高度信息后与上述动态图像的动态图像数据相对应地存储。

另外，本发明是一种输出控制方法，其特征在于，具备：

检测步骤，检测收看存储于存储部的内容的收看者的高度；以及

控制步骤，使输出单元输出与在上述检测步骤中检测出的高度相应的上述内容的声音。

另外，本发明是一种内容存储方法，其特征在于，包括：

声音取得步骤，在多个高度方向的位置上取得与内容的动态图像配合输出的声音；以及

存储步骤，将通过上述声音取得步骤取得的多个声音的声音数据分别赋予声音取得时的高度信息后与上述动态图像的动态图像数据相对应地存储。

另外，本发明是一种存储介质，其特征在于，存储有使计算机执行如下处理的程序：

检测处理，检测收看存储于存储部的内容的收看者的高度；以及

控制处理，使输出单元输出与通过上述检测处理检测出的高度相应的上述内容的声音。

另外，本发明是一种存储介质，其特征在于，存储有用于使计算机作为如下单元发挥功能的程序：

声音取得单元，其在多个高度方向的位置上取得与内容的动态图像配合输出的声音；以及

存储单元，其将由上述声音取得单元取得的多个声音的声音数据分别赋予声音取得时的高度信息后与上述动态图像的动态图像数据相对应地存储。

发明效果

根据本发明，能输出与收看者的高度相应的具有临场感的声音。

附图说明

图1是示出本实施方式的内容输出系统的整体构成例的图。

图2是示出图1的内容存储装置的功能构成的框图。

图3是示出本实施方式的内容输出装置的设置状态的图。

图4是示出利用图1的内容输出装置对内容进行投影的状态的概念图。

图5是示出图1的内容输出装置的功能构成的框图。

图6是用于说明使用图1的内容存储装置拍摄时的麦克风的安装的图。

图7是示出由图5的控制部执行的输出控制处理的流程图。

具体实施方式

以下，参照附图详细说明本发明的实施方式。此外，本发明不限于图示例。

[内容输出系统的构成]

图1是示出本发明的实施方式的内容输出系统100的整体构成的图。如图1所示，内容输出系统100构成为具备内容存储装置1和内容输出装置2。

内容存储装置1和内容输出装置2能通过LAN(Local Area Network：局域网)、WAN(Wide Area Network：广域网)等通信网络N进行通信连接。

[内容存储装置1的构成]

内容存储装置1是通过进行动态图像拍摄而取得内容数据并进行存储的装置。

图2是示出内容存储装置1的主控制构成的框图。

如图2所示，内容存储置1构成为具备控制部11、操作部12、存储部13、拍摄部14、声音取得部15、通信部16等。

控制部11具备：执行存储部13中存储的各种程序而进行规定的运算、各部的控制的CPU(Central Processing Unit：中央处理单元)以及作为程序执行时的工作区域的存储器(均省略图示)。控制部11通过与存储部13的程序存储部131中存储的程序的协同来执行各种处理。

操作部12具备多个功能按钮，检测功能按钮的按下信号而将其输出到控制部11。

存储部13包括HDD(Hard Disk Drive：硬盘驱动器)、非易失性的半导体存储器等。如图1所示，在存储部13中设有程序存储部131、内容存储部132。

程序存储部131中存储有由控制部11执行的系统程序、各种处理程序、执行这些程序所需的数据等。

在拍摄部14中通过动态图像拍摄取得的动态图像数据与声音数据相对应地作为内容数据存储在内容存储部132中，其中，声音数据是在声音取得部15中与动态图像拍摄同步地在多个高度方向的位置上取得的多个声音数据，并分别被赋予了声音取得时的高度信息。在此，声音不是仅指人的声音，还包括音乐、自然声音等广泛的一般声音。

拍摄部14是能进行360°(全方位)的动态图像拍摄的照相机，根据来自控制部11的指示取得360°的动态图像数据。

声音取得部15具备多个麦克风，根据来自控制部11的指示取得多个高度方向的位置上的声音数据。在本实施方式中，声音取得部15构成为具备：安装于拍摄者M的头部的麦克风151；安装于腰部的麦克风152；以及安装于膝部的麦克风153(参照图6)，取得3个高度方向的位置的声音数据。声音取得部15作为声音取得单元发挥功能。

通信部16包括调制解调器、路由器、网卡等，与连接到通信网络N的内容输出装置2等外部设备进行通信。

[内容输出装置2的构成]

例如图3所示，内容输出装置2设于室内的天花板等，如图4所示，是对室内的全方位(360°的整个范围)进行内容的输出(投影)的装置。

图5是示出本实施方式的内容输出装置2的主控制构成的框图。如图5所示，内容输出装置2构成为具备控制部21、存储部22、操作部23、拍摄部24、投影仪25、声音输出部26、通信部27等。

控制部21具备执行存储部22中存储的各种程序而进行规定的运算、各部的控制的CPU(Central Processing Unit：中央处理单元)和作为程序执行时的工作区域的存储器(均省略图示)。控制部21通过与存储部22的程序存储部221中存储的程序的协同来执行后述的输出控制处理，作为控制单元发挥功能。另外，通过与拍摄部24的协同而作为检测单元发挥功能。

存储部22包括HDD(Hard Disk Drive：硬盘驱动器)、非易失性的半导体存储器等。如图5所示，在存储部22中设有程序存储部221、内容存储部222。

程序存储部221中存储有由控制部21执行的系统程序、各种处理程序、执行这些程序所需的数据等。

内容存储部222中存储有从内容存储装置1发送的内容数据。

操作部23具备多个功能按钮，检测功能按钮的按下信号而将其输出到控制部21。

拍摄部24具备：照相机，其具备光学系统和拍摄元件；以及对照相机进行控制的拍摄控制部。照相机的光学系统朝向能对室内的收看者进行拍摄的方向，取得收看者的拍摄图像。

投影仪25具备鱼眼镜头，将从控制部21输出的内容的动态图像数据在全方位上投影。

声音输出部26具备D/A转换器、放大器、扬声器等，根据来自控制部21的指示将声音数据利用D/A转换器转换为模拟信号后，利用放大器将该模拟声音信号放大为规定的音量，从扬声器作为声音输出。声音输出部26是环绕式的，能从多个方向输出声音。

投影仪25、声音输出部26作为输出单元发挥功能。

通信部27包括调制解调器、路由器、网卡等，与连接到LAN(Local Area Network：局域网)、WAN(Wide Area Network：广域网)等通信网络的以内容存储装置1为首的外部设备进行通信。

[内容存储装置1的动作]

接下来，对本实施方式的内容存储装置1的动作进行说明。

在使用内容存储装置1进行动态图像拍摄时，如图6所示，拍摄者M在将拍摄部14和麦克风151安装于头部，将麦克风152安装于腰部，将麦克风153安装于膝部的状态下，利用操作部12指示开始动态图像拍摄。内容存储装置1的控制部11根据操作部12的指示，通过与程序存储部131中存储的程序的协同来执行以下的处理。

在利用操作部12输入了动态图像拍摄的开始时，内容存储装置1的控制部11使拍摄部14开始动态图像拍摄，并且与动态图像拍摄开始的定时同步地使声音取得部15的麦克风151～153分别开始声音的取得。由此，能在多个高度方向的位置上取得与动态图像配合输出的声音的声音数据。

当利用操作部12指示了动态图像拍摄的结束时，控制部11使拍摄部14进行的动态图像拍摄和声音取得部15进行的声音数据的取得停止，对利用麦克风151～153在多个高度方向的位置上取得的声音数据赋予声音取得时的高度信息。在本实施方式中，控制部11例如将“头部”作为高度信息赋予给利用麦克风151取得的声音数据，将“腰部”作为高度信息赋予给利用麦克风152取得的声音数据，将“膝部”作为高度信息赋予给利用麦克风153取得的声音数据。声音数据例如是规定的声音文件格式，控制部11将高度信息写入其元数据。然后，控制部11使通过动态图像拍摄取得的动态图像数据与在多个高度方向的位置上取得的多个声音数据相对应地作为内容数据存储于存储部13。

当利用操作部12选择了内容存储部132中存储的内容数据，并指示了发送到内容输出装置2时，控制部11利用通信部16将所选择的内容数据发送到内容输出装置2。

在内容输出装置2中，当通信部27接收到来自内容存储装置1的内容数据时，控制部21将接收到的内容数据存储于内容存储部222。

[内容输出装置2的动作]

接下来，对本实施方式的内容输出装置2的动作进行说明。

当利用操作部23选择了内容，并指示了内容的输出时，控制部21利用投影仪25和声音输出部26开始进行所选择的内容的输出。即，控制部21读出从内容存储部222选择的内容的内容数据，将读出的内容数据的动态图像数据转换为全方位投影用的投影数据，利用投影仪25将内容的动态图像进行全方位投影。另外，基于读出的内容数据的声音数据，利用声音输出部26输出内容的声音。在内容输出开始时，控制部21基于预定的高度方向上的声音数据，例如基于高度信息为“腰部”的声音数据来输出声音。

另外，当内容的输出开始时，控制部21执行图7所示的输出控制处理。输出控制处理是通过控制部21与程序存储部221中存储的程序的协同来执行的。

在输出控制处理中，控制部21首先检测收看内容的收看者的高度(步骤S 1)。

例如，控制部21利用拍摄部24进行拍摄，从通过拍摄得到的拍摄图像识别收看者的面部，基于拍摄图像中的识别出的面部的高度检测收看者的高度H。

然后，控制部21基于收看者的高度判断收看者的姿势(步骤S2)。例如，控制部21在H＞阈值T1的情况下，判断为收看者是站姿，在阈值T1≥H＞阈值T2的情况下，判断为收看者是椅子上的坐姿，在阈值T2≥H的情况下，判断为收看者是地板上的坐姿(T1＞T2)。

在判断为收看者的姿势是站姿的情况下(步骤S3；是)，控制部21基于在头部的位置上取得的声音数据，利用声音输出部26输出动态图像的声音(步骤S4)，转至步骤S9。

在判断为收看者的姿势是椅子上的坐姿的情况下(步骤S3；否，步骤S5；是)，控制部21基于在腰部的位置上取得的声音数据，利用声音输出部26输出动态图像的声音(步骤S6)，转至步骤S9。

在判断为收看者的姿势是地板上的坐姿的情况下(步骤S3；否，步骤S5；否，步骤S7；是)，控制部21基于在膝部的位置上取得的声音数据，利用声音输出部26输出动态图像的声音(步骤S8)，转至步骤S9。

在判断为收看者的姿势不是地板上的坐姿的情况下(步骤S3；否，步骤S5；否，步骤S7；否)，控制部21转至步骤S9。在此，步骤S7中判断为“否”的情况例如是对拍摄图像中的面部识别失败的情况(无人存在的情况等)。

在步骤S9中，控制部21判断内容是否结束(步骤S9)。在判断为内容未结束的情况下(步骤S9；否)，控制部21返回步骤S1，反复执行步骤S1～S9。

在判断为内容已结束的情况下(步骤S9；是)，控制部21结束输出控制处理。

如以上说明的那样，根据内容输出装置2，控制部21使拍摄部24对收看者进行拍摄，基于得到的拍摄图像检测收看内容的收看者的高度，使声音输出部26输出与检测出的高度相应的内容的声音。

因此，能输出与收看者的高度相应的具有临场感的声音。

例如，内容具有在多个高度方向的位置上取得的多个声音，控制部21使声音输出部26输出多个声音中的在与检测出的高度相应的位置上取得的声音，因此能输出与收看者的高度相应的声音。

另外，例如，控制部21根据检测出的收看者的高度判断收看者的姿势，使声音输出部26输出在与收看者的姿势相应的高度方向的位置上取得的声音，因此例如在收看者的姿势从站姿变更为坐姿的情况下，能输出在低的位置上取得的声音，能输出与收看者的姿势相应的具有临场感的声音。

另外，内容是全方位地输出的动态图像，与动态图像配合地输出与收看者的高度相应的声音，因此能输出具有临场感的内容。

另外，根据内容存储装置1，在多个高度方向的位置上取得与内容的动态图像配合输出的声音，将所取得的多个声音的声音数据分别赋予声音取得时的高度信息后与动态图像的动态图像数据相对应地作为内容数据存储于内容存储部132。因此，在内容输出装置2中，能取得并存储能输出与收看者的高度相应的声音的内容数据。

另外，在内容数据中，动态图像数据与声音数据是相对应的，其中，声音数据是在多个高度方向的位置上取得与基于动态图像数据的动态图像配合输出的声音而得到的多个声音数据，并分别被赋予了声音取得时的高度信息。因此，在内容输出装置2中，能输出与收看者的高度相应的内容的声音。

此外，上述实施方式的记载内容是本发明的内容存储装置、内容输出装置的一个例子，不限于此。

例如，在上述实施方式中，在拍摄者M的头部、腰部、膝部安装麦克风而通过多个高度方向的位置取得声音数据，并赋予“头部”、“腰部”、“膝部”的区分作为高度信息，但是不限于此。例如，也可以对麦克风151～153分别设置气压传感器等，在动态图像拍摄开始时等测定各麦克风的高度，将其测定值作为高度信息赋予给由各麦克风取得的声音数据。并且，也可以基于收看内容的收看者的高度和赋予给各声音数据的高度信息来决定输出基于多个声音数据中的哪个声音数据的声音。

另外，在上述实施方式中，说明了内容输出装置2具备：输出控制装置，其具备本发明的检测单元和控制单元；以及输出内容的输出单元(投影仪25、声音输出部26)，但它们也可以是通过例如通信网络连接的独立的装置。

另外，在上述实施方式中，说明了内容输出装置使用投影仪对内容的视频进行投影的情况的例子，但也可以是VR(Virtual Reality：虚拟现实)头戴式显示器。

在这种情况下，例如，也可以在VR头戴式显示器上设置气压传感器，利用气压传感器检测佩戴有VR头戴式显示器的收看者的高度，基于检测出的高度与预定的阈值的比较结果选择多个高度方向的声音数据中的某一个声音数据，基于所选择的声音数据输出声音。由此，在VR头戴式显示器中，也能输出与收看者在高度方向上的动作、姿势相应的具有临场感的声音。另外，例如检测高度的传感器不限于气压传感器，也可以通过用加速度传感器检测高度方向上的变动的方法等来检测高度。

此外，关于构成内容输出系统的各装置的详细构成和详细动作，也能在不脱离发明的主旨的范围内适当地变更。

虽然对本发明的几个实施方式进行了说明，但是本发明的范围不限于上述实施方式，还包含权利要求书记载的发明的范围及其等同的范围。