信息处理系统、信息处理方法和程序与流程

1.本技术涉及信息处理系统、信息处理方法和程序，该信息处理系统、信息处理方法和程序能够在其中通过拍摄表演者的表演所获得的内容经由网络实时发布的系统中向表演者呈现与观看者有关的信息。


背景技术：

2.随着网络技术的发展，对远程位置的内容发布服务持续增长。例如，包括电影内容在内的视频发布已经通过其中发布者向观看者发布内容数据并且观看者享受发布的内容的单向系统实现。
3.例如，近些年，一些实时视频发布服务已经实现了其中发布者和观看者可以相互交流的双向系统。这样的系统提供了体验不仅内容本身而且还有经由内容进行交流的新价值。
4.在这样的系统中，从观看者到发布者的交流方式主要是文本信息和音频信息。特别地，关于文本信息，观看者输入的文本信息被叠加在发布的视频上，以便不仅实现发布者与观看者之间的交流，还实现观看者之间的交流。
5.作为经由网络实现交流的方法，例如，下面的专利文献1公开了在同一虚拟空间中的多个用户之间的基于文本的对等交流的方法。
6.此外，下面的专利文献2公开了用于检查使用同样内容的用户的彼此的状态的方法。
7.引用列表
8.专利文献
9.专利文献1：日本专利申请公开第2009-211528号
10.专利文献2：日本专利第6519468号


技术实现要素：

11.技术问题
12.在常规技术中，主要用文本信息和音频信息作为发布者与观看者之间的交流方式。然而，在经由网络进行的这种交流体验与在物理上近距离(可以看到伙伴的距离)进行的交流体验之间存在较大的差距。
13.例如，假设有以下服务。在该服务中，为了使位于远程位置的客户也能体验到在有限的地方举办的音乐现场演奏会，发布者实时获取表演者的图像和音频数据，将这些数据转换为待发布的内容数据，并经由网络将内容数据发布至电影院或各个家庭。在这种情况下，该内容作为要投影到荧幕上的内容被发布至电影院，并且也作为可以在电视设备上观看的内容或者可以用头戴式显示器(head-mounted displays，hmd)观看的内容被发布至各个家庭。
14.在举办音乐现场演奏会的实际场地，表演者可以在检查观众有多少人、观众的位
置、他们在物理上如何分布、他们对自己的动作、方向和表演等方面的反应的同时，适当地决定接下来的动作。此外，作为观众，由于表演者在观看他们的位置和反应的同时决定接下来的动作，因此他们可以享受这种面对，即所谓的“呼唤与回应”，在“呼唤与回应”中表演者将自己的注视转向他们，他们可以回应来自表演者的呼唤或接收到来自表演者的回答，或者可以体验除听音乐之外的交流，在这种交流中他们可以感受到其他观众的反应。
15.然而，通过使用利用文本和音频经由网络的常规交流方式再现那些交流体验是困难的。因此，即使是同一场音乐现场演奏会的观众，在实际场地获得的体验与经由网络在远程位置获得的体验之间也存在较大的差距。
16.另外，随着网络技术的发展，以个人为单位使用直播流式服务的内容发布也变得更加活跃。这种内容发布通常以观看者不在实际拍摄现场并且观看者仅经由网络出现在远程位置的形式进行。在这种环境中，由于表演者无法直接看着观看者并且无法感受观看者的注视，因此表演者无法知道表演者在表演时应该看着哪里以及表演者应该将自己的脸转向哪个方向，并且表演者无法采取适当的动作。此外，存在如下问题：例如，由于表演者不能看到观看者对自己的表演的反应，因此表演者不能适当地决定接下来的动作。
17.即使上述专利文献1和2中描述的各个技术也没有公开在内容中出现的表演者与观看者之间的交流以及向表演者通知观看者的反应。
18.鉴于上述情况，本技术的目的是提供能够使在实时发布的内容中出现的表演者根据位于远程位置的观看者的反应来进行表演的信息处理系统、信息处理方法和程序。
19.问题的解决方案
20.为了实现以上提及的目的，根据本技术的实施方式的信息处理系统包括控制单元。控制单元从观看者的终端获取指示观看者在观看者所在的空间的坐标系中的注视的注视参数，在观看者的终端上经由网络实时地再现通过拍摄表演者的表演而获得的内容，该注视参数与用于识别观看者的观看者识别信息一起被获取。此外，控制单元将所获取的注视参数转换为指示观看者在表演者所在的空间的坐标系中的虚拟注视的注视参数。此外，控制单元基于转换后的注视参数，向表演者所在的空间中的输出装置输出指示观看者的虚拟注视的注视信息。
21.因此，信息处理系统可以使表演者注意到观看者的虚拟注视，并且即使观看者处于远程位置，也可以使表演者根据观看者的反应作出适当的表演。注视信息可以是图片信息或者可以是音频信息。此外，注视信息可以包括观看者的虚拟位置信息。
22.输出装置可以是显示器。在这种情况下，控制单元可以基于转换后的注视参数，计算显示器与虚拟注视的交点坐标，并且使与观看者相关联的图像作为注视信息、在与显示器的交点坐标相关联的位置处被输出。
23.因此，表演者可以通过观看显示器注意到处于远程位置的观看者正在看着表演者，使得表演者可以作出适当的反应，例如，看着观看者并为观看者作出表演。例如，图像可以是观看者的头像图像。
24.在与预定数量的观看者或更多个观看者相关联的交点坐标存在于显示器的预定区域中的情况下，控制单元可以使示出观看者组的单个预定图像被输出，而不是使与每个观看者相关联的图像被输出。
25.因此，信息处理系统可以防止与多个观看者相关联的图像彼此交叠显示而降低表
演者的可见度。
26.控制单元可以获取指示观看者的属性的属性信息连同注视参数，并且根据属性信息改变图像的输出模式。
27.因此，信息处理系统可以根据每个观看者的属性改变图像，从而使表演者根据该图像适当地作出动作。这里，属性包括例如年龄、性别、国籍、居住地、观看时间、出现同一表演者的内容的观看次数或购买次数、以及在内容坐标系中与表演者的距离。改变属性模式包括例如为头像图像添加不同颜色的边框、改变头像图像的大小、以及改变透明度。
28.控制单元可以基于转换后的注视参数，确定观看者是否正在看着表演者，并且根据确定的结果改变图像的输出模式。
29.因此，信息处理系统可以使表演者注意到每个观看者是否面对表演者，并且可以使表演者根据观看者的注视作出表演，例如，向正在看向表演者的观看者作出表演。
30.在第一时间计算的、与具有第一观看者识别信息的第一观看者相关联的第一交点坐标和在比第一时间晚的第二时间计算的、与第一观看者相关联的第二交点坐标彼此不同的情况下，控制单元可以使与观看者相关联的图像在以将第一交点坐标连接至第二交点坐标的轨迹移动时被显示。
31.因此，信息处理系统可以使表演者在表演过程中注意到观看者的移动，并且可以使表演者根据观看者的移动作出表演。
32.信息处理系统还可以包括存储单元，该存储单元存储指示能够与图像一起被再现的多个类型的特效的信息，信息与用于识别特效的特效识别信息相关联地被存储。在这种情况下，在控制单元从观看者的终端接收到包括观看者识别信息和特效识别信息的特效再现请求的情况下，控制单元可以使与特效识别信息相关联的特效从与观看者识别信息相关联的交点坐标附近被输出。
33.因此，信息处理系统可以使表演者注意到观看者的反应或兴奋，并且可以使表演者根据观看者的反应或兴奋作出表演。这里，作为再现请求目标的特效与观看者的终端中的任意输入(手势、按钮等)相关联。
34.在与预定数量的观看者或更多的观看者相关联的特效再现请求存在于显示器的预定区域中的情况下，控制单元可以使单个预定特效被输出，而不是使与各个观看者相关联的特效被输出。
35.因此，信息处理系统可以防止与多个观看者相关联的图像彼此交叠显示而降低表演者的可见度。
36.在控制单元从预定数量的观看者或更多个观看者接收到具有相同的特效识别信息的特效再现请求的情况下，控制单元可以使单个预定特效被输出，而不是使与各个观看者相关联的特效被输出。
37.因此，信息处理系统可以使表演者注意到所有观看者的兴奋。
38.多个扬声器可以被安装在显示器上的不同位置处。在这种情况下，在与包括在特效再现请求中的特效识别信息相关联的特效是声音特效的情况下，控制单元可以使声音特效从被设置在与观看者识别信息相关联的交点坐标附近的扬声器被输出。
39.因此，信息处理系统可以再现犹如观看者与表演者正在交谈的特效，并且可以使表演者注意到该特效。
40.在控制单元已经获取了指示表演者的注视的注视参数，并且确定了从表演者的注视参数获得的注视向量与从指示观看者的虚拟注视的注视参数获得的注视向量的内积的绝对值小于预定阈值的情况下，控制单元可以使预定特效从与观看者识别信息相关联的交点坐标附近被输出。
41.因此，信息处理系统可以使表演者注意到表演者和观看者已经对视，并且可以使表演者根据该对视进行表演。
42.控制单元可以获取指示表演者的注视的注视参数，针对多个观看者中的每个观看者，对从表演者的注视参数获得的注视向量与从指示每个观看者的虚拟注视的注视参数获得的注视向量的内积的绝对值小于预定阈值的次数进行计数，并且使显示器显示直方图，在直方图中，与每个观看者的次数相关联的值和与每个观看者相关联的交点坐标附近相关联。
43.因此，基于该直方图，表演者可以在表演者与观看者对视的频率较低的方向上作出表演，由此提高所有观看者的满意程度。
44.根据本技术的实施方式的信息处理方法包括：
45.从观看者的终端获取指示观看者在观看者所在的空间的坐标系中的注视的注视参数，在观看者的终端上经由网络实时地再现通过拍摄表演者的表演而获得的内容，注视参数与用于识别观看者的观看者识别信息一起被获取，
46.将所获取的注视参数转换为指示观看者在表演者所在的空间的坐标系中的虚拟注视的注视参数，以及
47.基于转换后的注视参数，向表演者所在的空间中的输出装置输出指示观看者的虚拟注视的注视信息。
48.根据本技术的实施方式的程序使信息处理装置执行以下步骤：
49.从观看者的终端获取指示观看者在观看者所在的空间的坐标系中的注视的注视参数，在观看者的终端上经由网络实时地再现通过拍摄表演者的表演而获得的内容，注视参数与用于识别观看者的观看者识别信息一起被获取，
50.将所获取的注视参数转换为指示观看者在表演者所在的空间的坐标系中的虚拟注视的注视参数，以及
51.基于转换后的注视参数，向表演者所在的空间中的输出装置输出指示观看者的虚拟注视的注视信息。
52.本发明的有益效果
53.如上所述，根据本技术，可以使在实时发布的内容中出现的表演者根据位于远程位置的观看者的反应作出表演。然而，这种效果并不对目前的技术作出限制。
附图说明
54.[图1]示出根据本技术的实施方式的内容发布系统的配置的图。
[0055]
[图2]示出内容发布系统的工作室中的设备安装示例的图。
[0056]
[图3]示出内容发布系统的观看者信息管理服务器的硬件配置的图。
[0057]
[图4]示出由内容发布系统执行的内容发布处理的流程的流程图。
[0058]
[图5]示出当存在相对于内容发布系统中的内容、其位置和姿态不同的观看者时
的显示示例的图。
[0059]
[图6]示出由内容发布系统执行的观看者信息显示处理的流程的流程图。
[0060]
[图7]示出内容发布系统中观看者的注视信息相对于表演者的呈现示例的图。
[0061]
[图8]示出内容发布系统中根据观看者的移动的注视信息的显示示例的图。
[0062]
[图9]示出内容发布系统的工作室中的设备安装示例的修改示例的图。
[0063]
[图10]示出在内容发布系统中的相同位置处显示关于具有不同注视的不同观看者的信息的示例的图。
[0064]
[图11]示出在内容发布系统中根据观看者的注视是否指向表演者的注视信息的显示示例的图。
[0065]
[图12]示出内容发布系统中观看者可以请求的针对表演者的特效与该特效的动作之间的关系的表。
[0066]
[图13]示出内容发布系统中从观看者向表演者的特效的显示示例的图。
[0067]
[图14]示出内容发布系统中示出表演者与观看者已经对视的次数的直方图的显示示例的图。
[0068]
[图15]示出内容发布系统根据来自观看者的请求向内容添加特效的流程的流程图。
[0069]
[图16]示出内容发布系统根据来自观看者的请求向内容添加特效的流程的概念图。
[0070]
[图17]示出在内容发布系统中向内容添加特效的处理的修改示例的图。
[0071]
[图18]示出在内容发布系统中表演者、多个观看者、显示器具有一定位置关系的情况的图。
[0072]
[图19]示出在图18的情况下向某个观看者正在观看的内容添加表示其他观看者的观看状态的信息的状态的图。
[0073]
[图20]示出在图18的情况下通过虚拟地移动和放大显示器，向某个观看者正在观看的内容添加表示观看者的观看状态的信息的状态的图。
[0074]
[图21]示出内容发布系统中根据来自观看者的请求再现光束的特效的示例的图。
[0075]
[图22]示出图21的特效的再现位置的调整示例的图。
[0076]
[图23]示出在内容发布系统中可以设置以表演者为中心设置的特效生成中心的区域的图。
[0077]
[图24]示出通过使用图23的示例中设置的区域为每个观看者设置特效生成中心的状态的图。
[0078]
[图25]示出在内容发布系统中为具有不同注视的每个观看者布置具有不同平面参数的背景内容的示例的图。
[0079]
[图26]示出在图25的情况下特效的再现示例的图。
具体实施方式
[0080]
在下文中，将参照附图描述根据本技术的实施方式。
[0081]
[系统的概述]
[0082]
图1是示出根据本技术的实施方式的内容发布系统的配置的图。
[0083]
图1是示出系统的整体配置的图。图2是示出系统的内容拍摄工作室中的设备安装示例的图。
[0084]
如两幅图所示，该系统包括内容拍摄工作室中的观看者信息管理服务器、表演者输出系统300、内容生成服务器400、内容发布服务器500，以及通过诸如互联网的网络50连接至上述装置的多个观看者输出系统200。
[0085]
内容生成服务器400使用上述的专用于内容生成的工作室，生成通过实时拍摄表演者的表演而获得的内容。生成的内容经由网络50流送至观看者。
[0086]
发布至观看者的内容是基于3d模型和环绕声配置的虚拟现实(virtual reality，vr)内容。如图2所示，工作室包括用于内容生成的拍摄设备，该拍摄设备包括一个或更多个摄像装置51以及一个或更多个麦克风52，并且内容生成服务器400基于捕获的数据生成发布内容。
[0087]
观看者信息管理服务器100视情况从观看者输出系统200获取并管理关于观看者的观看状态的信息，例如观看者的虚拟注视和虚拟位置。
[0088]
表演者输出系统300包括一个或更多个显示器53，该显示器用于向在内容中出现的表演者输出关于观看者的观看状态的信息。
[0089]
观看者信息管理服务器100将诸如从观看者输出系统200接收到的观看者的观看状态的信息发送至内容生成服务器400，并且内容生成服务器400也可以根据这些信息改变发布内容。
[0090]
由内容生成服务器400生成和改变的内容由内容发布服务器500通过网络50从内容发布服务器500发布至每个内容观看者(观看者输出系统200)。
[0091]
[观看者信息管理服务器的硬件配置]
[0092]
图3是示出观看者信息管理服务器100的硬件配置的图。
[0093]
如图所示，观看者信息管理服务器100包括中央处理单元(central processing unit，cpu)11、只读存储器(read only memory，rom)12以及随机存取存储器(random access memory，ram)13。此外，观看者信息管理服务器100可以包括主机总线14、桥接器15、外部总线16、接口17、输入装置18、输出装置19、存储装置20、驱动器21、连接端口22和通信装置23。另外，观看者信息管理服务器100可以根据需要包括成像装置26和传感器27。代替cpu 11或者除了cpu 11以外，观看者信息管理服务器100可以包括诸如数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)或现场可编程门阵列(field-programmable gate array，fpga)的处理电路。
[0094]
cpu 11用作算术处理单元和控制单元，并且根据记录在rom 12、ram 13、存储装置20或可移除记录介质24上的各种程序，控制观看者信息管理服务器100的整体操作或其部分。rom 12存储由cpu 11使用的程序、算术参数等。ram 13临时存储用于执行cpu 11的程序、在执行中视情况而改变的参数等。cpu 11、rom 12和ram 13通过包括内部总线(如cpu总线)的主机总线14相互连接。此外，主机总线14经由桥接器15连接至诸如观看者信息管理服务器i(外围部件互连/接口)总线的外部总线16。
[0095]
输入装置18是由用户操作的装置，例如触摸板、物理按钮、开关和控制杆。输入装置18可以是例如使用红外线或其他无线电波的遥控装置，或者可以是外部连接装置25，例
如与观看者信息管理服务器100的操作兼容的智能手机或智能手表。输入装置18包括输入控制电路，该输入控制电路基于用户输入的信息生成输入信号，并且将所生成的输入信号输出至cpu 11。通过操作输入装置18，用户向观看者信息管理服务器100输入各种数据并且指示执行处理操作。
[0096]
输出装置19被配置为能够通过使用诸如视觉、听觉和触觉的感觉将获得的信息通知给用户的装置。例如，输出装置19可以是诸如液晶显示器(liquid crystal display，lcd)以及有机电致发光(organic electro-luminescence，el)显示器的显示装置、诸如扬声器的语音输出装置等。输出装置19将由观看者信息管理服务器100的处理获得的结果输出作为诸如文本和图像的视频、诸如语音和声音的音频、振动等。
[0097]
存储装置20是被配置为观看者信息管理服务器100的存储单元的示例的数据存储装置。存储装置20包括例如磁存储装置(例如硬盘驱动器(hdd))、半导体存储装置、光存储装置或磁光存储装置。例如，存储装置20存储由cpu 11执行的程序和各种数据、从外部获取的各种数据、从观看者输出系统200获取的数据(例如，后面将要描述的注视参数、每个观看者的头像图像等)等。
[0098]
驱动器21是用于可移除记录介质24(例如磁盘、光盘、磁光盘和半导体存储器)的读取器/写入器，并且内置在观看者信息管理服务器100中或从外部附接至观看者信息管理服务器100。驱动器21读取记录在所安装的可移除记录介质24上的信息，并且将所读取的信息输出至ram 13。此外，驱动器21在安装的可移除记录介质24中写入记录。
[0099]
连接端口22是用于将装置连接至观看者信息管理服务器100的端口。连接端口22可以是例如通用串行总线(universal serial bus，usb)端口、ieee 1394端口、小型计算机系统接口(small computer system interface，scsi)端口等。可替选地，连接端口22可以是rs-232c端口、光学音频终端、高清晰度多媒体接口(high-definition multimedia interface，hdmi)(注册商标)端口等。通过将外部连接装置25连接至连接端口22，可以在观看者信息管理服务器100与外部连接装置25之间交换各种数据。
[0100]
通信装置23是例如包括用于连接至通信网络50的通信装置等的通信接口。通信装置23可以是例如用于局域网(local area network，lan)、蓝牙(bluetooth)(注册商标)、wi-fi或无线usb(wireless usb，wusb)的通信卡等。可替选地，通信装置23可以是用于光通信的路由器、用于非对称数字用户线(asymmetric digital subscriber line，adsl)的路由器、用于各种类型的通信的调制解调器等。通信装置23通过使用预定的协议(例如tcp/ip)，向互联网和其他通信装置发送信号等并且从互联网和其他通信装置接收信号等。此外，连接至通信装置23的通信网络50是以有线或者无线方式连接的网络，并且可以包括例如互联网、家庭lan、红外线通信、无线电通信、卫星通信等。
[0101]
成像装置26是例如通过使用各种构件对真实空间进行成像并且生成捕获图像的摄像装置，各种构件例如包括互补金属氧化物半导体(complementary metal oxide semiconductor，cmos)和电荷耦合器件(charge coupled device，ccd)的图像传感器以及用于控制在图像传感器上形成对象图像的镜头。成像装置26可以捕获静止图像，或者可以捕获运动图像。
[0102]
传感器27是例如诸如加速度传感器、角速度传感器、地磁传感器、照度传感器、温度传感器、大气压力传感器、深度传感器和声音传感器(麦克风)的各种传感器。
[0103]
上述部件中的每一个都可以使用通用构件来配置，或者可以由专用于每个部件的功能的硬件进行配置。这样的配置可以根据实施时的技术水平视情况改变。
[0104]
尽管未在图中示出，但是与观看者信息管理服务器100具有的硬件类似，观看者输出系统200、表演者输出系统300、内容生成服务器400和内容发布服务器500也具有用作计算机的硬件。
[0105]
[内容发布系统的操作]
[0106]
接下来，将描述如上所述配置的内容发布系统的操作。该操作是与诸如cpu 11以及观看者信息管理服务器100的通信单元的硬件以及存储在rom 12、ram 13、存储装置20或可移除记录介质24中的软件协作执行的。
[0107]
图4是示出内容发布处理的流程图的图。图5是示出当存在相对于内容、其位置和姿态不同的观看者时内容的显示示例的图。
[0108]
内容观看者接收内容并且通过每个观看者的观看者输出系统观看内容。这里，观看者输出系统200是例如具有能够估计观看者头部的位置和姿态的头部跟踪功能的头戴式显示器。
[0109]
如图4所示，观看者输出系统200初始化观看者的头部在内容坐标系(表演者所在空间中的坐标系)中的位置和姿态(步骤41)，并且通过使用头部跟踪功能估计观看者的头部在内容坐标系中的位置和姿态(步骤42)。
[0110]
随后，观看者输出系统200将根据位置和姿态发布的3d内容投影到虚拟图像平面上(步骤43)，并且将投影的内容输出到显示器(步骤44)。
[0111]
用于实现头部跟踪功能的技术的示例可以包括使用摄像装置以及惯性测量单元(inertial measurement unit，imu)传感器的同步定位和建图(simultaneous localization and mapping，slam)技术。
[0112]
通常，用于观看vr内容的双眼立体视觉需要观看者的左眼和右眼的位置和姿态，这可以通过使用从估计的头部位置到双眼的偏移量来计算。
[0113]
如图5所示，在内容坐标系中观看来自右侧的内容(图a)的观看者1以及观看来自前方的内容(图b)的观看者2根据头部的位置和姿态以不同的方式看到内容。
[0114]
无论是否有头部跟踪功能，观看者还可以通过使用诸如控制器的输入装置虚拟地移动头部位置和姿态，而不是观看者输出系统200估计和使用观看者的实际头部的位置和姿态。
[0115]
本实施方式的内容发布系统能够在内容发布处理期间，向表演者呈现观看者的虚拟注视信息(包括观看者的虚拟位置信息)以及指示观看者对表演者的反应的特效。另一方面，内容发布系统能够在内容发布处理期间，给出指示观看者对内容的反应的特效。下文将对这些处理的细节进行描述。
[0116]
[向表演者呈现观看者的注视信息]
[0117]
图6是示出向表演者呈现观看者的注视信息和特效的处理流程的流程图。
[0118]
如图左侧的流程中所示，首先，观看者输出系统200计算内容坐标系中的观看者的注视参数(步骤51)。
[0119]
观看者输出系统200可以通过将在头戴式显示器坐标系(观看者所在空间的坐标系)中预先定义的注视参数转换为内容坐标系来获得该注视参数。可替选地，在观看者输出
系统200具有实时估计观看者的注视方向的装置的情况下，观看者输出系统200可以通过将该参数转换为内容坐标系来获得该注视参数。
[0120]
尽管可以针对右眼和左眼分别输出注视参数，但是这里假设注视参数以某种方式被限制为单个参数，例如，选择右眼和左眼中的一个或者获得右眼和左眼的平均值。可替选地，基于观看者总是面对着表演者的方向的假设，观看者输出系统200可以使用例如连接表演者头部的位置与观看者头部的位置的直线作为注视参数，而不是使用观看者的眼睛位置。可替选地，观看者输出系统200也可以将在头戴式显示器的装置坐标系中具有特定取向的注视参数确定为注视方向。
[0121]
内容坐标系中的注视参数可以不由观看者输出系统200计算，而是由工作室侧的观看者信息管理服务器100计算。在这种情况下，观看者输出系统200将头戴式显示器坐标系中的观看者的注视参数发送至观看者信息管理服务器100，并且观看者信息管理服务器100将该注视参数转换为内容坐标系的注视参数。
[0122]
随后，观看者输出系统200将内容坐标系中表示的观看者的注视参数发送至观看者信息管理服务器100(步骤52)。
[0123]
观看者信息管理服务器100对从每个观看者发送的注视参数执行表演者输出系统300所要求的处理。
[0124]
例如，当在表演者输出系统300中输出观看者的头像图像作为注视信息时，观看者信息管理服务器100可以执行将注视参数与发送了消息的观看者的头像图像进行链接的处理。
[0125]
观看者信息管理服务器100(cpu 11)在安装在工作室中的显示器53的内容坐标系中具有位置和姿态信息，并且基于内容坐标系中表示的观看者的注视参数计算显示器53和观看者的注视的交点坐标(步骤53)。
[0126]
例如，在表演者输出系统300由多个显示器53构成的情况下，观看者信息管理服务器100能够通过用平面方程表达每个显示器53以及用线性方程表达观看者的注视参数来计算显示器53和注视的交点坐标。
[0127]
这也可以应用于显示器53是弯曲表面的情况。可替选地，观看者信息管理服务器100可以在将注视参数转换为每个显示器坐标系之后，确定每个显示器坐标系中的交点坐标。
[0128]
接下来，观看者信息管理服务器100(cpu 11)使表演者输出系统300基于计算出的交点坐标、以表演者能够识别的形式将观看者的注视信息输出到显示器53(步骤54)。
[0129]
例如，如图7所示，这可以通过将在内容坐标系中表示的交点坐标i转换为显示器坐标系，并在相应的位置处显示每个观看者的头像图像71来实现。在图中所示的实施方式中，显示头像图像71a、71b和71c，所述头像图像71a、71b和71c分别与观看者1的虚拟注视vl1、观看者2的虚拟注视vl2和观看者3的虚拟注视vl3与显示器53的交点坐标i相关联。
[0130]
如图8所示，通过观看显示器53上显示的头像图像71，表演者p可以实时识别存在于远程位置的观看者v的注视以及观看者v存在的方向，并且可以采取适当的动作，例如，看向该区域或者朝向该区域作出表演。在图中所示的示例中，当如图中b所示观看者v在具有t1、t2、t3的时间序列中将注视l从右向左移动时，虚拟注视vl也如图中a所示移动，并且头像图像71也相应地移动。
[0131]
此外，这还允许观看者v具有犹如表演者p与观看者v在物理上靠近在一起的交流体验(例如，互相注视)。
[0132]
[与注视信息的呈现有关的修改示例]
[0133]
下文将描述与将观看者的注视信息呈现给表演者有关的修改示例。
[0134]
随着观看者数量的增加，观看者的注视可能聚集在表演者输出系统300的显示器53上的同一坐标上。此时，例如，当显示针对每个观看者设置的头像图像71等时，多个头像图像71相互交叠，并且表演者的可见度被降低。
[0135]
在这种情况下，观看者信息管理服务器100可以使表演者输出系统300显示表示多个观看者的注视的集中的其他图像等，以代替各个观看者的多个头像图像71。
[0136]
例如，在x个人或更多个人的视点聚集在显示器53上的预定区域或更少的区域的情况下，表演者输出系统300可以显示图像a以代替观看者的一组头像图像71，并且在y个人或更多个人的视点聚集在该区域的情况下，表演者输出系统300可以显示不同于图像a的图像b以代替观看者的一组头像图像71。可替选地，表演者输出系统300可以在显示器53上显示指示注视集中程度的热图，而不是显示头像图像71。
[0137]
观看者信息管理服务器100可以通过使用由观看者信息管理服务器100管理的观看者属性信息或者添加至从观看者输出系统200获取的注视参数信息的观看者属性信息，来改变或处理待显示在观看者输出系统300的显示器上的观看者的头像图像71。
[0138]
例如，观看者信息管理服务器100可以根据观看者的年龄、性别、国籍、居住地、观看时间、出现同一表演者的内容的观看次数或者购买次数、在内容坐标系中与表演者的距离或与观看者相关联的其他参数，为头像图像71添加不同颜色的边框，改变头像图像71的大小，或者改变透明度。
[0139]
显示器53以外的装置可以被用作表演者输出系统300的视频输出装置。例如，在使用投影仪的情况下，观看者信息管理服务器100能够通过将投影仪的、图像被投影在其上的投影平面表示在内容坐标系中，以与使用显示器53的情况相同的方式计算观看者的头像图像71等要被绘制的位置。
[0140]
可替选地，为了提高显示器51对表演者的可见度，可以使用如图9所示的显示装置，在该显示装置中，多个摄像装置51和多个麦克风52被嵌入(例如，以矩阵形状)在与显示器53相同的平面中，而不是使用如图2所示的配置。
[0141]
如图10所示，即使不同观看者的信息(例如，头像图像71)被显示在表演者输出系统300中的显示器53上的相同位置，观看者也可能未看向表演者p(注视vl1指向表演者p而注视vl2不指向表演者p)。
[0142]
因此，为了向表演者p发送更准确的观看者v的注视信息，例如，如图11所示，观看者信息管理服务器100可以在观看者v的注视指向内容坐标系中的表演者p的情况与观看者v的注视未指向表演者p的情况之间改变头像图像71的大小或边框颜色或者隐藏头像图像71本身。
[0143]
在图中所示的实施方式中，虚拟注视vl1和vl2指向表演者p，与其对应的头像图像71a和71b以正常尺寸显示，而虚拟注视vl3未指向表演者p，与其对应的头像图像71c比头像图像71a和71b显示得更小。
[0144]
观看者的注视是否面向表演者p可以基于例如表演者是否被包括在以观看者的注
视为中轴的任意大小的视锥体中来确定。
[0145]
表演者输出系统300上显示的观看者信息(头像图像71)的位置可以以任意的间隔更新。观看者信息管理服务器100可以在某个观看者的注视与显示器的交点位置c(t)不同于刚刚计算的同一观看者的交点位置c(t-1)的情况下，使观看者信息在连接两个交点的轨迹上移动。
[0146]
[向表演者呈现观看者特效]
[0147]
接下来，将描述通过在表演者输出系统300中附加地显示观看者的注视以外的信息，将诸如观看者的反应和兴奋等信息发送给表演者的方法。
[0148]
通过获取这些信息，表演者可以为观看者作出适当的表演。内容发布器生成如图12的a中的特效表中的特效，该特效表允许观看者向表演者输出系统提出再现请求。该特效表是其中用于识别特效的特效id与该特效id所指示的特效描述相关联的表。例如，该特效表被存储在观看者信息管理服务器100的存储装置20中。
[0149]
如图12的b1至b3所示的观看者动作表，每个观看者根据观看者的输入装置登记用于提出每个特效的再现请求的动作。这里的动作是指向观看者输出系统200的装置输入特定的命令或运动。
[0150]
如图6右侧的流程所示，观看者输出系统200首先基于观看者的动作获取作为再现请求目标的特效的特效id(步骤61)。
[0151]
例如，图12的b中的观看者1重复地上下移动头部，从而在表演者输出系统300中针对具有特效id:1000的特效提出特效的再现请求。在具有头部追踪功能的观看环境中的观看者可以像图12的b中的观看者1那样使用头部运动来进行请求，或者使用运动控制器的观看者可以像观看者2那样使用特定的运动来进行请求。
[0152]
随后，观看者输出系统200向观看者信息管理服务器100发送与特效id相关联的特效再现请求(步骤62)。
[0153]
每个观看者的特效再现请求作为数据被发送到观看者信息管理服务器100，在该数据中用于识别观看者的观看者id与特效id相关联。
[0154]
然后，观看者信息管理服务器100(cpu 11)基于交点坐标、在表演者输出系统300的与交点坐标相关联的位置(例如，在头像图像71附近)处再现与该特效id相关联的特效(步骤63)。
[0155]
例如，如图13所示，响应于来自观看者1的再现请求，再现图12的a的特效id:1004(彩虹)的视觉特效72，响应于来自观看者2的再现请求，再现图12的a的特效id:1003(星星)的视觉特效72，以及响应于来自观看者3的再现请求，再现图12的a的特效id:1000(作为气球评论的“可爱”)的视觉特效72。
[0156]
[表演者的特效呈现处理的修改示例]
[0157]
下文将描述表演者的特效呈现处理的修改示例。
[0158]
与上述的注视信息类似，当观看者的数量增加时，特效再现请求可能集中在表演者输出系统300的显示器51的同一坐标附近。此时，例如，当针对每个观看者再现所请求的特效时，多个特效相互交叠，并且表演者的可见度降低。
[0159]
在这种情况下，观看者信息管理服务器100可以使观看者输出系统300再现表示多个特效再现请求的集中的另一种特效，以代替多个观看者的特效。
[0160]
例如，当从显示器53上的预定区域中的x个人或更多个人接收到相同的特效再现请求时，表演者输出系统300可以再现表示该特效的集中的特定特效，以代替各个观看者的特效。
[0161]
观看者信息管理服务器100可以通过使用由观看者信息管理服务器100管理的观看者属性信息或者添加到从观看者输出系统200获取的注视参数信息的观看者属性信息，来控制由观看者输出系统300再现的特效的大小以及可以请求的特效的类型。
[0162]
例如，观看者信息管理服务器100可以根据观看者的观看时间、出现同一表演者的内容的观看次数或者购买次数，以及与观看者相关联的其他参数来控制可以请求的特效的类型。
[0163]
观看者信息管理服务器100可以再现不转移到注视位置的特效，以表示所有观看者的兴奋。
[0164]
例如，当观看者信息管理服务器100在特定定时处接收到来自特定数量的观看者或数量大于该特定数量的观看者的相同的特效再现请求时，观看者信息管理服务器100可以使表演者输出系统300再现指示该特效再现请求的特定特效(例如，显示在整个显示器53上的视觉特效)。
[0165]
表演者输出系统300可以包括诸如扬声器的音频再现装置。这允许观看者不仅可以请求视觉特效，还可以请求声音特效。
[0166]
例如，通过使用以与图9相同的方式将多个扬声器嵌入到显示器53中的显示装置，可以从与提出声音特效再现请求的观看者相关联的头像图像71(交点坐标i)附近的扬声器再现由观看者请求的声音特效。
[0167]
[向内容添加特效]
[0168]
接下来，将描述通过根据观看者的动作向发布内容添加特定特效来实时通知正在观看相同发布内容的观看者他们如何反应的方法。
[0169]
与呈现给表演者的特效类似，内容发布器生成观看者可以请求添加至发布内容的特效。每个观看者类似地根据观看者的输入装置登记动作以提出各自的特效添加请求。例如，与特效相关的表格(例如，与图12所示的格式相同)也被存储在观看者管理服务器100的存储装置20中。
[0170]
图15是示出从来自某个观看者的特效添加请求到向该观看者发布具有添加的特效的vr内容的流程的流程图。图16是示出该流程的概念图。
[0171]
如图15所示，观看者信息管理服务器100的cpu 11首先从每个观看者的观看者输出系统200接收每个观看者的特效添加请求(步骤151)。该特效添加请求作为数据被接收，在该数据中观看者id与特效id相关联。
[0172]
随后，cpu 11从特效添加请求中识别特效id(步骤152)。
[0173]
随后，cpu 11将包括特效id的特效添加请求发送至内容生成服务器400(步骤153)。
[0174]
在步骤154中，内容生成服务器400从内容发布服务器500向观看者输出系统200发布添加了与特效id相关联的特效的内容。
[0175]
特效添加请求可以不通过观看者信息管理服务器100而直接地被发送至内容生成服务器400。
[0176]
如图16所示，例如，当使表演者p的周围环境发光的视觉请求从观看者2发送至观看者信息管理服务器100时，该特效由内容生成服务器400添加至内容并且被发布至每个观看者的观看者输出系统200。因此，各个观看者可以从不同的注视l1、l2和l3视觉地识别添加的特效。特别地，观看者1和观看者3可以实时了解观看者2对内容是如何反应的。
[0177]
[与向内容添加特效有关的修改示例]
[0178]
下文将描述向内容添加特效的处理的修改示例。
[0179]
可以进行与向表演者呈现特效的处理中所描述的修改类似的修改。
[0180]
也就是说，与呈现给表演者的注视信息和特效类似，如果观看者的数量增加，特效添加请求可能集中在内容的同一位置附近(例如，在表演者的外围)。此时，如果请求的特效被添加到每个观看者，则观看者的可见度会由于多个特效的交叠等而降低。
[0181]
在这种情况下，观看者信息管理服务器100可以使内容生成服务器400添加表示多个特效添加请求的集中的另一种特效，以代替多个观看者的特效。
[0182]
例如，在从x个人或更多个人处接收到相同的特效添加请求的情况下，内容生成服务器400可以用表示特效集中的特定特效代替各个观看者的特效。
[0183]
观看者信息管理服务器100可以通过使用由观看者信息管理服务器100管理的观看者属性信息或者添加到从观看者输出系统200获取的注视参数信息的观看者属性信息，来控制添加至内容的特效的大小以及可以请求的特效的类型。
[0184]
例如，观看者信息管理服务器100可以根据观看者的观看时间、出现同一表演者的内容的观看次数或者购买次数、以及与观看者相关联的其他参数来控制可以请求添加的特效的类型。
[0185]
此外，当内容生成服务器400在特定定时处接收到来自特定数量的观看者或更多的观看者的相同特效再现请求时，内容生成服务器400可以添加指示其的特定特效(例如，显示在整个内容上的视觉特效)。
[0186]
观看者信息管理服务器100可以通过使用由观看者信息管理服务器100管理的观看者属性信息或者添加至注视参数信息中的观看者属性信息来改变vr内容，而不用观看者主动地提出请求。
[0187]
例如，如图17所示，观看者信息管理服务器100存储观看者居住区域属性表，该属性表指示在世界各地的观看者的各个居住区域的观看者数量。然后，内容生成服务器400可以通过以下来生成内容：根据居住区域的观看者数量改变诸如代表每个地方的地标(例如日本的东京塔、美国的自由女神像、意大利的比萨斜塔和新加坡的鱼尾狮等)的3d模型的显示大小，并且将3d模型与表演者p的背景进行组合。
[0188]
在图中的示例中，由于观看者的数量按日本、美国、意大利、新加坡的顺序而更大，所以3d模型的尺寸被设置为按照东京塔、自由女神像、比萨斜塔、鱼尾狮的顺序而更大，作为内容的背景。
[0189]
[向内容添加特效的扩展示例]
[0190]
通过使用观看者的注视信息和位置信息以及表演者的注视信息和位置信息，可以在观看者之间共享观看状态，并更有效地向内容添加特效。下文将描述几个示例。
[0191]-在观看者之间共享观看状态
[0192]
作为共享观看状态的方法之一，可以构想将另一观看者的观看状态(例如，观看者
的位置)添加到发布内容并观看该内容的方法。此时，在无条件地将其他观看者的观看状态添加到发布内容的情况下，存在添加的内容(特效)出现在阻止观看发布内容的位置处或者发布内容被添加的内容隐藏的问题。
[0193]
图18示出了表演者p、多个虚拟观看者v和显示器53具有一定位置关系的情况。此时，在基于其他观看者的观看位置或其他观看者的头像图像71的位置将表示其他观看者的观看状态的头像内容添加到观看者v1所观看的内容中的情况下，如图19所示，有可能添加的内容(头像内容72)出现在观看者1的视锥体中的交点坐标i附近，并阻碍观看者v1的分配内容的观看。
[0194]
为了应对这个问题，内容生成服务器400可以通过参考观看者v1的位置虚拟地移动和放大显示器53并且使用其他观看者的注视与虚拟显示器53的交点作为所添加内容的显示位置，在不妨碍观看者v1观看的情况下将表示其他观看者的观看状态的内容添加到发布内容，如图20所示。
[0195]
虚拟显示器的位置和大小可以任意改变。例如，内容生成服务器400可以被设置为使得虚拟显示器相对于内容总是位于观看者v1的观看位置之后。
[0196]
可替选地，代替虚拟显示器，内容生成服务器400可以使用任意平面、球形表面或其组合来确定与其他观看者的注视的交点，并且使用该交点作为所添加内容的显示位置。
[0197]
在观看者的数量较大的情况下，当所有观看者的头像图像71被添加到内容时，内容生成服务器400的处理负荷可能会增加，或者整个内容的质量可能由于密集的添加内容而降低。
[0198]
另一方面，观看者信息管理服务器100可以仅在各个观看者所属的组或社区的成员(例如，从sns等获取)之间分享观看状态。此外，内容生成服务器400也可以用更容易呈现的图像(具有较低的分辨率)替换观看者的头像内容72。
[0199]-调整特效的再现位置
[0200]
当由上述特效添加请求添加的特效在观看者之间共享时，可以适当地调整特效添加位置。本文描述了三种具体的情况，但是不限于这三种情况。
[0201]
(情况1：在每个观看者的视锥体中再现特效)
[0202]
即使当根据来自观看者的请求再现某一特效时，另一观看者也不能注意到该特效，除非该特效在视锥体中再现。
[0203]
例如，如图21所示，将假设称为“随机光线”的特效，在该特效中，光线的特效在内容坐标系中随机地再现。当再现这种特效时，每个观看者可以看到的光线的数量根据每个观看者的视锥体的位置而变化。
[0204]
相比之下，内容生成服务器400调整该特效的再现位置，使得在每个观看者的视锥体中再现该特效。结果，每个观看者观看的所再现的特效的质量都可以保持恒定。
[0205]
图22示出了由其他观看者请求的“随机光线”的特效再现位置是如何根据观看者1的视锥体vc进行调整的。图中的上图示出了调整前的位置，图中的下图示出了调整后的位置，在上图中位于视锥体vc以外位置的光线2和光线4的再现位置被调整，使得光线2和光线4在下图中的视锥体vc中可见。
[0206]
对于以这种方式确定特效再现位置的视锥体vc的生成，可以将观看者的观看方向作为中心，或者可以将头部方向作为中心。
[0207]
(情况2：根据每个观看者的注视方向和表演者的位置调整特效生成中心)
[0208]
如果某个观看者请求的特效被类似地添加到分配至其他观看者的内容，则可能会妨碍从与该提出请求的观看者的视点不同的视点观看该分配内容的观看者。
[0209]
例如，存在如下情况：由观看者请求的特效在另一观看者与表演者之间的空间中被再现。避免该问题的一种方法是，如果要在观看者与表演者之间的空间中再现具有或不具有特定属性的特效，则在该观看者的观看者输出系统200中停止目标特效的再现。然而，在使用该方法的情况下，某个观看者可能无法看到由具有不同视点的其他观看者请求的特效。
[0210]
为了应对这个问题，每个观看者输出系统200可以根据每个观看者的注视方向和表演者的位置来调整再现特效的生成中心。
[0211]
这里，考虑在使用表演者的位置作为基础定义的表演者坐标系中设置特效生成中心。特效生成中心是确定具有或不具有特定属性的特效的再现位置的参考坐标。
[0212]
图23示出了区域a，在区域a中，可以设置使用表演者p作为中心设置的特效生成中心。这里，作为示例，与地面水平的具有半径r[m]的圆被设置在高度h[m]处，并且其中心被设置在表演者p处，尽管区域a的设置方法并不受到限制。
[0213]
图24示出其中通过使用设置的区域a为每个观看者设置特效生成中心的状态。由于每个观看者的注视l被映射到特效生成中心可设置的区域a所在的平面，因此特效生成中心c被设置为映射的注视与特效生成中心可设置的区域a的交点中的、离观看者最远的交点。
[0214]
如图中可以看出，分别为观看者设置了不同的特效生成中心c1至c3。例如，当(与注视l2相关联的)观看者2从图中所示的状态提出特效再现请求时，(与注视l1相关联的)观看者1的观看者输出系统200a在观看者1的特效生成中心c1的位置处再现特效，并且观看者3的输出系统200c在观看者3的特效生成中心c3的位置处再现特效。
[0215]
这允许任何观看者观看由其他观看者请求的特效而不会妨碍发布内容的观看。
[0216]
设置区域a和特效生成中心c的处理可以不由每个观看者输出系统200执行，而是由内容生成服务器400通过观看者信息管理服务器100从每个观看者输出系统200接收每个观看者的注视参数来执行或直接执行。
[0217]
(情况3：根据观看者的注视方向和特效属性调整特效再现位置)
[0218]
通过使用观看者的注视方向以及与具有特定属性的特效有关的背景内容属性来调整再现位置，可以适当地将特效再现给每个观看者。
[0219]
作为示例，定义待再现特效具有文本属性并且具有文本属性的特效在具有等于或大于特定面积的扩展的背景内容的平面上再现。在图25中，具有不同平面参数的背景内容plane1和背景内容plane2分别被布置在观看者1和观看者2的注视l1和注视l2的端部。
[0220]
此时，在提出对具有文本属性的特效的再现请求的情况下，如图26所示，观看者1的观看者输出系统200a在plane1上再现特效，并且观看者2的观看者输出系统200b在plane2上再现特效。
[0221]
因此，具有文本属性的特效可以以适合每个观看者的方式再现。应当注意，在合适的平面不存在于观看者的注视所指向的位置的情况下，例如，可以在观看者观看的表演者后面生成虚拟平面，并且可以在该平面上再现特效。
[0222]
各个背景内容的显示处理可以不由每个观看者输出系统200执行，而是由内容生成服务器400通过观看者信息管理服务器100从每个观看者输出系统200接收每个观看者的注视参数来执行或直接执行。
[0223]-向发布内容添加特效的处理以及处理位置
[0224]
当提出了许多特效再现请求时，存在诸如向发布内容添加特效的处理量的增加和通信数据的增加所导致的发布延迟等问题。为了避免这个问题，可以通过使用观看者的注视信息对再现请求进行过滤。
[0225]
例如，内容生成服务器400可以在待分配给某个观看者的内容上，只反映具有接近于某个观看者的观看参数的另一个观看者的特效再现请求。
[0226]
还可以根据同时间观看者的数量来调整特效的规模。例如，在图21和图22中描述的“随机光线”特效的情况下，当同时间观看者的数量为x或更多时，内容生成服务器400可以将一个再现请求要再现的光线数量设置为n，并且当同时间观看者的数量等于或大于y(y大于上述的x)时，内容生成服务器400可以将其设置为y(y大于上述的x)。
[0227]
此外，内容生成服务器400不向从内容发布服务器500发布的内容添加其再现位置是根据观看者的注视信息来确定的特效，而是将关于该特效的信息发送到每个观看者的输出系统200以使其添加该特效，使得可以减少内容生成服务器400和内容发布服务器500的负荷。
[0228]-根据特效的属性使用不同的再现方法
[0229]
除了上述之外，可以使用以下属性来根据特效的属性改变再现方法。
[0230]
例如，可以构想具有根据观看者的注视方向改变或不改变显示姿态的属性的特效，具有根据表演者的方向改变或不改变显示姿态的属性的特效，具有不显示在观看者与表演者之间的视锥体中的属性的特效，具有使用观看者与表演者之间的距离作为参数执行再现的属性的特效，具有以表演者与观看者的注视之间的眼睛交会程度作为参数执行再现的属性的特效，等等。
[0231]
如上所述，根据本实施方式，内容发布系统可以使表演者注意到与表演者处于同一空间的观看者的虚拟注视，并且可以使表演者根据观看者甚至是远程观看者的反应作出适当的表演。
[0232]
此外，根据上述，即使表演者和观看者彼此相距遥远，他们也可以相互交流，就像他们在物理上彼此接近一样。
[0233]
此外，由于每个观看者可以根据他们自己的输入装置设置特效再现请求，因此同样的请求可以从任何装置发送。(克服了拥有的设备造成的差异)。
[0234]
此外，由于观看者的动作被映射到特效id并且被发送到观看者信息管理服务器100，因此极大地减少了用于表示观看者的动作的通信数据量。
[0235]
此外，由于内容发布器生成可以请求的特效，因此可以消除例如在任何文本都可用的交流中发生的恶意动作。
[0236]
此外，内容发布系统允许观看共同内容的观看者通过在发布内容上反映观看者的动作来分享体验。
[0237]
此外，内容发布系统可以通过控制为每个观众添加的可以再现的以及可以请求的特效来区分为每个观众提供的服务。
[0238]
[修改示例]
[0239]
本发明并不仅限于上述实施方式，在不脱离本发明要旨的情况下，可以进行各种修改。
[0240]
在上述实施方式中，在确定了表演者与观看者之间已经建立了特定交流的情况下，观看者信息提供服务器100或内容生成服务器300可以通过向所有观看者的发布内容添加特定特效来增强交流体验。特定交流的建立包括例如表演者和观看者已经相互注视的情况、已经接收到对表演者的特定表演的特定特效再现请求的情况等。
[0241]
为了确定表演者和观看者是否已经相互注视，观看者信息管理服务器100或内容生成服务器300例如确定表演者的注视是否指向显示器上的某个观看者的头像图像71，以及表演者和观看者的注视向量的内积的绝对值是否小于使两个注视向量变得基本平行的预定阈值就足够了。
[0242]
此外，观看者信息管理服务器100可以在表演者和观看者已经相互注视时，从显示器53上与观看者相关联的头像图像(交点坐标)附近输出特定的视觉特效或声音特效。
[0243]
此外，观看者信息管理服务器100对表演者和观看者相互注视的次数进行计数，使得指示表演者和观看者在每个方向上相互注视的频率的值可以与显示器53的每个交点坐标i相关联地被显示为直方图。基于该信息，表演者可以在表演者和观看者相互注视的频率较低的方向上进行表演，从而提高所有观看者的满意程度。
[0244]
图14示出了在显示器53上显示指示这种频率的频率直方图73的示例。作为频率直方图73的值，可以设想使用通过将存在于每个方向的表演者和观看者相互注视的次数的总和除以存在于该方向的观看者的数量而获得的值。
[0245]
此外，由于表演者和观看者即使彼此相距遥远，也能以接近实际体验的方式彼此进行交流，因此有可能对直播流式服务中的特定观看位置添加数值。
[0246]
例如，在假设表演者经常朝向特定的观看位置进行交流的情况下，内容发布系统可以通过例如限制可以使用该观看位置的观看者的数量，同时对使用该位置的观看者征收比通常更高的观看费用来生成添加高值的观看位置。
[0247]
在上述实施方式中，内容由固定在拍摄工作室的摄像装置51拍摄，尽管内容可以由例如移动时的无人机代替摄像装置51拍摄。
[0248]
[补充]
[0249]
本技术也可以采用以下配置。
[0250]
(1)一种信息处理系统，包括：
[0251]
控制单元，所述控制单元：
[0252]
从观看者的终端获取指示所述观看者在所述观看者所在的空间的坐标系中的注视的注视参数，在所述观看者的终端上经由网络实时地再现通过拍摄表演者的表演而获得的内容，所述注视参数与用于识别所述观看者的观看者识别信息一起被获取，
[0253]
将所获取的注视参数转换为指示所述观看者在所述表演者所在的空间的坐标系中的虚拟注视的注视参数，以及
[0254]
基于转换后的注视参数，向所述表演者所在的空间中的输出装置输出指示所述观看者的虚拟注视的注视信息。
[0255]
(2)根据(1)所述的信息处理系统，其中，
[0256]
所述输出装置是显示器，并且
[0257]
所述控制单元基于转换后的注视参数，计算所述显示器与所述虚拟注视的交点坐标，并且使与所述观看者相关联的图像作为所述注视信息、在与所述显示器的交点坐标相关联的位置处被输出。
[0258]
(3)根据(2)所述的信息处理系统，其中，
[0259]
在与预定数量的观看者或更多个观看者相关联的交点坐标存在于所述显示器的预定区域中的情况下，所述控制单元使示出观看者组的单个预定图像被输出，而不是使与每个观看者相关联的图像被输出。
[0260]
(4)根据(2)或(3)所述的信息处理系统，其中，
[0261]
所述控制单元连同所述注视参数一起获取指示所述观看者的属性的属性信息，并且根据所述属性信息改变所述图像的输出模式。
[0262]
(5)根据(2)至(4)中任一项所述的信息处理系统，其中，
[0263]
所述控制单元基于转换后的注视参数，确定所述观看者是否正在看着所述表演者，并且根据确定的结果改变所述图像的输出模式。
[0264]
(6)根据(2)至(5)中任一项所述的信息处理系统，其中，
[0265]
在第一时间计算的、与具有第一观看者识别信息的第一观看者相关联的第一交点坐标和在比所述第一时间晚的第二时间计算的、与所述第一观看者相关联的第二交点坐标彼此不同的情况下，所述控制单元使与所述观看者相关联的图像在以将所述第一交点坐标连接至所述第二交点坐标的轨迹移动时被显示。
[0266]
(7)根据权利要求(2)至(6)中任一项所述的信息处理系统，还包括：
[0267]
存储单元，所述存储单元存储指示能够与所述图像一起被再现的多个类型的特效的信息，所述信息与用于识别所述特效的特效识别信息相关联地被存储，其中，
[0268]
在所述控制单元已经从所述观看者的终端接收到包括所述观看者识别信息和所述特效识别信息的特效再现请求的情况下，所述控制单元使与所述特效识别信息相关联的特效从与所述观看者识别信息相关联的交点坐标附近被输出。
[0269]
(8)根据(7)所述的信息处理系统，其中，
[0270]
在与所述预定数量的观看者或更多的观看者相关联的特效再现请求存在于所述显示器的预定区域中的情况下，所述控制单元使单个预定特效被输出，而不是使与各个观看者相关联的特效被输出。
[0271]
(9)根据(7)或(8)所述的信息处理系统，其中，
[0272]
在所述控制单元已经从所述预定数量的观看者或更多个观看者接收到具有相同的特效识别信息的特效再现请求的情况下，所述控制单元使单个预定特效被输出，而不是使与各个观看者相关联的特效被输出。
[0273]
(10)根据(7)至(9)中任一项所述的信息处理系统，其中，
[0274]
多个扬声器被安装在所述显示器上的不同位置处，并且
[0275]
在与包括在所述特效再现请求中的特效识别信息相关联的特效是声音特效的情况下，所述控制单元使所述声音特效从被设置在与所述观看者识别信息相关联的交点坐标附近的扬声器被输出。
[0276]
(11)根据(2)至(10)中任一项所述的信息处理系统，其中，
[0277]
在所述控制单元已经获取了指示所述表演者的注视的注视参数、并且确定了从所述表演者的注视参数获得的注视向量与从指示所述观看者的虚拟注视的注视参数获得的注视向量的内积的绝对值小于预定阈值的情况下，所述控制单元使预定特效从与所述观看者识别信息相关联的交点坐标附近被输出。
[0278]
(12)根据(2)至(10)中任一项所述的信息处理系统，其中，
[0279]
所述控制单元获取指示所述表演者的注视的注视参数，针对多个观看者中的每个观看者，对从所述表演者的注视参数获得的注视向量与从指示每个观看者的虚拟注视的注视参数获得的注视向量的内积的绝对值小于预定阈值的次数进行计数，并且使所述显示器显示直方图，在所述直方图中，与每个观看者的次数相关联的值和与每个观看者相关联的交点坐标的附近相关联。
[0280]
(13)一种信息处理方法，包括：
[0281]
从观看者的终端获取指示所述观看者在所述观看者所在的空间的坐标系中的注视的注视参数，在所述观看者的终端上经由网络实时地再现通过拍摄表演者的表演而获得的内容，所述注视参数与用于识别所述观看者的观看者识别信息一起被获取，
[0282]
将所获取的注视参数转换为指示所述观看者在所述表演者所在的空间的坐标系中的虚拟注视的注视参数，以及
[0283]
基于转换后的注视参数，向所述表演者所在的空间中的输出装置输出指示所述观看者的虚拟注视的注视信息。
[0284]
(14)一种使信息处理装置执行以下步骤的程序：
[0285]
从观看者的终端获取指示所述观看者在所述观看者所在的空间的坐标系中的注视的注视参数，在所述观看者的终端上经由网络实时地再现通过拍摄表演者的表演而获得的内容，所述注视参数与用于识别所述观看者的观看者识别信息一起被获取，
[0286]
将所获取的注视参数转换为指示所述观看者在所述表演者所在的空间的坐标系中的虚拟注视的注视参数，以及
[0287]
基于转换后的注视参数，向所述表演者所在的空间中的输出装置输出指示所述观看者的虚拟注视的注视信息。
[0288]
附图标记列表
[0289]
11
ꢀꢀꢀ
cpu18 输入装置
[0290]
19
ꢀꢀꢀ
输出装置
[0291]
20
ꢀꢀꢀ
存储装置
[0292]
26
ꢀꢀꢀ
成像装置
[0293]
23
ꢀꢀꢀ
通信装置
[0294]
51
ꢀꢀꢀ
摄像装置
[0295]
52
ꢀꢀꢀ
麦克风
[0296]
54
ꢀꢀꢀ
显示器
[0297]
71
ꢀꢀꢀ
头像图像
[0298]
72
ꢀꢀꢀ
特效
[0299]
73
ꢀꢀꢀ
直方图
[0300]
100
ꢀꢀ
观看者信息管理服务器
[0301]
200
ꢀꢀ
表演者输出系统
[0302]
300
ꢀꢀ
观看者输出系统
[0303]
400
ꢀꢀ
内容生成服务器
[0304]
500
ꢀꢀ
内容发布服务器
[0305]
p
ꢀꢀꢀꢀ
表演者
[0306]vꢀꢀꢀꢀ
观看者
[0307]
l
ꢀꢀꢀꢀ
注视
[0308]
vl
ꢀꢀꢀ
虚拟注视