专利名称：信息处理设备、同步方法和程序的制作方法
技术领域：
本公开内容涉及一种信息处理设备、同步方法和程序。
背景技术：
近来，用户不仅观看和享受了成像设备所成像的移动画面等的内容，而且已经通过编辑内容或者向内容添加音乐来向内容给予附加值。例如已经提出一种能够通过缩减内容场景或者剪辑的数目来容易地生成摘要的内容成像设备(参见公开号为2008-227860的日本专利申请)。
发明内容
上述所有用于向内容给予附加值的技术包括基于内容来编辑内容，从而有可能观看和享受编辑的内容。然而没有如下技术，该技术用于进一步将观看内容时观看者的谈话或反应作为附加值给予内容或将场所的兴奋或气氛作为附加值传送给内容。内容创建者对观看者的印象感到好奇，但是没有用于知道观看者观看内容时的真实感受的有用技术。希望提供一种能够向内容进一步给予附加值的新颖和改进的信息处理设备、同步方法和程序。根据第一示例实施例，本公开内容涉及一种包括第一装置的信息处理系统，该第一装置再现内容、获取与再现的内容的观看者对应的行为数据并且存储获取的行为数据和同步数据，该同步数据表明再现的内容相对于获取的行为数据的定时。该系统还包括基于存储的同步数据与行为数据一起再现内容的第二装置。根据另一示例实施例，本公开内容涉及一种信息处理方法，该信息处理方法包括 通过第一装置再现内容；通过第一装置获取与再现的内容的观看者对应的行为数据；在第一装置处存储获取的行为数据和同步数据，同步数据表明再现的内容相对于获取的行为数据的定时；以及通过第二装置基于存储的同步数据与行为数据一起再现内容。根据另一示例实施例，本公开内容涉及一种非瞬态计算机可读介质，该非瞬态计算机可读介质包括在由计算机执行时使计算机执行如下方法的计算机程序指令，该方法包括再现内容；获取与再现的内容的观看者对应的行为数据；并且存储获取的行为数据和同步数据，该同步数据表明再现的内容相对于获取的行为数据的定时。根据上述本公开内容的实施例，可以向内容进一步给予附加值。
图1是图示了根据本公开内容第一实施例的数据生成设备的概况的图；图2是图示了根据相同实施例的执行同步再现控制的数据合成设备的概况的图；图3是图示了根据相同实施例的执行同步再现控制的数据合成设备的概况的图；图4是示出了根据相同实施例的内容同步再现系统的操作处理的时间图；图5是示出了根据相同实施例的数据生成设备的配置的图；图6是示出了根据相同实施例的相机视频数据DB中存储的相机标志的例子的图；图7是图示了根据相同实施例的使用成像时间作为同步基础这样的情况的图；图8是示出了根据相同实施例的内容操纵标志的例子的图；图9是示出了根据相同实施例的数据合成设备的配置的图；图10是图示了根据相同实施例的数据合成设备所生成的合成数据的时间同步的图；图11是图示了根据相同实施例的合成位置判决部在考虑内容分析结果时判决合成位置的过程的图；图12是示出了根据相同实施例的相机视频数据合成的另一例子的图；图13是示出了根据本公开内容第二实施例的数据生成设备的配置的图；图14是图示了根据相同实施例的使用成像时间作为同步基础这样的情况的图；图15是示出了根据相同实施例的用户特征标志的例子的图；图16是示出了根据相同实施例的用户特征分析部的配置的图；图17是示出了根据相同实施例的数据合成设备的配置的图；图18是示出了根据相同实施例的角色生成部的配置的图；图19是示出了根据相同实施例的角色生成的具体例子的图；图20是图示了根据本公开内容第三实施例的数据生成设备的概况的图；图21是图示了根据相同实施例的数据生成/合成设备的概况的图；图22是图示了根据相同实施例的使用成像时间作为同步基础这样的情况的图；图23是示出了根据相同实施例的内容操纵标志的例子的图；图M是示出了根据相同实施例的串行合成流程的图；图25是示出了根据本公开内容第四实施例的并行合成流程的图；以及图沈是示出了应用本公开内容的信息处理设备的实施例的配置例子的框图。
具体实施例方式下文将参照附图具体描述本公开内容的优选实施例。注意，在本说明书和附图中， 功能和结构基本上相同的结构单元由相同的附图标记表示，并且省略对这些结构单元的重复说明。将按照以下顺序给出描述。1.第一实施例(1-1)内容同步再现系统的概述(1-2)数据生成设备
(1-3)数据合成设备2.第二实施例(用户特征分析)(2-1)数据生成设备(2-2)数据合成设备3.第三实施例(串行合成)4.第四实施例(并行合成)5.信息处理设备的硬件配置6.总结<1.第一实施例>根据本发明实施例，提供一种信息处理系统，包括第一装置，被配置成再现内容；获取与所述再现的内容的观看者对应的行为数据；并且存储所述获取的行为数据和同步数据，所述同步数据表明所述再现的内容相对于所述获取的行为数据的定时；以及第二装置，被配置成基于所述存储的同步数据与所述行为数据一起再现所述内容。[1-1.内容同步再现系统的概述]首先将参照图1至图4描述根据本公开内容第一实施例的使用数据生成设备20 和数据合成设备50的内容同步再现系统的概况，作为上述根据本发明实施例的信息处理系统的例子。在本说明书中使用的行为数据广泛地包括如下数据，该数据表明用户的表现 (反应)或者诸如内容的操纵等的观看状态。在该实施例中，使用其中用户为被摄体的相机视频数据和表明用户的内容操纵的内容操纵数据作为行为数据的例子。(数据生成设备20)将参照图1描述数据生成设备20，该数据生成设备20再现内容数据，获取行为数据、如用户在观看时是被摄体的相机视频数据或者表明用户的内容操纵的内容操纵数据， 且生成用于同步行为数据和内容数据的同步数据。图1中所示的数据生成设备20从记录设备10、比如便携相机(handy-cam)接收内容数据并且在显示设备40上显示内容数据。安装于显示设备40上的相机41对观看显示于显示设备40上的内容的用户进行成像，且将成像结果作为相机视频数据发送到数据生成设备20。数据生成设备20接收用户使用遥控器42执行的内容播放、暂停和快进操纵等的输入作为内容操纵数据。如上文所述，数据生成设备20例如获取相机视频数据(包括图像(成像)数据和收集的声音数据)或者内容操纵数据作为如下行为数据，该行为数据表明观看内容的用户的行为。(数据合成设备50)接着将参照图2描述数据合成设备50，该数据合成设备50在另一用户观看上述内容数据时同步上述数据生成设备20获取的第一用户的诸如相机视频数据、内容操纵数据等行为数据和内容数据。通过同步第一用户的行为数据和内容数据，另一用户(第二用户)除了内容数据之外也可以观看和享受第一用户的观看状态。图2中所示记录介质12 (例如数字多功能盘(DVD))包括内容数据、第一用户的相机视频数据和第一用户的内容操纵数据。从记录介质12获取数据的数据合成设备50同步内容数据和相机视频数据或者内容操纵数据。
例如当数据合成设备50同步和再现第一用户的内容数据和相机视频数据时，相机视频x(401)可以与内容数据同步并且如图2中所示显示于显示设备40上。这时基于时间线同步二者，从而可以看见在内容数据的哪个定时示出第一用户的哪个反应并且因此在内容中生成新的附加值。
(应用例子)
将描述使用上述数据生成设备20和数据合成设备50的内容同步再现系统的应用例子。例如，如果第一用户为如图1所示包括父亲、母亲和孩子的家庭，则数据生成设备 20再现记录于便携相机上的幼儿园运动比赛的视频(内容数据)。在这一情况下，数据生成设备20从相机41获取其中第一观看用户为被摄体的相机视频数据。接着向作为第二用户的祖父母发送运动比赛的视频和相机41所成像的相机视频数据。在祖父母这一侧，如图 2中所示由数据合成设备50同步和再现运动比赛的视频和如下相机视频数据，在该相机视频数据中反映他们儿子的家庭观看视频的表现。由此，祖父母也可以在享受他们孙子的运动比赛的视频之时享受他们儿子的家庭观看运动比赛的视频的表现。
数据合成设备50在图2中所示例子中从记录介质12获取数据，但是该实施例的数据获取方法不限于此。例如数据合成设备50和数据生成设备20可以经由网络连接，并且数据合成设备50可以经由网络获取数据。
接着将描述内容同步再现系统的另一应用例子。在这一应用例子中，对其中观看内容数据的其他用户是被摄体的相机视频数据或者其他用户的内容操纵进行同步，从而在内容中生成新的附加值。
具体而言，首先向其它用户(祖父和祖母)发送幼儿园运动比赛的视频(内容数据)，并且在祖父和祖母这一侧的数据生成设备20获取行为数据、比如其中祖父母在观看之时为被摄体的相机视频数据或者祖父母的内容操纵数据。然后在记录介质12中记录并且从祖父和祖母这一侧向他们儿子的家庭发送回运动比赛的视频和行为数据(比如相机视频数据)。在他们儿子的家庭这一侧的数据合成设备如上文所述同步再现内容数据和相机视频数据或者内容操纵数据。
例如，当同步和再现内容数据和内容操纵数据时，数据合成设备50根据内容操纵数据来控制内容再现。因此，重新创建另一用户执行的内容操纵、比如倒退或者快进操纵 (见图3)。这时基于时间线同步二者，从而可以看见另一用户在内容数据的哪个定时执行什么操纵并且因此在内容中生成新的附加值。
(操作处理)
根据本发明实施例，提供一种信息处理方法，包括通过第一装置再现内容；通过所述第一装置获取与所述再现的内容的观看者对应的行为数据；在所述第一装置处存储所述获取的行为数据和同步数据，所述同步数据表明所述再现的内容相对于所述获取的行为数据的定时；并且通过第二装置基于所述存储的同步数据与行为数据一起再现所述内容。
接着将参照图4描述上述内容同步再现系统的操作处理，作为上述根据本发明实施例的信息处理方法的例子。如图4中所示，数据生成设备20开始相机41的成像操作，并且对观看内容的用户进行成像(SIC)》。然后在显示设备40上再现内容(S104)。然后生成作为同步数据的元数据(S106)。后文将使用图5、图7和图8来描述元数据。
另一方面，数据合成设备50基于从数据生成设备20获取的内容数据、相机视频数据和元数据执行同步再现(S108)。
上文已经使用图4的流程图来描述根据这一实施例的内容同步再现系统的操作处理。这里，在本说明书中描述的内容数据可以是静止图像数据、音乐数据和游戏以及上述便携相机所成像的视频、TV广播视频、在因特网上发布的移动画面的移动画面数据等。根据这一实施例的数据合成设备50作为例子同步内容数据和相机视频数据，但是可以仅同步声音数据或者图像数据。
[1-2.数据生成设备]
(配置)
接着将参照图5描述根据这一实施例的数据生成设备20-1的配置。如图5中所示，数据生成设备20-1包括相机视频数据获取部21、相机视频数据数据库(DB)22、内容再现部23、操纵信号输入接口(I/F)24、元数据生成部25、内容操纵日志DB 26、内容分析部27 和内容分析结果DB 28。下文将描述每种配置。
相机视频数据获取部21从相机41获取相机视频数据，在该相机视频数据中观看显示于显示设备40上的内容的用户为被摄体。
相机视频数据获取部21将相机视频数据连同表明成像开始和结束时间的相机日志一起存储在相机视频数据DB 22中。在图6中示出了相机日志的例子。
内容再现部23控制从记录设备10获取的内容数据的再现。再现控制遵循用户从遥控器42发送、并且从操纵信号输入I/F M输入的诸如播放、停止或者快进操纵等的操纵信号。向元数据生成单元25发送操纵信号作为内容操纵数据。在显示设备40上显示内容再现部23再现的内容数据。
元数据生成部25生成如下内容操纵日志作为元数据，该内容操纵日志是用于数据合成设备50同步内容数据和内容操纵数据的同步数据。成为同步基础的数据可以是成像时间、再现时间等的时间数据，并且构成内容数据的每个分段标识信息可以例如是帧编号。
在这一实施例中，作为成为同步基础的数据的例子、在成像开始时间的基础上使用时间线，且将其进一步与内容数据的帧编号相关联。因此，根据这一实施例的元数据生成部25生成如下内容操纵日志作为元数据，在该内容操纵日志中，从相机视频数据获取部21 发送的成像时间(从成像开始时间起的流逝时间)、内容再现部23再现的内容数据的帧编号和内容操纵相关联。后文将参照图7和图8描述其中生成内容操纵日志的具体例子。
如上文所述生成的内容操纵日志与内容ID —起存储于内容操纵日志DB沈中。
内容分析部27分析内容再现部23所再现的内容数据并且检测主区域。例如，当内容数据为图像数据时检测被摄体区域作为主区域。具体而言，从图像数据提取照度信息、 颜色信息、边缘信息、脸部信息、运动信息等，生成被摄体图(map)，并且指定被摄体区域。这里，被摄体是指估计用户关注的在图像上的物理对象、也就是估计用户的眼睛导向的物理对象。因此，被摄体不一定限于人。
内容分析部27的分析结果(主区域的检测结果)存储于内容分析结果DB 28 当数据合成设备50稍后判决合成位置时使用该内容分析结果。
(内容操纵日志)
接着将使用图7和图8来描述如下内容操纵日志，该内容操纵日志是用于同步内容操纵数据和如下数据位置的同步数据，在该数据位置处用户对内容数据执行了内容操纵。在这一实施例中作为例子在基于成像开始时间的时间线中与内容操纵数据关联地生成用户执行了内容操纵的数据位置，但是同步基础不限于此。例如它可以与基于再现开始时间的时间线关联或者可以与构成内容数据的每个分段标识信息关联。例如，如果内容数据为移动画面，则每个分段标识信息对应于每个帧编号。
如图7中所示，在这一实施例中在基于相机41的成像开始时间(见图7中的“记录开始”)的时间线(见图7中的“时间线”)中内容数据与内容操纵数据关联。
接着将参照图8描述基于图7中所示关联来生成的内容操纵日志。首先，如果用户如图7中所示在从成像开始起已经流逝一分钟之后执行播放操纵，则如图8中所示生成如下内容操纵日志，该内容操纵日志表明时间为00 01 00 00、内容操纵为“播放”并且内容帧(帧编号)为0。
接着如果用户如图7中所示在从再现开始起流逝一分钟之后执行暂停操纵，则如图8中所示生成如下两个内容操纵日志，一个内容操纵日志表明时间为00 02 00 00、内容操纵为“播放结束”并且内容帧为1800，而另一内容操纵日志表明时间为00:02:00:00、内容操纵为“暂停”并且内容帧为1800。
接着，如果用户如图7中所示在从暂停操纵起已经流逝30秒之后执行播放操纵，则如图8中所示生成如下两个内容操纵日志，一个内容操纵日志表明时间为 00:02:30:00、内容操纵为“暂停结束”并且内容帧为1800，而另一内容操纵日志表明时间为 00 02 30 00、内容操纵为“播放”并且内容帧为1800。
接着，如果用户如图7中所示在从播放操纵起流逝一分钟之后执行倒退(跳回速度1)操纵，则如图8中所示生成如下两个内容操纵日志，一个内容操纵日志表明时间为 00 03 30 00、内容操纵为“播放结束”并且内容帧为3600，而另一内容操纵日志表明时间为 00:03:30:00、内容操纵为“跳回速度1”并且内容帧为3600。
如上文所述，元数据生成部25基于成像开始时间生成作为同步数据的内容操纵日志。在这一实施例中，如图7和图8中所示在时间00:05:41:00处执行停止操纵并且停止内容数据的再现。随后停止相机41的成像操作(记录停止)。
[1-3.数据合成设备]
(配置)
接着将参照图9描述根据这一实施例的数据合成设备50-1的配置。如图9中所示，数据合成设备50-1包括内容数据DB 51、操纵信号输入I/F 52、内容再现部53、内容操纵日志DB 54、合成位置判决部55、内容分析结果DB 56、合成部57、相机视频数据DB 58和相机视频数据获取部59。
在此，从记录介质12获取图9中所示的内容数据DB 51、内容操纵日志DB 54、内容分析结果DB 56和相机视频数据DB 58中存储的所有数据。这里，在记录介质12中记录上述数据生成设备20所再现的内容数据、在时间线中与第一用户的内容操纵数据关联生成的内容操纵日志、通过分析内容数据的关注区域获得的内容分析结果和在内容数据再现期间通过对用户进行成像而获得的相机视频数据。
下文将描述数据合成设备50-1的每种配置。首先，操纵信号输入I/F52从第二用户操纵的遥控器42接收播放、停止、暂停或者快进操纵等的操纵信号的输入。
内容再现部53控制内容数据的再现。具体而言，与存储于内容操纵日志DB讨中的第一用户的内容操纵日志同步地控制内容数据的再现，从而数据合成设备50-1可以重新创建第一用户的内容操纵。
合成位置判决部55判决接下来的合成部57基于存储于内容分析结果DB 56中的内容分析结果对内容数据和相机视频数据进行合成的位置。后文将参照图11描述合成位置判决。
合成部57合成内容数据和相机视频数据获取部59从相机视频数据DB 58获取的相机视频数据。这时，合成部57在合成位置判决部55判决的位置执行合成。合成部57通过时间同步来合成相机视频数据和通过重新创建第一用户的操纵来控制其再现的内容数据。根据这一时间同步，相机视频数据示出第一用户在内容数据的哪个数据位置如何表现。
(合成内容)
接着将使用图10来描述数据合成设备50-1所合成的内容(下文也称为合成内容)。
首先，在这一实施例中，如图10中所示在获取与再现开始时间对应的相机视频数据之后开始合成，而在内容再现开始时间(时间01:00)之前不合成相机视频数据。在这一实施例中，如图10中所示，再现结束于内容再现结束时间(时间05:41)并且在再现结束之后不显示相机视频数据。通过对准时间点(比如内容数据再现开始时间)通过合成部57 执行在相机视频数据与基于内容操纵日志来控制其再现的内容数据之间的同步。
接着将描述如下过程，在该过程中，内容再现部53根据第一用户的内容操纵日志来控制内容数据的再现并且重新创建第一用户的操纵。例如，如果在第一用户的内容操纵日志为图8中所示内容操纵日志的情况下将关注聚焦于时间00:03:30:00，则在内容帧 3600的时间处在10秒期间执行跳回速度1的操纵。因此，由于数据合成设备50-1在从内容帧3600向内容帧3000倒退之后执行再现，所以在倒退之后的视频如图3中所示显示于显示设备40上。在图10中所示的合成内容中，按照将通过播放操纵来再现的内容帧的顺序示出了挨着f3600的f3000作为流，但是在f3600与f3000之间通过如上文所述的“跳回”操纵来显示在倒退之后的视频。例如，在从f3600至f3000的多个帧的间隔处显示帧。
接着，将参照图11描述合成位置判决部55基于内容分析结果执行的相机视频数据的合成位置判决过程。内容分析结果是如上文所述数据生成设备20中的内容分析部27 执行的内容分析的结果。具体而言，如果内容数据为移动画面，则示出了主区域、比如移动画面的脸部区域402或者动态被摄体区域403。合成位置判决部55在不与图像的脸部区域 402或者被摄体区域403重叠的区域内判决相机视频数据(图11中所示相机视频W401)) 的合成位置。
在如图11中所示的、数据合成设备50将合成和再现的内容数据和相机视频数据之间的屏幕纵横比不限于内容数据显示于显示设备40的整个屏幕上、而相机视频数据叠加和显示于屏幕的端部上这样的例子。例如，相机视频数据可以显示于显示设备40的整个屏幕上，而内容数据可以叠加和显示于屏幕的端部上。显示设备40的屏幕可以划分成两个相等部分并且内容数据和相机视频数据可以分别显示于两个相等部分上。如图12中所示， 内容数据可以显示于显示设备40的整个屏幕上，并且可以从相机视频数据提取并且显示10用户的脸部区域401a、401b和401c。
<2.第二实施例(用户特征分析)>
接着，将描述根据本公开内容第二实施例的内容同步再现系统，作为上述根据本发明实施例的信息处理系统的另一例子。在上述第一实施例中，数据合成设备50-1持续合成从与内容再现开始时间对应的相机视频数据至与内容再现结束时间对应的相机视频数据的所有数据。然而根据本公开内容一个实施例的合成方法不限于此，并且可以合成相机视频数据的特性帧。例如，在这一实施例中，基于通过分析代表用户行为的相机视频数据而生成的用户特征日志，仅表明相机视频数据的第一用户的特性反应的场景与内容数据合成。使用通过分析数据生成设备20-2中的相机视频数据来生成的用户特征日志，数据合成设备50-2可以生成角色并且合成角色和内容数据而不是相机视频数据。
[2-1.数据生成设备]
(配置)
首先将参照图13描述根据这一实施例的数据生成设备20-2的配置。如图13中所示，数据生成设备20-2包括相机视频数据获取部21、相机视频数据DB 22、内容再现部23、 操纵信号输入I/F 24、元数据生成部25、内容操纵日志DB 26、内容分析部27、内容分析结果DB 28、用户特征分析部30和用户特征日志DB 31。下文将描述数据生成设备20_2的每种配置，但是省略与根据上述第一实施例的数据生成设备20-1的配置共同的描述。
用户特征分析部30分析在从相机视频数据获取部21发送的相机视频数据中反映的用户特征，并且检测其中示出用户的具体反应(微笑等)的位置。另外，用户特征分析部 30可以生成在以后生成角色、比如虚拟人或者计算机图形(CG)角色时可用的表情参数。
用户特征分析部30的分析结果与用户ID —起存储于用户特征日志DB 31中作为与如下时间轴关联的用户特征日志，该时间轴与元数据生成部25所生成的内容操纵日志的时间轴相同。
(用户特征日志)
接着将参照图14描述用户特征日志和时间轴的关联。如图14中所示，在这一实施例中生成与基于相机41的成像开始时间的时间线关联的用户特征日志。
如图14的用户特征分析中所示，作为用户特征分析部30的相机视频数据分析的结果，在有用户微笑(笑脸)或者用她的或者他的手指指向(手指指示)屏幕这样的姿势时的时间与基于成像开始时间的时间线关联。由此例如如图15中所示生成如下用户特征日志，该用户特征日志表明用户的反应(行为)在时间00:02:35:00为微笑或者在时间 00:02:40:00为用户用他的或者她的手指指向屏幕这样的姿势。如图15中所示，用户特征日志还可以与内容数据的帧编号关联。
如图14所示，有可能通过分析在相机视频数据中包括的音频数据来检测笑声、对话声音(说话)等作为用户的反应。
(表情参数生成)
接着将参照图16描述用户特征分析部30在生成将在角色生成时使用的表情参数时的配置例子。如图16中所示，用户特征分析部30包括脸部识别部310和表情参数生成部320。脸部识别部310包括脸部检测部311、部分检测部312、属性确定部313和具体部分检测部314并且针对相机视频数据执行脸部识别过程。表情参数生成部320包括脸部方向参数计算部321、脸部位置参数计算部322、微笑参数计算部323、闭眼率参数计算部3M和张嘴率参数计算部325，并且生成在后文将描述的数据分析设备50-2生成角色时用作控制数据的各种参数。
具体而言，脸部检测部311首先执行从相机视频数据的图像(每帧)检测脸部区域的过程。如果在图像中反应用户的脸部，则输出如下脸部搜索结果信息，该脸部搜索结果信息是指定脸部区域的信息。脸部搜索结果信息包括脸部区域的参考点、水平宽度、竖直宽度和旋转角度。
部分检测部312检测在脸部检测部311检测到的脸部区域内的每个脸部部分(右眼、左眼、鼻子和嘴巴)并且输出如下部分信息，该部分信息是表明每个部分的中心点坐标的信息。
属性确定部313基于从部分检测部312输出的部分信息来确定在图像中显示的脸部的属性，并且输出表明脸部属性的属性信息。属性信息包括微笑分数、右(R)眼张开分数、左(L)眼张开分数、男性分数、成人分数、婴儿分数、年长者分数等。例如，微笑分数是表明用户脸部微笑程度的数值。
具体部分检测部314检测用于具体指定在图像上显示的脸部的部分的点(比如部分(轮廓、眉毛、眼睛、鼻子、嘴巴等)的位置或者形状)，并且输出作为表明它们的点的信息的部分结果信息。部分结果信息是表明多个点、例如指定脸部轮廓、眉毛形状、眼睛轮廓、鼻子形状和嘴巴轮廓的XY坐标。
接着，表情参数生成部320基于从脸部识别部310输出的信息来生成为了生成用户脸部的角色所需的表情参数。例如，脸部方向参数计算部321根据在从脸部检测部311 输出的脸部搜索结果信息中包括的脸部区域的旋转角度来计算用于控制角色的脸部角度的参数。
脸部位置参数计算部322根据在从脸部检测部311输出的脸部搜索结果信息中包括的脸部区域的参考点、水平宽度和竖直宽度来计算用于控制角色的脸部位置的参数(脸部位置参数)。
微笑参数计算部323根据在从属性确定部313输出的属性信息中包括的微笑分数来计算用于控制角色的微笑率的参数。
闭眼率参数计算部3M根据在从属性确定部313输出的属性信息中包括的用户右眼和左眼的张开分数来计算用于控制角色的左眼和右眼的闭合率的参数。
张嘴率参数计算部325根据在从具体部分检测部314输出的部分结果信息中包括的指定用户嘴部轮廓的多个点来计算用于控制角色的嘴部的张开率的参数。
上述表情参数以相机视频数据的帧单位保持于用户特征日志DB 31中。例如，如果计算的微笑参数的数值为值70%或者更大，则可以例如标示“微笑”以便减少数据量。也保持在从属性确定部313输出的属性信息中的将用来选择如下模型的分数(男性和成人分数)，该模型用于确定用户的脸部是男性、女性还是孩子。
[2-2.数据合成设备]
(配置)
接着将参照图17描述根据这一实施例的数据合成设备50-2的配置。如图17中所示，数据合成设备50-2包括内容数据DB 51、操纵信号输入I/F 52、内容再现部53、内容操纵日志DB 54、合成位置判决部55、内容分析结果DB 56、合成部57、相机视频数据DB 58、 相机视频数据获取部59、用户特征日志DB 60和角色生成部61。下文将描述数据合成设备 50-2的每种配置，但是省略与根据上述第一实施例的数据合成设备50-1的配置共同的描述。
用户特征日志DB 60存储从记录介质12获取的第一用户的用户特征日志。
角色生成部61基于在存储于用户特征日志DB 60中的用户特征日志中包括的表情参数来生成角色，并且向合成部57输出角色。后文将参照图18描述角色生成部61的细节。
从角色生成部61接收生成的角色的合成部57基于用户特征日志来与内容数据在时间上同步地合成角色。
(角色生成)
接着将参照图18描述角色生成部61的配置例子。如图18中所示，角色生成部61 包括模型选择部610、三维数据管理部620、阴影管理部630和呈现部640。根据这一实施例的角色生成部61生成虚拟人作为角色的例子。
模型选择部610基于在用户特征日志中包括的从属性确定部313输出的属性信息中的男性和成人分数来确定在相机视频数据中反映的用户的脸部是男性、女性还是孩子。 然后，模型选择部610根据确定结果来选择男性模型、女性模型和孩子模型中的任一模型并且输出如下模型信息，该模型信息是表明选择结果的信息。
三维管理部620执行对虚拟人的三维数据的管理、也就是对如下DB(未示出)的管理，该DB存储男性、女性和孩子的虚拟人的三维数据。向三维数据管理部620提供来自模型选择部610的模型信息。三维数据管理部620读取与来自DB的模型信息对应的虚拟人的三维数据并且向呈现部640提供三维数据。
三维数据管理部620管理用于执行以下过程的各种数据并且向呈现部640提供该数据用于将三维模型的坐标变换成输出图像(二维)的几何过程、用于向三维模型的表面给予纹理的纹理过程等。
阴影管理部630管理如下阴影化过程并且向呈现部640提供阴影化过程的算术结果，该阴影化过程实现以下算术运算，该算术运算用于在呈现部呈现三维数据时按照预定光源(光)将三维模型阴影化。
呈现部640通过根据在用户特征日志中包括的表情参数(例如表明虚拟人的右眼和左眼的闭眼率的参数、表明虚拟人的微笑率的参数和表明虚拟人的张嘴率的参数)使从三维数据管理部620提供的三维数据变形来实现呈现操作。
向合成部57提供呈现部640所呈现的虚拟人的脸部图像，该合成部57合成图像和内容数据。内容数据可以仅与虚拟人的脸部合成，并且虚拟人的脸部可以根据在与内容数据合成的相机视频数据之中的脸部位置参数来仅叠加于用户的脸部上。
将参照图19描述上述角色生成的具体例子。首先，上述数据生成设备20-2的脸部识别部310执行图19的针对图像701的脸部识别过程。根据这一脸部识别过程执行脸部区域检测过程、检测部分信息(该部分信息是表明某个脸部在脸部区域内的每个部分的中心点坐标的信息)的过程、确定属性信息(比如微笑分数)的过程和检测部分结果信息 (该部分结果信息用于具体指定脸部的部分(用于指定嘴部轮廓等的多个点))的过程。
接着，上述数据生成设备20-2的表情参数生成部320根据在脸部识别过程中输出的信息来生成表情参数。
接着，上述数据合成设备50-2的角色生成部61根据属性信息和表情参数来生成如图像702中所示虚拟人的脸部。
(合成表明特性反应的相机视频数据)
另一方面，相机视频数据获取部59可以从相机视频数据DB基于第一用户的用户特征日志仅获取如下点的相机视频数据并且向合成部75输出相机视频数据，该点表明如第一用户的微笑的特性反应。除了用户的微笑或者姿势之外，如果根据上述微笑和姿势以及音频数据计算的兴奋程度等于或者大于固定值，则可以确定特性反应。
从相机视频数据获取部59接收相机视频数据的合成部57基于用户特征日志来与内容数据在时间上同步地合成相机视频数据。
<3.第三实施例(串行合成)>
接着，将描述根据本公开内容第三实施例的内容同步再现系统，作为上述根据本发明实施例的信息处理系统的另一例子。在这一实施例中还合成与第一观看用户的相机视频数据等合成的观看内容的下一用户的相机视频数据。
(第一用户的观看)
首先如图20中所示，数据生成设备20再现存储于记录介质11中的内容数据并且在显示设备40上显示内容数据。数据生成设备20从相机41获取其中第一用户X(祖父和祖母)为被摄体的相机视频数据。数据生成设备20获取用户使用遥控器42来执行的内容操纵的数据。如上文所述，根据这一实施例的数据生成设备20所执行的过程与根据上述第一和第二实施例的数据生成设备的过程相同。
数据生成设备20在记录介质12中存储内容数据、用户X的相机视频数据、操纵日志等。在这一实施例中经由记录介质交换数据，但是可以经由网络发送数据。
(第二用户的观看)
接着如图21中所示，与根据上述第一和第二实施例的数据合成设备50相似地，从第一用户的相机视频数据等存储于其中的记录介质12获取数据的数据生成/合成设备80 根据用户X的内容操纵日志来再现内容数据，并且与内容数据在时间上同步地合成用户X 的相机视频χ 001)。
这里，根据这一实施例的数据生成/合成设备80包括在上述第一和第二实施例中描述的数据生成设备20的配置和数据合成设备50的配置，具有通过同步数据来再现合成内容的功能，并且获取观看合成内容和相机视频数据的用户的内容操纵日志。
因此，如图21中所示，数据生成/合成设备80在显示设备40上再现合成内容并且获取相机41成像的、第二用户Y(父亲、母亲和孩子)的相机视频数据等。
这时，如图22中所示，数据生成/合成设备80的元数据生成部(未示出)与例如基于成像开始时间的时间线关联地生成用于合成内容X的内容操纵日志。这里，合成内容 X为与第一用户X的相机视频X同步的内容。如图23中所示，内容操纵日志还可以与内容帧编号关联。
(串行合成)
来自上述数据生成/合成设备80的用户Y的内容操纵日志、相机视频y和合成内容χ存储于记录介质13中。基于上述数据生成与用户Y的内容操纵日志或者相机视频y 同步的内容。例如，如图M中所示，通过合成用户X的相机视频χ(401)和用户Y的相机视频7(40 与内容数据来生成合成内容410。
如图22中所示，用户Y的内容操纵与第二用户Y的观看时间的时间线和在合成内容X内的时间线关联(见图22的点划线箭头)。因此，在图M中所示的合成内容数据410 中，基于用户Y的内容操纵日志来控制对合成内容χ (通过合成相机视频χ (401)和内容数据获得的内容)的再现，并且重新创建用户Y对合成内容χ的内容操纵。
内容数据、用户X的相机视频数据、用户X的内容操纵日志、用户Y的相机视频数据和用户Y的内容操纵日志可以存储于记录介质13中，并且可以据此生成如图M中所示的合成内容410。在这一情况下，例如基于图22中所示第二用户Y的观看时间的时间线和与之对应的用户X的观看时间的时间线(在合成内容χ内的时间线)来同步和再现内容数据、相机视频χ的帧、用户X的内容操纵、相机视频y的帧、用户Y的内容操纵等。
<4.第四实施例(并行合成)>
接着将描述根据本公开内容第四实施例的内容同步再现系统，作为上述根据本发明实施例的信息处理系统的另一个例子。在这一实施例中，如果多个观看用户单独地观看相同内容而未对内容执行快进、倒退或者跳过操纵等，则反映用户的相机视频数据可以与内容给数据同步和合成。
例如如图25中所示，用户X和Y单独地观看内容(记录介质11)，并且基于相应的相机视频数据(记录介质12和14)等来生成合成内容数据420。
<5.信息处理设备的硬件配置〉
接着将参照图沈描述按照程序执行上述系列过程的信息处理设备90的诸如数据生成设备20、数据合成设备50等硬件的配置例子。
如图沈中所示，信息处理设备90包括中央处理单元(CPU)901、只读存储器 (ROM) 902、随机存取存储器(RAM) 903、主机总线904、接口 905、输入部906、输出部907、存储部(硬盘驱动(HDD))908、驱动909和通信部911。
CPU 901用作算术处理设备和控制设备，并且根据各种程序来控制信息处理设备 90内的整个操作。CPU 901也可以是微处理器。ROM 902存储将由CPU 901使用的程序、计算参数等。RAM 903暂时存储将在CPU901的执行中使用的程序和在执行中适当改变的参数。这些由包括CPU总线等的主机总线904互连。
输入部906包括用于允许用户输入信息的输入装置(比如鼠标、键盘、触板、按钮、 麦克风、开关和杆)以及用于基于用户的输入来生成输入信号并且向CPU 901输出该输入信号的输入控制电路。信息处理设备90的用户可以通过操纵输入部906来向信息处理设备90输入各种数据并且给予处理操作指令。
输出部907例如包括显示设备(比如阴极射线管(CRT)显示器、液晶显示器 (LCD)、有机发光显示器(OLED)和灯)以及音频输出设备(比如扬声器和头戴式耳机)。输出部907输出例如再现的内容。具体而言，显示设备显示诸如再现的视频数据等各种信息作为文本或者图像。另一方面，音频输出设备可听地转换和输出再现的音频数据。
根据这一实施例，存储部908是被配置为信息处理设备90的存储部的例子的数据存储设备。存储设备908可以包括存储介质、用于在存储介质中记录数据的记录设备、用于从存储介质读取数据的读取设备、用于擦除存储介质中记录的数据的擦除设备等。存储部 908例如包括HDD。该存储部908驱动硬盘并且存储将由CPU 901执行的程序或者各种数据。内容数据、相机视频数据、元数据、内容分析结果等记录于存储部908中。
驱动909为存储介质读取器/写入器并且嵌入于信息处理设备90中或者附着到外部。驱动909读取在附着到该驱动的可拆卸记录介质910(比如磁盘、光盘、光磁盘或者半导体存储器)中记录的信息并且向RAM 903输出该信息。
通信部911例如是用于连接到通信网络912的包括通信设备等的通信接口。通信部911也可以是与无线局域网(LAN)对应的通信设备、与无线USB对应的通信设备或者执行有线通信的有线通信设备。通信部911经由通信网络912向/从外部设备发送/接收诸如内容数据等的各种数据。
<6.总结〉
由于根据如上文所述本公开内容实施例的数据生成设备20和数据合成设备50可以向内容添加观看内容的用户的表现或者反应，所以有可能享受内容任何次数并且在内容中生成新的附加值。
可以使用其中观看内容的用户为成像目标的相机视频数据或者对内容的播放、快进或者倒退操纵等的操纵数据来添加用户的表现或反应。
在内容再现时，可以使用与从成像开始时间起流逝的时间关联的相机日志或者内容操纵日志来同步上述相机视频数据或者内容操纵数据。
如果使用一种根据观看用户的视频生成角色并且显示角色的方法，则与从数据生成设备20向数据合成设备50输出相机视频数据的情况相比有可能减少数据量。即使在一种将信息(比如来自数据生成设备20的内容操纵日志)暂时保持于网络上的服务器设备中的系统中，与保持相机视频数据的情况相比仍有可能保护私密性。
本领域技术人员应当理解，根据设计要求和目前其它因素，可以出现各种修改、组合、子组合和变更，只要它们在所附权利要求或者其等效含义的范围内。
例如，不一定根据描述为流程图的顺序在时间线中处理本说明书的数据生成设备 20和数据合成设备50的过程步骤。例如，可以按照与描述为流程图的顺序不同的顺序处理或者可以并行处理图4中所示的数据生成设备20的过程步骤。
有可能创建一种用于使嵌入于数据生成设备20和数据合成设备50中的硬件实施与数据生成设备20和数据合成设备50的配置等效的功能的计算机程序。也提供一种存储计算机程序的存储介质。
权利要求
1.一种信息处理系统，包括第一装置，被配置成再现内容；获取与所述再现的内容的观看者对应的行为数据；并且存储所述获取的行为数据和同步数据，所述同步数据表明所述再现的内容相对于所述获取的行为数据的定时；以及第二装置，被配置成基于所述存储的同步数据与所述行为数据一起再现所述内容。
2.根据权利要求1所述的信息处理系统，其中所述行为数据包括所述观看者的被捕获的视频数据。
3.根据权利要求1所述的信息处理系统，其中所述行为数据包括操纵数据，所述操纵数据表明对所述第一装置再现的所述内容执行的播放、暂停和快进操作中的至少一个。
4.根据权利要求3所述的信息处理系统，其中所述第二装置被配置成基于所述存储的同步数据根据所述操纵数据来再现所述内容。
5.根据权利要求1所述的信息处理系统，其中所述内容是静止图像数据、音乐数据、游戏数据或者视频数据中的至少一个。
6.根据权利要求1所述的信息处理系统，其中所述同步数据是所述第一装置生成的元数据。
7.根据权利要求1所述的信息处理系统，其中所述同步数据包括在所述行为数据的获取开始时间与所述第一装置对所述内容的再现开始时间之间的关联。
8.根据权利要求1所述的信息处理系统，其中所述同步数据包括在所述行为数据与所述第一装置再现的所述内容的帧之间的关联。
9.根据权利要求1所述的信息处理系统，其中所述第一装置被配置成根据所述再现的内容检测被摄体区域。
10.根据权利要求9所述的信息处理系统，其中所述第一装置提取照度信息、颜色信息、边缘信息、脸部信息和运动信息中的至少一个以生成指定所述被摄体区域的被摄体图。
11.根据权利要求9所述的信息处理系统，其中所述被摄体区域是所述再现的内容的脸部区域或者动态被摄体区域。
12.根据权利要求9所述的信息处理系统，其中所述第二装置被配置成与所述行为数据一起再现所述内容，从而所述行为数据不与所述检测的被摄体区域重叠。
13.根据权利要求1所述的信息处理系统，其中所述第二装置被配置成根据所述行为数据检测观看者的脸部区域并且基于所述存储的同步数据与所述检测到的脸部区域一起再现所述内容。
14.根据权利要求1所述的信息处理系统，其中所述第一装置被配置成根据所述行为数据检测所述观看者的特性。
15.根据权利要求14所述的信息处理系统，其中所述第一装置被配置成生成与所述观看者的所述检测到的特性对应的特征信息。
16.根据权利要求14所述的信息处理系统，其中所述第一装置被配置成存储所述检测到的特性和同步数据，所述同步数据表明所述再现的内容与所述检测到的特性对应的定时。
17.根据权利要求15所述的信息处理系统，其中所述第二装置被配置成生成与所述生成的特征信息对应的图形，并且基于所述存储的同步数据将所述内容与所述生成的图形一起再现。
18.根据权利要求1所述的信息处理系统，其中述第二装置被配置成基于所述存储的同步数据与所述行为数据一起再现所述内容；获取与所述再现的内容的第二观看者对应的第二行为数据；并且存储所述获取的第二行为数据和第二同步数据，所述第二同步数据表明所述再现的内容相对于所述获取的第二行为数据的定时。
19.一种信息处理方法，包括通过第一装置再现内容；通过所述第一装置获取与所述再现的内容的观看者对应的行为数据；在所述第一装置处存储所述获取的行为数据和同步数据，所述同步数据表明所述再现的内容相对于所述获取的行为数据的定时；并且通过第二装置基于所述存储的同步数据将所述内容与所述行为数据一起再现。
20.一种非瞬态计算机可读介质，包括在由计算机执行时使所述计算机执行一种方法的计算机程序指令，所述方法包括再现内容；获取与所述再现的内容的观看者对应的行为数据；并且存储所述获取的行为数据和同步数据，所述同步数据表明所述再现的内容相对于所述获取的行为数据的定时。
全文摘要
一种信息处理系统，包括第一装置，该第一装置再现内容、获取与再现的内容的观看者对应的行为数据并且存储获取的行为数据和同步数据，该同步数据表明再现的内容相对于获取的行为数据的定时。该系统也包括基于存储的同步数据与行为数据一起再现内容的第二装置。
文档编号H04N5/91GK102547197SQ201110315509
公开日2012年7月4日 申请日期2011年10月8日 优先权日2010年10月15日
发明者鹤见辰吾 申请人:索尼公司