专利名称:信息处理设备和方法、记录介质、以及程序的制作方法
技术领域：
本发明涉及一种信息处理设备和方法、记录介质和程序，尤其涉及一种与通过网络与之相连的另一信息处理设备进行用户的声音和图像的通信并与该另一设备同步地回放相同内容、此外还记录用户的声音和图像以及回放内容的信息处理设备、以及信息处理方法、记录介质和程序。
背景技术：
通常地，电话机、可视电话机、视频会议系统等可作为用于在相隔很远的人与人之间进行交换的设备(在下文中将这种交换称为远程通信)。另外还有使用个人计算机等并将其连接于互联网以进行文本聊天、涉及图像和声音的视频聊天等的方法。
另外还提出使试图进行远程通信的人(刚才提到的人在下文中被称为说话者)使用独立的个人计算机等通过互联网共享虚拟空间或共享相同内容(例如参照专利文献1)。
专利文献1日本特开2003-271530号公报
发明内容
发明解决的问题使用现有技术，还能使相隔遥远的说话者在观看相同内容(例如相同的电视节目)的同时互通说话者的图像和声音，以及合成并输出内容的图像和声音以及说话者的图像和声音。如果试图记录合成的图像和声音，则考虑其中内容的图像和声音以及说话者的图像和声音被各自记录的第一记录方法以及其中内容的图像和声音以及用户的图像和声音以合成状态记录的第二记录方法。
然而，对于第一记录方法，当进行回放时，由于内容的图像和声音以及说话者的图像和声音的合成状态是未知的，因此存在着在记录时为合成状态的图像和声音不能被再现的问题。
对于第二记录方法，当进行回放时，尽管能够再现记录时合成的图像和声音，然而问题在于内容的图像和声音以及说话者的图像和声音无法以与记录时不同的状态再次同步。
本发明是鉴于上述情况作出的，并且本发明的一个目的是以记录时的合成状态可被再现、且内容与说话者的图像和声音能以其在与记录时不同的状态被合成的状态被回放的方式记录相隔遥远的说话者同时观看到的内容以及说话者的图像和声音。
解决该问题的手段本发明的一种信息处理设备包括回放部分，所述回放部分被配置成与另一信息处理设备同步地回放相同内容数据；通信部分，所述通信部分被配置成通过网络与该另一信息处理设备互通用户的声音和图像；合成部分，所述合成部分被配置成基于来自用户的设定而将由回放部分回放的内容数据的图像和声音以及用户的图像和声音合成；存储部分，所述存储部分被配置成存储内容数据、用户的图像和声音以及代表内容数据的图像和声音与用户的图像和声音的合成状况的合成信息；以及再现控制部分，所述再现控制部分被配置成基于存储在存储部分中的合成信息控制回放部分和合成部分以再现存储在存储部分中的内容数据的图像和声音与用户的图像和声音的合成。
将代表合成部分进行合成的时间的时间信息添加至由存储部分存储的内容数据，并可将用户的图像和声音以及代表合成信息生成的时间或者合成状况的设定改变的时间的时间信息添加至合成信息。
本发明的一种信息处理方法包括回放步骤，用来与另一信息处理设备同步地回放相同内容数据；通信步骤，用来通过网络与该另一信息处理设备互通用户的声音和图像；合成步骤，用来基于来自用户的设定将由回放步骤的处理回放的内容数据的图像和声音与用户的图像和声音合成；存储步骤，用于存储内容数据、用户的图像和声音以及代表内容数据的图像和声音与用户的图像和声音的合成状况的合成信息；以及再现控制步骤，用来基于由存储步骤的处理存储的合成信息控制回放步骤和合成步骤以再现由存储步骤的处理存储的内容数据的图像和声音以及用户图像和声音的合成。
本发明的一种记录介质的程序包括回放步骤，用来与另一信息处理设备同步地回放相同内容数据；通信步骤，用来通过网络与该另一信息处理设备互通用户的声音和图像；合成步骤，用来基于来自用户的设定将由回放步骤的处理回放的内容数据的图像和声音与用户的图像和声音合成；存储步骤，用于存储内容数据、用户的图像和声音以及代表内容数据的图像和声音与用户的图像和声音的合成状况的合成信息；以及再现控制步骤，用来基于由存储步骤的处理存储的合成信息控制回放步骤和合成步骤以再现由存储步骤的处理存储的内容数据的图像和声音与用户图像和声音的合成。
本发明的一种程序包括回放步骤，用来与另一信息处理设备同步地回放相同内容数据；通信步骤，用来通过网络与该另一信息处理设备互通用户的声音和图像；合成步骤，用来基于来自用户的设定将由回放步骤的处理回放的内容数据的图像和声音与用户的图像和声音合成；存储步骤，用于存储内容数据、用户的图像和声音以及代表内容数据的图像和声音与用户的图像和声音的合成状况的合成信息；以及再现控制步骤，用来基于由存储步骤的处理存储的合成信息控制回放步骤和合成步骤以再现由存储步骤的处理存储的内容数据的图像和声音与用户图像和声音的合成。
在本发明的信息处理设备和方法以及程序中，通过网络与另一信息处理设备互通用户的声音和图像，并基于来自用户的设定将所回放的内容数据的图像和声音与用户的图像和声音彼此合成。此外，内容数据、用户的图像和声音、以及代表内容数据的图像和声音与用户的图像和声音的合成状况的合成信息被存储。然后，基于所存储的合成信息再现所存储的内容数据的图像和声音与用户的图像和声音的合成。
发明效果根据本发明，可以记录时的合成状态可被再现、且内容与说话者的图像和声音能以与记录时不同的状态被回放的方式来记录相隔遥远的说话者同时视听的内容以及说话者的图像和声音。
图1示出本发明所适用的通信系统的配置的一个例子。
图2A是示出内容图像和用户图像的一个例子的图。
图2B是示出内容图像和用户图像的一个例子的图。
图2C是示出内容图像和用户图像的一个例子的图。
图3A是示出内容图像和用户图像的合成的一个例子的图。
图3B是示出内容图像和用户图像的合成的一个例子的图。
图3C是示出内容图像和用户图像的合成的一个例子的图。
图4是示出图1的通信设备的配置的一个例子的方框图。
图5是示出由该通信设备进行的远程通信处理的流程图。
图6是示出图5的步骤S5的远程通信记录处理的流程图。
图7是示出远程通信再现过程的流程图。
图8是示出通用个人计算机的配置的一个例子的方框图。
标号说明1 通信设备2 通信网络3 内容提供服务器4 认证服务器5 广播设备6 标准时间信息提供设备21 输出部分22 显示单元23 扬声器24 输入部分25 摄像机26 话筒27 传感器
28 通信部分29 广播接收部分30 内容回放部分31 图像声音合成部分32 存储部分33 内容34 合成信息35 图像分析部分36 镜像生成部分37 指示物检测部分38 运动矢量检测部分39 匹配部分40 通信环境检测部分41 标准时间计时部分42 操作输入部分43 控制部分44 会话管理部分45 观看记录级别设置部分46 回放同步部分47 合成控制部分48 回放允许部分49 记录允许部分50 操作信息输出部分51 电子设备控制部分100 个人计算机101 CPU111 记录介质
具体实施方式下面，将结合附图对本发明所适用的具体实施例进行详细说明。
图1示出本发明所适用的通信系统的配置的一个例子。在该通信系统中，通信设备1-1通过通信网络2建立与另一通信设备1(在图1的情形中为通信设备1-2)的连接以与虚拟电话系统的情形相似的方式相互传送用户的声音和图像，此外还与该另一通信设备1-2同步地回放共有内容(移动图像、静止图像等，例如通过接收电视广播等而获得的节目内容、事先通过下载等获取的电影内容等，在用户之间传送的私人内容等等)以支持用户之间的远程通信。在下面的说明中，在无须区别通信设备1-1和1-2的情形下，每个通信设备均被简称为通信设备1。
每个通信设备1可由多个用户同时使用。例如在图1的情形中，假设通信设备1-1由用户A和B使用而通信设备1-2由用户X使用。
例如，假设共有内容的图像如图2A所示，并且由通信设备1-1拾取的用户A的图像如图2B所示，而由通信设备1-2拾取的用户X的图像如图2C所示。在这种情形下，在通信设备1-1的显示单元22上(图4)，内容和用户的图像根据例如图3A所示的画中画(picture in picture)模式、图3B所示的交叉淡化(cross fade)模式以及图3C所示的划变(wipe)模式以重叠关系显示。
要注意，在图3A所示画中画模式中，用户图像作为小屏幕重叠在内容图像上。这些小屏幕的显示位置和尺寸可由用户任意改变。另外也可不同时显示用户本身(用户A)的图像以及通信相对方(用户X)的图像两者，而是仅显示这些小屏幕中的一个。此外，可用α混合模式显示图像以使内容图像以使内容图像能透过用户图像的小屏幕而被观察到。
在图3B所示的交叉淡化模式中，用户(用户A或用户X)图像以α混合方式显示在内容图像上。当用户指向内容图像的任意位置或区域时或在类似情形中，可使用这种交叉淡化模式。
在图3C所示的划变模式中，用户图像从预定方向以覆盖内容图像的方式出现。
要注意，可应用不同于上述这些模式的其它模式显示内容图像和用户图像。与图像相似地，对于内容声音和用户声音，可基于用户设定以音量和左右平衡等来合成声音。内容和用户的图像和声音的合成模式可随时改变。
内容和用户的图像和声音的合成状况、例如画中画、交叉淡化以及划变模式间的区别、采用画中画模式时子图象的尺寸和位置、采用交叉淡化模式时α混合的透过度、音量比等可由用户任意设置。与设定项的设定相关的参数被记录为包含设置改变的时间的信息的合成信息34(图4)。
再次参阅图1，通信网络2是以因特网等为代表的宽带数据通信网，而内容提供服务器3通过通信网络2根据来自通信设备1的请求将内容提供给通信设备1。当通信设备1的用户试图利用该通信系统时，认证服务器4执行认证、计费等处理。
广播设备5将内容作为电视广播节目等进行传送。因此，各通信设备1可彼此同步地接收和回放从广播设备5广播的内容。要注意，从广播设备5至通信设备1的内容传送可通过无线传送或有线传送来进行。或可通过通信网络2进行这种传送。
标准时间信息提供设备6将用于调节内建于通信设备1的时钟(标准时间计时部分41(图4))调至标准时间(世界标准时间、日本标准时间等)的标准时间信息提供给各通信设备1。要注意，将来自标准时间信息提供设备6的标准时间信息提供给通信设备1可通过无线通信或有线通信实现。此外可通过通信网络进行提供。
下面将结合图4对通信设备1-1的详细配置的一个例子进行说明。
在通信设备1-1中，输出部分21由显示单元22和扬声器23构成，并且显示与从图像声音合成部分31输入的图像信号对应的图像并输出与从图像声音合成部分31输入的声音信号对应的声音。
输入部分24包括摄像机25，用于拾取用户图像(移动图象或静止图象)；话筒26，用于采集用户声音；以及传感器27，用于检测用户周围的环境信息(亮度、温度、湿度等)。输入部分24将包括所获得的移动图象、声音和周围环境信息在内的用户实时(RT)数据输出到通信部分28和存储部分32。摄像机25具有可测量至图像拾取对象(用户)的距离的功能。此外，输入部分24将所获取的用户图像和声音输出至图像声音合成部分31。此外，输入部分24将所获取的图像输出至图像分析部分35。要注意，可设置多个输入设备24(在图24的情形中是两个输入设备24)以使它们针对多个用户(图1中的用户A和B)。
通信部分28通过通信网络2将从输入部分24输入的用户A的实时数据传送至通信相对方的通信设备1-2。此外，通信部分28接收从通信设备1-2传送的用户X的实时数据并将该实时数据输出至图像声音合成部分31、存储部分23和图像分析部分35。此外，通信部分28通过通信网络2接收从通信相对方的通信设备1-2或内容提供服务器3提供的内容并将该内容输出至内容回放部分30和存储部分32。此外，通信部分28通过通信网络2将存储在存储部分32中的内容33或由操作信息输出部分50生成的操作信息传送至通信设备1-2。
广播接收部分29接收从广播设备5广播的电视广播信号，并将所获取的内容作为广播节目输出至内容回放部分30。内容回放部分30回放由广播接收部分29接收的广播节目的内容、由通信部分28接收到的内容或是从存储部分32读出的内容，并将结果所得的内容图像和声音输出至图像声音合成部分31和图像分析部分35。
图像声音合成部分31通过α混合将从内容回放部分30输入的内容的图像、用户图像和OSD(屏上显示)图像合成，并将结果所得的图像信号输出至输出部分21。图像声音合成部分31将从内容回放部分30输入的内容声音和用户声音合成，并将结果所得的声音信号输出至输出部分21。
存储部分32存储从输入部分24提供的用户(用户A等)的实时数据、从通信部分28提供的通信相对方(用户X)的实时数据、由广播接收部分29接收的广播节目内容以及从通信部分28提供的内容，同时通过控制部分43定期地向它们附加从标准时间计时部分41提供的标准时间。此外，存储部分32还存储由合成控制部分47生成的合成信息34。
图像分析部分35分析从内容回放部分30输入的内容图像以及用户图像(包括从通信设备1-2提供的用户图像)的亮度和辉度，并将分析结果输出至合成控制部分47。图像分析部分35的镜像生成部分36生成用户图像(包括从通信设备1-2接收的用户图像)的镜像。指示物检测部分37从由运动矢量检测部分38检测到的用户图像(包括来自通信设备1-2的用户图像)内检测用户用作指向所需位置的指示物的手腕、指尖等。当来自输入部分24的图像包括多个用户时，则检测多个指示物并与多个用户相关联。运动矢量检测部分38从用户图像(包括来自通信设备1-2的用户图像)检测指示每个用户的运动的运动矢量并标识运动矢量的发生点和轨迹。匹配部分39判断检测到的用户运动矢量与事先估算的用户运动中的哪一个相符，并将判断结果作为运动矢量匹配信息输出至控制部分43。
通信环境检测部分40监视通过通信部分28和通信网络2与通信设备1-2的通信环境(通信速率、通信延迟时间等)，并将监视结果输出至控制部分43。标准时间计时部分41基于从标准时间信息提供设备6提供的标准时间信息调节由标准时间计时部分41本身计时的标准时间，并将标准时间提供给控制部分43。操作输入部分42由例如遥控器等构成，并接受用户操作，随后将相应操作信号输入至控制部分43。
控制部分43基于与从操作输入部分42输入的用户操作对应的操作信号、从图像分析部分35输入的运动矢量匹配信息等控制通信设备1-1的各个组件。控制部分43包括会话管理部分44、观看记录级别设定部分45、回放同步部分46、合成控制部分47、回放允许部分48、记录允许部分49、操作信息输出部分50以及电子设备控制部分51。要注意，在图4中省去了从控制部分43至通信设备1-1各组件的控制线。
会话管理部分44控制通信部分28通过网络2建立与通信设备1-2、内容提供服务器3、认证服务器4等的连接的处理。观看记录级别设定部分45基于来自用户的设定操作设定由输入部分24获取的用户实时数据是否能由通信相对方的通信设备1-2回放，设定实时数据能否被记录，以及在实时数据能被记录的情形下，设定允许记录的次数。然后，观看记录级别设定部分45从通信部分28将设定信息的通知发布至通信设备1-2。
使用观看记录级别设定部分45，由于可对用户图像和声音设定观看级别和记录级别，因此能防止私人图像和声音的外泄。
回放同步部分46控制广播接收部分29和内容回放部分30从而能与通信相对方的通信设备1-2同步地回放相同内容。
合成控制部分47基于图像分析部分35的分析结果等控制图像声音合成部分31以根据来自用户的设定操作将内容的图像和声音与用户的图像和声音合成。此外，合成控制部分47生成包含与内容图像和声音以及用户图像和声音的合成状况的设定有关的参数的合成信息34，所述合成状况有例如画中画、交叉淡化以及划变模式之间的区别、采用画中画模式时每个子图象的尺寸和位置、采用交叉淡化模式时的α混合的透过度、音量比等，以及代表设定改变的标准时间的信息。合成控制部分47将所生成的合成信息34存储到存储部分32中。
回放允许部分48基于内容附带的许可证信息等判断内容回放是否被允许，并基于判断结果控制内容回放部分30。记录允许部分49基于通信相对方的设定和内容附带的许可帧信息判断用户实时数据和内容的记录是否被允许，并基于判断结果控制存储部分32。使用回放允许部分48和记录允许部分49，能实现内容观看以及记录的复制控制。
操作信息输出部分50响应用户操作(接收电视广播时的换台操作或开始播放、结束播放、快进播放等操作)生成包含操作内容、操作时间等的操作信息(其详情将在下文中描述)。然后，操作信息输出部分50从通信部分28将操作信息通知发布给通信相对方的通信设备1-2。操作信息被用于内容的同步回放。
电子设备控制部分51基于从图像分析部分35输入的运动矢量匹配信息控制连接于(包括无线连接于)通信设备1-1的预定电子设备(例如照明装置、空调等；这些均未示出)。
要注意，通信设备1-2的详细构造的示例与图4所示通信设备1-1的构造相同，因此省去对它的说明。
现在将结合图5的流程图对通信设备1-1与通信设备1-2进行的远程通信处理进行说明。
当指令与通信设备1-2开始远程通信的操作被输入至操作输入部分42并且与该操作对应的操作信号被输入至控制部分43时，此远程通信处理开始。
在步骤S1，通信部分28在会话管理部分44的控制下通过通信网络2建立与通信设备1-2的连接，并通知通信设备1-2远程通信开始。响应该通知，通信设备1-2返回对开始通信的应诺。
在步骤S2，通信部分28在控制部分43的控制下开始将自输入部分24输入的用户A等的实时数据通过通信网络2传送给通信设备1-2并开始接收从通信设备1-2传来的用户X的实时数据。包含在所传送的用户A等的实时数据中的图像和声音以及包含在所接收的用户X的实时数据中的图像和声音被输入至存储部分32和图像声音合成部分31。
在步骤S3，通信部分28在会话管理部分44的控制下通过通信网络2建立与认证服务器4的连接并执行用于获取内容的认证处理。在该认证处理后，通信部分28通过通信网络2访问内容提供服务器3以获取由用户指定的内容。假设此时在通信设备1-2上也执行同样的处理并获取了相同的内容。
要注意在要接收作为电视广播播放的内容或要回放已被获取并存储在存储部分32中的内容的情形下，可省去步骤S3的处理。
在步骤S4，内容回放部分30在回放同步部分46的控制下开始与通信设备1-2同步的内容回放处理(该回放过程在下文中被称为内容同步回放过程)。具体地说，内容回放部分30发布来自用户的操作(频道变更操作、快进回放开始操作等)的通知，以使通信设备1-2可追随通信设备1-1。
在步骤S5，存储部分32开始远程通信记录处理。具体地说，开始记录其回放已开始的那个内容、包含在所传送的用户A等的实时数据中的图像和声音、包含在所接收的用户X的实时数据中的图像和声音、以及由合成控制部分47生成并代表所提到的图像和声音的合成的合成信息34。远程通信记录处理的详情将在下面结合图6进行说明。
在步骤S6，图像声音合成部分31在合成控制部分47的控制下将所回放的内容的图像和声音、包含在所传送的用户A实时数据中的图像和声音等以及包含在所接收的用户X的实时数据中的图像和声音合成，并将所获得的图像信号和声音信号作为合成结果提供给输出部分21。输出部分21显示与所提供的图像信号对应的图像并输出与该声音信号对应的声音。在这个阶段，用户之间图像和声音的通信以及内容的同步回放开始。
在步骤S6，与图像声音合成部分31等的处理并行地，图像分析部分35的指示物检测部分37执行基于包含在用户A等的实时数据中的图像等来检测用户A等的指示物、以及将这些指示物显示在屏幕上的处理(指示处理)。
在步骤S7，控制部分43判断用户是否执行了发布结束远程通信的指令的操作，并等待判定该操作已被执行。当判定用户已执行发布结束远程通信的指令的操作时，处理前进至步骤S8。
在步骤S8，通信部分28在会话管理部分44的控制下通过通信网络2建立与通信设备1-2的连接，并向通信设备1-2发布结束远程通信的通知。响应该通知，通信设备1-2返回结束远程通信的应诺。
在步骤S9，存储部分32结束通信记录处理。迄今为止所记录的回放内容、包含在用户A等的实时数据中的图像和声音、包含在所接收的用户X的实时数据中的图像和声音以及合成信息34在以后再现此次的远程通信时被利用。
通信设备1-1进行的远程通信处理的说明就此结束。
要注意，尽管上面的说明仅涉及通信设备1-2追随通信设备1-1(通信设备1-2与通信设备1-1同步地回放内容)的情形，但是可逆转该主从关系或随时改变这种关系。
此外，尽管前面的说明仅涉及一个通信设备1(通信设备1-2)追随通信设备1-1的情形，然而也可有多个通信设备1追随通信设备1-1。此外，可逆转多个通信设备1间的主从关系或随时改变这种关系。
现在，将结合图6对上述图5的远程通信处理的步骤S5的远程通信记录处理进行详细说明。
在步骤S11，合成控制部分47生成包含由用户在现阶段设定并涉及内容的图像和声音与用户的声音和图像的合成状况的参数以及包含当前标准时间的信息的合成信息34，并将合成信息34存入存储部分32。
在步骤S12，记录允许部分49基于当前回放内容的属性信息(元数据)等判断当前回放的内容是否为可记录的。如果判定当前回放的内容为可记录的，则处理前进至步骤S13。在步骤S13，存储部分32在记录允许部分49的控制下开始存储当前回放内容并同时定期地将通过控制部分43从标准时间计时部分41提供的标准时间附加至内容的处理。要注意，如果在步骤S12判定当前回放的内容是不可记录的，则跳过步骤S13。
在步骤S14，记录允许部分49基于来自用户的设定来判断用户(用户A等)的实时数据是否为可记录的。如果判定用户A等的实时数据是可记录的，则处理前进至步骤S15。在步骤S15，存储部分32在记录允许部分49的控制下开始存储用户A等的实时数据并同时定期地将通过控制部分43从标准时间计时部分41提供的标准时间附加至该实时数据的处理。要注意，如果在步骤S14判定用户A等的实时数据是不可记录的，则跳过步骤S15。
在步骤S16，记录允许部分49基于来自通信设备1-2的通知判断通信设备1-2的用户(用户X)的实时数据是否为可记录的。如果判定用户X的实时数据为可记录的，则处理前进至步骤S17。在步骤S17，存储部分32在记录允许部分49的控制下开始存储用户X的实时数据并同时定期地将通过控制部分43从标准时间计时部分41提供的标准时间附加至该实时数据的处理。要注意，如果在步骤S16判定用户X的实时数据是不可记录的，则跳过步骤S17。
要注意，尽管为便于说明而将步骤S12和S13、步骤S14和S15以及步骤S16和S17按此顺序进行说明，但是事实上它们可按变化的顺序执行。
在步骤S18，合成控制部分47判断用户是否已改变内容的图像和声音与用户的图像和声音的合成的设定，并等待判定该合成的设定已改变。如果判定合成的设定已改变，则处理前进至步骤S19。在步骤S19，合成控制部分47生成包含与由用户改变的内容的图像和声音与用户的图像和声音的合成状况的设定相关的参数以及指示当前标准时间的信息的合成信息34，并将该合成信息34存入存储部分32。之后，处理返回到步骤S18以重复从步骤S18开始的处理。然后，远程通信处理继续进行，直到用户如上所述地执行了发布结束远程通信的指令的操作。远程通信记录处理的说明就此结束。
现在，结合图7对基于由通信设备1-1的远程通信记录处理记录的内容的图像和声音、用户的图像和声音以及合成信息再现远程通信的处理(在下文中将其称为远程通信再现处理)进行说明。远程通信再现过程例如响应用户发布回放存储在存储部分32中的内容33的指令的操作而开始。
在步骤S31，控制部分43判断用户是否已对操作输入部分42执行发布再现远程通信的指令的操作。如果判定发布再现远程通信的指令的操作已执行，则处理前进至步骤S32。
在步骤S32，合成控制部分47获取存储在存储部分32中的合成信息。在步骤S33，合成控制部分47使包含在合成信息中的标准时间、附加至存储部分32中所存储的内容的时间信息以及附加至用户实时数据的时间信息彼此同步以开始回放。结果，内容的图像和声音以及用户的图像和声音被输入至图像声音合成部分31。在步骤S34，图像声音合成部分31在合成控制部分47的控制下，基于在步骤S32获得的合成信息将内容的图像和声音与用户的图像和声音合成并输出至输出部分21。结果，记录时的远程通信被完全再现。
要注意当在步骤S31判定没有执行发布再现远程通信的指令的操作时，处理前进至步骤S35。
在步骤S35，操作输入部分42接受来自用户的关于内容的图像和声音与用户的图像和声音的合成的设定操作。在步骤S36，合成控制部分47使附加至存储在存储部分32中的内容的时间信息和附加至用户的实时数据的时间信息彼此同步以开始回放。结果，内容的图像和声音以及用户的图像和声音被输入到合成控制部分47。在步骤S37，图像声音合成部分31在合成控制部分47的控制下，与步骤S35的处理的设定结果对应地将内容的图像和声音以及用户的图像和声音合成并输出至输出部分21。内容的图像和声音以及用户的图像和声音的输出以不同于记录时的远程通信的合成状态再现。应注意，自然也可仅再现内容的图像和声音。
对通信设备1-1进行的远程通信再现处理的说明就此结束。
顺便提及，尽管上述由通信设备1-1进行的处理可由硬件执行，然而这些处理也可由软件执行。在由软件执行这一系列处理的情形下，将构成该软件的程序从程序记录介质安装到包含在专用硬件中的计算机或如图8所示通过安装各种程序来执行各种功能的通用个人计算机中。
个人计算机100包括内置CPU(中央处理单元)101。输入/输出接口105通过总线104连接于CPU 101。ROM(只读存储器)102和RAM(随机存取存储器)103被连接于总线104。
包含诸如键盘、鼠标等由用户用于输入操作命令的输入装置的输入部分106、用于显示图像和输出声音的输出部分107、由硬盘驱动器等构成以存储程序、各类数据等的存储部分108、以及通过以因特网为代表的网络执行通信处理的通信部分109被连接于输入/输出接口105。此外，将数据读出自和写入至诸如磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘只读存储器)和DVD(数字多功能盘))、磁光盘(包括MD(迷你盘))或半导体存储器等记录介质111的驱动器110被连接于输入/输出接口105。
用于使个人计算机100执行前述通信设备1的处理的程序以存储在记录介质111中的状态被提供给个人计算机100。然后，该程序由驱动器110读出并被安装至内建于存储部分108的硬盘驱动器中。安装在存储部分108中的程序根据与从用户输入到输入部分106的命令对应的CPU指令而从存储部分108加载入RAM 103。然后加载入RAM 103的程序被执行。
要注意，在本说明书中，基于该程序执行的步骤不仅包括根据所记载的顺序按时间序列执行的处理，还包括可以但不一定按时间序列处理、而是可并行执行的处理或者单独地不按时间序列执行的处理。
该程序可由一台计算机处理或由多台计算机分立地处理。此外，可将该程序传送至远程的计算机并由该计算机执行。
此外，在本说明书中，术语“系统”被用来表示由多个装置或设备构成的整个设备。
权利要求
1.一种通过网络与另一信息处理设备通信的信息处理设备，包括回放部分，所述回放部分被配置成与所述另一信息处理设备同步地回放相同内容数据；通信部分，所述通信部分被配置成通过所述网络与所述另一信息处理设备互通用户的声音和图像；合成部分，所述合成部分被配置成基于来自用户的设定将由所述回放部分回放的所述内容数据的图像和声音与所述用户的图像和声音合成；存储部分，所述存储部分被配置成存储所述内容数据、所述用户的图像和声音、以及代表所述内容数据的图像和声音与所述用户的图像和声音的合成状况的合成信息；以及再现控制部分，所述再现控制部分被配置成基于存储在所述存储部分中的所述合成信息来控制所述回放部分和所述合成部分以再现存储在所述存储部分中的所述内容数据的图像和声音与所述用户的图像和声音的合成。
2.如权利要求
1所述的信息处理设备，其特征在于，代表由所述合成部分执行所述合成的时间的时间信息被附加至由存储部分存储的内容数据以及所述用户的图像和声音，并且代表所述合成信息生成或者所述合成状况的设定改变的时间的时间信息被附加至所述合成信息。
3.一种使信息处理设备通过网络与另一信息处理设备通信的信息处理方法，所述方法包括下列步骤与所述另一信息处理设备同步地回放相同内容数据；通过所述网络与所述另一信息处理设备互通用户的声音和图像；基于来自用户的设定将由所述回放步骤的处理回放的所述内容数据的图像和声音与所述用户的图像和声音合成；存储所述内容数据、所述用户的图像和声音、以及代表所述内容数据的图像和声音与所述用户的图像和声音的合成状况的合成信息；以及基于由所述存储步骤的处理存储的所述合成信息控制所述回放步骤和所述合成步骤以再现由所述存储步骤的处理存储的所述内容数据的图像和声音与所述用户的图像和声音的合成。
4.一种上面记录了使信息处理设备通过网络与另一信息处理设备通信的计算机可读程序的记录介质，所述程序包括下列步骤与所述另一信息处理设备同步地回放相同内容数据；通过所述网络与所述另一信息处理设备互通用户的声音和图像；基于来自用户的设定将由所述回放步骤的处理回放的所述内容数据的图像和声音与所述用户的图像和声音合成；存储所述内容数据、所述用户的图像和声音、以及所述代表内容数据的图像和声音与所述用户的图像和声音的合成状况的合成信息；以及基于由所述存储步骤的处理存储的所述合成信息控制所述回放步骤和所述合成步骤以再现由所述存储步骤的处理存储的所述内容数据的图像和声音与所述用户的图像和声音的合成。
5.一种使信息处理设备通过网络与另一信息处理设备通信的程序，包括下列步骤与所述另一信息处理设备同步地回放相同内容数据；通过所述网络与所述另一信息处理设备互通用户的声音和图像；基于来自用户的设定将由所述回放步骤的处理回放的所述内容数据的图像和声音与所述用户的图像和声音合成；存储所述内容数据、所述用户的图像和声音、以及代表所述内容数据的图像和声音与所述用户的图像和声音的合成状况的合成信息；以及基于由所述存储步骤的处理存储的所述合成信息控制所述回放步骤和所述合成步骤以再现由所述存储步骤的处理存储的所述内容数据的图像和声音与所述用户图像和声音的合成。
专利摘要
本发明涉及一种信息处理设备和方法、记录介质以及程序，它们使由相隔遥远的说话者同时观看的内容以及说话者的图像和声音能以使说话者的图像和声音可被再现的方式被记录。在步骤S11，生成并存储包含与内容的图像和声音与用户的图像和声音的合成状况的设定有关的参数以及代表当前标准时间的信息的合成信息。在步骤S13，将标准时间附加至当前再现的内容并开始记录。在步骤S15，将标准时间附加至诸如用户A等的实时数据并开始记录。在步骤S17，将标准时间附加至用户X的实时数据并开始记录。在步骤S18，判断合成设定是否已改变，如果设定已改变，则在步骤19重新生成并存储合成信息。本发明能适用于例如在相隔遥远的地点之间进行通信的通信设备。
文档编号H04N7/15GK1993990SQ200580025720
公开日2007年7月4日 申请日期2005年7月20日
发明者齐藤直毅, 阪井祐介, 镰田干夫 申请人:索尼株式会社导出引文BiBTeX, EndNote, RefMan