专利名称：与多媒体内容的模拟组交互的制作方法
技术领域：
本发明涉及多媒体技术，更具体地，涉及与多媒体内容的模拟组交互。
背景技术：
视频点播(VOD)系统允许用户通过机顶盒、计算机或其他设备流传送内容来按需选择和观看多媒体内容。视频点播系统通常向用户提供在任何时间观看多媒体内容的灵活性。然而，在观看所记录的视频内容、视频点播内容或其他点播媒体内容时，用户可能不会感觉到他们是实况事件或体验的一部分，因为内容通常是离线流传送给用户的。另外，在按需观看多媒体内容时，用户可能缺乏社区和连通性的感觉，因为他们可能没有与他们的朋友和家人一起实况地观看内容。
发明内容
此处公开了一种通过为观看者重新创建与诸如观看者的朋友和家人等其他用户一起实况地观看多媒体内容的体验来增强观看者在观看所记录的视频内容、视频点播内容或其他点播媒体内容时的体验的方法和系统。在一个实施方式中，所公开的技术在观看者观看多媒体内容流时多次生成同步的数据流，该同步的数据流包括由观看者和诸如观看者的朋友和家人等其他用户提供的评论。评论可包括观看者和其他用户提供的文本消息、音频消息、视频馈源、姿势或面部表情。在观看者观看多媒体内容流时经由视听设备向观看者呈现时间同步的数据流，由此为观看者重新创建与其他用户一起实况地观看多媒体内容的体验。在一个实施方式中，多个观看者在单个位置观看多媒体内容并且记录来自该多个观看者的与多媒体内容流的交互。在另一实施方式中，公开了一种用于基于观看者与多媒体内容流的交互来生成时间同步的评论数据流的方法。接收与当前广播相关的多媒体内容流。在连接到计算设备的捕捉设备的视野内标识观看者。记录观看者与该观看者正在观看的多媒体内容流的交互。 基于观看者的交互来生成时间同步的评论数据流。接收来自观看者的观看与该观看者正在观看的多媒体内容流相关的一个或多个时间同步的评论数据流的请求。响应于观看者的请求，经由观看者的视听设备向观看者显示时间同步的评论数据流。提供本发明内容以便以简化的形式介绍将在以下具体实施方式
中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
图I示出了用于执行所公开的技术的操作的目标识别、分析和跟踪系统的一个实施方式。图2示出了可用作跟踪系统的一部分的捕捉设备的一个实施方式。
图3示出了用于实现本技术的环境的实施方式。图4示出了可用来实现图1-2的计算设备的计算设备的示例。图5示出了可用来实现图1-2的计算设备的另一个实施方式的通用计算设备。图6是描述用于基于观看者与多媒体内容流的交互来生成时间同步的评论数据流的过程的一个实施方式的流程图。图6A是描述用于应观看者观看评论数据流的请求而接收由其他用户生成的评论数据流的过程的一个实施方式的流程图。图6B是描述用于生成时间同步的评论数据流的过程的一个实施方式的流程图。图7是描述用于生成与一个或多个用户观看的特定多媒体内容流相关的时间同步的评论数据流的报告的过程的一个实施方式的流程图。图8是描述用于基于观看者的评论观看资格来向观看者提供由其他用户生成的评论数据流的过程的一个实施方式的流程图。图9A示出了用于在记录观看者与多媒体内容流的交互之前获取观看者的偏好信息的示例性用户界面屏幕。图9B示出了用于获取观看者的观看来自其他用户的评论的输入的示例性用户界
面屏幕。图10示出了向观看者显示观看与多媒体内容流相关的时间同步的评论数据流的一个或多个选项的示例性用户界面屏幕。图IlAUlB和IlC示出了其中向观看者显示与多媒体内容流相关的一个或多个时间同步的评论数据流的示例性用户界面屏幕。
具体实施例方式公开了用来增强用户在观看所记录的视频内容、视频点播内容或其他点播媒体内容时的体验的技术。观看者经由视听设备观看与当前广播相关的多媒体内容流。记录观看者与多媒体内容流的交互。在一种方法中，观看者与多媒体内容流的交互可包括在该观看者观看多媒体内容流时由观看者提供的文本消息、音频消息或视频馈源形式的评论。在另一种方法中，观看者与多媒体内容流的交互可包括在该观看者观看多媒体内容流时由观看者做出的姿势、姿态或面部表情。基于观看者的交互来生成时间同步的评论数据流。该时间同步的评论数据流通过相对于多媒体内容流的实际开始时间同步包含观看者的交互的数据流来生成。在一个实施方式中，经由视听设备向观看者呈现时间同步的评论数据流，同时记录观看者与多媒体内容流的交互。在另一实施方式中，应观看者的请求，经由视听设备向观看者呈现由其他用户生成的一个或多个时间同步的评论数据流，同时记录观看者与多媒体内容流的交互。多个数据流可以与一个多媒体内容流同步并由用户评论来标识。以此方式，可基于与多媒体内容流相关联的数据流来定义组。由此在对多媒体内容的后续观看时将在不同观看时间和地点提供其反应和评论的观看者和用户带到一起，因为根据本技术在每一观看期间添加了与内容相关联的数据。组可以从观看者的朋友扩展到观看者的社交图及更广的范围。图I示出了用于执行所公开技术的各操作的目标识别、分析和跟踪系统10的一个实施方式(下文统称为运动跟踪系统)。跟踪系统10可用来识别、分析和/或跟踪诸如用户18和19之类的一个或多个人类目标。如图I所示，跟踪系统10可包括计算设备12。在一个实施方式中，计算设备12可被实现为有线和/或无线设备中的任何一个或组合，实现为电视客户端设备(例如，电视机机顶盒、数字录像机(DVR)等等)、个人计算机、便携式计算机设备、移动计算设备、媒体设备、通信设备、视频处理和/或呈现设备、电器设备、游戏设备、电子设备中的任何形式、和/或实现为可被实现为以音频、视频和/或图像数据中的任何形式接收媒体内容的任何其他类型的设备。根据一个实施方式，计算设备12可以包括硬件组件和/或软件组件，使得计算设备12可用来执行诸如游戏应用程序、非游戏应用程序之类的应用程序。在一个实施方式中，计算设备12可包括可执行在处理器可读存储设备上存储的、用于执行在此描述的过程的指令的处理器，诸如标准化处理器、专用处理器、微处理器等。如图I所示，跟踪系统10还可包括捕捉设备20。捕捉设备20例如可以是相机，该相机可以用于可视地监视一个或多个用户18和19，以使得这些用户所做出的移动、姿态和姿势可由捕捉设备20在该捕捉设备20的视野6内捕捉和跟踪。线2和4表示视野6的边界。根据一个实施方式，计算设备12可以连接到可向人类目标18和19提供视觉和/ 或音频的诸如电视机、监视器、高清电视机(HDTV)等的视听设备16。例如，计算设备12可以包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可以向用户提供视听信号。视听设备16可从计算设备12接收视听信号，并且然后可向用户18 和19输出与视听信号相关联的视觉和/或音频。根据一个实施方式，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算设备12。在由所公开的技术执行的一组操作中，用户18、19经由视听设备16观看与当前广播相关的多媒体内容流，并且计算设备12记录用户与多媒体内容流的交互。在一种方法中，诸如用户18、19等观看者可通过在观看多媒体内容流时提供文本消息、音频消息或视频馈源来与多媒体内容流交互。文本消息可包括电子邮件消息、SMS消息，丽S消息或 twitter消息。在一个示例中,观看者可无线地(例如，WiFi、蓝牙、红外线或其他无线通信手段)或通过有线连接与计算系统12进行通信的遥控设备或移动计算设备来提供文本消息、音频消息和视频馈源。在一个实施方式中，遥控设备或移动计算设备被同步到计算设备 12,该计算设备12向观看者流传送多媒体内容流以使得观看者可以在观看多媒体内容流时提供文本消息、音频消息或视频馈源。在另一示例中，观看者还可通过在观看多媒体内容流时做出移动、姿势、姿态或面部表情来与多媒体内容流交互。在观看者经由视听设备16 观看多媒体内容流时，观看者的移动、姿势、姿态和面部表情可由捕捉设备20跟踪并由计算系统12记录。如此处所描述的，多媒体内容流可包括录制的视频内容、视频点播内容、电视内容、电视节目、广告、商业广告、音乐、电影、视频剪辑，及其他点播媒体内容。其他多媒体内容流可包括交互式游戏、基于网络的应用程序，以及任何其他内容或数据(例如，包括节目指南应用数据、用户界面数据、广告内容、隐藏字幕、内容元数据、搜索结果和/或推荐等
坐、
寸/ o在由所公开的技术执行的另一组操作中，计算设备12基于观看者与多媒体内容流的交互来生成时间同步的评论数据流。该时间同步的数据流通过相对于多媒体内容流的实际开始时间同步包含观看者的交互的数据流来生成。在一个实施方式中，计算设备12经由视听设备16来呈现观看者的评论数据流，同时记录观看者与多媒体内容流的交互。在另一实施方式中，应观看者的请求，计算设备12经由视听设备16呈现由其他用户生成的评论数据流，同时记录观看者与多媒体内容流的交互。下面详细讨论由计算设备12和捕捉设备 20执行的操作。图2示出了在图I的系统中可用来执行所公开的技术的一个或多个操作的捕捉设备20和计算设备12的一个实施方式。根据一个实施方式，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉具有深度信息的视频，该深度信息包括可以包括深度值的深度图像。根据一个实施方式，捕捉设备20可将所计算的深度信息组织为“Z层”或可垂直于从深度相机沿其视线延伸的Z轴的层。如图2所示，捕捉设备20可以包括图像相机组件32。根据一个实施方式，图像相机组件32可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可以表示深度值，比如所捕捉的场景中的物体与相机相距的例如以厘米、毫米等为单位的距离。如图2所示，图像相机组件32可包括可被用来捕捉捕捉区域的深度图像的IR光组件34、三维(3-D)相机36、以及RGB相机38。例如，在飞行时间分析中，捕捉设备20的IR 光组件34可以将红外光发射到捕捉区域上，然后可以使用传感器，用例如3-D相机36和/ 或RGB相机38来检测从捕捉区域中的一个或多个目标和对象的表面反向散射的光。在某些实施方式中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到捕捉区域中的目标或对象上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。根据一个实施方式，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或对象上的特定位置的物理距离。在另一示例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件34 被投影到捕捉区域上。在撞击到捕捉区域中的一个或多个目标或对象的表面时，作为响应， 图案可变形。图案的这种变形可由例如3-D相机36和/或RGB相机38来捕捉，然后可被分析来确定从捕捉设备到目标或物体上的特定位置的物理距离。根据一个实施方式，捕捉设备20可包括可以从不同的角度观察捕捉区域的两个或更多个在物理上分离的相机，以获取可以被解析以生成深度信息的视觉立体数据。也可使用其他类型的深度图像传感器来创建深度图像。捕捉设备20还可包括话筒40。话筒40可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施方式，话筒40可用来减少在目标识别、分析和跟踪系统10 中的捕捉设备20与计算设备12之间的反馈。另外，话筒40可用来接收也可由用户在与多媒体内容流交互时提供的音频信号，或控制可由计算设备12执行的诸如游戏应用程序、非游戏应用程序等应用程序。
在一个实施方式中，捕捉设备20还可以包括可以在操作上与图像相机组件32进行通信的处理器42。处理器42可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于存储简档的指令、用于接收深度图像的指令、用于确定合适的目标是否被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。捕捉设备20还可包括存储器组件44，存储器组件34可存储可由处理器42执行的指令、由3-D相机或RGB相机所捕捉的图像或图像的帧、用户简档、或任何其他合适的信息、 图像等等。根据一个示例，存储器组件44可包括随机存取存储器(RAM)、只读存储器(ROM)、 高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，存储器组件44可以是与图像捕捉组件32和处理器42进行通信的分离的组件。在另一实施方式中，存储器组件44可被集成到处理器42和/或图像捕捉组件32中。在一个实施方式中，图2中示出的捕捉设备20的组件32、34、36、38、40、42和44中的一些或全部被容纳在单一壳体中。捕捉设备20可以经由通信链路46来与计算设备12进行通信。通信链路46可以是包括例如USB连接、火线连接、以太网线缆连接之类的有线连接和/或诸如无线802. lib、 802. llg、802. Ila或802. Iln连接之类的无线连接。计算设备12可以经由通信链路46向捕捉设备20提供时钟，该时钟可以用来确定何时捕捉例如场景。捕捉设备20可将由例如3-D (或深度)相机36和/或RGB相机38捕捉的深度信息和图像经由通信链路46提供给计算设备12。如下面详细讨论的，计算设备12可随后使用深度信息和所捕捉的图像来执行所公开技术的一个或多个操作。在一个实施方式中，捕捉设备20在捕捉设备的视野6内捕捉观看多媒体内容流的一个或多个用户。捕捉设备20向计算设备12提供所捕捉到的用户的视觉图像。计算设备12执行由捕捉设备20捕捉的用户的标识。在一个实施方式中，计算设备12包括面部识别引擎192来执行用户的标识。面部识别引擎192可以将来自从捕捉设备20接收到的视觉图像的用户的面部与参考视觉图像进行相关以确定用户的身份。在另一示例中，还可以通过从用户接收标识他们身份的输入来确定用户的身份。在一个实施方式中，可以要求用户通过站在计算系统12之前以便捕捉设备20可以捕捉每个用户的深度图像和视觉图像来标识出他们自己。例如，可以要求用户站在捕捉设备20之前，转身，并且摆出各种姿态。 在计算设备12获得标识用户所必需的数据以后，向用户提供标识该用户的唯一的标识符。 关于标识用户的更多信息可在美国专利申请序列号12/696，282 “Visual Based Identity Tracking(基于视觉的身份跟踪)”，以及美国专利申请序列号12/475,308 “Device for Identifying and Tracking Multiple Humans over Time (用于随时间标识和跟踪多个人类的设备)”中找到，这两个申请的全部内容通过引用并入本申请。在另一实施方式中，在用户登陆到计算设备时(诸如例如，当该计算设备是诸如用户的蜂窝电话之类的移动计算设备时)，用户的身份可以已经为该计算设备所知。在另一个实施方式中，还可以使用用户的声纹来确定用户的身份。在一个实施方式中，用户的标识信息可以存储在计算设备12中的用户简档数据库207中。在一个示例中，用户简档数据库207可以包括诸如下列关于用户的信息与用户相关联的唯一标识符、用户的姓名、以及诸如用户的年龄组、性别和地理位置之类的与用户相关的其他人口统计信息。用户简档数据库207还包括关于用户的节目观看历史的信息，诸如用户所观看的节目列表以及用户偏好的列表。用户偏好可包括关于以下内容的信息 用户的社交图、用户的朋友、朋友身份、朋友的偏好、(用户和用户朋友的)活动、照片、图像、所记录的视频等。在一个示例中，用户的社交图可包括关于以下内容的信息用户希望使他或她的评论在观看多媒体内容流时对其可用的用户组的用户偏好。在所公开技术执行的一组操作中，在用户经由视听设备16观看多媒体内容流时， 捕捉设备20跟踪用户做出的移动、姿势、姿态和面部表情。例如，由捕捉设备20跟踪到的面部表情可包括在用户观看多媒体内容流时检测到来自用户的微笑、大笑、哭泣、皱眉、打哈欠或者鼓掌。在一个实施方式中，计算设备12还包括姿势库196和姿势识别引擎190。姿势库 196包括姿势过滤器的集合，每一姿势过滤器包括与用户所做出的移动、姿势或姿态相关的信息。在一个实施方式中，姿势识别引擎190可将由相机36、38和设备20捕捉的骨架模型以及与其相关联的移动形式的数据与姿势库192中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时做出了一个或多个姿势或姿态。计算设备12可使用姿势库192 来解释骨架模型的移动以执行所公开的技术的一个或多个操作。关于姿势识别引擎190的更多信息参见2009年4月13日提交的美国专利申请12/422,661 “Gesture Recognition System Architecture (姿势识别系统架构)”,该申请通过整体引用合并于此。关于识别姿势和姿态的更多信息参见于2009年2月23日提交的美国专利申请12/391，150“Standard Gestures (标准姿势)”以及于2009年5月29日提交的美国专利申请12/474，655“Gesture Tool (姿势工具)”，这两个申请的全部内容都通过引用并入本申请。关于运动检测和跟踪的更多信息可在2009年12月18日提交的美国专利申请12/641, 788 “Motion Detection Using Depth Images (使用深度图像的运动检测)”，以及美国专利申请12/475，308“Device for Identifying and Tracking Multiple Humans over Time (用于随时间标识和跟踪多个人类的设备)”中找到，这两个申请通过整体引用合并于此。计算设备12中的面部识别引擎192可包括面部表情库198。面部表情库198包括面部表情过滤器的集合，每个面部表情过滤器包括关于用户的面部表情的信息。在一个示例中，面部表情引擎192可对捕捉设备20中的相机36、38所捕捉的数据与面部表情库198 中的面部表情过滤器进行比较以标识用户的面部表情。在另一示例中，面部识别引擎192 还可以对由捕捉设备20中的话筒40所捕捉的数据与面部表情库198中的面部表情滤波器进行比较以标识出诸如例如来自用户的大笑或鼓掌的声音之类的一个或多个声音或音频响应。在另一个实施方式中，还可以使用位于用户经由视听设备观看多媒体内容流的房间中或者放置在该房间中的物理表面(诸如桌面)上的一个或多个附加传感器来跟踪用户的移动、姿势、姿态和面部表情。传感器可包括例如一个或多个活动信标传感器，该传感器发射结构化光、脉冲红外光或可见光到物理表面上，检测从物理表面上的一个或多个对象的表面反向散射的光，并且检测用户所做出的移动、姿势、姿态和面部表情。传感器还可包括生物监控传感器、用户可穿戴传感器或者可跟踪用户所做出的移动、姿势、姿态和面部表情的传感器。在所公开的技术执行的一组操作中，计算设备12从媒体提供者52接收与当前广播相关联的多媒体内容流。媒体提供者52例如可以包括诸如内容提供者、宽带提供者或第三方提供者的任意实体，第三方提供者可创建结构并将多媒体内容流传递给计算设备12。 多媒体内容流可以通过各种网络50接收。可以被配置为支持服务提供商提供多媒体内容服务的合适类型的网络例如可以包括基于电话的网络、基于同轴电缆的网络以及基于卫星的网络。在一个实施方式中，多媒体内容流经由视听设备16显示给用户。如以上所描述的，多媒体内容流可包括录制的视频内容、视频点播内容、电视内容、电视节目、广告、商业广告、音乐、电影、视频剪辑及其他点播媒体内容。在所公开的技术执行的另一组操作中，计算设备12标识与诸如用户18、19等观看者正在观看的多媒体内容流相关的节目信息。在一个示例中，多媒体内容流可被标识为电视节目、电影、实况演出或者体育赛事。例如，与电视节目相关的节目信息可包括节目名称、 节目的当前季、集号以及节目的播出日期和时间。在一个实施方式中，计算设备12包括评论数据流生成模块56。评论数据流生成模块56在观看者观看多媒体内容流时记录观看者与多媒体内容流的交互。在一种方法中，观看者与多媒体内容流的交互可包括由观看者在该观看者观看多媒体内容流时提供的文本消息、音频消息或视频馈源形式的评论。在另一种方法中，观看者与多媒体内容流的交互可包括由观看者在该观看者观看多媒体内容流时执行的姿势、姿态和面部表情。评论数据流生成模块56基于观看者的交互来生成时间同步的数据流。评论数据流生成模块56向集中式数据服务器306(在图2B中示出)提供时间同步的评论数据流以及与多媒体内容流相关的节目信息以便提供给其他观看者。在一个实施方式中，时间同步的评论数据流包括相对于多媒体内容流的实际开始时间同步的观看者与多媒体内容流的交互的时间戳。由计算设备12执行的生成时间同步的评论数据流的操作在图6中详细讨论。计算设备12中的显示模块82经由视听设备16呈现观看者生成的时间同步的评论数据流。在一个实施方式中，观看者还可经由视听设备16中的用户界面来选择观看由其他用户生成的评论数据流的一个或多个选项。观看者可以与视听设备16中的用户界面交互的方式在图9-11中详细讨论。图3示出了用于实现本技术的环境。图3示出了多个客户机设备300A、300B…… 300X,这些客户机设备耦合到网络304并且与集中式数据服务器306通信。集中式数据服务器306针对客户机设备300A、300B……300X收发信息，并且提供在客户机设备300A、 300B……300X上运行的应用程序可以调用和利用的服务的集合。客户机设备300A、 300B……300X可包括图I中讨论的计算设备12，或者可被实现为图4-5中描述的设备中的任一个。例如，客户机设备300A、300B……300X可以包括游戏和媒体控制台、个人计算机、 或者诸如蜂窝电话、启用web的智能电话、个人数字助理、掌上型计算机或者膝上型计算机的移动设备。网络304可包括因特网，但构想了诸如LAN或WAN等其他网络。在一个实施方式中，集中式数据服务器306包括评论数据流聚集模块312。在一个实施方式中，评论数据流聚集模块312从客户机设备300A、300B……300X处的一个或多个用户接收一个或多个时间同步的评论数据流，从客户机设备300A、300B……300X接收与多媒体内容流相关的节目信息以及与一个或多个用户相关的偏好信息，并且生成与一个或多个用户观看的特定多媒体内容流相关的时间同步的评论数据流的报告。在一个示例中，报告可被实现为具有标识以下内容的字段的表向特定多媒体内容流提供评论的一个或多个用户、用户观看多媒体内容流的播出日期/时间、由用户生成的时间同步的评论数据流以及由用户设置的关于特定多媒体内容流的评论观看资格。这一报告的示例性图示在如下所示的表I中示出表I-与特定多媒体内容流相关的时间同步的评论数据流的报告
权利要求
1.一种用于基于观看者与多媒体内容流的交互来生成时间同步的评论数据流的计算机实现的方法，包括以下计算机实现的步骤标识(600)连接到计算设备的捕捉设备的视野内的观看者；经由所述计算设备从所述观看者接收(606)对要观看的多媒体内容流的选择；记录(614)所述观看者与所述观看者正在观看的多媒体内容流的交互；基于所述观看者的交互来生成￠16)时间同步的评论数据流；以及响应于来自所述观看者的请求￠34)，经由连接到所述计算设备的视听设备显示 (636)与所述观看者正在观看的多媒体内容流相关的一个或多个时间同步的评论数据流。
2.如权利要求I所述的计算机实现的方法，其特征在于，所述观看者的交互包括在所述观看者观看所述多媒体内容流时由所述观看者提供的文本消息、音频消息和视频馈源， 或者由所述观看者做出的姿势、姿态和面部表情。
3.如权利要求I所述的计算机实现的方法，其特征在于，还包括获取与所述多媒体内容流相关的偏好信息，所述偏好信息包括所述观看者的社交图中的有资格观看所述观看者与所述多媒体内容流的交互的一个或多个用户组。
4.如权利要求I所述的计算机实现的方法，其特征在于，生成所述时间同步的评论数据流还包括确定向所述观看者呈现所述多媒体内容流的实际开始时间；确定观看者交互相对于所述实际开始时间的时间戳；以及生成时间同步的评论数据流，所述时间同步的评论数据流包括相对于向所述观看者呈现所述多媒体内容流的实际开始时间加时间戳的观看者的交互。
5.如权利要求I所述的计算机实现的方法，其特征在于，显示所述一个或多个时间同步的评论数据流还包括获取与所述观看者正在观看的多媒体内容流相关的观看者评论观看资格；基于观看者评论观看资格，经由用户界面呈现用于观看所述一个或多个时间同步的评论数据流的一个或多个选项；经由所述用户界面从所述观看者获取对所述一个或多个选项的选择；以及基于观看者的选择来向所述观看者显示所述一个或多个时间同步的评论数据流。
6.如权利要求I所述的计算机实现的方法，其特征在于，显示所述一个或多个时间同步的评论数据流还包括在向所述观看者呈现所述一个或多个时间同步的评论数据流的同时记录所述观看者与所述多媒体内容流的交互。
7.一种用于基于观看者与多媒体内容流的交互来生成时间同步的评论数据流的系统， 包括经由通信网络(304)与集中式数据服务器(306)进行通信的一个或多个客户机设备 (300)，所述一个或多个客户机设备包括使得所述客户机设备中的处理设备执行以下操作的指令记录(614)来自一个或多个观看者的与所述一个或多个观看者正在观看的多媒体内容流的交互；基于所述交互来生成(616) —个或多个时间同步的评论数据流；将所述时间同步的评论数据流提供(618)给所述集中式数据服务器；从所述一个或多个观看者接收(634)观看多媒体内容的选择；确定(702)对于所述多媒体内容是否存在评论数据流；以及当所述一个或多个观看者选择观看所述评论数据流时，呈现(636)具有所述评论数据流的多媒体内容。
8.如权利要求16所述的装置，其特征在于所述一个或多个客户机设备在所述评论数据流中记录所述一个或多个观看者的视觉和音频交互。
9.如权利要求17所述的装置，其特征在于，还包括连接到所述一个或多个客户机设备的视听设备，所述视听设备与所述观看者正在观看的多媒体内容流一起显示评论数据流中的其他用户的视觉和音频交互。
10.如权利要求18所述的装置，其特征在于，还包括以下各项中的至少一个连接到所述一个或多个客户机设备的深度相机，所述深度相机基于所述一个或多个观看者在所述一个或多个客户机设备的视野内做出的移动、姿势、姿态和面部表情来跟踪来自所述一个或多个观看者的交互；或者连接到所述一个或多个客户机设备的移动计算设备，所述移动计算设备从所述一个或多个观看者接收所述交互，并且所述移动计算设备被同步到向所述观看者流传送所述多媒体内容流的一个或多个客户机设备。
全文摘要
本发明公开了与多媒体内容的模拟组交互。提供了一种用于基于观看者与多媒体内容流的交互来生成时间同步的数据流的方法和系统。记录观看者与该观看者正在观看的多媒体内容流的交互。观看者的交互包括观看者在观看多媒体内容流时提供的评论。评论包括观看者提供的文本消息、音频消息、视频馈源、姿势或面部表情。基于观看者的交互来生成时间同步的评论数据流。该时间同步的评论数据流包括相对于向观看者呈现多媒体内容流的实际开始时间加时间戳的观看者的交互。在观看者观看多媒体内容流时，经由视听设备向观看者呈现一个或多个时间同步的数据流。
文档编号H04N21/258GK102595212SQ20111044019
公开日2012年7月18日 申请日期2011年12月15日 优先权日2010年12月16日
发明者A·巴-泽埃夫, K·S·佩雷 申请人:微软公司