专利名称：基于事件标识的重播的智能确定的制作方法
技术领域：
本发明涉及对重播的确定，尤其是基于事件标识的重播的智能确定。
背景技术：
数字录像机向诸如电视机、监视器、或移动计算设备等显示器传递视频、动作图形、音频和其他多媒体内容。观看显示器上多媒体内容的用户通常可以通过利用数字录像机中的一个或多个控件来访问多媒体内容的不同部分。例如，用户可利用数字录像机中的重播控件来重新观看视频或音频记录的片段。重播已记录片段通常包括将用户的当前观看位置变为多媒体内容流中在当前观看位置之前的某时刻。该时刻通常是任意的、固定的并且通常不能反映用户的真实意图，导致用户必须重新观看他并不想再次观看的内容。用户可能必须利用诸如快进控件或倒退控件的其他媒体设备控件的组合，来手动地确定用户实际上想要重新观看的媒体内容流中的观看位置。
发明内容
此处公开了通过标识多媒体内容流中的事件来执行对多媒体内容流中重播位置的智能的确定的方法和系统。事件是观看者可希望在将来重播的多媒体内容流中的有趣的事件。在一个实施例中，通过实时地分析多媒体内容流中的信息来标识多媒体内容流中的事件。在一个示例中，通过检测多媒体内容流中的音频或视觉提示来标识事件。提示可包括例如来自多媒体内容流的音频或视频序列中的一个或多个实体的鼓掌、欢呼、评论、分数更新或者评论更新。在另一个实施例中，基于从观看多媒体内容的用户接收的用户反馈信息来标识多媒体内容流中的事件。例如，可以通过监视用户在观看多媒体内容时利用的一个或多个控件，基于用户的观看行为来标识事件。通过使用视觉检测或动作跟踪设备来跟踪用户的面部表情、声音响应、姿势和移动，还可以基于用户对多媒体内容的情感响应来标识多媒体内容流中的事件。基于所标识的事件确定多媒体内容流中的重播位置。带有重播位置的多媒体内容流被传递给用户。用户可以从重播位置中的一个或多个重新观看多媒体内容流中所标识的事件中的一个或多个。经由用户的处理设备中的用户界面向用户显示多媒体内容流。在一个实施例中，公开了用于确定多媒体内容流中一个或多个重播位置的方法。 方法包括接收与当前广播有关的多媒体内容流。方法随后包括实时地分析多媒体内容流以标识多媒体内容流中的一个或多个事件，并且基于事件确定多媒体内容流中的一个或多个重播位置。在一个实施例中，方法包括从一个或多个用户接收输入以重播多媒体内容流。方法随后包括将来自重播位置中的一个或多个的多媒体内容流的一部分显示给用户。提供本发明内容以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提及的任何或所有缺点的实现。
图1示出了用于执行所公开技术的各操作的目标识别、分析和跟踪系统的一个实施例。图2A是描述用于通过标识多媒体内容流中的事件来执行对多媒体内容流中重播位置的智能确定的过程的实施例的流程图。图2B示出了用于实现本技术的系统。图3示出了可在本技术中使用的处理设备的一个实施例。图4示出了可用来实现图3的计算设备的计算设备的示例。图5示出了可用来实现图3的计算设备的另一个实施例的通用计算设备。图6例示了用于实现所公开技术的操作的计算设备的另一个实施例。图7描述了可确定多媒体内容流中重播位置的过程的一个实施例。图8描述了可确定多媒体内容流中重播位置的过程的另一个实施例。图9-10示出了允许用户与图3中所讨论的计算设备交互以执行所公开技术的一个或多个操作的各种显示器屏幕。
具体实施例方式公开了提供用于通过标识多媒体内容流中的事件来智能地确定多媒体内容流中的重播位置的系统和方法的技术。事件是观看者可能希望在将来重播的多媒体内容流中的有趣的事件。例如，与足球比赛相对应的多媒体内容流中的事件可包括触底得分、长传、进球得分、任意球等。在一个实施例中，对多媒体内容流中事件的标识以及基于所标识的事件对重播位置的确定可通过分析多媒体内容流中的信息，或者实时地分析从一个或多个用户接收的用户反馈信息来自动地执行。在另一个实施例中，对多媒体内容流中事件的标识以及基于所标识的事件对重播位置的确定可手动地执行。带有一个或多个重播位置的多媒体内容流被提供给一个或多个用户。用户可经由用户处理设备中的用户界面从重播位置中的一个或多个重新观看多媒体内容流中所标识的事件。图1示出了用于执行所公开技术的各操作的目标识别、分析和跟踪系统10的一个实施例(下文统称为动作跟踪系统)。该目标识别、分析和跟踪系统10可用来识别、分析和 /或跟踪诸如用户18和19的一个或多个人类目标。如图1所示，跟踪系统10可包括计算设备12。在一个实施例中，计算设备12可被实现为有线和/或无线设备中的任何一个或组合，实现为电视机客户端设备(例如，电视机机顶盒、数字录像机(DVR)等)、数字媒体设备、个人计算机、便携式计算机设备、移动计算设备、通信设备、视频处理和/或呈现设备、 电器设备、游戏设备、电子设备中的任何形式、和/或实现为可被实现为以音频、视频和/或图像数据中的任何形式接收媒体内容的任何其他类型的设备。根据一个实施例，计算设备 12可以包括硬件组件和/或软件组件，使得计算设备12可用来执行诸如游戏应用程序、非游戏应用程序之类的应用程序。在一个实施例中，计算设备12可包括可执行在处理器可读存储设备上存储的、用于执行在此描述的过程的指令的处理器，诸如标准化处理器、专用处理器、微处理器等。如图1所示，跟踪系统10还可包括捕捉设备20。捕捉设备20例如可以是相机，该相机可用于在视觉上监控视野6中诸如用户18和19的一个或多个用户，使得来自用户的移动、姿势以及音频响应可被捕捉设备20捕捉和跟踪。线2和4表示视野6的边界。根据一个实施例，计算设备12可以连接到可向用户18和19提供视觉和/或音频的诸如电视机、监视器、高清电视机(HDTV)等的视听设备16。例如，计算设备12可以包括诸如图形卡的视频适配器和/或诸如声卡的音频适配器，这些适配器可以向输出设备提供视听信号。视听设备16可从计算设备12接收视听信号，并且可向用户18和19输出与视听信号相关联的视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、 同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算设备12。在一个实施例中，计算设备12从远程计算系统接收多媒体内容流，并经由视听设备16向一个或多个用户提供多媒体内容流。多媒体内容流可以包括从诸如内容提供商、宽带、卫星和有线电视公司、广告代理、因特网或web服务器的媒体内容源接收的任何类型的音频、视频和/或图像媒体内容。如此处所描述的，多媒体内容流可包括录制的视频内容、 视频点播内容、电视内容、电视节目、广告、商业广告、音乐、电影、视频剪辑，及其他点播媒体内容。多媒体内容流还可包括交互式游戏、基于网络的应用程序，以及任何其他内容或数据(例如，包括节目指南应用程序数据、用户界面数据、广告内容、隐藏字幕、内容元数据、 搜索结果和/或推荐等)。由计算设备12所执行的操作在下面予以详细讨论。图2A是描述用于通过标识多媒体内容流中的事件来执行对多媒体内容流中重播位置的智能确定的过程的实施例的流程图。在步骤22中，接收与当前广播相关联的多媒体内容流。如图1中所描述的，多媒体内容流可包括录制的视频内容、视频点播内容、电视内容、电视节目、广告、商业广告、音乐、电影、视频剪辑，及其他点播媒体内容。在一个实施例中，可在计算设备12向用户18、19显示多媒体内容流。例如，多媒体内容流可以经由连接到计算设备12的视听设备16显示给用户。在步骤M中，分析多媒体内容流以标识多媒体内容流中的一个或多个事件。如此处所描述的，事件是观看者可能希望在将来重播的多媒体内容流中的有趣的事件。在一种方法中，步骤M标识多媒体内容流中的事件包括自动地分析多媒体内容流中的信息。例如，可通过检测多媒体内容流中的诸如鼓掌、欢呼、评论、分数更新或评论更新的音频或视觉提示来标识事件。在另一种方法中，步骤M标识多媒体内容流中的事件包括自动地分析从一个或多个用户接收的用户反馈信息。例如，可以通过监控用户在观看多媒体内容时利用的一个或多个控件，基于用户的观看行为来标识事件。通过使用视觉检测或动作跟踪设备(如图1所示)来跟踪用户的面部表情、声音响应、姿势和移动，还可以基于用户对多媒体内容的情感响应来标识多媒体内容流中的事件。在步骤沈中，基于所标识的事件确定多媒体内容流中的一个或多个重播位置。图 8描述了可通过分析多媒体内容流中的信息自动地确定多媒体内容流中的重播位置的过程。图9描述了可通过分析从一个或多个用户接收的用户专用信息自动地确定多媒体内容流中的重播位置的过程。在另一个方法中，对多媒体内容流中事件的标识以及基于所标识的事件对重播位置的确定还可以手动地执行。图2B描述了用于基于上述更详细的方法执行对多媒体内容流中重播位置的智能的标识的系统。在步骤观中，带有一个或多个重播位置的多媒体内容流被提供给用户。在一个实施例中及如图2B详细讨论的，通过将关于重播位置的信息嵌入到与多媒体内容流相关联的元数据流，使用一个或多个重播位置对多媒体内容流进行标记。图2B示出了用于实现本技术的系统。图2B示出了多个处理设备30Α、30Β···30Χ， 这些处理设备耦合到网络32并且可以与远程计算系统通信。处理设备30Α、30Β···30Χ可包括图1中讨论的计算设备12，或者可被实现为图3-6中描述的设备中的任一个。例如，处理设备30Α、30Β···30Χ可以包括游戏和媒体控制台、个人计算机、或者诸如蜂窝电话、启用 web的智能电话、个人数字助理、掌上型计算机或者膝上型计算机的移动设备。在一个实施例中，远程计算系统是集中式多媒体内容流传输服务34。集中式多媒体内容流传输服务34 管理多媒体内容到处理设备30Α、30Β···30Χ的存储和分发。网络32可包括因特网，尽管构想了诸如LAN或WAN等其他网络。集中式多媒体内容流传输服务34可以包括能够从处理设备30A、30B··· 30X接收信息并向处理设备30Α、30Β···30Χ传送信息的一个或多个服务器36，并且提供服务的集合，这些服务可以被运行在处理设备30Α、30Β···30Χ上的应用程序调用和利用。例如，集中式多媒体内容流传输服务34中的服务器36可以通过汇聚来自用户的信息来并发地管理多个活动，该用户执行处理设备30Α、30Β···30Χ中的一个或多个游戏或非游戏应用程序80 (如图3 所示)。集中式多媒体内容流传输服务；34还可包括用于存储从媒体提供者38接收的多媒体内容流的多媒体内容数据库40。媒体提供者38例如可以包括诸如内容提供者、宽带提供者或第三方提供者的任意实体，第三方提供者可创建结构并将多媒体内容传递给集中式多媒体内容流传输服务34。如以上所描述的，多媒体内容可包括录制的视频内容、视频点播内容、电视内容、电视节目、广告、商业广告、音乐、电影、视频剪辑及其他点播媒体内容。在一个实施例中，集中式多媒体内容流传输服务34从内容提供者38接收与当前广播(可以是实况、点播或预先录制的广播)相关联的多媒体内容流，并且在处理设备30Α，30Β···30Χ处实时地向一个或多个用户提供多媒体内容流。如下面将详细讨论的，在一种方法中，集中式多媒体内容流传输服务34可以分析多媒体内容流，并且在处理设备30Α，30Β···30Χ处向多媒体内容流的全部用户/观看者提供分析的结果。或者，对多媒体内容流的分析也可以由处理设备30Α，30Β···30Χ中的每一个来执行。在另一种方法中，各个处理设备30Α，30Β···30Χ可以收集从处理设备处的用户接收的用户反馈信息，并随后向集中式多媒体内容流传输服务34提供用户反馈信息用于进一步的分析。在一个实施例中，集中式多媒体内容流传输服务34分析多媒体内容流以标识多媒体内容流中的事件，基于所标识的事件执行对重播位置的智能确定，并且在处理设备 30Α，30Β…30Χ向用户提供带有重播位置的多媒体内容流，以上操作全部实时进行。在一种方法中，对多媒体内容流中事件的标识以及基于所标识的事件对重播位置的确定可以通过分析多媒体内容流中的信息或者分析在一个或多个处理设备30Α，30Β···30Χ处从一个或多个用户接收的用户反馈信息，由一个或多个软件模块来自动地执行，诸如集中式多媒体内容流传输服务34中的事件识别引擎42和重播位置标记引擎44。在另一种方法中，对多媒体内容流中事件的标识以及基于所标识的事件对重播位置的确定可以由制作人17手动地执行，该制作人可以是集中式多媒体内容流传输服务；34或媒体提供者38处的当前或实况广播的一部分。由集中式多媒体内容流传输服务34所执行的操作在下面予以详细讨论。
如图2B所示，集中式多媒体内容流传输服务34包括事件识别引擎42和重播位置标记引擎44。在一个实施例中，事件识别引擎42通过分析多媒体内容流中的信息来标识多媒体内容流中的事件。如上面所描述的，事件是观看者可能希望在将来重播的多媒体内容流中的有趣的事件。例如，与足球比赛相对应的多媒体内容流中的事件可包括触底得分、 长传、进球得分、任意球等。事件识别引擎42通过将多媒体内容流中的信息与事件识别引擎42中事件库44中的一个或多个事件进行比较来标识多媒体内容流中的一个或多个事件。事件库44可包括事件的集合，包括与多媒体内容流中事件有关的信息。在另一个实施例中，事件识别引擎42还通过分析在处理设备30Α，30Β···30Χ处从用户接收的用户反馈信息来标识多媒体内容流中的一个或多个事件。用户反馈信息可由处理设备30Α，30Β···30Χ 来生成。处理设备30Α，30Β···30Χ生成用户反馈信息的方式在图3中详细地讨论。在一个实施例中，用户反馈信息可包括关于用户观看行为的信息。关于用户观看行为的信息例如可包括用户在经由处理设备观看多媒体内容时所利用的处理设备上的一个或多个控件，诸如暂停、前进、倒退、跳转或停止控件。在另一个实施例中，用户反馈信息可包括关于对用户观看的多媒体内容的用户情感响应的信息。关于用户情感响应的信息可包括用户观看多媒体内容时其所表现的面部表情、声音响应、姿势或移动。面部表情可包括例如用户观看多媒体内容时来自用户的微笑、笑声、哭泣、皱眉、打呵欠或者鼓掌。声音响应可包括与面部表情相关联的笑声或掌声。姿势和移动可包括远离视野的用户移动、用户面向视听设备、向前倾斜、或在观看多媒体内容时向视听设备讲话。用户反馈信息还可包括从用户获得的特定动作，诸如在经由用户的处理设备观看多媒体内容时用户的投票。用户反馈信息还可包括从由用户执行的用户界面交互获得的信息，或者基于用户与连接到用户处理设备的诸如控制器、遥控器、鼠标或键盘的输入设备的交互的信息。例如，用户可经由用户界面与在用户处理设备中执行的应用程序进行交互以在经由用户处理设备观看多媒体内容时手动地指定的兴趣点或感兴趣的事件。在一个实施例中，事件识别引擎42通过将从处理设备30Α，30Β···30Χ接收的用户反馈信息与事件识别引擎42中事件库44中的一个或多个事件进行比较来标识多媒体内容流中的一个或多个事件。事件库44可包括事件的集合，包括关于与用户专用信息有关的事件的信息。例如，可以基于诸如用户在观看多媒体内容时所用的一个或多个控件的观看行为信息来标识事件。还可以基于诸如在观看多媒体内容时用户的面部表情、声音响应、姿势和移动的情感响应信息来标识事件。在一个实施例中，事件识别引擎42可以确定来自阈值百分比的用户的用户专用反馈信息是否与事件库44中已识别的事件相对应。在一个实施例中，阈值百分比可由事件识别引擎42预先确定。例如，如果事件识别引擎42接收用户反馈信息，该用户反馈信息在观看多媒体内容的特定时间间隔包括来自20%的用户的“没有反应”的情感响应以及来自80%的用户的“鼓掌”的情感响应，则事件识别引擎42可以标识出用户反馈信息对应于发生在多媒体内容流的特定时间点的诸如知名选手入场的事件。或者，例如，如果事件识别引擎42接收用户反馈信息，该用户反馈信息包括来自80%观看多媒体内容流的用户的“倒退动作”至多媒体内容流中的特定时间点以及来自20%的用户的 “无动作”，则事件识别引擎42可以标识出用户反馈信息对应于发生在多媒体内容流的特定时间点的触底得分事件。在一个实施例中，事件识别引擎42向重播位置标记引擎44提供所标识的事件和所标识事件的发生时间用于进一步分析。重播位置标记引擎44基于由事件识别引擎42所标识的事件执行对多媒体内容流中的重播位置的智能确定。在一个实施例中，重播位置标记引擎44可将所标识事件的发生时间用作多媒体内容中的重播位置。在另一个实施例中， 重播位置标记引擎44可将与所标识事件相关的某些其它兴趣点用作多媒体内容流中的重播位置。在一个示例中，可通过确定所标识的事件是否由提示引起来标识兴趣点，诸如在多媒体内容流中所标识的事件之前的时间点的体育比赛的动作起始。例如，如果多媒体内容流包括体育内容并且所标识的事件是“触底得分”事件，则重播位置标记引擎44可以确定 “触底得分”事件与多媒体数据流中知名选手进入比赛的兴趣点有关，并且可以确定将兴趣点的发生时间、兴趣点的持续时间或兴趣点的类型作为多媒体内容流中的重播位置。在对重播位置进行标识之后，重播位置标记引擎44还确定从重播位置重播多媒体内容流的持续时间。在一个示例中，重播多媒体内容流的持续时间可由重播位置标记引擎44预先确定。随后将带有一个或多个重播位置的多媒体内容流提供给在处理设备30A， 30B…30X的一个或多个用户。在一个实施例中，重播位置标记引擎44使用重播位置对多媒体内容流进行实时标记，通过将关于重播位置的信息嵌入到与多媒体内容流相关联的元数据流来向用户提供多媒体内容流。例如，关于重播位置的信息可包括关于事件、事件的发生时间、与事件有关的兴趣点、兴趣点的发生时间、重播位置的起始时间以及从重播位置重播多媒体内容流的持续时间的信息。在一个示例中，与多媒体内容流相关联的元数据流可被实现为配置文件， 诸如可扩展标记语言(XML)配置文件。下面示出了与元数据流相关联的配置文件的数据结构的示例性图示。<MMContentDesc> <Title> Football Game </Title> <VideoFormat> MPEG </VideoFormat> <ReplayLocation-1> <EventType>Touchdown </EventType>
<EventTimeOfOccurence>14:15:00</EventTimeOfOccurence> <EventPointOfInterest > Recognized player enters game </EventPointOflnterest>
<EventInfo> Recognized player's entry followed by touchdown </EventInfo> <EventReplayLocation> 14:10:00 </EventReplayLocation> <EventReplayDuration>0:00:45 </EventReplayDuration> </ReplayLocation-1> <ReplayLocation-2> <EventType>Touchdown</EventType>
<EventTimeOfOccurence>14:30:45</EventTimeOfOccurence> <EventPointOfInterest> None </EventPointOfInterest>
<EventInfo> 80 out of 100 users who are currently watching the game rewound to this point to re-watch the touchdown </EventInfo> <EventReplayLocation> 14:30:45 </EventReplayLocation> <EventDuration>0:00:45 </EventDuration>
</ReplayLocation-2> </MMContentDesc>上面示出的配置文件描述了与“足球比赛”相关联的示例性元数据流。 “醒ContentDesc”是描述多媒体内容流的标记，“Title”是描述多媒体内容流中标题字段的标记，并且“Videoi^ormat”是描述多媒体内容流的视频格式的标记。标记Title、 VideoFormat表示关于多媒体内容流的概要信息，并且可以在向集中式多媒体内容流传输服务34或向处理设备30Α，30Β···30Χ提供多媒体内容流之前由内容提供者38指定。可以理解，在其他实施例中，表示关于多媒体内容流的概要信息的任意数量和类型的标记可在元数据流中指定。“R印IayLocation-I ”和“R印layLocation-2”描述关于多媒体内容流中重播位置的信息，该重播位置由重播位置标记引擎44嵌入到元数据流中。在一个实施例中，“R印layLocation-1”和“R印layLocation-2”表示元数据流中包括标记的可配置参数，该标记描述了事件的类型(EventType)、关于事件的信息(EventInfo)、事件的发生时间(EventTimeOfOccurence)、关于与所标识事件有关的兴趣点的信息 (EventPointOfInterest)、重播位置的起始时间(EventR印IayLocation)以及从重播位置重播多媒体内容流的持续时间(EventDuration)。“R印layLocation-1”包括关于重播位置的信息，该重播位置基于对多媒体内容流中位于时间14:15:00的“触底得分”事件的标识来确定。在所示示例中，重播位置标记引擎44确定出14:15:00的“触底得分”事件与关于该事件的兴趣点相关，诸如发生在多媒体内容流中之前时间14:10:00的知名选手进入比赛，并且将兴趣点的发生时间确定为多媒体内容流中的重播位置。“R印layLocation-2”包括关于重播位置的信息，该重播位置基于对多媒体内容流中位于时间14:30:45的“触底得分”事件的标识来确定。在所示示例中， 多媒体内容重播位置标记引擎44将“触底得分”事件的发生时间确定为多媒体内容流中的重播位置。可以理解，在其他实施例中，可在元数据流中指定任意数量和类型的重播位置标记。向在处理设备30Α，30Β···30Χ的一个或多个用户实时地提供如上所讨论的带有时间戳或标记有一个或多个重播位置的多媒体内容流。在处理设备30Α，30Β···30Χ处的用户可通过经由在处理设备30Α，30Β···30Χ中的用户界面调用选项从重播位置中的任一个重新观看事件。多媒体内容流的片段经由用户界面重播给用户。用户与在处理设备30Α，30Β··· 30Χ中的用户界面进行交互以重播多媒体内容流的部分来重新观看事件的方式在图9-10 中详细地讨论。在另一种方法中并如上面讨论的，对事件的标识以及基于多媒体内容流中所标识的事件对重播位置的智能确定还可以由制作人17手动地执行，该制作人可以是集中式多媒体内容流传输服务34或媒体提供者38处的当前或实况广播的一部分。在一个实施例中， 制作人17可以手动地分析诸如多媒体内容流中音频或视觉提示的信息以标识多媒体内容流中的一个或多个事件。制作人还可以如上所讨论的从在处理设备30Α，30Β···30Χ处的一个或多个用户接收用户反馈信息以标识多媒体内容流中的一个或多个事件。制作人12可随后使用基于所标识的事件的一个或多个重播位置来手动地标记多媒体内容流，例如基于所标识事件的发生时间，或者如以上讨论的，基于与所标识事件相关的兴趣点的发生时间。 带有由制作人12确定的一个或多个重播位置的多媒体内容流可随后经由媒体提供者12或经由集中式多媒体内容流传输服务34被直接提供给处理设备30Α，30Β···30Χ处的用户。图3示出了可在本技术中使用的处理设备的一个实施例。在一个示例中，处理设备可以是目标识别、分析和跟踪系统10中的计算设备12。在一个实施例中，计算设备12包括捕捉设备20以在捕捉区域中识别人和非人目标，并且在三维空间中唯一地标识和跟踪他们。捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等，来捕捉带有包括深度图像的深度信息的视频，该深度图像可包括深度值。根据一个实施例，捕捉设备20可将所计算的深度信息组织为“Ζ层”或可垂直于从深度相机沿其视线延伸的Z轴的层。如图3所示，捕捉设备20可以包括图像相机组件56。根据一个实施例，图像相机组件56可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维 (2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的所捕捉的场景中的对象距相机的距离。
如图3所示，图像相机组件56可包括可被用来捕捉捕捉区域的深度图像的顶光组件58、三维(3-D)相机60、以及RGB相机62。例如，在飞行时间分析中，捕捉设备20的顶光组件58可以将红外光发射到捕捉区域上，然后可以使用传感器，用例如3-D相机60和/ 或RGB相机62来检测从捕捉区域中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到捕捉区域中的目标或对象上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。根据一个实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或对象上的特定位置的物理距离。在另一示例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如顶光组件58 被投影到捕捉区域上。在撞击到捕捉区域中的一个或多个目标或对象的表面时，作为响应， 图案可变形。图案的这种变形可由例如3-D相机60和/或RGB相机62来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。根据一个实施例，捕捉设备20可包括可以从不同的角度观察捕捉区域的两个或多个在物理上分离的相机，以获取可以被解析以生成深度信息的视觉立体数据。也可使用其他类型的深度图像传感器来创建深度图像。捕捉设备20还可包括话筒64。话筒64可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒64可用来减少在目标识别、分析和跟踪系统10中的捕捉设备20与计算设备12之间的反馈。另外，话筒64可用于接收也可由用户提供的音频信号，以控制可由计算设备12执行的诸如游戏应用程序、非游戏应用程序等等之类的应用程序80。在一个实施例中，捕捉设备20还可以包括可与图像相机组件56进行可操作的通信的处理器52。处理器52可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于存储简档的指令、用于接收深度图像的指令、用于确定合适的目标是否被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。捕捉设备20还可包括存储器组件M，存储器组件可存储可由处理器52执行的指令、由3-D相机或RGB相机所捕捉的图像或图像的帧、用户简档、或任何其他合适的信息、图像等等。根据一个示例，存储器组件M可包括随机存取存储器(RAM)、只读存储器(ROM)、 高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，存储器组件M可以是与图像捕捉组件56和处理器52进行通信的分离的组件。在另一实施例中，存储器组件M可被集成到处理器52和/或图像捕捉组件56中。在一个实施例中，图2中示出的捕捉设备20 的组件56、58、60、62、46、52和M中的一些或全部被容纳在单个壳体中。捕捉设备20可以经由通信链路50来与计算设备12进行通信。通信链路50可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802. lib、 802. llg、802. Ila或802. Iln连接等的无线连接。计算设备12可以经由通信链路50向捕捉设备20提供时钟，该时钟可以用来确定何时捕捉例如场景。捕捉设备20可经由通信链路50来向计算设备12提供由例如3_D(或深度)相机 60和/或RGB相机62捕捉的深度信息和图像，包括可由捕捉设备20生成的骨架模型。然后，计算设备12可以使用骨架模型、深度信息和所捕捉的图像来控制诸如游戏应用程序或非游戏应用程序之类可以由计算设备12来执行的应用程序80。在另一实施例中，捕捉设备20可以通过检测用户的面部表情和/或声音响应来自动地跟踪用户对其正在观看的多媒体内容的情感响应。在一个示例中，捕捉设备20可以检测诸如微笑、笑声、哭泣、皱眉、打呵欠、或者鼓掌之类的来自用户的面部表情和/或声音响应。在一个实施例中，计算设备12中的面部识别引擎74可以通过将由捕捉设备20中的相机60、62(例如，深度相机和/或视觉相机)捕捉到的数据与面部识别引擎74中的面部表情库76中的一个或多个面部表情过滤器相比较来标识出用户所表现出的面部表情。面部表情库76可以包括面部表情过滤器的集合，其中每个面部表情过滤器包括关于用户的面部表情的信息。在另一示例中，面部识别引擎74还可以将由捕捉设备20中的麦克风64捕捉到的数据与面部表情库76中的面部表情过滤器相比较以标识出诸如例如与面部表情相关联的笑声或掌声之类的一个或多个声音响应。在一个实施例中，捕捉设备20还可以通过跟踪用户的姿势和移动来跟踪用户对正在观看的多媒体内容的情感响应。在一个示例中，由捕捉设备跟踪的移动可以包括检测用户在观看多媒体内容时是移动得远离捕捉设备20的视野还是停留在捕捉设备20的视野内。由捕捉设备10跟踪到的姿势可以包括检测用户在观看多媒体节目时的身体姿势，比如用户在观看多媒体内容时是转身背向视听设备16、面向视听设备16或者向前倾斜、还是对着显示设备讲话(例如通过模仿与由多媒体内容所显示的活动相关联的动作)。在一个实施例中，计算设备12中的姿势识别引擎70可以通过将由捕捉设备20中的相机60、62(例如，深度相机和/或视觉相机)捕捉到的数据与姿势识别引擎70中的姿势库72中的一个或多个姿势过滤器相比较来标识出用户所表现出的姿势和移动。姿势库72可以包括姿势过滤器的集合，其中每个姿势过滤器包括关于用户的姿势或移动的信息。关于识别姿势的更多信息参见于2009年2月23日提交的美国专利申请12/391，150"Standard Gestures(标准姿势)，，以及于2009年5月四日提交的美国专利申请12/474,655 "Gesture Tool (姿势工具)”，这两个申请的全部内容都通过引用并入本申请。在一个实施例中，计算设备12还包括用户行为识别引擎78。用户行为识别引擎 78经由计算设备12中的视听设备16跟踪在观看多媒体内容时的用户的观看行为。观看行为可包括例如，在经由视听设备16观看多媒体内容时用户所执行的诸如暂停、前进、倒退、 跳转或停止动作的控件列表。在一个实施例中，计算设备12向集中式多媒体内容流传输服务34提供关于用户的情感响应的信息和关于用户的观看行为的信息用于分析，用户的情感响应包括用户的面部表情、声音响应、姿势、移动。集中式多媒体内容流传输服务34可以利用该信息以识别事件并基于多媒体内容流中所标识的事件来执行对重播位置的智能确定，如上面图2中所讨论的。在一个实施例中，用户的面部表情、声音响应、移动、姿势和用户的观看行为可被存储到用户简档数据库84中。在一个示例中，对用户的面部表情、声音响应、移动和姿势的跟踪和标识可以在用户观看多媒体内容时以经预编程的时间间隔执行。经预编程的时间间隔可以由计算设备12来确定。可以理解，以经预编程的时间间隔对用户的面部表情、移动和姿势的跟踪和标识可以允许确定用户在不同时刻对所观看的多媒体内容的情感响应。在一个实施例中，所公开的技术可提供一种用来在与目标识别和分析系统10进行交互的同时满足用户的隐私担忧的机制。在一个示例中，在实现所公开的技术之前从用户获得用户对用户观看多媒体内容时跟踪用户的面部表情、移动、姿势和用户的观看行为的选择参加。计算设备12中的显示模块82经由视听设备16向用户显示多媒体内容流。在一个实施例中，当用户经由视听设备16中的用户界面调用选项时，显示模块82向用户重播多媒体内容流的一部分。用户与在视听设备16中的用户界面进行交互以重播多媒体内容流的部分的方式在图9-10中详细地讨论。图4示出了可用来实现图3的计算设备12的计算设备100的示例。在一个实施例中，图4的计算设备100可以是诸如游戏控制台之类的多媒体控制台100。如图4所示，多媒体控制台100具有中央处理单元(CPU) 200以及便于处理器访问各种类型存储器的存储器控制器202，各种类型存储器包括闪速只读存储器(ROM) 204、随机存取存储器(RAM) 206、 硬盘驱动器208、以及便携式媒体驱动器106。在一种实现中，CPU 200包括1级高速缓存 210和2级高速缓存212，用于临时存储数据，并且因此减少对硬盘驱动器208进行的存储器访问周期的数量，从而提高处理速度和吞吐量。CPU 200、存储器控制器202、以及各种存储器设备经由一个或多个总线(未示出) 互连在一起。在此实现中所使用的总线的细节对理解此处所讨论的主题不是特别相关。然而，应该理解，这样的总线可以包括串行和并行总线、存储器总线、外围总线、使用各种总线体系结构中的任何一种的处理器或局部总线中的一个或多个。作为示例，这样的体系结构可以包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及也称为夹层总线的外围部件互连(PCI)总线。在一种实现中，CPU 200、存储器控制器202、ROM 204、以及RAM 206被集成到公用模块214上。在此实现中，ROM 204被配置为经由PCI总线和ROM总线(两者都没有示出)连接到存储器控制器202的闪速ROM。RAM 206被配置为多个双倍数据速率同步动态 RAM (DDR SDRAM)模块，它们被存储器控制器202经由分开的总线(未示出)独立地进行控制。硬盘驱动器208和便携式媒体驱动器106被示为经由PCI总线和AT附加(ATA)总线 216连接到存储器控制器202。然而，在其他实现中，也可以备选地应用不同类型的专用数据总线结构。图形处理单元220和视频编码器222构成了用于进行高速度和高分辨率(例如， 高清晰度)的图形处理的视频处理流水线。数据经由数字视频总线(未示出)从图形处理单元220传输到视频编码器222。音频处理单元2M和音频编码解码器(编码器/解码器)2 构成了对应的音频处理流水线，用于对各种数字音频格式进行多通道音频处理。经由通信链路(未示出)在音频处理单元2M和音频编码解码器2 之间传输音频数据。视频和音频处理流水线向A/V(音频/视频)端口 2 输出数据，以便传输到电视机或其他显示器。在所示的实现中，视频和音频处理组件220-2 安装在模块214上。图4示出了包括USB主控制器230和网络接口 232的模块214。USB主控制器230 被示为经由总线(例如，PCI总线)与CPU 200和存储器控制器202进行通信，并作为外围控制器104(1)-104 )的主机。网络接口 232提供对网络(例如因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、无线接入卡、蓝牙模块、电缆调制解调器等各种有线或无线接口组件中的任一种。在图4中所描绘的实现中，控制台102包括用于支持四个控制器104(1)-104 ) 的控制器支持子组件对0。控制器支持子组件240包括支持与诸如，例如，媒体和游戏控制器之类的外部控制设备的有线和无线操作所需的任何硬件和软件组件。前面板I/O子部件 242支持电源按钮112、弹出按钮114，以及任何LED(发光二极管)或暴露在控制台102的外表面上的其他指示灯等多个功能。子部件240和242经由一个或多个电缆部件244与模块214进行通信。在其他实现中，控制台102可以包括附加的控制器子部件。所示的实现还示出了被配置成发送和接收可以传递到模块214的信号的光学I/O接口 235。MU 140(1)和 140(2)被示为可以分别连接到 MU 端口 “A” 130 (1)和 “B” 130 (2)。 附加MU(例如，MU 140(3)-140(6))被示为可连接到控制器104(1)和104(3)，即每一个控制器两个MU。控制器104(2)和104(4)也可以被配置成接纳MU (未示出)。每个MU 140 都提供附加存储器，在其上面可以存储游戏、游戏参数、及其他数据。在某些实现中，其他数据可以包括数字游戏组件、可执行的游戏应用程序，用于扩展游戏应用程序的指令集、以及媒体文件中的任何一种。当被插入到控制台102或控制器中时，MU 140可以被存储器控制器202访问。系统供电模块250向游戏系统100的组件供电。风扇252冷却控制台102内的电路。包括机器指令的应用程序260被存储在硬盘驱动器208上。当控制台102被接通电源时，应用程序260的各个部分被加载到RAM 206，和/或高速缓存210以及212中以在 CPU 200上执行，其中应用程序260是一个这样的示例。各种应用程序可以存储在硬盘驱动器208上以用于在CPU 200上执行。可通过简单地将系统连接到视听设备16 (图1)、电视机、视频投影仪、或其他显示设备来将游戏和媒体系统100用作独立系统。在此独立模式下，游戏和媒体系统100允许一个或多个玩家玩游戏或欣赏数字媒体，例如观看电影或欣赏音乐。然而，随着宽带连接的集成通过网络接口 232而成为可能，游戏和媒体系统100还可以作为较大的网络游戏社区的参与者来操作。图5示出了可被用于实现计算设备12的另一实施例的通用计算设备。参考图5， 用于实现所公开的技术的示例性系统包括以计算机310的形式呈现的通用计算设备。计算机310的组件可以包括，但不仅限于，处理单元320、系统存储器330，以及将包括系统存储器的各种系统组件耦合到处理单元320的系统总线321。系统总线321可以是若干类型的总线结构中的任一种，包括使用各种总线体系结构中的任一种的存储器总线或存储器控制器、外围总线，以及局部总线。作为示例而非限制，这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会 (VESA)局部总线，以及也称为夹层总线的外围部件互连(PCI)总线。计算机310通常包括各种计算机可读介质。计算机可读介质可以是能由计算机 310访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于， RAM、ROM、EEPR0M、闪存或其他存储器技术，CD-ROM、数字多功能盘(DVD)或其他光盘存储设备，磁带盒、磁带、磁盘存储设备或其他磁存储设备，或者能用于存储所需信息且可以由计算机310访问的任何其他介质。通信介质通常以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并包括任意信息传送介质。术语“已调制数据信号”指的是具有一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限制，通信介质包括有线介质，如有线网络或直接线连接，以及如声学、RF、红外及其他无线介质之类的无线介质。上述中任一组合也应包括在计算机可读介质的范围之内。系统存储器330包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM) 331和随机存取存储器(RAM) 332。基本输入/输出系统333 ￠10 包括如在启动时帮助在计算机310内的元件之间传输信息的基本例程，它通常储存在ROM 331中。 RAM 332通常包含处理单元320可以立即访问和/或目前正在操作的数据和/或程序模块。 作为示例而非限制，图5示出了操作系统334、应用程序335、其他程序模块336，以及程序数据 337。计算机310也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图5示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器340，对可移动、非易失性磁盘352进行读写的磁盘驱动器351，以及对例如CD ROM或其它光学介质等可移动、非易失性光盘356进行读写的光盘驱动器355。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器341通常由诸如接口 340的不可移动存储器接口连接至系统总线321，并且磁盘驱动器351和光盘驱动器355通常由诸如接口 350的可移动存储器接口连接至系统总线321。上文所讨论的并且在图5中示出的驱动器及其相关联的计算机存储介质为计算机310提供了对计算机可读的指令、数据结构、程序模块及其他数据的存储。例如，图5中， 硬盘驱动器341被示为存储操作系统344、应用程序345、其它程序模块346和程序数据 347。注意，这些组件可以与操作系统334、应用程序335、其他程序模块336和程序数据337 相同，也可以与它们不同。在此操作系统344、应用程序345、其他程序模块346以及程序数据347被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过诸如键盘362和定点设备361 (通常被称为鼠标、跟踪球或触摸垫)之类的输入设备向计算机20输入命令和信息。其他输入设备(未示出)可包括话筒、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常由耦合至系统总线的用户输入接口 360连接至处理单元320， 但也可以由诸如并行端口、游戏端口或通用串行总线(USB)等其他接口和总线结构来进行连接。监视器391或其他类型的显示设备也通过诸如视频接口 390的接口连接至系统总线 321。除监视器之外，计算机也可以包括诸如扬声器397和打印机396之类的其他外围输出设备，它们可以通过输出外围接口 390来连接。计算机310可使用至一个或多个远程计算机，诸如远程计算机380的逻辑连接在网络化环境中操作。远程计算机380可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，并且通常包括上文参考计算机310所描述的许多或全部元件，虽然图5中只示出了存储器设备381。图5中所描述的逻辑连接包括局域网(LAN) 371和广域网 (WAN) 373，但是，也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。当在LAN联网环境中使用时，计算机310通过网络接口或适配器370连接至LAN 371。当在WAN联网环境中使用时，计算机310通常包括调制解调器372或用于通过诸如因特网等WAN 373建立通信的其他手段。调制解调器372可以是内置或外置的，它可以经由用户输入接口 360或其他适当的机制连接至系统总线321。在联网环境中，相对于计算机 310所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图 5示出了驻留在存储器设备381上的远程应用程序385。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。图6例出了用于实现所公开技术的操作的计算设备的另一个实施例。在一个实施例中，计算设备可以是移动计算设备，它可包括，但不限于，蜂窝电话、启用Web的智能电话、个人数字助理、掌上型计算机、膝上型计算机、或经由无线信号通信的任何类似设备。如图6所示，实现移动计算设备的系统400可包括可具有一个或多个处理器410的控制电路 412和存储或存储器414，例如，诸如ROM的非易失性存储器和诸如RAM的易失性存储器。存储器414存储由控制电路412的一个或多个处理器410执行的处理器可读代码，以实现所公开技术的操作。一个或多个应用程序可载入存储器414，如电话拨号器程序、电子邮件程序、PIM(个人信息管理)程序、因特网浏览器应用程序、视频游戏应用程序等。控制电路412可包括通信接口 409，它控制移动计算设备和其它设备之间的无线的或经由有线连接的信号发送和接收。如所示的，在一个实施例中，通信接口 409可包括用于无线信号的发射和接收的射频(RF)发射/接收电路406和/或红外发射/接收电路 408。在发射模式期间，控制电路412可向发射/接收电路406提供语音和其它数据信号。 发射/接收电路406可经由天线402将该信号发射到远程站(例如固定站、运营商、其它移动计算设备等)。控制电路412也可与一个或多个传感器416、用户界面/键盘屏幕418、音频接口 420和视频接口 422通信。传感器416例如可包括诸如加速计的运动检测传感器，压力传感器、邻近传感器、电容触摸传感器等。加速计被结合到移动设备中，以启用诸如让用户通过姿势输入命令的智能用户界面之类的应用程序，在与GPS卫星断开联系之后计算设备的移动和方向的室内GPS功能，并检测设备的定向，并且，当旋转移动设备时自动地将显示从纵向变为横向。例如通过微机电系统(MEMS)来提供加速计，该微机电系统是构建在半导体芯片上的。经由加速计可感应加速方向、以及定向、振动和震动。用户界面键区/屏幕418可包括诸如按钮数字拨号盘区(如在典型的电话上)或多按键键盘(如常规键盘)的键区。UI键区/屏幕418还可以是触敏的，并包括液晶显示器(LCD)或在移动设备中常用的任何其它类型的显示器。音频接口 420可用于向用户提供听觉信号并从用户接受听觉信号。音频接口 420可耦合至扬声器424、话筒425和响铃器/ 振动器426。响铃器/振动器4 可被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等信号。响铃器/振动器4 可发出由用户选择的一个或多个铃声和/或触觉振动。在接收模式期间，发射/接收电路406通过天线402接收来自远程站的语音或其他数据信号。所接收的语音信号可被提供给扬声器424，同时所接收到的其它数据信号也被适当地处理。话筒425可包括可接收声音并将其转换成电信号的换能器。话筒425也可包括压力传感器或音频传感器以便于感应用户姿势并控制通知。视频接口 422可用于向用户提供视频、图像和其它信号。视频接口 422也可用于从相机4 接收视频、图像和其它信号。相机4 可用于捕捉可在用户界面屏幕418上显示的图像和/或视频。相机4 也可包括一个或多个深度传感器，它可捕捉、感应或检测在移动计算设备的视野中的用户的动作或姿势。系统400可包括电源404，其可被实现为一个或多个电池。电源404还可包括外部功率源，如补充电池或对电池重新充电的AC适配器或加电对接托架。移动计算设备实现系统400可具有附加特征或功能。例如，设备还可包括附加数据存储设备(可移动的/或不可移动的)，诸如磁盘、光盘或磁带。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据的信息的任何方法或技术实现的易失性和非易失性、 可移动和不可移动介质。以上讨论的图1-6的硬件设备可用于实现通过标识多媒体内容流中的事件来智能地确定多媒体内容流中的重播位置的系统。图7和8是描述用于通过标识多媒体内容流中的事件来执行对多媒体内容流中重播位置的智能的确定的过程的一个实施例的流程图。 在一个实施例中，图7和8的步骤可由软件模块来执行，例如，集中式多媒体内容流传输服务34中的事件识别引擎42和重播位置标记引擎44。图7描述了可确定多媒体内容流中重播位置的过程的一个实施例(例如，图2A的步骤M的更多细节)。在步骤720中，分析多媒体内容流中的信息以检测多媒体内容流中的音频或视觉提示。提示可包括例如来自多媒体内容流的音频或视频序列中的一个或多个实体的鼓掌、欢呼、评论、评论更新或者分数更新。在步骤722中，确定是否在多媒体内容流中检测到音频或视觉提示。如果确定出检测到音频或视觉提示，则在步骤724中标识多媒体内容流中的基于该音频或视觉提示的事件。例如，可基于与足球比赛相对应的多媒体内容流中检测到的音频或视觉提示来标识的事件可包括触底得分、奔跑者触地、进球得分、任意球等。在步骤722中，如果确定未在多媒体内容流中检测到音频或视觉提示，则在步骤 7 确定当前广播是否已结束。如果当前广播尚未结束，则在步骤7 中递增时间t并且在已更新的时间t如步骤720所讨论的执行对多媒体内容流中的信息的分析。如果当前广播已经结束，则在步骤730中向在处理设备30A，30B-30X处的一个或多个用户实时地提供多媒体内容流。在步骤732中，确定多媒体内容流中所标识的事件的发生时间。在步骤734中，确定所标识的事件是否与多媒体内容流中的兴趣点相关。在一个示例中，可通过确定所标识的事件是否是由多媒体内容流中时间在先点的活动起始或动作起始引起的来标识兴趣点。 例如，诸如“触底得分”的所标识的事件可与多媒体数据流中知名选手进入比赛的兴趣点相关。如果在步骤734中确定所标识的事件与多媒体内容流中的兴趣点相关，则在步骤 736中，兴趣点的发生时间被确定为多媒体内容流中的重播位置。如果确定所标识的事件与多媒体内容流中的兴趣点不相关，则在步骤738中，所标识的事件的发生时间被确定为多媒体内容流中的重播位置。在步骤740中，确定从重播位置重播多媒体内容流的持续时间。在一个示例中，重播多媒体内容流的持续时间可被预先确定为在约45秒到约120秒的范围内。在步骤742 中，通过将关于重播位置的信息嵌入到与多媒体内容流相关联的元数据流，使用重播位置对多媒体内容流进行实时地标记。在步骤744中，向用户提供已标记的多媒体流。图7描述了用于确定多媒体内容流中的单个重播位置的过程。可以理解，尽管在特定示例中描述了对单个重播位置的确定，但是图7的过程可被多次执行以确定多媒体内容流中的多个重播位置。此外，所描述的过程可被并行或顺序地执行以确定多媒体内容流中的多个重播位置。图8描述了可确定多媒体内容流中的重播位置的过程的另一个实施例(例如，图 2A的M的更多细节)。在步骤750，从在处理设备30A，30B··· 30X的一个或多个用户接收用户反馈信息。如图2所讨论的，用户反馈信息可包括关于用户的观看行为的信息或者关于对用户观看的多媒体内容的用户情感响应的信息。在步骤752中，确定来自阈值百分比用户的用户反馈信息是否与多媒体内容流中的事件相对应。例如，如果来自100位用户的用户反馈信息指示在观看多媒体内容时在特定的时间间隔期间从80%的用户接收到鼓掌， 则在步骤760在多媒体内容流中基于用户反馈信息标识事件。如果确定来自阈值百分比用户的用户反馈信息与多媒体内容流中的事件不对应，则在步骤7M确定当前广播是否已结束。如果当前广播尚未结束，则在步骤756中递增时间t并且在已更新的时间t如步骤720 所讨论的接收用户反馈信息。如果当前广播已经结束，则在步骤758中向在处理设备30A， 30Β···30Χ处的一个或多个用户实时地提供多媒体内容流。在一个实施例中，图8中所描述的过程可与基于分析多媒体内容流中的信息来标识多媒体内容流中的事件(图7中所描述的)的过程并行执行。在步骤762中，确定所标识的事件(在步骤760中标识的)是否已经与带有多媒体内容流中已标记重播位置的所标识的事件(如由图8的过程所确定的)相对应。例如，如果步骤760中检测到的所标识的事件与多媒体内容流中位于特定重播位置的触底得分事件相对应，则可以确定通过分析多媒体内容流已经标识了多媒体内容流中特定重播位置的触底得分事件(图8的步骤724)。 如果确定所标识的事件已经与多媒体内容流中的已标记重播位置相对应，则在步骤776中向用户提供已标记的多媒体内容流。如果确定所标识的事件与多媒体内容流中的已标记重播位置不对应，则在步骤 764中确定所标识的事件的发生时间。步骤(766-774)与图7中所讨论的步骤(734-744) 是相似的。在步骤766中，确定所标识的事件是否与多媒体内容流中的兴趣点相关。如果在步骤766中确定所标识的事件与多媒体内容流中的兴趣点相关，则在步骤770中，兴趣点的发生时间被确定为多媒体内容流中的重播位置。如果确定所标识的事件与多媒体内容流中的兴趣点不相关，则在步骤768中，所标识的事件的发生时间被确定为内容流中的重播位置。在步骤772中，确定从重播位置重播多媒体内容流的持续时间。在步骤774中，通过将关于重播位置的信息嵌入到与多媒体内容流相关联的元数据流，使用重播位置对多媒体内容流进行实时地标记。在步骤776中，向用户提供已标记的多媒体流。图9-10示出了允许用户与图1-3中所讨论的计算设备交互以执行所公开技术的一个或多个操作的各种用户界面屏幕。在一个实施例中，诸如(图1所示的)用户18和19 的一个或多个用户可以经由连接到计算设备12的视听设备16与计算设备12中的用户界面屏幕900进行交互。图9Α示出了经由用户界面屏幕900显示给用户的多媒体内容流。用户界面屏幕900还描绘了显示给用户的多媒体内容流905的示意图，多媒体内容流带有时间戳或标记有一个或多个重播位置、重播位置-1 906和重播位置-2 904和当前位置902。 在一个实施例中并如图2中所描述的，集中式多媒体内容流传输服务34中的事件识别引擎 42和重播位置标记引擎44通过标识多媒体数据流中的事件来执行对多媒体内容流中重播位置的智能的确定。重播位置标记引擎44使用重播位置对多媒体内容流进行实时地标记， 通过将关于重播位置的信息嵌入到与多媒体内容流相关联的元数据流来向用户流传输多媒体内容。如图9A中进一步所示的，用户可通过选择“即时重播”选项908来重新观看多媒体内容流中的一个或多个所标识的事件。图9B示出了用户与图9A中所示的用户界面屏幕交互的结果。在一个实施例中， 通过选择“即时重播”选项908(图9A中所示的)，用户被直接传送到多媒体内容流905中的最新近的重播位置(即，重播位置-2 904)，如图9B所示。如进一步所示的，还向用户提供关于重播位置904的信息。该信息可包括事件的发生时间、对事件的描述和用户将观看事件的持续时间。用户可以通过选择“返回到当前广播”选项910来返回到当前广播。在另一个实施例中并如图IOA所示的，当用户选择“即时重播”选项908时，可向用户显示关于多媒体内容流905中重播位置列表912的信息。用户可以通过从列表912选择重播位置之一来选择观看重播位置中的任一个。在所示的示例中，用户的选择914将用户传送到多媒体内容流905中的重播位置-2906，如图IOB所示。如进一步所示的，还向用户提供关于重播位置906的信息。该信息可包括事件的发生时间、对事件的描述和用户将观看事件的持续时间。用户可以通过选择“返回到当前广播”选项910来返回到当前广播。 在另一个实施例中，当用户选择“即时重播”选项908时，可向用户提供多媒体内容流中所标识的事件的压缩视图。例如，当用户选择“即时重播”选项908时，可向用户提供对体育比赛的突出显示，以使得用户可以仅观看比赛的突出显示而不必执行与处理设备的进一步的交互。此外，用户还可以使用语音、姿势以及使用屏幕上控件来重播重播位置902、904和 906中的任一个。尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本发明的范围由所附的权利要求进行定义。
权利要求
1.一种用于确定多媒体内容流中的一个或多个重播位置的方法，所述方法包括接收与当前广播相关的多媒体内容流(905)；实时地分析所述多媒体内容流(905)以标识所述多媒体内容流中的一个或多个事件；基于所述多媒体内容流(905)中所标识的所述一个或多个事件来确定所述多媒体内容流(905)中的一个或多个重播位置(902、904、906)；以及向一个或多个用户(18、19)实时地提供带有所述一个或多个重播位置(902、904、906) 的所述多媒体内容流(905)。
2.如权利要求1所述的方法，其特征在于，实时地分析所述多媒体内容流以标识所述多媒体内容流中的一个或多个事件还包括检测所述多媒体内容流中的音频提示或视觉提示中的至少一个以标识所述一个或多个事件，其中所述音频提示或所述视觉提示包括所述多媒体内容流中的鼓掌、欢呼、评论、 分数更新或评论更新中的至少一个。
3.如权利要求1所述的方法，其特征在于，实时地分析所述多媒体内容流以标识所述多媒体内容流中的一个或多个事件还包括分析与所述一个或多个用户相关的用户反馈信息以标识所述一个或多个事件。
4.如权利要求3所述的方法，其特征在于，所述用户反馈信息包括与观看所述多媒体内容流的所述一个或多个用户相关的观看行为信息，其中所述观看行为信息还包括由在处理设备上观看所述多媒体内容流的用户利用的一个或多个控件，其中所述控件包括暂停、前进、倒退、跳转或停止控件中的一个或多个。
5.如权利要求3所述的方法，其特征在于，所述用户反馈信息包括对所述一个或多个用户观看的所述多媒体内容流的情感响应，其中所述情感响应还包括所述用户表现的面部表情、声音响应、姿势、移动以及与用户界面的交互中的一个或多个。
6.如权利要求1所述的方法，其特征在于，确定所述多媒体内容流中的所述一个或多个重播位置还包括将所述多媒体内容流中所标识的所述一个或多个事件的发生时间确定为所述多媒体内容流中的所述一个或多个重播位置。
7.如权利要求1所述的方法，其特征在于，确定所述多媒体内容流中的所述一个或多个重播位置还包括将与所述多媒体内容流中所标识的事件相关的兴趣点的发生时间、兴趣点的持续时间或兴趣点的类型确定为所述多媒体内容流中的所述一个或多个重播位置。
8.如权利要求1所述的方法，其特征在于，确定所述多媒体内容流中的所述一个或多个重播位置还包括将关于所述一个或多个重播位置的信息嵌入到与所述多媒体内容流相关联的元数据流，其中关于所述一个或多个重播位置的所述信息还包括关于所述多媒体内容流中所标识的所述一个或多个事件、所述一个或多个事件的发生时间、与所述一个或多个事件相关的兴趣点、所述兴趣点的发生时间、所述一个或多个重播位置的起始时间以及从所述一个或多个重播位置重播所述多媒体内容流的持续时间的信肩、ο
9.如权利要求1所述的方法，其特征在于所述实时地分析所述多媒体内容流还包括，检测与当前广播相关联的多媒体内容流中的音频提示或视觉提示中的至少一个；所述实时地分析所述多媒体内容流还包括，分析与所述一个或多个用户相关联的观看行为信息；所述实时地分析所述多媒体内容流还包括，分析对所述一个或多个用户观看的所述多媒体内容流的情感响应；以及基于所述一个或多个事件确定所述多媒体内容流中的一个或多个重播位置，是基于所述音频提示、所述视觉提示、所述观看行为信息和所述情感响应中的至少一个。
10.一个或多个处理器可读存储设备，具有包含在所述一个或多个处理器可读存储设备上的处理器可读代码，所述处理器可读代码用于对一个或多个处理器进行编程以执行一种方法，所述方法包括分析与当前广播相关联的多媒体内容流(905)中的音频提示和视觉提示中的至少一个；从观看所述多媒体内容流(905)的一个或多个用户(18、19)接收观看行为信息； 从观看所述多媒体内容流(905)的所述一个或多个用户(18、19)接收情感响应信息； 基于所述音频提示、所述视觉提示、所述观看行为信息和所述情感响应信息中的至少一个，实时地标识所述多媒体内容流(905)中的一个或多个事件；基于所述多媒体内容流(905)中所标识的所述一个或多个事件确定所述多媒体内容流(905)中的一个或多个重播位置(902、904、906)；以及向一个或多个用户(18、19)实时地提供带有所述一个或多个重播位置(902、904、906) 的所述多媒体内容流(905)。
11.如权利要求10所述的一个或多个处理器可读存储设备，其特征在于，还包括 从所述一个或多个用户接收输入以重播所述多媒体内容流；以及从所述一个或多个重播位置，向所述一个或多个用户重播所述多媒体内容流中所标识的所述事件中的一个或多个。
12.如权利要求10所述的一个或多个处理器可读存储设备，其特征在于，标识所述多媒体内容流中的所述一个或多个事件还包括确定来自观看所述多媒体内容流的阈值百分比的用户的所述观看行为信息和所述情感响应信息是否与所述多媒体内容流中的事件相对应。
13.一种装置，包括 深度相机(56)；计算设备(12)，连接到所述深度相机(56)以接收与当前广播相关的多媒体内容流 (905)，在连接到所述计算设备(1 的捕捉设备00)的视野(6)中标识一个或多个用户 (18、19)，通过跟踪所述视野(6)中所述一个或多个用户(18、19)表现的移动、姿势和面部表情来跟踪所述一个或多个用户(18、19)对所述一个或多个用户(18、19)观看的所述多媒体内容流(905)的情感响应，向远程计算系统(34)提供关于所述情感响应的信息用于分析；基于所述分析从所述远程计算系统(34)接收带有一个或多个重播位置(902、904、906) 的多媒体内容流(905)，并且向所述一个或多个用户(18、19)重播带有所述一个或多个重播位置(902、904、906)的所述多媒体内容流(905)的至少一部分。
14.如权利要求13所述的装置，其特征在于所述计算设备检测与观看所述多媒体内容流的所述一个或多个用户相关的观看行为信息，并且向所述远程计算系统提供所述观看行为信息用于分析。
15.如权利要求13所述的装置，其特征在于，还包括连接到所述计算设备的视听设备，其中所述视听设备向所述一个或多个用户显示带有所述一个或多个重播位置的所述多媒体内容流，其中所述视听设备经由用户界面从所述一个或多个用户接收输入以重新观看所述多媒体内容流的部分，并且向所述一个或多个用户显示所述多媒体内容流的所述部分。
全文摘要
本发明涉及基于事件标识的重播的智能确定。提供用于基于标识多媒体内容流中的事件来智能地确定多媒体内容流中的重播位置的系统。在一个实施例中，通过实时地分析多媒体内容流中的信息来标识多媒体内容流中的事件。在另一个实施例中，通过实时地分析来自观看多媒体内容的用户的观看行为和情感响应来标识多媒体内容流中的事件。基于多媒体内容流中所标识的事件确定多媒体内容流中的一个或多个重播位置。经由用户的处理设备中的用户界面向用户显示带有重播位置的多媒体内容流。
文档编号G11B27/10GK102522102SQ20111032125
公开日2012年6月27日 申请日期2011年10月12日 优先权日2010年10月15日
发明者B·麦克道尔, D·尤伦卡, I·阿尔瓦拉多, O·保卢斯 申请人:微软公司