专利名称：用于定制实况媒体内容的方法和系统的制作方法
技术领域：
本发明涉及用于定制实况媒体内容(live media content)的方法和系统。
背景技术：
在信息时代，电信、广播和信息技术的覆盖已经模糊了内容和载体的二分法。具体 讲，传统上电信基础设施仅被单独用于语音应用，而现在电信基础设施正被用于广播多媒 体内容。同样，技术已经允许因特网上的大量应用，例如VoIP和视频流播。这样，现在存在 多种大众可访问以便使用的向大众进行广播的方式。但是，可以做得更多来使这些内容对 最终用户更具吸引力，尤其是由于每个用户通常具有可能随趋势和潮流波动的变化的偏好 和品味。 本发明的目的在于提供用于定制为大众提供有用选择的实况媒体内容的方法和 装置。
发明内容
在第一方面中，提供了一种定制实况媒体的方法，该实况媒体包括受监视区域的 至少一个经矫正全景视图。所述全景视图可以具有供用户选择的多个部分，所述方法包括 接收具有音频和视频的实况媒体，该实况媒体被交织和/或压縮成单流数据；接收对全景 视图的多个部分中的一个部分的选择；以及基于对全景视图的一个部分的选择来定制实况 媒体以进行显示。用户可以是指定的内容选择者/布置者。用户还可编辑/修改/改变实 况媒体的内容。 优选的，所述至少一个全景视图是180。或360°的受监视区域。 有利的是，所述单流数据包括访问控制，该访问控制限制实况媒体的内容，并且所
述方法还包括进行认证以确定访问权利；以及如果准予访问权利，则释放实况媒体的内容。 还有利的是，当全景视图的所选部分包括移动对象时，所述方法还包括配置所选 部分来在受监视区域内跟踪该移动对象。 优选的，所述方法还包括利用音频输入来添加/替换以及播放选择的音频输入， 该音频输入例如是音乐、声效、气氛烘托音乐、语音解说等等。 优选的，所述方法还包括向全景视图的所选部分添加可视索引并将可视索引与全 景视图的所选部分一起显示，其中，所述可视索引例如是多种字体的文本、动画效果、视频 效果或图标等等。可以有利的是，所述可视索引包括将用户定向到流的另一部分的超链接。
该方法可以有利地包括将所定制的实况媒体作为能够在设备上回放的数字文件 来存储/重传。 还提供了一种用于定制实况媒体的系统，所述实况媒体包括受监视区域的至少一 个经矫正全景视图。所述全景视图可以具有供用户选择的多个部分，并且所述系统可以包 括接收器，用于接收具有音频和视频的实况媒体，该实况媒体被交织和/或压縮成单流数据；处理器，用于接收对全景视图的多个部分中的一个部分的选择；并且所述处理器被配 置为基于对全景视图的一个部分的选择来定制实况媒体以进行显示。优选的，该系统可以 被并入到便携式媒体播放器中，该播放器是本发明的另一方面。
下面将参考附图、以示例方式描述本发明的实施例，在附图中
图1是示出本发明的优选实施例的框图。
图2是用于图示本发明的一个方面的示意图。
具体实施例方式
图1示出本发明的优选实施例的应用概况，其中具有高分辨率鱼眼镜头 (fish-eye len)或广角镜头的摄像机100被用于捕获受监视区域的全景视频图像。这种摄 像机100的示例可以从www. grandeye. com获得，并且该网站还具有180°和360°全景图 像的示例性图像。优选地，摄像机IOO被用于实况图像的捕获。 与这种全景视频图像的交互是已知的，例如在US 6， 243， 099和US6， 271， 853中所 描述的，并且可以选择全景图像的某些部分作为特写视图(close-up view)。这些特写视图 可以包括运动跟踪，以使得经受特写视图的对象即使不是静止的也可以被跟踪。但是，所捕 获的原始全景视频图像是扭曲的(skewed)，尤其是在图像的边缘周围，因此需要对全景视 频图像进行矫正，以便用户分辨全景视频图像的内容，从而使得用户能够分辨图像的哪些 部分是用户所感兴趣的。矫正可以包括对扭曲的全景视频图像执行直线变换(rectilinear transform)。 但是，对于某些应用，仅仅捕获视频图像是不够的，还需要接收与受监视区域相关
联的声音。例如，如果摄像机ioo被用于捕获实况观众的图像，则可能需要用观众发出的声
音对所捕获的图像赋予效果。这例如在摄像机被用于捕获进行足球比赛的体育场的鸟瞰图 的情况下正是如此，观众的声音将增强所捕获图像的娱乐值，这可以为用户带来与用户对 所捕获图像的感觉相关的更容入的体验。因此，在优选实施例中，一个或多个麦克风102被 放置在战略位置上，以接收来自受监视区域的声音或音频。 所捕获的声音和视频被无线信道传输至处理单元104，但是也可以使用有线装置， 并且取决于应用，有线装置可能是优选的。 处理单元104通过交织(interleave)和/或压縮单个流中的音频和视频数据来 处理实况声音/音频和实况全景视频图像，以用于发送器106到接收设备的实况传输。视 频数据可以具有传统的分辨率或高清晰度格式。处理单元104对于高清晰度格式的视频将 需要处理更多数据。 应该意识到，视频数据可能仅以高清晰度格式来捕获，并且如果接收设备无法支 持高清晰度格式的视频，则在处理单元104处将视频数据縮减到传统分辨率。处理单元104 可以通过向每个接收设备发送查询并随后从每个接收设备接收响应来确定每个接收设备 的能力。随后发送到每个接收设备的视频数据是根据在处理单元104处接收的来自每个接 收设备的响应被流播到每个接收设备的。 到接收设备的传输可以经由任意合适的通信网络，并且在本实施例中，使用移动
5通信网络108，并且接收设备是通信地耦合到网络108的便携式媒体播放器110。移动通信
网络108可以包括辅助/使能数据传输的任意网络。但是，应该注意，接收设备并不局限
于便携式媒体播放器110，并且可以包括其他计算设备，例如，移动电话、笔记本电脑、PC等
等。到接收设备的传输还可以经由对等网络，如US 6，901，604中所述。 每个便携式媒体播放器110包括用于接收单流实况媒体的接收器以及用于将数
据流转换成多媒体内容以供每个媒体播放器110回放的处理器。传统上，便携式媒体播放
器的用户根据源发送的是什么而受到限制，但是，该优选实施例的便携式媒体播放器IIO
的处理器允许用户定制正被播放的多媒体内容或与其进行交互。 多媒体内容的定制/交互采取如下形式 1)视频图像内部分的选择 使用足球比赛作为受监视区域的示例，用户可以选择观看球场的一部分而不是 360°的鸟瞰视图。用户可以是针对预定的用户组所指定的内容选择者/布置者，并且可 以单独确定正被用户组中的其他用户观看的内容。用户组可以通过付费或其他方式自愿加 入。用户的状态(例如，全部内容选择/布置权利、受限内容选择/布置权利、无内容选择 /布置权利、等等)或者可以基于付费水平或者可以基于接收设备的类型(例如，几乎不具 有处理能力的设备可能无法选择/布置内容)。 由于全景视频图像示出受监视区域的整个视图，因此如果多个便携式媒体播放器 110的每个用户拥有全部内容选择/布置权利，则每个用户能够根据每个用户的偏好来观 看球场的一特定部分。具有全部或受限内容选择/布置权利的每个用户可以例如选择观看 全景视频图像、持续监视球场的一特定部分、切换观看球场的不同部分、等等。在单个媒体 流中发送的(经矫正的)全景视频图像能够支持具有便携式媒体播放器110的多个用户对 球场的无限多个不同部分的实况观看。这是因为全景视频图像的每一帧能够包括充足的分 辨率来允许具有便携式媒体播放器110的多个用户中的每个用户放大球场的一部分，而无 需进行球场的放大部分的实体定格动画(pixilation)。这样，用户或许能够对全景视频图 像的不同部分拍全景和变焦。在便携式媒体播放器iio上还可以显示受监视区域的不同部 分的分割画面视图。应该意识到，分割画面视图是在处理单元104处制作的，并作为单个媒 体流被发送到便携式媒体播放器110。这是有利的，因为便携式媒体播放器IIO可能不具有 足够的处理能力来接收和回放多个媒体流。 对受监视区域的特定部分的访问可能被全景视频图像的提供者所限制。具有受限 访问的特定部分可以被例如黑盒、特定部分的马赛克视图、显示某种形式的广告的盒子等 所覆盖。只有具有"密钥"或访问特权的便携式媒体播放器110的用户可以获准访问受监 视区域的这些特定部分。"密钥"或访问特权可以与用户相关联，或者可以驻留在便携式媒 体播放器110中。"密钥"可以被用在认证过程(虚拟握手过程或者可以包括更复杂的加密 /生物度量识别过程)中。这些"密钥"和/或访问特权可以被提供给已经向全景视频图像 的提供者提供了报酬(金钱或其他)的用户以访问受监视区域的特定部分。
参考图2，示出正被发送到便携式媒体播放器110的足球比赛的代表图像200。图 像200的第一部分202在一个球队的球队休息区。图像的第二部分204在一个球队的球门 区域。 2)运动跟踪
6
使用沙滩排球比赛作为受监视区域的另一示例，具有全部内容选择/布置权利的 用户可能有兴趣监视球员之一，并且可能不仅仅对排球比赛本身感兴趣。这种功能允许用 户选择跟踪哪个球员，从而处理单元104跟踪和显示该球员的运动以显示在便携式媒体播 放器110上。由于全景视频图像示出受监视区域的整个视图，因此多个便携式媒体播放器 110的每个用户能够根据每个用户的偏好来观看一特定球员或者甚至观看球。每个用户可 以选择持续监视一移动对象、切换视图以观看不同的移动对象、或者甚至具有受监视区域 的不同方面的分割画面视图。应该意识到，分割画面视图是在处理单元104处制作的并作 为单个媒体流被发送到便携式媒体播放器110。这是有利的，因为便携式媒体播放器110可 能不具有足够的处理能力来接收和回放多个媒体流。 在单个媒体流中发送的全景视频图像能够支持具有便携式媒体播放器110的多 个用户对无限多个不同的移动对象的实况观看。这是因为全景视频图像的每一帧能够包括 足够的分辨率来允许具有便携式媒体播放器110的多个用户中的每个用户放大移动对象 并跟踪移动对象的运动，而无需进行放大的移动对象的实体定格动画。 对移动对象的监视还可能被全景视频图像的提供者所限制。具有受限访问的移动 对象可以被例如黑盒、移动对象的马赛克视图、显示某种形式的广告的移动盒子等所覆盖。 只有具有"密钥"或访问特权的便携式媒体播放器110的用户可以监视这些移动对象。"密 钥"可以与用户相关联，或者可以驻留在便携式媒体播放器110中。"密钥"或访问特权可 以被用在认证过程(虚拟握手过程或者可以包括更复杂的加密/生物度量识别过程)中。 这些"密钥"或访问特权可以被提供给已经向全景视频图像的提供者提供了报酬(金钱或 其他)的用户以获准访问以监视这些移动对象。 参考图2，部分206在一球员上并且用户可以跟踪该球员的运动。
3)音频的定制 便携式媒体播放器110还允许用户在观看视频图像时并入选择的音频输入(音 轨，soundtrack)。例如，如果用户不希望听到从受监视区域拾取的原始声音或者除了原始 声音之外还希望包括额外音频输入，用户则可以选择使用例如音乐、声效、气氛烘托音乐、 语音解说等等。便携式媒体播放器110可以包括至少一个具有不同文件格式的音乐、声效、 气氛烘托音乐等的数据库。用户可以在观看视频图像的同时、在任何时刻并入音频输入。与 语音解说相关地，用户可以利用包括在便携式媒体播放器110中的麦克风来记录语音解说 (可能作为*. wav文件)并同时将解说与视频图像合并。 应该意识到，只有具有全部内容选择/布置权利的用户才能将解说与视频图像合 并并发送到其他用户。语音解说可以在处理单元104处与视频图像封装在一起，并被发送 到其他便携式媒体播放器110以被便携式媒体播放器110的各个用户所使用。选择的音频 输入可以与时间点(junctureof time)相关地被标记到视频图像。因此，用户能够将视频 图像与至少一个自定义的选择的音频输入一起观看。
4)可视索引的包括 便携式媒体播放器110还允许用户在观看视频图像时并入选择的可视索引。例 如，如果用户希望改变受监视区域的一部分的视觉外观，用户则可以选择包括关于他的选 择的可视索引(例如，文本、动画效果、视频效果、图标等等)。便携式媒体播放器iio可以 包括至少一个文本字体、动画效果、视频效果、图标等的数据库。用户可以在观看视频图像的同时、在任意时刻并入可视索引。用户可以利用包括在便携式媒体播放器110中的至少 一个输入设备来制作/选择可视索引并同时将可视索引与视频图像合并。因此，用户可以 将视频图像与至少一个自定义的选择的可视索引一起观看。可视索引还可以包括可以将用 户定向到流的另 一部分的超链接。 参考图2，部分208示出文本210和图标212被包括到视频图像中的示例。
便携式媒体播放器110还具有存储装置，该存储装置使得定制的/交互后的接收 的图像能够被存储以供回放或重传。定制的/交互后的接收的图像可以作为数字文件来存 储或重传，所述数字文件还可以在不同于便携式媒体播放器110的设备(例如具有较少处 理能力的老式媒体播放器)上被回放。 根据该优选实施例，用户可以完全控制他希望看和听的事物，从而允许娱乐达到
新高度。 所描述的实施例不应该被理解为限制性的。例如，取决于应用，受监视区域可以是 任意区域。例如，如果所述实施例被用于现实TV，则受监视区域可以是节目的场景。
虽然已经完全描述了本发明，但是本领域普通技术人员应该意识到，在不脱离权 利要求的范围的情况下可以进行很多修改。
权利要求
一种定制实况媒体内容的方法，所述实况媒体内容包括受监视区域的至少一个经矫正全景视图，所述全景视图具有供用户选择的多个部分，所述方法包括i)接收具有音频和视频的实况媒体，该实况媒体被交织和/或压缩成单流数据；ii)接收对所述全景视图的多个部分中的一个部分的选择；以及iii)基于对所述全景视图的一个部分的所述选择来定制所述实况媒体以进行显示。
2. 如权利要求1所述的方法，其中，至少一个全景视图是180。或360°的受监视区域。
3. 如权利要求1所述的方法，其中，所述单流数据包括访问控制，该访问控制限制所述 实况媒体的内容，并且所述方法还包括进行认证以确定访问权利；以及 如果准予访问权利，则释放所述实况媒体的内容。
4. 如权利要求1所述的方法，其中，所述用户是指定的内容选择者/布置者。
5. 如权利要求1所述的方法，其中，所述全景视图的所选部分包括移动对象，所述方法 还包括配置所述所选部分来在所述受监视区域内跟踪所述移动对象。
6. 如权利要求1所述的方法，还包括基于用户的命令来编辑/修改/改变所述实况媒 体的内容。
7. 如权利要求6所述的方法，还包括添加选择的音频输入并播放该选择的音频输入， 其中，所述音频输入是从如下群组中选择的音乐、声效、气氛烘托音乐和语音解说。
8. 如权利要求6所述的方法，还包括用选择的音频输入来替换与所述全景视图的所选 部分相关联的音频并播放所述选择的音频输入，其中，所述音频输入是从如下群组中选择 的音乐、声效、气氛烘托音乐和语音解说。
9. 如权利要求6所述的方法，还包括添加所述全景视图的所选部分的可视索引并将所 述可视索引与所述全景视图的所述所选部分一起显示，其中，所述可视索引是从如下群组中选择的多种字体的文本、动画效果、视频效果和图标。
10. 如权利要求9所述的方法，其中，所述可视索引包括将用户定向到流的另一部分的 超链接。
11. 如权利要求1所述的方法，还包括将所定制的实况媒体作为能够在设备上回放的 数字文件来存储/重传。
12. 如权利要求l所述的方法，其中，所述实况媒体内容被以高清晰度格式捕获，并且 所述内容取决于接收设备的能力而在规模上被縮减。
13. 如权利要求12所述的方法，其中，以高清晰度格式对实况媒体内容的捕获允许对 所选部分进行放大以在无需进行实体定格动画的情况下呈现。
14. 一种用于定制实况媒体内容的系统，所述实况媒体内容包括受监视区域的至少一 个经矫正全景视图，所述全景视图具有供用户选择的多个部分，所述系统包括i) 接收器，用于接收具有音频和视频的实况媒体，该实况媒体被交织和/或压縮成单 流数据；ii) 处理器，用于接收对所述全景视图的多个部分中的一个部分的选择；并且所述处 理器被配置为基于对所述全景视图的一个部分的所述选择来定制所述实况媒体以进行显 示。
15. 如权利要求14所述的系统，其中，至少一个全景视图是180。或360°的受监视区域。
16. 如权利要求14所述的系统，其中，所述单流数据包括 访问控制部分，其限制所述实况媒体的内容，该访问控制部分被配置为 进行认证以确定访问权利；以及 如果准予访问权利，则释放所述实况媒体的内容。
17. 如权利要求14所述的系统，其中，所述用户是指定的内容选择者/布置者。
18. 如权利要求14所述的系统，其中，所述全景视图的所选部分包括移动对象，所述系 统还被配置为在所述受监视区域内跟踪所述移动对象。
19. 如权利要求14所述的系统，还包括用于基于用户的命令来编辑/修改/改变所述 实况媒体的内容的装置。
20. 如权利要求19所述的系统，还包括用于添加选择的音频输入并播放该选择的音频 输入的装置，其中，所述音频输入是从如下群组中选择的音乐、声效、气氛烘托音乐和语音 解说。
21. 如权利要求19所述的系统，还包括用于用选择的音频输入来替换与所述全景视图 的所选部分相关联的音频并播放所述选择的音频输入的装置，其中，所述音频输入是从如 下群组中选择的音乐、声效、气氛烘托音乐和语音解说。
22. 如权利要求19所述的系统，还包括用于添加所述全景视图的所选部分的可视索引 并将所述可视索引与所述全景视图的所述所选部分一起显示的装置，其中，所述可视索引 是从如下群组中选择的多种字体的文本、动画效果、视频效果和图标。
23. 如权利要求22所述的系统，其中，所述可视索引包括将用户定向到流的另一部分 的超链接。
24. 如权利要求14所述的系统，还包括用于将所定制的实况媒体作为能够在设备上回 放的数字文件来存储/重传的装置。
25. 如权利要求14所述的系统，其中，所述实况媒体内容被以高清晰度格式捕获，并且 所述内容取决于接收设备的能力而在规模上被縮减。
26. 如权利要求25所述的系统，还包括用于在以高清晰度格式对实况媒体内容的捕获 期间对所选部分进行放大而无需进行实体定格动画的装置。
全文摘要
本发明提供了一种定制实况媒体的方法，该实况媒体包括受监视区域的至少一个经矫正全景视图。所述全景视图可以具有供用户选择的多个部分，所述方法包括接收具有音频和视频的实况媒体，该实况媒体被交织和/或压缩成单流数据；接收对全景视图的多个部分中的一个部分的选择；以及基于对全景视图的一个部分的选择来定制实况媒体以进行显示。用于定制实况媒体内容的系统也被公开。
文档编号G06T3/00GK101796541SQ200880105413
公开日2010年8月4日 申请日期2008年9月4日 优先权日2007年9月5日
发明者李泰齐, 沈望傅 申请人:创新科技有限公司