自适应内容呈现的制作方法

自适应内容呈现的制作方法
【专利摘要】描述了一种在观看环境内操作客户端设备的方法。所述方法包括：在客户端设备处接收内容；在与所述客户端设备可操作的通信的显示表面上通过将所述内容渲染为渲染内容来向观看者呈现所述内容；在所述客户端设备处接收参与数据，所述参与数据指示正在观看所述渲染内容的至少一个用户的与所述内容的参与度；以及根据所述参与数据通过改变所述内容如何被渲染在所述显示表面上来调适所述内容的呈现。还描述了相关系统、装置及方法。
【专利说明】自适应内容呈现
【技术领域】
[0001]本发明涉及一种客户端设备以及在观看环境内操作客户端设备的方法。更具体地，本发明涉及在可变观看环境中用于调适内容呈现的系统及方法。
【背景技术】
[0002]不断发展的显示技术、音频技术和家庭自动化技术为更逼真、身临其境、多样化和不断变化的媒体消费体验提供潜在性。期望大的、高分辨率、负担得起的家用“生活型显示表面”不久将在市场上可售。能通过薄或无边框可平铺面板技术(即，每个表面可包括一个或者多个显示器)实现的该显示表面(或者表面)或者高分辨率投影仪，可覆盖墙壁的主要部分或者整个墙壁。这些表面可由用户的个人显示器(或者伴随设备)以及从整个观看环境被添加和去除的其它显示器或者表面进行动态扩充。
[0003]在该显示表面上，即使当内容在超高分辨率(例如，7，680X4, 320像素)下可用时，多媒体内容全屏幕呈现也可能不适合于所有类型多媒体内容或者观看场景。例如，虽然在晚上看电影的观看体验可通过在昏暗照明下利用高动态范围环绕声音频的身临其境、大屏幕呈现来增强，但是该多媒体呈现对于吃早饭时想要与浏览新闻标题的一些人、看天气和交通报道的其他人以及观看他们喜爱的卡通动画的其他人共享显示表面的家庭可能不切实际。

【发明内容】

[0004]因此，根据本发明的实施方式，提供了一种用于在观看环境内操作客户端设备的方法，所述方法包括:在客户端设备处接收内容；在与所述客户端设备可操作的通信的显示表面上通过将所述内容渲染为渲染内容来向观看者呈现所述内容；在所述客户端设备处接收参与数据，所述参与数据指示正在观看所述渲染内容的至少一个用户的与所述内容的参与度；以及根据所述参与数据通过改变所述内容如何被渲染在所述显示表面上来调适所述内容的呈现。
[0005]此外，根据本发明的实施方式，所述内容在所述显示表面上的一定位置处被呈现，并且所述调适包括改变所述内容被呈现的所述位置。
[0006]此外，根据本发明的实施方式，所述内容在所述显示表面上以一定尺寸被呈现，并且所述调适包括改变所述内容被呈现的所述尺寸。
[0007]此外，根据本发明的实施方式，所述内容跨多个显示表面被呈现，并且所述调适包括改变所述内容被呈现在的所述多个表面中的哪个表面。
[0008]此外，根据本发明的实施方式，所述方法还包括在时间上同步所述内容跨所述多个显示表面的所述呈现。
[0009]此外，根据本发明的实施方式，所述多个显示表面之一包括主装置，并且所述多个显示表面中的其余显示表面包括从装置，所述从装置与所述主装置同步。
[0010]此外，根据本发明的实施方式，调适所述内容的呈现包括通过改变以下中的一个或者多个来改变所述内容的音频呈现:音频电平、音频动态范围、音频位置、音频平衡。
[0011]此外，根据本发明的实施方式，调适所述内容的呈现还包括根据与所述内容相关联的元数据来调适所述内容的呈现。
[0012]此外，根据本发明的实施方式，所述元数据包括用于明确修改所述内容将如何被呈现的数据。
[0013]此外，根据本发明的实施方式，所述元数据包括呈现所述内容所用的物理尺寸。
[0014]此外，根据本发明的实施方式，调适所述内容的呈现另外包括改变所述观看环境的照明度。
[0015]此外，根据本发明的实施方式，渲染所述内容引起搜索查询的执行,所述搜索查询搜索上下文与所述内容相关的附加内容，并且调适所述内容的呈现还包括同时渲染所述附加内容与所述内容。
[0016]此外，根据本发明的实施方式，调适所述内容的呈现另外包括调适所述附加内容的呈现。
[0017]此外，根据本发明的实施方式，所述参与度通过分析以下中的至少一个来确定:在所述观看环境中不是由于呈现所述内容而引起的音频信号；在所述观看环境中所述观看者的位置；所述观看者的注视方向；所述观看者的运动程度；由所述观看者的远程控制设备的使用；由所述观看者先前观看的内容；所述内容是否为直播观看或者回放记录；在呈现所述内容期间的观看者行为；用户与其它电子设备的交互；一天中观看所述内容的时间。
[0018]此外，根据本发明的实施方式，所述参与度从由所述观看者输入的明确限定所述参与度的数据来确定。
[0019]此外，根据本发明的实施方式，所述方法还包括将对所述内容如何呈现于所述显示表面上的表示传输给与所述客户端设备可操作的通信的手持式设备；并且将所述表示显示于所述手持式设备上。
[0020]此外，根据本发明的实施方式，所述表示包括到上下文与所述内容相关的其它内容的链接，所述方法还包括接收由所述观看者对所述链接的选择；在接收到所述选择时发送对所述其它内容的请求；接收所述其它内容；并且将所述其它内容呈现给所述观看者。
[0021]此外，根据本发明的实施方式，所述方法还包括:从所述另外的手持式设备接收消息，所述消息指示所述观看者已经修改所述表示；并且响应于所述消息，进一步调适所述内容在所述显示表面上的呈现。
[0022]此外，根据本发明的实施方式，所述方法还包括:从与所述客户端设备可操作的通信的家庭自动化系统接收与所述内容无关联的家庭自动化输入；并且响应于所述家庭自动化输入，调适所述内容的呈现。
[0023]此外，根据本发明的实施方式，响应于家庭自动化输入来调适所述内容的呈现包括中断所述内容的呈现以呈现所述家庭自动化输入。
[0024]此外，根据本发明的实施方式，中断所述内容的呈现只有在所述参与度小于中断阈值时才发生。
[0025]此外，根据本发明的实施方式，所述内容包括多个内容分量,每个内容分量在一定位置处并以一定尺寸被呈现于所述显示表面上，并且调适所述内容的呈现包括改变所述多个内容分量中的至少一个的位置和/或尺寸。[0026]根据本发明的又一实施方式，还提供了一种在观看环境内可操作的客户端设备，所述客户端设备包括:用于接收内容的装置；用于在与所述客户端设备可操作的通信的显示表面上通过将所述内容渲染为渲染内容来向观看者呈现所述内容的装置；用于接收参与数据的装置，所述参与数据指示正在观看所述渲染内容的至少一个用户的与所述内容的参与度；以及用于根据所述参与数据通过改变所述内容如何被渲染在所述显示表面上来调适所述内容的呈现的装置。
[0027]根据本发明的另一实施方式，还提供了一种载体介质，承载计算机可读代码，用于控制合适的计算机来执行如上所述的方法。
[0028]根据本发明的又一实施方式，还提供了一种载体介质，承载计算机可读代码，用于将合适的计算机配置为如上所述的客户端设备。
【专利附图】

【附图说明】
[0029]结合附图根据以下详细描述，将更充分地理解和明白本发明，其中:
[0030]图1为根据本发明实施方式的观看环境的简化示意平面图；
[0031]图2为图1中观看环境的前部的简化示意横截面图；
[0032]图3为图1中观看环境的后部的简化示意横截面图；
[0033]图4为根据本发明实施方式的体系结构的简化示意图；
[0034]图5为根据本发明实施方式的呈现映射(map，图)方案的简化示意图；以及
[0035]图6为根据本发明实施方式的与呈现映射对应的一些实例性布局的简化示意图；
[0036]图7为根据本发明实施方式的由布局算法生成的一组实例性得分布局；
[0037]图8为根据本发明实施方式的体系结构的简化示意图；
[0038]图9示出了当在多个显示表面上显示内容时的潜在同步问题；
[0039]图10为根据本发明实施方式的体系结构的简化示意图；
[0040]图11为根据本发明实施方式的消息流的示意图；
[0041]图12为根据本发明实施方式的在多个显示表面上显示视频和图形的简化示意图；以及
[0042]图13至图31涉及根据本发明实施方式的观看者透视校正的方法及系统。
【具体实施方式】
[0043]现参考图1至图3，图1至图3示出了家用观看环境101的各种视图。图1示出了家用观看环境101的平面图。图2示出了环境101沿着线X-X的截面图(即，环境101的前壁视图)。图3示出了环境101沿着线Y-Y的截面图(S卩，环境101的后壁视图)。
[0044]观看环境101包括:座位103/105/107 ;桌子109 ;电子/远程可控灯111/113 ;以及窗115/117，分别具有电子/远程可控窗帘116/118。灯111/113和窗帘116/118通常经由豕庭自动化控制系统(未不出)控制。
[0045]可操作为输出显示内容的客户端设备(例如，机顶盒(STB)或其它音频/视频渲染设备，诸如集成接收器/解码器(IRD);PC ;服务器等)也包括在观看环境101中(但未示出)。
[0046]可由客户端设备接收且显示的内容范围通常包括但不限于:音频/视频(AV)内容(例如，以常规调度传输形式或者以视频点播(V0D)、近视频点播(NV0D)或流传输形式)；家庭自动化内容和提要(例如，照片、家里网络摄像头和监视器等)；在线媒体内容(例如，视频、新闻和社交提要等);消息传送(例如，电子邮件、即时消息等);内容元数据(例如，DVB-SI元数据、TV Anytime元数据等)。可由客户端设备接收的其它内容形式对于本领域技术人员将是显而易见的。
[0047]由客户端设备接收的内容通常经由通信网络从一些内容源接收，诸如:基于卫星的通信网络；基于电缆的通信网络；传统地面广播电视网络；基于电话的通信网络；基于电话的电视广播网络；基于移动电话的电视广播网络；互联网协议(IP)电视广播网络；以及基于计算机的通信网络。在替代性实施方式中，通信网络可通过单向或双向混合通信网络(诸如组合电缆-电话网络、组合卫星-电话网络、基于组合卫星-计算机的通信网络)或者通过任何其它适当网络来实现。在一些实施方式中，内容可在网关设备处从内容源接收，所述网关设备连接到上述通信网络中的一个或者多个并且将经由这些通信网络接收的内容分发到客户端设备。某些类型内容(例如，家庭自动化内容)通常经由局域网(例如，家庭网络)接收，有时直接通过客户端设备接收，且有时经由网关设备接收。
[0048]在本实施方式中，客户端设备输出到投影仪119，所述投影仪119然后将输出视频显示在观看环境101的前壁的区域121上。可替代地，客户端设备可输出到安装于前壁上的单一、非常大的显示屏幕或者安装于前壁上的可平铺、多屏幕显示系统。(应当注意，根据本发明某些实施方式的系统也可与传统/现有显示技术一起使用)。
[0049]客户端设备还可操作为将音频输出到安装于观看环境101前后处的具有扬声器123/125/127/129/131的多信道音频系统。该音频系统通常经由音频控制系统(未示出)来控制。
[0050]可操作为捕捉观看环境视图的传感器133/135也安装于观看环境101前后处，两者都从上区121观察环境，并且从环境101后面向着区121。在本实施方式中，传感器133/135 (例如，来自Microsoft?的Kinect?传感器)通常为水平杆，所述水平杆连接到具有机动枢轴的小基座，然而，其它形式的传感器也可行。
[0051]在其它实施方式中，传感器可安装于观看环境中的任何处，并且变换函数(使用缩放、平移和旋转函数)可用于作出等同于先前所述设置的这种设置，其中，传感器放置于观看环境前后处。
[0052]在其它实施方式中，传感器可集成到其它设备中，诸如手持式设备，包括智能电话、笔记本计算机、平板计算机等。
[0053]传感器，通常经由传感器控制系统(未示出)来控制，通常其特征在于以下一些或者全部:相机(通常为RGB相机)、深度传感器和麦克风(通常为多阵列麦克风)，分别提供全身3D运动捕捉、面部识别和语音识别功能中的一些或者全部。深度传感器通常由红外激光投影仪结合单色CMOS传感器组成，所述单色CMOS传感器在任何环境光条件下捕捉3D视频数据。深度传感器的感测范围通常可调整，并且软件能够基于用途和物理环境自动校准传感器，适应家具的存在(例如，座位103/105/107/109、桌子109或者其它障碍物)。
[0054]软件技术(例如，分析软件，诸如OpenNI中间件(http://www.0penn1.0rg/)、OpenCV 库(http://opencv.willowgarage.com/wiki/)、CMU Sphinx 工具包(http://cmusphinx.sourceforge.net/))能实现高级姿势识别、面部识别和语音识别并且能够同时跟踪多达6人。[0055]客户端设备也可操作为连接到互联网并且经由合适网络技术(例如，WiFi)与一个或者多个伴随设备(例如，在桌子109顶部看到的伴随设备137)进行通信。伴随设备137通常包括智能手机、平板计算机、笔记本计算机等或者其它手持式设备。该网络技术也使客户端设备能够与灯111/113和窗帘116/118进行通信并且经由家用自动化控制系统控制灯111/113 和窗帘 116/118。
[0056]客户端设备通常包括数字视频记录器(DVR)或者与数字视频记录器(DVR)相关联，所述数字视频记录器(DVR)通常包括高容量存储设备，诸如高容量存储器，其使客户端设备能够将所接收AV内容的至少一些记录于所述存储设备中并且依据用户裁定，有时由用户选择，以及根据用户偏好和由用户定义的参数来显示所记录的AV内容。DVR也通常能实现可提高用户观看体验的各种特技模式，诸如，例如快进或快退。
[0057]客户端设备通常经由输入接口从输入设备接收用户输入，所述输入设备由用户操作，诸如远程控制，或者运行合适控制应用程序的手持式伴随设备137。
[0058]图4示出了在单个表面家用观看环境情形下的上述关于图1至图3的客户端设备。客户端设备401托管两个功能:布局管理器403;以及表面渲染器405。响应于观看特定内容项目的用 户请求，布局管理器403确定内容项目在显示表面406上的布置。用户请求通常经由伴随设备137产生，如上所述。从内容和元数据源404接收的内容通常包括但不限于:音频/视频(AV)内容(例如，以常规调度传输形式或者以视频点播(V0D)、近视频点播(NV0D)或流传输形式)；家庭自动化内容和提要(例如，照片、家里网络摄像头和监视器等)；在线媒体内容(例如，视频、新闻和社交提要等);消息传送(例如，电子邮件、即时消息等);内容元数据(例如，DVB-SI元数据、TV Anytime元数据等)，如上所述。表面渲染器405在布局管理器403控制下将内容渲染到显示表面上。客户端设备也与家用自动化控制系统407和音频控制系统409进行通信，均如上所述。
[0059]根据本发明的实施方式，客户端设备可操作为根据几个因素对于内容呈现进行调适，包括内容元数据；观看环境101的实时分析；用户控制；等。现将更详细描述这些因素。
[0060]现将描述内容元数据可以如何用于调适内容呈现的例子:
[0061]例如，所呈现视频的位置和尺寸、音频电平、音频动态范围、环境照明度均可根据与所呈现内容相关联的元数据进行修改:
[0062]?类型(例如，在全屏幕上呈现电影内容，或者以更小尺寸(即，子全屏幕)呈现新闻或时事节目内容)等
[0063]?家长分级(例如，针对对于在观看环境中检测到的观看者具有家长分级差别的内容，对视频缩小尺寸、隐藏或应用模糊滤波，适当地减少、消音或减音音频电平等)(例如，如果具有家长分级12的内容正在呈现给十岁观众，那么模糊视频可以接受，但是具有家长分级18的内容完全隐藏)。
[0064].观看者收藏夹/首选项(例如，其中，用户已经表示首选特定内容主题(例如，演员名单内的喜爱演员、喜爱运动队、喜爱乐队、喜爱节目/电影/电视剧等)，每当这经由内容元数据发信时，内容可在更加身临其境的模式中呈现(例如，缩放以占据更大屏幕面积，且音量巧妙地增加))。
[0065]所呈现视频的位置和尺寸、音频电平、音频动态范围、环境照明度均可根据特定授权的呈现元数据进行修改。例如，内容创建者或广播者可编写且插入元数据以明确修改或者控制特定内容呈现的方面(例如，在区121中渲染视频的最小、最大或明确的物理尺寸，首频动态范围等)等。
[0066]所呈现视频的位置和尺寸可自适应地容纳其它(通常上下文相关的)内容的同时屏上呈现，包括但不限于:
[0067].导航和发现用户界面和/或电子节目指南(EPG)；
[0068].字幕显示/隐藏字幕；
[0069].贴标/条幅/其它数字屏上图形(dog)；
[0070]?相关网页；
[0071].广播或在线互动(例如，‘红色按钮’)应用；
[0072].社交网络相关主题提要(例如，与内容主题标签或者屏幕上演员/主持人相关联的Twitter提要)；等。
[0073]该内容可以呈现各种格式，包括但不限于文本、RSS、光栅图形(例如，位图、JPEG、PNG)、矢量图形(例如，SVG)和交互式多媒体格式(例如，Adobe Flash、MicrosoftSilverlight、Java Applications 和 HTML5 及其各种相关联技术(例如，HTML、CSS、JavaScript^ WebGL 等))。
[0074]该上下文相关内容通常呈现编辑管理链接形式(即，对于上下文相关内容的特定项目的手动生成/批组链接)或者呈现搜索查询(在内容消费时执行)的形式，例如，twitter主题标签搜索、按关键字的一 般网页搜索、按关键字的YouTube搜索、按关键字的垂直搜索弓丨擎搜索等。这些上下文相关内容链接/查询可在数字电视广播复用内或者经由互联网使用标准网络服务技术以各种格式(例如，TV-Anytime)被交付。
[0075]本领域技术人员应当理解，许多其它元数据形式可用于调适内容呈现。在本发明某些实施方式中，元数据可由客户端设备实时分析。
[0076]现将描述观看环境101 (包括但不限于使用运行合适软件的传感器133/135)的实时分析可以如何用于调适内容呈现的例子:
[0077]可确定对于系统已知的用户的存在和身份，并且内容呈现然后可自适应地反映特定用户的个人偏好(例如，当他们正在观看屏幕时示出特定用户的社交网络提要；或者根据由特定用户设置的偏好对于所呈现视频的尺寸、音频电平、音频动态范围、环境照明度等进行调适等)。
[0078]可确定观看环境101中观看者的位置，并且所呈现内容的定位和缩放可对于所述观看者视情况来调适(例如，在观看位置正对面呈现内容，使得所呈现内容的定位将取决于观看者是否从座位103、座位105或座位107等观看)。更多细节现将在下文中进行描述。
[0079]应当理解，如果内容简单缩放以适合可用显示表面面积(例如，当在整个显示表面上呈现内容时；当多个内容项目共享显示表面时；等)，那么某些用户界面(UI)元素(诸如文本和线条)可能太小以致无法被观看者读取。
[0080]根据本发明的实施方式，观看环境101中观看者的位置(例如，观看者与显示表面的距离)可被确定并且用于计算最小文本或图形物理尺寸以确保观看距离下的易读性。系统可使用所计算的最小文本/图形尺寸和显示表面的物理分辨率来确保在于显示表面目标区域中呈现之前被缩放的任何图形和文本是易读的(即，大于所计算的最小尺寸)。如果不大于所计算的最小尺寸，那么图形不被缩放为低于所述最小尺寸，或者可触发内容重新布局，使得所有文本以所述最小尺寸进行渲染，这可能导致在显示表面目标区域内显示的内容量减少，但是确保观看者观看距离下的易读性。
[0081]观看者选择观看显示表面的距离经常取决于显示表面的尺寸。典型推荐观看范围如下表所示:
[0082]
表面尺寸(英寸)|推荐观看范围
223.0，-9.0，(0.9-2.7m)
263.5，-10.5，(1.0-3.lm)
324.0’ -13.0’ (L 2-4.0m)
?4.5’ -15.0’ (L 3-4.6m)
405.0’ -16.5’ (L 5-5.0m)
425.5’ -17.5’ (L 6—5.3m)
466.0’ -19.0’ (L 8-5.8m)
526.5’ -21.5’ (L 9—6.5m)
[0083]在本发明的实施方式中，如果与推荐观看者距离有任何偏差，那么可重新计算呈现尺寸。例如，如果观看者具有1920X1080像素分辨率的52’’显示表面并且观看者与屏幕比6.5’更接近，那么UI尺寸可减少，并且如果他与屏幕远离21.5’以上，那么UI尺寸可增加。其它用例包括:在较大显示表面上，可显示V0D目录菜单的更多选项，但是如果观看者与显示表面太近，那么可显示较少选项；在较大显示表面上，字幕文本尺寸可增加；等。
[0084]分辨率可作为独立分量整合到客户端设备的中间件中。
[0085]如果内容以HTML定义并且使用浏览器渲染引擎进行渲染，那么该重新渲染可通过适当使用缩放和文本尺寸样式来实现。
[0086]通过又一例子，在观看距离5m处，系统可判定良好易读性的最小物理文本尺寸为2cm，其中显示表面分辨率15像素/cm导致文本字形以高度30像素来渲染。当EPG网格缩放为以所需尺寸呈现时，文本字形小于2cm/30像素，因此EPG网格缩放为使得保持最小2cm高度文本，其中整个EPG网格在显示表面上占据比所需更多的空间，或者EPG网格重新渲染以适合显示表面目标区域，但是较少文本项目是以2cm高度。
[0087]在系统可识别单独观看者的情况下，每个观看者可在系统第一次使用时经历简单的屏上测试程序以建立个人视力(类似于用作眼睛测试基础的字母高度眼图)，而不是假设平均或缺省值。
[0088]越来越多地，各种不同版本的内容项目(例如，SD和HD)为联播，但也可以产生使用空间或SNR可缩放编码或者通过提供多比特率或分辨率ABR流而可用的内容的许多不同分辨率和品质版本。此外，当不需要时，例如，当内容正在以小尺寸呈现时，或者当观看者位于与屏幕相距较大距离时，或者当观看者未深入参与/沉浸在内容中时(例如，因为大显示表面主要用于另一任务),带宽低效地使用高品质、高分辨率、高比特率版本的内容。
[0089]根据本发明的实施方式，内容的适当分辨率可基于观看距离、呈现尺寸和参与度进行选择，由此这些因素用于判定细节程度，所述细节程度可用于判定将使用空间可缩放编码视频的哪个级别或者将使用ABR流的哪个比特率，使得高品质视觉体验得以保持。
[0090]了解观看距离、呈现尺寸和参与度使适当比特率或缩放尺寸的计算成为可能，例如如下:
[0091]该输入可转换为指示缩放尺寸或比特率品质的点得分:
[0092].屏幕尺寸:
[0093]ο小于24英寸=0点
[0094]ο 24英寸-40英寸之间=5点
[0095]ο大于40英寸=10点
[0096].与屏幕相距的距离(基于推荐观看范围，如上所述):
[0097]ο比推荐更近=0点
[0098]ο推荐=5点
[0099]ο比推荐更远=10点
[0100].观看者参与:
[0101]ο不在房间中=0点
[0102]ο观看但频道跳转/切换=5点
[0103]ο非常参与=10点
[0104]当观看者参与内容逻辑与(AND)屏幕分辨率为高逻辑与观看者不太接近屏幕(例如，30点)时，通常使用高比特率或缩放尺寸。当观看者未参与内容逻辑或(0R)屏幕分辨率为低逻辑或用户太接近屏幕(例如，输入点得分之一为0点)时，通常使用低比特率或缩放尺寸。
[0105]运动检测也可改变计算，例如，如果观看者正在火车、公共汽车、其它形式交通工具上或者步行中观看视频，那么高品质视频可能不需要。
[0106]当用户从输入得分的任何组合中达到10-20点之间时，可使用标准品质视频。
[0107]比特率或缩放尺寸通常经常重新计算以在每个时刻适当地获取用于观看者的内容。
[0108]如果输入之一在任何给定时间不可用，那么通常仍然利用可用输入得分来使用算法。
[0109]比特率或可缩放尺寸范围通常为从SD视频到超HD。
[0110]在替代性实施方式中，如果显示表面的尺寸和分辨率以及所述显示表面上所需呈现尺寸为已知，那么可判定使得无需上采样的最小分辨率，并且可选择适当分辨率的内容。如果呈现尺寸改变或者为动态，那么相同程序可以用于在连续基础上判定内容是否有更适当的分辨率。
[0111]如果观看者的观看距离连同他们视力值(已知或估计)一起为已知，那么这些模型可进一步细分。视力为观看者看见或解决细节的能力的措施(参见http://en.wikipedia.0rg/wiki/Visual_acuity)。鉴于了解观看距离和观看者的视力，系统可判定:[0112]?用户是否能自身解析显示表面的单独像素。如果观看者可解析，那么内容可如上所述来选择和呈现，即，使得不使用上采样；
[0113].如果观看者无法解析单独像素，那么有可能使用内容的较低分辨率版本并且对它进行上采样，因为没有点示出无法由观看者在他们观看距离处感知的细节。期望呈现尺寸与在他们观看距离处可分辨细节尺寸组合以判定呈现内容的最小分辨率；
[0114].观看者参与/沉浸的措施也可并入为使得如果观看者对于内容不十分关注，例如，如果内容不是主要屏幕上活动或者内容(或者实际上，如果系统检测到观看者已经离开房间一段时间)，那么系统可选择较低分辨率内容并且对它进行上采样: [0115].观看者视力模型也可用于估计可见编码伪像对于观看者将如何出现，并且在内容的多比特率编码可用的情况下，可用于判定在伪像并不不利地影响观看体验的情况下可使用的最低比特率编码。
[0116]用户的参与/沉浸程度可被确定且用于调适内容呈现。应当注意，指示用户参与的一些特定信号为内容特定，例如，参与用户在激动人心的体育赛事期间可以是体力活动和声音，而在电影期间则为相对静止和安静。为此，许多以下信号通常在当前观看内容情况下一起评估(例如，使用内容元数据，如上所述):
[0117]?观看环境101中的音频分析(通常不是由于内容呈现引起的音频)可用于判定(多个)观看者是否正在聊天，并且所述讨论是否关于所观看内容。这可包括:使用语音识别来判定已知为与所呈现内容相关的一组关键字中的任何一个是否已经发声(这些关键字可被明确编写和交付，或者可从可用内容元数据导出)，或者在内容中可能引起观看者反应的发信点(这些点通常会由内容创建者编辑创建)处分析室内音频电平，例如体育赛事内关键点(例如，进球得分、犯规等)、恐怖电影内悬疑/惊恐瞬间、动作电影内追逐序列等。
[0118].房间内(多个)观看者的位置(例如，它们越接近屏幕，参与的可能性越大；等)
[0119].(多个)观看者的注视方向(例如，他们是否眼睛睁大；他们是否大多数时间在看屏眷；等)
[0120].(多个)观看者随时间变化的运动程度(例如，他们是活跃的或者可能睡着了 ；等)
[0121].远程控制使用(例如，用户是否手持遥控器(可检测，例如，通过在远程控制中使用加速度计)；远程控制按钮近期是否按下；等)
[0122].过去用户历史(例如，通过使用先前观看内容的历史，可以预测当前呈现内容项目对于观看者是否可能感兴趣/参与；等)
[0123].内容性质(例如，用户可被假设为更加沉浸/参与在回放而不是直播观看的某些内容中；用户可被假设为较不沉浸/参与在早晨广播的内容中并且更多沉浸/参与在黄金时段观看期间广播的内容中；等)
[0124].用户行为(例如，用户是否参与激烈的频道切换/跳转；用户是否使用特技模式来浏览内容和/或广告；等)
[0125].与其它设备(诸如伴随设备137)的用户交互(例如，用户是否在个人设备上大量活动(通常可经由到所述个人设备的网络流量或者通过经由所述个人设备提供的信息来检测。))
[0126]例如，内容呈现然后可根据沉浸/参与度进行调适:
[0127].如果参与度为低，那么视频大小和音频电平可减少；替代性观看选择可呈现给观看者;等。
[0128].如果记录内容正在回放或者正在点播观看，那么呈现速度可改变以更快速地移过内容的较少沉浸/感兴趣/参与点；
[0129].当用户离开观看环境时，系统可自动增加音量并且适当地平衡声音(在可感知限度内)，所以，当他们已经离开观看环境时，用户仍可听见内容中的音频(例如，支持开放式生活环境，其中，与内容的一些‘接触’可以/预期在直接观看环境外部);
[0130].除判定哪些附加内容元素可以被示出外，沉浸程度也可在音频呈现(音量和动态范围)中反映，并且通过控制其它环境因素反映，诸如照明度；
[0131].沉浸程度也可改变观看者对于中断的容忍(例如，当用户完全沉浸时，那么可能有应当立即呈现的相对较少的中断源(例如，婴儿监视器音频超过阈值；亲密家庭的音频或视频通话；等))。系统可保持‘中断屏蔽’(或者中断阈值)，所述‘中断屏蔽’(或者中断阈值)映射到沉浸程度，使得只有相应中断源会中断观看体验(例如，较低优先级中断将呈现给用户，但呈现可能延迟到沉浸程度自然减少的点，例如，在电影结束时，或者在广告/商业广告插播期间，或者呈现可能为以更加微妙、较少干扰的方式，例如，使用小图标)。
[0132].内容呈现可需要调适以最佳呈现在特定显示表面上。例如:
[0133]ο因为显示表面可覆盖墙壁主要部分或者整个墙壁，所以不同观看者可具有尺寸和/或宽高比变化大的显示表面。表面上的内容布局优选利用可用空间。
[0134]ο由薄或无边框可平铺面板技术支持的显示表面或者高分辨率投影仪(可覆盖墙壁主要部分或者整个墙壁)通过显示匹配周围墙壁(虚拟壁纸)的图案可以无缝地融合到环境中，其中其它内容重叠或者合成到看似直接渲染在墙壁上的所述默认图案上。不同观看者通常会具有带特定图案和颜色的不同‘虚拟壁纸’。在某些实施方式中，内容(例如，文本或图形)渲染考虑到‘虚拟壁纸’背景中的颜色和/或图案，使得互补或对比颜色可用于提高内容易读性，或者避免严重冲突配色方案。可替代地，如果内容颜色接近于壁纸颜色，那么它可使用阴影或者在对比颜色区之上进行渲染以提高易读性。
[0135]观看环境101的声学和照明性质可被确定且用于调适内容呈现，即，鉴于系统具有视觉和音频传感器或者可包括一个或者多个伴随设备，所述一个或者多个伴随设备具有可监视观看环境的传感器，该系统可监视:
[0136]?观看环境中有多少背景噪声(例如，来自家用设备等)并且这随时间如何变化。诸如音频电平、音频动态范围等的性质随后可被调整为适于观看环境中的背景噪声。
[0137].观看环境中有多少环境光并且这随时间如何变化。诸如图像亮度和色彩平衡度的性质随后可被调整为适于观看环境中的环境光程度。
[0138].在显示表面正在示出重叠到‘虚拟壁纸’上的内容的系统中，改变环境光程度通常会改变真实墙壁在房间里的感知外观(例如，亮度、饱和度、色温)，并且当这发生时，系统可自动调整‘虚拟壁纸’的呈现以保持匹配，而不会影响显示表面上的其它内容(例如，视频)的呈现。响应于观看者沉浸，先前所述的视觉传感器可由系统用于在动态改变环境照明条件中保持真实与‘虚拟壁纸’之间的视觉平衡。
[0139].由于观看环境101的性质以及其内的扬声器的位置，在特定频率处是否有音频响应。系统随后可将补偿均衡应用于输出音频。
[0140]通常，用户也可根据他们自己的个人偏好来修改内容呈现，并且也可明确设置他们的参与度，例如通过控制所连接的伴随设备上的滑块，使用专用远程控制按钮，通过到语音识别系统的明确口述命令或者到基于姿势的系统的姿势。此外，用户也可定义对于给定参与度的内容呈现偏好。
[0141]通常，系统也能识别用户特定内容或者用户生成内容，并且随后调适内容呈现(例如，呈现最合适位置中的内容，使它位于主要显示表面、次要表面或者个人伴随设备上)。
[0142]应当记得，系统可控制视觉内容呈现(例如，尺寸、位置、亮度、色彩平衡等)；音频内容呈现(例如，音频电平、音频动态范围、音频位置、音频平衡等)；以及可变观看环境中的其它家用设备(例如，照明度、窗帘等)，即，一个共享表面或者个人或共享伴随设备在专用(ad-hoc)基础上可被添加到观看环境或者从观看环境中去除。现将在下文中提供更多细节。
[0143]问题存在于试图自动检测可能连接到相同布局管理器的多个显示表面的相对空间位置及定位。显示表面可以是不同尺寸或者类型，并且它们的定位可以是任意的，并且可以是非平面的。目前，在计算域内(其中PC和膝上型计算机可通过多个显示输出支持多个显示器以及跨越这些显示器的虚拟桌面)，用户手动配置系统以告知操作系统显示设备在哪里为相互关联。
[0144]应当记得，根据本发明的实施方式，客户端设备与传感器133/135处于操作相关联，所述传感器133/135可包括相机。相机可被设置为面向显示表面，使得连接到客户端设备的所有显示表面均落在相机视场内。
[0145]布局管理器通常保持连接到渲染器的显示表面的物理位置和取向的映射。
[0146]启动时，并且随后每当布局管理器检测新显示表面渲染器的连接时，客户端设备输出独特、易于识别的影像到新连接的显示表面渲染器。布局管理器使用来自相机的信号来识别影像位置和取向(即，旋转)，并且可使用所识别影像位置和取向来更新其表面映射。
[0147]如果相机轴不正交(S卩，垂直)于显示表面，那么相机信号内的影像通常进行投影变换。
[0148]使每个影像的投影变换不同可指示非平面显示表面。如果系统知道观看(多个)显示表面所在的位置，那么它可透视校正(通过判定并且应用补偿投影变换)非平面屏幕上的显示影像。下文中提供更多细节。
[0149]在布局管理器识别显示表面为相邻的情况下，它可为用户提供跨这些相邻显示表面缩放呈现内容的能力。它仍可使用非相邻显示表面来示出其它应用或内容或者与其它显示表面上的应用或内容相关的应用或内容。
[0150]布局管理器也可使用表面映射来计算出如何使在与每个显示表面相关联的所有可用扬声器之间的内容音频矩阵化(mix);例如，如果有两个相邻显示表面，每个显示表面具有立体声扬声器，并且内容具有5.1环绕声音频，那么客户端设备可将前左信道映射到左显示器的左扬声器，将前右信道映射到右显示器的右扬声器，并且将中心对角信道映射到左显示器的右扬声器和右显示器的左扬声器，所有均处在适当水平。
[0151]相机也可用于另外功能，诸如:校准显示表面，使得显示特性良好匹配(例如，调整亮度、黑度和色温)；如果校准不可行，那么补偿输出，使得内容在视觉上跨不同显示表面良好匹配；识别由于每个显示表面中的不同延迟而导致的时序差异，并且在视频输出中引入补偿延迟，使得跨所有表面的呈现很好地同步；等。[0152]应当理解，可平铺显示表面(如上所述)可由用户重新配置，即，一个或者多个平铺块(tile)可被添加到现有显示表面以使它更大，或者被删除以提供待用于另一目的的更小次要显示表面(在用户大腿上观看内容，或者考虑另一房间/观看环境)，但是仍然保留原始显示表面可使用(尽管更小)。
[0153]布局管理器的问题在于管理跨显示表面的内容:即，客户端设备可如何判定平铺块在所述可平铺显示表面中的相对位置，并且然后将内容呈现调适为动态配置变化。
[0154]根据本发明的实施方式，该系统包括:多个可平铺显示表面(或者‘平铺块’)，可被排布为形成一个或者多个较大显示表面群组；布局管理器，管理跨每个表面群组的内容布局；以及一个或者多个渲染器，响应于布局引擎，每个渲染器驱动一个或者多个显示平铺块。每个平铺块可另外具有扬声器；具有电池以支持便携式使用；具有取向传感器；并且支持用户触摸交互。
[0155]布局引擎通常具有到每个渲染器的双向连接，渲染器转而具有到它驱动的每个平铺块的双向连接，这通常将是无线的以减轻动态重新配置(例如，WirelessHD, WiGig、WHD1-rf* ) ο
[0156]每个渲染器能通过合适协议发现它连接的独特可寻址平铺块，并且请求每个平铺块反过来报告其(多个)邻居的身份(对于矩形或者正方形显示平铺块，将有多达四个邻居，四个邻居可被描述为基本点，例如，北、东、南、西)。
[0157]一旦渲染器已经获取所述‘邻居’信息，则它可将该信息回报给布局管理器，该布局管理器将构建较大显示表面群组及每个表面群组的整个边界内的每个平铺块的相对位置和取向的‘映射’。布局管理器然后可管理整个布局，使得适当内容(视频、图形(例如，EPG或交互应用)、音频等)渲染在每个表面群组上，其中每个渲染器渲染每个单独平铺块的正确内容，并且渲染像素/音频样本被发送到正确平铺块进行显示。
[0158]如果平铺块具有扬声器，那么音频信道可被矩阵化(路由)到面板中的特定边缘或位置；例如，如果在具有立体声扬声器的群组中有两个平铺块，并且内容具有5.1环绕声音频，那么它可将前左信道映射到左平铺块的左扬声器，将前右信道映射到右平铺块的右扬声器，并且将中心对角信道映射到左平铺块的右扬声器和右平铺的左扬声器，所有均处在适当水平。
[0159]当用户分开、加入或者重新取向显示平铺块或者平铺块群组时，所关注的平铺块将这报告给渲染器，回报给布局引擎，这将更新其表面平铺块的映射。它然后将适当地调适其布局。
[0160]假设一个或者多个内容项目正在被渲染到显示群组(其为与桌面上windows或者应用程序、EPG和STB上的视频对应的典型内容渲染模型)内的矩形区中，那么以下模型可用于判定当显示表面群组被拆分时会发生什么:
[0161]?如果单个内容项目(例如，视频、EPG、交互应用)正在被全屏示出于原始显示表面群组上，那么在分开时，相同内容呈现于显示表面群组及每个群组上的渲染全屏幕(或者尽可能接近全屏)两者上。因为内容和显示宽高比可能不匹配，所以在带走的新显示表面群组重新取向的情况下，90度旋转可能是适当的。
[0162].如果多个内容项目排布于原始显示表面群组上，那么在每个项目分开时:
[0163]ο如果项目基 本保留在拆分一侧上，那么在拆分之后它将保持其在单个显示表面群组上的原始位置。
[0164]ο如果项目横跨拆分，那么它被‘克隆’到两个显示表面群组上。
[0165]在这些后者情况中的任一情况下，内容在每个新显示表面群组上的重新布局可能适于最佳利用可用显示表面区域(自动或者用户发起)。
[0166]上文提到的重新布局过程通常会涉及将每个可见内容项目区排布于显示表面群组内，使得:
[0167].每个的尺寸最大化(受制于任何约束,例如,视频最大尺寸、基于文本的应用的最小尺寸以保持易读性)
[0168].自由空间最小化[0169]?没有内容区重叠
[0170]布局算法也可针对项目而给予相对优先级(例如，待呈现为最大的视频，然后字幕区等)。
[0171]用户可在分开之前或者之后能够将内容区直接排布于显示表面群组上(例如，如果平铺块具有触摸式接口)。
[0172]可替代地，内容是否被映射到单个或两个显示表面群组的行为可被预先判定(例如，根据公告的用户偏好，例如，总是将所有内容克隆到两个显示屏幕群组上)。
[0173]当两个显示表面群组连接时，则默认行为可以是‘无屏幕重新布局’(除非显示屏幕群组之一在连接时已经被重新取向)。如果所连接的显示表面群组正在示出相同内容项目，那么这些中的每个可一起合并成单个实例，有可能显示于新较大显示表面群组上的较大区域中。
[0174]对于具有扬声器的平铺块，音频信道通常在配置更改上被适当地重新映射。
[0175]当平铺块连接时，布局管理器和渲染器也可匹配跨所有平铺块的任何显示设置以避免显示表面群组中平铺块之间的任何视觉差异，例如亮度、对比度等。
[0176]系统通常也响应于外部输入(例如，家庭自动化视频提要、婴儿监视器、电话、即时通讯、社交网络和新闻提要、论坛、影像等)，确定显示与所述外部输入相关的信息的适当方法，并且根据用户的沉浸/参与度及交互性来调适当所述外部输入被接收时播放的内容呈现。
[0177]也用于控制沉浸程度，并因而调适内容呈现，伴随设备137还能使与显示表面上呈现的内容交互成为可能。例如，伴随设备137可示出排布于表面上的内容的‘模拟’表示，其中布局信息能使所述模拟表示在合适连接上从显示表面被传送，例如，在WiFi连接上运行的网络套接字协议。到互联网内容的链接可以包括在所述布局信息中，当被选定(通过触摸、点击、以其它形式与伴随设备137交互等)时，所述链接将在浏览器或者也在伴随设备137上运行的其它合适应用程序中呈现所链接的互联网内容。例如，在显示表面上，新闻标题可接近新闻节目视频被呈现。在伴随设备137上模拟的这些标题的表示可被选择，其中到相关在线新闻故事的链接在浏览器中被呈现。所述链接也可包括到交互应用的链接，诸如投票和评价、电视节目的社交网站和网页、提供推销购买项目的商业网站等。所述模型也允许并行具有多个用户，但是与显示表面上的内容单独交互；每个通过它们自己的伴随设备。可替代地，在伴随设备137上运行的增强现实应用程序可用于当伴随设备被指在表面上时覆盖到互联网内容的链接。[0178](多个)观看者也可利用(多个)伴随设备来修改内容分量呈现。例如，(多个)伴随设备可用于删除内容中不想要的分量，或者以(多个)观看者找到优选的方式重新排列所呈现内容。这些动作通常产生发送到布局管理器的消息，所述布局管理器采取适当动作，相应地修改布局。在这种情况下，布局管理器可选择为记住这些变化，并且当将来显示相同内容时反映它们。
[0179]在本发明的某些实施方式中，该系统通过定义一组呈现映射来进行操作。呈现映射包括内容分量/元素和呈现设置的列表，例如，所述列表描述:
[0180].屏幕上特定视觉内容元素的(优选)位置和尺寸(包括这些视觉内容元素究竟是否显示)，包括:AV内容；与所呈现内容上下文相关的其它内容；可能与所呈现内容上下文不相关但用户希望可用的内容(例如，信息和社交网络提要、家庭自动化内容等)；可由用户请求的内容等。
[0181].音频源的音量、动态范围和位置；
[0182].其它可控环境参数，例如，照明度、窗帘状态；
[0183]?响应反应和呈现变化，响应于与主要内容源不连接的家庭自动化(和其它)输入；
[0184].呈现分量的优选目的地(例如，主表面、次表面(参见下文)、(个人)伴随设备等)。
[0185]每个内容项目通常与呈现映射相关联，并且每个呈现映射通常具有对于适于内容项目的不同用户沉浸/参与度而定义的呈现设置。这如图5所示。单个呈现映射由多个内容项目引用也是可行的。
[0186]被称为布局管理器的客户端设备的组件确定哪个单个呈现映射在任何时间点是活动的。许多可行输入由布局管 理器连续评估以确定哪个呈现映射是活动的。所述输入包括但不限于:内容；内容类型；用户；白天时间；显示表面配置；用户沉浸/参与度；用户偏好；用户输入；观看者抵达/出发等，如上所述。
[0187]一旦呈现映射是活动的，那么布局管理器使用标量变量i，表示(多个)观看者的沉浸程度，以确定将使用哪个特定呈现设置。变量i通常根据以下不断被重新评估和变化:
[0188].现有和呈现特定创建的内容元数据；
[0189]?观看环境101中所检测到的(多个)观看者的沉浸程度(例如，通过头位置和定位、声音级、关键字语音检测等，如上所述);
[0190].学习用户偏好(例如，通过观察当给定呈现映射为活动时，特定用户往往总是使用相同设置)；
[0191].直接用户输入(例如，远程i+/i_按钮，允许用户明确定义他们的沉浸/参与度；滑块(如上所述)；或者调用指南，所述指南可强迫i为适当水平，其包括指南呈现；等);
[0192].白天时间(例如，对于深夜观看的参与度通常可比对于傍晚观看更高，等)；
[0193].观看者抵达或离开；等。
[0194]图6示出了与一系列呈现映射相对应的一些实例性屏幕布局，并且示出了可见屏幕上面板的尺寸和位置随沉浸程度i如何变化，其中i=0表示零或者非常低的沉浸程度，并且其中，与所呈现视频内容的沉浸/参与度随着增加i而增加。
[0195]当i变化改变呈现设置时，或者当改变呈现映射时，布局管理器通常作出平滑过渡(例如，动画)。当系统与从多个连续可平铺显示屏幕构建的表面一起使用时，其中每个屏幕具有在其边缘周围的边框，布局管理器通常作出屏上内容实际位置调整，使得内容不会不必要地跨越任何边框。
[0196]在替代性实施方式中，布局管理器与一个或者多个简单呈现映射一起动态工作，其中仅指定最小尺寸和所需位置(顶部、左、右、底部、中心)，而不是指定对于所有给定沉浸程度的每个屏上面板的明确尺寸和位置。每个简单呈现映射包括对于系统的特定用户的屏上面板。在本实施方式中，布局算法然后通常如下工作:
[0197]1.面板分成列表，使得更重要的面板位于列表开始处，并且不太重要的面板位于列表结束处。
[0198]2.第一面板放置于其所需位置中。所需位置以顶部、底部、左、右或中心方面被指定。
[0199]3.屏幕的未使用区域随后被寻求和找到。
[0200]4.试图将列表上的下一个面板放置于第一面板的上面、下面、左面或右面。对于具有足够未使用区域的每个位置，放置该面板。
[0201]5.在每一个可行位置中，对于列表上的每个面板，递归地重复步骤3和4。
[0202]6.在递归的每一步骤处，将面板布局添加到布局候选者列表，丢弃重复。
[0203]7.在递归结束处，布局面板(布局候选者)通常有一系列可行方式。可以理解，布局候选者中的一些将不会包括所有面板，因为它们没有足够自由区域来被放置。
[0204]8.每个布局候选者被给予得分。通常，得分受到以下影响:面板是否存在于候选者布局中；面板是否位于水平或垂直线中；作为另一面板的“子面板”的面板是否接近于其母面板(例如，字幕为针对字幕所属于的视频的视频面板的子面板)；等。
[0205]9.具有最高得分的布局候选者被选定为布局。
[0206]当系统有多个用户时，上述布局算法可用于将屏幕区域指派给每个用户。布局算法用于为每个用户指派屏幕区域并且重复布局算法，将每个用户面板放置于指派给所述用户的屏幕区域中。所述方法优点在于，允许基于相同动态沉浸的布局算法在单独用户利益之间和在用户相对优先级之间调适。
[0207]本领域技术人员应当理解，其它功能等同算法也可行。
[0208]图7示出了由所述算法生成的一组实例性得分布局。所述算法试图放置的各种面板为:v-视频内容；s-视频内容字幕；τ-与视频内容相关的Twitter摘要；W_与视频内容相关的网页；F_视频内容观看者的Facebook新闻摘要。
[0209]所述替代性布局管理器实施的优点在于，它能容纳任意数目的面板，例如，如果两个用户正在共享显示表面以观看内容的两个不同项目，那么面板数目可增加，每个项目具有它们自己的呈现映射；或者允许用户添加他们自己的与主要内容项目不相关的偏好面板。系统可管理内容项目并且当由于多个活动呈现映射而重复发生时使内容项目合理化(例如，通过合并重复内容项目)。
[0210]在所述布局算法的进一步改进中，逻辑相关的面板(例如，相同类型，由同一用户拥有，或者上下文相关，例如视频+标题+字幕)被一起组合到子列表中，并且上述算法随后将所述子列表中的面板布局到显示表面区中。多个子列表可共存，每个子列表在表面上具有其自己相关联的非重叠区。这导致可给用户更直观的整体布局，因为相关项目在空间上彼此更接近。布局管理器根据简单算法来管理这些子区的相对尺寸和位置，所述简单算法根据可操作的子列表数目对于(多个)显示表面的整个区域进行划分。[0211]本领域技术人员应当理解，许多其它因素可包括在信息中，所述信息在布局算法中用于放置面板和对布局评分。这些包括但不限于:面板或子列表的优选相对定位(例如，左、右、上或下);面板或子列表之间对齐(例如，中心或者边缘);面板或子列表之间所需的分开或裕度；面板或子列表之间分开或裕度不存在；等。
[0212]在系统的进一步改进中，系统可在单个环境中(例如，在起居室中的不同墙壁上)或者在不同环境中(例如，房子的不同房间)容纳多个显示表面。
[0213]图8示出了图4中的体系结构如何改进为支持多个显示表面。仍有布局管理器403的单个实例，所述布局管理器403管理跨多个(通常不连续)表面的内容布局。布局管理器403知道观看环境中每个表面的尺寸、分辨率(像素密度，即，每单位长度或区域的像素数)和相对位置，并且管理内容如何放置，并且适当时，在表面之间如何被移动。了解每个表面的相对位置使布局管理器403能够利用现实运动和/或弹道来移动内容，即使这些表面为不连续。了解表面分辨率也允许布局管理器403容纳具有不同分辨率的表面(也许，例如，因为它们使用不同显示技术或者只是由不同制造商制作)。在单个表面实施中，布局管理器403使用像素单元和布局坐标通常可以接受，但是对于不同分辨率的表面，当它在表面之间移动时，这可导致意想不到的内容缩放。在这种情况下，布局管理器403通常采用布局物理单元，所述物理单元可被分解为物理单元施加的特定表面的像素单元。
[0214]根据本发明的实施方式，多个表面渲染器用于将内容渲染到各种显示表面上。例如，主表面渲染器805将内容渲染到显示表面806上(在布局管理器403控制下)，而次表面渲染器807将内容渲染到显示表面808上(也在布局管理器403控制下)。在一些实施方式中，两个或者更多个表面渲染器(809/811)各自可将内容渲染到单个显示表面810上。布局管理器403和每个表面渲染器可被托管于许多不同排列中的不同物理设备上；例如，布局管理器403和主表面渲染器805可被托管于单个客户端设备上,其它表面渲染器(807/809/811)各自被托管于其它设备上。可替代地，布局管理器403可被托管于家庭网关中，或者甚至在云中，每个渲染器(805/807/809/811)具有其自己的客户端设备。在替代性实施方式中，渲染器可集成到包括每个显示表面的(多个)显示设备中。在多表面体系结构中，使用与布局管理器403操作式通信的同步服务器813来同步多个表面上的AV和图形呈现。同步服务器813的操作将在下文中更详细说明。同样，它可被托管于客户端设备之一或者网关中或者在云中。
[0215]应当理解，在所述多表面环境中(其中多个独立渲染器，在独立硬件上运行，其中每个渲染器正在驱动一个或者多个显示器，所述一个或者多个显示器组合来构建整个表面)，可以有许多情况，其中不同表面上的AV和图形内容的呈现在时间上同步，例如，当将AV从一个表面移动到另一表面时，音频或视频无间断，示出了 ‘多角度’ AV内容(例如，音乐会或体育赛事)，其中，视频摘要分布于多个显示表面上等。在所述环境中通常也有单个音频系统，所述单个音频系统通常会连接到表面客户端设备之一(因为所述系统通常会无法将音频摘要位置从两个不同表面‘变换’以反映它们的实际位置)。因此，当视频在其它表面上显示时，音频通常在连接到音频控制系统的表面上进行解码，并且因此，这些表面之间的AV同步是可取的。
[0216]显示表面之间的同步通常包括:
[0217].在两个(或者更多个)渲染器上进行解码的相同视频；[0218].在一个或者多个渲染器上进行解码的视频，其中音频在不同渲染器上；
[0219].在渲染器之间和在渲染器上移动物体的图形动画；
[0220].不同渲染器之间图形帧速率(在不同负载下-对于大多数图形系统(不论基于GPU还是基于CPU)，不同工作负荷(即，待处理图形量)影响产生给定输出帧所需的时间。因此，渲染器之间的不同负载(或者渲染器之间的处理能力)很可能导致不同输出帧速率)；以及
[0221]?一个或者多个渲染器上的图形与另一个渲染器(或者多个渲染器)上的视频之间同步。
[0222]结果通常为，当看似它是驱动一个显示表面的一个渲染器时，连接到两个显示表面的两个渲染器的行为相同。
[0223]同步是指设备之间时钟同步(即，某事发生的时间)或者对于设备之间的给定处理点(算法的进展)的同步。然而，这些类型的同步并不一定足够用于所有用例，具体地，涉及图形的那些用例。在图形区域中，用于帧生成的状态通常事先商定。这一简单例子为图形表示物体运动。为了所有渲染器合作，对于它们渲染物体的每个帧，它们通常同意它们正在渲染的物体状态(即，位置)。这不像相同输出总是由所有解码操作产生的视频(假设相同输入帧正在进行解码)。
[0224]用于实现所需同步的两大类方法为:
[0225].同步时钟:所有渲染器具有相同时钟，并且同意在同一时间做事(例如，产生下一帧)；以及
[0226].屏障法:渲染器均等待彼此达到给定点(例如，准备帧)，并且当它们均已达到所述点时进行(例如，显示帧)。
[0227]关于同步时钟，一个已知机制为IETF标准网络时间协议(NTP)RFC5905。这使用网络消息将计算机之间的时钟同步为“全球性”挂钟，并且在理想条件下实现机器之间10ms以下的误差。时钟同步也在分布式系统第10章中被说明:概念和设计，作者George`Coulouris、Jean Dollimore、Tim Kindberg(第 2版，1994)。精确时间协议(PTP)( ΙΕΕΕ1588)为ΝΤΡ算法扩展，它使用对于时间戳数据包的专门硬件扩展，允许时钟恢复精度更大。MPEG-2传输流具有时钟恢复机制，理论上，所述时钟恢复机制允许渲染器同步到亚毫秒精度。然而，这依赖于从非常有限抖动和已知延迟的(广播)网络的时钟样本接收。家庭网络上的渲染器的实际性质为时钟恢复将受在所述网络上引入的抖动影响。
[0228]屏障同步为计算机科学中众所周知的同步机制。建议(诸如在可缩放自适应图形环境高性能动态图像流，Jeong等，SC2006, 2006年11月，坦帕，佛罗里达州，美国中的那些)通过使每个渲染器产生新帧和时钟进行工作，直至所有渲染器使新帧准备显示，在这点处，每个渲染器释放所述帧，并且然后继续产生下一帧。
[0229]时钟同步机制通常需要提前同意下一帧应当释放的时间。屏障同步通常需要渲染器之间对于每个释放帧的消息，并且对于某些操作，提前同意帧应当针对于显示的时间(使得动画知道项目应当移动多远)。如上所述，时钟和屏障同步都不处理具有图形的所有问题。更具体地，它们可处理*何时*做事(例如，显示帧)，但它们不处理显示*什么* (即，构建帧的状态)。
[0230]图9给出了在状态不同步的情况下发生什么的抽象印象。在这种情况下，在每一个其它帧处，驱动屏幕2的渲染器无法移动表示图形物体的移动和旋转的状态。(应当注意，这导致与在较低帧速率下操作相同的效果，这是在下文更详细讨论的单独问题)。
[0231]图10示出了根据本发明实施方式的同步机制的基本组件。所述机制适用于以正常速度的AV回放以及以不同于正常回放速率的速率作出回放的“平滑”特技模式，例如，
1.5X、2.5X或15X。如上所述，所述机制目的在于同步跨多个渲染器的视频回放。
[0232]主渲染器1001 (通常预先选定为主渲染器，但用于选择哪个渲染器被设计为主渲染器的其它方法也是可行的)表示其它渲染器将与之同步的‘主装置(master，主渲染器)’。一个或者多个次渲染器1003表示同步于‘主’渲染器的‘从’渲染器。通常，这些‘从’渲染器不输出音频，(且因此‘主’渲染器通常连接到音频控制系统)。同步(sync)服务器813(如上所述)对于‘主’渲染器与‘从’渲染器之间的交互进行解耦合，并且最小化对于每个渲染器的变更。
[0233]根据本发明的实施方式，同步机制操作如下:
[0234]主渲染器1001将其在音频输出处的媒体时间发送到同步服务器813，并且反复执行此操作。从渲染器向同步服务器813询问主回放音频时间。从渲染器使用所述时间来同步音频回放，基于由同步服务器813报告的时间，确保它正在呈现给(未使用的)从渲染器音频输出的音频帧匹配主渲染器应当呈现的音频。这个过程也将从渲染器1003中的媒体时间与来自同步服务器813 (且因此来自主渲染器1001)的媒体时间进行同步。正常AV同步过程也确保视频随后在主渲染器与从渲染器之间同步。在整个这个过程中，标准技术由同步服务器813用于将时钟速率与主渲染器匹配，并且在从渲染器情况下，回放速率被进行修改以实现所述目标。例如，如果渲染器正在缓慢运行，那么音频回放速率可适当地增加，使得例如它可能正在以1.05倍回放未使用音频，该1.05倍由其时钟表示。
[0235]图11为示出上述同步解决方案中的通信逻辑图的时序图。三个主要实体参与操作:主要‘主’渲染器1001，其为充当时序源的渲染器；同步服务器813 ;以及次要‘从’渲染器1003，其为自身与主渲染器同步以实现一致回放效果的渲染器。主要渲染器1001包括音频驱动器1101、音频渲染器1103和时钟1105。次要渲染器1003包括音频驱动器1107、音频渲染器1109和时钟1111。
[0236]序列以主音频驱动器1101 (其已经从音频解码器(未示出)接收数据)将所述接收数据发送到主音频渲染器1103作为开始。主音频渲染器1103计算当前正在播出的音频样本的时间(通常，渲染器具有缓冲器以避免音频故障)。它然后将时间发送到逻辑主时钟1105，所述逻辑主时钟1105然后将所述时间传递到同步服务器813 (“设置时间为Y”)。一旦接收所述时间，同步服务器813更新其主时间的副本(若需要)并且调整时钟速率(若需要)。
[0237]同时，次要‘从’渲染器1003也已经产生一些音频数据，为此次要音频渲染器1109具有基于它在播放的输出样本的时间值，并且它将所述时间值传递到本地次要时钟1111(“时间Is”)。与主要时钟1105不同，次要时钟1111向同步服务器813询问时间(“获得时间”)，其中同步服务器813用其当前主要时间(“时间为Υ+δ ”)的解释作出响应。次要时钟1111然后比较这些时间，将它当前具有的时序误差(“偏离程度”)告知次要音频渲染器1109，更新其自己的主要时钟的本地副本，并且校正其时钟速率。次要音频渲染器1109然后适当地选择阻断、跳转或者改变回放速度以保持同步。[0238]主要时钟1105 (如由主要渲染器1001使用)和次要时钟1111 (如由次要渲染器1103使用)也由视频渲染器使用，所以以上方法将固有地获得视频同步，并且当音频样本用于计算时，同步应当比视频样本更准确，因为与视频采样速率24Hz至60Hz相比，音频采样率通常为c.48kHz。
[0239]消息可以灵活速率进行发送。在本实施方式中，当输出设备需要准备音频数据组块(例如，大约每几百毫秒)时更新时间(即，发生与同步服务器813的消息交换)，但基于如由同步服务器813指出的监视精度，所述速率可被减少或者增加。
[0240]根据本发明的实施方式，当从渲染器指出其时钟与主渲染器不同步(S卩，不同步)时，并且当特技模式并不期望时，有两个选择。它可“跳”到新正确值，或者它可修改它回放其内容的速度以赶上且然后匹配主渲染器的回放。
[0241]所述机制也可在使用特技模式的情况下工作，因为当每个从渲染器指出主要时钟变化时，它将简单地修改渲染器上的回放速率。然而，如果渲染器知道一组可用标准回放速率，那么所述信息可用于修改回放速率。例如，如果渲染器知道正常回放速率包括6X模式，并且它检测到主要渲染器时钟中匹配的跳转，那么它可进入6X模式。
[0242]以及自动识别所述速率变化，系统可将待发送消息配置为明确改变回放速率。这些消息可包括另外条件，诸如“并且这将在媒体时间Y处开始”，以便允许在特技模式开始处更好同步。
[0243]对于暂停和寻道/跳转情况，不同机制通常用作这些代表性“正常”操作。在这两种情况下，有显式实施(例如，消息由从渲染器接收，指示寻道已经发生)或者隐式实施(例如，从渲染器或同步服务器检测到时间变化，指示寻道已经发生)的选项。
[0244]对于所识别的跳转，内容中的点是超前的，但回放速率未变化。对于暂停机制，在本实施方式中使用明确消息。同步服务器813可产生明确消息，所述消息通常包括非常轻微地设置为未来(例如，一个或者两个帧)的“暂停”组件。在替代性实施方式中，同步服务器813也可发出“现在暂停”消息。在“现在暂停”消息的情况下，现有时钟机制可用于识别主渲染器与从渲染器之间的任何失配，其中回放根据需要立即调整。
[0245]如上讨论，对于图形，“输入状态”(例如，渲染对象位置/地点的目标)通常被同意，并且帧速率通常匹配。如图9所示，两个情况可能导致不匹配帧。
[0246]匹配帧速率通常可经由每个帧上的屏障来实现，其中所有渲染器阻断单元均已经产生帧，并且然后前进到下一帧。在如上所述视频同步可用的情况下，这可用于提供屏障，假设渲染器可识别目标帧速率，并因此识别目标输出时间。这可通过以某些固定速率(例如，30fpS、60fpS、15fpS)为目标来完成。在任何渲染器丢失帧速率目标的情况下，通信消息(其可捎带视频同步)指示所有渲染器将下降到下一个最低(或特定较低)速率。在所有渲染器表明它们正在足够快地产生帧(下一个最快速率可行)的情况下，同步服务器813然后可识别所述情况，并且将所述情况以及变化应当生效的时间点传达给所有渲染器。
[0247]与此相关的是定时事件，例如在事件归因于在给定时间过去之后发生的情况下。在同步视频存在的情况下，这可用于标记事件将发生的时间点。
[0248]上述实施方式已经解决了视频与视频或者图形与视频的同步。另一种情况为同步视频与图形，其分解为两个问题:
[0249].在视频中特定时间处启动图形或图形动画；以及[0250].在图形动画与视频之间保持同步。
[0251]该例子如图12示意性示出。在步骤(a)中，视频正在播放，示出了一汽车；所述视频未覆盖整个显示表面，虽然它可在屏幕或渲染器的边缘处结束。在步骤(b)中，汽车到达视频边缘。在这点处，图形动画开始创建汽车的图形版本。步骤(c)示出了随后一些帧的情况，其中视频具有驶离该视频的汽车，同时保持正确大小和与视频的时序对齐，使得汽车长度不收缩或增长。这种情况持续到步骤(d)和(e)，在步骤(d)和(e)期间，同步保持不变，并且潜在地跨越另一个屏幕(如示出)并且甚至跨越另一渲染器。最后，当汽车后部到达视频边缘时，如步骤(g)所示，同步可打破或停止。
[0252]上述第一问题(S卩，步骤(b))可经由基于视频时间轴触发动画来解决。在本实施方式中，触发器可以在远程渲染器(例如，图形将在与包括视频的表面不同的表面上开始)上。这可通过使用目标渲染器上从属但不可见的视频并且然后使用正常本地时间触发器来处理，并且依赖于上述视频同步来实现同步。可替代地，在网络性能足够或者同步要求更加宽松的情况下，任何图形项目的本地创建均可经由服务器(例如，布局管理器403)来执行，所述服务器反过来告知相关渲染器图形将启动。
[0253]第二问题(S卩，步骤(c)至(e))通常涉及如上所述不断的速率同步和状态同步。在这种情况下，使用不断更新，并且因此隐藏视频通常存在于所有当前渲染器上，并且图形然后与本地视频同步。通过使用当前视频帧速率(其根据需要容易由同步服务器813确定)并且使用所述帧速率来设置状态帧速率，这得以完成。通过使每个图形帧与视频时钟的对应时间(基于已知目标开始时间、帧速率和经过的帧数容易计算)匹配并且使每个渲染器将图形帧显示局部锁定为隐藏或虚拟视频的解码以提供方便参考，图形帧的释放然后与视频联系在一起。
[0254]在一些实施方式中，布局管理器403可将有关的内容的每个项目的每一尺寸、位置、音量等的变化告知每一表面渲染器。然而，当所述通信基于布局管理器与每个表面渲染器之间的点对点通信时，将直接影响正在显示或即将显示的内容的变化只告知每个表面渲染器更加高效。
[0255]布局管理器403通常只将以它们抽象形式的内容项目考虑为简单2D多边形。布局管理器通常会具有位置的3D模型以及每个表面的取向，它将每个抽象内容多边形作为其布局计算的一部分投射到所述表面上。每个表面渲染器由布局管理器403告知这些内容项目放置在哪里，并且表面渲染器负责将所述高级位置描述转换为适当的媒体特定变换。例如，布局管理器403可决定将文本面板放置于表面上特定位置处，并且所述表面的表面渲染器处理文本字体大小、颜色等，并且使文本流入到所述面板。视频面板可具有响应于高级位置描述而由表面渲染器施加的2D缩放变换-这是渲染器可如何实现如由布局管理器指定的呈现的例子。
[0256]如果有呈现特定的创作内容元数据，那么渲染AV内容的表面渲染器之一被选定为“时间轴所有者”。当在AV流中发生事件时，所述“时间轴所有者”发送消息到布局管理器403。布局管理器403然后对于这些消息作出反应，并且可以发送更新到一个或者多个其它表面渲染器。例如，嵌入于AV流中的字幕数据可使得每当字幕有变化时事件在客户端设备上触发。这些变化可被发送到布局管理器403，所述布局管理器403决定是否有正在显示字幕的任何表面并且发送适当更新到相关表面渲染器。这允许字幕显示于与正在渲染AV的表面不同的表面(或者伴随设备)上。
[0257]有许多机制，通过所述机制，布局管理器403可知道观看环境中每个表面的尺寸、分辨率(像素密度，即，每个单元长度或区域的像素数)和相对位置。这可以是经由:
[0258].手动配置；
[0259].自动Kinect类设备(如上所述)，分析环境的视频或静止影像以产生相关信息；或者
[0260].相机配备伴随设备(如上所述)，扫描环境并且由此产生相关信息。
[0261]在显示表面正在示出重叠到‘虚拟壁纸’上的内容的系统中，众所周知的影像分析技术(例如，如由开源计算机视觉库“OpenCV”提供，http: //opencv.wi 1 lowRaraRe.com/woki/)可在底层‘虚拟壁纸’上执行以提供特征提取，诸如边缘检测和对象检测。视觉内容要素(即，正在呈现的内容要素，诸如视频、影像、图形、文本等)的建议潜在放置可被指派基于内容要素与所提取特征的相互作用的放置加权(优选)影响，例如，具有最小数目边缘或对象交叉的放置通常比具有较大数目边缘或对象交叉的放置指派更好加权。内容元素放置也可进行调整，使得放置与所检测的垂直和/或水平边缘对齐。内容元素尺寸也可进行缩放，通常在由与(多个)内容元素相关联的属性定义的限制内。在某些实施方式中，可提供以自动尺寸操纵限制形式的辅助/指导信息。
[0262]由内容元素交叉(或者接近内容元素)的任何对象的颜色可被识别(使用上述影像分析技术)并且然后内容元素的颜色属性可进行修改以提供内容元素与对象之间的清晰视觉分离(例如，通过使内容元素与彩色空间轮上的对象之间的‘距离’最大化)。在某些实施方式中，可提供以所建议最小和/或最大颜色变化程度的形式的辅助/指导信息(例如，彩色轮上的‘距离’和‘角度’)。
[0263](多个)内容元素放置于的一般区域也可进行分析以识别(多个)内容元素可重叠的‘虚拟壁纸’的区或多个区。(多个)区的主要颜色或一组颜色可被识别。(多个)内容元素的颜色然后可调整/修改为这些主要颜色。
[0264]在某些实施方式中，调整放置和/或修改(多个)内容元素的属性可能不可行。在所述实施方式中，可插入图形层，所述图形层隔离(多个)内容元素并且提供‘虚拟壁纸’与(多个)内容元素之间的分离边界。颜色和/或透明度以及所插入分离边界的设置可基于底层影像分析和/或(多个)内容元素的颜色属性。
[0265]现将更详细描述根据本发明实施方式的观看透视校正的方法及系统。
[0266]内容制作者通常产生以特定方式(S卩，在垂直于显示表面的特定距离处)观看的内容。然而，如上已经提到，当它被产生以观看时，观看者经常观看不到内容(例如，显示表面屏幕可能太大或者太小，观看者可能从与制作者本来打算的不同的高度观看内容，观看者可能从与显示表面不垂直的位置观看内容等)。
[0267]这一后者情况如图13所示，其中，观看者1301正在从与显示表面不垂直的位置观看显示于显示表面1305上的内容1303。这样做的后果是对正在显示的内容的观看者感知1307对于观看者1301出现失真。参考图14，根据本发明的实施方式，所述问题的解决方案包括变换所显示内容以创建相反失真，使得当从与显示表面1305不垂直的位置观看时，对失真显示内容1403的感知1407对于观看者1301不出现失真。
[0268]根据本发明的实施方式的解决方案包括三个步骤:[0269]1.参考图15a，在第一步骤中，从原始源内容创建三维(3D)显示1501 (S卩，虚拟屏幕，其可被管理为3D对象)，如所期望观看的那样。
[0270]i1.参考图15b，3D显示然后被进行变换(例如，平移t、旋转r。、尺寸调整rs (若需要))以适合于在针对观看者1505的当前位置的观看者1505的观看锥1503内。(参考图16，观看锥1601定义了变换内容的观看者感知出现不失真的位置。)
[0271]ii1.参考图15c，变换的3D显示1507然后被投影到显示表面1509上。
[0272]图17示出了内容的不失真感知可通过投影之前在任何方向上隐藏观看锥的3D对象的任何线性变换(即，与观看锥恰好对应的任何线性变换)来获得。隐藏观看锥的三维显示的任何线性变换的投影结果总是相同，即，观看锥与显示表面的交叉区域。这如图18a所示。因此，变换选择对于观看者没有影响，并且通常被选择为使得观看锥的基部的中心与显示表面相交(如图18b所示)，并且这通常通过常规变换组合来实现，诸如旋转、平移和尺寸调整。
[0273]图19示出了观看锥的方向定义了表面上的投影变换3D显示的位置，这直接影响观看者，因为有一些方向将隐藏(部分或者或许全部)投影显示(例如，部分1901被示出为隐藏)。投影的适当方向通常为引起最简单变换的方向。
[0274]现将引入另外两个概念:正(perpendicularity)三角形和保持盘。
[0275]参考图20，正三角形2001由观看锥和显示表面2003形成的三角形定义。内容的不失真感知2005可针对三角形内任何位置仅使用3D显示的平移和尺寸调整来获得。
[0276]参考图21，保持盘2101由与正三角形2001的角相交的圆定义。内容的不失真感知2103可针对盘2101内(和在三角形2001外)的任何位置使用3D显示的平移、尺寸调整和旋转来获得。
[0277]参考图22，图22示出了根据本发明实施方式的系统，观看者2201、显示表面2203和所显示内容2205共享同一 3D欧几里德(Euclidean)坐标空间。捕捉者组件2207跟踪观看者的头的实时位置(定义为(XM，Yre, Zre))0显示表面(Χ#Β, Υ<Β)的尺寸、捕捉者组件2207相对于显示表面的位置以及用于观看内容项目的理论理想角度(ath)(其可定义用于针对与显示表面(Zth)相距的给定距离来显示内容(Xth，Yth)的理想尺寸或者用于针对显示内容的给定尺寸来显示内容(Zth)的理想距离)通常均被提供给系统。在替代性实施方式中，可明确提供用于显示内容的理想尺寸和/或位置。控制器(未示出)根据观看者的实时位置计算覆盖观看锥的3D对象。渲染器组件(未示出)将最后透视投影显示于显示表面上。在本实施方式中，捕捉者组件包括3D深度相机设备(诸如Kinect或PrimeSense设备)和在Linux服务器上运行的C++软件模块，所述Linux服务器采用用于检测和计算用户身体骨架的实时深度图视频作为输入，以推断观看者的头的位置。
[0278]为了解释变换参数如何推导，问题将减少到在X (左/右)和Z (深度)维度上的二维问题。如何将二维扩展到包括Y维度(上/下)的三维域，对于本领域技术人员而言将是显而易见的。图23将环境示出为从观看者2301上方观看，图23示出了观看锥2303、显示表面2305、3D对象的线性变换2307以及线性变换2309到显示表面2307上的投影。
[0279]参考图24中的流程图，最初获取观看者的头的实时位置(步骤2401)。应当记得，在本实施方式中，用于观看内容项目的理论角度以及显示表面尺寸将已经被提供给系统。使用所述理论角度和显示表面尺寸，系统能定义正三角形和保持盘两者的尺寸。系统然后使用观看者的头的实时位置来检查用户是否在盘内(步骤2403)。如果用户在盘内，那么系统还检查用户是否在三角形内(步骤2405)。如果用户在三角形内，那么应当记得，对于三角形内任何位置仅使用3D显示的平移和尺寸调整即可获得不失真的内容感知。参考图25，平移参数由以下给定:
[0280]Transx=Xre - Xth
[0281]调整参数由以下给定:
[0282]S=s*Zre/Zth
[0283]因此:
[0284]S=s+Transz/Zth
[0285]3D对象然后使用平移和尺寸调整参数进行变换(S卩，平移和尺寸调整(步骤2407))。如果3D对象中的点的初始坐标为(\，Y0, &)，那么变换3D对象的变换坐标为(X，Υ，Ζ)。
[0286]然而，如果用户在盘内但不在三角形内，那么应当记得，对于盘内(并且在三角形夕卜)的任何位置使用3D显示的平移、尺寸调整和旋转可获得不失真内容感知。参考图26，方向由观看锥中满足显示表面的左/右末端的左-右边界定义，如由点2601表示。参考图27a，平移参数由以下给定:
[0287]Transx=Xleft-L-Xth
[0288]其中，L=(sin ( α /2) *Dleft) /sin (180_u- a /2)
[0289](对于以度为单位测量的a和u)
[0290]尺寸调整参数由以下给定:
[0291]S=s*Dre/Dth
[0292]其中，Dre=(sin (u) *L) /sin ( a /2)
[0293]旋转参数(以度为单元)由以下给定:
[0294]r= a /2+U-90
[0295]根据替代性计算，并且参考图27b和图27c，平移参数由以下给定:
[0296]Transx=Xre-Xth-Zth/tan (180_u- a /2)
[0297](对于以度为单位测量的a和u)
[0298]尺寸调整参数由以下给定:
[0299]S= (s/Zth) *Zre* V (l+tan(180-u-a /2)2)
[0300](对于以度为单位测量的a和u)
[0301]3D对象然后使用旋转、平移、尺寸调整参数进行变换(S卩，旋转、平移、尺寸调整(步骤 2409))。
[0302]如果用户不在保持盘内，那么显示表面太小以至于无法以以下这样一种方式呈现内容:一旦被变换和投影，用户就将具有不失真内容感知。参考图28，系统然后可在三个不同选项之间选择(步骤2411):
[0303]1.使用盘边缘上与观看者最近的位置(图28中表示为选项1);
[0304]2.通过减少原始观看锥的尺寸(即，角度a )来扩大保持盘(图28中表示为选项2);或者
[0305]3.通过虚拟扩大在显示表面的每个边缘处具有隐藏部分的显示表面来扩大保持盘(图28中表示为选项3)。
[0306]系统然后进行到步骤2405 (即，检查用户是否在三角形内)。
[0307]从图15c应当记得，第三步骤涉及将变换3D显示投影到显示表面上。也应当记得，变换3D对象的变换坐标可表示为(X，Y，Z)。
[0308]参考图29，渲染在显示表面上的内容的坐标(X’，Y’)由以下给定:
[0309]X’ =X*Zre/Z-Xre
[0310]Y’ =Y*Zre/Z-Yre
[0311]并行于上述观看方面，音频感知从一个观看(或收听)位置到另一个观看(或收听)位置通常不同，从而引起原始声音失真，如所预期的从中心观看(或收听)位置向前。图30a示出了用于中心位置(即，期望发生收听的位置)处的观看者的简化音频设置。知道用户的位置，如上所述的相同组件可用于识别用户方向以及用户与音频系统(即，与输出音频的各个扬声器)相距的距离。另外的系统组件然后可平移方向并且修改音频振幅，以便以用户为目标并且使用户感知音频，就好像用户正在从产生该音频所针对的中心位置收听；并且以便使用户从任何位置以相同音量感知音频。这如图30b所示，图30b示出了当用户正在从与中心位置不同的位置收听时音频方向和来自三个扬声器的振幅可如何调整。
[0312]根据本发明的实施方式，如上所述的观看者透视校正方法也可考虑当正在观看内容项目时观看者可能移动到新位置的这一事实。为了避免不断更新，变化阈值设置为使得更新在用户路径上的某些点处而不是每一点处发生。这如图31所示，图31示出了用户的实际路径3101，考虑变化阈值假设用户采用路径3103，并且示出了阈值3105。例如，当用户坐在椅子上时，显示(和声音)通常更新一次，并随后不再更新，直至用户离开椅子。当用户正坐在椅子上时，用户可在椅子上移动他的头或变化位置，而不会引起显示的更新。
[0313]当显示更新时，这通常利用定时过渡(通常持续几秒)来平滑完成，以避免突然的显示变化。对于立体3D内容，系统可另外采用透视校正。例如，构成立体图像的两个(左和右)图像之间的差异可利用沿着Z轴的变化进行补偿。即，两个图像之间的左/右差异通常会随着用户更接近显示表面而增加以突出3D立体效果，当越来越接近焦点时可以预期。
[0314]电视系统接受语音/姿势命令作为输入法以控制电视观看体验正在变得越来越普遍。电视能通过呈现命令已经接收到的文本确认或者通过可视地显示由用户语音引起的增益的音频指示符来向用户指示它已经“听到”(即，接收)语音命令。然而，所述解决方案指示一些事情被说了或者或许已经说了什么而不是谁说它。在房间里有多于一个用户并且因此可能有多于一个用户与电视交互的情况下，存在电视知道用户中的哪个当前正在讲话并且‘控制’电视的指示将会有用。
[0315]根据本发明的实施方式，所述问题的解决方案是对于电视用户界面，以在视觉上向正在讲话的用户倾斜来控制电视。当不同用户讲话时，用户界面实际上“看”用户讲话，通过从旧扬声器旋转到当前扬声器。使用上述系统，这是可行的，所述系统可检测哪些用户在特定观看环境中以及他们在哪里(即，他们在观看环境内的位置)。
[0316]上述观看者透视校正方法也可用于判定如何呈现内容，使得用户感知用户界面向他们‘倾斜’。精确倾斜角度并不重要，并且用户界面通常不倾斜很多从而使得对用户界面的视觉可读性有任何影响。如果观看环境中有两个用户，那么对于用户界面通常有两个显示角度。假设另一用户进入观看环境，系统计算观看环境内最新用户的位置并且对于用户界面添加第三显示角度。因此，根据本发明的实施方式，描述了提供一种在可变观看环境中调适内容呈现的系统/方法。观看者不断变化的沉浸程度和交互性可被进行监视并且用于调适内容呈现。
[0317]呈现可根据以下进行调适:
[0318]内容元数据；
[0319]特定创作的内容元数据；
[0320]上下文相关信息；
[0321]表面数目、尺寸和位置；
[0322]观看环境的实时分析，包括观看者识别、观看者位置、观看者参与和环境性质；和/或
[0323]家庭自动化输入(例如，婴儿(视频)监视器；门铃；等)；
[0324]明确的用户控制；等。
[0325]多媒体内容的视觉呈现(例如，目标表面、位置、尺寸、定位、亮度、色度、色彩平衡、动态范围等)；多媒体内容的音频呈现(例如，音量、动态范围、位置等)；以及其它家庭设备(例如，照明度、电话等)可在可变观看环境中进行动态控制，即，以专用为基础，共享表面或者个人或共享伴随设备或者甚至个别显示器可添加到观看环境或者从观看环境中去除。
[0326]在所述可变观看环境上示出的多媒体内容范围可包括但不限于:广播和/或点播音频视频内容；家庭自动化内容和提要(例如，照片、家庭网络摄像头、(婴儿)监视器等);在线媒体(包括桌面音频/视频服务、新闻提要和社交网络提要等)。
[0327]内容呈现也可基于观看者的沉浸程度和交互性响应于外部输入(例如，家庭自动化视频提要、电话、即时通讯、社交网络和网络提要等)进行调适。
[0328]呈现也可在空闲或环境模式中进行操作，其中(多个)表面并未明确被请求显示内容。在所述模式中，所显示内容可用于模拟墙上照片、新闻和社交网络更新或者甚至模拟窗口的视频。
[0329]应当理解，若需要，本发明软件组件可以ROM (只读存储器)形式实现。一般地，若需要，使用常规技术，软件组件可以硬件实现。还应当理解，例如，软件组件可实例化:作为计算机程序产品；在有形介质上；或者作为可由适当计算机解译的信号。
[0330]应当理解，为了清楚起见在单独实施方式情况下进行说明的本发明的各个特征也可组合提供于单个实施方式中。相反，为了简便起见在单个实施方式情况下进行说明的本发明的各个特征也可分开或者以任何合适子组合来提供。
[0331]本领域技术人员应当理解，本发明并不限于上文中特定示出和说明的实施方式。相反，本发明范围由权利要求限定。
【权利要求】
1.一种在观看环境内操作客户端设备的方法，所述方法包括:在客户端设备处接收内容；在与所述客户端设备可操作地通信的显示表面上通过将所述内容渲染为渲染内容来向观看者呈现所述内容；在所述客户端设备处接收参与数据，所述参与数据指示正在观看所述渲染内容的至少一个用户的与所述内容的参与度；以及根据所述参与数据通过改变所述内容如何被渲染在所述显示表面上来调适所述内容的呈现。
2.根据权利要求1所述的方法，其中，所述内容在所述显示表面上的一定位置处被呈现，并且所述调适包括改变所述内容被呈现的所述位置。
3.根据任一前述权利要求所述的方法，其中，所述内容在所述显示表面上以一定尺寸被呈现，并且所述调适包括改变所述内容被呈现的所述尺寸。
4.根据任一前述权利要求所述的方法，其中，所述内容跨多个显示表面被呈现，并且所述调适包括改变所述内容被呈现在的所述多个表面中的哪个表面。
5.根据权利要求4所述的方法，还包括在时间上同步所述内容跨所述多个显示表面的所述呈现。
6.根据权利要求5所 述的方法，其中，所述多个显示表面之一包括主装置，并且所述多个显示表面中的其余显示表面包括从装置，所述从装置与所述主装置同步。
7.根据任一前述权利要求所述的方法，其中，调适所述内容的呈现包括通过改变以下中的一个或者多个来改变所述内容的音频呈现:音频电平、音频动态范围、音频位置、音频平衡。
8.根据任一前述权利要求所述的方法，其中，调适所述内容的呈现还包括根据与所述内容相关联的元数据来调适所述内容的呈现。
9.根据权利要求8所述的方法，其中，所述元数据包括用于明确修改所述内容将如何被呈现的数据。
10.根据权利要求9所述的方法，其中，所述元数据包括呈现所述内容所用的物理尺寸。
11.根据任一前述权利要求所述的方法，其中，调适所述内容的呈现另外包括改变所述观看环境的照明度。
12.根据任一前述权利要求所述的方法，其中，渲染所述内容引起搜索查询的执行，所述搜索查询搜索上下文与所述内容相关的附加内容，并且调适所述内容的呈现还包括同时渲染所述附加内容与所述内容。
13.根据权利要求12所述的方法，其中，调适所述内容的呈现另外包括调适所述附加内容的呈现。
14.根据任一前述权利要求所述的方法，其中，所述参与度通过分析以下中的至少一个来确定:在所述观看环境中不是由于呈现所述内容而引起的音频信号；在所述观看环境中所述观看者的位置；所述观看者的注视方向；所述观看者的运动程度；由所述观看者的远程控制设备的使用；由所述观看者先前观看的内容；所述内容是否为直播观看或者回放记录；在呈现所述内容期间的观看者行为；用户与其它电子设备的交互；一天中观看所述内容的时间。
15.根据权利要求1至12中任一项所述的方法，其中，所述参与度从由所述观看者输入的明确限定所述参与度的数据来确定。
16.根据任一前述权利要求所述的方法，还包括将对所述内容如何呈现于所述显示表面上的表示传输给与所述客户端设备可操作地通信的手持式设备；并且将所述表示显示于所述手持式设备上。
17.根据权利要求16所述的方法，其中，所述表示包括到上下文与所述内容相关的其它内容的链接，所述方法还包括接收由所述观看者对所述链接的选择；在接收到所述选择时发送对所述其它内容的请求；接收所述其它内容；以及将所述其它内容呈现给所述观看者。
18.根据权利要求16所述的方法，所述方法还包括:从所述另外的手持式设备接收消息，所述消息指示所述观看者已经修改所述表示；并且响应于所述消息，进一步调适所述内容在所述显示表面上的呈现。
19.根据任一前述权利要求所述的方法，所述方法还包括:从与所述客户端设备可操作地通信的 家庭自动化系统接收与所述内容无关联的家庭自动化输入；并且响应于所述家庭自动化输入，调适所述内容的呈现。
20.根据权利要求19所述的方法，其中，响应于家庭自动化输入来调适所述内容的呈现包括中断所述内容的呈现以呈现所述家庭自动化输入。
21.根据权利要求20所述的方法，其中，中断所述内容的呈现只有在所述参与度小于中断阈值时才发生。
22.根据任一前述权利要求所述的方法,其中，所述内容包括多个内容分量,每个内容分量在一定位置处并以一定尺寸被呈现于所述显示表面上，并且调适所述内容的呈现包括改变所述多个内容分量中的至少一个的位置和/或尺寸。
23.—种在观看环境内可操作的客户端设备，所述客户端设备包括:用于接收内容的装置；用于在与所述客户端设备可操作地通信的显示表面上通过将所述内容渲染为渲染内容来向观看者呈现所述内容的装置；用于接收参与数据的装置，所述参与数据指示正在观看所述渲染内容的至少一个用户的与所述内容的参与度；以及用于根据所述参与数据通过改变所述内容如何被渲染在所述显示表面上来调适所述内容的呈现的装置。
24.一种载体介质，承载计算机可读代码，用于控制合适的计算机来执行根据权利要求1至22中任一项所述的方法。
25.—种载体介质，承载计算机可读代码，用于将合适的计算机配置为根据权利要求23所述的客户端设备。
【文档编号】G06T3/00GK103649904SQ201280034008
【公开日】2014年3月19日 申请日期:2012年5月10日 优先权日:2011年5月10日
【发明者】亚历克斯·希礼, 洛朗·肖维耶, 尼古拉斯·戈德, 乌戈·拉塔皮, 凯文·A·穆雷, 西蒙·约翰·帕纳尔, 詹姆斯·杰弗里·沃克, 尼尔·考密肯, 西蒙·戴克, 文森特·萨特勒, 亚历克斯·茹厄勒, 乔纳森·坡伦, 梅尔·格伦斯塔德 申请人:Nds有限公司