用于视频系统的增强现实的制作方法
【技术领域】
[0001] 本发明涉及用于向视频内容项提供增强现实内容的方法和设备。
【背景技术】
[0002] 增强现实（AR)是物理现实环境的现场、直接或间接视图，该现实环境的要素由计 算机生成的感官输入（例如，声音、视频、图形或GPS数据）来增强（或补充）。增强通常是 实时的，并且处于具有环境要素的语义情景中。
[0003] 现在，越来越多的不同的增强现实应用程序通过智能电话、平板电话或其他手持 式装置对用户而言是可用的。通常，这些应用程序使用嵌入手持式装置内的照相机，并且显 示覆盖在由照相机拍摄的实像上的上下文信息。
【附图说明】
[0004] 通过结合附图进行的详细描述，将更充分地理解和领会本发明，其中：
[0005] 图1是根据本发明实施方式被构造并且操作的系统的简化框图图示；
[0006] 图2是示出根据本发明实施方式被构造并且操作的视频数据库的简化框图图示；
[0007] 图3是根据本发明实施方式的用于观看增强现实内容的方法的流程图；
[0008] 图4A是根据本发明实施方式的校准程序的简化插图；
[0009] 图4B是示出根据本发明实施方式的在电子装置围绕与其显示屏（rendering screen，渲染屏）的平面平行的轴旋转之后获得的增强现实内容的简化插图；
[0010] 图4C是示出根据本发明实施方式的通过使电子装置沿着与其显示屏的平面垂直 的轴平移所获得的增强现实内容的简化插图；
[0011] 图5和图6是根据本发明实施方式的用于自动校准程序中的计算的插图；
[0012] 图7是示出根据本发明实施方式的用于在电子装置的显示屏上显示的增强现实 面板的相关部分的插图。
【具体实施方式】
[0013] 概述
[0014] 在一个实施方式中，一种方法包括：在与客户端装置相关联的第一显示装置上显 示事件，所述事件包括至少一个视频场景；使电子装置能够与所述客户端装置通信；接收 请求与所述至少一个视频场景相关联的增强现实内容的用户输入；识别增强现实内容的相 关部分，以在与电子装置相关联的第二显示器上显示，其中，所述相关部分包括与所述至少 一个视频场景对应的视频帧以及围绕所述视频帧的附加内容；并且在所述第二显示装置上 显示所述相关部分。
[0015] 实例实施方式
[0016] 在以下描述中，提出了多个具体细节，以便提供本发明的各种原理的彻底理解。然 而，本领域的技术人员会理解的是，不必始终需要所有这些细节来实践本发明。在这种情况 下，还未详细示出用于传统算法和工艺的计算机程序指令的众所周知的电路、控制逻辑以 及细节，以免使一般概念不必要地模糊。
[0017] 尽管在本文中相对于电视广播环境和相关电视应用主要描述了本发明的原理，但 这是为了方便呈现而选择的一个实例，并非进行限制。
[0018] 现在，参照图1，其是示出了根据本发明实施方式被构造并且操作的系统的简化框 图。
[0019] 前端110通常经由通信网络130与多个客户端装置通信。此外/可替换地，多个 前端经由通信网络130与单个客户端装置或者与多个客户端装置通信。为了简单进行叙述 和描述，而不限制本发明的普遍性，在图1中描述了一个客户端装置120,与一个前端110进 行（经由通信网络130)有效通信。前端110还包括将在下文结合图2更详细地描述的视 频数据库111。
[0020] 通信网络130是单向或双向通信网络，该通信网络包括以下项中的至少一个：基 于卫星的通信网络；基于电缆的通信网络；传统的地面广播电视网络；基于电话的通信网 络；基于电话的电视广播网络；基于移动电话的电视广播网络；互联网协议（IP)电视广播 网络；以及基于计算机的通信网络。要理解的是，在本发明的其他实施方式中，例如，通信网 络130可以由单向或双向混合通信网络（例如，组合式电缆-电话网络、组合式卫星-电话 网络、组合式基于卫星-计算机的通信网络）或者由任何其他合适的网络实现。实现通信 网络130的其他方式对于本领域的技术人员将是显而易见的。
[0021] 图1的系统包括布置在前端110与显示装置140之间的客户端装置120。客户端 装置120耦接至显示装置140。客户端装置120通常包括调谐器、解码器、接收器以及解扰 器。要理解的是，客户端装置120包括标准硬件元件和软件元件，这在本领域中众所周知。
[0022] 客户端装置120通常经由数字AV接口（例如，HDMI、DVI等）或者经由模拟AV接 口（例如，元件（RGB、YPbPr)、复合材料（NTSC、PAL、SECAM)、S视频、SCART、同轴RF、D终端 (D-tanshi)等）与显示装置140操作地连接。尽管在图1中显示为单独的实体，但是在本 发明的其他实施方式中，客户端装置120可以与显示装置140成为一体。
[0023] 客户端装置120通常例如从广播流、VOD文库等中接收视听（AV)信号以及相关的 数字数据。如在本领域中众所周知的，在访问装置（例如，可移动的安全元件）的控制下， 必要时，客户端装置通常可选地将从前端110中接收的AV信号进行解码和解密/解扰。可 移动的安全元件通常包括如本领域众所周知的智能卡。来自客户端装置120的输出包括准 备在显示装置140上显示的必要时被解码和解密/解扰的视听（AV)信号。而且，客户端装 置120通常运行存储在客户端装置120的存储器内的车载软件，该车载软件包括应用程序 (例如，电子节目指南（EPG)、按次计费的（PPV)常驻应用、视频点播（VOD)常驻应用等）、中 间软件层（中间件）、用于控制在中间件与解码器硬件控制器之间提供接口的装置层接口 的软件层、以及用于操作客户端装置120的所有其他层。
[0024] 客户端装置120通常例如通过遥控单元（RCU) 150由用户控制。客户端装置120 可以从RCU150中（例如，经由红外通信）接收控制命令。用户使用RCU150来选择要观 看的AV内容，例如，现场事件广播、视频点播（VOD)资产、记录事件等，或者选择要运行的然 后在显示装置140上显示的特定应用程序，例如，EPG、PPV应用、VOD应用等。客户端装置 120内的车载软件监控用户与客户端装置120的相互作用，以便响应于使用RCU150输入的 用户命令，在显示装置140上显示相关信息。
[0025] 而且，提供电子装置160,该电子装置被操作为使用任何合适的连接链路（例如， 有线、WiFi、蓝牙、RF等）与客户端装置120通信。电子装置160进一步可操作，以便通过 通信网络130与前端110通信。图1仅显示了一个通信网络130。然而，本领域的技术人 员会理解的是，电子装置160可以使用相同的通信网络130或不同的通信网络直接与前端 110通信。例如，而不限制本发明的普遍性，电子装置160可以是配套装置，例如，平板电脑、 iPad?或移动计算装置，诸如个人数字助理（PDA)、移动电话或任何手持式装置。电子装置 160通常包括处理器、视频播放器、用于向用户显示内容和数据信息的显示屏、可操作为拍 摄照片和/或视频的照相机、和/或视频和方位模块170,该方位模块包括多个传感器，例如 如可操作为检测电子装置160的方向的加速度传感器、陀螺仪、手动开关等（但不限制本发 明的普遍性）。
[0026] 用户通常能够选择要在显示装置140上显示的事件或服务。而且，用户通常能够 选择要在电子装置160上运行的应用程序，以便获得与目前在显示装置140上显示的事件 相关的增强现实内容。该应用程序可以在电子装置160上局部执行，并且一经选择用于由 用户显示的事件，或者在接收通知增强现实内容可用于事件的由视频数据库111传输的通 知时，就起动该应用程序。在后一种情况下，指示可使用增强现实内容的通知可以例如是可 见指示的形式，例如，在显示装置140上出现的画面直接显示（OSD)或弹出消息，但不限制 本发明的普遍性。对于本领域的技术人员，任何合适形式的可见和/或声音指示显然可以 用于通知用户可使用增强现实内容。一旦起动应用程序，就在电子装置160与客户端装置 120和/或前端110之间建立通信。用户可以决定观看这个增强现实内容，并且如要求的那 样这样做，以将电子装置160保持在显示装置140的前面用于通常是自动程序的校准程序。 一旦成功实现校准程序，目前在显示装置140上显示的事件或服务的当前视频场景也被显 示在电子装置160的显示屏上，并且用户进一步能够观看与当前在显示装