用于处理合成视频图像的方法和系统的制作方法

文档序号:7940897阅读:240来源:国知局
专利名称:用于处理合成视频图像的方法和系统的制作方法
技术领域
本发明总地涉及处理包括来自多个源的内容的合成视频图像的领域,更具体但不 排他地涉及独立于平台和应用的方法和系统。
背景技术
不断增长的数据传输带宽、不断降低的数据传输费用、以及VOIP的无所不在是导 致采用视频会议作为通信工具的潮流的一些因素。这个潮流已经使得专门用于视频会议的 各种装置持续增多,这种装置类似于具有视频会议功能的电话。然而,这些专门用于视频会 议的装置可以被设计为主要用于方便各种档次的技术能力的用户的使用。对于容易使用的 装置的需求已经导致这种装置的装置功能的简化。对装置功能的限制通常会简化装置的可用性。在这种情况下,一般仅要求装置 传送和接收视频信号,以进行视频会议。装置的用户将很难向接收方展示在诸如计算机、 PDA、移动电话、便携式游戏控制装置、和电视调谐器之类的至少一个辅助装置(secondary device)上显示的内容。由于例如刷新率问题、图像质量/清晰度问题、以及分辨率问题 等,使用装置的数码相机来捕捉辅助装置上显示的内容将导致接收者不希望出现的问题。 由于相机与辅助装置之间的距离,导致相机可能不能清楚地捕捉内容。从辅助装置接口 (porting)内容也可能需要简化后的装置不能提供的数据处理能力。

发明内容
第一方面,提供了一种用于处理合成视频图像的方法。该方法包括使用通信设 备的图像捕捉装置获取图像;从连接至通信设备的至少一个辅助装置获取至少一个截屏图 (screen capture);在至少一个辅助装置处将至少一个截屏图编码为通信设备能够接收的 格式;将至少一个编码后的截屏图传送至通信设备;在通信设备处对至少一个编码后的截 屏图进行解码;以及由用户或者根据预定设置在通信设备处组成所述图像和所述至少一个 编码后的截屏图的结合的合成视频图像,以用于用户消费和向网络传输。向网络传输可以 是在用户消费期间同时进行的。有利的是,至少一个截屏图的编码独立于在至少一个辅助 装置上运行的至少一个应用。至少一个截屏图可以具有或不具有音频信号。至少一个截屏图可以是全屏幕视图或部分屏幕视图。优选地,至少一个编码后的 截屏图被作为序列流(sequential stream)传送。至少一个截屏图的源的变化或缺失会导 致合成视频图像的变化。优选地,合成视频图像包括作为背景的至少一个编码后的截屏图 和覆盖在至少一个编码后的截屏图上的图像。至少一个辅助装置例如可以是媒体播放器、计算机、PDA、移动电话、便携式游戏控 制装置、相机或者电视调谐器。第二方面,提供了另一种用于处理合成视频图像的方法。该方法包括使用通信 设备的图像捕捉装置获取图像;从连接至通信设备的至少一个辅助装置获取至少一个截屏 图;在至少一个辅助装置处将至少一个截屏图编码为通信设备能够接收的格式;将至少一个编码后的截屏图传送至通信设备;在通信设备处对至少一个编码后的截屏图进行解码; 以及将多个数据流传送至服务器,该服务器通过用户或者根据预定设置在通信设备处组成 所述图像和所述至少一个编码后的截屏图的结合的合成视频图像,以用于用户消费和进一 步向网络传输。进一步向网络传输可以是在用户消费期间同时进行的。有利的是,至少一 个截屏图的编码独立于在至少一个辅助装置上运行的至少一个应用。至少一个截屏图可以 具有或不具有音频信号。至少一个截屏图可以是全屏幕视图或者部分屏幕视图。优选地,至少一个编码后 的截屏图被作为序列流传送。至少一个截屏图的源的变化或缺失会导致合成视频图像的变 化。优选地,合成视频图像包括作为背景的至少一个编码后的截屏图和覆盖在至少一个编 码后的截屏图上的图像。第三方面,提供了一种用于处理合成视频图像的系统。该系统包括通信设备的图 像捕捉装置,用于获取图像;连接至通信设备的至少一个辅助装置,用于获取至少一个截屏 图;至少一个辅助装置中的桥接编码器,用于将至少一个截屏图变换为通信设备能够接收 的格式;耦合至至少一个辅助装置中的桥接编码器的发射机,用于将至少一个编码后的截 屏图传送至通信设备的桥接解码器;耦合至桥接解码器的视频合成器,该视频合成器由用 户控制或者根据通信设备中的预定设置而被控制,用于组成所述图像和所述至少一个编码 后的截屏图的结合的合成视频图像,以用于用户消费和进一步向网络传输。优选地,至少一 个截屏图的编码独立于在至少一个辅助装置上运行的至少一个应用。至少一个截屏图可以 具有或不具有音频信号。至少一个截屏图可以是全屏幕视图或者部分屏幕视图。优选地,至少一个编码后 的截屏图被作为序列流传送。至少一个截屏图的源的变化或缺失会导致合成视频图像的变 化。优选地,合成视频图像包括作为背景的至少一个编码后的截屏图和覆盖在至少一个编 码后的截屏图上的图像。至少一个辅助装置例如可以是媒体播放器、计算机、PDA、移动电话、便携式游戏控 制装置、相机、或电视调谐器。最后,提供了另一种用于处理合成视频图像的系统。该系统包括通信设备的图 像捕捉装置,用于获取图像;连接至通信设备的至少一个辅助装置,用于获取至少一个截屏 图;至少一个辅助装置中的桥接编码器,用于将至少一个截屏图变换为通信设备能够接收 的格式;耦合至至少一个辅助装置中的桥接编码器的发射机,用于将至少一个编码后的截 屏图传送至通信设备的桥接解码器;位于能够连接至通信设备的服务器上的视频合成器, 该视频合成器由用户控制或者根据通信设备中的预定设置而被控制,用于组成所述图像和 所述至少一个编码后的截屏图的结合的合成视频图像,以用于用户消费和进一步向网络传 输。有利的是,至少一个截屏图的编码独立于在至少一个辅助装置上运行的至少一个应用。


为了使本发明被完全理解并被很容易地付诸实施,现在参考所附的说明性附图, 仅通过非限制性的示例来描述本发明的优选实施例。图1示出了第一实施例中的本发明的方法的流程图。图2示出了第一实施例中的本发明的系统的示意图。
图3示出了第一实施例的变形中的本发明的系统的示意图。图4示出了本发明的系统的概略图。图5示出了截屏图的示例。图6示出了使用通信设备的图像捕捉装置获取的图像的示例。图7示出了使用本发明的方法和/或系统获取的合成视频图像的示例。
具体实施例方式在图1中所示的第一方面,提供了一种用于处理合成视频图像(这种合成图像的示例200在图7中示出)的方法20。方法20包括使用通信设备的图像捕捉装置获取图像 (这种图像的示例300在图6中示出)(22)。通信设备可以示例性地由图2中的50和图3 中的70表示。50和70表示通信设备的变形。图4也示出了使用期间的通信设备100的表
7J\ ο方法20包括从连接至通信设备的至少一个辅助装置获取至少一个截屏图(这种 截屏图的示例400在图5中示出)(24)。截屏图例如包括图表、表格、展示幻灯片、静止图 像、运动图像等。至少一个辅助装置例如可以是媒体播放器、计算机、PDA、移动电话、便携式 游戏控制装置、电视调谐器、相机等。辅助装置可以示例性地表示为图2和图3中的40。图 5也示出了辅助装置的说明性表示,即笔记本120、移动电话140、便携式游戏控制装置160、 电视机中的电视调谐器180。到通信设备的连接可以经由有线或无线连接。至少一个截屏 图可以在至少一个辅助装置处被编码为用于传输至通信设备的格式(26)。在至少一个辅助 装置处进行编码期间,至少一个截屏图还可以进行压缩。音频信号也可以在至少一个辅助 装置处被捕捉。然后,至少一个编码后的截屏图可被作为序列流,经由到通信设备的连接传送至 通信设备(28)。类似地,音频信号也可以被传送至通信设备。然后,至少一个编码后的截屏图(和音频信号)和使用图像捕捉装置获取的图像 可以被解码、结合、并组合为合成音频图像(29)。合成图像的合成可以取决于用户,也可以 根据预定设置。例如,用户可能喜欢使用截屏图作为合成视频图像的背景,而图像被覆盖在 至少一个编码后的截屏图上。这在图7中的合成图像200中示出。至少一个编码后的截屏 图的源可以在任意情况下改变。当至少一个编码后的截屏图的源被改变时,至少一个编码 后的截屏图可以具有不同的内容,并且合成视频图像随后被以不同内容呈现。至少一个截 屏图可以是全屏幕视图或者部分屏幕视图。预定设置可以包括涉及音频混合、将图像/截 屏图分别布置或彼此相对布置等的设置。合成图像可以被用于用户消费(预览合成图像) 和向网络传输。向网络传输可以在用户消费期间同时进行。应该注意,用户消费例如可以 包括观看和编辑。在向网络传输之前,合成图像可以被编码和压缩。在至少一个编码后的截屏图(和音频信号)顺序传输至通信设备(28)之后,通信 设备可以交替地将至少一个编码后的截屏图(和音频信号)和使用图像捕捉装置获取的图 像作为独立流传送至网络(30)。独立流可以在连接至网络的服务器上被解码、结合、并组 合为合成视频图像(32)。合成图像的合成可以取决于用户,也可以根据预定设置。至少一 个编码后的截屏图的源可以在任何情况下被改变。当至少一个编码后的截屏图的源被改变 时,至少一个编码后的截屏图可以具有不同内容(和音频),并且合成视频图像随后被以不同内容呈现。当一个或多个辅助装置被从通信设备断开时,合成视频图像也可以被有差别 地呈现。预定设置可考虑到编码后的截屏图的源的缺失,而不会在与其他方通信期间对用 户产生中断。至少一个截屏图可以是全屏幕视图或者部分屏幕视图。预定设置可以包括涉 及将图像/截屏图分别布置或彼此相对布置的设置。合成图像可以被用于用户消费或向网 络传输。从服务器到网络的传输可以在用户消费期间同时进行。在向网络传输之前,合成 图像可以被编码并压缩。方法20的截屏、编码和传输步骤可以在通信设备中由在例如ActiveX客户端、 Java或专有应用上运行的一组指令启动。在这方面,该组指令,即ActiveX客户端、Java applet/应用或专有应用可以驻留于通信设备本地。应该注意,通信设备可以是USB大容 量存储装置,从而使得辅助装置可以在没有用户介入的情况下下载该组指令用于执行。通 信设备还可以充当网络服务器。通信设备还可以执行作为网络服务器的任务。优选地,方 法20独立于在至少一个辅助装置上运行的至少一个应用。这样,方法20在至少一个应用 被增强/升级/更新的时候仍可以被执行。所以,方法20被启动,而不论辅助装置上的操 作系统、辅助装置上的应用以及辅助装置上的应用版本怎样。诸如jpg、mp4、mp3等的广泛 采用的用于传输的文件格式可以进一步帮助启动将要启动的方法20,而不论辅助装置上的 操作系统、辅助装置上的应用、以及辅助装置上的应用版本如何。第二方面,在图2中公开了一种用于处理合成视频图像(这种合成图像的示例200 在图7中示出)的系统41。系统41包括通信设备50的图像捕捉装置42,用于获取图像 (这种图像的示例300在图6中示出)。至少一个辅助装置40可以被连接43至通信设备 50,用于获取至少一个截屏图44 (这种截屏图的示例400在图5中示出)。截屏图例如可以 包括图表、表格、展示幻灯片、静止图像、运动图像等。音频信号也可以在至少一个辅助装置 处被捕捉。至少一个辅助装置40例如可以是媒体播放器、计算机、PDA、移动电话、便携式游 戏控制装置、电视调谐器、相机等。图4也示出了辅助装置的说明性表示,即笔记本120、移 动电话140、便携式游戏控制装置160、电视机中的电视调谐器180。至少一个辅助装置40可以包括用于将至少一个截屏图44 (和音频信号)变换为 用于传输至通信设备50的格式的桥接编码器(bridgingenc0der)45。桥接编码器45还可 以对至少一个截屏图44进行压缩。至少一个辅助装置40可以包括用于将至少一个编码后 的截屏图(和音频信号)以序列流的形式传送至桥接解码器49继而传送至通信设备50的 视频合成器46的发射机47。视频合成器46可以由用户控制,或者根据预定设置控制。例如,用户可能喜欢使 用截屏图作为合成视频图像的背景,同时图像被覆盖在至少一个编码后的截屏图上。这在 图7中的合成图像200中示出。至少一个截屏图44(和音频信号)的源可以在任何情况下 被改变。当至少一个截屏图(和音频信号)的源被改变时,至少一个编码后的截屏图可以具 有不同内容,并且视频合成器46相应地以不同内容呈现合成视频图像。当一个或多个辅助 装置40被从通信设备50断开时,合成视频图像还可以被有区别地呈现。预定设置可考虑 到编码后的截屏图的源的缺失,而不会在与其他方通信期间对用户造成任何中断。预定设 置可以包括分别音频混合、图像/截屏图的分别布置或彼此相对布置等的设置。至少一个 截屏图可以是全屏幕视图或部分屏幕视图。合成图像可以被用于显示器60上的用户消费 以及向网络48传输。向网络48传输可以在用户消费的同时进行。应该注意,用户消费例如可以包括观看和编辑。在向网络传输之前,合成图像可以被网络编码器51编码并压缩。系统41的第二方面的变形在图3中示出。在这个变形中,通信设备70不具有视 频合成器。通信设备70可以将至少一个编码后的截屏图(和音频信号)和使用图像捕捉 装置获取的图像作为独立流传送至网络48。独立流可以由连接至网络48的服务器90的视 频合成器92结合并组合为合成视频图像。服务器90可以包括网络解码器94,以对来自网 络48的信号进行解码。视频合成器92可以由用户控制,也可以根据预定设置控制。例如, 用户可能喜欢使用截屏图作为合成视频图像的背景,同时图像覆盖在至少一个编码后的截 屏图上。至少一个截屏图44的源可以在任何情况下被改变。当至少一个截屏图的源被改 变时,至少一个编码后的截屏图可以具有不同内容,并且视频合成器92相应地以不同内容 (和音频)呈现合成视频图像。预定设置可以包括涉及音频混合、图像/截屏图的分别布置 或彼此相对布置等的设置。至少一个截屏图可以是全屏幕视图或部分屏幕视图。合成图像 可以被用于显示器60上的用户消费以及向网络48传输。向网络48传输可以在用户消费 期间同时进行。在向网络48传输之前,合成图像可以被网络编码器96编码并压缩。在系统41中,有利的是,至少一个截屏图的编码独立于在至少一个辅助装置上运 行的至少一个应用。系统41的截屏、编码和传输步骤可以由ActiveX客户端、Java或者专 有应用启动。在这方面,该组指令,即ActiveX客户端、Java applet/应用或适当应用可以 驻留于通信设备70本地。应该注意,通信设备70可以是USB大容量存储装置,从而辅助装 置40可以在没有用户介入的情况下下载该组指令用于执行。通信设备70还可以充当网络 服务器。这样,编码在至少一个应用被增强/升级/更新时仍可以执行。所以,编码被启动, 而不论辅助装置上的操作系统、辅助装置上的应用、以及辅助装置上的应用版本如何。诸如 jpg、mp4、mp3等的广泛采用的用于传输的文件格式的使用可以进一步帮助启动将要启动的 方法30,而不论辅助装置上的操作系统、辅助装置上的应用、以及辅助装置上的应用版本如 何。参考图3,示出了本发明的系统的概略图。通信设备100被示出为通过网络102连 接至多个类似的通信设备100。网络102可以是局域网或广域网。应该注意,通信设备100 可以是处理能力小于相同年代的计算机的设备。该系统的关键方面涉及无论辅助装置上的 运行系统、辅助装置上的应用、以及辅助装置上的应用版本如何都能够被连接至辅助装置 的通信设备100。可以看到,诸如笔记本120、移动电话140、便携式游戏控制装置160、电视 机中的电视调谐器180等的辅助装置被连接至通信设备100。通信设备100的显示器104 示出了包括来自笔记本120的截屏图106和由通信设备100的图像捕捉装置110获取的图 像108的合成图像。根据系统41的变形的描述,服务器190被示出为连接至网络102。尽管在前面的描述中描述了本发明的优选实施例,但是本领域技术人员将理解, 在不脱离本发明的条件下,可以在设计或结构的很多细节上作出变形或修改。
权利要求
一种用于处理合成视频图像的方法,所述方法包括使用通信设备的图像捕捉装置获取图像;从连接至所述通信设备的至少一个辅助装置获取至少一个截屏图;在所述至少一个辅助装置处将所述至少一个截屏图编码为所述通信设备能够接收的格式;将至少一个编码后的截屏图传送至所述通信设备;在所述通信设备处对所述至少一个编码后的截屏图进行解码;以及由用户或者根据预定设置在所述通信设备处组成所述图像和所述至少一个编码后的截屏图的结合的合成视频图像,以用于用户消费和向网络传输,其中所述至少一个截屏图的编码独立于在所述至少一个辅助装置上运行的至少一个应用,并且其中所述至少一个截屏图是从包括以下内容的群组中选择的类型具有音频信号和不具有音频信号。
2.根据权利要求1所述的方法,其中所述至少一个截屏图是全屏幕视图或部分屏幕视图。
3.根据权利要求1所述的方法,其中所述向网络传输是在用户消费期间同时进行的。
4.根据权利要求1所述的方法,其中所述至少一个编码后的截屏图被作为序列流传送。
5.根据权利要求1所述的方法,其中所述至少一个辅助装置是从包括以下装置的群组 中选择的媒体播放器、计算机、PDA、移动电话、便携式游戏控制终端、相机、以及电视调谐
6.根据权利要求1所述的方法,其中所述合成视频图像包括作为背景的所述至少一个 编码后的截屏图和覆盖在所述至少一个编码后的截屏图上的所述图像。
7.根据权利要求1所述的方法,其中所述至少一个截屏图的源的变化或缺失导致所述 合成视频图像的变化。
8.一种用于处理合成视频图像的方法,所述方法包括 使用通信设备的图像捕捉装置获取图像;从连接至所述通信设备的至少一个辅助装置获取至少一个截屏图; 在所述至少一个辅助装置处将所述至少一个截屏图编码为所述通信设备能够接收的 格式;将所述至少一个编码后的截屏图传送至所述通信设备; 在所述通信设备处对所述至少一个编码后的截屏图进行解码;以及 将多个数据流传送至服务器,所述服务器通过用户或者根据预定设置在所述通信设备 处组成所述图像和所述至少一个编码后的截屏图的结合的合成视频图像,以用于用户消费 和进一步向网络传输,其中所述至少一个截屏图的编码独立于在所述至少一个辅助装置上运行的至少一个 应用,并且其中所述至少一个截屏图是从包括以下内容的群组中选择出来的类型具有音 频信号和不具有音频信号。
9.根据权利要求8所述的方法,其中所述至少一个截屏图是全屏幕视图或部分屏幕视图。
10.根据权利要求8所述的方法,其中所述进一步向网络传输是在所述用户消费期间 同时进行的。
11.根据权利要求8所述的方法,其中所述至少一个编码后的截屏图被作为序列流传送。
12.根据权利要求8所述的方法,其中所述至少一个辅助装置是从包括以下装置的群 组中选择的媒体播放器、计算机、PDA、移动电话、便携式游戏控制装置、相机、以及电视调谐器。
13.根据权利要求8所述的方法,其中所述合成视频图像包括作为背景的所述至少一 个编码后的截屏图和覆盖在所述至少一个编码后的截屏图上的所述图像。
14.根据权利要求8所述的方法,其中所述至少一个截屏图的源的变化或缺失导致所 述合成视频图像的变化。
15.一种用于处理合成视频图像的系统,所述系统包括 通信设备的图像捕捉装置,用于获取图像;连接至所述通信设备的至少一个辅助装置,用于获取至少一个截屏图; 所述至少一个辅助装置中的桥接编码器,用于将所述至少一个截屏图变换为所述通信 设备能够接收的格式;耦合至所述至少一个辅助装置中的所述桥接编码器的发射机,用于将所述至少一个编 码后的截屏图传送至所述通信设备的桥接解码器;耦合至所述桥接解码器的视频合成器,所述视频合成器由用户控制或根据所述通信设 备中的预定设置而被控制,用于组成所述图像和所述至少一个编码后的截屏图的结合的合 成视频图像,以用于用户消费和进一步向网络传输,其中所述至少一个截屏图的编码独立于在所述至少一个辅助装置上运行的至少一个 应用,并且其中所述至少一个截屏图是从包括以下内容的群组中选择的类型具有音频信 号和不具有音频信号。
16.根据权利要求15所述的系统,其中所述至少一个截屏图是全屏幕视图或部分屏幕 视图。
17.根据权利要求15所述的系统,其中所述进一步向网络传输是在用户消费期间同时 进行的。
18.根据权利要求15所述的系统,其中所述至少一个编码后的截屏图被作为序列流传送。
19.根据权利要求15所述的系统,其中所述至少一个辅助装置是从包括以下装置的群 组中选择的媒体播放器、计算机、PDA、移动电话、便携式游戏控制装置、相机、以及电视调谐器。
20.根据权利要求15所述的系统,其中所述合成视频图像包括作为背景的所述至少一 个编码后的截屏图和覆盖在所述至少一个编码后的截屏图上的所述图像。
21.根据权利要求15所述的系统,其中所述至少一个截屏图的源的变化或缺失导致所 述合成视频图像的变化。
22.一种用于处理合成视频图像的系统,所述系统包括 通信设备的图像捕捉装置,用于获取图像;连接至所述通信设备的至少一个辅助装置,用于获取至少一个截屏图; 所述至少一个辅助装置中的桥接编码器,用于将所述至少一个截屏图变换为所述通信 设备能够接收的格式;耦合至所述至少一个辅助装置中的所述桥接编码器的发射机,用于将所述至少一个编 码后的截屏图传送至所述通信设备的桥接解码器;设置在连接至所述通信设备的服务器上的视频合成器,所述视频合成器由用户控制或 者根据所述通信设备中的预定设置而被控制,用于组成所述图像和所述至少一个编码后的 截屏图的结合的合成视频图像,以用于用户消费和进一步向网络传输,其中所述至少一个截屏图的编码独立于在所述至少一个辅助装置上运行的至少一个 应用,并且所述至少一个截屏图是从包括以下内容的群组中选择的类型具有音频信号和 不具有音频信号。
23.根据权利要求22所述的系统,其中所述至少一个截屏图是全屏幕视图或部分屏幕 视图。
24.根据权利要求22所述的系统,其中所述进一步向网络传输是在用户消费期间同时 进行的。
25.根据权利要求22所述的系统,其中所述至少一个编码后的截屏图被作为序列流传送。
26.根据权利要求22所述的系统,其中所述至少一个辅助装置是从包括以下装置的群 组中选择的媒体播放器、计算机、PDA、移动电话、便携式游戏控制装置、相机、以及电视调谐器。
27.根据权利要求22所述的系统,其中所述合成视频图像包括作为背景的所述至少一 个编码后的截屏图和覆盖在所述至少一个编码后的截屏图上的所述图像。
28.根据权利要求22所述的系统,其中所述至少一个截屏图的源的变化或缺失导致所 述合成视频图像的变化。
全文摘要
提供了用于处理合成视频图像的方法和系统。合成视频图像可以是由用户或者根据预定设置组成的、用于用户消费和向网络传输的图像和至少一个编码后的截屏图的结合。向网络传输可以在用户消费期间同时进行。有利的是,至少一个截屏图的编码独立于在至少一个辅助装置上运行的至少一个应用。至少一个截屏图可以具有或不具有音频信号。
文档编号H04N7/15GK101828392SQ200880112233
公开日2010年9月8日 申请日期2008年10月15日 优先权日2007年10月19日
发明者道·恩·德斯蒙德·许 申请人:创新科技有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1