专利名称：用于处理视频即时消息的方法和系统的制作方法
技术领域：
本发明一般地涉及处理视频即时消息(instant message)以包括合成图 像的领域。
背景技术：
宽带因特网接入的日益普及在全球范围内导致了对于如视频即时通讯 (instant messaging)和视频会议之类的通信方法的采用呈指数增长。来自 如微软、雅虎、Skype和美国在线(America Online)之类的公司的、实现 视频即时通讯和视频会议的免费通信软件的多样性和易获得也帮助提高了 这样的通信方法的普及。
但是，前述软件主要满足休闲娱乐用途的需要而并没有促进方便的桌 面共享。例如，在视频即时通讯期间可能会有这样的情况，其中可能需要 涉及图形上的(一个或多个)点，而描述精确的点需要识别所述(一个或 多个)点的坐标，这可能不太方便。通过使用图像捕捉设备来示出图表的 打印输出(print-out)可以满足需要，但这取决于图像捕捉设备能够足够 详细地捕捉到图形的打印输出以便接收者明白发送者要描述的内容。因 此，为了使视频即时通讯能够以所期望的方式工作，需要打印输出和图像 捕捉设备两者的高分辨率。遗憾的是，高分辨率图像的传输需要使用可能 不容易获得的更宽的带宽。即时文件传递可能不足以用于其中所讨论的数 据可能不断变化的情况。
另外，视频即时通讯通常涉及图像捕捉设备捕捉其前方的整个区域。 这可能是不期望的，因为发送者可能想要隐藏/阻挡/模糊由图像捕捉设备 所捕捉到的区域的某些部分，或者接收者可能希望仅査看由图像捕捉设备 所捕捉到的区域的某些部分。这在目前用现在可用的通信软件是不可能实 现的。
发明内容
提供一种用于处理视频即时消息的方法。该方法包括接收至少一幅图
像；将至少一幅图像生成到合成图像中；并将合成图像作为即时消息传送 给接收者。优选地，例如可以从发送者处的显示器的屏幕捕捉或发送者处 的图像捕捉设备获得来自发送者的至少一幅图像。生成用于视频即时通讯 应用的图形用户界面以使得发送者或接收者能够选择构成合成图像的至少 一幅图像可能是有利的。图形用户界面可以是在线的或本地安装的。
优选地，图像捕捉设备捕捉静止图像和图像流两者。同样优选地，在 成像设备驱动(driver)中执行该方法以将图像捕捉设备连接到与设备驱动 相关联的视频即时通讯应用。成像设备驱动可以被配置为与视频即时通讯 应用进行通信，这些视频即时通讯应用例如是AOL即时通讯应用(AOL Instant Messenger, AIM) 、 MSN即时通讯应用、Skype通讯应用或雅虎即 时通讯应用。
合成图像可以由发送者或接收者合成。屏幕捕捉可以是局部屏幕捕捉 或整体屏幕捕捉。从图像捕捉设备所获得的图像可以是图像的至少一部分 或整幅图像。
还公开了一种用于处理视频即时消息的图像处理系统。该系统包括接 口模块，用于从图像源接收至少一幅图像；以及处理模块，用于将至少一 幅图像生成到合成图像中，该合成图像被作为视频即时消息传送给接收 者。优选地，通过使用接口模块从显示器的屏幕捕捉或图像捕捉设备获得 至少一幅图像。
优选地，图像捕捉设备捕捉静止图像和图像流两者。优选地，处理模 块可以生成图形用户界面以使得能够选择构成合成图像的至少一幅图像。 图形用户界面可以是在线的或本地安装的。优选地，接口模块可以被设置 用于将图像源连接到处理模块。
合成图像由发送者或接收者来排布是有利的。处理模块可以包括视频 即时通讯应用，例如AOL即时通讯应用(AIM) 、 MSN即时通讯应用、 Skype通讯应用或雅虎即时通讯应用。屏幕捕捉可以是部分屏幕的或整体 屏幕的。从图像源所获得的图像可以是图像的至少一部分或整幅图像。
为了可以充分地理解本发明并易于将本发明投入实际应用，现描述仅 作为非限制性示例的本发明的优选实施例，描述参照随附的说明性示图。
图1示出根据本发明优选实施例的计算机系统中示例性硬件层和软件 层的示意性框图。
图2示出本发明的方法的优选实施例的示意性流程图。
图3示出根据本发明的、通过使用视频设备驱动的即时通讯(IM)应
用而生成的代表性图形用户界面。
图4A示出由图像捕捉设备所捕捉到的图像。
图4B示出根据本发明的、经由计算机网络被发送给接收者的合成图像。
图5A示出发送者显示器上的内容。
图5B示出根据本发明的、经由计算机网络被发送给接收者的另一合 成图像。
图6示出本发明优选实施例的系统的示意性流程图。
图7示出由成像设备驱动28生成合成图像的示意性流程图。
具体实施例方式
下面的讨论意欲提供对其中可实现本发明的适当计算环境的简短的一 般性描述。将在诸如由个人计算机执行的程序模块之类的计算机可执行指 令的一般背景中描述本发明。 一般地，程序模块包括执行特定任务或实现 特定抽象数据类型的例程、程序、字符、组件和数据结构。如本领域中的 技术人员所知的，可以通过其它计算机系统配置来实践本发明，这些计算 机系统配置包括手持设备、多处理器系统、基于微处理器或可编程的消费 类电子产品、网络个人计算机(PC)、小型机、大型计算机等。本发明也 可以在分布式计算环境中被实践，其中由通过通信网络链接的远程处理设 备来执行任务。在分布式计算环境中，程序模块可以位于本地和远程存储 器存储设备两者中。
现参照图1，示出了包括硬件层24和软件层22的计算机系统20。硬件层24可以是图像捕捉设备26，但是也可以设置诸如打印机、声卡、显 卡、CD读/写器、DVD读/写器等之类的一些其它硬件设备。所示出的软 件层22包括IM应用程序32、操作系统30和成像设备驱动28。成像设备 驱动28可以包括光学字符识别(OCR)功能。
IM应用程序32可以是多个不同的IM应用程序中的任意一个，这些 IM应用程序例如是雅虎即时通讯应用、MSN即时通讯应用、Skype通讯 应用、AOL即时通讯应用等。操作系统30例如可以是基于Microsoft Windows的操作系统、Unix系统、Linux或任何其它操作系统。在一个示 例性实施例中，系统20可以经由因特网来传送视频即时消息和文本即时 消息两者。
图像捕捉设备24可以是web摄像头、扫描仪或任何其它可视捕捉设 备。应注意系统20的软件层22和硬件层24仅仅是说明性的，并且在不同 的实施例中，软件层22的一个或多个组件可以被省略、组合或重排。也 可以包括更多的软件层22。类似地，根据硬件层24中的硬件，也可能需 要多个硬件设备驱动。
成像设备驱动28可以是由图像捕捉设备24的制造商所写入的专有设 备驱动。但是，可以存在不是由相同制造商所制造的兼容图像捕捉设备 24，其能够使用成像设备驱动28。成像设备驱动28可以用作IM应用程序 32和图像捕捉设备24之间的渠道(conduit)和译码器。
现参照图2，示出了用于处理视频即时消息的方法的优选实施例的示 意性流程图。该方法可以包括从图像捕捉设备24接收至少一幅图像 (40)。该至少一幅图像可以是静止图像或图像流。使用者可以利用如图 3所示的代表性图形用户界面(GUI) 90来使用成像设备驱动28。 GUI 90 可以是基于web的并且不必被本地地安装在特定的计算机中。使用者可以 是发送者或接收者。在本描述的随后部分中会提供对GUI 90的更详细的 描述。
通过使用图3所示的GUI 90，使用者可以通过使用IM应用程序32来 选择要传输的多于一幅的图像(42)。如果仅选择了一幅图像，则呈现单 个图像(或图像流)(44)，就像本领域现状中的任何web摄像头那样。单个图像/图像流随后由IM应用程序32处理(50)并被传输给接收者。 但是，如果使用者选择了多于一幅的图像，则由成像设备驱动28来生成 多于一幅的图像的合成图像(46)。可以由使用者或者由成像设备驱动28 自动地(根据默认设置)来排布合成图像的构成。现参照图4A，示出了 由图像捕捉设备24所捕捉到的图像80的示例。图像80示出一位男高尔夫 球手82、 一辆汽车84和一株仙人掌86。图像80可以是静止图像或图像 流。使用者可以结合如图3所示的GUI 90来使用成像设备驱动28。使用 者可以使用GUI 90上的"水平俯仰变焦"(Pan Tilt Zoom)控件92来选 择图像80的使用者可能主要感兴趣的部分。图像80的每个所选出的部分 可以被视为单个图像或单个图像流。"水平俯仰变焦"控件92可以具有 放大按钮94和縮小按钮96。方向按钮98使得图像80中的对象能够被放 在中心。方向按钮98可以物理地控制图像捕捉设备24的移动或控制由图 像捕捉设备24所捕捉到的图像80的移动。例如，使用者可能仅希望看到 仙人掌86和男高尔夫球手82的脸81。使用者在按下"选择"按钮100前 使用GUI 90来放大到仙人掌86。随后，使用者还在按下"选择"按钮 100前放大到男高尔夫球手82的脸81。因此，生成了图4B所示的合成图 像。对图像80的多个部分的选择使得所选出的部分能够以更大的放大细 节被观察。图4B所示的合成图像的并排布局可以是由成像设备驱动28的 制造商所设定的默认排布，或由是由使用者决定的。
现返回到图2，由成像设备驱动28形成合成图像后，合成图像/图像 流被相应地呈现(48)。合成图像/图像流随后由IM应用程序32处理
(50)并被发送给接收者。与接收者的通信可以经由网络。
如果IM应用程序32允许并入插件程序(plug-in)，则可以由IM应 用程序32而不是设备驱动28来执行前述方法中图像合成的程序
(facility)。
可替代地，除了如前所述的事实上作为单个图像的不同部分的多幅图 像(形成合成图像)之外，另一种类型的合成图像在图5B中示出。图5A 示出发送者的显示器110上的内容。显示器110可以是屏幕，例如 Microsoft Windows桌面、Mac Tiger桌面等。在这种情况下，显示器110示出图形111。用于处理视频即时消息的前述方法还可以包括这样的合成 图像其使直接来自发送者的显示器110的内容的屏幕捕捉与由图像捕捉
设备24所获得的图像或图像流组合在一起。这在图5B的合成图像中被示 出，其中呈现了来自显示器110的图表111和子框(sub-box) 112中的由 图像捕捉设备24所获得的图像或图像流。虽然在图5A中示出了图表 111，但是应当注意从显示器110所获得的内容可以是显示在显示器110 上任何内容，例如文档、电子表格、图片、报告等。显示器110上的内容 的变化可以被实时地传输给接收者。这样，接收者也能够看到由发送者所 控制的指针的移动和发送者的所有其它输入。这有助于接收者对进行中的 通信的理解。
现返回到图3，可以通过从GUI 90选择"捕捉屏幕/扫描"按钮102 来捕捉来自显示器110 (整体或局部)的内容。通过将放大按钮94和縮小 按钮96与方向按钮98结合使用，可以实现对来自显示器110的内容的局 部捕捉。同样通过从GUI 90选择"捕捉屏幕/扫描"按钮102，还可以直 接从扫描仪获得合成图像的组件。通过成像设备驱动28中OCR功能的存 在，可以实现该扫描捕捉特征，并且该扫描捕捉特征可以帮助在发送者和 接收者之间共享特定的打印介质。扫描并且作为图像文件保存所扫描的图 像这一附加步骤被省略。GUI 90还能够选择显示器110上特定的"窗口" 或应用程序。发送者可以选择窗口 (该窗口是因特网浏览器)，从而使得 浏览器中的内容被选择用于在IM中发送。可以选择多个"窗口"，同时 在IM中将合成图像发送到接收者。如前面提到的，发送者或接收者可以 决定所发送的和所接收的合成图像的构成。
图7示出由成像设备驱动28来生成合成图像的示意性流程图。可以 利用耦合到成像设备驱动28的GUI 90来选择来自显示器110和/或图像捕 捉设备26的输入。GUI 90可以用来选择显示器110的整体的或局部的 (一个或多个)部分。类似地，GUI 90可以用来选择由图像捕捉设备26 所获得的图像的整体的或局部的(一个或多个)部分。成像设备驱动28 可以将来自显示器110和图像捕捉设备26的输入拼合或组合到用于在即 时通讯期间随后发送给接收者的合成图像(如图4B或图5B)中。如果IM应用程序32允许并入插件程序，则可以由IM应用程序32而不是设备 驱动28来执行图像合成程序。
如图6所示的本发明的另一个方面，提供一种用于处理视频即时消息 的图像处理系统。在本发明的优选实施例中，系统包括用于获得至少一幅 图像的图像源200。该至少一幅图像可以是静止图像或图像流。图像源可 以是如web摄像头、扫描仪或任何其它可视捕捉设备之类的图像捕捉设 备。图像源可以是显示器上的内容的局部屏幕捕捉或整体屏幕捕捉。可以 具有用于接收来自图像源200的至少一幅图像的接口模块202。接口模块 202可以用作处理模块204和图像源200之间的渠道和译码器。接口模块 202可以被设置在成像设备驱动中。接口模块202还可以包括用于直接从 扫描仪获得图像的光学字符识别(OCR)功能。
处理模块204可以包括IM应用程序，例如雅虎即时通讯应用、MSN 即时通讯应用、Skype通讯应用、AOL即时通讯应用等。
如果仅一幅图像被选择用于发送给接收者，则单个图像(或图像流) 被传输给接收者，像本领域现状下的任何网络摄像头那样。但是，如果使 用者选择了多于一幅的图像，则由处理模块204生成多于一幅的图像的合 成图像。可以由使用者来排布合成图像，或者可以由处理模块204自动地 来排布合成图像。合成图像的布局可以是由接口模块202的制造商所设定 的默认排布或者是由使用者决定的。使用者可以是发送者或接收者。合成 图像可以类似于如根据这节前面部分的描述一样在图4B和图5B中所示出 的那些图像。处理模块204可以生成GUI以使得能够选择构成合成图像的 至少一幅图像。GUI也可以是在线的。
由处理模块204形成合成图像后，合成图像然后作为即时消息被传输 给接收者206。与接收者206的通信可以经由网络。
尽管已经在前述描述中描述了本发明的优选实施例，但是本领域中的 相关技术人员应理解，在设计或结构的细节方面可以做出各种改变和修改 而不会脱离本发明。
10
权利要求
1. 一种用于处理视频即时消息的方法，所述方法包括接收至少一幅图像；将所述至少一幅图像生成到合成图像中；并且将所述合成图像作为所述即时消息传送给接收者，其中，从下述组中获得来自发送者的所述至少一幅图像，所述组包括所述发送者处的显示器的屏幕捕捉和所述发送者处的图像捕捉设备。
2. 如权利要求1所述的方法，其中，所述图像捕捉设备捕捉静止图像和图像流两者。
3. 如权利要求1所述的方法，还包括生成用于视频即时通讯应用的图 形用户界面，以使得所述发送者或所述接收者能够选择构成所述合成图像 的所述至少一幅图像。
4. 如权利要求3所述的方法，其中，所述图形用户界面是在线的或者 是本地安装的。
5. 如权利要求1所述的方法，其中，在成像设备驱动中执行所述方 法，以将所述图像捕捉设备连接到与所述设备驱动相关联的视频即时通讯 应用。
6. 如权利要求1所述的方法，其中，所述合成图像是由所述发送者合 成的，或者是由所述接收者合成的。
7. 如权利要求5所述的方法，其中，所述成像设备驱动被配置为与选 自下述视频即时通讯应用之一的视频即时通讯应用进行通信，所述视频即 时通讯应用包括AOL即时通讯应用(AIM) 、 MSN即时通讯应用、 Skype通讯应用、雅虎即时通讯应用以及类似的视频即时通讯应用。
8. 如权利要求1所述的方法，其中，所述屏幕捕捉的类型是从下述组 中选出的，所述组包括局部类型和整体类型。
9. 如权利要求1所述的方法，其中，从所述图像捕捉设备所获得的图 像是所述图像的至少 一部分或整幅图像。
10. —种包含指令的机器可读介质，所述指令在被机器执行时使所述机器执行如权利要求1所述的方法。
11. 一种用于处理视频即时消息的图像处理系统，所述系统包括 接口模块，用于从图像源接收至少一幅图像；以及处理模块，用于将所述至少一幅图像生成到合成图像中，所述合成图 像被作为所述视频即时消息传送给接收者，其中，通过使用所述接口模块从下述组中获得所述至少一幅图像，所 述组包括显示器的屏幕捕捉和图像捕捉设备。
12. 如权利要求11所述的系统，其中，所述图像捕捉设备捕捉静止图 像和图像流两者。
13. 如权利要求11所述的系统，其中，所述处理模块生成图形用户界面以使得能够选择构成所述合成图像的所述至少一幅图像。
14. 如权利要求13所述的系统，其中，所述图形用户界面是在线的或 者是本地安装的。
15. 如权利要求11所述的系统，其中，所述接口模块被设置用于将图 像源连接到所述处理模块。
16. 如权利要求11所述的系统，其中，所述合成图像由发送者来排 布，或者由所述接收者来排布。
17. 如权利要求11所述的系统，其中，所述处理模块包括选自下述视 频即时通讯应用之一的视频即时通讯应用AOL即时通讯应用(AIM)、 MSN即时通讯应用、Skype通讯应用、雅虎即时通讯应用以及类似的视频 即时通讯应用。
18. 如权利要求11所述的系统，其中，所述屏幕捕捉的类型是从下述 组中选出的，所述组包括局部类型和整体类型。
19. 如权利要求11所述的系统，其中，从所述图像源所获得的图像是 所述图像的至少一部分或整幅图像。
全文摘要
提供了一种用于处理视频即时消息的方法和系统。该方法和系统可以包括接收至少一幅图像；将至少一幅图像生成到合成图像中；并且将合成图像作为即时消息传送给接收者。优选地，例如可以从发送者处的显示器的屏幕捕捉或发送者处的图像捕捉设备获得来自发送者的至少一幅图像。生成用于视频即时通讯应用的图形用户界面以使得发送者或接收者能够选择构成合成图像的至少一幅图像可能是有利的。图形用户界面可以是在线的或本地安装的。
文档编号H04L12/18GK101513031SQ200780032618
公开日2009年8月19日 申请日期2007年8月21日 优先权日2006年8月28日
发明者威利·平, 道恩·德斯蒙德·许 申请人:创新科技有限公司