用于实时白板流技术的系统和方法

专利名称：用于实时白板流技术的系统和方法
技术领域：
本发明针对一种用于在网络环境中使用流技术(streaming)将白板(whiteboard)内容传送给计算设备的系统和方法。更具体地说，本发明涉及一种用于将经增强的白板图像序列实时发送给一个或多个远程会议参与者以允许在会议期间为所有会议参与者提供基于网络的协作。
背景技术：
各种会议占据了许多工作人员工作时间的很大部分。如何有效地利用会议时间和节省会议期间往来的费用被企业作为增加生产力和成本节约方面的有效手段而越来越重视。
许多会议组织者已经在头脑风暴会议、讲座、项目计划会议、专利公布等会议中广泛采用了白板技术。在这些会议期间，对写在板上的内容的笔记和复制经常影响到许多参与者的积极投入和贡献。因此，人们已经在以某些自动方式来捕获白板内容的技术方面花费了一些努力。
每个企业都需要信息和意见的自由交流以改善它们的产品和服务。在团队中和团队外的人员之间的有效协作可以提高产品质量、提升产品或项目开发的研制周期并减少成本。然而，有效的协作通常是很难实现的。而阻碍有效会议的一个问题就是通常人们在地域上并不在一起。考虑到冗长的旅程的时间，参加会议的行程是非常耗费时间和金钱的。为参加一个2到3小时会议的人可能将花费一天时间在旅程上，还需要花费一天时间在回程上，特别是当召开跨国界或跨大陆会议时，该问题更加突出。
因此，人们很强烈地需要一种方式来使得在召开地域上不处于一起的许多人参加的会议时能更加容易轻松，以允许这些远程参与者实时参与会议并共享他们的意见。

发明内容
本发明针对一种用于在网络环境中使用流技术将白板内容传送给计算设备的系统和方法。这种称之为实时白板流技术系统和方法的发明是一种对白板图像生成技术的扩展，以在会议期间提供基于网络的协作。在本发明的一个实施例中，网络客户可以接收会议的音频内容和增强的白板内容(视频图像或快照图像序列)。在另一实施例中，每个联网客户可以发送音频内容和注解内容，该注解内容显示在来自实际白板的单独屏幕上，或由实际白板自身产生。该流技术内容是建立在外部协作构架上，例如微软公司的Windows Messenger和Net Meeting。将白板的增强实况视频以流技术传送给远程会议参与者的个人计算机(PCs)，然后，他们可以将评论和注解再传送回来。由此产生的系统可以为分布式会议提供了自然的协作性工具。
该系统的典型方案包括涉及头脑风暴会议。该会议涉及到在聚集在某地(典型的是在会议室中)的N个人，以及M个(通常是1到3)个人(远程用户)，每个人可能在他们自己的办公室中或其它远程地点。
聚集在会议室中的N个人配备有白板、捕获白板内容的摄像头、捕获会议音频的麦克风设备、会议服务器、投影仪、电视或其它显示器，它们连接到所述会议服务器上；以及安装在麦克风设备上的扬声器。而M个个人中的每个人坐在他们自己的办公室或其它远程地点，配备有桌面计算机或笔记本电脑、扬声器、麦克风以及将远程个人计算机与会议服务器相连的网络连接。
在会议室中的N个人使用白板作为协作空间，通过在白板上描绘来共享他们的意见。在白板上的内容迅速被捕获(实际上是实时捕获)，并通过网络将白板的增强图像传送给远程人员以使他们能共享内容。而口头上的讨论将由麦克风捕获，并且该音频，最好和定向信息一起，例如使用音频指纹的音频跟踪一起，也通过这个装置发送给远程人员。
而参加会议的远程人员通过在会议室中由扬声器播放的音频来参与会议。远程人员可以通过在捕获的白板帧上注解来参与会议，并且经注解的白板帧会显示在会议室的显示器上以及其它远程个人计算机的屏幕上。另外，还可以使用例如蜂鸣器或某些视觉提示信号来提醒会议参与者，远程参与者已经向白板内容进行输入。
整个会议(包括注解)都能归档，以便在将来进行查阅。白板和注解作了时间标记，并与音频同步。
如前所述，远程参与者可以在白板内容上提供注解和口头评论。会议室中的屏幕(它与白板不同)显示了白板内容和注解。一种替换的方案是将远程参与者的注解直接投影到会议室的实际白板上。该方案的好处在于远程参与者能积极参与白板内容的进展。
在上述的方案中，远程参与者使用的是传统的PC。然而，远程参与者也可以使用平板PC(TabletPC)。微软公司的平板PC是针对全配置个人计算机设计的，它允许用户使用输入笔或数字感应触摸屏代替键盘来通过自然手写笔记。墨水(ink)技术可以使得远程参与者进行注解(无论是公开的和/或私人的)变得更加容易。
如上所述，实时白板流技术系统和方法具有基于服务器的端和基于客户的端。在下面的段落中，将进一步详细描述。
实时白板流技术系统和方法的服务器端通常由4个主要部分组成1)分类处理，将图像序列单元分类成背景、前景或笔划单元(stroke cell)；2)动态白板背景初始化和更新处理，计算白板颜色而不包括前景对象(例如人员)和笔划；3)有效实时处理，对输入视频序列中的白板区域进行增强；4)分析处理，提取白板上新出现的笔划。
如本发明所述的系统和方法最初获取由白板图像帧实时序列构成的一系列快照或实况白板视频输入。该快照序列或视频以逐帧为基础进行实时处理。
白板图像帧序列(快照或视频)输入给基于单元运动检测的处理。在该处理中，在给定帧序列中的每个图像帧分成了几个单元。对每个对应的单元位置随时间变化进行比较，以检测光或色中的任何变化。如果有显著的光照变化，就执行白板颜色匹配处理动作，这将随后进行详细描述。如果没有显著的光照变化，该视频帧的每个单元就分类成前景、白板背景或笔划单元。在单元分类中，其主要意图在于过滤掉遮挡白板部分的人或其它对象的图像部分，以便在白板背景上仅显示白板内容的笔划。
单元分类也用于创建白板视频流，它是一种具有白板和前景对象(例如站在所显示白板之前的人员)的增强的实况视频流。还会创建其它数据流，如白板和仅有笔划数据流，其中以增强方式在白板上仅显示白板的笔划，而不显示前景对象。
为了显示含有白板和前景对象的增强图像，执行图像增强处理。在图像增强处理中，白板颜色更加统一，而白板内容(也就是写在白板上的内容)的笔划饱和度增加以使得笔划更加鲜明和易读。
单元分类的另一输出是判断是否添加了笔划或从白板中去除了笔划。在这种处理动作中，实时白板流技术系统和方法确定单元中的笔划内容是否增加或减少了(即对应于附加的写或擦除白板内容)。如果单元的笔划内容发生了变化，这些内容的变化就输出给白板数据流。
另外，在单元分类之后，系统判定白板颜色模型是否需要更新。白板颜色模型更新处理是对白板颜色中的逐渐变化的识别。例如，亮度条件中的这些微小变化是由于云彩从太阳前经过或某些东西在白板上投下阴影。如果逐渐的亮度变化被识别，则更新白板颜色模型中当前白板颜色的模型。
如前所述，显著的光变化在基于单元的运动检测处理中被记录，如本发明所述的系统或方法就判定所记录的亮度变化是否包含在当前白板颜色模型中。如果新亮度条件对应于白板颜色模型数据库中的白板颜色模型，该模型就用于后续单元分类。然而，如果没有找到颜色模型，就初始化或估计新的颜色模型，并将其加入到白板颜色模型数据库中。
如本发明所述的系统和方法具有许多优点。它允许远程会议参与者积极参加会议，而不需要花费时间和金钱去远程地点开会。它提供了一种具有前景对象的更加易读的白板数据流形式，以及提供了不具有前景对象的更加易读的白板内容数据流。
除了上述的优点之外，本发明的其它优点可以从下面结合附图的具体描述中进一步体现出来。


本申请的文件中含有至少一张彩色的附图。具有彩色附图的本申请文本将在申请人请求并支付所需费用后由美国专利和商标局提供。
本发明的特定特征、方面和优点将通过下述描述、权利要求和附图变得更容易理解。
图1是描述构成实现本发明的示范系统的通用计算设备的框图。
图2是实时白板流技术系统和方法的主要系统部件的框图。
图3是实时白板流技术系统和方法的主要功能部分的框图。
图4是如本发明所述的系统和方法概括流程图。
图5是一系列输入图像的框图。
图6是如本发明所述的系统和方法所使用的白板图像单元的单元分类的概括流程图。
图7是如本发明所述的系统和方法所使用的白板颜色估计处理的概括流程图。
图8是如本发明所述的系统和方法所使用的白板图像增强的概括流程图。
图9是如本发明所述的系统和方法所述的笔划识别和提取的概括流程图。
图A-1是用于说明如本发明所述的系统和方法所述的白板颜色估计和过滤的框图。
具体实施例方式
在本发明的较佳实施例的下述描述中，参考了作为说明书一部分的附图进行描述，所述

了本发明可以采用的特定实施例。本领域技术人员应该理解在不背离本发明精神的情况下，还可以使用其它实施例或对这些实施例进行修改。这都没有超出本发明的公开范围。
1.0示范工作环境图1示出了可以实现本发明的一种合适的计算系统环境100实例。该计算系统环境100只是一个合适的计算环境的实例，并不是要将本发明的使用和功能范围局限在该环境中。也不是要将计算环境100解释为与示范工作环境100中所示部件之一或其组合具有联系或要求。
本发明可以在许多其它通用或专用计算系统环境或配置中工作。这些适用于本发明的众所周知的计算系统、环境和/或配置的实例可以包括(但不局限于)个人计算机、服务器计算机、手提或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费类电子产品、网络PC、微型计算机、大型机、包含上述任意系统和设备的分布式计算环境，等等。
本发明从计算机可执行指令的概括角度进行描述，例如以计算机可执行的程序模块来进行描述。通常，程序模块包括例行程序、程序、对象、部件、数据结构等，它们能执行特定任务或实现特定抽象数据类型。本发明也可以在分布式计算环境中实现，在这种环境中，由通过通信网络连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包含存储器存储设备的本地和远程计算机存储媒体中。
参照图1，一种执行本发明的示范系统包括以计算机110形式出现的通用计算设备。该计算机110的部件包括(但不局限于)处理单元120、系统存储器130和系统总线121，它将各种系统部件(包括系统存储器到处理单元120)都连接在一起。系统总线121可以是下述几种总线结构类型中任意一种存储器总线或存储器控制器、外设总线和使用各种总线体系的局域总线。这种体系包括例如(但不局限于)工业标准结构(ISA)总线、微通道结构(MCA)总线、扩展ISA(EISA)总线、视频电子标准协会(VESA)局域总线以及外设部件互连(PCI)总线，也称为中层总线(Mezzanine bus)。
计算机110通常包括各种计算机可读媒体。计算机可读媒体包括任何可由计算机110存取的可用媒体，包括易失和非易失媒体、可移动和非可移动媒体。计算机可读媒体可以包括例如(但不局限于)计算机存储媒体和通信媒体。计算机存储媒体包括易失和非易失、可移动和非可移动媒体，这些媒体可以用于任何存储信息，例如计算机可读指令、数据结构、程序模块或其它数据，的方法或技术实现。计算机存储媒体包括(但不局限于)RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用光盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或任意其它可用于存储所需信息并可被计算机110存取的媒体。通信媒体通常包含计算机可读指令、数据结构、程序模块或其它调制数据信号(例如载波)或其它传输机制中的数据，并且包括任何信息传递媒体。术语“调制数据信号”是指以对信号中信息编码的方式使其一个或多个特性被设定或改变的信号。通信媒体包括(但不局限于)有线媒体例如有线网络或直线连接、以及无线媒体例如声音、RF、红外线和其它无线媒体。上述媒体的任意组合也应包含在计算机可读媒体的范畴。
系统存储器130包括易失和/或非易失存储器形式的计算机存储媒体，例如只读存储器(ROM)131和随机访问存储器(RAM)132。基本输入/输出系统133(BIOS)，含有例如在启动期间帮助在计算机110中的元件之间传送信息的基本例行程序，通常存储在ROM 131中。RAM 132通常含有立刻就要存取和/或目前正在被处理单元120处理的数据和/或程序模块。图1示例出(但不局限于)操作系统34、应用程序135、其它程序模块136以及程序数据137。
计算机110可以包括其它可移动/非可移动、易失/非易失计算机存储媒体。图1示例出(但不局限于)可以对非可移动、非易失磁性媒体进行读写的硬盘驱动器141，可对可移动、非易失磁盘152进行读写的磁盘驱动器151，以及可对可移动、非易失光盘(例如CD-ROM或其它光学媒体156)进行读写的光盘驱动器155。其它可用于示范操作环境的可移动/非可移动、易失/非易失计算机存储媒体包括(但不局限于)磁带盒、闪存卡、数字通用光盘、数字摄像带、固态RAM、固态ROM等等。硬盘驱动器141通常通过即时-可移动(anon-removable)存储器接口(例如接口140)与系统总线121连接，而磁盘驱动器151和光盘驱动器155通常通过可移动存储器接口(例如接口150)与系统总线121相连。
在如上所述和图1中所示的驱动器及其相关的计算机存储媒体为计算机可读指令、数据结构、程序模块和计算机110的其它数据提供了存储。在图1中，例如，硬盘驱动器141如图所示存储了操作系统144、应用程序145、其它程序模块146以及程序数据147。注意这些部分可以与操作系统134、应用程序135、其它程序模块136以及程序数据137相同，也可以不同。操作系统144、应用程序145、其它程序模块146以及程序数据147在这里用不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备例如键盘162和指点设备161(通常指鼠标、轨迹球或触摸板)将命令和信息输入到计算机110中。其它输入设备(未示出)可以包括麦克风、操纵杆、游戏手柄、卫星天线、扫描仪等。这些和其它输入设备通常通过连接到系统总线12 1的用户输入接 160连接到处理单元120，但也可以由其它接口或总线结构连接，例如并行口、游戏端口或通用串行总线(USB)。监视器191或其它类型的显示设备也通过接口(例如视频接口190)连接到系统总线121。除了监视器外，计算机还可以包括其它外围输出设备，例如扬声器197和打印机196，它们可以通过输出外围接口195进行连接。而能捕获图像164序列的摄像头163(例如数字/电子静态或视频摄像机)作为本发明特别重要的设备也可作为输入设备包括在个人计算机110中。而且，虽然只描述了采用一个摄像头的情况，但个人计算机110也可采用多个摄像头作为输入设备。来自一个或多个摄像头的图像164通过合适的摄像头接口165输入到计算机110中。该接口165连接到了系统总线121，因而允许图像发送并存储在RAM 132或与计算机110相关的其它数据存储设备中的一个中。然而，需要注意，图像数据也可以从任意上述计算机可读媒体中输入到计算机110，而不需要使用摄像头163。
计算机110可以在使用物理连接一个或多个远程计算机(例如远程计算机180)的联网环境中运行。该远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它公共网络节点，并且虽然在图1中仅示出存储器存储设备181，但通常还包括上述有关计算机110的许多或所有元件。在图1中所示的物理连接包括局域网(LAN)171和广域网(WAN)173，但也可以包括其它网络。这些网络环境在办公室、企业计算机网络、内联网和互联网中已经广泛采用。
当在LAN网络环境中使用时，计算机110通过网络接口或适配器170连接到LAN 171。当在WAN网络环境中使用时，计算机110通常包括调制解调器172或其它与WAN 173，例如互联网，建立通信的装置。调制解调器172可以是内置的，也可以是外置的，可通过用户输入接口160连接到系统总线121，或其它合适的机构。在网络环境中，有关计算机110所描绘的程序模块或其部分可以存储在远程存储器存储设备中。图1示例出(但不局限于)驻留在存储器设备181上的远程应用程序185。需要注意，所示的网络连接是示例性的，也可以使用其它装置在计算机之间建立通信连接。
现在，已经讨论了示范操作环境，本说明书部分的剩余内容将致力于描述实现本发明的程序模块。
2.0实时白板流技术的系统和方法2.1概述实时白板流技术的系统和方法通常具有基于服务器的部件，并且能具有一个或多个安排在基于网络的环境中的远程客户机。增加的实况视频或增强实时白板快照序列以流技术传送给远程会议参与者的PC，而他们可以在白板内容上发送回注解以及在会议进程中进行口头评论。
如图2所示，典型的这种系统的方案包括头脑风暴会议，它涉及到处于某地(例如典型的会议室202)的N个人员，以及M个(通常是1到3个)远程人员204a…，204m，每个人员位于他们自己的办公室中或其它远程地点。
聚集在会议室202中的N个人配备有白板206、捕获白板内容的摄像头208、捕获会议音频的麦克风210、会议服务器、投影仪、电视或其它显示器212，它们连接到所述会议服务器214上；以及安装在麦克风设备上的扬声器216。而M个个人中的每个人坐在他们自己的办公室或其它远程地点204a…，204m，配备有桌面计算机或笔记本电脑218、扬声器(未示出)、麦克风/耳机220以及将远程个人计算机218与会议服务器214相连的网络连接222。
在会议室202中的N个人使用白板206作为协作空间，通过在白板上描绘来共享他们的意见。在白板上的内容迅速被捕获，并通过将增强白板内容传送到远程人员的计算机218a…，218m，使得远程人员能共享内容。而口头上的讨论将由麦克风210捕获，并且该音频(最好和定向信息一起)发送给远程人员。
而参加会议的远程人员通过在会议室中由扬声器216播放的音频来参与会议。远程人员也可以通过在捕获的白板帧上注解来参与会议，并且经注解的白板帧会显示在会议室的显示器212上以及其它远程个人计算机218a…，218m的屏幕上。另外，还可以使用例如蜂鸣器或某些视觉闪烁警示信号来提醒会议参与者，远程参与者已经作出了注解。
2.2基于服务器的实时白板流技术系统和方法通常，如图3所示，实时白板流技术系统和方法在功能上由4个主要部分组成1)分类处理，将图像序列单元分类成背景、前景或笔划单元(处理动作302)；2)动态白板背景初始化和更新处理，计算白板颜色而不包括前景对象(例如人员)和笔划(处理动作304)；3)有效实时处理，对输入视频序列中的白板区域进行增强(处理动作306)；4)分析处理，提取白板上新出现的笔划(处理动作308)。图像增强处理的输出是一个增强白板图像序列(处理动作310)，而笔划分析处理的输出仅是流技术化白板数据(处理动作312)。
更具体地说，如图4所示，如本发明所述的系统和方法最初获取由白板图像帧实时序列构成的实况白板输入，如在处理动作402中所示。该视频、快照或图像序列以逐帧为基础进行实时处理。
白板图像帧序列输入给基于单元运动检测的处理404。在该处理中，在给定帧序列中的每个图像帧分成了几个单元。对每个对应的单元位置随时间变化进行比较，以检测亮度中的任何变化(处理动作406)。如果有显著的亮度变化，就执行白板颜色匹配处理动作(处理动作408)，这将随后进行详细描述。如果没有显著的亮度变化，该视频帧的每个单元就分类成前景、白板背景或笔划单元(处理动作410)。在单元分类中，其主要意图在于过滤掉遮挡白板部分的人或其它对象的图像部分，以便在白板背景上仅显示白板内容的笔划。单元分类也用于创建白板图像流，它是一种具有白板和前景对象(例如站在所显示白板之前的人员)的增强的实况视频或快照流，如处理动作414所示。该流通过增强处理进行增强，如处理动作412所示。还会创建其它数据流(白板数据流)，其中在笔划处理(处理动作416)执行之后，以增强方式在白板上仅显示笔划，而不显示前景对象(处理动作418)。
为了显示含有白板和前景对象的增强图像，执行图像增强处理，如处理动作412所示。在图像增强处理(处理动作412)中，白板颜色更加统一，而白板内容(也就是写在白板上的内容)的笔划饱和度增加以使得笔划更加鲜明和易读。
单元分类的另一输出是判断是否添加了笔划或从白板中去除了笔划，如处理动作416所示。在这种处理动作中，实时白板流技术系统和方法判定单元中的笔划内容是否增加或减少了。如果单元的笔划内容发生了变化，该内容就输出给白板数据流(处理动作418)。
另外，如处理动作420所示，在单元分类之后，系统判定白板颜色模型是否需要更新。白板颜色模型更新处理是对白板颜色中的逐渐变化的识别。这种变化是由于例如，光照条件中的微小变化，而这些微小变化是由于例如云彩从太阳前经过或某些东西在白板上投下阴影。如果变化被识别，则更新白板颜色模型数据库422(是所有可用白板颜色模型的数据库)中当前白板颜色的模型。
如前所述，如果显著的光照变化在基于单元的运动检测处理中被记录(处理动作406)，如本发明所述的系统或方法就判定所记录的光照变化是否体现在当前白板颜色模型中(处理动作408)。如果新光照条件对应于白板颜色模型数据库中的白板颜色模型(处理动作424)，该模型就用于后续单元分类。然而，如果没有找到该颜色模型，就初始化新的颜色模型(处理动作426)，并将其加入到白板颜色模型数据库中。
上面已经描述了根据本发明的通用系统和方法，随后将详细描述先前所述的处理动作。
2.2.1实况白板视频或快照序列输入根据本发明的系统和方法最初获取实况白板视频输入或一系列由白板图像帧实时序列组成的快照。该视频或快照序列以逐帧为基础基本上进行实时处理。在图5示出的示例视频序列中展示了一些选中的帧。有多少序列的帧可以被处理在某种程度上取决于会议服务器214的中央处理器(CPU)的利用率。一些(但不是全部)输入帧基于CPU利用率用于后续白板背景颜色的处理。用于创建增强白板视频流和白板数据流的前景、笔划计算以及增强处理的实时处理在会议服务器处理带宽受到限制时会比白板背景计算优先进行。
2.2.2基于单元的运动检测和单元分类单元分类将单元分成1)前景；2)白板背景或3)写在白板上的笔划。实时白板流技术系统和方法从输入图像序列中计算空白的白板颜色。该处理的难点在于整个白板在任意单个帧中可能是不可见的，这主要是由于在白板前的阻碍物。因此，白板背景必须通过先将图像帧部分分类成前景或背景来构造。仅有背景部分用于计算白板的背景色。
在根据本发明的一种系统和方法的工作实施例中，前景/背景的判决针对16×16像素的图像块进行，该图像块称之为单元。通常，有两种主要直观推断用于执行单元分类中1)由于摄像头和白板都是固定的，白板背景单元在这个序列中也是固定的；2)虽然有时前景对象(例如站在白板前的人)会阻碍白板，但属于白板背景的单元通常是多数。
这样，本发明的一个实施例中，如图6所示，输入图像帧单元(处理动作602)。单元的图像与先前帧的同一单元(例如在同一位置中的单元)的图像进行比较，如在处理动作604中所示。在每个帧，所有对于超过N帧(在实时白板流技术系统和方法的工作实施例中为4帧)都是固定的单元被视作是背景候选者，并馈送给白板颜色模型更新模块(处理动作610)。如果单元寿命没有超过寿命阈值(在实施例中是4)，该单元就被分类为前景单元，如处理动作608所示；而该单元的寿命重置为1。如果在单元颜色中存在任何显著的差异，该单元分类成前景单元(处理动作610)。该差异测试是这样的单元颜色的Y、U、V通道必须分别位于白板颜色中它们的对应部分的15、5和5强度级的范围中。对于前景单元，为了验证这些单元没有被错误分类，还要执行附加测试以判定单元是否和其它前景单元连接(处理动作612)。如果一组前景单元是孤立的，它们的分类就还原，并且继续分类处理。在本发明一个实施例中的孤立定义为在5×5单元的邻域，少于6个前景单元。如果所讨论的单元先前并没有由上述的测试确定为前景单元，就判定该单元是否含有边缘，如处理动作614所示。如果该单元含有边缘，就将其指派为笔划单元(处理动作616)。如果不具有边缘，就将其分类为白板背景单元(处理动作618)。
2.2.3白板颜色估计和白板颜色模型更新白板颜色模型更新(处理动作420)寻找白板背景颜色中的逐渐变化。在一般意义上，实时白板流技术系统和方法通过判断每个单元的平均颜色来检测是否存在逐渐变化。如果每个单元的平均颜色几乎与先前相同，就判定逐渐变化发生了。在实施例中的系统也采用了在确定单元是否是背景单元中所使用的相同测试。当记录了逐渐变化时，就更新现有的白板颜色模型而不是创建新的白板颜色模型。在现有白板颜色模型中仅更新背景单元或笔划单元的颜色模型。前景单元没有被更新。
更具体地说，如图7所示，在本发明的一个工作实施例中，白板图像被分成许多单元，如处理动作702所示。单元的大小最好大致等于白板上所预期的单个字符的大小(在本发明的工作实施例中是16×16像素)。由于墨水吸收了入射光，白板像素的亮度高于笔划像素。在该单元中的白板颜色因而是具有最高亮度的颜色。实际上，在最高的十分之一的像素颜色被平均，以减少传感器噪声所引起的错误。因此，通过先以亮度将(例如16×16＝256)个像素分类，再取最高亮度10％的值进行平均以计算每个单元的颜色，如处理动作706所示。所得到的单元颜色作为给最小中值平方误差算法(least-median-squareerror algorithm)的输入，该算法对颜色在全平面(globalplane)上拟合，并将含有界外颜色(前景颜色)的单元丢弃，如在处理动作708中所示。剩余的单元就被看作是背景单元，并且使用它们的颜色来更新白板背景。为了对被前景对象阻挡的单元所产生的缺口进行填充，具有已知颜色的单元也被扩展到没有颜色的邻近单元。利用在附件A中所描述的颜色估计和过滤技术，将这些剩余的单元颜色和先前计算的单元颜色进行整合。
为了执行白板颜色模型的更新，实时白板流技术系统和方法针对背景或笔划采用了较大百分比的原始颜色模型(例如90％)和较小百分比的新颜色(例如10％)。
2.2.4显著的亮度变化如上所述，考虑了显著的光照变化(处理动作406)。例如，如果关闭会议室中的一盏灯，几乎所有的给定白板图像中的单元都会变化。如果存在显著的光照变化，基于单元的运动检测(处理动作404)将报告大多数的单元已经变化(例如，在本发明的工作实施例中使用95％的单元作为阈值来表示光照的显著变化)。随后，重置白板背景，并初始化新的颜色模型或从白板颜色模型数据库中提取新模型。随后，再次开始执行单元分类等处理。
2.2.5图像增强白平衡或图像增强的目的在于将输入白板图像转化为在统一背景(通常是白色)上具有相同笔划的图像。对于每个像素，颜色值＝Clight，笔划颜色＝Cpen，而白板背景颜色＝Cwb。由于白板在物理上通常由统一的颜色构成，因此，可以假设Cwb对于所有像素都是常数。因此，输入图像的缺乏统一性是由于给每个像素的入射光量不同而造成的。因而，白平衡或颜色增强中的第一步处理是估计每个像素的Clight，其结果实际上是一幅空白白板的图像，如图7所示，处理动作702，并且如前面在白板颜色估计章节所述。
一旦计算了空白白板颜色，就可将其用于使输入视频序列的白板区域统一成白色，而笔划的颜色也能更饱和。如图8所示，一旦计算了空白白板图像(处理动作802)，输入图像就通过下述两个步骤进行颜色增强1.使得背景统一成白色(处理动作804)。对于每个单元，经计算的白板颜色(等于入射光Clight)就用于衡量单元中每个像素的颜色Cout=min(1,CinputClight)]]>2.减少图像噪声，并增强笔划的颜色饱和度。根据S型曲线0.5-0.5cos(Coutpπ)来重新映射每个像素每个颜色通道的值。S曲线的斜度由p控制。在本发明的工作实施例中，p设定为0.75(处理动作806)。
2.2.6笔划识别和提取也提取单元块级别的笔划以作为白板数据流输出。笔划具有下述属性1)它们是固定的；2)它们具有某些边缘。如图9所示，为了识别边缘和识别直线，对每个输入帧执行两种Sobel滤波[-1-2-1；000；121]和[-101；-202；-101](处理动作902到906)。执行第一Sobel滤波以识别水平边缘，而第二Sobel滤波则识别垂直边缘。该处理识别了输入图像中存在的边缘值(edgel)。而边缘值定义为在两个经滤波的图像中对应的像素的绝对值的总和。对于每个单元，它必须对于N帧(本发明工作实施例中是4)是固定的，且含有一个边缘值，其值大于阈值(本发明工作实施例中是60)，以作为笔划单元。这些笔划单元的边缘值定义了这些笔划的边缘，如处理动作908所示。
2.2.7白板颜色模型匹配当系统开始运行或检测到光照变化时，就获取N帧(例如4帧)，而在此期间的固定单元的颜色与数据库中每个白板背景图像进行比较。如果固定的单元与数据库中的一个图像的对应单元颜色都匹配(使用YUV颜色模型，和对于不同的测试使用15，5，5)，就存在一个匹配，系统就用来自匹配的图像的颜色来初始化剩余非固定单元。一旦背景颜色更新过程稳定，就在此对数据库进行匹配。如果不存在匹配，就将当前颜色加入到数据库中。
2.3基于客户机的实时白板流技术系统和方法如前所述，在会议室中的口头讨论由麦克风捕获，并且该音频(最好和定向信息一起)发送到远程人员。如前所述，增强白板图像流和白板数据流发送给远程参与者。远程参与者可以选择接收一个或另一个或都接收两者实时数据流。
会议中的远程人员通过音频(由会议室中的扬声器播放)和通过注解捕获的白板帧来参与会议。远程参与者的注解可以包括，例如使用鼠标或其它输入设备在白板上加入文本、圆圈定白板上的项目或绘图或作其它标记。远程参与者所作的注解通过网络使用任何适合的实时通信协议来传送给会议服务器并显示。由于白板信息已经驻留，因此，只需要传送注解，而不需要将整个白板图像都传送给会议服务器。这有利于使得传送注解所需的网络带宽很小。
2.3.1给单独显示器的注解经注解的白板帧显示在会议室的显示器上。该显示器独立于会议室中的实际白板，但含有白板的内容和远程参与者的注解。远程参与者的注解也显示在其他远程人员的桌面上。还可以使用例如蜂鸣器或闪烁屏幕这样的信号来提醒会议参与者和远程参与者，有远程参与者已经向白板内容进行注解。
2.3.2在实际白板上投影注解或者，远程参与者的注解可以显示在会议室的实际物理白板上。这可以通过将远程客户的注解使用投影仪投射在实际白板上来实现。
2.4使用平板PC注解在上述方案中，远程参与者采用的是传统的PC。然而，远程参与者也可以使用平板PC。微软公司的平板PC是针对全配置个人计算机设计的，它允许用户使用输入笔或数字感应触摸屏代替键盘来通过自然手写记录笔记。墨水(ink)技术可以使得远程参与者进行注解(无论是公开的和/或私人的)变得更加容易。
2.5归档整个会议(包括注解)都能归档，以便在将来进行查阅。白板和注解作了时间标记，并与音频同步。这样，会议参与者可以在空闲的时间回顾该会议。另外，不能参加会议的人员也可以在随后的时间查阅此次会议。
前面所述的本发明的内容都是为了对本发明进行说明和描述。这些内容并不是要将本发明局限于前面所述的内容中。可以通过上述示例进行修改和变化。
附页A白板颜色估计为了对在将单元分成前景单元时出现白板颜色缺口进行填充，就使用下述处理来估计要填充这些缺口的颜色。所述处理基于下述两个观察资料1)白板颜色填充随单元的变化而变化，但这种变化并不剧烈。白板颜色具有平滑性和连续性。
2)由于光照条件在短周期期间通常不会变化，因此，如果没有前景对象，就将白板颜色保持不变。
本处理的目标是从具有变化前景但处于恒定或渐变光照条件的图像序列中估计白板颜色。(当光照条件突然变化，例如关闭或开启一盏灯，的情况已经在2.2.4节中描述过了，是通过检测变化并使用多个颜色模型来处理)。恒定或渐变光照条件的假设是指每个白板像素的颜色只能随时间在限定范围内变化，并且，在本发明的一个实施例中，这种变化已经模型化为用零平均值和小标准偏差的随机处理。还假设相邻像素之间的白板反射率属性是类似的，这意味着相邻像素之间的白板颜色只能在限定范围内变化，并且，在本发明的一个实施例中，这种假设模型化为Markov随机场，因此，在一个像素的白板颜色仅由相邻像素制约。该估计处理包括下述步骤1.初始化。白板颜色需要初始化。这可以通过多种方法来实现。一种方法是通过利用邻近平滑度约束仅从一个图像来估计白板颜色。每个像素的颜色估计与协方差矩阵相关联，该矩阵表示了这种估计的精度。
2.颜色匹配。给出一个输入图像，对每个像素将期待的白板颜色和实际观测的颜色进行比较。如果它们差异巨大，所观测的像素不是笔划的一部分就是前景对象的一部分，并且在下一步骤将丢弃该像素的颜色；否则，该像素的颜色就是白板颜色的观测值，并在更新白板颜色中使用。
3.颜色更新。将输入图像中有效的白板颜色像素在概率性框架(probabilistic framework)下用于更新白板颜色。每个像素的白板颜色改变多少取决于当前所观测像素相对于所估计颜色来说有多可靠，当前所观测像素对于所估计颜色来说有多大不同，以及所观测颜色与相邻像素中的颜色有多大不同。每个像素颜色估计的协方差矩阵也会相应更新。
步骤2和3针对每个输入图像进行重复。
为了减少计算的复杂性并考虑到白板颜色实际上在空间上变化非常缓慢，白板区域可以分成一组小单元，而可以以每个单元(不是每个像素)为基础来估计白板颜色。更具体地说，估计白板颜色的数学细节将在下面的章节说明。
A.1目标该处理的目标是从图像系列中实时动态估计白板颜色。在此假设亮度随时间是恒定的。(当光照突然变化，例如当关闭一盏灯，就需要使用多个白板颜色模型)A.2表示参照图A-1，状态变量xi，j是要估计的每个单元(i，j)白板的颜色。观察变量zi，j是从图像观测的每个单元(i，j)处的白板的颜色，该变量可以通过例如直方图(histogramming)来计算。
A.3问题陈述给出●在时间t-1，状态 协方差矩阵 ●状态变换xi,jt=xi,jt-1+ηi,jt,]]>即对于随机变量ηi，jt～N(0，Ri，jt)(即以0为中心具有协方差矩阵Ri，jt的正态/高斯分布)恒定；●在时间t，观察zi,jt=xi,jt+ζi,jt,]]>其中观察噪声ζi，jt～N(0，Qi，jt)；在t时的估计状态 协方差矩阵 这是在 需要在空间上非常平滑作为限制条件下。
A.4平滑度人们可以使用4或8个邻域来如下建立平滑度模型(xi，jt-xk，lt)～N(0，Si，jt)
其中，k∈[i-1，i+1]，而l∈[j-1，j+1]，并且(k，l)≠(i，j)。在t时间的状态预测如下xi,jt|t-1=E[xi,jt-1+ηi,jt]=x^i,jt-1]]>P^i,jt|t-1=V[xi,jt-1+ηi,jt]=P^i,jt-1+Ri,jt]]>A.4目标函数随后给出试图最小化的总体能量F=Σi,j{(xi,jt-xi,jt|t-1)T(P^i,jt|t-1)-1(xi,jt-x^i,jt|t-1)+(xi,jt-zi,jt)T(Qi,jt)-1(xi,jt-zi,jt)]]>1ΩΣ(k,l)≠(i,j){(xi,jt-xk,lt)T(Si,jt)-1(xi,jt-xk,lt)+(xi,jt-zi,jt)}]]>其中Ω是邻域的数目。这三个项分别是预测、观察和邻域的差异。所有的差异是统计距离，并由协方差矩阵归一化。
A.6解答对于 到0设定F的偏导数，产生(P^i,jt|t-1)-1(xi,jt-x^i,jt|t-1)+(Qi,jt)-1(xi,jt-zi,jt)+(Si,jt)-1(xi,jt-x‾i,jt)=0]]>其中xi，jt是邻域中状态的平均值，即x‾i,jt=1ΩΣ(k,l)≠(i,j)xk,lt]]>这给出了下列解答xi,jt=((P^i,jt|t-1)-1+(Qi,jt)-1+(Si,jt)-1)-1(P^i,jt|t-1)-1x^i,jt|t-1+(Qi,jt)-1zi,jt+(Si,jt)-1x‾i,jt]]>不幸地是，右侧的xi，jt涉及到未知的xk，lt。因此，为了解决相互依赖的问题，使用了下述迭代处理对于第一次迭代，使用预期平均值， 作为xi，jt；并且在随后的迭代中，我们采用来自先前迭代的估计平均值。注意，这种迭代处理是非常有效的，因为迭代之间唯一的修改就在于xi，jt；其它的都能被高速缓冲。同样，给出如下xi，jt的协方差Pi,jt=((P^i,jt|t-1)-1+(Qi,jt)-1+(Si,jt)-1)-1)(2I+(Si,jt)-1P‾i,jt)]]>其中I是单位矩阵，并且
P‾i,jt=1ΩΣ(k,l)≠(i,j)Pk,lt]]>再次使用迭代过程，将预测平均值1ΩΣ(k,l)≠(i,j)P^k,lt|t-1]]>作为第一迭代中的Pi，jt。
A.7实际考虑事项在实现时，需要注意下述问题●观测协方差Qi，jt。它应该包括传感器噪声和判决的不肯定性。判决的不肯定性是我们认为zi，jt是白板颜色的有多少可信度的倒数。如果是界外值，就设定Qi，jt＝∞(无限值)。
●状态转换噪声ηi，jt和它的协方差矩阵Ri，jt。这用于说明由于灯或日光引起的光照中的小变化。(巨大的变化例如当关闭一盏灯时需要考虑使用多个模型。)●平滑度协方差矩阵Si，jt。它应该比协方差 的当前估值和理想情况下期望的变量之和要小。如果期望的变量为每颜色通道5个强度级，就可使用Si,jt=P^k,lt|t-1+52I.]]>
权利要求
1.一种用于创建增强白板内容的数据流的计算机可执行处理，包括下述处理动作输入白板图像帧序列；将每个所述白板的所述图像帧分成各个单元；判断在所述图像序列中的所述单元内是否存在显著的光照变化；如果存在显著的光照变化，就执行白板颜色匹配处理以判定白板的颜色是否反映了在白板颜色模型数据库中的一种白板颜色，所述白板颜色用于定义白板背景颜色；如果不存在显著光照变化，就将图像帧的每个单元分成前景、白板背景或写在白板上的内容的笔划单元；对所述图像帧序列进行增强，以便在白板上的笔划能以使用所述单元分类的增强形式显示；以及以数据流形式输出所述白板增强图像帧的序列。
2.如权利要求1所述的计算机可执行处理，其特征在于，所述增强图像帧序列以便白板上的笔划可以以增强形式显示的处理动作还包括下述处理动作使得在所述图像帧序列中显示白板背景的单元的白板背景颜色更加统一；减少所述图像帧序列中的图像噪声；以及增加白板内容笔划的饱和度，以使得所述笔划对于笔划单元来说更加鲜明易读。
3.如权利要求1所述的计算机可执行处理，其特征在于，所述以数据流形式输出所述白板增强图像帧的序列的处理动作包括仅使用增强白板单元和增强笔划单元而不使用前景单元。
4.如权利要求1所述的计算机可执行处理，其特征在于，所述以数据流形式输出所述白板增强图像帧的序列的处理动作包括使用增强白板单元、增强笔划单元和前景单元。
5.如权利要求1所述的计算机可执行处理，其特征在于，所述白板颜色匹配处理动作包括确定在新亮度条件中的白板背景单元的颜色是否与白板颜色模型数据库中的一种白板颜色模型匹配；如果在新亮度条件中的白板背景单元的颜色与反映所述白板颜色模型数据库中的白板背景单元颜色的白板颜色模型相对应，将这种白板颜色模型用于后续单元分类中；如果在新亮度条件中的白板背景单元的颜色没有在所述白板颜色模型数据库中找到，就创建新白板颜色模型以反映在新亮度条件中的白板背景单元的颜色。
6.如权利要求5所述的计算机可执行处理，其特征在于，进一步包括下述处理动作将所述新白板颜色模型添加到白板颜色模型数据库中。
7.如权利要求1所述的计算机可执行处理，其特征在于，进一步包括确定笔划是否被加入白板或从白板中去除的处理动作。
8.如权利要求7所述的计算机可执行处理，其特征在于，所述确定笔划是否加入或去除的处理动作包括通过与所述图像帧序列中对应的位置的单元相比较来确定每个单元中的笔划内容是否增加和减少了。
9.如权利要求7所述的计算机可执行处理，其特征在于，进一步包括如果在所述单元中存在变化就通过仅显示增强笔划单元和增强白板背景而不显示前景单元来向所述增强图像序列输出单元。
10.如权利要求9所述的计算机可执行处理，其特征在于，直到确定已经添加或去除了笔划，才将增强白板和增强笔划单元输出到增强图像序列中，并且其中当出现笔划内容变化时，就输出对应于添加或去除的笔划的增强笔划单元。
11.如权利要求9所述的计算机可执行处理，其特征在于，所述将每个所述白板图像帧分成前景、白板背景或写在白板上的内容的笔划单元的处理动作包括下述处理动作对于所述图像序列中图像帧的所有图像帧单元输入一个图像帧单元；将所述图像帧单元与先前帧中对应位置上的单元进行比较；如果该单元寿命不大于寿命阈值，就将该单元分类作为前景单元；所述寿命是该单元未变化的帧数；如果该单元寿命大于寿命阈值，就确定在单元颜色中是否存在任何显著的差异，如果单元颜色中不存在显著的差异，就将该单元分类为前景单元；如果单元颜色中存在显著的差异，确定所述单元是否含有边缘；如果该单元含有边缘，将其分类为笔划单元；并且如果该单元不含有边缘，就将其分类为白板背景单元。
12.如权利要求11所述的计算机可执行处理，其特征在于，进一步包括对分类成前景单元的所述单元验证其为前景单元的处理动作，所述动作包括下述处理动作确定所述前景单元是否与其它前景单元连接；以及如果该单元确定为前景单元，且不与其它单元相连，还原其分类为未知。
13.如权利要求11所述的计算机可执行处理，其特征在于，所述确定在单元颜色中是否存在任何显著差异的处理动作包括下述处理动作检验单元的Y，U，V通道；如果所述单元颜色的Y，U，V通道没有分别处于离所述白板颜色模型中对应位置单元的15、5和5强度级的范围中，说明在单元颜色中存在显著差异。
14.如权利要求12所述的计算机可执行处理，其特征在于，如果在5×5单元邻域中前景单元没有和其它前景单元相连，就说明存在少于6个的前景单元。
15.如权利要求12所述的计算机可执行处理，其特征在于，所述判定所述单元是否含有边缘的处理动作包括下述处理动作对于每个帧单元，使用Sobel滤波器来识别所述单元的水平边缘以获得第一经滤波的Sobel图像；使用Sobel滤波器来识别所述单元的垂直边缘以获得第二经滤波的Sobel图像；确定存在于每个帧中的边缘值数目，其中一个边缘值被定义为是在两个经Sobel滤波的图像中对应像素的绝对值的总和；对于每个单元，对于N帧是固定的，其中当在帧N和N+1的单元中的所有像素都相同时，该单元对于连续帧N到N+1是固定的，并且该单元含有的边缘值，该值大于预定阈值，将该单元考虑作为笔划单元。
16.如权利要求15所述的计算机可执行处理，其特征在于，如果所有像素的平均绝对差值低于预定阈值，则在帧N和N+1的单元中的所有像素是相同的。
17.如权利要求16所述的计算机可执行处理，其特征在于，所述预定阈值以强度级来定义。
18.如权利要求15所述的计算机可执行处理，其特征在于，所述笔划单元中的所述边缘值定义了笔划的边缘。
19.如权利要求1所述的计算机可执行处理，其特征在于，进一步包括在将图像帧的每个单元分成前景、白板背景或写在白板上的内容的笔划单元的处理动作之后，确定白板背景颜色模型是否应被更新的处理动作。
20.如权利要求19所述的计算机可执行处理，其特征在于，确定白板背景颜色模型是否应被更新的处理动作包括下述处理动作通过检验过去图像帧序列逐渐到当前白板帧中对应的单元的平均颜色来识别白板颜色中的任何逐渐变化；如果在白板颜色中识别出逐渐变化，确定所有可用白板颜色模型的白板颜色模型数据库中的当前白板颜色模型是否更新。
21.如权利要求20所述的计算机可执行处理，其特征在于，如果平均单元颜色几乎相等，但与先前帧不相等，进一步包括下述处理动作确定发生了逐渐亮度变化；并对白板背景和具有白板背景颜色的笔划单元更新当前白板背景颜色模型。
22.如权利要求21所述的计算机可执行处理，其特征在于，对白板和笔划单元更新白板颜色模型的处理动作包括下述处理动作将白板图像分成多个单元；根据像素的亮度值将每个单元中的像素分类；以及将每个单元中最高的亮度值分配作为该单元所得到的白板颜色。
23.如权利要求22所述的计算机可执行处理，其特征在于，进一步包括滤波单元颜色的处理动作，它包括下述处理动作将所得到的单元颜色施加给最小中值平方误差处理，该算法在全平面上使颜色拟合，并将前景单元丢弃；将剩余的单元指定为白板背景单元；使用所述剩余白板背景单元来更新白板背景；并且，对在白板颜色模型中由被丢弃的前景单元所产生的缺口用来自具有白板背景颜色的相邻单元的已知颜色进行填充。
24.如权利要求22所述的计算机可执行处理，其特征在于，所述单元的大小应大致等于在白板上所期望的单个字符的大小。
25.如权利要求21所述的计算机可执行处理，其特征在于，所述为白板和笔划单元更新白板颜色模型的处理动作包括下述处理动作将白板图像分成多个单元；根据像素的亮度值将每个单元中的像素分类；以及将每个单元中最高10％的亮度值进行平均，并将该值作为该单元所得到的白板颜色。
26.如权利要求25所述的计算机可执行处理，其特征在于，单元大小应大致等于在白板上所期望的单个字符的大小。
27.如权利要求21所述的计算机可执行处理，其特征在于，更新白板背景颜色的处理动作包括取较大百分比的最近白板背景颜色模型和较小百分比的新白板背景颜色，并对它们求和以获得新白板背景颜色。
28.如权利要求27所述的计算机可执行处理，其特征在于，较大百分比的最近白板背景颜色模型为90％，而较小百分比的新白板背景颜色为10％。
29.如权利要求1所述的计算机可执行处理，其特征在于，确定在所述单元中是否存在显著光照变化的处理动作包括下述处理动作确定是否多数单元表现出颜色变化，以及如果是，就指定发生了光照变化。
30.如权利要求29所述的计算机可执行处理，其特征在于，所述多数定义为有95％的单元表现出颜色变化。
31.一种用于对白板数据内容采用流技术的系统，所述系统包括分类模块，用于将被分成多个单元的白板图像序列中每个单元分成笔划单元、白板背景单元或前景单元；动态白板背景和初始化模块，用于确定所述单元中的白板背景颜色；图像增强模块，用于对由白板背景、前景和笔划单元组成的图像进行增强；以及用于添加和去除白板笔划数据的模块，以使用白板背景和笔划单元来创建白板图像。
32.如权利要求31所述的系统，其特征在于，进一步包括用于对白板图像数据形成流的模块，其中所述白板图像数据由白板背景单元、前景单元和笔划单元组成。
33.如权利要求31所述的系统，其特征在于，进一步包括用于对白板内容数据形成流的模块，其中所述白板内容数据由白板背景单元和笔划单元组成。
34.如权利要求31所述的系统，其特征在于，所述对白板内容数据进行分类的模块包括下述子模块对所述白板图像序列中所有的单元输入图像帧单元；将所述图像帧单元与先前帧同一位置中的单元图像进行比较；如果单元寿命不大于寿命阈值，则将该单元分类作为前景单元；将超过N帧都保持固定的所有单元分配为背景候选者；确定在单元颜色中是否存在任何显著差异，如果存在，将该单元分类作为前景单元；确定分类为前景单元的单元是否与其它前景单元相连；如果分类作为前景单元的单元没有和其它单元相连，就将其分类还原为未知；确定所述单元是否含有边缘；如果该单元含有边缘，将其分类为笔划单元；并且如果该单元不含有边缘，就将其分类为白板背景单元。
35.如权利要求31所述的系统，其特征在于，将某些，但不是所有的，记录在白板视频流中的图像用于创建所述图像序列。
36.如权利要求31所述的系统，其特征在于，将所有记录在白板视频流中的图像用于创建所述图像序列。
37.一种计算机可读媒体，具有用于传送白板视频流的计算机可执行指令，所述计算机可执行指令包括输入白板图像帧序列；将每个所述白板图像帧分成各个单元；判断在所述图像序列中的所述单元内是否存在显著的光照变化；如果存在显著的光照变化，就执行白板颜色匹配处理以确定白板的颜色；如果不存在显著光照变化，就将图像帧的每个单元分成前景、白板背景或写在白板上的内容的笔划单元；以及对所述图像帧序列进行增强，以便能以使用所述单元分类的增强形式仅显示白板上的笔划。
38.如权利要求37所述的计算机可读媒体，其特征在于，进一步包括用于仅使用所述白板背景和笔划单元来输出所述增强图像序列的计算机可执行指令。
39.如权利要求37所述的计算机可读媒体，其特征在于，进一步包括用于仅使用所述白板背景、前景单元和笔划单元来输出所述增强图像序列的计算机可执行指令。
40.一种用于传送增强白板图像视频流的系统，所述系统包括发送器，包括输入模块，用于输入所捕获白板图像序列和与所捕获白板图像序列同步化的音频，并将所述每个图像分成多个单元；分类模块，用于将白板图像数据分类成笔划单元、白板背景单元或前景单元；动态白板背景和初始化模块；图像增强模块，用于对所述笔划单元中的笔划进行增强，并使得白板背景单元颜色更加统一；以及用于添加和去除白板笔划数据的模块；发送模块，用于通过网络使用所述前景单元、白板背景单元和笔划单元将包含前景对象的第一增强白板图像数据流发送给接收器；以及通过网络使用所述笔划单元和白板背景单元，但不包括前景单元，将不包含前景对象的第二增强白板图像数据流发送给接收器。
41.如权利要求40所述的系统，进一步包括接收器，所述接收器包括接收模块，通过网络接收从所述发送器发送的所述增强白板图像和同步化的音频；扬声器模块，播放所述同步化的音频；以及显示模块，在接收器处显示所述增强的白板图像。
42.如权利要求41所述的系统，其特征在于，所述接收器进一步包括用于选择所述接收器是要将第一数据流还是第二数据流显示在所述显示模块上的模块。
43.如权利要求41所述的系统，其特征在于，所述接收器进一步包括将给所述白板数据流的注解发送回所述发送器。
44.如权利要求43所述的系统，其特征在于，所述发送器通过投影仪将所述注解投射在白板上以将所述注解叠加在所述白板上，从而将所述接收机发送的所述注解显示在所述白板上。
45.如权利要求43所述的系统，其特征在于，所述发送器通过将所述注解叠加在单独显示器的所述白板上，从而将所述注解显示在所述白板上，其中所述白板图像和所述注解都被显示。
46.如权利要求40所述的系统，其特征在于，所述发送器进一步包括用于将所述第一和第二数据流归档以供日后查阅或发送的模块。
47.如权利要求40所述的系统，其特征在于，所述动态白板背景估计和初始化模块采用下述方式来估计白板颜色对于第一输入图像为每个像素初始化白板背景颜色，为每个像素关联一个协方差估值，该估值表征了所述像素颜色的精度，将初始化的白板颜色指定为估计的白板颜色；给出输入图像，在每个像素处，将白板估计颜色与所述输入图像中实际观测的颜色进行比较，并且如果所估计的颜色和所观测的颜色差异巨大，则所观测的像素不是笔划的一部分就是前景对象的一部分，并且丢弃该像素的颜色；否则，该像素的颜色就是白板颜色的观测值，并在更新白板颜色中使用；并且在概率框架下将没有被丢弃的这些像素的颜色更新，其中每个像素的改变多少取决于当前所观测像素对于所估计颜色来说有多可靠，当前所观测像素对于所估计颜色来说有多大不同，以及所观测像素颜色与相邻像素中的颜色有多大不同。
48.如权利要求47所述的系统，其特征在于，当更新像素颜色时，每个像素的颜色估计的协方差矩阵也会更新。
49.如权利要求47所述的系统，其特征在于，所述动态白板背景估计和初始化模块通过下述方式估计白板颜色对于所述第一输入图像之后的后续输入图像对每个像素将已更新所估计的白板颜色与所述输入图像中实际观测的颜色进行比较，并且如果所更新的估计颜色和所观测的颜色差异巨大，则所观测的像素不是笔划的一部分就是前景对象的一部分，并且丢弃该像素的颜色；否则，该像素的颜色就是白板颜色的观测值，并在更新白板颜色中使用；并且在概率框架下将没有被丢弃的这些像素的颜色更新，其中每个像素的改变多少取决于当前所观测像素对于所估计颜色来说有多可靠，当前所观测像素对于所估计颜色来说有多大不同，以及所观测像素颜色与相邻像素中的颜色有多大不同。
50.如权利要求40所述的系统，其特征在于，所述动态白板背景估计和初始化模块以下述方式估计白板颜色对于第一输入图像将白板分成各个单元；为每个单元初始化白板背景颜色，为每个单元关联一个协方差估值，该估值表征了所述单元颜色的精度，将初始化的白板颜色指定为估计的白板颜色；给出输入图像，在每个单元，将白板估计颜色与所述输入图像中实际观测的颜色进行比较，并且如果所估计的颜色和所观测的颜色差异巨大，则所观测的单元不是笔划的一部分就是前景对象的一部分，并且丢弃该单元的颜色；否则，该单元的颜色就是白板颜色的观测值，并在更新白板颜色中使用；并且在概率框架下将没有被丢弃的这些单元的颜色更新，其中每个单元的改变多少取决于当前所观测单元对于所估计颜色来说有多可靠，当前所观测单元对于所估计颜色来说有多大不同，以及所观测单元颜色与相邻单元中的颜色有多大不同。
51.如权利要求50所述的系统，其特征在于，当更新单元颜色时，每个单元处的颜色估计的协方差矩阵也会更新。
52.如权利要求50所述的系统，其特征在于，所述动态白板背景估计和初始化模块通过下述方式估计白板颜色对于所述第一输入图像之后的后续输入图像对每个单元将已更新所估计的白板颜色与所述输入图像中实际观测的颜色进行比较，并且如果所更新的估计颜色和所观测的颜色差异巨大，则所观测的单元不是笔划的一部分就是前景对象的一部分，并且丢弃该单元的颜色；否则，该单元的颜色就是白板颜色的观测值，并在更新白板颜色中使用；并且在概率框架下将没有被丢弃的这些单元的颜色更新，其中每个单元的改变多少取决于当前所观测单元对于所估计颜色来说有多可靠，当前所观测单元对于所估计颜色来说有多大不同，以及所观测单元颜色与相邻单元中的颜色有多大不同。
53.一种从图像序列中动态实时估计白板颜色的计算机可执行处理，包括下述处理动作定义状态变量xi，j为要估计的每个单元(i，j)处的白板的颜色，而观察变量zi，j是从图像中观测的每个单元(i，j)白板的颜色；如下计算每个单元的颜色xi,jt=((P^i,jt|t-1)-1+(Qi,jt)-1+(Si,jt)-1)-1(P^i,jt|t-1)-1x^i,jt|t-1+(Qi,jt)-1zi,jt+(Si,jt)-1x‾i,jt]]>对于第一次迭代，使用预期平均值，1ΩΣ(k,l)≠(i,j)xk,lt|t-1,]]>作为xi，jt，其中Ω是相邻单元的数目，k∈[i-1，i+1]，而l∈[j-1，j+1]，并且(k，l)≠(i，j)；并且在随后的迭代中，采用来自先前迭代的估计平均值。并且，给出如下xi，jt的协方差Pi,jt=((P^i,jt|t-1)-1+(Qi,jt)-1+(Si,jt)-1)-1)(2I+(Si,jt)-1P‾i,jt)]]>其中I是单位矩阵，并且P‾i,jt=1ΩΣ(k,l)≠(i,j)Pk,lt,]]>并将预期平均数1ΩΣ(k,l)≠(i,j)P^k,lt|t-1]]>作为第一迭代中的Pi，jt，其中观测协方差是观测协方差是Qi，jt，平滑度协方差矩阵是Si，jt，状态变换噪声ηi，jt和它的协方差矩阵是Ri，jt。
全文摘要
一种用于在网络环境中使用流技术将白板内容传送给计算设备的系统和方法。本发明是一种对白板图像生成技术的扩展，以提供基于网络的目标会议协作。在本发明的一个实施例中，每个网络客户可以接收音频内容和白板内容(视频图像)。在另一实施例中，每个联网客户可以发送音频内容和注解内容，该注解内容单独显示在白板图像上，或由实际白板产生。该流技术内容是建立在外部协作构架上。
文档编号G06T5/00GK1525300SQ200410007618
公开日2004年9月1日 申请日期2004年2月24日 优先权日2003年2月24日
发明者张正友, 贺立为 申请人:微软公司