专利名称：识别和传输数据到图像显示器的方法、系统和装置的制作方法
技术领域：
本发明总体上涉及用于识别和传输数据的装置、系统和方法，更具体地，涉及用 于识别和传输图像数据到设备的装置、系统和方法。
附图简要说明
本发明是通过附图中的示例而非通过附图中的限制来进行说明的，其中相同的标 号表示相同的元素，且其中
图1是根据本发明的第一实施例的图像数据处理系统的示意图。 图2是根据本发明的另一实施例的处理图像数据的方法的流程图。 图3是图像捕捉的示意表示。
图4A-4C是根据一个示例实施例的操作的示意图。 详细说明
简单地说，可以使用各种方法将图像从一个设备，如显示设备，传输到另一个设 备，如在图像显示和投影系统的领域中那样。在流动视频的示例中，可以按一次一个 的方式传输一系列的图像来允许视频图像显示。然而，由于该方法需要很大的传输带 宽，因此可以釆取不同的方法来减少需要传输的信息量。
一种减少传输信息量的方法识别要传输的图像中的单个区域或一部分。所识别的 区域是矩形，其被选择得足够大以包含图像中各个像素都已改变的所有区域。以此方 式，当图像被更新时，可以传输少于整个图像的内容。因此，在图像是视频数据的情 况下，可以传输视频数据而不要求同等的带宽和压缩计算。
然而，上述方法会带来各种复杂性。例如，如果图像在屏幕的右下角频繁改变(如， 由于时钟每秒或每分钟的变化)，且同时在屏幕的左上方频繁改变(如，由于鼠标的 搡作)，则选择的区域可能实际上是整个图像。这样，可能只有很少的带宽改进。这 会进一步导致计算处理被浪费，因为所压缩和传输的图像大部分并不改变。换句话说， 这会负面地影响某些类型图像数据的实时压缩和传输。
现参考附图，图1总地在10处示出根据本发明的一个实施例的图像处理系统的示意图。图像可以包括图片、演示、人物或物体的外形再现，或具刻紋的相似物，或 逼真的描绘或表示，或语音图形，尤其暗喻或明喻，或有形的表示，如在艺术、文学， 或音乐中，其具有表现力或可唤起其它事物，或有关这些的部分或修改。图像处理系 统10包括配置为在观看面，如安装在墙112上的屏幕114上显示图像的投影设备100。 投影设备IOO如所示包括机身102;然而在某些实施例中，投影设备100可以结合在
另一个设备中。投影设备ioo还可以包括配置为将图像投影到观看面上的投影元件或
镜头元件108。在某些实施例中，观看面可以是外置的或集成在投影设备内。
投影设备IOO可以是任何适合类型的图像显示设备。其示例包括，但不限于，液 晶显示器(LCD),及数字光处理(DLP)投影机。此外，应理解，可以使用其它类型 的显示设备来代替投影设备100。其示例包括，但不限于，电视机系统、计算机监视 器等等。此外，可以使用各种其他类型的表面，如墙，或另一个计算机屏幕。
图像处理系统10还包括与投影设备100关联的图像提供设备110,及与图像提 供设备110进行电通信的一个或多个图像源18。例如，通信可以是无线的，并通过 连接到图像提供设备IIO (如所示)或投影设备100的天线106进行。在可选实施例 中，也可以使用有线通信。图像提供设备110配置为接收由图像源18传输的图像数 据，并提供接收到的图像数据用以由投影设备100显示。图像提供设备110可以集成 到投影设备100中，或可以作为可连接到投影设备的单独组件提供。在2003年6月 2曰提交、序列号为10/45 3,905的美国专利申请中公开了适合的图像提供设备的一 个示例，将该申请结合在此作为参考用于所有目的。在又一个可选实施例中，天线 106可以集成在如插入到图像提供设备110中的卡这样的数据传递装置中。此外，在 一个示例中，设备100可以包含计算机可读存储介质、输入--输出设备、随机存取存 储器和各种其它电子元件来执行操作和计算。
图像提供设备110能够接纳各种类型的数据传递装置。数据传递装置可以适用于 提供要从独立的源传递到图像提供设备110的图像、演示、幻灯片或其他类型的数据， 独立的源诸如外部计算机或大规模存储设备。外部计算机包括任何适合的计算设备， 包括但不限于，个人计算机、桌面型计算机、膝上型计算机、手持式计算机等等。
数据传递装置使得图像提供设备110能从多个源接收图像。如上所述，数据传递 装置可以是卡、扩充卡、适配器或适用于插入到图像提供设备110中的其它适合装置。
在某些实施例中，图像提供设备iio内可以互换地接纳任何数量的不同的数据传 递装置。例如，数据传递装置可以是网络接口卡，如有线网卡，或无线网卡。具体来 说，有线网卡可以包括IEEE 802.3标准的有线局域网(LAN)接口卡，如以太网、 100BASE-T标准(IEEE 802. 3u )或快速以太网、IEEE 802. 3z或千兆以太网,和/或 其它适合的有线网络接口 。无线网卡可以包括无线LAN卡，如IEEE 802. 11a、 802. llb、 802. llg、 802. llx、无线卡、蓝牙无线卡、ZigBee无线等等。
每个网络接口卡，无论其类型如何，都使得设备iio和独立的源之间能够通信，
6独立的源诸如远程计算机、服务器、网络等等。该通信允许将存储在独立的源(如，
is处所示的任何图像源)上的图像传输到图像提供设备110。图像提供设备内不
同的网络接口卡的具体实现的示例在下文中更详细地描述。
如图1所示，投影系统将图像(在一个示例中，被点亮的图像)投影到屏幕114 上。这样的系统可以在各种情况下使用，例如在会议室、学校，或各种其它地点。
继续图1，图像源18可以包括能够向图像提供设备110提供图像数据的任何适 合的设备。其示例包括，但不限于，桌面型计算机，和/或服务器120、膝上型计算 机150、个人数字助理(PDA),如手持式PDA140、移动电话170等等。此外，图像 源18可以按各种方式，如通过无线通信或有线通信与图像提供设备IIO进行电通信。 在所示实施例中，每个图像源18都通过无线网络与图像提供设备IIO进行电通信(带 箭头的虛线)。然而，图像源18也可以通过无线或有线直接连接，或它们的任意组 合进行通信。
具体来说，个人计算机UO如所示具有包含屏幕124的监视器122。此外，个人 计算机如所示为具有包含如磁盘驱动器、数字视频光盘(DVD)驱动器等各种附件和 组件的装置l"及无线通信装置130的桌面型计算机。同时注意，装置126通过有线 连接132与屏幕124通信。然而，监视器和装置126之间的通信也可以是无线的。
接下来，PDA 140如所示在一个人的手142中。PDA 140具有屏幕144和无线通 信装置146。膝上型计算机150也如所示具有键盘152和平面屏幕154。此外，上 型计算机150具有无线通信装置156。
如图1中的箭头所示，个人计算机120、个人数字助理140,及膝上型计算机150 中的每个都通过无线通信装置与投影机设备100通信。无线通信的模式可以是标准化 的无线通信协议中的任何一种。同时注意，图1设备中的任何一个都可以在其各自的 屏幕上显示图像。此外，图1设备中的任何一个都可以传输图像中发生改变的区域， 如下文中更详细的说明。
这样，这些中的任何一个都可以表示图像显示设备，在一个示例中这是显示图像 的任何设备。这些屏幕可以是彩色或者黑白的。显示在这些屏幕上的图像类型可以具 有各种形式，例如桌面、JPEG、 GIF、 MPEG、 DVD、位图，或任何其它这样的文件形 式。因此，在一个具体示例中，传送并通过图像显示设备显示用户的桌面图像，如下 文中更详细的说明。
如下文中更详细的说明，设备120、 140和150或170中的每个都包含从屏幕上 捕捉图像并通过无线通信装置将这些图像传输到投影机设备ioo的计算机代码。然 后，投影机设备100将这些接收到的图像投影到屏幕114上。
注意，上述只是该配置的一个示例。该系统可以包括多个计算机、多个PDA，或 只包含这些设备中的一个，或只包含单个图像源。此外，投影系统100可以由任何数 量的组件构成，而图1中所示的系统只是一个示例。如上所述，图像源18可以配置为从显示在图像源屏幕上的图像生成原始数据文 件，然后使用快速压缩技术，如Lempel-Ziv-Oberhumer (LZO)压缩技术来压缩这些 文件，以用于到图像提供设备110的实时传输。这允许将显示在图像源18屏幕上的 任何图像(或图像源18上的任何原始数据文件)传输到投影设备100并由投影设备 100显示。作为替换或补充，图像源18可以配置为向图像提供设备110提供任何适合类型 的图像数据，例如，JPEG、 MPEG和其它预先压缩的文件。术语"预先压缩的"指这 些格式的文件通常并不从原始图像文件实时压缩并立即用于传输，而是在早先某个时 候压缩并存储在图像源18上这一事实。通常，图像源18生成的原始图像数据文件是在图像源所使用的任何颜色空间中 生成的》例如，在图像源是膝上型或桌面型计算机时，原始图像数据文件可以在RGB 颜色空间中生成。但是，改变颜色空间以匹配投影设备100的颜色特性，或提供增加 的数据压缩可能是有利的。因此，图像源18可以配置为在压缩和传输数据到图像提 供设备110之前将原始图像数据转换到与设备无关的颜色空间。然而，取决于处理能 力，也可能保持当前的颜色空间并避免不必要的转换。注意，术语"文件"不一定是 驻留在硬盘驱动器或其它介质上的"文件"。相反，它可以包括例如位于缓冲器中的 没有头部的原始图像。在使用颜色空间转换时，可以通过首先对在发送设备上(如，在个人计算机120 的屏幕124上)显示的屏幕图像进行抽样来传输图像。不过请注意，可以根据需要包 括，或删除该颜色空间转换。总的来说，根据一种示例方法，对屏幕上的完整图像进行抽样。以预先确定的间 隔(如，每秒三十次)对该屏幕图像抽样，并重复地发送到投影设备100。然而，为 了实现图像传递而不需要同等带宽，或发送设备上的同等压缩，如下特别参考图2的 更详细的说明，并不在每次传输中发送整个图像。相反，只发送屏幕上图像改变已达 到预先确定的阈值的选择区域。注意，在可选实施例中也可以使用隔行扫描。具体来说，在隔行扫描的图像上选 择区域，从而分析水平(或垂直)行并识别其中的区域。此外，每个区域一经识别就 可进行传输。或者，可以在发送整个图像，或图像的部分之后再发送一组区域。此外， 可以按不同的分辨率识别多个区域集合来提供逐步达到更高分辨率的完整屏幕更新。 以此方式，即使有大量的区域被识别和传输，也可以提供完整屏幕更新。现具体参考图2,描述了示出用于识别和捕捉图像中的改变区域的例程的流程图。 首先，在步骤210，例程对选择的像素和图像执行光栅/扫描。在一个示例中，例程 将光栅扫描的当前位置(光栅扫描当前位置)初始化为初始开始位置。如参考图3更 详细地所示，此示例中执行的光栅在相同的方向上水平地穿越屏幕，从屏幕顶部开始 然后朝向屏幕底部进行。因此，在一个示例实施例中，光栅扫描开始于像素位置(0，0),即显示屏的左上角，并顺序、水平、从左到右地处理像素。在到达水平扫描末 端时，光栅从右边到左边回扫(称为水平回扫)并向下到达下一行。该过程重复直到 处理了所有水平行。或者，在此示例中执行的光栅可以按前后运动的方式水平地穿越 屏幕，开始于屏幕顶部然后朝向屏幕底部进行。此外，也可以使用各种其它光栅，如 开始于屏幕底部并向上进行，或开始于屏幕左边并向屏幕右边进行同时垂直地运动。 接下来，在步骤212,例程确定扫描的像素和先前抽样的图像中的对应像素之间 是否存在差值。有各种方法用于确定图像中的差值。例如，可以使用二进制操作，如 一补码和/或二补码位处理来发现差值。也可以取决于每像素的分量数量及其具体表 示来选择所形成的差值类型。在一个示例中，所使用的差值是对一补码差值的3分量 向量计算的范数。同时注意，在使用一补码差值的3分量向量的情况下，像素中的任何差值都将被 视为图像中的改变。不过，为了减少数据传输量，可能仅在该差值高于阈值，例如预 先选择或预先确定的值时识别差值。如果需要的话，阈值的使用可以与范数值相比较， 或可以使用每个颜色值的阈值。如果某些颜色空间中特定的图像改变被视为与其它颜 色空间中的其它改变相比对传输更有利，则这会有帮助。当对步骤212的回答为否时，例程进入步骤214。在步骤214,例程将光栅扫描 当前位置前进至下一个像素，如图3所示。当对步骤212的回答为是时，例程进入步骤218来开始轮廓跟踪，其中例程跟踪 图像中已识别的差值的外围轮廓。在一个示例中，轮廓跟踪发现，在步骤212中识别 的图像中的改变其周围的边界像素的完整集合产生一个封闭的多边形。轮廓的形状从 而是包含图像中的一处或多处改变的结果形状。然而，在可选方法中，例程可以按矩 形模式执行跟踪。然而，如果需要的话，也可以使用其它形状，如三角形或平行四边 形。此外，轮廓跟踪定义图像的大小，这会取决于图像如何改变而进行变化。具体来说，在步骤218,将轮廓跟踪的当前位置(轮廓跟踪当前位置)初始化为 光栅扫描当前位置。此外，将轮廓跟踪当前位置的最小和最大值初始化为光栅扫描当 前位置。注意，如上所述，在一个示例中，轮廓跟踪沿着所改变区域的外侧边缘进行， 得到封闭的多边形(或边界框)。在给定区域上的轮廓跟踪期间在x(水平)和y(垂 直)方向上的最大和最小偏移定义所改变区域的边界框从而定义其大小。接下来，在步骤220,例程向前移动轮廓跟踪当前位置，从而继续跟踪图像之间 所识别的差值。然后，在步骤222，例程记录轮廓跟踪当前位置的最小和最大值。然 后，在步骤224,例程确定轮廓扫描当前位置是否等于光栅扫描当前位置。如果是， 则例程进入步骤226。否则，例程返回步骤220来继续轮廓跟踪。其结果是，可以创 建封闭的多边形来保证所跟踪的区域完全被包括。但是该区域以此方式完全被包括并 不是必需的。在步骤26,例程随后将轮廓扫描跟踪当前位置的最小和最大值添加到区域列表中，其中区域识别为具有从一个图像到另一个图像的已改变像素，从而提供指示所跟 踪轮廓的信息。在步骤226,例程进入上文已述步骤214，其中例程将光栅扫描当前 位置向前移动到下一个像素，如图3所示。从步骤216中的"是"，例程进入步骤228,其中所选择区域上已改变图像的信 息被传输到投影设备100。注意，有关识别出的已改变区域的信息可以通过其它算法 处理，这些算法包括但不限于在从个人计算机120传输到投影设备IOO之前使用各 种压縮算法进行压缩。在此示例中，例程从源(如，个人计算机120)取得初始RGB 图像并形成差值作为A RA GA B图像。同样在此示例中，输入图像来自帧缓冲器。 更具体地，帧缓冲器表示指示多个帧样本之间的差分的差分缓冲器。这样，如上文在步骤212中所述，在当前的具体像素没有改变时，差分缓冲器将 包含零(在此示例中可以是(0, 0, 0))。此外，来自源设备的多个连续的屏幕图 像之间的差分(这可以通过扫描整个屏幕，称为刮屏来形成)是用于生成差分缓冲器 的一种示例方法。同时注意，在此示例中，RGB图像是具有三个交织平面的24位RGB 图像，虽然也可以使用没有交织平面的RGB图像。数据可以是具有三个顺序字节(r, g, b),或以另外的顺序，如(b， g, r)的形式。如果这些字节中的任何一个非零， 则识别出用于生成轮廓的边界。以此方式，根据图2的例程，可以将差分图像划分为分离的图像用于稍后以更加 有效的方式进行传输。在一个示例中，例程可以使用和所需一样多的区域来捕捉图像 到图像的所有差分改变。或者，也可以使用固定数量的区域。此外，即便是使用变化 数量的区域，也可以选择固定的最大区域数量。不仅是区域的数量可以变化，而且在另一个示例中，区域的大小也可以取决于从 一个图像到另一个图像的改变而变化。此外，可以基于图像之间的差分大小来选择区 域的大小。在另一个示例中，区域的大小可以进一步基于图像中的和图像的帧之间的 颜色及颜色变化。具体来说，在一个方面，将区域最小化到尽可能小的程度来捕捉图 像中的改变，同时具有尽可能多的区域。或者，区域可以具有固定的大小。上述示例性例程的操作可以视为读取表示图像的数据，然后识别所述图像中不同 于先前读取的图像的至少两个在空间上分离的区域，然后将来自所述至少两个区域的 数据传输到设备。换句话说，虽然上述例程逐个像素地通过图像，但这只是一种示例 方法。或者，可以用整个图像与先前读取的图像相比较来识别至少两个已改变区域。现参考图4A-4C,示出了根据图2所描述例程的示例操作。在图"中，图像lM(a) 示出在左上角具有三个字母和三个数字且在右下角具有时钟时间的显示。图像12400 表示从在时间(t。)处的屏幕样本捕捉的图像。在图4B中，图像lM(b)示出在时间(t6) 处从屏幕中抽样的下一个图像。左上角中间的字母已从B变为A，而左上角的数字已 从1变为0。虛线矩形示出识别为具有差分改变的选择区域。同时注意，时间已从is 改变为19,且矩形示出了所选择的改变区域。根据此实施例，将来自三个选择区域的信息从个人计算机U0传输到投影机系统100，从而屏幕114上投影的屏幕图像可 以改变为匹配屏幕l"上的图像。以此方式，由于仅来自三个所选择区域的信息被传 输，因此只需要通过无线通信系统传递少得多的数据。接下来，在图4C,屏幕124(c)如所示显示下一个图像抽样时间(")。在该图像 中，数字三已改变大小，且右下方的时钟也将时间从19变为20。再次，三个选择的 区域如所示捕捉改变的图像信息。注意，在可选方法中，单个区域可以捕捉两个数字， 代替对右下角的数字2和O使用两个区域。再次，该信息以上文对时间(tj处的图像 所述的那样进行传输。以此方式，可以提供更有效的图像传输并因此提供高质量视频投影，而不要求大 量的传输带宽，或要求在发送设备上进行大量的计算。注意，在这些示例中，至少两个所选择的改变区域被识别为在图像中并不重叠。 然而，在可选实施例中，所选择的改变区域可以至少部分重叠。虽然这会增加所传输 的数据，但这在某些方面提供了更简单的算法。此外，如在屏幕更新发生得甚至比传 输所改变数据的子集更快时，可能会在改变区域中识别到改变的子区域。同时注意，在图化和4C中，由虛线指示的改变区域比包括已改变像素的实际矩 形稍大。因此，所识别的改变区域可能包括外边界的未改变的像素。然而，为了最小 化要压缩和传输的数据量，图2的例程可以选择区域使之正好足够大以包含图像中的 已改变像素。因此，在一个实施例中，提供一种用于传输图像到设备的方法。在某些实施例中， 该方法可以包括读取表示图像的数据；识别所述图像中不同于先前读取的图像的至少 两个在空间上分离的区域；及将来自所述至少两个区域的数据传输到设备。以此方式， 可以用更少的带宽需求更有效地传输图像，同时仍然提供可以用良好的质量显示变化 的屏幕的图像。受限的带宽需求在无线传输中是有用的，同时仍然保持高质量图像显 示。虽然本发明包括具体实施例，但具体实施例不应视为具有限制意义，因为可能存 在大量的变体。本发明的主题包括在此公开的各种元素、特征、功能，和/或属性的 所有新颖和非易见的组合及子组合。下面的权利要求特别指出视为新颖和非易见的特 定组合及子组合。这些权利要求可能引用"一个"元素或"第一"元素或其等价。这 样的权利要求应被理解为包括对一个或一个以上这样的元素的结合，而不是要求或排 除两个或两个以上这样的元素。各特征、功能、元素和/或属性的其他组合及子组合 可以通过本发明权利要求的修改或通过在本申请或相关申请中提供新的权利要求来 请求保护。这样的权利要求，无论是在范围上比原始权利要求更宽、更窄、等价或不 同，都应被视为包括在本发明的主题之内。
权利要求
1. 一种用于传输图像到设备的方法，所述方法包括 读取表示图像的数据；识别所述图像中不同于先前读取的图像的至少两个在空间上分离的区域；及将来自所述至少两个区域的数据传输到设备。
2. 如权利要求l所述的方法，其特征在于，所述图像是来自屏幕的完整图像， 且所述设备是图像显示设备。
3. 如权利要求2所述的方法，其特征在于，所述图像被显示在与所述图像显示 设备分离的第一设备的屏幕上，所述图像显示设备是投影设备。
4. 如权利要求3所述的方法，其特征在于，所述第一设备是计算机、个人数字 助理，及手机中的至少一种。
5. 如权利要求3所述的方法，其特征在于，所述读取是在所述第一设备上执行的。
6. 如权利要求l所述的方法，其特征在于，所述至少两个区域中的一个具有第 一大小，而所述至少两个区域中的第二个具有第二大小。
7. 如权利要求6所述的方法，其特征在于，所述第一大小不同于所述第二大小。
8. 如权利要求l所述的方法，其特征在于，所述区域的数量和在所述图像中捕 捉预先确定的改变量所需的数量一样多。
9. 如权利要求l所述的方法，其特征在于，所述区域的数量受限于最大数量。
10. 如权利要求l所述的方法，其特征在于，选择所述区域的数量来最小化传输 所述图像中的差值所需的信息量。
11. 如权利要求l所述的方法，其特征在于，还包括在传输到图像显示设备之前 压缩来自所述至少两个区域的数据。
12. 如权利要求11所述的方法，其特征在于，还包括解压缩所述数据，然后更 新所述显示系统中的图像显示上的至少两个区域，所述显示系统中的所述图像显示上 的所述至少两个区域对应于在所述图像上识别的区域。
13. 如权利要求l所述的方法，其特征在于，所述至少两个在空间上分离的区域 是不重叠的区域。
14. 一种用于传输图像到图像显示设备的方法，所述方法包括 读取表示图像的数据；识别所述图像中与先前读取的图像其不同达到预先选择量的至少两个在空间上 分离且不重叠的区域；将来自所述至少两个区域的数据传输到图像显示设备，而不传输来自所述图像中 所述图像与所述先前读取的图像其不同少于预先确定量的区域的数据。
15. 如权利要求14所述的方法，其特征在于，所述预先确定量和所述预先选择 量基本上相同。
16. 在计算机可读存储介质上，可由计算设备执行以传输图像到图像显示设备的 指令，所迷介质包括用于读取数据的代码，该数据表示来自连接到所述介质的第一设备屏慕的完整图像；用于识别所述图像中与先前读取的图像其不同达预先确定量的至少两个在空间 上分离且不在空间上重叠的区域的代码；及用于传输数据的代码，用于将来自所述至少两个区域的数据传输到显示设备，而 不传输来自所述图像中所述图像与所述先前读取的图像其不同少于所述预先确定量 的区域的数据，所述用于传输数据的代码包括用于压缩来自所述至少两个区域的信息 并通过与所述显示设备的电通信传输所述信息的代码。
17. 如权利要求16所述的介质，其特征在于，还包括用于隔行扫描来自所述至少两个区域的数据的代码。
18. 如权利要求17所述的介质，其特征在于，所述图像显示设备是投影设备。
19. 如权利要求18所述的介质，其特征在于，所述电通信是无线通信。
20. —种图像显示设备，包括配置为接收所传输的表示图像的图像数据的图像提供设备；及 配置为将所述图像投影到观看面上的镜头元件；其中所述图像中至少两个在空间上分离的区域被识别为不同于先前读取的图像， 且其中所述图像提供设备还配置为接收所述至少两个在空间上分离的区域的更新的 数据。
21. 如权利要求20所述的设备，其特征在于，所述至少两个在空间上分离的区 域是不重叠的区域。
22. 如权利要求20所述的设备，其特征在于，所述图像提供设备配置为无线地 接收图像数据。
23. 如权利要求20所述的设备，其特征在于，所述区域具有不同的大小。
24. —种图像处理系统，包括如权利要求20所述的设备及配置为传输图像数据 的图像源。
全文摘要
公开了一种用于处理包括图像数据的图像的方法、系统和装置，其中，在一个实施例中，所述方法包括发送图像区域，其中图像从一帧到另一帧已发生改变。识别并传输已改变的图像的区域，如此以例如降低带宽需求并增加图像更新速率。
文档编号G08B13/196GK101263546SQ200480040766
公开日2008年9月10日 申请日期2004年12月15日 优先权日2003年12月16日
发明者杰夫·克里克曼 申请人:富可视公司