专利名称：用于数字拍摄装置中图像数据提取和汇编的系统和方法
技术领域：
本发明总体上涉及数字拍摄装置，并且更具体地涉及数字拍摄装置中的图像处理。
背景技术：
数字成像系统已经造成了摄影术和拍摄装置的革命。除了胶片被电子传感器代替 外，数字拍摄装置和胶片拍摄装置是类似的。传感器由一系列光电检测器组成，光电检测器 生成与入射到每个检测器处的光成比例的电信号。数字拍摄装置处理来自每个检测器的数 据，并组合这些数据以形成数字图像。然后，数字图像可以根据需要被进一步处理、传输或 者打印。现代数字拍摄装置典型地包括对图像数据执行多种不同类型处理的能力。一种类 型的处理典型地被称为图像拼接(image stitching)或者照片拼接(photo stitching) 0 在图像拼接中，多个数字图像被组合以产生更大的图像，诸如广角全景图像。图像拼接典 型地需要拍摄装置分析图像以便翻译和旋转，并且匹配图像的邻接区域的颜色对比度和亮 度，以避免拼接的部分容易被发现。因为拍摄装置必须存储来自多个图像的数据并且执行 大量的处理，所以图像拼接需要大量资源。虽然这些资源在高端数字拍摄装置上可能可用， 但是它们在那些必须要更小和更便宜的拍摄装置中可能不可用。例如，数字拍摄装置通常在诸如手机和个人数字助理的移动通信设备中实现。在 很多情况下为了降低成本和减小尺寸，这些数字拍摄装置使用有限的资源来实现，例如有 限的存储器和处理能力。在这些类型的拍摄装置中，全图像拼接所需要的资源可能不可用。 然而，在这些类型的拍摄装置中仍然需要从多个图像中捕获数据。
本发明的优选示例性实施例将在下文中结合附图进行描述，在附图中相同的名称 指示相同的元件，并且图1是根据发明的实施例的具有图像处理系统的数字拍摄装置的示意图，以及；图2是图示根据发明的实施例的数字处理方法的流程图。
具体实施例方式本发明提供一种在数字拍摄装置中数据提取和汇编的系统和方法。该系统和方法 能够从多个拍摄装置图像中提取包括文本型和其它字符型数据的符号数据，并将提取的符 号数据汇编成合成文档。该系统和方法可以使用有限的资源执行该数据提取，并且因此它 可以在具有有限存储和处理能力的数字拍摄装置中实现。现在转到图1，图示了根据本发明的实施例的数字拍摄装置图像处理系统100。数 字拍摄装置图像处理系统100包括符号数据提取器102，和提取的数据汇编器104。通常， 处理系统100接收由数字拍摄装置拍摄的多个数字图像106，从多个拍摄装置图像中提取符号数据，并将所提取的符号数据汇编成合成文档108。具体地，符号数据提取器102分析 数字图像以从图像中提取符号数据。数据组合器104识别数字图像中的位置标记，并且基 于第一数字图像和第二数字图像中所识别的位置标记将所提取的符号数据汇编成合成文 档。具体地，数据汇编器104在他们正确的相对位置中汇编从多个图像中提取的符号数据， 就像这些位置是从所识别的位置标记的位置确定的一样。因此，数字拍摄装置图像处理系 统100可以用于生成包括从多个图像中提取的符号的合成文档，所提取的符号布置在它们 合适的相对位置中。此外，该合成文档可以使用相对低的处理和存储资源来创建，并且因此 可以在各种各样的数字拍摄装置中实现。作为一个示例应用，数字拍摄装置图像处理系统100可以用于捕获包含在诸如白 板的显示器表面上的信息，其中多个重叠的图像被拍摄以覆盖显示器表面。在该应用中，数 字拍摄装置用于拍摄白板的多个重叠的图像。数据提取器102从这些多个图像中分析图像 数据以提取符号数据。该符号数据可以包括包含在图像中的所有文本和其它字符信息，并 且因此可以用于捕获写在白板上的文本、字符和其它符号。然后，数据汇编器104识别多个图像中的位置标记。这些图像标记可以包括在图 像的重叠部分中发现的任何可识别的特征。然后，数据汇编器创建合成文档，该合成文档包 括从多个图像提取的位于他们的正确相对位置处的符号。这样，该合成文档可以包括简化 的图像文档或者甚至文本文档，并且文档中的字符像它们在显示器表面最初被发现时那样 排列。因此，数字拍摄装置的用户可以容易地捕获显示在白板上的文本和其它符号信息，即 使是在这些信息需要多个拍摄装置图像时。此外，因为数字拍摄装置图像处理系统100从图像中提取符号数据，并且然后仅 将所提取的符号数据汇编成合成文档，所以对系统的处理和存储需求极大地减少。如前面 讨论的那样，在传统的图像拼接中，原始的拍摄装置图像被组合以创建更大的全景图像。因 此，这种传统图像拼接需要拍摄装置同时存储和处理来自多个图像的完整图像数据，这需 要大量的处理资源。相反，数字拍摄装置图像处理系统100从图像中提取符号数据，并且然 后仅将所提取的符号数据汇编成合成文档。因此，数字拍摄装置图像处理系统100需要明 显更少的资源，并且可以在相对便宜的拍摄装置中实现。现在转到图2，图示了在数字拍摄装置中处理数字图像的方法200。通常，方法200 接收由数字拍摄装置拍摄的多个数字图像，从多个拍摄装置图像中提取符号数据，并将所 提取的符号数据汇编成合成文档。方法200可以通过多种方式来实现。作为一个示例，方法 200可以被实现，使得用户拍摄显示表面的一系列图片，并且然后选择相关图片并手动激励 (instigate)所选择图片的数据提取和汇编。作为另一个示例，方法200可以被实现，以通 过在特定模式下工作时利用每一张图片的拍摄来执行。在这种实现中，在拍摄每一张图片 是，对数据进行提取和存储用于汇编。在任何情况下，来自多张图片的图像数据被分析、数 据提取并汇编成合成文档。方法200中的第一步骤202是从数字拍摄装置接收图像数据。典型地，图像数据 的格式和分辨率将取决于实现该方法的数字拍摄装置的类型。例如，像素的数目和用于表 示每个像素的比特数目将取决于数字拍摄装置中传感器的具体实现。同样地，图像数据可 以包括多种标准格式，诸如常用于数字拍摄装置中的JPG、BMP或者RAW数据格式。下一个步骤204是从图像中提取符号数据。这可以使用多种技术来完成。例如，可以使用一种相对简单的阈值化操作，其根据在每个像素上图像的强度将每个像素渲染成黑 色或者白色。作为一个具体示例，在8比特的表示中，每个像素的值的范围可以从0到255。 可以通过使用阈值来获得导致二进制表示的提取，高于该阈值的所有像素将被设置成1，并 且所有其它像素将被设置成0。在RAW图像中，对于颜色滤波器阵列中的每个颜色像素，阈值可以相同或者不同。 这将利用单个信道产生二进制图像。在RGB图像中，这样的阈值可以跨越三种颜色信道而 被分别应用以保留一些颜色信息。同样地，在YCrCb图像中，这样的阈值可以仅基于亮度 (Y)信道而应用。此外，为增加颜色信息的等级，可以应用多个阈值而不是一个阈值，从而使 得每个像素有多于两个的值。使用的阈值可以是静态的、预定的值，或者它们可以针对每个图像来确定。例如， 阈值可以针对每个图像统计地确定。在一种技术中，可以计算像素值的均值和标准差，并且 然后阈值可以被设置为和或者均值和标准差。这样的技术可以帮助减少从图像中提取不相 关的信息。另外，这样的阈值可以用于复合文档中的所有图像，而不是基于局部统计为每个 单独的图像计算阈值。不考虑所使用的技术，数据提取的结果是从图像中提取某个强度等级的符号数 据，而所有的背景信息被去除。如此，它可以用于捕获写在白板上的形状、文本和其它符号。应当注意到这样的操作将以显著减小数据大小的方式表示图像数据。具体地说， 存储诸如简单的黑色像素的符号而将所有其它图像位置渲染为白色将去除所有其它颜色 和强度信息，并且因此极大地减少了图像数据的大小。然后，所提取的数据可以以相对低的 处理需求来操作。下一个步骤206是识别图像数据中的位置标记。这些图像标记可以包括在图像的 重叠部分中发现的任何可识别的特征。典型地，识别的图像标记将取决于用于汇编提取的 符号数据的技术类型。作为一个示例，所提取的符号数据的子集可以被用作位置标记。在 这种情况下，可以使用上面描述的阈值化技术来识别位置标记。在一个具体实施例中，可以使用第二阈值来识别图像标记。该第二阈值也可以是 预定值，或者它也可以针对每个图像或针对每个合成文档来统计地确定。再次地，这仅仅是 可以如何识别在图像数据中的位置标记的一个示例。下一个步骤208是确定是否要分析和添加更多的图像数据。当要分析更多的图像 数据时，方法返回到步骤202并对下一个图像执行步骤204和206。该过程会继续直到分析 了每个图像的图像数据并且提取了数据。然后，方法进行到步骤210。在步骤210中，从多个图像提取的符号数据被汇编成 一个合成文档。先前识别的位置标记用于确定所提取的符号数据的正确相对位置。此外， 位置标记和符号数据可以用于缩放所提取的符号数据，使得符号数据全部以相同的大小比 例进行汇编。可以使用多种不同的技术来汇编所提取的符号数据。这些技术将典型地取决于用 于存储合成文档的格式。例如，可以利用与相应的符号和标记数据一起存储的帧中的符号 和标记的位置来定义帧的大小。例如，在一种技术中，通过在符号和标记中搜索共有的模式来检查所提取的图像数据和识别的标记的重叠。一旦识别出重叠的标记，则来自每个图像的数据的帧可以被排 列和拼接到一起。这可以使用诸如图像配准和镶嵌技术来完成。通常，图像配准通过识别匹 配内容将图像的全部或者部分排列在另一副图像的上面。类似地，镶嵌是像拼图一样将图 像拼接在一起。镶嵌方法的一个示例将是使一帧的转角附近的特征与另一帧的转角相关， 并使用这些相关性将两帧排列在一起。特征可以包括从原始图像提取的符号数据和标记数 据两者。因此，可以通过使用图像配准技术对重叠部分进行排列来汇编所提取的图像数据， 并且然后使用该信息来创建提取的数据的相邻块的镶嵌。替代地，提取数据的镶嵌可以仅 使用边缘和转角信息而不使用图像配准来创建。如上所述，数据提取和汇编技术的一种潜在应用是捕获写在诸如白板的表面上的 文本和其它形状。在这种应用中，拍摄的是白板的一部分的图像。然后在图像上使用诸如 阈值化的图像提取过程。在这样的过程之后，具有形状或者其它文本的图像的区域将具有 值1，而其它区域将为0。还有诸如污迹或者白板的边缘的其它特征可以用作也将具有值1 的标记。使用绝对阈值，这样的信息可以在靠近帧边界的地方提取。然后我们可以使用合 适的压缩算法进一步减小图像的大小。接下来，拍摄幅覆盖白板另一部分的另一图像，其中有一些重叠的区域。然后对该 图像应用数据提取。结果的提取数据将具有与从第一图像提取的特征重叠的特征。由于对 两幅图像的捕获设备和设置是已知的，所以两个文档之间的相对移位可以使用公知的算法 基于符号和标记的配准来估计。两个文档之间的相对移位能够将文档汇编成一个合成文档。因此，该方法能够从 多个拍摄装置图像中提取包括文本型和其它字符数据的符号数据，并将所提取的符号数据 汇编成合成文档。该方法可以使用有限的资源来执行该数据提取，并且因此可以在具有有 限的存储和处理能力的数字拍摄装置中实现。虽然以上技术已经在该系统和方法的上下文中进行了描述，但是它们同样可以应 用于其他实现。例如，它们可以利用任何类型的处理器和存储系统被实现为计算机实现的 方法的一部分，包括诸如微处理器的单个集成电路，或者可以包括以协作方式完成处理单 元和存储器的功能的任何合适数目的集成电路设备和/或电路板。也应当理解，系统和方 法的机制能够作为程序产品以各种形式发布，并且本发明同样可以应用而不考虑用于执行 发布的计算机可读信号承载媒体的特定类型。信号承载媒体的示例包括可记录媒体，诸如 闪速存储器、软盘、硬盘、存储卡和光盘。此处阐明的实施例和示例是为了最好地解释本发明及其特定应用并由此使本领 域技术人员能够制造和使用本发明而做出的。然而，本领域技术人员将意识到，前述描述和 示例仅仅是出于说明和示例为目的而做出的。所阐明的描述并不意在穷尽或者将本发明限 制成所公开的确切形式。在不违背权利要求精神的情况下，可以鉴于以上教导做出许多修 改和变化。
权利要求
一种处理数字拍摄装置中的数字图像的方法，所述方法包括以下步骤利用所述数字拍摄装置生成第一数字图像和第二数字图像；从所述第一数字图像和所述第二数字图像中提取符号数据；识别所述第一数字图像和所述第二数字图像中的位置标记；以及基于所述第一数字图像和所述第二数字图像中的所述位置标记的相关性，将来自所述第一数字图像和所述第二数字图像中的所提取符号数据汇编成合成文档。
2.如权利要求1所述的方法，其中，从所述第一数字图像和所述第二数字图像中提取 符号数据的步骤包括捕获具有高于指定阈值的强度的像素数据以及丢弃具有低于所述指 定阈值的强度的像素数据。
3.如权利要求1所述的方法，其中，所述第一数字图像和所述第二数字图像包括显示 器表面的部分重叠的图像。
4.如权利要求3所述的方法，其中，所述显示器表面包括白板，并且其中，所提取的符 号数据包括表示所述白板上的字迹的数据。
5.如权利要求1所述的方法，其中，从所述第一数字图像中提取符号数据的步骤包括 捕获具有高于阈值的强度的像素数据，其中从所述第一数字图像的统计分析强度来确定所 述阈值。
6.如权利要求5所述的方法，其中，从所述第一数字图像的所述强度的均值和标准差 的和来确定所述阈值。
7.如权利要求1所述的方法，其中，基于将来自所述第一数字图像和所述第二数字图 像中的所提取符号数据汇编成合成文档的步骤包括利用图像配准技术。
8.如权利要求1所述的方法，其中，将来自所述第一数字图像和所述第二数字图像中 的所提取符号数据汇编成合成文档的步骤包括利用镶嵌技术。
9.一种具体体现指令程序的处理器，所述指令用于执行数字拍摄装置中数字图像处理 的方法步骤，所述处理器包括执行以下步骤的机构利用所述数字拍摄装置生成第一数字图像和第二数字图像；从所述第一数字图像和所述第二数字图像中提取符号数据；识别所述第一数字图像和所述第二数字图像中的位置标记；以及基于所述第一数字图像和所述第二数字图像中的所述位置标记的相关性，将来自所述 第一数字图像和所述第二数字图像中的所提取符号数据汇编成合成文档。
10.如权利要求9所述的处理器，其中，从所述第一数字图像和所述第二数字图像中提 取符号数据的步骤包括捕获具有高于指定阈值的强度的像素数据以及丢弃具有低于所述 指定阈值的强度的像素数据。
11.如权利要求9所述的处理器，其中，所述第一数字图像和所述第二数字图像包括白 板的部分重叠的图像，并且其中，所提取的符号数据包括表示所述白板上的字迹的数据。
12.如权利要求9所述的处理器，其中，从所述第一数字图像中提取符号数据的步骤包 括捕获具有高于阈值的强度的像素数据，其中从所述第一数字图像的统计分析强度来确 定所述阈值。
13.如权利要求12所述的处理器，其中，从所述第一数字图像的所述强度的均值和标 准差的和来确定所述阈值。
14.如权利要求9所述的处理器，其中，基于将来自所述第一数字图像和所述第二数字 图像中的所提取符号数据汇编成合成文档的步骤包括利用图像配准技术。
15.如权利要求9所述的处理器，其中，将来自所述第一数字图像和所述第二数字图像 中的所提取符号数据汇编成合成文档的步骤包括利用镶嵌技术。
16.一种数字拍摄装置中的数字处理系统，所述数字处理系统包括数据提取器，所述符号数据提取器被配置成接收由所述数字拍摄装置生成的第一数字 图像和第二数字图像，并且从所述第一数字图像和所述第二数字图像中提取符号数据；以 及数据汇编器，所述数据汇编器被配置成识别所述第一数字图像和所述第二数字图像中 的位置标记，所述数据汇编器进一步被配置成基于所述第一数字图像和所述第二数字图像 中的所述位置标记的相关性来将来自所述第一数字图像和所述第二数字图像中的所提取 符号数据汇编成合成文档。
17.如权利要求16所述的系统，其中，所述数据提取器被配置成通过捕获具有高于指 定阈值的强度的像素数据来从所述第一数字图像和所述第二数字图像中提取符号数据。
18.如权利要求16所述的系统，其中，所述第一数字图像和所述第二数字图像包括白 板的部分重叠的图像，并且其中，所提取的符号数据包括表示所述白板上的字迹的数据。
19.如权利要求16所述的系统，其中，所述数据提取器被配置成通过捕获具有高于阈 值的强度的像素数据来从所述第一数字图像中提取符号数据，其中从所述第一数字图像的 统计分析强度来确定所述阈值。
20.如权利要求16所述的系统，其中，所述数据汇编器被配置成通过利用图像配准和 镶嵌技术将从所述第一数字图像和所述第二数字图像中提取的符号数据汇编成所述合成 文档。
全文摘要
提供了一种用于数字拍摄装置中的数据提取和汇编的系统和方法。该系统和方法能够从多个拍摄装置图像提取包括文本型和其它字符型数据的符号数据，并将所提取的符号数据汇编成合成文档。该系统和方法可以使用有限的资源来执行该数据提取，并且因此可以在具有有限存储和处理能力的数字拍摄装置中实现。
文档编号H04N5/225GK101965728SQ200980106608
公开日2011年2月2日 申请日期2009年2月23日 优先权日2008年2月27日
发明者乔治·约翰 申请人:摩托罗拉公司