基于线或文本的图像处理工具的制作方法

专利名称：基于线或文本的图像处理工具的制作方法
技术领域：
本发明的方面涉及具有形成物体的线或文本的白板、黑板或文档的图像处理。本 发明的其它方面涉及某些类型的嵌入式装置，例如具有图像捕获特征且具体来说具有 白板或黑板捕获特征的移动电话。
背景技术：
各种类型的文档及图像用于不同的上下文中。举例来说，白板经常在讨论、会议 期间使用，并用以交换看法。在许多情况下，举例来说，可通过相机捕获所述图像， 但所捕获的数字图像可能具有较差的质量。举例来说，所述图像背景可包括失真、阴 影及使其难以观看的其它信息。

发明内容
根据本发明的一个实施例，提供设备。所述设备包括图像处理器，所述图像处理 器包括用以处理某种类型的图像的唯一图像处理机构。提供唯一图像处理启动机构以 致使所述图像处理机构处理所述给定图像。


通过以非限制性实例性实施例的方式参照所标注的图式在以下详细说明书中进 一步说明本发明，图式中贯穿所述图式的若干视图相同的参考编号表示相同部件，且 图式中
图1为嵌入式装置10的框图，除根据本发明的一个实施例的其它特征以外，所 述嵌入式装置包括板处理器；
图2为图2中所示的嵌入式装置的用户接口的功能性示意图3描绘由图1中所图解说明的文档处理器执行的文档处理过程的流程图；图4显示在图像背景中具有失真的所捕获白板图像的简化图式； 图5是从图4中所示的图像分离的背景的简化图式；及
图6为图4中所示的图像的所得经处理版本的简化图，由此己减去或移除如图5
中所示的那样分离的背景。
具体实施例方式
本发明的方面涉及具有黑板及/或白板清理机构的相机，以清理或移除所述黑板 或所述白板的所捕获数字图像的背景中的失真。本发明的其它方而可涉及文档处理， 例如用于对文档(举例来说，其包括信息的文本及其它线表示)执行图像处理的特征。 此种文档可包括阻碍观看所述文档中的信息的能力的失真的或不需要的背景信息。举 例来说，文档的照相复制可导致所述文档的复制版本中的条纹。具冇所述条纹的文档 可能被复制以形成所述文档的所捕获数字图像。可分离出及减去或移除所述背景，从 而留下所得图像中的所需前景信息。
本发明的其它方面涉及一种移动装置，举例来说，包括相机的移动电话。本发明 的其它方面涉及与相机组合的此种移动装置，其中所述装置包括专用黑板及/或白板 清理机构。所述装置可进一步具有经清理图像传输机构，以将所述经清理图像传输到 接收器、传输到远程服务器或传输到远程网点。
所述嵌入式装置可以是相机。另一选择为，所述嵌入式装置可以是移动通信装置， 举例来说，与相机组合或包括相机的具有语音传输功能的移动电话。除嵌入式装置以 外，可提供更大的设备，例如文档传真读取设备或照相复制机机器。所述装置可以是 名片读取器、条形码扫描器及/或文档扫描器。这匙装置中的每一者可具有文档清理 机构以从基于文本或线的图像中移除或分离出不需要的背景信息，以用更好地呈现的 前景信息再现所得经处理图像。
现在更加详细地参照图式，图1为嵌入式装置10的框图。举例来说，所图解说 明的嵌入式装置10包括具有相机的移动通信装置。另一选择为，所述装置可以是相 机本身，或(举例来说)其可以是另一类型的装置(如上所述)。在此具体实施例中， 所述嵌入式装置为具有相机的移动电话。所图解说明的装置IO包括保存图像文件14 的存储器12、相机单元16、图像处理器26及移动通信处理器24。这些组件经由数 据总线22彼此耦合。
相机单元16包括相机控制17、图像传感器18、显示器19及镜头组合件20。所 述图像处理组件或图像处理器26包括文档处理器28。在所图解说明的实施例中，文 档处理器28为板处理器，举例来说，白板处理器或黑板处理器。文档处理器28包括 用以处理某种类型的图像的唯一图像处理机构。所述类型的图像可以是主要具有线及 文本的文档，所述线及文本说明将由所述文档描绘的信息。具体来说，所述类型的文 档可以是具有线及文本的黑色及白色文档。所述文档处理器可经调整以处理名片的所捕获数字图像。根据所说明的具体实施例，文档处理器28经调整以处理白板及/或黑 板。
文档处理器28的唯一图像处理机构可包括对比度提高机构、对比系数改变机构、 局部增益调节机构或背景减去机构。这些图像处理机构中的每一者可导致从将要处理 的文档的所捕获数字图像中大致分离或移除不需要的混乱背景信息。
图2是图1中所示的嵌入式装置10的用户接口 40的功能性示意框图。所图解说 明的用户接口 40包括图片拍摄接口组件42、文档处理接口组件46及显示器操作及 设定接口组件50。此外，所图解说明的接口40可包括移动通信操作及设定接口组件 52及其它功能接口组件54。
图片拍摄接口组件42可包括关于拍摄图片43且关于照相及相机设定44的部分。
文档处理接口组件46可包括关于处理文档47且关于定义某种文档处理设定48 的部分。
这些接口组件中的每一者可包括(举例来说)显示器或通知机构以向用户传送信 息。举例来说，可将声音、光或所显示的文本或图像信息呈现到所述用户，从而向所 述用户呈现关于所述接口组件功能的某些信息及关于所述功能的嵌入式装置的状态。 此外，所显示的接口组件中的每一者可包括用于启动所述装置的特定功能或用于将信 息输入到所述装置中(举例来说)以改变所述装置的一个或一个以上功能的设定的输 入或启动机构。
图3描绘文档处理组件的流程图，其中所述文档为(举例来说)白板。所图解说 明的过程涉及在动作60处获得背景图像，且随后在动作68处计算原始图像与所述背 景图像之间的差分。然后，可在动作70处增强所述差分图像，且在动作72处加以压 縮。此外，可在动作72处转换所得图像的格式。当所述文档被压縮时其可被压缩为 (举例来说)JPEG格式图像的形式。
在动作60处获得所述背景图像时，可在动作62处对将要处理的给定图像进行二 次取样，此后可在动作64处向所述经二次取样的图像施加低通滤波。在动作64处施 加低通滤波之后，可在动作66处对所述图像的所得像素信息进行超取样。应注意， 替代在动作64处施加低通滤波器操作，可执行形态操作。
正在图3中所示的过程中处理的图像大体来说为数字捕获图像，在此情况下为白 板图像。因此，每一阶段处的图像通常包括像素图案，举例来说，像素阵列，其中每 一像素包括一个或多个不同的色彩分量，其中(举例来说)根据量值表示每一色彩分 量的强度。
除具体动作62、 64及66以外或替代动作62、 64及66，在获得背景图像时，可 使用中值滤波、平滑滤波及形态操作中的一者或其组合来处理原始图像以从中获得背 景图像。
图4是白板的原始数字捕获图像的简化图，其包括失真或不需要的背景信息。图 5是从图4中的图像获得的所分离出的背景图像的简化图。图6是所得经处理图像，因此已移除不需要的背景信息。出于本文中的解释的目的简化了图4-6。这些图中的 内容(例如，图6中的R，G，B)可包含所述内容内的阴影连同所述阴影的失真。所图 解说明的过程也可移除所述内容内的这些背景失真。
当通过(举例来说)为白板或另一类型的文档拍照来获得数字捕获图像时，失真 及变暗可在所得所捕获图像的背景中发生。举例来说，背景不一致可由照明的变化及 镜头的不一致造成。所述文档的某些部分可较亮，而其它部分可较暗。
举例来说，可对(Y，Cb，Cr)空间而不是(R，G，B)空间中的图像执行图3中的处理。 此是因为所保存的图像可能更经常地处于JPEG模式中。因此，在图3中所提及的处 理通常可聚焦于Y通道。在此说明的方法可应用于任何图像格式，且也可应用于所述 (R,G，B)空间。
现在将基于所述(Y，Cb,Cr)空间进一步详细说明具体实施例。在所述过程的起始 任务中，通过从白板的所捕获数字图像移除前景内容来获得背景。举例来说，如果所 述白板前景包含大致细线，那么此可通过形态操作(例如，"膨胀"及"侵蚀")来 进行。另一选择为，可通过对所述图像进行二次取样并向所述图像施加中值滤波来移 除所述前景信息。可用多缩放步骤执行所述图像的二次取样及滤波器处理以改善所述 结果。
从二次取样、滤波及后续超取样产生的某些益处包括从所述白板更加彻底地移除 前景信息。所述前景中的内容(包括大致细线)覆盖有限数量的像素。通过执行高二 次取样比率，可容易地移除此信息。举例来说，对于具有1280x960的图像大小来说， 可使用高达16的二次取样比率。所述经二次取样的图像将仅具有80x60的大小。在 较小的己縮小图像中，己在某种程度上移除所述白板中的内容。较大程度地缩小的另 一益处为可使用具有较小内核的后续滤波器处理来有效地移除所述前景内容。举例来 说，所述内核可小到3x3。此外，由于所述縮小的图像非常小，因此降低所述后续滤 波处理的成本(即，处理存储器需要)。
可使用"最近邻居"方法来执行二次取样，或可使用另一内插方法。
在二次取样之后，某些前景信息仍可在所述图像中存在。在此点上，举例来说， 可向所述经二次取样的图像施加简单的3x3中值滤波以进一步移除所述前景内容。为 提供更好的效果，可数次施加所述中值滤波，以完全移除所述前景内容并获得白板背 景图像。还可使用3x3平滑滤波器来移除所述前景内容。
在执行中值滤波器处理之后，现在已获得所述经二次取样的背景图像。为具有对 应于原始图像的原始样本分辨率的图像，将所述图像超取样到所述原始分辨率。为做 此，可使用双线性内插方法来获得平滑内插。也可使用其它内插方法，举例来说，双 三次、样条或各种类型的平滑内插方法。
当处理白板时，可从所述背景图像减去所述原始图像以获得所述前景内容。在此 点上，获得内容图像。可通过使用比率乘法来增强所述内容图像。可通过修改设定(例 如，使用图2中所示的文档处理设定接口组件48)来确定所述比率。通常，所述比率可在二到五之间。可在此点上向所述图像施加阈值，以便使具有低于所述阈值的值 的像素被作为噪声对待且将不被放大。
在获得经增强的内容图像之后，可从纯白图像中将其减去，从而产生对应于现在 恢复的干净白板图像的图像。
对于所述内容图像中的色彩通道，为保持色调不改变，不应改变Cb与Cr之间 的比率。另一方面，为获得明亮并鲜明的色彩，可增强其饱和度。通过将所述Cb及 Cr通道乘以在Y通道上所使用的相同放大比率(其也可不相同)，可有效地增强所 述色彩饱和度。
当处理黑板图像时，可从原始图像减去所述背景图像以获得内容信息，且可通过 减去纯黑图像来获得增强的信号图像。否则，所述过程可与上文针对白板图像所说明 的那些相同。
原始提供状态及其可能被修订状态的权利要求书涵盖本文中所揭示实施例及教 示的变化形式、替代形式、修改、改进、等效物及大致等效物，其中包括目前无法预 见或不了解且可能从申请者/专利权所有者及其他人产生的变化形式、替代形式、修 改、改进、等效物及大致等效物。
权利要求
1、一种设备，其包含图像处理器，其包括用以处理某种类型的图像的唯一图像处理机构；及唯一图像处理启动机构，其用以致使所述唯一图像处理机构处理给定图像。
2、 如权利要求l所述的设备，其中所述设备包含嵌入式装置，其中所述嵌入式装 置包含所述图像处理器及所述唯一图像处理机构，且其中所述嵌入式装置进一步包含 所述唯一图像处理启动机构。
3、 如权利要求l所述的设备，其进一步包含相机。
4、 如权利要求1所述的设备，其进一步包含移动通信装置，所述移动通信装置包 括移动电话及相机。
5、 如权利要求l所述的设备，其中所述设备包含文档传真读取设备、照相复制机 器、名片读取器、条形码扫描器及文档扫描器中的一者。
6、 如权利要求l所述的设备，其中所述某种类型的图像为文档。
7、 如权利要求l所述的设备，其中所述某种类型的图像为包括线及文本的黑色及 白色文档。
8、 如权利要求l所述的设备，其中所述某种类型的图像为名片的图像。
9、 如权利要求l所述的设备，其中所述某种类型的图像为黑板及白板中的至少一 者的图像。
10、 如权利要求9所述的设备，其中所述某种类型的图像为黑板的图像。
11、 如权利要求9所述的设备，其中所述某种类型的图像为白板的图像。
12、 如权利要求9所述的设备，其进一步包含用以拍摄所述给定图像的图片拍摄器o
13、 如权利要求12所述的设备，其中所述图片拍摄器包括相机元件，所述相机元件包括图像传感器及镜头组合件。
14、 如权利要求9所述的设备，其进一步包含用以显示所述给定图像的图片显示器。
15、 如权利要求12所述的设备，其进一步包含移动通信处理器。
16、 如权利要求15所述的设备，其中所述移动通信处理器包括用于移动电话的处 理器。
17、 如权利要求16所述的设备，其中所述移动通信处理器包括用以经由无线连接 从分离的远程装置接收所述给定图像或将所述给定图像发送到所述分离的远程装置的 机构。
18、 如权利要求1所述的设备，其中所述唯一图像处理机构包括与所述图像处理 器分离的分离的唯一图像处理器。
19、 如权利要求l所述的设备，其中所述唯一图像处理机构包括对比度提高机构。
20、 如权利要求1所述的设备，其中所述唯一图像处理机构包括对比系数改变机构。
21、 如权利要求1所述的设备，其中所述唯一图像处理机构包括局部增益调节机构。
22、 如权利要求1所述的设备，其中所述唯一图像处理机构包括背景减去机构， 所述背景减去机构包括用以从所述给定图像获得背景图像的背景分离器，所述背景减 去机构进一步包括用以形成具有像素值的图像的差分计算器，所述像素值基于包括前 景的给定图像中的像素值与所述背景图像中的对应像素值之间的相应差分。
23、 如权利要求22所述的设备，其中所述背景分离器包括用以对所述给定图像进 行二次取样、滤波及随后超取样的二次取样机构、滤波器机构及超取样机构。
24、 如权利要求22所述的设备，其中所述背景分离器包括中值滤波器、平滑滤波 器及形态操作器中的一者或其组合。
25、 一种集成电路，其包含-图像处理器，其包括用以处理某种类型的图像的唯一图像处理机构；及 唯一图像处理启动机构，其用以致使所述唯一图像处理机构处理给定图像。
26、 如权利要求25所述的集成电路，其中所述唯一图像处理机构包括背景减去机构，所述背景减去机构包括用以从所述给定图像获得背景图像的背景分离器，所述背 景减去机构进一步包括用以形成具有像素值的图像的差分计算器，所述像素值基于包 括前景的给定图像中的像素值与所述背景图像中的对应像素值之间的相应差分。
27、 一种方法，其包含处理嵌入式装置内的图像并对某种类型的图像执行唯一图像处理；及启动所述唯一图像处理以致使对给定图像的所述唯一图像处理。
28、 如权利要求27所述的方法，其中所述唯一图像处理包括执行背景减去，所述 背景减去包括从所述给定图像中分离背景图像，所述背景减去进一步包括计算差分以 形成具有像素值的图像，所述像素值基于包括前景的给定图像中的像素值与所述背景 图像中的对应像素值之间的相应差分。
29、 一种用数据编码的机器可读媒体，所述所编码的数据可与机器共同操作以致使处理嵌入式装置内的图像并对某种类型的图像执行唯一图像处理；及 启动所述唯一图像处理以致使对给定图像的所述唯一图像处理。
30、 如权利要求29所述的机器可读媒体，其中所述所编码的数据与机器共同操作以致使所述唯一图像处理包括执行背景减去，所述背景减去包括从所述给定图像中分 离背景图像，所述背景减去进一步包括计算差分以形成具有像素值的图像，所述像素 值基于包括前景的给定图像中的像素值与所述背景图像中的对应像素值之间的相应差 分。
31、 一种设备，其包含执行装置，其用于对嵌入式装置中的数字捕获图像执行图像处理，所述用于执行图像处理的装置包括用于处理某种类型的图像的唯一图像处理装置；及 启动装置，其用于启动所述唯'图像处理装置以处理给定图像。
32、 如权利要求31所述的设备，其中所述用于执行唯一图像处理的装置包括用于执行背景减去处理的装置，所述用于执行背景减去处理的装置包括用于从所述给定图 像中分离背景图像的装置及用于计算差分图像的装置。
全文摘要
根据本发明的一个实施例，提供包括图像处理器、唯一图像处理机构及唯一图像处理启动机构的设备。所述图像处理器包括处理某种类型的图像的所述唯一图像处理机构。所述唯一图像处理启动机构致使所述唯一图像处理机构处理给定图像。
文档编号G06T5/00GK101444080SQ200780017212
公开日2009年5月27日 申请日期2007年5月11日 优先权日2006年5月17日
发明者全舒学, 江晓云, 钱川·安德鲁·秋 申请人:高通股份有限公司