专利名称：将已捕捉图像数据与电子表格相关联的制作方法
技术领域：
本发明涉及电子表格技术，尤其涉及将已捕捉图像数据与电子表格相关联。
背景技术：
许多人利用电子表格来与数据进行交互。然而，数据不总是被电子地存储的。例如，许多人仍然打印出电子表格，在纸上写列表，接收打印好的收据等等。为在电子表格中使用该数据，用户以把想要的数据键入电子表格的各单元格而告终。这可能是费时/容易出错的过程
发明内容
提供本发明内容以便以简化形式介绍将在以下具体实施例中进一步描述的一些概念。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。电子表格应用将从已捕捉图像中获取的数据与电子表格相关联。例如，一个或多个图像的数据可被捕捉并被转换成与一个或多个电子表格自动相关联的电子数据。包括在已捕捉图像内的数据的格式化和底层公式可在电子表格内被表示(例如，突出显示的数据在电子表格内保持被突出显示)。数据也可以与现有电子数据进行比较。例如，已捕捉图像中的数据与现有电子表格中的数据之间的差异可被用来更新现有电子表格。已捕捉图像的显示也可使用从已捕捉图像获得的数据来扩充。例如，使用从已捕捉图像获得的数据可创建并显示图表。
图I示出了示例性计算环境；图2示出了将来自已捕捉图像的数据自动合并到电子表格的系统；图3示出了被结合到电子表格中的收据的已捕捉图像；图4示出了被结合到电子表格中的手写表的已捕捉图像；图5示出了用户选择已捕捉图像的一部分并将所选部分结合到电子表格中；图6示出了用户捕捉被结合到一个电子表格中的三幅不同图像；图7示出了包括电子表格的一部分的已捕捉图像，该电子表格包括手迹；图8示出了使用来自已捕捉图像的数据来扩充已捕捉图像；图9示出了捕捉图像并扩充已捕捉图像的另一个示例；图10示出了已捕捉图像包括被合并到电子表格中的公式；以及图11示出了用于将来自已捕捉图像的数据与电子表格进行关联的说明性过程。
具体实施例方式现将参考附图来描述各实施例，在附图中类似的标号代表类似的元素。具体地，图I和相应的讨论旨在提供对在其中可实现各实施例的合适计算环境的简要、概括描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其它类型的结构。也可使用其它计算机系统配置，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等等。还可使用在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境。在分布式计算环境中，程序模块可位于本 地和远程存储器存储设备两者中。现在参考图1，将描述在各个实施例中所利用的计算机100的说明性计算机环境。图I所示的计算机环境包括计算设备，这些计算设备各自可以被配置为服务器、台式或移动计算机、或者某一其他类型的计算设备，并且包括中央处理单元5 ( “CPU” )、包括随机存取存储器9 ( “RAM”)和只读存储器(“ROM”) 10的系统存储器7、以及将存储器耦合至中央处理单元(“CPU”)5的系统总线12。基本输入/输出系统存储在ROM 10中，所述基本输入/输出系统包含帮助在诸如启动期间在计算机内元件之间传递信息的基本例程。计算机100还包括大容量存储设备14，该大容量存储设备14用于存储操作系统16、电子表格11、电子表格应用24、其它程序模块25、以及图像管理器26，这将在下面予以更详细的描述。大容量存储设备14通过连接至总线12的大容量存储控制器(未示出)连接到CPU 5。大容量存储设备14及其相关联的计算机可读介质为计算机100提供非易失性存储。虽然此处包含的对计算机可读介质的描述针对诸如硬盘或CD-ROM驱动器等大容量存储设备，但是计算机可读介质可以是能够由计算机100访问的任何可用介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质还包括，但不限于，RAM、ROM、可擦除可编程只读存储器(“EPR0M”)、电可擦可编程只读存储器(“EEPR0M”)、闪存或其它固态存储器技术、⑶-ROM、数字多功能盘(“DVD”)或其它光存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算机100访问的任何其它介质。计算机100使用通过诸如因特网之类的网络18与远程计算机的逻辑连接而在网络化环境中操作。计算机100可以通过连接至总线12的网络接口单元20来连接到网络18。网络连接可以是无线的和/或有线的。网络接口单元20也可用于连接到其它类型的网络和远程计算机系统。计算机100还可包括用于接收和处理来自多个其他设备的输入的输入/输出控制器22，这些设备包括键盘、鼠标或者电子指示笔(未在图I中示出)。类似地，输入/输出控制器22可以提供到扫描仪、照相机、显示器23、打印机或其它类型的输入和/或输出设备。如前简述，多个程序模块和数据文件可以存储在计算机100的大容量存储设备14和RAM 9内，包括适于控制计算机的操作的操作系统16，如华盛顿州雷蒙德市的微软公司的WINDOWS 7 操作系统。大容量存储设备14和RAM9还可以存储一个或多个程序模块。具体而言，大容量存储设备14和RAM9可以存储包括电子表格应用24和程序模块25的一个或多个应用程序。根据一实施例，电子表格应用24是微软EXCEL电子表格应用。也可以使用其他电子表格应用。
图像管理器26被配置以把来自已捕捉图像的数据与电子表格相结合。图像管理器26可以如所不那样位于电子表格应用24外部,或者可以是电子表格应用24的一部分。另外，图像管理器26所提供的所有/某些功能可以位于电子表格应用24内部/外部。电子表格应用24被配置以结合从一个或多个已捕捉图像中获得的数据。例如，可使用图像管理器26把包括数据的一个或多个已捕捉图像转换成与一个或多个电子表格自动相关联的电子数据。已捕捉的数据的格式化和底层公式可在相关联电子表格内被表示(例如，已捕捉图像中的突出显示的数据在电子表格内保持被突出显示)。从已捕捉图像获得的数据也可与现有电子数据进行比较并与现有电子数据结合。例如，已捕捉图像中的数据与现有电子表格中的数据之间的差异可被用来更新现有电子表格。也可使用来自已捕捉图像的数据扩充显示。例如，基于已捕捉图像内包含的数据可创建并显示图表。下面提供更多的细节。图2示出了将来自已捕捉图像的数据自动合并到电子表格的系统。如图所示，系 统200包括图像管理器26、应用程序210、回调代码212、源220和用户215。所使用的计算设备可以是被配置为执行与捕捉数据和将数据与电子表格相关联有关的操作的任何类型的计算设备。例如，这些计算设备中的一些可以是移动计算设备(例如，蜂窝电话、平板计算机、智能电话、膝上型计算机等等)、台式计算设备和服务器。为了方便与图像管理器26的通信，可以实现一个或多个回调例程，这些例程在图2中被示为回调代码212。根据一实施例，应用程序24是电子表格应用。图像管理器26被配置以接收来自一个或多个不同源的图像数据。例如，源220示出照相机、扫描仪、图片、视频和图像管理器26可接收的其它图像数据。一般而言，图像管理器26可接收能够被捕捉的任何数据。源可以是静态的(即，单幅图片)和/或动态的(例如，视频馈源)。根据一实施例，图像管理器26被配置以捕捉来自动态馈源的图像。在(使用扫描仪、web摄像头、照相机电话、手持式照相机等)捕捉图像(例如，图片、视频、实况流)之后，图像管理器26使用光学字符识别(OCR)技术来检测任何光学可识别数据。例如，已捕捉图像可包括以列来安排的数据的表，这些列被空白空间分隔，之后是一行或多行上的相同图案。根据一实施例，间隔和行创建了电子表格中各自的列和行。已捕捉图像也可包括可与电子表格合并的图片。已捕捉图像也可包括可与电子表格合并的格式化。例如，字符可与已捕捉图像中的其它字符不同地被格式化。格式化可被包括并显示在相关联电子表格中。已捕捉图像也可包括可被合并到电子表格中去的公式。根据一实施例，由图像管理器26解析任何公式以创建对应的电子表格公式。可向用户显示用户界面以帮助将公式转换为电子表格。例如，公式内的变量可使用该用户界面来与电子表格元素相关联。显示器215被配置来显示从电子表格获得的数据的表示。数据可被包括在电子表格的显示中和/或在创建另一对象的显示中被使用。例如，从已捕捉图像获得的数据可被用来创建被显示的图表、对值的列表进行分类，改变一个或多个值的格式化等等。图3-9示出了说明与电子表格一起使用已捕捉数据的示例场景。图3示出了被结合到电子表格中的收据的已捕捉图像。如所示，图3包括收据310的图片、结合收据310之前的电子表格320，以及结合收据310之后的电子表格330。收据310可以是电子打印的收据、手写的收据和/或手写和打印数据的组合。例如，用户可以突出显示收据中的一个或多个词(例如，所示21. OO被突出显示)。电子表格320不出了包括项目列和费用列的不例性电子表格。电子表格320可包括更多或更少预定义的列。例如，电子表格320可以初始地是空电子表格。电子表格320可以与一个或多个数据相关联。电子表格330不出把来自收据310的数据结合到电子表格320中。如所述，电子表格330的第2行包括来自收据310的第一行的数据。第3行包括来自收据310的第二行的数据。第4行包括来自收据310的第三行的数据。从收据310的已捕捉图像获得的数据的结合可手动/自动发生。例如，用户可选择用户界面元素来开始对来自收据的已捕捉数据的结合。该电子表格也可以与收据的捕捉相关联，使得当收据的图片被捕捉时，从已捕捉图像获取的数据被自动加载到已相关联的电子表格。例如，来自特定存储或存储类型的收据可与特定电子表格相关联，而来自另一存储的收据与另一电子表格相关联。根据一实施例，收据310上包括的格式化被显示在电子表格330中。因为收据310上对应的数据是加粗的，电子表格330的第3行以粗体格式化显示。由于费用“21. 00”在收据310的已捕捉图像上是突出显示的，它被显示为突出显示。图4示出了被结合到电子表格中的手写的表的已捕捉图像。如所示，图4包括手迹410的已捕捉图像以及结合该手迹之后的电子表格420。在当前示例中，用户已经捕捉了包括Guest (客人)列和Bringing (带来的东西)列的手写表的图像。在图像410被捕捉以后，已捕捉图像中包含的数据被光学地识别并合并到电子表格420中。如所述，列头部“Guest”和“Bringing”已经与电子表格420相关联。格式化(例如，加下划线)也被转换到电子表格420。可使用用户界面元素来更正图像管理器不正确地识别的任何词。根据一实施例，表中的每个值被放置在电子表格420的分开的单元格中。图5示出了用户选择已捕捉图像的一部分并将所选部分结合到电子表格中。已捕捉图像510包括数据I、数据2、图片和数据3。选择框512示出被选择以结合到电子表格中去的图片和数据3。在当前示例中，图片被放置在单元格Al中而数据3被放置到单元格A2中。可以利用更多或更少的单元格。例如，数据3可以是值的列表，其中每个值被放置在电子表格520的单兀格内。图6示出了用户捕捉被结合到一个电子表格中的三幅不同图像。有时，单个图像不能捕捉所有的数据，因此多于一个的图像可被捕捉并结合到电子表格中。图像可来自单个已捕捉图像和/或来自视频。如所述，捕获数据610的三个不同图像(622，624和626)。图像(622，624和626)被组合并且包含在已捕捉图像的每一个内的对应的数据被放置在电子表格内。电子表格630示出了来自3个不同图像中的每个图像的全部数据被合并到电子表格中。数据可按照其在已捕捉图像内的布局和/或使用其它方法被放置在电子表格内。例如，特定类型的数据可被放置在电子表格的一个位置，而另一类型的数据可被放置在电子表格的不同位置。图7示出了包括电子表格的一部分的已捕捉图像，该电子表格包括手迹。
在图像710中，用户已抹掉电子表格712内的姓名“ Μ”，并且已手写姓名“Joe”。用户还已抹掉“Dessert (甜品)”并且已手写“Cheese (奶酪)”。电子表格712的主要部分没有被改变。根据一实施例，在来自现有电子表格的数据被匹配到已捕捉图像时，确定现有电子表格和已捕捉图像之间的差异。可在现有电子表格内反映任何差异。例如，电子表格720示出电子表格712已用手写改变更新。电子表格720示出姓名Tim被Joe替代，且Dessert条目被Cheese替代。在对现有电子表格作出改变之前，用户界面元素可被用来确认/接受改变。根据另一实施例，全部数据被合并到电子表格中。电子表格730不出全部数据合并到电子表格中。图8示出了使用来自已捕捉图像的数据来扩充已捕捉图像。已捕捉图像可以是许多不同类型的物理项目的图像，物理项目诸如收据、菜单、银行对账单、运动分数段，以及包括对其可执行电子表格操作的数据的其它图像。如所示，图像810是包括不同食物项目的菜单。如上所述，来自已捕捉图像810的数据可与电子表格相关联。根据一实施例，电子表格未被显示。作为替代，使用该已捕捉图像的增大的图像被显示给用户。在显示820中，菜单的图像被显示使得菜单项按照卡路里计数来分类。显示820最先显示最低卡路里项目并最后显示最高卡路里项目。也可使用其它分类/显示偏好。例如，可使用最高到最低、最营养和/或一些其它条件。该扩充的图像可以以许多不同的方式来格式化。例如，可应用条件格式化/突出显示的组合(例如，列可按照值来分类并基于相同/不同值将格式化/突出显示应用到相同/不同列)。可使用多于一列的数据来创建扩充的图像。显示830示出了原始菜单810的最低卡路里项目被突出显示。在该示例中，示出汉堡包条目被突出显示。根据一实施例，示出已捕捉图像810被添加突出显示。突出显示可以是突出显示一值的任何类型的格式化(例如基于图标、基于图片、梯度等等)。显示840示出原始菜单810的最低卡路里项目被框围绕并且在每个菜单项旁边有指示卡路里含量的次序的数字。显示850示出了包括菜单条目的图表。如所述，图表850是饼图。也可以示出其它(例如条、线、散点)图表。图9示出了捕捉图像并扩充已捕捉图像的另一个示例。如所述，显示910和显示920示出用从捕捉自银行对账单的图像的数据914创建的图表来扩充的银行对账单的显示。显示910中的图表912是饼图。显示920中的图表922是条形图。可以从银行对账单获取一个或多个图像以获得用于创建图表的数据。图表被用于帮助用户可视化已捕捉数据。所创建的图表可与相关联的电子表格一起存储和/或应来自包含在相关联电子表格内的数据的要求重新创建。图10示出了已捕捉图像包括被合并到电子表格中的公式。图像1010示出了已捕捉图像内的已选择的公式1012。公式可以是在电子表格内被代表的任何类型的公式。出于说明的目的，假定电子表格1020包括第I行的列A-D中的数据以及第2-4行的列B-D的数据。使用用户界面元素，公式1012可与一个或多个单元格相关联(例如，单元格A2、A3和A4)。在公式1012与单元格相关联之后，可更新电子表格以显示该计算。如所述，单元格A2、A3和A4已使用从对应的B、C和D列获得的值来更新。现在将参考图11，将描述用于把来自已捕捉图像的数据与电子表格进行关联的说明性过程。当阅读对在此提供的例程的讨论时，应当理解，各实施例的逻辑操作被实现为 (I)运行于计算系统上的一系列计算机实现的动作或程序模块，和/或(2)计算系统内互连的机器逻辑电路或电路模块。该实现是取决于实现本发明的计算系统的性能要求来选择的。因此，所例示的并且构成此处所描述的实施例的逻辑操作被不同地表示为操作、结构设备、动作或模块。这些操作、结构设备、动作和模块可用软件、固件、专用数字逻辑，及其任何组合来实现。在开始框之后，过程1100移至捕捉图像的操作1110。图像可从静态图像或移动图像捕捉。例如，图像可从视频捕捉，或通过拍摄收据、带有文字/手迹或某一其它对象的一张纸的照片来捕捉。根据一实施例，图像包括可在电子表格内被使用的字符。例如，图像可包括数字的表以及描述这些数字的文字。图像还可包括手写笔记/评论和/或打印数据。移至操作1120，处理已捕捉图像。根据一实施例，处理图像包括对已捕捉图像执行光学字符识别(OCR)操作。OCR操作可由专门的应用来执行和/或被包括在图像管理器和/或电子表格应用的功能内。在已捕捉图像中的数据以电子表格对象(诸如表，列表，或其它电子表格对象)的形式时，OCR操作被配置来进行识别。例如，OCR操作可被配置来确定已捕捉图像内字符和行之间的间距，并使用那个信息以能够确定列表/表的安排。前进至操作1130，数据从已捕捉图像中获得。数据可以是图像的全部/部分。例如，用户可选择仅处理图像的一部分。整个图像也可被用来获得数据。此外，可使用多于一个图像来获得数据。例如，两个或多个已捕捉图像可被用来捕捉来自单个表的数据。在此情况中，可组合每个已捕捉图像来获得用于整个表的数据。转到决定操作1140，作出数据是否与现有电子表格相关的决定。例如，从已捕捉图像获得的数据的一部分可能已经被存储在现有电子表格内了。一种类型的图像也可与现有电子表格相关联。例如，银行对账单的已捕捉图像可与相关于银行对账单的现有单据相关联，食品收据可与包括食品项目/花费的现有单据相关联，等等。数据可手动和/或自动与电子表格相关联。例如，使用用户界面，用户可选择电子表格来与已捕捉图像的全部/部分相关联。可使用逻辑来将电子表格与从图像所捕捉的数据相关联。例如，默认银行电子表格可与银行数据相关联，而默认预算电子表格可与通常使用的预算数据相关联。用户也可写逻辑以将电子表格与已捕捉数据相关联。当现有电子表格不与已捕捉图像相关联时，过程移到操作1150，在那里创建新电子表格。在现有电子表格与已捕捉图像相关联时，过程前进到操作1160。在操作1160，用所获得的数据更新电子表格(新的或现有电子表格)。更新电子表格可包括向电子表格添加/移除单元格，更新电子表格内的值/公式/对象，等等。根据一实施例，在所获得数据与现有电子表格关联时执行差分操作以确定电子表格内要更新的单元格。前进到操作1170，更新使用电子表格和所获得数据的显示。显示可以是电子表格的显示和/或使用所获得的数据的对象的显示。例如，显示可以是使用来自已捕捉图像的用以创建图表的数据的图表。显示可以是不同地格式化了的已捕捉图像(例如，在已捕捉图像内突出显示一项目)。 随后该过程行进到结束框，并返回以处理其它动作。以上说明、示例和数据提供了对本发明的组成部分的制造和使用的全面描述。因为可以在不背离本发明的精神和范围的情况下做出本发明的许多实施例，所以本发明落在所附权利要求的范围内。
权利要求
1.一种用于将已捕捉图像数据用于电子表格的方法，包括 接收已捕捉图像(1110);其中所述已捕捉图像包括包含字符的光学可识别数据； 从所述已捕捉图像获得数据(1130);其中所获得的数据的至少一部分是字符； 在确定所述数据与现有电子表格相关联时用所述数据更新电子表格(1160);其中更新所述电子表格包括以下至少之一用所述数据代替所述电子表格的至少一个单元格内的数据以及将所述数据添加到所述电子表格的至少一个单元格；以及 在确定所述数据不与现有电子表格相关联时将所述数据与电子表格相关联(1150)；其中将所述数据相关联包括将所述数据置于所述电子表格的至少一个单元格内。
2.如权利要求I所述方法，其特征在于，还包括在所述数据与所述电子表格相关联时维持所述数据的格式化，使得当所述数据被显示时，示出被包括在已捕捉图像中的所述格式化(330)。
3.如权利要求I所述方法，其特征在于，从所述已捕捉图像获得数据包括，确定何时在所述已捕捉图像内获得公式(1012)并将所述公式结合到所述电子表格中。
4.如权利要求I所述方法，其特征在于，在确定所述数据与所述现有电子表格相关联时用所述数据更新所述电子表格包括，确定从所述已捕捉图像中获得的数据与所述现有电子表格中的数据之间的差异(710)，并更新所述电子表格以反映所述差异。
5.如权利要求I所述方法，其特征在于，还包括基于所述已捕捉图像的文本间的间距将从所述已捕捉图像获得的数据放置在所述电子表格中(1120)。
6.一种存储用于将已捕捉图像数据用于电子表格的计算机可执行指令的计算机可读存储介质，包括 接收已捕捉图像(1110);其中所述已捕捉图像包括包含字符的光学可识别数据； 从所述已捕捉图像获得数据(1130);其中所获得的数据的至少一部分是字符； 维持所述已捕捉图像中示出的所述数据的格式化，使得当所述数据被显示时，示出被包括在已捕捉图像中的所述格式化(330)； 确定何时在所述已捕捉图像内获得公式(1012)； 在确定所述数据与现有电子表格相关联时用所述数据更新电子表格(1160);其中更新所述电子表格包括以下至少之一用所述数据代替所述电子表格的至少一个单元格内的数据以及将所述数据添加到所述电子表格的至少一个单元格，其中更新所述电子表格包括确定从所述已捕捉图像中获得的数据与所述现有电子表格中的数据之间的差异、并更新所述电子表格以反映所述差异；以及 在确定所述数据不与现有电子表格相关联时将所述数据与电子表格相关联(1150)；其中将所述数据相关联包括将所述数据置于所述电子表格的至少一个单元格内。
7.如权利要求6所述的计算机可读存储介质，其特征在于，还包括从所述数据显示图表(910)，所述数据用所述已捕捉图像的至少一个部分的显示来从所述已捕捉图像中获得。
8.一种用于将已捕捉图像数据用于电子表格的系统，包括 被配置成连接到网络的网络连接(20)； 处理器(5)、存储器(7)和计算机可读存储介质(14)； 存储在所述计算机可读存储介质上并在所述处理器上执行的操作环境(16)； 显示器(23)；电子表格应用(24)； 电子表格(11)，其中所述电子表格包括单元格；以及 与所述电子表格应用结合运行的图像管理器(26)，所述图像管理器被配置成执行包括下列动作的动作 接收已捕捉图像(1110);其中所述已捕捉图像包括包含字符的光学可识别数据； 从所述已捕捉图像获得数据(1130);其中所获得的数据的至少一部分是字符； 维持所述已捕捉图像中示出的所述数据的格式化，使得当所述数据被显示时，示出被包括在已捕捉图像中的所述格式化(330)； 确定何时在所述已捕捉图像内获得公式(1012)； 用所述数据更新电子表格(1160);其中更新所述电子表格包括以下至少之一用所述数据代替所述电子表格的至少一个单元格内的数据以及将所述数据添加到所述电子表格的至少一个单元格；以及 使用从所述已捕捉图像中获得的并且与所述电子表格相关联的数据更新所述显示(1170)。
9.如权利要求8所述的系统，其特征在于，使用从所述已捕捉图像中获得的数据更新所述显示包括从所述数据显示图表(910)，所述数据用所述已捕捉图像的至少一个部分的显示来从所述已捕捉图像中获得。
10.如权利要求8所述的系统，其特征在于，还包括接收所述已捕捉图像的一部分的选择(1012)并从所选择的部分获得所述数据。
全文摘要
本发明揭示了将已捕捉图像数据与电子表格相关联。电子表格应用将从已捕捉图像中获取的数据与电子表格相关联。例如，一个或多个图像的物理数据可被捕捉并被转换成与一个或多个电子表格自动相关联的电子数据。包括在已捕捉图像内的数据的格式化和底层公式可在电子表格内被表示(例如，突出显示的数据在电子表格内保持被突出显示)。数据也可以与现有电子数据进行比较。例如，已捕捉图像中的数据与现有电子表格中的数据之间的差异可被用来更新现有电子表格。已捕捉图像的显示也可使用从已捕捉图像获得的数据来扩充。例如，使用从已捕捉图像获得的数据可创建并显示图表。
文档编号G06F17/30GK102637190SQ20121002030
公开日2012年8月15日 申请日期2012年1月29日 优先权日2011年1月24日
发明者A·林, J·坎贝尔, S·德尔, S·普里什 申请人:微软公司