基于正交图像准确地提取信息的制作方法

基于正交图像准确地提取信息的制作方法
【专利摘要】在信息提取技术期间，可以通过由电子设备执行的应用程序(诸如软件应用程序)指示所述电子设备的用户使用被集成到电子设备中的成像传感器，来以不同取向(其对于用户是已知的)获取文件上目标位置的图像。在所述用户已经拍摄第一图像之后并且在所述用户拍摄所述电子设备(以及从而成像传感器)的不同取向中的第二图像之前，所述电子设备捕获所述文件的多个图像。然后，所述电子设备存储所述图像与关联的时间戳。而且，在用户已经拍摄所述第二图像之后，所述电子设备分析所述第一图像、所述第二图像和至少所述图像的子集其中的一个或多个，以提取接近于所述文件上的目标位置的信息。
【专利说明】基于正交图像准确地提取信息

【技术领域】
[0001]本公开涉及用于捕获文件的多个图像并且准确地从图像中提取信息的技术。

【背景技术】
[0002]具有集成的成像传感器的数字相机和蜂窝电话的广泛应用已经导致数字摄影和关联的利用获取的图像中的信息的软件应用程序的显著增加。例如，在用户使用数字相机或蜂窝电话(他们有时均被称为‘电子设备’)捕获文件(诸如金融文件)的图像之后，在电子设备上执行的软件应用程序(诸如金融软件应用程序)可以使用光学字符识别从图像中提取信息。然后，至少在原则上，金融软件应用程序可以使用提取的信息来填充表格中的字段或者来执行金融计算。
[0003]然而，在实践中，从图像中提取有用信息(特别是用于与软件应用程序一起使用的那些信息)的能力常常受图像质量的限制。例如，取决于图像质量，在使用光学字符识别提取信息时可能发生错误。这些错误可能使得对于软件应用程序(诸如金融软件应用程序)而言随后使用提取的信息更困难(如果并非不可能的话)。
[0004]因此，在获取图像之后，用户可能需要执行获取后操作，诸如:编辑图像以剪裁感兴趣的区域；纠正发生在提取的信息中的任何错误；以及，如果图像是模糊的或感兴趣的区域没有被捕获到，则重复图像捕获和/或获取后操作一次或多次。执行图像捕获和/或获取后操作一次是耗时的，更不用说多次执行，并且可能因此限制用户获取图像或使用利用图像中信息的软件应用程序的意愿。


【发明内容】

[0005]本公开的实施例涉及从文件中提取信息的电子设备。在操作期间，所述电子设备(或者在电子设备上执行的应用程序)向用户提供指令，以使用被集成到电子设备中的成像设备在成像设备处于第一取向时获取文件上的目标位置的第一图像，以及使用成像设备在成像设备处于第二取向时获取目标位置的第二图像。在其中用户激活了与成像设备关联的图像激活机制(诸如用于激活成像传感器的物理按钮或虚拟图标)并且捕获第一图像的第一实例之后，并且在其中用户激活图像激活机制并且捕获第二图像的第二实例之前，电子设备捕获文件的多个图像。然后，电子设备存储图像与关联的时间戳。而且，电子设备接收指示用户激活图像激活机制的第二实例的信号。响应于信号，电子设备分析第一图像、第二图像和至少图像的子集中的一个或多个以提取接近于文件上目标位置的信息。
[0006]注意，图像可以与由被集成到电子设备中的传感器所提供的空间位置信息存储在一起。例如，传感器可以包含加速计和陀螺仪之一。因此，空间位置信息可以包含位置信息和/或取向信息。此外，图像可以在基于空间位置信息的图像捕获率下被捕获。
[0007]在一些实施例中，所述电子设备基于与文件上的目标位置关联的预定义的信息格式识别所述分析中的错误。而且，电子设备可以基于至少图像的子集执行对识别的错误的错误纠正。注意，在错误纠正期间给定图像的贡献可以基于对应权重，并且权重可以基于以下两者之间的差异中的至少一个:与给定图像关联的时间戳与参考时间戳；与给定图像关联的空间位置信息与参考空间位置信息；和/或从图像中提取的信息之间的差异。
[0008]此外，多个图像可以在用户没有激活图像激活机制的情况下被捕获。另外地，分析可以包含光学字符识别，文件可以包含金融文件(诸如:发票、账单和/或金融媒介)，和/或应用程序可以包含金融应用程序。
[0009]在一些实施例中，电子设备在执行分析之后擦除一个或多个图像。
[0010]注意，第一取向与第二取向之间的角度差可以近似是90°。
[0011]另一实施例提供了包括由电子设备执行的操作中的至少一些的方法。
[0012]另一实施例提供了用于与电子设备一起使用的计算机程序产品。该计算机程序产品包含用于至少一些由电子设备执行的操作的指令。

【专利附图】

【附图说明】
[0013]图1是图示根据本公开实施例的用于提取信息的方法的流程图。
[0014]图2是图示依照本公开实施例的使用文件的多个图像的图1的方法的附图。
[0015]图3是图示依照本公开实施例的执行图1的方法的电子设备的框图。
[0016]图4是图示依照本公开实施例的用于与图3的电子设备一起使用的数据结构的框图。
[0017]注意，贯穿附图同样的附图标记指的是对应部分。而且，相同部分的多个实例由通过破折号与实例编号分离的共同前缀指出。

【具体实施方式】
[0018]描述了电子设备、用于提取信息的技术和用于与电子设备一起使用的计算机程序产品(例如软件)的实施例。在该信息提取技术期间，电子设备的用户可以受由电子设备执行的应用程序(诸如软件应用程序)指示以使用被集成到电子设备中的成像传感器来以不同取向(其对于用户可以是已知的，所以用户不必学习任何新的术语)获取文件上的目标位置的图像。例如，用户可以被指示使用蜂窝电话的相机拍摄发票上的字段的照片。在用户已经拍摄第一图像之后并且在用户以电子设备(以及从而成像传感器)的不同取向拍摄第二图像之前，电子设备捕获文件的多个图像。然后，电子设备存储所述图像与关联的时间戳(其可以由系统时钟指定)。而且，在用户已经拍摄第二图像之后，电子设备分析第一图像、第二图像和至少图像的子集中的一个或多个以提取接近于文件上目标位置的信息。
[0019]通过便于信息的准确提取，信息提取技术可以简化成像传感器、应用程序并因而电子设备的使用。在此过程中，信息提取技术可以大幅改善在使用应用程序和电子设备时的用户体验，由此增加客户满意度以及应用程序和电子设备的销售。
[0020]在随后的讨论中，用户可以包含:个体(例如现有客户、新客户、服务提供者、供应商、承包商等)、组织、企业和/或政府机构。此外，‘企业’应当被理解成包含:营利性公司、非营利性公司、组织、个体团体、独资、政府机构、合伙等。
[0021]现在我们描述信息提取技术的实施例，其可以由电子设备(诸如图3中的电子设备300)执行。图1呈现了图示用于提取信息的方法100的流程图。在操作期间，电子设备(或者在电子设备上执行的应用程序)提供指令给用户以在成像设备处于第一取向时使用其被集成到电子设备中的成像设备获取文件上的目标位置的第一图像，并且以在成像设备处于第二取向时使用成像设备获取目标位置的第二图像(操作110)。例如，文件可以包含金融文件(诸如:发票、薪资单、账单、W-2表格和/或金融媒介)，和/或应用程序可以包含金融应用程序。因此，目标位置可以包含具有以下内容的字段:账号、到期金额和/或到期日。注意，第一取向与第二取向之间的角度差可以近似是90°。例如，第一取向可以是竖向并且第二取向可以是横向(或反之亦然)。
[0022]在其中用户激活其与成像设备关联的图像激活机制(诸如用于激活成像传感器的物理按钮或虚拟图标)并且捕获第一图像的第一实例之后，并且在其中用户激活图像激活机制并且捕获第二图像的第二实例之前，电子设备捕获文件的多个图像(操作112)。这些图像可以在用户没有激活图像激活机制的情况下被捕获(从而图像可以在用户未知的情况下被获取)。
[0023]然后，电子设备存储图像与关联的时间戳(操作114)。例如，图像和时间戳可以被存储在计算机可读存储器中。注意，图像可以与空间位置信息存储在一起，所述空间位置信息由集成到电子设备中的传感器提供。例如，传感器可以包含加速计和陀螺仪之一。因此，空间位置信息可以包含坐标系中的位置和取向，诸如X、y和Z以及关联的角度θ、α、Y等，和/或沿着一个或多个轴的加速度。此外，图像可以在基于空间位置信息的图像捕获率下被捕获。特别地，在空间位置信息正变化时(即在感兴趣的点或成像传感器的视图的字段中心正改变时)，图像捕获率可以是近似不变的。然而，在一些实施例中，图像捕获率在空间位置信息正快速变化时(即在感兴趣的点或成像传感器的视图的字段中心正改变时)是较大的，并且在空间位置信息是近似稳定的时可以是较小的。因而，图像捕获率可以被动态地调整。
[0024]注意，当在预定义的持续时间期间空间位置信息保持在预定义的范围内(例如在
0.5-2s期间，电子设备的空间位置中的改变小于5-10% )时，空间位置信息可以被认为近似稳定的。替代地或另外地，在对应于成像设备焦距的聚焦水平(或曝光设置)是稳定的时，例如在预定义持续时间期间聚焦水平保持在预定义的范围内(诸如在l_2s期间在准确聚焦的5-10%内)时，近似的稳定性可以发生。
[0025]随后，电子设备接收指示用户激活图像激活机制的第二实例的信号(操作116)(即用户已经获取第二图像)。响应于信号，电子设备分析第一图像、第二图像和至少图像的子集中的一个或多个以提取接近于文件上目标位置的信息(操作118)。例如，分析可以涉及光学字符识别。
[0026]在一些实施例中，例如基于与文件上的目标位置关联的预定义信息格式，电子设备可选地识别分析中的错误(操作120)。而且，基于至少图像的子集，电子设备可以可选地执行对识别的错误的错误纠正(操作122)。注意，在错误纠正期间给定图像的贡献可以基于对应权重。如下面参照图2进一步描述的，权重可以基于以下两者之间的差异中的至少一个:与给定图像关联的时间戳与参考时间戳(诸如在第一图像或第二图像被获取时的参考时间戳)；与给定图像关联的空间位置信息与参考空间位置信息(诸如在第一图像或第二图像被获取时的参考空间位置信息)；和/或从图像中提取的信息之间的差异。例如，在差异较小时权重可以是较大的。
[0027]此外，在一些实施例中，分析可选地基于先前从其它文件中提取的历史信息。例如，如果相似的信息先前已经从文件的另一实例中被提取，那么该先前提取的信息可以在分析期间被用于识别和/或纠正错误(多个错误)。从而，如果文件是薪资单，从先前的薪资单中提取的雇主名称可以被用于纠正在从当前薪资单中对雇主名称的提取期间发生的错误。
[0028]在一些实施例中，在执行分析之后电子设备可选地擦除一个或多个图像(操作124)。
[0029]在方法100的一些实施例中，可以存在更多或更少的操作。而且，可以改变操作的顺序，和/或两个或多个操作可以被组合到单个操作中。
[0030]通过捕获和使用多个图像来提取接近于文件上的目标位置的信息，信息提取技术可以将提取的信息的准确性提高50%，并且可以将完成过程所需要的时间降低67%。特别地，信息提取技术可以导致比取决于蜂窝式电话的任意移动的方式更规则的图像角度采样(诸如在近似2.3秒内在15-20帧/秒的发生率下获取的46个图像，其可能需要用户从横向到竖向取向旋转蜂窝式电话)。因此，信息提取技术可以大幅改善在使用应用程序和电子设备时的用户体验。
[0031]在示例性实施例中，在数字相机的取向或角度正在改变的同时，信息提取技术利用数字相机和蜂窝电话中的成像传感器的能力来获取目标位置的多个图像。可以在没有用户动作的情况下(即在用户激活或按下与通常被用于拍摄照片的成像传感器关联的物理按钮、虚拟图标或者图像激活机制之前)，获取这些图像。特别地，随着用户正将成像传感器指向文件上的目标位置(诸如发票或支票中的字段)并且正在两个不同取向之间旋转成像传感器，多个图像可以被获取。在一些实施例中，产生的图像可以被呈现给对图像质量提供反馈的用户。如果一个或多个图像是模糊的或者在目标位置处的期望信息不存在(例如如果信息不被包含在图像中)，可以重新获取图像。
[0032]随后，在至少一些图像中的信息可以使用光学字符识别被提取，并且提取的信息然后可以由诸如远程支票存款应用程序或所得税收软件之类的金融软件应用程序使用。为了便于该分析，在图像被获取时，可以调整与成像传感器关联的取景器或图像捕获区(如由应用程序指定的)。例如，取景器或图像捕获区可以基于与给定的目标位置关联的字段的尺寸进行调整。这个字段可以被预定义，以使得与给定的目标位置关联的期望信息被捕获在对应图像中。例如，如果给定的目标位置是账号，字段可以是包含账号的矩形框或区域，并且取景器或图像捕获区可以据此调整以使得账号被包含在至少一些图像中。然而，如果目标位置是地址，取景器可以显示更大的正方形以涵盖典型地址字段中的三行或四条行。结合获取多个图像，取景器的这种调整可以改善提取的信息的准确性，并且从而可以大幅增加在使用应用程序时的用户满意度。
[0033]在应用程序的操作期间，在电子设备上执行的应用程序可以在电子设备的屏幕或显示器上显示或呈现取景器。响应于来自应用程序的用于以第一取向获取第一图像和以第二取向获取第二图像的指令，诸如显示在屏幕上的文字提示或消息，用户可以将成像传感器指向目标位置或感兴趣的区域(例如账号)，并且该区域可以被显示在屏幕上的取景器中。在用户已经激活图像激活机制并且已经获取第一图像之后，并且在用户将电子设备旋转到第二取向的同时(即在用户已经第二次激活图像激活机制以获取第二图像之前)，应用程序和/或电子设备可以提供信号给成像传感器，该成像传感器然后拍摄感兴趣的区域的多张照片的成像传感器，所述多张照片中的每张均可以具有关联的时间戳和/或空间位置信息(诸如与集成在电子设备中的传感器(例如加速计和/或陀螺仪)关联的空间位置信息)。注意，成像传感器的图像捕获率可以基于空间位置信息。例如，在空间位置信息正变化时，图像捕获率可以是近似不变的。然而，在一些实施例中，图像捕获率在空间位置信息正变化时可以是较大的，并且在空间位置信息是近似稳定的时可以是较小的。
[0034]在一些实施例中，即使环境光足以获取图像，应用程序还可以激活集成的闪光灯或灯光，以增加焦距和/或图像的质量。因而，基于对应于成像传感器焦距的聚焦水平，闪光灯可以由应用程序和/或电子设备有选择性触发。这可以使随后对图像中信息的提取更简单和/或更准确。
[0035]在示例实施例中，客户(约翰)使用应用程序来支付帐单。在约翰接收到实际账单时，他可以激活他蜂窝式电话上的应用程序(其有时被称为‘捷通’(Flashpay))。响应于所显示的、用于以竖向取向获取第一图像并且以横向取向获取第二图像的指令，约翰可以把账单上的账号置于示出在蜂窝式电话的屏幕上的取景器中的中心，并且可以按下物理按钮或虚拟图标(以及更一般地图像激活机制)以捕获第一图像。在约翰执行该操作之后，并且在他从竖向取向到横向取向旋转蜂窝式电话的同时，捷通可以随着蜂窝式电话(并且因而成像传感器)的取向改变，指示或信号通知成像传感器拍摄多张、不同的照片或者获取该区域的多个不同的图像。如果约翰惯用左手，这些图像可以在90°与0°之间的取向下(对应于顺时针旋转)被获取。替代地，如果约翰惯用右手，这些图像可以在90°与180°之间的取向下(对应于逆时针旋转)被获取。
[0036]注意，成像传感器的图像捕获或采样率可以基于空间位置信息。例如，在空间位置信息正变化时(即在约翰正旋转蜂窝式电话的同时)图像捕获率可以是近似不变的。替代地，在空间位置信息正变化时图像捕获率可以是较大的，并且在空间位置信息是近似稳定的时可以是较小的(从而，帧或图像捕获率可以基于空间位置信息被动态地调整)。特别地，图像捕获率可以随着角速度线性变化，从在1° /s的速度下的2帧/秒到在7.5° /s的速度下的15帧/秒。如先前注意到的，捷通还可以基于聚焦水平启用或禁用闪光灯。
[0037]在图像已经被获取并且约翰通过按下物理按钮或虚拟图标(以及更一般地，图像激活机制)捕获第二图像之后，捷通可以使用光学字符识别来处理图像。例如，通过组合从一些或所有图像中扫描的文本(以及更一般地，提取的信息)(这可以利用相对时间戳、图像的空间位置信息与目标位置的空间位置信息之间的相对差异、图像的感兴趣的点距离目标位置的相对距离和/或历史数据)，捷通可以以高确定性预测出正确的结果。
[0038]在信息被提取之后，捷通可以向约翰示出产生的文本。如果他觉得这不是所需要的数据，约翰可以将成像传感器重新指向对象，这将导致另一系列的图像被获取。而且，约翰可以针对账单上的其它目标位置重复前述操作，诸如对应于以下内容的目标位置:开账单人的地址、账单到期日和帐单金额。一旦捷通已经处理了图像，它可以具有支付账单所需要的所有信息。
[0039]注意，在前面的示例中约翰不必拍摄整个账单的照片，并且他不必发送图像以用于远程处理。反而，通过获取多个图像，他的蜂窝式电话能够执行光学字符识别以提取期望的信息。
[0040]现在我们更详细地描述使用获取的图像对信息的提取。图2是示出使用文件的多个图像210的方法100(图1)的附图200。在用户被指示将成像传感器指向目标位置并且已经获取第一图像(但是仍没有获得第二图像)之后，成像传感器可以获取图像。图像捕获率在第一图像被获取的时间与第二图像被获取的时间之间可以是近似不变的。然而，在一些实施例中，对于最接近于用于第一图像和/或第二图像的时间戳和/或空间位置信息的时间戳和/或空间位置信息，图像捕获率可以是最高的。而且，对于距离用于第一图像和/或第二图像的时间戳和/或空间位置信息最远的时间戳和/或空间位置信息，图像捕获率可以是较低的。例如，对于作为在竖向取向与横向取向之间的中间的45°取向，图像捕获率可以是较低的。替代地或另外地，在空间位置和/或电子设备的焦距是近似稳定的时，例如在用户正获取第一图像和第二图像时，图像捕获率可以是较高的。注意，图像210各自可以具有关联的时间戳212和/或空间位置信息214 (诸如来自加速计的线性位置和/或来自陀螺仪的角位置)其中之一。
[0041]在用户激活图像激活机制并且捕获第一图像和/或第二图像时，用于目标位置的一个或多个参考时间戳和/或参考空间位置信息可以被存储。使用这种参考信息，电子设备中的提取模块(诸如光学字符识别引擎或模块)可以使用光学字符识别，从至少一些获取的图像210(其在一平面中以不同角度下被拍摄)中提取信息。在这个过程中，与图像210关联的、相对于一个或多个参考时间戳和/或参考空间位置信息的时间戳212和/或空间位置信息214可以被用于确定哪些图像210可能是所提取的信息的最好的源(即其可以准确提供提取的彳目息)。
[0042]例如，如果来自给定图像的提取的信息不同于来自其它图像的提取的信息，错误可以被预测并且来自时间上和/或空间上邻近于给定图像(或者参考时间戳和/或参考空间位置信息)的图像的提取的信息可以被用于确定正确的结果。特别地，可以使用具有在第一图像或第二图像的参考时间戳的时间间隔内(诸如在近似0.5s内)的关联的时间戳的图像。(因而，可以使用在前面的时间和/或随后的时间处的图像。)此外，接近目标位置的图像(即具有的空间位置信息类似于第一图像或第二图像的参考空间位置信息的图像)在分析中可以具有较大的权重(以及因而具有较大的贡献)。从而，如果目标位置是在56°的角度处，分析中的对应权重可以在56°处是I，并且可以在100°或12°处线性减小到0.1。替代地，在用于第一图像或第二图像的参考空间位置信息的45°内的图像可以分别被用于纠正第一图像或第二图像中的错误。
[0043]此外，历史数据可被用于确定是否先前存在匹配(即是否正确的信息先前被提取或者是已知的)。如果是的话，先前的匹配可以被用于识别和/或纠正在提取的信息中的错误。
[0044]如在图2中示出的，如果在目标位置处的信息是“PG&E”并且从一个图像中产生的光学字符识别是“PGSE”以及从其它邻近图像中产生的是“PG&E”，存在高可能性的是，正确的结果是“PG&E”。该结果还可以根据存储的历史数据来验证。然而，如果该结果是第一次被提取，那么它可以被添加到历史数据以用于将来参考。通过这种方式，信息提取技术可以促进随着时间的推移可以被用于改善提取的信息的准确性的数据结构的建立。
[0045]因此，通过使用来自多个图像的提取的信息，提取的信息的准确性可以被改善。特别地，信息提取技术可以检测光学字符识别或人为错误，并且做出纠正。例如，“5”可能已经被错误地提取为“S”、“8”或“B”。然而，通过使用多个图像和/或历史的信息，这一错误可以被识别和纠正。
[0046]注意，尽管可以获取多个图像210，但是因为(对于给定目标位置)用户仅仅按下图像激活机制两次，所以用户可能认为仅仅两个图像已经被获取。因此，由信息提取技术提供的改善的性能可能对于用户来说是令人吃惊的，这可以使用户感到愉快并且增加他们的满意度。
[0047]图3呈现了示出执行方法100 (图1)的电子设备300的框图。电子设备300包含一个或多个处理单元或处理器310、通信接口 312、用户接口 314以及将这些部件连接在一起的一条或多条信号线322。注意，一个或多个处理器310可以支持并行处理和/或多线程操作，通信接口 312可以具有持久的通信连接，并且一条或多条信号线322可以构成通信总线。而且，用户接口 314可以包含:显示器316、键盘318和/或诸如鼠标之类的指示器320。
[0048]电子设备300中的存储器324可以包含易失性存储器和/或非易失性存储器。更具体地，存储器324可以包含:R0M、RAM、EPR0M、EEPR0M、闪速存储器、一个或多个智能卡、一个或多个磁盘存储设备和/或一个或多个光学存储设备。存储器324可以存储操作系统326，所述操作系统326包含用于处理用于执行依赖于硬件的任务的各种基本系统服务的程序(或指令集)。存储器324还可以将程序(或指令集)存储在通信模块328中。这些通信程序可以被用于与一个或多个计算机和/或服务器(包含相对于电子设备300远程定位的计算机和/或服务器)进行通信。
[0049]存储器324还可以包含多个程序模块(或指令集)，其包含:金融应用程序330(或指令集)、图像获取模块332 (或指令集)、提取模块334 (或指令集)和/或加密模块336 (或指令集)。注意，这些程序模块(或指令集)中的一个或多个可以构成计算机程序机制。
[0050]在方法100 (图1)期间，金融应用程序330 (以及更一般地，任意的软件应用程序)可以基于用户命令来开始。例如，用户可以通过点击键盘318中的物理按钮或者与金融应用程序330关联的、显示在显示器316上的虚拟图标，来开始金融应用程序330。
[0051]然后，金融应用程序330提供信息338 (诸如指令)给用户以将被集成到电子设备300中的成像传感器308指向文件342上的目标位置340之一，并且以让用户使用成像传感器308以对应取向348获取第一图像344和第二图像346。例如，金融应用程序330可以将信息呈现在显示器316上。
[0052]在用户已经获取第一图像344(通过激活触发成像传感器308的图像捕获的图像激活机制)之后并且在用户已经获取第二图像346之前，图像获取模块332可以将信号传送给成像传感器308以获取图像350。图像350各自可以具有关联的时间戳352和/或空间位置信息354(其可以由例如被集成在电子设备300中的加速计和/或陀螺仪的空间传感器306提供)其中之一。注意，这些图像可以在没有由用户进行的明确动作的情况下(诸如在用户没有激活与成像传感器308关联的图像激活机制的情况下)被获取。然后，图像获取模块332可以将图像350、时间戳352和/或空间位置信息354存储在存储器324中。
[0053]注意，在成像传感器308被指向目标位置340之一，并且用户激活与成像传感器308关联的图像激活机制并且获取第一图像344和/或第二图像346时，图像获取模块332可以存储参考信息356 (诸如一个或多个参考时间戳和/或参考空间位置信息)。
[0054]在用户已经获取第二图像346 (通过激活图像激活机制)之后，提取模块334可以分析第一图像344、第二图像346和图像350中的至少一些以提取接近于文件342上目标位置340之一的信息358。例如，提取的信息358使用光学字符识别来提取。注意，在分析期间第一图像344、第二图像346和图像350的贡献可以由与第一图像344、第二图像346和图像350关联的权重360来指定。这些权重可以基于第一图像344、第二图像346和图像350中的给定图像与目标位置340之一(例如如由参考信息356指定的)之间的空间和/或时间距离。替代地，权重360可以基于从给定图像与其它图像中提取的信息358之间的差异。
[0055]在一些实施例中，分析基于先前从一个或多个其它文件364中提取的历史信息362。例如，如果相似的信息先前已经从文件的另一实例中被提取，那么该先前提取的信息可以在分析期间被使用。
[0056]历史信息以及关于文件、图像、感兴趣的点和/或曝光设置的信息可以被包含在数据结构中。这被示出在图4中，图4呈现了其包含与信息提取技术关联的图像信息410的数据结构400。特别地，图像信息410-1包含:时间戳412-1、文件414-1和/或提取的信息 416-1。
[0057]返回参照图3，在信息358被提取之后，提取模块334可以可选地擦除第一图像344、第二图像346、图像350、时间戳352、空间位置信息354和/或参考信息356。另外地，提取的信息358可以随后由金融应用程序330使用。例如，金融应用程序330可以使用提取的信息358来执行金融计算和/或完成金融表格(诸如所得税申报表)。
[0058]因为电子设备300中的信息本质上可能是机密的，在一些实施例中，存储在存储器324中的数据中的至少一些和/或使用通信模块328传送的数据中的至少一些使用加密模块336被加密。
[0059]在存储器324中的各种模块中的指令可以以以下语言被实现:高级的程序式语言、面向对象的编程语言和/或以汇编或机器语言。注意，编程语言可以被编译或解译(例如可配置或被配置)以由一个或多个处理器310来执行。
[0060]虽然电子设备300被图示为具有许多离散项，图3旨在于对可以被呈现在电子设备300中的各种特征的功能性描述，而不是对本文中描述的实施例的结构示意。在实践中，并且如由本领域普通技术人员意识到的，电子设备300的功能可以被分布在大量的服务器或计算机之上，各种组的服务器或计算机执行特定的功能子集。在一些实施例中，电子设备300的一些或所有功能可以被实现在一个或多个专用集成电路(ASIC)和/或一个或多个数字信号处理器(DSP)中。
[0061]电子设备300可以包含有能力操纵计算机可读数据或者通过网络在两个或多个计算系统之间传送这些数据的各种各样的设备之一，所述设备包括:个人电脑、膝上型电脑、平板电脑、大型电脑、便携式电子设备(诸如蜂窝式电话或PDA)、数字相机、服务器和/或客户端计算机(在客户端服务器架构中)。而且，电子设备300可以有能力经由诸如因特网(Internet)、万维网(WWW)、局域网、蜂窝式电话网络、LAN、WAN、MAN、或者网络的组合、或者使得计算系统之间的通信能够进行的其它技术之类的网络进行通信。
[0062]在一些实施例中，在存储器324中的一个或多个模块(诸如图像获取模块332)可以与金融应用程序330关联和/或被包含在金融应用程序330中。该金融应用程序可以包含:Quicken? 和 / 或 TurboTax?(来自 Intuit, Inc., of Mountain View, California)、Microsoft Money?(来自 Microsoft Corporat1n, of Redmond，Washington)、SplashMoney?(来自 SplashDataj Inc.，of Los Gatos, CA)、Mvelopes?(来自 In2M，Inc.，ofDraper，Utah)、和 / 或诸如 Gnucash?、PLCash?、Budget?(来自 Snowmint CreativeSolut1ns, LLCj of St.Paul, Minnesota)之类的开源应用程序、和/或能够处理金融信息的其它计划软件。
[0063]而且，金融应用程序330可以包含:QuickBooks?(来自 Intuit，Inc., of MountainView，California)、Peachtree?(来自 The Sage Group PLCj of Newcastle Upon Tyne, theUnited Kingdom)、Peachtree Complete?(来自 The Sage Group PLCj of NewcastleUpon Tyne, the United Kingdom)、MYOB Business Essentials?(来自 MYOB US, Inc., ofRockawayj New Jersey)、NetSuite Small Business Accounting?(来自 NetSuite，Inc.，ofSan Mateo，California)、Cougar Mountain?(来自 Cougar Mountain Software, ofBoise，Idaho)、Microsoft Office Accounting?(来自 Microsoft Corporat1n, ofRedmond, Washington)、Simply Accounting? (来自 The Sage Group PLCj of NewcastleUpon Tyne, the United Kingdom)、CYMA IV Accounting?(来自 CYMA Systems，Inc.，ofTempe，Arizona)、DacEasy?(来自 Sage Software SB, Inc., of Lawrencevillej Georgia) ΛMicrosoft Money?(来自 Microsoft Corporat1n, of Redmond, Washington) Λ Tally.ERP(来自Tally Solut1ns, Ltd., of Bangalore, India)和/或有能力处理工资信息的其它工资或会计软件。
[0064]电子设备300可以包含更少的部件或者更多的部件。而且，两个或多个部件可以被组合到单个部件中，和/或一个或多个部件的位置可以被改变。如本领域中已知的，在一些实施例中，电子设备300的功能可以更多地在硬件中并且更少地在软件中被实现，或者更少地在硬件中并且更多地在软件中被实现。
[0065]前述描述旨在使得本领域任何技术人员能够做出并且使用公开内容，并且被提供在特定应用及其要求的上下文中。而且，对本公开实施例的前述描述已经仅仅为了说明和描述的目的被呈现。它们并非旨在穷举或者将本公开限制于所公开的形式。因而，许多修改和变化将对于本领域技术从业者来说将是显而易见的，并且本文中定义的一般原理可以被应用于其它实施例和应用，而不脱离本公开的精神和范围。另外地，前述实施例的讨论并非旨在限制本公开。从而，本公开并非旨在被局限于所示出的实施例，而是要符合与本文中公开的原理和特征一致的最广范围。
【权利要求】
1.一种用于从文件中提取信息的电子设备实现的方法，包括: 向用户提供指令以使用被集成到所述电子设备中的成像设备在所述成像设备处于第一取向时获取所述文件上的目标位置的第一图像，以及使用所述成像设备在所述成像设备处于第二取向时获取所述目标位置的第二图像； 在其中所述用户激活与所述成像设备关联的图像激活机制并且捕获所述第一图像的第一实例之后，以及在其中所述用户激活所述图像激活机制并且捕获所述第二图像的第二实例之前，捕获所述文件的多个图像； 存储所述图像与关联的时间戳； 接收指示所述用户激活所述图像激活机制的所述第二实例的信号；以及 响应于所述信号，分析所述第一图像、所述第二图像和至少所述图像的子集其中的一个或多个以提取接近于所述文件上的所述目标位置的所述信息。
2.根据权利要求1所述的方法，其中所述图像进一步与由被集成到所述电子设备中的传感器所提供的空间位置信息存储在一起。
3.根据权利要求2所述的方法，其中所述传感器包括加速计和陀螺仪其中之一。
4.根据权利要求2所述的方法，其中所述图像以基于所述空间位置信息的图像捕获率被捕获。
5.根据权利要求2所述的方法，其中所述空间位置信息包括位置信息和取向信息。
6.根据权利要求1所述的方法，其中所述方法进一步包括基于与所述文件上的所述目标位置关联的预定义的信息格式识别所述分析中的错误。
7.根据权利要求6所述的方法，其中所述方法进一步包括基于至少所述图像的所述子集，执行对识别的所述错误的错误纠正； 其中在所述错误纠正期间所述图像中的给定图像的贡献基于对应的权重；以及 其中所述权重基于以下两者之间的差异中的至少一个:与所述给定图像关联的时间戳与参考时间戳；以及与所述给定图像关联的空间位置信息与参考空间位置信息。
8.根据权利要求1所述的方法，其中所述多个图像在所述用户没有激活所述图像激活机制的情况下被捕获。
9.根据权利要求1所述的方法，其中所述分析包含光学字符识别。
10.根据权利要求1所述的方法，其中所述方法进一步包括在执行所述分析之后擦除所述一个或多个图像。
11.根据权利要求1所述的方法，其中所述第一取向与所述第二取向之间的角度差近似是90°。
12.一种用于与电子设备结合使用的计算机程序产品，所述计算机程序产品包括非临时性计算机可读存储介质和嵌入在其中的计算机程序机制，以促进从文件中对信息的提取，所述计算机程序机制包含: 用于向用户提供指令以使用被集成到所述电子设备中的成像设备在所述成像设备处于第一取向时获取所述文件上的目标位置的第一图像，以及使用所述成像设备在所述成像设备处于第二取向时获取所述目标位置的第二图像的指令； 用于确定其中所述用户激活与所述成像设备关联的图像激活机制并且捕获所述第一图像的第一实例已经发生，以及其中所述用户激活所述图像激活机制并且捕获所述第二图像的第二实例还没有发生的指令； 在所述第一实例之后并且在所述第二实例之前，用于捕获所述文件的多个图像的指令； 用于存储所述图像与关联的时间戳的指令； 用于接收指示所述用户激活所述图像激活机制的所述第二实例的信号的指令；以及 响应于所述信号，用于分析所述第一图像、所述第二图像和至少所述图像的子集其中的一个或多个以提取接近于所述文件上的所述目标位置的所述信息的指令。
13.根据权利要求12所述的计算机程序产品，其中所述图像进一步与由被集成到所述电子设备中的传感器所提供的空间位置信息存储在一起。
14.根据权利要求13所述的计算机程序产品，其中所述传感器包含加速计和陀螺仪其中之一。
15.根据权利要求13所述的计算机程序产品，其中所述图像在基于所述空间位置信息的图像捕获率下被捕获。
16.根据权利要求13所述的计算机程序产品，其中所述空间位置信息包括位置信息和取向信息。
17.根据权利要求12所述的计算机程序产品，其中所述计算机程序机制进一步包括用于基于与所述文件上的所述目标位置关联的预定义的信息格式识别所述分析中的错误的指令。
18.根据权利要求17所述的计算机程序产品，其中所述计算机程序机制进一步包括用于基于至少所述图像的所述子集执行对识别的所述错误的错误纠正的指令； 其中在所述错误纠正期间所述图像中的给定图像的贡献基于对应的权重；以及 其中所述权重基于以下两者之间的差异中的至少一个:与所述给定图像关联的时间戳与参考时间戳；以及与所述给定图像关联的空间位置信息与参考空间位置信息。
19.根据权利要求12所述的计算机程序产品，其中所述多个图像在所述用户没有激活所述图像激活机制的情况下被捕获。
20.根据权利要求12所述的计算机程序产品，其中所述分析包含光学字符识别。
21.根据权利要求12所述的计算机程序产品，其中所述计算机程序机制进一步包含用于在执行所述分析之后擦除所述一个或多个图像的指令。
22.根据权利要求12所述的计算机程序产品，其中所述第一取向与所述第二取向之间的角度差近似是90°。
23.—种电子设备,包括: 处理器； 存储器；以及 程序模块，其中所述程序模块被存储在所述存储器中并且可配置成由所述处理器执行以促进从文件中提取信息，所述程序模块包括: 用于向用户提供指令以使用被集成到所述电子设备中的成像设备在所述成像设备处于第一取向时获取所述文件上的目标位置的第一图像，以及使用所述成像设备在所述成像设备处于第二取向时获取所述目标位置的第二图像的指令； 用于确定其中所述用户激活与所述成像设备关联的图像激活机制并且捕获所述第一图像的第一实例已经发生，以及其中所述用户激活所述图像激活机制并且捕获所述第二图像的第二实例还没有发生的指令； 在所述第一实例之后并且在所述第二实例之前，用于捕获所述文件的多个图像的指令； 用于存储所述图像与关联的时间戳的指令； 用于接收指示所述用户激活所述图像激活机制的所述第二实例的信号的指令；以及响应于所述信号，用于分析所述第一图像、所述第二图像和至少所述图像的子集其中的一个或多个以提取接近于所述文件上所述目标位置的所述信息的指令。
【文档编号】H04N5/262GK104205806SQ201280071687
【公开日】2014年12月10日 申请日期:2012年4月18日 优先权日:2012年3月22日
【发明者】S·H·玛达尼, S·加甘纳特汗 申请人:因特伟特公司