检测和分类使用移动设备采集的视频中对象的系统和方法【
技术领域：
】[0001]本发明涉及数字视频采集以及数字视频数据处理，更具体地，涉及使用移动设备采集和处理数字视频数据。【
背景技术：
】[0002]现代移动设备很好地适于采集多种对象的图像，包括文档、人物、汽车等。对移动设备相机能力和/或处理能力的改善使得使用移动设备采集和/或处理数字图像数据的应用在日益增加的移动设备驱动经济中越来越有吸引力。[0003]然而，移动设备硬件的限制和使用移动设备采集图像的实际限制对高效和有效的数字图像处理呈现出主要挑战。例如，由于一个或多个缺陷，如模糊、照度不均匀、照度不足、照度过饱和、分辨率不足、投影效应等，使用移动设备采集的数字图像经常质量不足以用于后续处理。对处理包括这种缺陷的数字图像的尝试可能完全失败或产生对期望的应用质量不足的结果。最好的情况是，用户可能被要求重复采集操作并尝试改善图像的质量，但是在一些情况下，重新采集图像可能是不可行的，导致失去获得重要但是短暂情况的图像的机会，如在车祸前、车祸期间和/或车祸后人或车辆的位置或条件。[0004]相应地，以这样的方式提供能够采集和/或处理除了静态数字图像之外的数据的系统、方法和/或计算机程序产品将是有益的，即，其克服了以上提出的挑战并改善了用户采集和处理数据(尤其是使用移动设备)的能力。【
发明内容】[0005]在一个实施方式中，方法包括：[0006]经由移动设备调用图像采集接口，采集接口包括展现在移动设备的显示器上的取景器；[0007]分析经由采集接口采集的视频数据的多个帧，其中分析包括：[0008]确定在取景器内是否描绘有展示一个或多个限定特点的对象；以及[0009]确定在取景器内描绘的对象是否满足一个或多个预定质量控制标准；以及[0010]响应于确定帧未达到预定质量控制标准中的一个或多个，在移动设备显示器上显示对失败的指示；以及[0011]响应于确定在取景器内描绘的对象满足一个或多个预定质量控制标准，进行以下操作中的一个或多个：[0012]显示对于在取景器中描绘的对象展示一个或多个限定特点的指示；[0013]自动采集对象的图像，其中图像由比视频数据的分辨率更高的分辨率表征；以及[0014]自动将帧中的一个或多个存储至储存器，其中在帧中满足预定质量控制标准的对象被描绘在取景器中。[0015]在另一个实施方式中，系统包括：[0016]处理器；以及[0017]逻辑，在处理器中和/或能够由处理器执行，导致处理器进行以下操作：[0018]经由移动设备调用图像采集接口，采集接口包括展现在移动设备的显示器上的取景器；[0019]分析经由采集接口采集的视频数据的多个帧，其中分析包括：[0020]确定在取景器内是否描绘有展示一个或多个限定特点的对象；以及[0021]确定在取景器内描绘的对象是否满足一个或多个预定质量控制标准；以及[0022]响应于确定帧未达到预定质量控制标准中的一个或多个，在移动设备显示器上显示对失败的指示；以及[0023]响应于确定在取景器内描绘的对象满足一个或多个预定质量控制标准，进行以下操作中的一个或多个：[0024]显示对于在取景器中描绘的对象展示一个或多个限定特点的指示；[0025]自动采集对象的图像，其中图像由比视频数据的分辨率更高的分辨率表征；以及[0026]自动将帧中的一个或多个存储至储存器，其中在帧中满足预定质量控制标准的对象被描绘在取景器中。[0027]在又一个实施方式中，计算机程序产品包括:计算机可读存储介质，在计算机可读存储介质中具有程序代码，程序代码能够由处理器读取/执行以导致处理器进行以下操作：[0028]经由移动设备调用图像采集接口，采集接口包括展现在移动设备的显示器上的取景器；[0029]分析经由采集接口采集的视频数据的多个帧，其中分析包括：[0030]确定在取景器内是否描绘有展示一个或多个限定特点的对象；以及[0031]确定在取景器内描绘的对象是否满足一个或多个预定质量控制标准；以及[0032]响应于确定帧未达到预定质量控制标准中的一个或多个，在移动设备显示器上显示对失败的指示；以及[0033]响应于确定在取景器内描绘的对象满足一个或多个预定质量控制标准，进行以下操作中的一个或多个：[0034]显示对于在取景器中描绘的对象展示一个或多个限定特点的指示；[0035]自动采集对象的图像，其中图像由比视频数据的分辨率更高的分辨率表征；以及[0036]自动将帧中的一个或多个存储至储存器，其中在帧中满足预定质量控制标准的对象被描绘在取景器中。【附图说明】[0037]图1示出了根据一个实施方式的网络架构。[0038]图2示出了根据一个实施方式的、可与图1的服务器和/或客户端有关的代表性的硬件环境。[0039]图3至图5各自描述了根据一个实施方式的方法的流程图。【具体实施方式】[0040]以下描述是出于说明本发明的一般原理的目的而做出的，而非意在限制本文主张的发明构思。另外，本文描述的特定特征可与其它描述的特征以多种可能的组合和排列中的每种来结合使用。[0041]除非在本文中另外具体定义，否则全部措辞应以其最宽可能的解释给出，其包括说明书中所暗指的含义以及本领域技术人员所理解的含义和/或字典、论文等中所定义的含义。[0042]同样必须注意到的是，除非另有说明，否则如在说明书及所附权利要求中所使用的单数形式的"一"、"一个"和"所述"包括多个所指示物。[0043]本申请涉及图像处理。具体地，本申请公开了设计为增强现有的基于静态照片的采集数字图像的方法和系统的系统、方法和计算机程序产品，从而利用流视频数据采集和处理各种类型的信息。随着数字图像技术持续改善，视频流分辨率通常落后于可用的照片分辨率。因此，利用视频流进行文档采集已预先受限于较小尺寸的对象，这是由于可用的分辨率不总提供关于较大的对象的充分的细节以有效地处理描绘这种对象的数字图像。随着视频流分辨率的增加，这种限制对处理能力和适配性的影响越来越小，使得从视频流处理数据已在多种应用和/或实现中变为对静态照片采集的可行的可替代的选择或者甚至于对静态照片采集的优选的替代。[0044]在高级别下，视频流采集的示例性的用户体验可大致基于以下场景。[0045]用户经由用于开发新的移动应用或修改现存的移动应用的软件开发工具包(SDK)、经由嵌入式移动操作系统(0S)功能等从本地移动应用调用视频流采集接口。一旦被调用，则用户被呈现有选项以选择基于视频的采集和执行基于视频的采集操作。采集应用显示视频采集接口，其中视频采集接口指导用户来保证实体对象保持在叠加在移动采集用户接口上的边界框的范围之内。一旦在边界框之内，则用户敲击"采集"按钮以启动采集过程。一旦启动，移动接口就开始使用移动设备的一个或多个硬件部件（如加速度计、陀螺仪等)检查移动设备的稳定性。一旦稳定性已达到，则可进行自动聚焦操作，并且开始分析视频流的(η个)帧的每一帧的处理。[0046]帧分析的目的是检测由视频流提供的有利位置内的目标对象的存在。实体包括但不限于:页面、条型码、建筑物、机动车辆、船、人等。用于检测视频帧内的目标实体存在的实时方法和算法的实际实现将与本文档分开讨论。[0047]一旦已在流的一个或多个帧中检测到目标对象的存在，则任一帧均由图像完善技术识别和处理，如体现在经由电子虚拟重扫描(EVRS)或支持必要能力的设备的一个示例性场景中的，与目标视频帧对应的全部分辨率(照片)通过EVRS识别和处理。可替代地，多个低分辨率视频帧可被合并为单个较高分辨率图像。[0048]从而，移动应用可便于用最低可能的延迟提供尽可能多的相关实体元数据。相关元数据可包括但不限于:对象类型、对象特点、场元数据、GPS信息、页面大小、条型码数值、汽车类型、人身高、船长度等。[0049]该能力将允许用户同时采集多个对象和对象类型。此外，可快速且容易地用除了简单的敲击、点按和采集功能之外的最少的用户输入将对象与特定下游过程关联(例如，商业过程，如贷款申请、保险索赔、金融交易等）。[0050]从一个方面，全部采集和处理可通常遵循类似于以下所示的流程图的逻辑顺序。[0051]通过阅读本说明书将理解的，以下示出的全部流程图是粗略的概念上的示例，其不应被理解为以任何形式限制。在各种实施方式中，当前描述的采集和处理可包括任意数目的附加的操作和/或不同的操作、以不同的顺序执行这种操作、和/或省略流程图中描述的某些操作。[0052]图像（例如，图画（picture)，图片（figure)，图形表格(graphicalschematics)，电影(movie)、视频、影片(film)、剪辑(clip)中的单帧等)优选地是由相机(尤其是移动设备的相机)采集的数字图像。如本文中所理解的，移动设备是能够接受数据而无需具有经由实体连接(例如，线、绳、线缆等)供给的电力并且能够接受数据而无需实体数据连接(例如，线、绳、线缆等）的任何设备。在本公开范围内的移动设备包括如移动电话、智能电话、平板电脑(tablet)、个人数字助手、iPod?、iPad⑧、黑莓（BLACKBERRY㊣）设备等示例性设备。[0053]然而，如将通过各种功能的描述而变得显而易见的，当前公开的移动图像处理算法可应用于(有时伴随某种修正)来自扫描仪和MFP(multifunctionperipheral，多功能周边设备）的图像。类似地，在一些方案中，还可使用传统扫描仪处理算法进一步处理使用当前公开的处理算法处理的图像。[0054]当然，可利用硬件、软件或其任何期望的组合实施本文中所述的各种实施方式。就此而言，可使用能够实现本文中所述的各种功能的任何类型的逻辑。[0055]使用移动设备的一个益处是，使用数据计划(dataplan)，基于采集的图像的图像处理和信息处理可相较于依赖扫描仪的存在的先前的方法以更方便、更流水线、和更整合的方式完成。然而，出于多种原因，将移动设备用作文档采集和/或处理设备迄今为止被认为是难于实现的。[0056]在一个方案中，可通过移动设备的相机采集图像。措辞"相机"应被宽泛地解释为包括能够采集设备外部的对象(如，一张纸）的图像的任何类型的设备。措辞"相机"不包括周边扫描仪或多功能设备。可使用任何类型的相机。优选的实施方式可使用具有较高分辨率(例如，8MP或更多，理想地是12MP或更多）的相机。可以彩色、灰度、黑白、或以任何其它已知的光学效果采集图像。本文中所涉及的措辞"图像"意在包括与相机的输出对应的任何类型的数据，包括原始数据、已处理数据等。[0057]本说明书呈现为使得任何本领域技术人员均能够制造和使用本发明，以及本说明书以本发明的特定应用及其等同的语境的形式提供。对公开的实施方式的各种修改将对本领域技术人员显而易见，以及在不背离本发明的精神和范围的前提下，本文中限定的一般原则可应用于其它实施方式和应用。因此，本发明不意在限于所示的实施方式，而应符合与本文中公开的原则和特征一致的最宽范围。[0058]具体地，本文中所讨论的本发明的各种实施方式实施为使用互联网作为在多个计算机系统之间的通信方式。本领域技术人员将理解，本发明不限于将互联网用作通信介质，以及本发明的可替代的方法可适于使用私人内联网(privateintranet)、LAN(LocalAreaNetwork，局域网）、WAN(WideAreaNetwork，广域网）或其它通信方式。此外，可使用有线、无线(例如，射频)和光学通信链路的各种组合。[0059]可供本发明的一个实施方式在其中执行的程序环境说明性地包括一个或多个通用计算机或专用设备（如手持计算机）。这种设备的细节（例如，处理器、储存器、数据存储器、输入和输出设备)众所周知并且出于清晰的目的而被省略。[0060]也应理解，可使用多种技术实施本发明的技术。例如，本文中描述的方法可实施于运行在计算机系统上的软件中，或可实施于利用执行该方法的操作的一个或多个处理器和逻辑（硬件和/或软件）、专用集成电路、可编程逻辑设备（如FPGA(FieldProgrammableGateArray，场可编程门阵列））、和/或其各种组合的硬件中。在一个说明性方案中，本文中描述的方法可由驻存在存储介质（如实体的（例如，非暂时性的)计算机可读介质)上的一系列计算机可执行指令实施。此外，虽然本发明的【具体实施方式】可使用面向对象的软件编程当前第1页1 2 3 4 5 6