用于有效执行图像分类过程的系统和方法
【专利摘要】一种用于执行图像分类过程的系统，包括：图像管理器，其包括关键点生成器、支持区域过滤器、取向过滤器以及匹配模块。关键点生成器计算测试图像中的关键点的初始描述符。支持区域过滤器和取向过滤对初始描述符执行相应的过滤过程，以生成经过滤的描述符。匹配模块将经过滤的描述符与一个或多个数据库图像集比较，以对测试图像分类。电子设备的处理器通常控制图像管理器，以有效执行图像分类过程。
【专利说明】用于有效执行图像分类过程的系统和方法
【技术领域】
[0001]本发明总体涉及用于管理图像信息的技术，更具体地涉及用于有效执行图像分类过程的系统和方法。
【背景技术】
[0002]实施用于管理图像信息的有效方法对于电子系统的设计者和制造者是重要的考虑方面。然而，有效实施这些电子系统可能对系统设计者造成了实质性的挑战。例如，对增加的系统功能性和性能的增强的要求可能要求更多的系统处理能力并要求额外的硬件源。处理或硬件要求的增加还可能导致由于增加的制造成本和运行效率低下带来的相应的不利的经济影响。
[0003]另外，用于执行各种高级操作的增强的系统能力可以对系统用户提供额外的益处，但是也会对各个系统组件的控制和管理提出增加的要求。例如，有效地支持图像分类过程的增强电子系统可能由于涉及大量和复杂的数字数据而受益于高效实施。
[0004]由于对系统资源的增长的要求和大大增加的数据量值，显然，对于相关电子技术，开发用于管理图像信息的新技术是关注事项。从而，出于所有上述的理由，开发用于管理图像信息的有效系统对于当前电子系统的设计者、制造者及用户依然为重大的考量。
【发明内容】
[0005]根据本发明，公开了一种用于有效执行图像分类过程的系统和方法。根据本发明一个实施例，图像管理器或其它合适的实体初始选择至少一个测试图像用于执行图像分类过程。图像管理器然后对测试图像执行下采样处理，以生成下采样图像，该下采样图像通常具有相比于初始测试图像的较低分辨率和较少像素。在特定实施例中，图像管理器还可以对下采样图像执行频谱过滤处理，以生成去除预定量的低频的过滤图像。
[0006]图像管理器使用关键点生成器，以计算关键点位置、支持区域、以及局部取向(local orientation),它们被用于定义对特定测试图像中的关键点的初始描述符。在特定实施例中，关键点描述符可以实现为围绕给定关键点的特定半径(支持区域)的多维描述符(例如128维)。图像管理器然后使用支持区域过滤器以执行支持区域过滤过程。例如，在特定实施例中，支持区域过滤器可以仅接受大于预定支持区域尺寸阈值的支持区域。另外，支持区域过滤器在支持区域过滤过程期间可以拒绝任何高度重叠的支持区域。
[0007]图像管理器还可以使用取向过滤器，以通过使用任何有效技术执行取向过滤过程。在特定实施例中，取向过滤器识别具有与其它关键点对显著不同的取向的任何异常关键点对。然后可以在取向过滤过程期间根据进一步考虑除去这些异常。
[0008]在上述支持区域过滤过程和取向过滤过程之后，图像管理器将获得的经过滤的描述符提供给匹配模块，该匹配模块执行描述符匹配过程，以将给定测试图像的过滤描述符与来自存储在图像数据库中的各个预先分类的图像集的图像的过滤描述符比较。
[0009]匹配模块可使用任何有效且健壮的匹配技术，以执行描述符匹配过程。例如，在特定实施例中，匹配模块可以将来自测试图像的过滤描述符与来自己分类的图像的数据库中的各个图像集的相应描述符比较。如果匹配描述符的数目大于预定匹配阈值，则匹配模块可识别在测试图像与数据库图像之间的图像匹配结果。
[0010]匹配模块还可以执行匹配过滤过程，以通过要求小于预定距离阈值的低匹配距离而拒绝错误的正匹配。在完成匹配过滤过程之后，然后可以将获得的分类图像追加到数据库中的合适的图像集，以完成图像分类过程。由于所有上述理由，本发明从而提供一种用于有效执行图像分类过程的改善的系统和方法。
【专利附图】
【附图说明】
[0011]图1是根据本发明一个实施例的电子系统的框图；
[0012]图2是根据本发明的图1的计算机的一个实施例的框图；
[0013]图3是根据本发明的图2的存储器的一个实施例的框图；
[0014]图4是根据本发明一个实施例的图3的图像管理器的框图；
[0015]图5是根据本发明一个实施例的图像数据库的框图；
[0016]图6是示出根据本发明一个实施例的用于执行图像分类过程的总体方法的流程图；
[0017]图7是示出根据本发明一个实施例的图像分类过程的图示；
[0018]图8是示出根据本发明一个实施例的示例关键点和支持区域的图示；以及
[0019]图9A和9B是示出根据本发明一个实施例的取向过滤过程的图示。
【具体实施方式】
[0020]本发明涉及图像分类系统的改进。下文描述使得本领域普通技术人员能够完成并使用本发明，并且在专利申请及其要求中提出。对于所公开的实施例的各种修改对于本领域技术人员将是显而易见的，并且本文中的概述原理可以应用于其它实施例中。从而，本发明不会被限于所示实施例，而是符合与本文所述的原理和特征一致的最宽的范围。
[0021]本发明在此被描述为一种用于有效执行图像分类过程的系统和方法，并且可包括图像管理器，该图像管理器具有关键点生成器、支持区域过滤器、取向过滤器、以及匹配模块。关键点生成器计算用于测试图像中的关键点的初始描述符。支持区域过滤器和取向过滤对初始描述符执行相应的过滤过程，以生成经过滤的描述符。匹配模块将经过滤的描述符与一个或多个数据库图像集比较，以对测试图像分类。电子设备的处理器通常控制图像管理器，以有效执行图像分类过程。
[0022]现在参照图1，示出根据本发明一个实施例的电子系统110的框图。在图1的实施例中，电子系统Iio可包括但不限于计算机112和网络114。在可选实施例中，可利用除结合图1实施例讨论的之外的或取代之的各种组件和配置来实现电子系统110。例如，系统110除了计算机112之外可以包括任何数目的其它电子设备。
[0023]在图1的实施例中，计算机112可被实现为任意电子设备，其被配置为支持和管理电子系统110中的各个功能。在图1的实施例中，网络114可包括任何适当的实体或装置，其通过无线或有线通信技术与计算机112通信。在图1的实施例中，计算机112可执行图像分类过程。[0024]根据本发明，计算机112被设计为识别在短时段中在相同位置拍摄的从而内容高度相关的图像。所述图像具有高比例的内容重叠和特征的有限变化而非常相似，所述特征诸如为构图、内容、曝光、以及如缩放、移位和旋转等相机设置。本发明的总体方法为使用基于内容的图像检索，其中生成一组相似性度量或描述符，以测量图像的相关程度。这可能导致这样的错误匹配，其包括根据设计的相似性度量是相似的、但是对于人类知觉非常不同的图像。本发明第二阶段从而可以有利地过滤描述符以除去不想要的错误匹配。
[0025]在特定实施例中，关键点生成器识别图像之间的可能的点对点对应(关键点)。该基本输入被在一组新颖的过滤过程中进一步处理，以识别高度可靠的对应。在这些过滤器的帮助下，识别较大的相对应的区域，其在各种变化条件上是可靠的。还设计新的匹配准贝U，从而这些可靠的对应转变为用于整个图像的分类算法。还实施用于现有匹配图像的数据库，从而每个新的测试图像可以相对于之前分类的图像迅速匹配。下面结合图2-9B进一步讨论实现和使用图1的计算机112。
[0026]现在参考图2，示出根据本发明的图1的计算机112的一个实施例的框图。在图2的实施例中，计算机112可包括但不限于，中央处理单元(CPU)212、显示器214、存储器220、以及一个或多个输入/输出接口 705 (I/O接口)224。在可选实施例中，可利用除结合图2实施例讨论的特定组件和配置之外的或取代之的各种组件和配置来实现计算机112。另外，计算机112可以可选地实现为任意其它希望类型的电子设备或实体。
[0027]在图2的实施例中，CPU212可实现为包括任何合适的和兼容的微处理器装置，其优选执行软件指令以从而控制和管理计算机112的运行。图2的显示器214可包括任何有效类型的显示技术，包括阴极射线管监视器或液晶显示器装置，其具有用于对装置用户显示各种信息的适当的屏幕。
[0028]在图2的实施例中，存储器220可被实现为包括期望存储装置的任意组合，所述存储装置包括但不限于，只读存储器(ROM)、随机存取存储器(RAM)、以及各种非易失性存储器，诸如软盘或硬盘。下文中结合图3进一步讨论存储器220的内容和功能性。
[0029]在图2的实施例中，I/O接口 224可优选地包括一个或多个输入和/或输出接口，以接收和/或发送计算机112的任何要求的类型的信息。例如，在图2的实施例中，计算机112可使用I/O接口 224以与网络114通信(参考图1)。另外，系统用户可使用I/O接口224以通过使用任何适当且有效的技术与计算机112通信。下面结合图3-9B进一步讨论图2的计算机112的实现和使用。
[0030]现在参照图3，示出根据本发明的图2的存储器220的一个实施例的框图。在图3的实施例中，存储器220包括但不限于，应用软件312、操作系统316、图像管理器320、图像数据324、杂项信息328、以及处理数据332。在可选实施例中，存储器220可包括除结合图3实施例讨论的特定组件和配置之外的或取代之的各种其它组件和配置。
[0031]在图3的实施例中，应用软件312可包括程序指令，所述程序指令优选由CPU212(图2)执行以执行计算机112的各个功能和操作。应用软件312的特定特征和功能性优选根据诸如对应计算机112的具体类型和特定功能性的因素而变化。
[0032]在图3的实施例中，操作系统316优选控制和协调计算机112的低级别功能。在图3的实施例中，图像管理器320可以使用图像数据324，以有效地执行根据本发明的各种图像分类过程，所述图像分类过程相对于一个或多个其它图像精确表征和分类测试图像。在图3的实施例中，杂项信息328可包括由计算机112或图像管理器320要求的任何额外信息或数据。在图3的实施例中，处理数据332可包括由计算机112或图像管理器320要求的用于执行图像分类过程的任何临时或永久信息或数据。
[0033]在图3的实施例中，本发明被公开和讨论为主要实现为软件。然而，在可选实施例中，可通过适当的电子硬件电路执行本发明的一些或全部功能，所述电子硬件电路被配置为用于执行等同于本文所述的软件模块的功能的各种功能。下面结合图4到9B进一步讨论图像管理器320的实现和使用。
[0034]现在参照图4，示出根据本发明一个实施例的图像管理器414的框图。在图4的实施例中，图像管理器320包括但不限于，关键点生成器412、支持区域过滤器416、取向过滤器420、以及匹配模块424。在可选实施例中，可利用除结合图4实施例讨论的特定组件和配置之外的或取代之的各种组件和配置来实现图像管理器414。
[0035]在图4的实施例中，图像管理器320可使用关键点生成器412，以生成适当的关键点，用于创建相应的描述符以表征图像。在本发明中，关键点生成器412可根据任何适当准则或技术限定图像中的关键点。在一个实施例中，关键点生成器412可实现为包括常规或加强版的现有的尺度不变特征变换(SIFT)。
[0036]在特定实施例中，关键点生成器412执行尺度空间极值检测过程，以导出对应于关键点的支持区域σ。关键点生成器412还执行关键点定位过程，以从而关于支持区域限定关键点的具体水平和垂直坐标(x，y，σ)。关键点生成器412还执行取向分配过程，以限定关键点的特定取向Θ。最后，关键点生成器412使用上述信息创建关键点描述符S(x, y, σ, Θ)，以关于给定图像中的位置、支持区域和取向表示关键点。下面结合图6-9B提供关于关键点生成器412的其它细节。
[0037]在图4的实施例中，图像管理器320可使用支持区域过滤器416，以执行支持区域过滤过程，下文中结合图6-9B进一步讨论所述支持区域过滤过程。在图4的实施例中，图像管理器320可使用取向过滤器420，以执行取向过滤过程，下文中结合图6-9B进一步讨论所述取向过滤过程。在图4的实施例中，图像管理器320可使用匹配模块424，以执行匹配过程，下文中结合图6-9B进一步讨论所述匹配过程。
[0038]现在参照图5，示出根据本发明一个实施例的图像数据库514的框图。在可选实施例中，可利用除结合图5实施例讨论的特定组件和配置之外的或取代之的各种组件和配置来实现图像数据库514。
[0039]在图5的实施例中，图像数据库514包括一系列单独的图像集540(a)到540(n)。根据本发明特定实施例，每个图像集540表示不同的图像类型，所述图像已经事先当在相同的近似位置被拍摄时由图像管理器320(图4)被识别。在图5的实施例中，优选将适当的关键点和描述符与分类的图像一起存储，以有助于未来的关于新的测试图像的分类过程。
[0040]根据本发明各个实施例，可将图像数据库514实施和存储在任何适当的位置。例如，图像数据库514可位于计算机112上，或者可选地可位于一个或多个计算机、数据库或网络114中的其它位置(图1)。下面结合图6-9B进一步讨论用于有效执行图像分类过程的其它细节。
[0041]现在参照图6，示出阐明根据本发明一个实施例的用于执行图像分类过程的总体方法的流程图。图6的实施例被示出以用于示例，在可选实施例中，可利用除了结合图6的实施例讨论的特定步骤和功能性之外的或代替之的各个步骤和功能性来执行图像分类过程。
[0042]在图6的步骤612中，本发明集中于在给定测试图像中的较高的频谱内容，以在图像分类过程中消除曝光和照明的变化。在步骤614，将关键点生成器412 (图4)应用于测试图像，以获得尺度和取向不变性，并获取关于图像中的关键点的信息。特别是，可以创建高维描述符，其包括各个关键点的位置信息、支持区域及原则取向(principleorientation)。
[0043]在步骤616，本发明选择大的支持区域以提供改善的对局部区域的特征化。在步骤618，本发明过滤取向特征以消除关键点对之间的异常(outlier)(错误匹配)。最后，在步骤620，本发明使用健壮的匹配准则以匹配和验证关键点对的经过滤的描述符。下面结合图7-9B进一步讨论用于执行上述图像分类过程的其它细节和技术。
[0044]现在参照图7，示出阐明根据本发明一个实施例的图像分类过程的图示。图7的实施例被示出以用于示例，在可选实施例中，可利用除了结合图7的实施例讨论的特定步骤和功能性之外的或代替之的各个步骤和功能性执行图像分类过程。
[0045]在图7的实施例，图像管理器320或其它合适的实体最初选择至少一个测试图像324用于执行图像分类过程。在步骤714，图像管理器320随后对测试图像324执行下采样处理，以生成下采样图像，该下采样图像通常具有相比于初始测试图像324的较低分辨率和较少像素。在特定实施例中，图像管理器320还可以对下采样图像执行频谱过滤处理，以生成去除了预定量的低频 的过滤图像。
[0046]在步骤718中，图像管理器320使用关键点生成器412 (图4)以计算关键点位置814、支持区域818、以及局部取向822，它们被用于限定特定测试图像中的关键点的初始描述符，如上文结合图4所述。在特定实施例中，关键点描述符可以实现为用于围绕给定关键点的特定半径(支持区域)的多维描述符(例如128维)。在步骤722中，图像管理器320使用支持区域过滤器416 (图4)，以执行支持区域过滤过程，如下文中结合图8进一步所述。在步骤726中，图像管理器320使用取向区域过滤器420(图4)，以执行取向区域过滤过程，如下文中结合图9A-9B进一步所述。
[0047]在上述支持区域过滤过程和取向过滤过程之后，图像管理器320将获得的经过滤的描述符730提供给匹配模块424 (图4)，该匹配模块执行描述符匹配过程734，以将给定测试图像324的经过滤的描述符730与来自存储在图像数据库514 (图5)中的各个预先分类的图像集540的图像比较。
[0048]匹配模块424可使用任何有效且健壮的匹配技术，以执行描述符匹配过程。例如，在特定实施例中，匹配模块424可以将来自测试图像的关键点的过滤描述符730与来自数据库514中的各个图像集的相应关键点描述符比较。在图7的实施例中，匹配模块424可计算欧氏度量，以通过比较来自测试图像324与数据库图像540的对应的128维描述符Di的每个，而限定来自测试图像324和数据库图像540的对应的关键点对之间的匹配距离d(Di，D'i)。
[0049]如果匹配描述符的数目大于预定匹配阈值，则匹配模块424随后可识别测试图像324与数据库图像540之间的匹配结果。在图7的实施例中，预定匹配阈值可以设为五个匹配描述符对。在步骤738，匹配模块424还可以执行匹配过滤过程，以通过要求小于预定距离阈值的低匹配距离而拒绝错误的正匹配。在图7的实施例中，预定距离阈值可等于120，000。在完成匹配过滤过程之后，然后可以将获得的匹配图像742追加到数据库514中的合适图像集540，以完成图像分类过程。下面结合图8-9B进一步讨论用于执行上述支持区域过滤和取向过滤的其它细节和技术。
[0050]现在参照图8，示出阐明根据本发明一个实施例的示例关键点814和对应的支持区域818的图示。图8被示出以用于示例，在可选实施例中，可利用除了结合图8的实施例讨论的特定元件和配置之外的或代替之的各个元件和和配置实现关键点814和支持区域818。
[0051]在图8的实施例中，测试图像324示出为具有示例关键点814，该关键点814被具有以短线表示的给定局部取向822的支持区域818围绕。为了清楚，测试图像324示出为仅具有单个关键点814。然而，实际中，测试图像424通常将具有位于由关键点生成器412(图4)确定的位置的多个关键点814。
[0052]如上结合图7所述，支持区域过滤器416 (图4)可通过使用任何有效的技术执行支持区域过滤过程。例如，在特定实施例中，支持区域过滤器416可以仅接受大于预定支持区域尺寸阈值的支持区域818。在图8的实施例中，支持区域尺寸阈值可以设为九个像素。另外，支持区域过滤器416在支持区域过滤过程期间可以拒绝任何高度重叠的支持区域。
[0053]现在参照图9A和9B，示出阐明根据本发明一个实施例的取向过滤过程的图示。图9被示出以用于示例，在可选实施例中，可利用除了结合图8、9的实施例讨论的特定元件和技术之外的或代替之的各个元件和技术来实现取向过滤过程。
[0054]根据本发明，正确匹配区域在数目上为多个，并且在原则取向上相连(coherent)。在取向过滤过程期间，取向过滤器420评估来自测试图像324 (图7)和数据库图像540 (图5)的对应关键点对的相对取向。在图9A的实施例中，示出测试图像中的关键点/支持区域的取向822 (a)。类似地，图9A示出数据库图像中的关键点/支持区域的取向822 (b)。在特定实施例中，取向过滤器420可比较取向822 (a)和822 (b)以导出取向差δ Θ，如图9Α所示。
[0055]图9Β示出来自测试图像的一组关键点914，其通过备选线与来自数据库图像的对应关键点918连接。取向过滤器420可通过使用任何有效技术来执行取向过滤过程。例如，在特定实施例中，取向过滤器420可要求在对应关键点之间的备选线的数目大于预定备选阈值。在特定实施例中，可将备选阈值设为10个备选线。
[0056]在特定实施例中，取向过滤器420可要求匹配备选线的取向差δ Θ的标准偏差σ (δ Θ)满足下式:0 (δ θ)〈π/3。在取向过滤过程中，取向过滤器420还可以要求各个取向差在所有备选线的平均值σ (δ Θ)内。图9Β的实例示出五个关键点对。所述对中的四个具有相对类似的取向，从而它们将被接受。然而，一个异常922示出为具有显著不同的取向。因此，取向过滤器420将在取向过滤过程期间根据进一步的考虑除去异常922的关键点。
[0057]上文参考特定实施例描述了本发明。根据本发明的其它实施例对于本领域技术人员将是显而易见的。例如，本发明可以利用除在上述实施例中描述的配置和技术之外的配置和技术被容易地实现。另外，本发明可结合除上述系统以外的系统有效地使用本发明。从而，关于所述实施例的这些和其它变化旨在落入仅由所附权利要求限制的本发明范围中。
【权利要求】
1.一种用于执行图像分类过程的系统，包括: 图像管理器，计算测试图像中的关键点的描述符，所述图像管理器过滤所述描述符以生成过滤的描述符，所述图像管理器将所述过滤的描述符与一个或多个图像集比较以对所述测试图像分类；以及 电子设备的处理器，控制所述图像管理器，以执行所述图像分类过程。
2.根据权利要求1的系统，其中所述图像管理器在所述图像分类过程期间对所述测试图像执行下采样过程。
3.根据权利要求1的系统，其中所述图像管理器在所述图像分类过程期间对所述测试图像执行频谱滤波过程，以去除低频特征。
4.根据权利要求1的系统，其中所述测试图像和所述图像集中的一个共有高比例的内容相关性，并具有有限的图像特征的变化，所述图像特征包括构图、内容、曝光以及相机设置，该相机设置包括缩放、移位和旋转。
5.根据权利要求1的系统，其中所述图像管理器使用关键点生成器以根据预定关键点准则识别所述测试图像中的关键点。
6.根据权利要求5的系统，其中所述关键点生成器识别每个所述关键点的具体的水平和垂直坐标(X，y)。
7.根据权利要求6的系统，其中所述关键点生成器导出对应于每个所述关键点的支持区域σ。
8.根据权利要求7的系统，其中所述关键点生成器限定每个所述关键点的具体取向θ .
9.根据权利要求8的系统，其中所述关键点生成器使用所述水平和垂直坐标、所述支持区域以及所述取向以创建每个所述关键点的初始描述符S(x，y，σ, θ)0
10.根据权利要求9的系统，其中所述初始描述符被实现为具有128维的多维描述符。
11.根据权利要求9的系统，其中所述图像管理器使用支持区域过滤器以对所述初始描述符执行支持区域过滤过程，以生成精细的描述符。
12.根据权利要求11的系统，其中所述支持区域过滤器仅接受大于预定支持区域尺寸阈值的支持区域。
13.根据权利要求11的系统，其中所述支持区域过滤器在所述支持区域过滤过程期间拒绝所述支持区域中的任何高度重叠的支持区域。
14.根据权利要求11的系统，其中所述图像管理器使用取向过滤器以对所述精细的描述符执行取向过滤过程，以生成过滤的描述符。
15.根据权利要求14的系统，其中所述取向过滤器除去异常，所述异常包括不能符合预定取向限制的来自所述测试图像和所述图像集的所述关键点的对。
16.根据权利要求15的系统，其中所述取向过滤器要求取向差δΘ的标准偏差σ (δ θ)满足下式:
σ ( δ Θ )〈 π /3。
17.根据权利要求15的系统，其中所述取向过滤器要求各个取向差在所述关键点的所述对之间的全部取向线的平均值的所述标准偏差σ (δ θ)内。
18.根据权利要求14的系统，其中所述图像管理器使用匹配模块以通过将所述过滤的描述符与来自存储在数据库中的所述图像集的分类的图像的所计算的描述符相比较而执行匹配过程。
19.根据权利要求18的系统，其中所示匹配模块计算欧氏度量，以通过比较来自所述测试图像和所述分类的图像的描述符，而限定每个对应的所述关键点的对之间的匹配距离CKDijDi i)，如果匹配描述符的总数大于预定匹配阈值，则所述匹配模块识别匹配结果，所述匹配模块还执行匹配过滤过程，以通过要求小于预定距离阈值的低匹配距离(KDi, D' J而拒绝错误的正匹配。
20.一种用于执行图像分类过程的方法，包括以下步骤: 计算测试图像中的关键点的描述符； 对所述描述符进行过滤，以生成过滤的描述符；以及 将所述过滤的描述符与一个或多个图像集比较，以对所述测试图像分类。
【文档编号】G06K9/62GK103534712SQ201380000104
【公开日】2014年1月22日 申请日期:2013年2月4日 优先权日:2012年2月16日
【发明者】余良吟, 刘明昌, 黄光满 申请人:索尼公司