基于图像金字塔的自适应图像处理设备和方法
【专利摘要】提供一种基于图像金字塔的自适应图像处理设备和方法。一种自适应图像处理设备包括：第一匹配单元，从包括在图像金字塔中的多个图像中选择代表候选图像，并计算所述代表候选图像中的每个代表候选图像和目标模型之间的第一匹配分数；第二匹配单元，基于第一匹配分数从代表候选图像的尺度等级中选择一个尺度等级，并计算在具有包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的每个图像和目标模型之间的第二匹配分数；代表尺度等级选择单元，基于第二匹配分数选择包括在密集尺度等级范围中的尺度等级中的至少一个作为代表尺度等级；图像处理单元，基于具有选择的代表尺度等级的图像来执行图像处理。
【专利说明】基于图像金字塔的自适应图像处理设备和方法
[0001]本申请要求于2012年8月30提交到韩国知识产权局的第10-2012-0095960号韩国专利申请的优先权，其中，所述申请的公开通过引用整体合并于此。
【技术领域】
[0002]与本构思的示例性实施例一致的方法和设备涉及图像金字塔中的自适应图像处理，更具体地说，涉及以下自适应图像处理设备和方法:根据图像金字塔(在图像金字塔中根据尺度等级对具有不同尺度等级的多个图像进行排列)的尺度等级从图像金字塔稀疏地提取样本，在从提取的样本中选择的尺度等级周围搜索合适的尺度等级，并在所述合适的尺度等级上执行图像处理。
【背景技术】
[0003]从图像(例如，由相机获得的图像)提取特征点的技术被广泛用于包括个人认证、三维(3D)重建和跟踪的计算机视觉领域中。用于从图像提取特征点的算法的代表示例包括以尺度不变方式来检测对象的加速鲁棒特征(SURF)算法和尺度不变特征变换(SIFT)算法。针对这种尺度不变特征，可使用图像金字塔技术。
[0004]图像金字塔技术涉及以下处理:把将被匹配的模型和输入图像转换为具有各种尺度的图像，并根据用于提取特征点的算法执行操作或执行其他图像处理。例如，当作为用于以尺度不变方式提取特征点的代表算法的SIFT算法被使用时，图像金字塔技术可使滤波的图像经过具有各种尺度的方差的高斯滤波器以获得结果图像，从而根据相邻尺度对结果图像进行平滑以得到高斯平滑图像，用因素二(2)对高斯平滑图像进行子抽样以获得结果图像，使结果图像重复经过具有各种尺度的方差的高斯滤波器以形成由高斯平滑图像组成的图像金字塔，并对图像金字塔执行关于图像处理的一系列操作。
[0005]这种图像金字塔技术具有操作时间太长的缺点。这是因为，在输入图像被调整大小以获得具有各种尺度等级的图像之后，从每个图像的整个区域检测特征点或需要重复执行其他图像处理。由于在具有各种尺度等级的图像上检测特征点并且重复执行关于图像处理的操作，因此操作时间增加并且误判率增加。
【发明内容】
[0006]一个或多个示例性实施例提供一种用于图像金字塔的自适应图像处理设备和方法，其中，通过选择将自适应执行图像处理的图像的尺度等级，而无需对具有包括在图像金字塔中的各种尺度等级的所有图像执行图像处理的情况下，所述设备和方法可提高运算速度并降低误判率。
[0007]将由本发明构思解决的技术问题不限于上述技术问题，并且本领域的普通技术人员将从以下描述理解其他技术问题。
[0008]根据示例性实施例的一方面，提供一种自适应图像处理设备，包括:第一匹配单元，从包括在图像金字塔中的多个图像中选择多个代表候选图像，并计算在所述多个代表候选图像中的每个与目标模型之间的第一匹配分数；第二匹配单元，基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级，并计算在具有包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的图像中的每个与目标模型之间的第二匹配分数；代表尺度等级选择单元，基于第二匹配分数选择包括在密集尺度等级范围中的尺度等级中的至少一个作为代表尺度等级；图像处理单元，基于具有选择的代表尺度等级的图像来执行图像处理。
[0009]根据另一示例性实施例的一方面，提供一种自适应图像处理方法，包括:从包括在图像金字塔中并具有不同尺度等级的多个图像中选择多个代表候选图像；计算在所述多个代表候选图像中的每个与目标模型之间的第一匹配分数；基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级；计算在具有包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的图像中的每个与目标模型之间的第二匹配分数；基于第二匹配分数选择包括在密集尺度等级范围中的至少一个作为代表尺度等级；基于具有代表尺度等级的图像来执行图像处理。
【专利附图】
【附图说明】
[0010]通过参照附图详细描述本发声明构思的示例性实施例，本发明构思的以上和其他方面将变得更清楚，其中:
[0011]图1是示出根据示例性实施例的用于图像金字塔的自适应图像处理设备的框图；
[0012]图2是示出根据示例性实施例的用于图像金字塔的自适应图像处理方法的流程图；
[0013]图3A和图3B是根据示例性实施例的用于解释从图像金字塔选择将被执行操作的图像的尺度等级的处理的示图；
[0014]图4A是根据示例性实施例的用于解释将具有图像金字塔的各种尺度等级的图像中的每个与人体模型进行匹配的测试的视图；
[0015]图4B是示出根据示例性实施例的图4A的测试的结果的曲线图。
【具体实施方式】
[0016]如本文中使用的，术语“和/或”包括相关列出项中的一个或多个的任意和全部组合。诸如“…中的至少一个”的表示在位于一列元素之后时修饰整列元素，而不修饰列表中的单个元素。
[0017]以下仅示出本发明构思的原理。因此将理解，虽然在此没有明确地描述或示出，但是本领域的普通技术人员将能够设计出实现本发明构思的原理并被包括在本发明构思的精神和范围内的各种配置。另外，在此阐述的所有示例和条件语言主要旨在明确地仅用于教导目的并帮助读者理解由发明人提供的本发明构思的原理来推动本领域，并将被解释为不限于这些具体阐述的示例和条件。另外，在此叙述本发明构思的原理、方面和示例性实施例的所有陈述以及本发明构思的特定示例旨在包含其结构性和功能性等价物两者。另外，其目的是，这些等价物包括当前已知的等价物和将来研发的等级物两者，即，研发的执行相同功能而不考虑结构的任何元件。 [0018]包括指示为处理器或指示为类似于处理器的概念的功能块的附图中所示出的各种装置的功能不仅可用专用硬件来提供，而且可用能执行相关软件的通用硬件来提供。当这些功能由处理器提供时，所述功能可由单个专用处理器、单个可共享处理器或能够在其间进行共享的多个处理器来提供。此外，术语(诸如处理器、控制器等)的使用不应被解释为受限于能够执行软件的硬件，而应该被解释为直接包括数字信号处理器(DSP)硬件、只读存储器(ROM)、随机存取存储器(RAM)和用于存储软件的非易失性存储器。其他已知相关技术的硬件可被包括。
[0019]以下，当与示例性实施例相关的公知技术或结构会不必要地使本发明构思不清楚时，将省略详细描述。
[0020]还应理解，术语“包括”和/或“包含”在本文中使用时说明所述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合的存在和添加。
[0021]现在将参照示出本发明构思的示例性实施例的附图更加全面地描述本发明构思。
[0022]图1是示出根据示例性实施例的用于图像金字塔的自适应图像处理设备100的框图。
[0023]参照图1，自适应图像处理设备100包括图像输入单元110、第一匹配单元120、第二匹配单元130、代表尺度等级选择单元140和图像处理单元150。
[0024]图像输入单元110接收包括具有不同尺度等级的多个图像的图像金字塔，以根据具有尺度不变特性算法进行图像处理。这里，所述多个图像可以是以不同尺度等级捕获的相同场景的图像。
[0025]可将根据尺度等级排列具有不同尺度等级的多个图像的图像金字塔输入到图像输入单元110。
[0026]第一匹配单元120从输入到图像输入单元110的图像金字塔稀疏地选择多个代表候选图像，并将选择的每个代表候选图像与目标模型匹配。
[0027]当代表候选图像被稀疏地选择时，这意味着图像以图像金字塔的排列顺序按相同间隔被隔开选择。例如，当不同尺度等级的45幅图像在图像金字塔中根据尺度等级被排列时，从所述45幅图像中选择四(4)幅图像，也就是，第10、第20、第30和第40幅图像。换句话说，可通过使用统计样本提取方法中的系统抽样方法来选择代表候选图像。
[0028]第一匹配单元120通过将选择的代表候选图像与目标模型进行匹配，来计算代表候选图像中的每个候选图像和目标模型之间的匹配分数。在此情况下，用于计算匹配分数的算法的代表示例可包括但不限于卷积算法和基于相关系数的算法。
[0029]第二匹配单元130基于针对代表候选图像计算的匹配分数从代表候选图像中选择一个尺度等级。在此情况下，可从代表候选图像中选择具有最高匹配分数的代表候选图像的尺度等级是优选的，但不是必需的。
[0030]在基于一个尺度等级的匹配分数选择了该尺度等级之后，第二匹配单元130通过对包括在密集尺度等级范围中的尺度等级的每个图像与目标模型进行匹配，来计算包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的每个图像与目标模型之间的匹配分数。
[0031]密集尺度等级范围以具有不同尺度等级的图像在图像金字塔中根据尺度等级被排列的排列顺序，包括在针对由第二匹配单元130选择的尺度等级的预定范围内所包括的尺度等级。例如，当第二匹配单元130从具有不同尺度等级的45幅图像中选择了第10尺度等级的图像时，密集尺度等级范围可包括从第7尺度等级到第13尺度等级的尺度等级。这里，第7尺度等级和第13尺度等级从第10尺度等级被分别按三(3)个等级隔开。可预先定义密集尺度等级范围的大小。密集尺度等级范围的大小可根据但不限于系统设置、具有被包括在图像金字塔中的不同尺度等级的图像的数量、代表候选图像的数量以及在排列顺序中的代表候选图像之间的间隔而不同。
[0032]代表尺度等级选择单元140基于由第二匹配单元130计算的匹配分数，选择在密集尺度等级范围中包括的尺度等级中的至少一个作为代表尺度等级。
[0033]在此情况下，作为用于选择代表尺度等级的基准的值可以是随后将执行的图像处理算法的唯一阈值。可选地，可将具有最高匹配分数的尺度等级选为代表尺度等级。
[0034]图像处理单元150基于由代表尺度等级选择单元140选择的代表尺度等级的图像来执行图像处理。图像处理的示例可包括:提取特征点以从代表尺度等级的图像提取与目标模型相关的对象(例如，人类、非人类动物或车辆)，以及执行其他图像处理。
[0035]本实施例的自适应图像处理设备100可被安装在使用图像金字塔技术的任何视频处理系统(诸如被用作在安全、监控以及有关国土安全和反恐系统中使用的闭路电视(CCTV)系统的一部分的或与CCTV系统结合使用的智能视频监控(IVS)系统、处理零售机构中的监控视频以建立用于市场研究目的的商店内人类行为趋势的IVS系统、监视交通情况以检测逆行交通、车辆抛锚、事故和道路阻塞的IVS系统)以及视频压缩系统上。
[0036]每个IVS系统是在视频分割步骤之后进一步处理视频以执行对象分类的系统，其中，在对象分类中，前景对象可被分类为总的种类(诸如动物、车辆或其他运动但未分类的对象)或者可被分类为更具体的种类(诸如人类、小型或大型非人类动物、汽车、飞机、船、货车、树、旗或水域)。在每个IVS系统中，一旦这种视频分割和分类发生，就处理检测到的对象以确定它们的位置、运动和行为与用户定义的虚拟视频绊网和感兴趣的虚拟区域(感兴趣的区域可以是整个视场或场景)的关系如何。发生的用户定义的事件随后将被标记为将被传达给值班的安全人员或专业人员的感兴趣的事件。这种事件的示例包括穿过虚拟视频绊网的人类或车辆、闲逛的或进入场景或感兴趣的虚拟区域的人或车辆、或被留下或从虚拟区域或场景带走的对象。本发明构思可与使用包括视频帧的区域的统计特性来将视频帧分割为其组成部分的处理相关。
[0037]如此，通过仅对自适应选择的图像执行匹配或图像处理，而没有对包括在图像金字塔中的尺度等级的所有图像执行匹配或图像处理的情况下，安装有本实施例的自适应图像处理设备100的视频处理系统可减少操作时间并减少误判率。
[0038]图2是示出根据示例性实施例的用于图像金字塔的自适应图像处理方法的流程图。图2的自适应图像处理方法可由图1的自适应图像处理设备100执行。因此，将不解释与图1的自适应图像处理设备100的元件和操作相同的元件和操作。
[0039]首先，在操作S201，选择以图像金字塔的排列顺序按相同抽样间隔隔开的多个代表候选图像，其中，在图像金字塔中，具有不同尺度等级的多个图像根据尺度等级被排列。可通过使用系统抽样方法来选择代表候选图像。
[0040]在操作S202，计算在操作S201选择的所述多个代表候选图像中的每个代表候选图像与目标模型之间的匹配分数。[0041]目标模型可以是与将通过图像处理提取的对象相关的模型。一般而言，目标模型是通过统计学习特征信息(诸如将被检测图像的人类、非人类动物或车辆)而形成的模型。可通过在目标模型和每个所述图像之间进行匹配从图像提取与目标模型相关的对象。
[0042]在此情况下，用于计算每个代表候选图像与目标模型之间的匹配分数的算法的代表示例可包括但不限于卷积算法和基于相关系数的算法。
[0043]在操作S203，基于在操作S202计算的匹配分数，从代表候选图像选择一个尺度等级。优选地，但不必需地，可从代表候选图像选择具有最高匹配分数的代表候选图像的尺度等级。
[0044]在操作S204，计算包括在针对在步骤S203中选择的尺度等级的密集尺度等级范围中的尺度等级的每个图像与目标模型之间的匹配分数。所述密集尺度等级范围可以以排列顺序包括在针对在步骤S203中选择的尺度等级的预定范围中包括的尺度等级，其中，具有不同尺度等级的图像以所述排列顺序在图像金字塔中根据尺度等级被排列。可预先定义密集尺度等级范围的大小，并且可根据但不限于系统设置、具有包括在图像金字塔中的不同尺度等级的图像的数量、代表候选图像的数量以及在排列顺序中的代表候选图像之间的间隔来设置预先定义的范围。
[0045]在操作S205，基于在操作S204中计算的匹配分数从包括在密集尺度等级范围内的尺度等级中选择至少一个尺度等级作为代表尺度等级。
[0046]在此情况下，可将在包括在密集尺度等级范围中的尺度等级中的具有等于或大于根据图像处理算法设置的阈值的匹配分数的尺度等级，或在包括在密集尺度等级范围中的尺度等级中的具有最高匹配分数的尺度等级，选择作为代表尺度等级，并且当存在满足上述条件的多个尺度等级时，可存在多个代表尺度等级。
[0047]在操作S206，基于在操作S205中选择的代表尺度等级的图像来执行图像处理。在操作S206，可提取特征点以从代表尺度等级的图像中提取与目标模型相关的对象(例如，人类、非人类动物或车辆)，或可执行其他图像处理。
[0048]图3A和图3B是根据示例性实施例的用于解释从图像金字塔选择将被执行操作的图像的尺度等级的处理的示图。
[0049]参照图3A，输入包括具有不同尺度等级的45幅图像的图像金字塔，并按预定尺度等级间隔稀疏地提取具有lx、2x、3x和4x尺度等级的四幅图像，作为所述45幅图像中的代表候选图像。
[0050]对提取的四幅图像执行匹配，发现具有最高匹配分数的图像是具有Ix尺度等级的图像，并且从所述四幅图像中选择具有Ix尺度等级的图像。
[0051]参照图3B，当对在包括在图3A中选择的图像的尺度等级Ix周围的从0.7x尺度等级到1.3x尺度等级的尺度等级的密集尺度等级范围中的图像执行匹配时，发现具有最高匹配分数的尺度等级是1.3x尺度等级。通过图3A和图3B的一系列处理而提取的1.3x尺度等级等于将从图像金字塔的图像中检测的图像的大小。
[0052]图4A和图4B是根据实施例的用于解释将具有图像金字塔的各种尺度等级的图像中的每个自适应地与人体模型430进行匹配的测试和示出所述测试的结果的视图。
[0053]参照图4A，从包括具有不同尺度等级的45幅图像的图像金字塔中以图像金字塔的排列顺序稀疏地提取四幅代表候选图像411、412、413和414，并通过使用卷积算法将代表候选图像411、412、413和414中的每个代表候选图像与人体模型430进行匹配来计算分割匹配分数。
[0054]参照图4B，当比较图4A的四幅代表候选图像411、412、413和414的匹配分数时，具有尺度等级11的代表候选图像411具有最高匹配分数。此外，在图4B的曲线图中，在具有尺度等级11的代表候选图像411 (在代表候选图像411、412、413和414中具有最闻匹配分数)周围的具有尺度等级15的图像在具有图像金字塔的代表候选图像的45幅图像中具有最高匹配值。也就是说，在被稀疏提取的样本中具有最高值的样本周围的局部最大值是全局最大值。具体地讲，如图4B中所示，因为匹配分数与金字塔图像的尺度等级处于线性关系，所以可算术地证明上述结论。
[0055]根据图4A和图4B的测试，当通过计算45个尺度等级的匹配分数在选择的尺度等级上执行图像处理时，速度将比使用传统方法的速度高约75%。
[0056]根据以上示例性实施例，当根据图像金字塔的尺度等级稀疏地提取样本，搜索关于从提取的样本中选择的尺度等级的具有最高匹配分数的尺度等级，并在该尺度等级上执行图像处理时，可大大减少根据SIFT算法、SURF算法等基于图像金字塔的提取特征点或执行其他图像处理所花费的时间。由于可有效地过滤不需要考虑的尺度等级，因此可增加准确度并可降低误判率。
[0057]示例性实施例可被实现为计算机可读记录介质中的计算机可读代码，或实现为通过传输介质传输的计算机可读代码。计算机可读记录介质可以是能够存储由计算机系统读取的数据的任何记录设备。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、⑶-ROM、磁带、软盘和光学数据存储装置。计算机可读介质可被分布在通过网络互相连接的计算机系统中，并且本发明可被存储和实现为分布式系统中的计算机可读代码。示例性实施例所述【技术领域】的程序员可容易地获得用于实现示例性实施例的功能程序、代码和代码段。
[0058]虽然已参照本发明构思的示例性实施例具体地示出和描述了本发明构思，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在示例性实施例中进行形式和细节上的各种改变。
【权利要求】
1.一种自适应图像处理设备，包括: 第一匹配单元，从包括在图像金字塔中的多个图像中选择多个代表候选图像，并计算在所述多个代表候选图像中的每个代表候选图像和目标模型之间的第一匹配分数； 第二匹配单元，基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级，并计算在具有包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的每个图像与目标模型之间的第二匹配分数； 代表尺度等级选择单元，基于第二匹配分数选择包括在密集尺度等级范围中的尺度等级中的至少一个作为代表尺度等级； 图像处理单元，基于具有选择的代表尺度等级的图像来执行图像处理。
2.如权利要求1所述的设备，其中，第一匹配单元选择以图像金字塔中的排列顺序按相同间隔被隔开的多个代表候选图像。
3.如权利要求2所述的设备，其中，密集尺度等级范围被确定包括以图像金字塔中的排列顺序在由第二匹配单元选择的尺度等级以上和以下的预先定义的数量的尺度等级。
4.如权利要求1所述的设备，其中，基于具有图像金字塔中的不同尺度等级的多个图像的数量、多个代表候选图像的数量以及以图像金字塔中的排列顺序在所述多个代表候选图像之间的间隔中的至少一个，来确定包括在密集尺度等级范围中的尺度等级。
5.如权利要求1所述的设备，其中，第一匹配单元通过使用统计抽样方法提取代表候选图像作为样本。
6.如权利要求1所述的设备，其中，第二匹配单元从所述多个代表候选图像的尺度等级中选择具有最高匹配分数的代表候选图像的尺度等级。
7.如权利要求1所述的设备，其中，代表尺度等级选择单元选择以下尺度等级作为代表尺度等级: 在包括在密集尺度等级范围中的尺度等级中的具有等于或大于根据用于图像处理的算法设置的阈值的第二匹配分数的尺度等级； 在包括在密集尺度等级范围中的尺度等级中的具有最高第二匹配分数的尺度等级。
8.如权利要求1所述的设备，其中，通过使用卷积算法或基于相关系数的算法将所述多个代表候选图像中的每个代表候选图像与目标模型进行匹配来计算第一匹配分数。
9.如权利要求1所述的设备，其中，图像处理单元从代表尺度等级的图像提取与目标模型相关的对象。
10.如权利要求1所述的设备，其中，目标模型是通过统计学习人类、非人类动物和车辆中的至少一个对象的特征信息而形成的模型。
11.一种自适应图像处理方法,包括: 从包括在图像金字塔中并具有不同尺度等级的多个图像中选择多个代表候选图像； 计算在所述多个代表候选图像中的每个与目标模型之间的第一匹配分数； 基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级； 计算在具有包括在针对选择的尺度等级的密集尺度等级范围中的尺度等级的图像中的每个与目标模型之间的第二匹配分数； 基于第二匹配分数选择包括在密集尺度等级范围中的尺度等级中的至少一个作为代表尺度等级；基于具有代表尺度等级的图像来执行图像处理。
12.如权利要求11所述的方法，其中，选择以图像金字塔中的排列顺序按相同间隔隔开的多个代表候选图像。
13.如权利要求12所述的方法，其中，密集尺度等级范围被确定包括以图像金字塔中的排列顺序在基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级的过程中所选择的尺度等级以上和以下的预先定义的数量的尺度等级。
14.如权利要求11所述的方法，其中，基于具有图像金字塔中的不同尺度等级的多个图像的数量、多个代表候选图像的数量以及以图像金字塔中的排列顺序在所述多个代表候选图像之间的间隔中的至少一个，来确定包括在密集尺度等级范围中的尺度等级。
15.如权利要求11所述的方法，其中，所述多个代表候选图像是通过使用统计抽样方法提取的样本。
16.如权利要求11所述的方法，其中，在基于第一匹配分数从所述多个代表候选图像的尺度等级中选择一个尺度等级的过程中所选择的尺度等级是在所述多个代表候选图像的尺度等级中具有最高的第 一匹配分数的代表候选图像的尺度等级。
17.如权利要求11所述的方法，其中，所述代表尺度等级是: 在包括在密集尺度等级范围中的尺度等级中的具有等于或大于根据用于图像处理算法设置的阈值的第二匹配分数的尺度等级； 在包括在密集尺度等级范围中的尺度等级中的具有最高第二匹配分数的尺度等级。
18.如权利要求11所述的方法，其中，通过使用卷积算法或基于相关系数的算法将所述多个代表候选图像中的每个与目标模型进行匹配来计算第一匹配分数。
19.如权利要求11所述的方法，其中，执行图像处理的步骤包括从代表尺度等级的图像提取与目标1吴型相关的对象。
20.如权利要求11所述的方法，其中，目标模型是通过统计学习人类、非人类动物和车辆中的至少一个对象的特征信息而形成的模型。
【文档编号】G06K9/64GK103679696SQ201310390518
【公开日】2014年3月26日 申请日期:2013年8月30日 优先权日:2012年8月30日
【发明者】全材烈, 李活石 申请人:三星泰科威株式会社