提取高容量源图像的特征信息的设备和方法
【专利摘要】提供了一种使用尺度不变特征变换（SIFT）算法提取高容量源图像的特征信息的设备和方法。所述设备可包括：第一主接口单元，被配置用于从存储在高容量短期存储器中的第一源图像产生至少一个块图像；特征信息提取单元，被配置用于接收产生的所述至少一个块图像的输入并从输入的所述至少一个块图像提取特征信息，并且第一主接口单元可被配置用于通过基于第一源图像的水平分辨率划分第一源图像来产生所述至少一个块图像。
【专利说明】提取高容量源图像的特征信息的设备和方法
[0001]本申请要求2012年6月20日提交到韩国知识产权局的第10-2012-0066061号韩国专利申请的优先权利益，该申请的公开通过引用合并于此。
【技术领域】
[0002]示例实施例涉及一种通过将高容量源图像划分为至少一个块(tile)图像并读取所述至少一个块图像，使用尺度不变特征变换(SIFT)算法而不管SIFT核心的处理容量来提取特征信息的设备和方法。
【背景技术】
[0003]提取图像中的特征的位置并存储所述特征的描述符的尺度不变特征变换(SIFT)算法在图像处理应用中被广泛使用。
[0004]使用SIFT算法产生的包括特征位置和描述符的特征信息针对亮度的改变、旋转、缩放比例的改变和视点具有鲁棒属性。
[0005]因此，SIFT算法被用于对图像处理应用中的至少两个图像进行匹配。
[0006]也就是说，由于SIFT算法提取针对图像尺寸的改变、旋转和亮度的改变的鲁棒特征，故SIFT算法可被用于图像中的校正匹配。
[0007]使用SIFT算法提取特征信息，需要相对大量的计算。
[0008]将SIFT算法实现为硬件并将更高等级算法实现为软件的方法在处理高清晰度高容量图像中会是有利的。
[0009]SIFT算法可被实现为用于分布式图像处理的硬件和软件。然而，尽管存在与高清晰度高容量图像的快速处理相关联的硬件成本，可优选的是将所有功能的处理作为硬件。
【发明内容】
[0010]通过提供一种用于提取特征信息的设备来实现前述和/或其它方面，所述设备包括:第一主接口单元，被配置用于从存储在高容量短期存储器中的第一源图像产生至少一个块图像；特征信息提取单元，被配置用于接收产生的所述至少一个块图像的输入并从输入的所述至少一个块图像提取特征信息，第一主接口单元可被配置用于通过基于第一源图像的水平分辨率划分第一源图像来产生所述至少一个块图像。
[0011]第一主接口单元可被配置用于通过基于第一源图像的水平分辨率划分第一源图像来产生第一块图像和第二块图像，从而具有预定区域的第一块图像和第二块图像的重叠区域存在。
[0012]特征信息提取单元可被配置用于提取所述至少一个块图像的特征位置以及与特征位置相应的描述符中的至少一个作为特征信息。
[0013]特征信息提取单元可被配置用于将输入的所述至少一个块图像确定为至少一个第一子八度(octave)，通过将所述至少一个第一子八度与高斯滤波器进行卷积来产生至少一个高斯图像，从产生的所述至少一个高斯图像产生至少一个高斯差分(DoG)图像，从产生的所述至少一个DoG图像产生候选特征，并从候选特征提取特征信息。
[0014]特征信息提取单元可被配置用于将输入的所述至少一个块图像确定为至少一个第一子八度，从确定的所述至少一个第一子八度确定第一候选特征，通过将所述至少一个第一子八度缩小尺寸来产生至少一个第二子八度，基于产生的所述至少一个第二子八度确定第二候选特征，并通过将确定的第一候选特征与确定的第二候选特征进行比较来提取特征信息。
[0015]所述设备还可包括:第二主接口单元，被配置用于通过将所述至少一个第一子八度缩小尺寸来产生至少一个减小的图像，通过去除产生的所述至少一个减小的图像的重叠区域来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理。
[0016]第一主接口单元可被配置用于从存储在高容量短期存储器中的第二源图像产生至少一个块图像，特征信息提取单元可被配置用于接收作为第二子八度的从第二源图像产生的所述至少一个块图像的输入并确定第二候选特征。
[0017]通过提供一种用于提取特征信息的设备来实现前述和/或其它方面，所述设备包括:读取单元，被配置用于在高容量短期存储器中读取从第一源图像划分的至少一个第一块图像；尺度不变特征变换(SIFT)算法操作单元，被配置用于通过将SIFT算法应用到读取的所述至少一个第一块图像来产生第一候选特征，并通过将所述至少一个第一块图像缩小尺寸来输出至少一个第二块图像；写入单元，被配置用于通过合成输出的所述至少一个第二块图像来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理，读取单元可被配置用于读取从第二源图像划分的所述至少一个第二块图像，SIFT算法操作单元可被配置用于从读取的所述至少一个第二块图像产生第二候选特征，并基于产生的第一候选特征和产生的第二候选特征产生特征信息。
[0018]读取单元可被配置用于读取基于第一源图像的水平分辨率从第一源图像划分的所述至少一个第一块图像，并读取基于第二源图像的水平分辨率从第二源图像划分的所述至少一个第二块图像。
[0019]读取单元可被配置用于读取所述至少一个第一块图像中的每一个或者所述至少一个第二块图像中的每一个，从而具有预定区域的所述至少一个第一块图像和所述至少一个第二块图像的重叠区域存在。
[0020]写入单元可被配置用于通过基于重叠区域合成所述至少一个第二块图像来产生第二源图像。
[0021]通过提供一种提取源图像的特征信息的方法来实现前述和/或其它方面，所述方法包括:由第一主接口单元从存储在高容量短期存储器中的第一源图像产生至少一个块图像；由特征信息提取单元接收产生的所述至少一个块图像的输入并从输入的所述至少一个块图像提取特征信息，从第一源图像产生所述至少一个块图像的步骤可包括通过基于第一源图像的水平分辨率划分第一源图像来产生第一块图像和第二块图像，从而具有预定区域的第一块图像和第二块图像的重叠区域存在。
[0022]提取特征信息的步骤可包括:将输入的所述至少一个块图像确定为至少一个第一子八度，并从确定的所述至少一个第一子八度确定至少一个第一候选特征；通过将所述至少一个第一子八度缩小尺寸来产生至少一个第二子八度，并基于产生的所述至少一个第二子八度确定第二候选特征；通过将确定的第一候选特征与确定的第二候选特征进行比较来提取特征信息。
[0023]所述方法还可包括:由第二主接口单元通过将所述至少一个第一子八度缩小尺寸来产生至少一个减小的图像，通过去除产生的所述至少一个减小的图像的重叠区域来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理。
[0024]所述方法还可包括:由第一主接口单元从存储在高容量短期存储器中的第二源图像产生至少一个块图像，确定第二候选特征的步骤可包括接收作为第二子八度的从第二源图像产生的所述至少一个块图像的输入并确定第二候选特征。
[0025]将在接下来的描述中部分阐述实施例另外的方面，还有一部分通过描述将是清楚的，或者可以经过本公开的实施而得知。
【专利附图】
【附图说明】
[0026]通过下面结合附图对实施例进行的描述，这些和/或其它方面将会变得清楚和更易于理解，其中:
[0027]图1示出用于提取特征信息的设备的示例；
[0028]图2示出将源图像划分为至少一个块图像的示例；
[0029]图3示出对使用尺度不变特征变换(SIFT)算法提取了候选特征的至少一个块图像进行缩小尺寸、合成和写入处理的示例；
[0030]图
[0031]图
图像的示例
`[0032]
[0033]
[0034]
[0035]
[0036]
图
图
图
图
图
4示出特征信息提取单元的示例；
5示出由特征信息提取单元针对每个子八度产生的高斯图像和高斯差分(DoG)?
6示出用于提取特征信息的设备的示例；
7示出源图像的示例；
8示出从图7的源图像产生的至少一个块图像的示例；
9示出使用至少一个块图像在源图像中检测的至少一个特征信息；
10示出提取特征信息的方法。
【具体实施方式】
[0037]现在将详细参照实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。以下通过参照附图对实施例进行描述以解释本公开。
[0038]图1示出用于提取特征信息的设备100的示例。
[0039]根据示例的用于提取特征信息的设备100可包括:第一主接口单元120，被配置用于从存储在高容量短期存储器110中的第一源图像产生至少一个块图像；特征信息提取单元130，被配置用于接收产生的至少一个块图像的输入并用于从所述至少一个块图像输入提取特征信息。
[0040]例如，高容量短期存储器110可与随机存取存储器(RAM)的类型相应，并可以是通常被用作计算机的存储器的动态RAM (DRAM)等。
[0041]第一主接口单元120可通过基于第一源图像的水平分辨率划分第一源图像来产生所述至少一个块图像。
[0042]所述至少一个块图像可以是从第一源图像划分的图像。[0043]所述至少一个块图像可以是基于第一源图像的水平分辨率从第一源图像划分的部分图像。
[0044]也就是说，第一主接口单元120可通过基于第一源图像的水平分辨率划分第一源图像来产生第一块图像和第二块图像。
[0045]在该示例中，第一主接口单元120可产生第一块图像和第二块图像，从而具有预定区域的第一块图像和第二块图像的重叠区域存在。
[0046]重叠区域可以是这样的范围(margin):由于第一块图像和第二块图像是不邻近的，从而使通过尺度不变特征变换(SIFT)算法难以被提取的特征信息能够被提取。
[0047]提取的特征信息可以是描述符。
[0048]在该示例中，第三主接口单元150可以是用于存储提取的特征信息(即，DRAM或外部高容量静态随机存取存储器(SRAM)缓冲器(例如，便笺式存储器(SPM))中的描述符)的
主接口。
[0049]参照图2提供块图像、第一块图像、第二块图像和源图像中的至少一个的详细描述。
[0050]图2示出将源图像200划分为至少一个块图像的示例。
[0051]如图2中所示，源图像200可以是具有分辨率“氏XV/’的图像。
[0052]也就是说，源图像200可具有水平分辨率H1和垂直分辨率Vp
[0053]可使用包括由第一主接口单元从源图像200划分的第一块图像210和第二块图像220的至少一个块图像来读取根据示例的源图像200。
[0054]在该示例中，第一块图像210和第二块图像220可包括具有宽度H。的重叠区域230中的公共图像。
[0055]也就是说，根据示例的第一主接口单元可将源图像200划分为第一块图像210和第二块图像220，从而形成具有宽度Htl的重叠区域230。
[0056]相似地，第一主接口单元可将源图像200划分为其它块图像，从而形成具有宽度H。的重叠区域230。
[0057]第一块图像210和第二块图像220可均相应于具有水平分辨率H1和垂直分辨率V1的源图像200的部分图像。
[0058]第一块图像210和第二块图像220的公共图像可被包括在具有宽度H。的重叠区域230中。
[0059]第一块图像210可包括在与水平分辨率Hs-Htl相应的区域中的非重叠图像。
[0060]第二块图像220可包括在与水平分辨率Hs-2Hq相应的区域中的非重叠图像。
[0061]参照图1，根据示例的特征信息提取单元130可提取至少一个块图像的特征位置以及与特征位置相应的描述符中的至少一个作为特征信息。
[0062]特征信息提取单元130可使用SIFT算法从至少一个块图像产生特征位置以及与特征位置相应的描述符。
[0063]也就是说，特征信息提取单元130可将输入的至少一个块图像确定为至少一个第
一子八度。
[0064]另外，特征信息提取单元130可通过将至少一个第一子八度与高斯滤波器进行卷积来产生至少一个高斯图像。[0065]特征信息提取单元130可使用等式I从第一子八度和高斯滤波器产生高斯图像。
[0066][等式I]
[0067]
【权利要求】
1.一种用于提取特征信息的设备，所述设备包括:第一主接口单元，被配置用于从存储在高容量短期存储器中的第一源图像产生至少一个块图像；以及特征信息提取单元，被配置用于接收产生的所述至少一个块图像的输入并从输入的所述至少一个块图像提取特征信息，其中，第一主接口单元被配置用于通过基于第一源图像的水平分辨率划分第一源图像来产生所述至少一个块图像。
2.如权利要求1所述的设备，其中，第一主接口单元被配置用于通过基于第一源图像的水平分辨率划分第一源图像来产生第一块图像和第二块图像，从而具有预定区域的第一块图像和第二块图像的重叠区域存在。
3.如权利要求1所述的设备，其中，特征信息提取单元被配置用于提取所述至少一个块图像的特征位置以及与特征位置相应的描述符中的至少一个作为特征信息。
4.如权利要求1所述的设备，其中，特征信息提取单元被配置用于将输入的所述至少一个块图像确定为至少一个第一子八度，通过将所述至少一个第一子八度与高斯滤波器进行卷积来产生至少一个高斯图像，从产生的所述至少一个高斯图像产生至少一个高斯差分(DoG)图像，从产生的所述至少一个DoG图像产生候选特征，并从候选特征提取特征信息。
5.如权利要求1所述的设备，其中，特征信息提取单元被配置用于将输入的所述至少一个块图像确定为至少一个第一子八度，并从确定的所述至少一个第一子八度确定第一候选特征，特征信息提取单元被配置用于通过将所述至少一个第一子八度缩小尺寸来产生至少一个第二子八度，并基于产生的所述至少一个第二子八度确定第二候选特征，以及特征信息提取单元被配置用于通过将确定的第一候选特征与确定的第二候选特征进行比较来提取特征信息。
6.如权利要求5所述的设备，还包括:第二主接口单元，被配置用于通过将所述至少一个第一子八度缩小尺寸来产生至少一个减小的图像，通过去除产生的所述至少一个减小的图像的重叠区域来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理。
7.如权利要求6所述的设备，其中，第一主接口单元被配置用于从存储在高容量短期存储器中的第二源图像产生至少一个块图像，以及特征信息提取单元被配置用于接收作为第二子八度的从第二源图像产生的所述至少一个块图像的输入并确定第二候选特征。
8.一种用于提取特征信息的设备，所述设备包括:读取单元，被配置用于在高容量短期存储器中读取从第一源图像划分的至少一个第一块图像；尺度不变特征变换(SIFT)算法操作单元，被配置用于通过将SIFT算法应用到读取的所述至少一个第一块图像来产生第一候选特征，并通过将所述至少一个第一块图像缩小尺寸来输出至少一个第二块图像；以及写入单元，被配置用于通过合成输出的所述至少一个第二块图像来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理，其中，读取单元被配置用于读取从第二源图像划分的所述至少一个第二块图像，以及SIFT算法操作单元被配置用于从读取的所述至少一个第二块图像产生第二候选特征，并基于产生的第一候选特征和产生的第二候选特征产生特征信息。
9.如权利要求8所述的设备，其中，读取单元被配置用于读取基于第一源图像的水平分辨率从第一源图像划分的所述至少一个第一块图像，并读取基于第二源图像的水平分辨率从第二源图像划分的所述至少一个第二块图像。
10.如权利要求8所述的设备，其中，读取单元被配置用于读取所述至少一个第一块图像中的每一个或者所述至少一个第二块图像中的每一个，从而具有预定区域的所述至少一个第一块图像和所述至少一个第二块图像的重叠区域存在。
11.如权利要求10所述的设备，其中，写入单元被配置用于通过基于重叠区域合成所述至少一个第二块图像来产生第二源图像。
12.一种提取源图像的特征信息的方法，所述方法包括:由第一主接口单元从存储在高容量短期存储器中的第一源图像产生至少一个块图像；以及由特征信息提取单元接收产生的所述至少一个块图像的输入并从输入的所述至少一个块图像提取特征信息，其中，从第一源图像产生所述至少一个块图像的步骤包括通过基于第一源图像的水平分辨率划分第一源图像来产生第一块图像和第二块图像，从而具有预定区域的第一块图像和第二块图像的重叠区域存在。
13.如权利要求12所述的方法，其中，提取特征信息的步骤包括:将输入的所述至少一个块图像确定为至少一个第一子八度，并从确定的所述至少一个第一子八度确定至少一个第一候选特征；通过将所述至少一个第一子八度缩小尺寸来产生至少一个第二子八度，并基于产生的所述至少一个第二子八度确定第二候选特征；以及通过将确定的第一候选特征与确定的第二候选特征进行比较来提取特征信息。
14.如权利要求13所述的方法，还包括:由第二主接口单元通过将所述至少一个第一子八度缩小尺寸来产生至少一个减小的图像，通过去除产生的所述至少一个减小的图像的重叠区域来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理。
15.如权利要求14所述的方法，还包括:由第一主接口单元从存储在高容量短期存储器中的第二源图像产生至少一个块图像，其中，确定第二候选特征的步骤包括接收作为第二子八度的从第二源图像产生的所述至少一个块图像的输入并确定第二候选特征。
【文档编号】G06K9/46GK103514451SQ201310246567
【公开日】2014年1月15日 申请日期:2013年6月20日 优先权日:2012年6月20日
【发明者】太龙旻, 文永秀, 赵程昱, 车俊赫, 朴贤相, 李时和 申请人:三星电子株式会社