特征点提取装置及方法和利用其的图像匹配系统的制作方法

特征点提取装置及方法和利用其的图像匹配系统的制作方法
【专利摘要】本发明公开一种特征点提取装置及方法和利用其的图像匹配系统。根据本发明的一实施例的特征点提取装置用于提取对图像变化稳健的特征点，且包括：特征点提取单元，在图像作为特征点候选位置提取边角区域，在所述特征点候选位置提取特征点；及特征点后处理单元，生成所述提取的特征点的特征点描述符。
【专利说明】
特征点提取装置及方法和利用其的图像匹配系统
技术领域
[0001] 本发明的实施例设及图像处理技术，更具体地，设及一种用于从图像提取特征点 的特征点提取装置及方法和利用其的用于分析内容在线流通情况的图像匹配系统。
【背景技术】
[0002] 随着互联网技术的发展和互联网适用领域的逐渐扩展，通过互联网的信息检索利 用率也增加。W往是通过互联网的信息检索主要基于文本，但最近图像或动画等上载到互 联网的量增加，由此基于图像的检索技术正在被开发。然而，在基于图像的检索的情况下， 与基于文本的检索相比，作为检索对象的数据量本身就多，因此，存在不仅检索速度减少， 而且检索正确度降低的问题。
[0003] 目P，在图像的情况下，存在因在图像中发生的各种变化（例如，光照变化、尺寸变 化、仿射(Affine)变化、视点变化等)而难W检索相同或类似的图像的问题。例如，在摄影图 像时，根据光照变化，即使摄影相同的对象也会发生显著的色感差。并且，在摄影图像时，如 果摄像头旋转或拍摄对象物旋转，就会生成不同的摄影图像。而且，根据摄像头的分辨率、 摄影距离、是否使用变焦功能等，即使摄影相同的对象也生成不同的摄影图像，因此，难W 检索与预定图像相同或类似的图像，从而检索正确度降低。
[0004] 【现有技术文献】
[0005] 韩国公开专利公报第 10-2012-0062609 号(2012.06.14)

【发明内容】

[0006] 解决的技术问题
[0007] 根据示意性实施例，提供能够提取对图像变化稳健的特征点的特征点提取装置及 方法和利用其的用于分析内容在线流通情况的图像匹配系统。
[000引技术方案
[0009] 根据示意性实施例的特征点提取装置用于提取对图像变化稳健的特征点，且包 括:特征点提取单元，在图像作为特征点候选位置提取边角区域，在所述特征点候选位置提 取特征点;及特征点后处理单元，生成所述提取的特征点的特征点描述符。
[0010] 所述特征点提取单元可W从所述图像中计算在视窗移动之前的视窗内的像素值 的平均值与在视窗移动之后的视窗内的像素值的平均值的差异(平均值的变化），利用在所 述平均值的变化最大的方向上的平均值的变化量和在所述平均值的变化最小的方向上的 平均值的变化量决定所述边角区域。
[0011] 所述特征点提取单元可W在所述平均值的变化最大的方向上的平均值的变化量 和在所述平均值的变化最小的方向上的平均值的变化量分别超过预先设定的阔值时，将在 所述图像中的相当领域决定为所述边角区域。
[0012] 所述特征点提取单元可在所述图像的尺寸相同的状态下改变过滤器尺寸的 方式对所述图像适用所述过滤器，从而提取特征点候选位置。
[0013] 所述特征点提取单元可W将具有实数系数的过滤器转换成具有整数系数的正规 化过滤器，W改变所述正规化过滤器的尺寸的方式对所述图像的重叠图像适用所述过滤 器，从而提取特征点候选位置。
[0014] 通过对所述图像适用具有第一尺寸的过滤器来检测特征点候选位置时，所述特征 点提取单元在可W通过比较对所述图像适用所述具有第一尺寸的过滤器的图像与对所述 图像适用具有小于所述第一尺寸的第二尺寸的过滤器的图像及对所述图像适用具有大于 所述第一尺寸的第Ξ尺寸的过滤器的图像来，将所述检测的特征点候选位置最终决定为特 征点候选位置。
[0015] 所述特征点后处理单元可W向预先设定的方向排列所述特征点的主要方向性，生 成包括所述特征点与所述特征点邻近像素之间的关系信息的所述特征点描述符。
[0016] 所述特征点提取单元可在过滤器的尺寸相同的状态下改变所述图像的尺寸 的方式，对不同尺寸的各个图像适用所述过滤器，从而提取特征点候选位置。
[0017] 在所述图像为彩色图像时，所述特征点提取装置还可包括图像预处理单元，该图 像预处理单元对所述彩色图像进行光照补偿。
[0018] 所述图像预处理单元根据所述彩色图像中的颜色通道的通道比率可W适应性地 扩展各个颜色通道的动态范围。
[0019] 所述图像预处理单元可W对在所述彩色图像中通道比率最高的颜色通道计算扩 展参数(α)和移动参数(0)，然后使各个颜色通道的像素扩展到所述扩展参数(α)，且移动到 所述移动参数(β)。
[0020] 在所述图像为彩色图像时，所述特征点提取装置还可包括图像预处理单元，该图 像预处理单元将所述图像的空间从彩色空间转换成黑白空间。
[0021] 所述特征点提取装置还可包括图像预处理单元，该图像预处理单元将所述图像正 规化为预先设定的尺寸。
[0022] 所述特征点提取装置还可包括过滤单元，该过滤单元将所述图像通过低通滤波器 过滤后传递给所述特征点提取单元，而且，所述过滤单元可W适用高频补偿过波法，使得在 所述图像中保持所述边角区域。
[0023] 所述特征点提取装置还可包括特征点检索单元，该特征点检索单元在预先存储的 特征点中检索与第一特征点匹配的特征点。
[0024] 所述特征点检索单元可W对所述第一特征点的特征点描述符与所述预先存储的 特征点的各个特征点描述符进行比较，在预先存储的特征点中提取与所述第一特征点之间 的相似度大于或等于预先设定的阔值的特征点。
[0025] 所述特征点检索单元可W通过下述数学式1验证所述提取的特征点是否与所述第 一特征点匹配：
[0026] (数学式1)
[0027]
[00%]式中，SSD(fl、f2)为与检索请求特征点（fl)之间的相似度最高的特征点（f2)之间 的SSD(差值平方和，Sum of Squared Difference)，SSD(fl、f2'）为与检索请求特征点（fl) 之间的相似度第二高的特征点（f2 '）之间的SSD。SSD(η、f2 '）为与检索请求特征点（fl)之 间的相似度第二高的特征点(f 2 '）之间的SSD。
[0029] 根据示意性实施例的特征点提取方法用于提取对图像变化稳健的特征点，且包括 W下步骤:在特征点提取装置，作为图像的特征点候选位置提取边角区域;及在所述特征点 提取装置，生成在所述特征点候选位置提取的特征点的特征点描述符。
[0030] 提取所述特征点候选位置的步骤可W包括W下步骤:在所述特征点提取装置，从 所述图像中计算在视窗移动之前的视窗内的像素值的平均值与在视窗移动之后的视窗内 的像素值的平均值的差异(平均值的变化）；及在所述特征点提取装置，利用在所述平均值 的变化最大的方向上的平均值的变化量和在所述平均值的变化最小的方向上的平均值的 变化量决定所述边角区域。
[0031] 决定所述边角区域的步骤可W包括W下步骤:在所述特征点提取装置，在所述平 均值的变化最大的方向上的平均值的变化量和在所述平均值的变化最小的方向上的平均 值的变化量分别超过预先设定的阔值时，将在所述图像中的相当领域决定为所述边角区 域。
[0032] 取所述特征点候选位置的步骤可W包括W下步骤:在所述特征点提取装置，W在 所述图像的尺寸相同的状态下改变过滤器尺寸的方式对所述图像适用所述过滤器，从而提 取特征点候选位置。
[0033] 提取所述特征点候选位置的步骤可W包括W下步骤:在所述特征点提取装置，将 具有实数系数的过滤器转换成具有整数系数的正规化过滤器;及在所述特征点提取装置， W改变所述正规化过滤器的尺寸的方式对所述图像的重叠图像适用所述过滤器，从而提取 特征点候选位置。
[0034] 提取所述特征点候选位置的步骤可W包括W下步骤:在所述特征点提取装置，通 过对所述图像适用具有第一尺寸的过滤器来检测特征点候选位置;及在所述特征点提取装 置，通过比较对所述图像适用所述具有第一尺寸的过滤器的图像与对所述图像适用具有小 于所述第一尺寸的第二尺寸的过滤器的图像及对所述图像适用具有大于所述第一尺寸的 第Ξ尺寸的过滤器的图像来，将所述检测的特征点候选位置最终决定为特征点候选位置。
[0035] 生成所述特征点描述符的步骤可W包括W下步骤:在所述特征点提取装置，将所 述特征点的主要方向性设定为预先设定的方向，生成包括所述特征点与所述特征点邻近像 素之间的关系信息的所述特征点描述符。
[0036] 在提取所述特征点候选位置的步骤中，在所述特征点提取装置，可在过滤器 的尺寸相同的状态下改变所述图像的尺寸的方式，对不同尺寸的各个图像适用所述过滤 器，从而提取特征点候选位置。
[0037] 在所述图像为彩色图像时，在提取所述特征点候选位置的步骤之前，还可包括W 下步骤:在所述特征点提取装置，通过根据所述彩色图像中的颜色通道的通道比率适应性 地扩展各个颜色通道的动态范围来进行光照补偿。
[0038] 进行所述光照补偿处理的步骤可W包括W下步骤:在所述特征点提取装置，对在 所述彩色图像中通道比率最高的颜色通道计算扩展参数(α)和移动参数(β);及在所述特征 点提取装置，使各个颜色通道的像素扩展到所述扩展参数(〇)，且移动到所述移动参数(0)。
[0039] 在所述图像为彩色图像时，在提取所述特征点候选位置的步骤之前，还可包括W 下步骤:在所述特征点提取装置，将所述图像的空间从彩色空间转换成黑白空间。
[0040] 在提取所述特征点候选位置的步骤之前，还可包括W下步骤:在所述特征点提取 装置，将所述图像正规化为预先设定的尺寸。
[0041] 在提取所述特征点候选位置的步骤之前，还可包括在所述特征点提取装置，通过 低通滤波器对所述图像进行的过滤步骤，而且，所述过滤步骤可W包括适用高频补偿过波 法，使得在所述图像中保持所述边角区域的步骤。
[0042] 根据示意性实施例的用于分析内容在线流通情况的图像匹配系统包括:服务器计 算设备，在图像作为特征点候选位置提取边角区域，在所述特征点候选位置提取特征点，存 储所述特征点；及用户计算设备，发送包括从图像或所述图像中提取的特征点的图像检索 基本信息；其中，所述服务器计算设备在预先存储的特征点中检索与从所述图像检索基本 信息获得的检索请求特征点匹配的特征点，监测与预先存储的特征点对应的图像的检索次 数。
[0043] 发明的效果
[0044] 根据示意性实施例，根据各个颜色通道的通道比率适应性地扩展输入图像的动态 范围，进行将输入图像从彩色图像转换成黑白空间的预处理，从而，能够提取对光照变化稳 健的特征点。并且，通过进行将输入图像正规化为预先设定的尺寸的预处理，能够适当确保 从图像中提取的特征点的个数，并去除不必要的特征点。而且，通过低通滤波器对输入图像 进行过滤并适用高频补偿过波法，从而能够去除输入图像中所存在的斑点或噪声，同时，能 够保持可用作特征点的部分。
[0045] 并且，在生成不同尺寸的视窗后，将各个视窗适用于输入图像，W提取特征点候选 位置，从而，能够提取对于尺寸变化及视点变化等稳健的特征点。此时，通过将具有整数系 数的正规化过滤器适用于输入图像的重叠图像，即使过滤器(视窗）的尺寸变大，也能够防 止计算量增加，且可W迅速进行计算。并且，向预先设定的方向排列特征点的主要方向性， 生成特征点与特征点邻近像素之间的关系信息，从而，即使图像旋转，也能够在相当图像中 描述相同的特征点。
【附图说明】
[0046] 图1为示出根据示意性实施例的特征点提取装置的结构的附图。
[0047] 图2为示出对原图像(彩色图像)进行光照补偿处理的状态的附图。
[004引图3为示出对原图像(彩色图像）的各个颜色通道进行光照补偿处理的状态的直方 图。
[0049] 图4为示出根据本发明的示意性实施例的过滤单元的结构的框图。
[0050] 图5为用于说明根据本发明的实施例的特征点候选位置区域的附图。
[0051] 图6为示出一般高斯二次微分系数用过滤器的附图。
[0052] 图7为示出将一般高斯二次微分系数用过滤器转换成具有整数系数的正规化过滤 器的状态的附图。
[0053] 图8为示出根据示意性实施例的特征点提取方法的流程图。
[0054] 图9为示出根据示意性实施例的基于特征点的图像检索系统的附图。
[0055] 图10为示出根据示意性实施例的服务器计算设备的结构的框图。
[0056] 图11为示出根据示意性实施例的基于特征点的图像检索方法的流程图。
[0057] 图12为示出包括适合用于示意性实施例中的示意性计算设备的计算环境的附图。 [0化引标记说明
[0化9] 100:特征点提取装置
[0060] 102:图像预处理单元
[0061] 104:过滤单元
[0062] 106:特征点提取单元
[0063] 108:特征点后处理单元
[0064] 111:光照补偿单元 [00化]113:空间转换单元
[0066] 115:图像尺寸正规化单元
[0067] 121:过滤器单元 [006引123:减法器
[0069] 125:高频补偿过波单元
[0070] 127:合计器
[0071] 131:第一转换单元
[0072] 133:第二转换单元
[0073] 135:乘法器
[0074] 137:逆转换单元 [00巧]200:图像检索系统
[0076] 202、204:用户计算设备
[0077] 206:服务器计算设备
[0078] 211:通信单元
[00巧]213:图像注册单元
[0080] 215:特征点提取器
[0081] 217:图像检索单元
[0082] 219:监测单元
[0083] 221:数据库
【具体实施方式】
[0084] W下，将参照附图对本发明的【具体实施方式】进行描述。提供W下的详细说明，W助 于对所记载的方法、装置及/或系统的全面理解。然而，运只不过是示例，并且本发明不限于 此。
[0085] 在对本发明进行描述时，对与本发明相关的公知技术的具体描述被认为会使本发 明的主旨不清楚的情况下，省略其详细描述。并且，后述的术语作为考虑本发明中的功能而 定义的术语，可根据使用者、运用者的意图或者惯例等而不同。因此，其定义应基于贯穿整 个本说明书的内容而做出。详细说明中所使用的术语仅为了描述本发明的实施例，而不是 意图限制本发明。除非另外明确指出，否则单数形式也包括复数形式。在本说明中，诸如"包 含"或"包括"的术语旨在表示某个特征、数字、步骤、操作、元件、其中的一部分或者其组合， 但不应被解释为排除除此之外的一个或多个其它特征、数字、步骤、操作、元件、其中的一部 分或者其组合的存在或可能性。
[0086] 在下面的说明中，信号或信息的"传送"、"通信"、"发送"、"接收"及其他类似的术 语，不仅表示信号或信息从一个构件直接传递至其他构件，而且还表示通过其他构件传递。 尤其是，将信号或信息"传送"或"发送"至一个构件，是指其信号或信息的最终目的地，而非 直接目的地。运在信号或信息的"接收"中也一样。另外，在本说明书中，两个W上的数据或 信息"相关"，是指若获取一个数据(或信息），则可基于此获取其他数据(或信息）的至少一 部分。
[0087] 并且，在本说明书中记载的"第Γ、"第2"等只是用于区分相互不同的构成因素而 已，并不受限于制造的顺序，在发明的详细说明和权利要求书中其名称可能不会一致。
[0088] 本发明的实施例包括从在图像中提取特征点，基于所提取的特征点进行图像检索 的技术。而且，其包括尽管图像发生各种变化(例如，光照变化、尺寸变化、仿射(Affine)变 化、视点变化等)也能够提取相同或类似的特征点的技术。即，其包括提取对图像的变化稳 健的特征点的技术。
[0089] 图1为示出根据示意性实施例的特征点提取装置的结构的附图。
[0090] 参照图1，特征点提取装置100可W包括图像预处理单元102、过滤单元104、特征点 提取单元106及特征点后处理单元108。
[0091] 图像预处理单元102起对输入的图像下也称为"原图像"）进行预处理的作用。 如果输入图像为彩色图像，图像预处理单元102可W进行预处理操作，使得特征点提取单元 106提取对光照变化稳健的特征点。图像预处理单元102可W包括光照补偿单元111、空间转 换单元113及图像尺寸正规化单元115。
[0092] 如果输入到图像预处理单元102的图像为彩色图像，光照补偿单元111对输入图像 进行光照补偿处理操作。光照补偿单元111可W在空间转换单元113将原图像从彩色空间转 换成黑白空间之前通过光照补偿对原图像进行预处理。
[0093] 光照补偿单元111可W对原图像中的每个颜色通道进行直方图分析，从而在保持 通道比率的状态下扩展各个通道的动态范围。即，光照补偿单元111可W在原图像中根据各 个颜色通道的通道比率适应性地扩展各个通道的动态范围。关于光照补偿单元111对原图 像进行光照补偿处理的过程，参照图2及图3W下将进行详细说明。
[0094] 图2为示出对原图像(彩色图像)进行光照补偿处理的状态的附图，而图3为示出对 原图像(彩色图像）的各个颜色通道进行光照补偿处理的状态的直方图。具体而言，图2的 (a)为示出原图像的附图，而图3的(a)为示出原图像的每个颜色通道的像素值分布图的直 方图。图2的(b)为示出对原图像按每个颜色通道独立地扩展动态范围的状态的附图，而图3 的(b)为示出在使原图像按每个颜色通道独立地扩展动态范围时的每个颜色通道的像素值 分布图的直方图。图2的山)为示出使原图像根据各个颜色通道的通道比率适应性地扩展动 态范围的状态的附图，而图3的山)为示出在使原图像根据各个颜色通道的通道比率适应性 地扩展动态范围时的每个颜色通道的像素值分布图的直方图。
[00M]参照图2的(a)及图3的(a),在原图像的情况下，黄色或澄色类颜色较多，因此可确 定按R(红）、G(绿）、B(蓝)的各个颜色通道的像素值不均匀分布于动态范围。如上，在每个颜 色通道的像素值不均匀分布于在动态范围时（即，每个颜色通道的像素值集中于预定范围 时），限制从图像中提取特征点，因此，需要扩展每个颜色通道的动态范围。在此，动态范围 是指图像的各个像素值分布的范围，例如，动态范围可为0~255。
[0096] 参照图2的（b)及图3的化），可见在对原图像按每个颜色通道独立地扩展动态范围 后，原图像的色彩特征通过光照补偿发生变化。即，可见在对原图像的每个颜色通道独立地 进行转换W便尽可能均匀分布于动态范围后，蓝色类相对扩展得多，从而原图像变成了如 同稱色的照片一样。
[0097] 参照图2的（C)及图3的（C)，可见在对原图像根据各个颜色通道的通道比率适应性 地扩展动态范围后，保持着原图像的色彩特征（即，保持着原图像的各个颜色通道的通道比 率），每个颜色通道的像素值尽可能均匀分布于动态范围。
[0098] 如上，根据示意性实施例，为了保持原图像的色彩特征并每个颜色通道的像素值 尽可能均匀分布于动态范围，光照补偿单元111可W使原图像根据各个颜色通道的通道比 率适应性地扩展动态范围。
[0099] 光照补偿单元111通过利用如下述数学式1所示的线性变换式来可W使原图像根 据各个颜色通道的通道比率适应性地扩展动态范围。
[0100] (数学式1)
[0101]
[0102] 式中，α为扩展参数，是表示图像的各个像素需要扩展多少的参数。β为用于使图像 像素值整体上移动的移动参数。μ表示图像的平均像素值。σ表示图像的像素值的标准偏差。
[0103] 在示意性实施例中，通过将128(即，动态范围的中屯、值)输入到数学式1的Wdesired， 将80输入到Odesired来可W求取扩展参数α及移动参数0。
[0104] 光照补偿单元111可W通过在原图像中选择通道比率最高的颜色通道而计算所述 颜色通道的扩展参数α和移动参数β后将所述计算的扩展参数α和移动参数β适用到剩余颜 色通道来进行光照补偿处理。光照补偿单元111可W通过使各个颜色通道的像素的像素值 扩展到扩展参数α且移动到移动参数β来进行光照补偿处理。
[0105] 如果输入到图像预处理单元102的图像为彩色图像，空间转换单元113进行将原图 像的空间从彩色空间（例如，RGB颜色、CMYK颜色、Υ化化颜色、YUV颜色等)转换成黑白空间的 操作。空间转换单元113可W将在光照补偿单元111经过光照补偿处理的彩色图像的空间从 彩色空间转换成黑白空间。
[0106] 具体而言，即使摄影相同的对象、地点或人物，也根据光照变化而摄影图像的色彩 信息有相当部分会被歪曲。例如，即使摄影相同的对象、地点或人物，也根据如晴天、阴天、 暗天，夜间等摄影环境而摄影图像的色感差会显著出现。并且，如果用户通过Photoshop等 对摄影图像进行图像处理而发生光照变化，摄影图像的色彩信息会被歪曲。
[0107] 对此，空间转换单元113通过将原图像的空间从彩色空间转换成黑白空间来可W 使在特征点提取单元106提取对光照变化稳健的特征点。
[0108] 图像尺寸正规化单元115进行将输入到图像预处理单元102的图像正规化为预先 设定的尺寸的操作。如果输入到图像预处理单元102的图像为彩色图像，图像尺寸正规化单 元115就可W将在空间转换单元113转换成黑白空间的图像正规化为预先设定的尺寸。如果 输入到图像预处理单元102的图像的尺寸小于预先设定的尺寸，图像尺寸正规化单元115就 可W将输入图像扩大为预先设定的尺寸。如果输入到图像预处理单元102的图像的尺寸大 于预先设定的尺寸，图像尺寸正规化单元115就可W将输入图像缩小为预先设定的尺寸。
[0109] 通过将输入到图像预处理单元102的图像正规化为预先设定的尺寸，可W适当确 保从图像中提取的特征点的个数并去除不必要的特征点。即，通过将输入图像正规化为预 先设定的尺寸，可W提取图像的主要特征点并有效地去除图像中除了主要特征点之外的剩 余特征点。在此情况下，在特征点之间的匹配步骤中能够使特征点之间的匹配的可靠性保 持一定水平，并提高特征点之间的匹配速度。
[0110] 过滤单元104可W对输入图像进行过滤。过滤单元104可W过滤在图像预处理单元 102进行预处理的图像。过滤单元104通过对预处理的图像进行过滤来可W去除预处理的图 像中所存在的斑点或嗓音。为此，过滤单元104可W通过基于傅立叶的低通滤波器对预处理 的图像进行过滤。但，为了防止去除预处理的图像中可W用作特征点的区域，过滤单元104 可W适用高频补偿过波法。
[0111] 图4为示出本发明的根据示意性实施例的过滤单元的结构的框图。参照图4,过滤 单元104可W包括过滤器单元121、减法器123、高频补偿过波单元125及合计器127。
[0112] 过滤器单元121可W包括:第一转换单元131，将输入图像从空间区域转换成频率 区域;第二转换单元133,将低通滤波器从空间区域转换成频率区域;乘法器135,将分别转 换成频率区域的输入图像与低通滤波器进行相乘;及逆转换单元137,将从乘法器135输出 的图像从频率区域逆转换成空间区域。在此，第一转换单元131和第二转换单元133可W使 用FFT(快速傅里叶变换，Fast Fourier Transform)。逆转换单元137可W使用IFT(傅立叶 反变换，Inverse Fourier Transform)。如上，通过将输入图像和低通滤波器从空间区域转 换成频率区域后再进行逆转换，可W得到与在输入图像中将低通滤波器窗口 W每个窗口相 对前一个窗口滑动一个像素的方式滑动来计算（即，进行卷积计算)相同或类似的结果，从 而降低计算量。
[0113] 减法器123对在输入图像中通过过滤器单元121过滤的图像进行減算。高频补偿过 波单元125起在从减法器123输出的图像中保持高频成分（即，不是嗓声而是可W用作特征 点的区域)的作用。从而，能够通过低通滤波器去除嗓声等并保持可W用作特征点的部分。 由于高频补偿过波法是公知的技术，因此省略其详细说明。合计器127对在过滤器单元121 过滤的图像与从高频补偿过波单元125输出的图像进行相加。
[0114] 特征点提取单元106在输入图像中提取特征点。特征点提取单元106可W在从过滤 单元104(或图像预处理单元102)输入的图像中提取特征点。为了提取对图像变化(例如，旋 转及移动变化等)稳健的特征点，特征点提取单元106可W在输入图像中作为特征点候选位 置提取边角区域。
[0115] 图5为用于说明根据本发明的实施例的特征点候选位置区域的附图。参照图5的 (a )，在图像中特定尺寸的视窗10所处的区域向各个方向细微地移动视窗10时，在所有方向 上都不发生像素值的变化。运些区域称为平坦区域。
[0116] 参照图5的（b )，在视窗10所处的区域向各个方向细微地移动视窗10时，在上下方 向上不发生像素值的变化。运些区域称为边缘区域。在此，边缘区域不仅包括上下方向而且 包括在至少一个方向上不发生像素值的变化的区域。
[0117] 参照图5的（c)，在视窗10所处的区域向各个方向细微地移动视窗10时，在所有方 向上都发生像素值的变化。运些区域称为边角区域。在示意性实施例中，特征点提取单元 106可W将所述边角区域决定为特征点候选位置。
[0118] 特征点提取单元106可W从图像中计算在视窗移动之前的视窗内的像素值的平均 值与在视窗移动之后的视窗内的像素值的平均值的差异下也称为"平均值的变化"）。其 次，特征点提取单元106可W计算在平均值的变化最大的方向（X+)和平均值的变化最大的 方向上的平均值的变化量(λ+)。并且，特征点提取单元106可W计算在平均值的变化最小的 方向（Χ-)及平均值的变化最小的方向上的平均值的变化量(λ-)。特征点提取单元106可W 利用在平均值的变化最大的方向上的平均值的变化量(λ+)和在平均值的变化最小的方向 上的平均值的变化量(λ-)来在输入图像中能够区分平坦区域、边缘区域及边角区域。
[0119] 具体而言，如果在平均值的变化最大的方向上的平均值的变化量(λ+)和在平均值 的变化最小的方向上的平均值的变化量(λ-)没有差异或差异很小（即，λ+Νλ-)，特征点提 取单元106就可W将相当领域决定为平坦区域。并且，如果在平均值的变化最大的方向上的 平均值的变化量(λ+)和在平均值的变化最小的方向上的平均值的变化量(λ-)之间的差异 较大（即，λ+》λ-)，特征点提取单元106就可W将相当领域决定为边缘区域。另外，如果在平 均值的变化最大的方向上的平均值的变化量(λ+)和在平均值的变化最小的方向上的平均 值的变化量(λ-)都超过预先设定的阔值，特征点提取单元106就可W将相当领域决定为边 角区域。
[0120] 并且，为了提取对图像的变化稳健的特征点，特征点提取单元106可W通过在生成 不同尺寸的输入图像后适用相同尺寸的视窗来提取特征点候选位置。或者，特征点提取单 元106可W通过在生成不同尺寸的视窗后对输入图像适用各个视窗来提取特征点候选位 置。即，根据图像的尺寸，通过相同尺寸的视窗查看图像中所存在的对象时的对象的曲率会 不同。并且，根据视窗的尺寸，在相当图像中所存在的对象的曲率会不同。因此，为了提取对 如尺寸变化和视点变化等图像的变化稳健的特征点，特征点提取单元106可W通过在生成 不同尺寸的输入图像后适用相同尺寸的视窗来提取特征点候选位置或在生成不同尺寸的 视窗后对输入图像适用各个视窗来提取特征点候选位置。通过判断所提取的特征点候选位 置是否位于在输入图像中相同的位置来可W提取最终特征点候选位置。
[0121] 在此，对改变视窗的尺寸并将不同尺寸的视窗适用到各个输入图像的方法进行说 明。此时，视窗可W采用高斯过滤器或拉普拉斯过滤器等。然而，一般高斯过滤器或拉普拉 斯过滤器具有实数系数，因此过滤器的尺寸越大，其计算量指数性地增加。对此，特征点提 取单元106通过将提取特征点候选位置时所用的过滤器(视窗)转换成具有整数系数的正规 化过滤器后使用，即使过滤器的尺寸变大，也可W防止计算量增加。
[0122] 图6为示出一般高斯二次微分系数用过滤器的附图。在此，为了方便说明，仅示出 了对X方向和ΧΥ方向的过滤器。参照图8,作为过滤器采用的一般高斯过滤器对各个像素具 有不同的实数系数，因此需要大量的计算量。在此，颜色越明亮，具有+实数系数，而颜色越 暗，具有-实数系数。
[0123] 图7为示出将一般高斯二次微分系数用过滤器转换成具有整数系数的正规化过滤 器的状态的附图。在此，为了方便说明，仅示出了对X方向和ΧΥ方向的过滤器。参照图7,改良 高斯过滤器的具有整数系数的正规化过滤器可为将在一般高斯二次微分系数用过滤器具 有+实数系数的预定区域正规化为+整数系数区域，而将具有-实数系数的预定区域正规化 为-整数系数区域的过滤器。在此，即使过滤器的尺寸变化，具有整数系数的正规化过滤器 也可W被调节为使得+整数系数区域和-整数系数区域的比率相同。本领域的技术人员可对 +整数系数区域和-整数系数区域的整数值加 W适当修改。
[0124] 特征点提取单元106可W在求取输入图像的重叠图像后通过将具有整数系数的正 规化过滤器适用于重叠图像来提取特征点候选位置。重叠图像是被设置成使得与输入图像 相对应的像素的像素值具有从输入图像到相当像素的各个像素的像素值的总和值的图像。 如果利用运些重叠图像，就可W有效地计算在输入图像中的预定区域的面积。并且，通过使 用具有整数系数的正规化的过滤器，即使增加过滤器的尺寸并将各种过滤器适用于重叠图 像，也可W防止计算量增加。即，不受过滤器尺寸的影响，可W进行迅速计算。
[0125] 具体而言，如果在具有整数系数的正规化过滤器中将对X方向的过滤器适用于重 叠图像，利用+整数系数区域(两个区域)和-整数系数区域(一个区域)的面积值来可W求得 相当过滤值。例如，将两个+整数系数区域的面积值分别乘W1，将-整数系数区域的面积值 乘W -2，从而可W求得出相当过滤值。并且，如果在具有整数系数的正规化过滤器中将对XY 方向的过滤器适用于重叠图像，利用+整数系数区域(两个区域)和-整数系数区域(两个区 域)的面积值来可W求得相当过滤值。例如，将两个+整数系数区域的面积值分别乘W1，将 两个-整数系数区域的面积值乘W-1，从而可W求得出相当过滤值。
[0126] 在此，为了提取对尺寸变化稳健的特征点，在W改变视窗(过滤器）的尺寸的方式 适用于输入图像时，作为相当过滤器使用具有整数系数的正规化过滤器的情况为例进行说 明，但不限于此，在生成不同尺寸的输入图像后适用相同尺寸的视窗（过滤器)时也可W使 用所述具有整数系数的正规化过滤器。
[0127] 为了提取对尺寸变化和视点变化等稳健的特征点，在输入图像的尺寸相同的状态 下改变过滤器(例如，具有整数系数的正规化过滤器)的尺寸时，特征点提取单元106通过对 适用目前尺寸的过滤器(第一过滤器）（例如，9X9尺寸的过滤器）的图像和适用比目前的过 滤器尺寸小一个尺寸的过滤器(第二过滤器）（例如，7 X 7尺寸的过滤器）的图像及适用比目 前的过滤器尺寸大一个尺寸的过滤器(第Ξ过滤器）（例如，12 X 12尺寸的过滤器）的图像进 行比较来可W最终决定特征点候选位置。
[01%]具体而言，特征点提取单元106可W通过对输入图像适用9X9尺寸的第一过滤器 来在输入图像中检测特征点候选位置。此时，特征点提取单元106可W在将第一过滤器适用 于输入图像的图像下也称为"第一过滤器适用图像"）中确定特征点候选位置的位置。第 一过滤器适用图像可为对将第一过滤器的X方向过滤器适用于输入图像的图像、将第一过 滤器的Y方向过滤器适用于输入图像的图像及将第一过滤器的XY方向过滤器适用于输入图 像的图像进行合计的图像。由于输入图像的尺寸相同，在第一过滤器适用图像中特征点候 选位置的位置与在输入图像中的相当位置一致。
[0129]其次，特征点提取单元106可W对第一过滤器适用图像的特征点候选位置的值与 将7X7尺寸的第二过滤器适用于输入图像的图像下也称为"第二过滤器适用图像"）及 将12X12尺寸的第Ξ过滤器适用于输入图像的图像下也称为"第Ξ过滤器适用图像"） 的与所述特征点候选位置对应的位置的值进行比较。在此，如果第一过滤器适用图像的特 征点候选位置的值和在第二过滤器适用图像及第Ξ过滤器适用图像中与所述特征点候选 位置对应的位置的值的差异大于或等于预先设定的阔值，特征点提取单元106可W作为最 终特征点候选位置决定相当特征点候选位置。特征点提取单元106可W从特征点候选位置 提取特征点。
[0130] 如上，在输入图像的尺寸相同的状态下，W改变过滤器的尺寸的方式提取特征点 候选位置时，如果通过对适用目前尺寸的过滤器的图像(第一过滤器适用图像)和适用比目 前的过滤器尺寸小一个尺寸的过滤器的图像(第二过滤器适用图像)及适用比目前的过滤 器尺寸大一个尺寸的过滤器的图像(第Ξ过滤器适用图像)进行比较来提取特征点候选位 置，就可W确定为了能提取特征点候选位置对相当输入图像适用什么尺寸的过滤器。
[0131] 特征点后处理单元108可W对特征点提取单元106提取的特征点信息进行校正处 理。为了对旋转变化稳健的特征点，特征点后处理单元108可W对特征点提取单元106提取 的特征点信息进行校正处理。特征点后处理单元108可W包括描述符。描述符起生成特征点 描述符的作用。特征点描述符包括用于说明特征点的信息。例如，特征点描述符可W包括特 征点的主要方向性，特征点的在主要方向上的尺寸及特征点与特征点邻近像素之间的关系 ?目息等。
[0132] 特征点后处理单元108可W计算特征点提取单元106提取的特征点的主要方向性 及特征点的在主要方向上的尺寸。在此，在特征点从第一过滤器适用图像被提取时，特征点 后处理单元108可W利用第二过滤器适用图像和第Ξ过滤器适用图像来计算特征点的主要 方向性及特征点的在主要方向上的尺寸。具体而言，特征点后处理单元108可W通过将在第 一过滤器适用图像中特征点和与特征点邻近的区域下也称为"特征点有关区域"）的像 素值和在第二过滤器适用图像及第Ξ过滤器适用图像中与所述特征点有关区域对应的区 域的像素值表示在Ξ维坐标系上后，W相当特征点为基准合计各个像素值的向量来计算相 当特征点的主要方向性及特征点的在主要方向上的尺寸。特征点的主要方向性可W包括倾 斜度和角度。
[0133] 如上，在特征点从第一过滤器适用图像被提取时，通过利用第二过滤器适用图像 和第Ξ过滤器适用图像来计算特征点的主要方向性，从而可W立体(Ξ维）显示特征点的主 要方向性。但，其不限于此，也可W通过第一过滤器适用图像的特征点有关区域计算而平面 (二维)显示特征点的主要方向性。
[0134] 特征点后处理单元108可W通过描述符向预先设定的方向排列特征点的主要方向 性来进行描述。此时，描述符可W生成特征点与特征点邻近像素之间的关系信息（例如，特 征点之间的位置和距离等）。通过向预先设定的方向排列特征点的主要方向性，生成特征点 与特征点邻近像素之间的关系信息，即使图像旋转也可W在相当图像中描述相同的特征 点。即，即使图像旋转，也向预先设定的方向排列特征点的主要方向性，且通过所述关系信 息确定特征点与特征点邻近像素之间的关系，从而可W描述相当特征点，因此，可W生成对 旋转变化稳健的特征点描述符。
[0135] 另一方面，在此对特征点提取单元106和特征点后处理单元108相互分离的结构进 行说明，但不限于此，特征点后处理单元108可W包括于特征点提取单元106。并且，虽然在 此未示出，特征点提取装置100还可包括特征点检索单元。特征点检索单元（图中未示出）可 W在预先存储的特征点中检索与第一特征点匹配的特征点。预先存储的特征点可W存储在 特征点提取装置100的内部，也可W存储在特征点提取装置100的外部。在下述的图像检索 系统对与特征点检索有关的内容进行具体说明。
[0136] 根据示意性实施例，通过对输入图像根据各个颜色通道的通道比率适应性地扩展 各个颜色通道的动态范围，进行将输入图像从彩色图像转换成黑白空间的预处理，可W提 取对光照变化稳健的特征点。并且，通过进行将输入图像正规化为预先设定的尺寸的预处 理来可W适当确保从图像中提取的特征点的个数并去除不必要的特征点。并且，通过低通 滤波器对输入图像进行过滤并适用高频补偿过波法，从而能够去除在输入图像中所存在的 斑点或噪声并保持可W用作特征点的部分。
[0137] 并且，通过在生成不同尺寸的视窗后对输入图像适用各个视窗来提取特征点候选 位置，从而可W提取对尺寸变化和视点变化等稳健的特征点。此时，通过将具有整数系数的 正规化过滤器适用于输入图像的重叠图像，即使过滤器(视窗）的尺寸变大，也可W防止计 算量增加，且能够迅速地计算。而且，通过向预先设定的方向排列特征点的主要方向性，生 成特征点与特征点邻近像素之间的关系信息来，即使图像旋转也可W在相当图像中描述相 同的特征点。
[0138] 图8为示出根据示意性实施例的特征点提取方法的流程图。在示出的流程图中，通 过分成多个步骤来对所述方法进行说明，但，至少部分步骤可W调换顺序进行，或与其他步 骤结合进行，或省略，或分成具体步骤来进行，或附加图中未示出的至少一个步骤来进行。 并且，根据实施例，可W同时进行在所述方法中未显示的至少一个步骤与所述方法。
[0139] 参照图8,图像预处理单元102确定原图像是否为彩色图像(S101).作为结果步骤 S101的确定结果，如果原图像是彩色图像，图像预处理单元102就对原图像进行光照补偿处 理（S103)。图像预处理单元102可W在原图像中根据各个颜色通道的通道比率适应性地扩 展各个通道的动态范围。具体而言，图像预处理单元102通过在原图像中选择通道比率最高 的颜色通道且计算所述颜色通道的扩展参数α和移动参数β，使剩余的各个颜色通道的像素 的像素值扩展到扩展参数α，且移动到移动参数0，从而，可W根据各个颜色通道的通道比率 适应性地扩展各个通道的动态范围。
[0140] 其次，图像预处理单元102将光照补偿处理的彩色图像的空间从彩色空间转换成 黑白空间（S105)。从而，可W提取对光照变化稳健的特征点。
[0141] 接下来，图像预处理单元102将转换成黑白空间的图像正规化为预先设定的尺寸 (S107)。图像预处理单元102可W通过扩大或缩小转换成黑白空间的图像来将所述图像正 规化为预先设定的尺寸。从而，可W适当确保从图像中提取的特征点的个数并去除不必要 的特征点。
[0142] 作为步骤S101的确定结果，如果原图像不是彩色图像（即，如果原图像是黑白图 像），图像预处理单元102可W将原图像正规化为预先设定的尺寸。
[0143] 其次，过滤单元104对在图像预处理单元102预处理的图像进行过滤（S109)。过滤 单元104可W通过低通滤波器对预处理的图像进行过滤。但，为了防止去除在预处理的图像 中可W用作特征点的区域，可W适用高频补偿过波法。
[0144] 接下来，特征点提取单元106在输入图像中检测特征点候选位置(Sill)。特征点提 取单元106可W在输入图像中使边角区域检测为特征点候选位置。通过下述方法可W决定 在输入图像中哪一区域是边角区域。首先，特征点提取单元106可W在输入图像中计算在视 窗移动之前的视窗内的像素值的平均值和在视窗移动后的视窗内的像素值的平均值的差 异（W下也称为"平均值的变化"）。其次，特征点提取单元106可W计算平均值的变化最大的 方向（X+)及平均值的变化最大的方向上的平均值的变化量(λ+)。并且，特征点提取单元106 可W计算平均值的变化最小的方向（Χ-)和平均值的变化最小的方向上的平均值的变化量 (λ-)。接下来，特征点提取单元106可W通过利用平均值的变化最大的方向上的平均值的变 化量(λ+)和平均值的变化最小的方向上的平均值的变化量(λ-)来在输入图像中检测边角 区域。此时，如果平均值的变化最大的方向上的平均值的变化量(λ+)和平均值的变化最小 的方向上的平均值的变化量(λ-)都超过预先设定的阔值，特征点提取单元106就可W将相 当领域决定为边角区域。
[0145] 在输入图像中检测特征点候选位置时，为了提取对尺寸变化和视点变化等稳健的 特征点，特征点提取单元106可W在输入图像的尺寸相同的状态下，W改变视窗(过滤器)的 尺寸的方式对输入图像适用视窗。或者，可改变输入图像的尺寸的方式对各个输入图 像适用相同尺寸的视窗(过滤器）。特征点提取单元106可W在特征点候选位置提取特征点。
[0146] 其次，特征点后处理单元108通过对在特征点提取单元106提取的特征点进行校正 处理来生成特征点描述符(S113)。具体而言，特征点后处理单元108可W计算特征点的主要 方向性及特征点的在主要方向上的尺寸。接下来，特征点后处理单元108可W向预先设定的 方向排列特征点的主要方向性，生成包括特征点与特征点邻近像素之间的关系信息的特征 点描述符。由此，即使图像旋转，也可W在相当图像中描述相同的特征点。
[0147] 图9为示出根据示意性实施例的基于特征点的图像检索系统的附图。
[0148] 参照图9,图像检索系统200包括至少一个用户计算设备(例如，图9中示出的用户 计算设备202、204)及至少一个服务器计算设备(例如，图9中示出的服务器计算设备206)。 如图9所示，第一用户计算设备202及第二用户计算设备204通过如各个局域网化ocal Area 化twork: LAN)、广域网（Wide Area化twork: WAN)、蜂窝网络或互联网等网络250可通信地 连接至服务器计算设备206。各个用户计算设备202、204与服务器计算设备206之间的通信 可W基于通常的客户/服务器模式。用户计算设备202、204的例子可为例如手机、智能手机、 平板电脑、膝上型计算机等移动通信装置，但不限于此，而用户计算设备202、204包括可W 连接至服务器计算设备206的各种类型的无线通信装置及有线通信装置。服务器计算设备 206的例子包括各种类型的服务器计算机，例如，基于主机或基于开放系统的服务器计算 机。
[0149] 第一用户计算设备202可为用于将预定图像注册到服务器计算设备206的用户的 计算设备。第一用户计算设备202可W将图像注册请求发送到服务器计算设备206。图像注 册请求可W包括预定图像和图像有关信息（例如，图像生成日期和时间、相当图像的标题、 与相当图像的内容有关的信息、与相当图像链接的URL信息、与相当图像相关的商品信息 (产品名称、生产商、相关广告、使用后记、销售处等）、关于相当图像是否广告用图像的信息 等等）。图像注册请求可W包括多个图像。用户可W在多个图像中设定代表性图像。代表性 图像可为在所述多个图像中在其他用户检索图像时优先表示的图像。
[0150] 第一用户计算设备202可W将在第一用户计算设备202的存储器中所存储的图像 发送到服务器计算设备206来注册图像，或将从其他计算设备获得的图像发送到服务器计 算设备206来注册图像。第一用户计算设备202可W从服务器计算设备206接受图像注册结 果。第一用户计算设备202可W从服务器计算设备206接受关于注册的图像的检索明细信 息。第一用户计算设备202可W在注册预定图像时检索与相当图像相同或类似的图像是否 已经被注册。
[0151] 第二用户计算设备204可为用于通过服务器计算设备206检索在预定图像及图像 有关信息中至少一个的用户的计算设备。第二用户计算设备204可W将图像检索基本信息 发送到服务器计算设备206。图像检索基本信息可W包括预定图像、从预定图像中提取的特 征点信息及图像检索条件中的至少一个。图像检索条件可W包括按周期的检索、按人气顺 序的检索、按最新顺序的检索、广告与否区分广告用图像和非广告用图像的方式进行检 索）等。在此，在图像检索基本信息中所包含的图像可W是在第二用户计算设备204摄影的 图像，或在第二用户计算设备204的存储器中所存储的图像，或从其他计算设备获得的图 像。在第二用户计算设备204将从预定图像中提取的特征点信息发送到服务器计算设备206 的情况下，第二用户计算设备204可W包括特征点提取器。特征点提取器可为如图1所示的 特征点提取装置100,但不限于此。第二用户计算设备204可W从服务器计算设备206接受在 预定图像及图像有关信息中的至少一个。
[0152] W下，为了方便说明，W第一用户计算设备202是用于注册图像的用户的计算设 备，第二用户计算设备204是用于检索图像有关信息的用户的计算设备的情况为例进行说 明，但不限于此，而用户计算设备202、204当然是可W分别用于注册图像及/或检索图像有 关?目息。
[0153] 服务器计算设备206可W托管包括至少一个网页的网站。服务器计算设备206可W 通过网络250提供用户为了注册图像而可W访问的网页。服务器计算设备206可W通过网络 250提供用户为了检索图像有关信息而可W访问的网页。
[0154] 服务器计算设备206可W从第一用户计算设备202接受图像注册请求。服务器计算 设备206可W判断在图像注册请求中所包含的图像是否为可W注册的图像。例如，如果在图 像注册请求中所包含的图像为有害图像(例如，19岁W下禁止观看的图像等)或不能提取特 征点的图像，服务器计算设备206可W将所述图像判断为注册不可图像。如果在图像注册请 求所包含的图像为不可注册的图像，服务器计算设备206可W向第一用户计算设备202发送 注册不可提示信息。
[0155] 服务器计算设备206可W从在图像注册请求中所包含的图像提取特征点。服务器 计算设备206通过将关于提取的特征点的信息与在图像注册请求中所包含的图像有关信息 匹配并存储来可W向系统注册相当图像。服务器计算设备206可W将图像注册结果发送到 第一用户计算设备202。服务器计算设备206可W监测对注册图像的检索明细，然后将检索 明细信息发送到注册相当图像的第一用户计算设备202。
[0156] 如果在图像注册请求中所包含的图像是多个，服务器计算设备206就可W判断多 个各个图像是否为可W注册的图像。即，服务器计算设备206可W确定多个各个图像是否为 有害图像或可W提取特征点的图像，然后，如果多个图像都为有害图像或无法提取特征点 的图像，就可W向第一用户计算设备202发送注册不可提示信息。如果多个图像中至少一个 图像为可W注册的图像，服务器计算设备206就可W进行相当图像的图像注册步骤。服务器 计算设备206可W向第一用户计算设备202发送关于不可注册剩余的图像（即，注册不可图 像)的信息。
[0157] 服务器计算设备206在接受图像注册请求时，可W检索是否存在与在图像注册请 求中所包含的图像相同或类似的其它用户已经注册的图像。如果存在与在图像注册请求中 所包含的图像相同或类似的其它用户已经注册的图像，服务器计算设备206可W向第一用 户计算设备202通知相当事实。此时，服务器计算设备206可W向第一用户计算设备202询问 是否注册相当图像（即，即使存在相同或类似的其它用户已经注册的图像，也是否进行相当 图像的注册步骤）。
[0158] 服务器计算设备206在注册预定用户的图像时，可W使在已经注册的其他用户的 图像中与所述要注册的图像相同或类似的图像和所述要注册的图像链接。
[0159] 服务器计算设备206可W从第二用户计算设备204接受图像检索基本信息。如果特 征点信息包括在图像检索基本信息中，服务器计算设备206就可W检索与在图像检索基本 信息中所包含的特征点信息匹配的特征点，然后提取与所检索的特征点匹配并存储的图像 有关信息。服务器计算设备206根据在图像检索基本信息中所包含的图像检索条件可W检 索所述匹配的特征点。服务器计算设备206可W向第二用户计算设备204发送在与所检索的 特征点对应的图像及所述提取的图像有关信息中的至少一个。
[0160] 在图像检索基本信息不包含特征点信息而仅包含预定图像时，服务器计算设备 206可W从相当图像提取特征点，然后检索与所提取的特征点匹配的特征点。服务器计算设 备206可W包括特征点提取器，W便从图像中提取特征点。特征点提取器可为如图1所示的 特征点提取装置100,但不限于此。
[0161] 服务器计算设备206通过在图像检索基本信息中所包含的图像或特征点信息检索 图像时，根据与在图像检索基本信息中所包含的图像或特征点信息之间的相似度可W检索 多个图像。此时，可W根据所述相似度检索的图像分为多个组。例如，在所述相似度等于或 大于预先设定的第一阔值时，相当检索图像可W分为相同图像组，在所述相似度等于或大 于预先设定的第二阔值且小于第一阔值时，相当检索图像可W分为相似图像组。在此，W分 为相同图像组或相似图像组的情况为例进行了说明，但不限于此，可W分为其他多个步骤 的组。
[0162] 服务器计算设备206在向第二用户计算设备204发送对应于图像检索基本信息的 图像及图像有关信息时，可W同时发送与对应于所述图像检索基本信息的图像链接的图像 (即，与对应于图像检索基本信息的图像相同或类似的图像)及图像有关信息。例如，在用户 1已经注册A图像及A图像的图像有关信息，且用户2要注册与A图像相似的B图像及B图像的 图像有关信息时，服务器计算设备206在进行B图像的图像注册步骤时可W将与B图像相似 的A图像链接到B图像。另外，假设用户3发送包含C图像的图像检索基本信息，然后服务器计 算设备206检索与C图像对应的图像，结果，检索到B图像。则服务器计算设备206可W向用户 3发送B图像和与B图像链接的A图像。即，服务器计算设备206在检索与C图像对应的图像时， 即使仅检索到B图像而没有检索到A图像，也可W向用户3发送与B图像链接的A图像（即，与B 图像相似的图像）。
[0163] 服务器计算设备206可W监测注册的各个图像的检索次数。例如，服务器计算设备 206可W监测各个注册图像的按周期的检索次数、按地区的检索次数、按年龄的检索次数及 总检索次数中的至少一个。服务器计算设备206在向第二用户计算设备204发送与图像检索 基本信息对应的图像及图像有关信息时，可W根据所述检索次数W降序排列并发送相当图 像和图像有关信息。即，可W从所述检索次数最高的图像至最低的图像依次排列来发送图 像。服务器计算设备206可W周期性地更新注册的各个图像的检索次数。
[0164]服务器计算设备206可W按每个用户限制图像注册次数。例如，服务器计算设备 206可W按每个用户限制一天图像注册次数。如果预定用户注册的图像的总检索次数超过 预先设定的检索次数，服务器计算设备206可W提高相当用户的图像注册次数。
[01化]在此，服务器计算设备206可为SNS(社交网络服务，Social化twork Service)月良 务器。服务器计算设备206可W提供基于图像(更具体地，基于图像特征点）的SNS服务。即， 用户计算设备202、204的用户通过向服务器计算设备206运作的自己的SNS账户注册图像及 图像有关信息来可W共享所述图像及图像有关信息。并且，用户计算设备202、204的用户可 W通过服务器计算设备206检索其他用户注册的图像有关信息。如上，通过提供基于图像的 SNS服务，能够实现与语言不同的用户之间的顺杨沟通，没有另外信息而仅通过图像可容易 获得自己所需的信息。
[0166] 图10为示出根据示意性实施例的服务器计算设备的结构的框图。
[0167] 参照图10,服务器计算设备206可W包括通信单元211，图像注册单元213,特征点 提取器215,图像检索单元217,监测单元219及数据库221。
[0168] 通信单元211与用户计算设备202、204进行通信。通信单元211可W从用户计算设 备202、204接受图像注册请求。通信单元211可W从用户计算设备202、204接受图像检索基 本信息。通信单元211可W向用户计算设备202、204发送图像注册结果。通信单元211可W向 用户计算设备202、204发送在基于图像检索基本信息检索的图像及图像有关信息中的至少 一个。通信单元211可W向用户计算设备202、204发送对注册的图像的检索明细信息。
[0169] 图像注册单元213针对通信单元211接受的图像注册请求可W判断是否可W注册， 然后根据其结果可W进行图像注册操作或图像注册不可操作。图像注册单元213可W判断 是否可W注册在图像注册请求中所包含的图像及图像有关信息。在图像注册请求中所包含 的图像及图像有关信息与存储于数据库221中的有害内容信息相同或类似时，图像注册单 元213可W将所述图像注册请求判断为不可注册。并且，在从在图像注册请求中所包含的图 像无法提取特征点（例如，因图像本身太简单而无法提取特征点时或因图像损伤而无法提 取特征点时等)时，图像注册单元213可W将所述图像注册请求判断为不可注册。图像注册 单元213在将图像注册请求判断为不可注册时，可W通过通信单元211向用户计算设备202、 204发送注册不可提示信息。
[0170] 图像注册单元213在将所述图像注册请求判断为可W注册时，可W通过将从在图 像注册请求中所包含的图像中提取的特征点信息与相当图像及图像有关信息匹配并存储 来进行图像注册操作。图像注册单元213在预先设定的注册不可理由不包括图像注册请求 时可W将所述图像注册请求判断为可W注册。图像注册单元213在针对图像注册请求进行 图像注册操作时，可W通过通信单元211向用户计算设备202、204发送图像注册结果。
[0171] 如果在图像注册请求中所包含的图像是多个，图像注册单元213就可W判断多个 各个图像是否为可W注册的图像。如果多个图像都为注册不可图像，图像注册单元213就可 W通过通信单元211向用户计算设备202、204发送注册不可提示信息。如果多个图像中至少 一个图像为可W注册的图像，图像注册单元213就可W进行相当图像的图像注册步骤，并 且，通过通信单元211向用户计算设备202、204发送剩余的图像的注册不可提示信息。
[0172] 图像注册单元213在注册预定用户的图像时，可W使已经注册的其他用户的图像 中与所述要注册的图像相同或类似的图像和所述要注册的图像链接。
[0173] 图像注册单元213可W按每个用户限制图像注册次数。如果预定用户注册的图像 的总检索次数超过预先设定的检索次数，图像注册单元213可W提高相当用户的图像注册 次数。
[0174] 特征点提取器215可W从在图像注册请求中所包含的图像提取特征点。特征点提 取器215可W从在图像检索基本信息中所包含的图像提取特征点。在图像检索基本信息不 包含特征点信息而仅包含图像时，特征点提取器215可W从相当图像提取特征点。特征点提 取器215可W具有与如图1所示的特征点提取装置100相同或类似的构成。此时，特征点提取 器215可W提取对图像变化(例如，光照变化、尺寸变化、视点变化、旋转变化等)稳健的特征 点。特征点提取器215可W包括在如图1所示的特征点提取装置100中的特征点提取单元 106,且全部或部分包括其他剩余的构成。在从图像中无法提取特征点时，特征点提取器215 可W将其实事传递给图像注册单元213。
[0175] 图像检索单元217可W检索与检索请求的图像匹配的图像。在此，检索请求的图像 为在图像检索基本信息中所包含的图像或具有在图像检索基本信息中所包含的特征点的 图像。图像检索单元217可W从数据库221中检索在预先存储的图像中与检索请求的图像匹 配的（即，相同或类似的）图像。此时，图像检索单元217可W基于特征点检索图像。即，图像 检索单元217可W在已经注册的图像的特征点中检索与从在图像检索基本信息中所包含的 图像中提取的特征点或在图像检索基本信息中所包含的特征点下也称为"检索请求特 征点"）匹配的特征点。
[0176] 图像检索单元217可W对检索请求特征点的特征点描述符与已经注册的特征点的 各个特征点描述符进行比较，在已经注册的特征点中提取与检索请求特征点之间的相似度 大于或等于预先设定的阔值的特征点。在此，与特征点之间的相似度可W通过检索请求特 征点的特征点描述符和已经注册的特征点的各个特征点描述符之差的平方的和，即，SSD (差值平方和，S皿of Squared Difference)表示。SSD是一种距离函数，SSD值越小，表示检 索请求特征点与预定特征点之间的相似度越高。
[0177] 图像检索单元217可W验证所述提取的特征点（即，在已经注册的特征点中与检索 请求特征点之间的相似度大于或等于预先设定的阔值的特征点)是否与检索请求特征点匹 配。即，在提取仅通过与特征点之间的相似度可W匹配的特征点时，与检索请求特征点实际 不匹配的特征点会被提取，因此，图像检索单元217可W进行验证所述提取的特征点是否与 检索请求特征点匹配的操作。例如，在图像中包括重复的模式或相似的形状反复出现时，与 检索请求特征点实际不匹配的特征点会被提取。
[0178] 图像检索单元217通过下述数学式2可W确定相当特征点是否与检索请求特征点 实际匹配。
[0179] (数学式2)
[0180]
[0181]式中，SSD(fl、f2)为与检索请求特征点（fl)之间的相似度最高的特征点（f2)之间 的SSD(差值平方和，Sum of Squared Difference)，SSD(fl、f2'）为与检索请求特征点（fl) 之间的相似度第二高的特征点(f2'）之间的SSD。
[0182] 图像检索单元217根据数学式2(即
）的值可W确定相当特征 点是否为与检索请求特征点实际匹配的特征点。具体而言，在数学式2的值接近0的情况下， 图像检索单元217将特征点（f2)判断为与检索请求特征点（Π )实际不匹配的特征点，在数 学式2的值接近1的情况下，将特征点(f2)判断为与检索请求特征点(Π )实际不匹配的特征 点。
[0183] 图像检索单元217可W提取与检索请求特征点匹配的特征点，然后提取在与所提 取的特征点对应的图像及图像有关信息中至少一个。图像检索单元217可W通过通信单元 211向发送图像检索基本信息的用户计算设备202、204发送提取的图像及图像有关信息中 的至少一个。
[0184] 并且，图像检索单元217通过在图像检索基本信息中所包含的图像或特征点信息 检索图像时，根据与在图像检索基本信息中所包含的图像或特征点信息之间的相似度可W 检索多个图像。此时，图像检索单元217可W根据所述相似度将检索的图像分为多个组。
[0185] 例如，在所述相似度等于或大于预先设定的第一阔值时，相当检索图像可W分为 相同图像组，在所述相似度等于或大于预先设定的第二阔值且小于第一阔值时，相当检索 图像可W分为相似图像组。第一阔值及第二阔值可W根据与检索请求特征点匹配的特征点 的个数被设定。例如，第一阔值可W被设定为在与检索请求特征点匹配的特征点的个数为 100个时的值，第二阔值可W被设定为在与检索请求特征点匹配的特征点的个数为80个时 的值。据此，在与检索请求特征点匹配的特征点的个数大于或等于100个的图像的情况下， 图像检索单元217可W将相当图像分为相同图像组。在与检索请求特征点匹配的特征点的 个数大于或等于80个且小于100个的图像的情况下，图像检索单元217可W将相当图像分为 相似图像组。
[0186] 在通过通信单元211向用户计算设备202、204发送与图像检索基本信息对应的图 像及图像有关信息时，图像检索单元217可W同时发送与对应于所述图像检索基本信息的 图像链接的图像(即，与对应于图像检索基本信息的图像相同或类似的图像)和图像有关信 息。
[0187] 监测单元219可W监测已经注册的图像的按周期的检索次数、按地区的检索次数、 按年龄的检索次数、总检索次数中的至少一个。监测单元219可W按每个用户监测相当用户 的注册图像。监测单元219可W向注册相当图像的用户计算设备202、204发送监测结果（即， 检索明细信息）。监测单元219可W对在已经注册的图像中作为广告用图像注册的图像进行 监测。在向用户计算设备202、204发送与图像检索基本信息对应的图像及图像有关信息时， 图像检索单元217可W将相当图像和图像有关信息根据所述检索次数W降序排列并发送。
[0188] 数据库221可W存储判断为可W注册的图像及图像有关信息。数据库221可W将从 在图像注册请求中所包含的图像中提取的特征点信息与相当图像及图像有关信息匹配并 存储。数据库221可W存储有害内容信息。数据库221可W存储检索明细信息。
[0189] 图11为示出根据示意性实施例的基于特征点的图像检索方法的流程图。
[0190] 参照图11，服务器计算设备206确定由用户计算设备202、204是否发送图像注册请 求(S201)。图像注册请求可W包括预定图像和图像有关信息。
[0191] 作为步骤S201的确定结果，如果由用户计算设备202、204发送图像注册请求，服务 器计算设备206就判断是否可W注册图像注册请求(S203)。服务器计算设备206根据图像注 册请求是否具有预先设定的注册不可理由可W判断是否可W注册图像注册请求。
[0192] 作为步骤S203的判断结果，在图像注册请求判断为不可注册时，服务器计算设备 206向发送图像注册请求的用户计算设备202、204发送注册不可提示信息(S205)。在图像注 册请求中所包含的图像及图像有关信息与有害内容信息相同或相似，或从在图像注册请求 中所包含的图像无法提取特征点时，服务器计算设备206可W将相当图像注册请求判断为 不可注册。
[0193] 作为步骤S203的判断结果，在图像注册请求判断为可W注册时，服务器计算设备 206从在图像注册请求中所包含的图像提取特征点，然后通过使提取的特征点信息与相当 图像及图像有关信息匹配来进行图像注册操作(S207)。
[0194] 其次，服务器计算设备206确定从用户计算设备202、204是否接受图像检索基本信 息（S209)。图像检索基本信息可W包括预定图像、从所述图像中提取的特征点信息及图像 检索条件中的至少一个。
[01M]作为步骤S209的确定结果，如果从用户计算设备202、204接受图像检索基本信息， 服务器计算设备206就确定图像检索基本信息是否包括特征点信息(S211)。
[0196] 作为步骤S211的确定结果，如果图像检索基本信息不包括特征点信息，服务器计 算设备206就从在图像检索基本信息中所包含的图像提取特征点(S213)。
[0197] 作为步骤S211的确定结果，如果图像检索基本信息包括特征点信息，服务器计算 设备206就提取在已经注册的图像的特征点中与检索请求特征点相似的特征点（S215)。在 此，检索请求特征点可为从在图像检索基本信息中所包含的图像中提取的特征点或在图像 检索基本信息中所包含的特征点。具体而言，服务器计算设备206可W通过对检索请求特征 点的特征点描述符和已经注册的特征点的各个特征点描述符进行比较来可W提取在已经 注册的特征点中与检索请求特征点之间的相似度大于或等于预先设定的阔值的特征点。
[0198] 其次，服务器计算设备206验证所述提取的特征点（即，在已经注册的特征点中与 检索请求特征点之间的相似度大于或等于预先设定的阔值的特征点）是否与检索请求特征 点匹配(S217)。例如，服务
[0199] 器计算设备206可W根据
1-'的值确定相当特征点是否为与检索 请求特征点实际匹配的特征点。
[0200] 接下来，服务器计算设备206提取在对应于判断为与检索请求特征点匹配的特征 点的图像及图像有关信息中的至少一个，然后将其发送到发送图像检索基本信息的用户计 算设备 202、204(S219)。
[0201] 图12为示出包括适合用于示意性实施例中的示意性计算设备的计算环境的附图。
[0202] 图12中示出的示意性计算环境500包括计算设备510。在各种实施例中，计算设备 510的构成可W与为用户计算设备202、204的用户及为服务器计算设备206的操作员的构成 相同。并且，虽然下面未描述，但还可W包括适合于其构成的组件。因此，计算设备510可为 诸如服务提供者的服务器计算机、台式计算机、网络计算机、通用或特定用途的机器或其他 不同形态的计算设备等服务器计算设备(例如，服务器计算设备206)。并且，计算设备510可 为例如手机、智能手机、便携式媒体播放器，便携式游戏设备，PDA(个人数字助理，Personal Digital Assis化nt)，平板电脑、膝上型电脑、台式电脑等与用户相关的计算设备(例如，用 户计算设备202、204)。并且，特征点提取装置100也可W具有与计算环境500相同的构成。
[0203] 计算设备510包括至少一个处理器512、计算机可读存储介质514及总线560。处理 器512与总线560连接，总线560包括计算机可读存储介质514 W使计算设备510的其他不同 组件与处理器512连接。
[0204] 处理器512可W使计算设备510根据上面提到的示意性实施例进行操作。例如，处 理器512可W进行在计算机可读存储介质514中存储的计算机可执行的指令，在计算机可读 存储介质514中存储的计算机可执行的指令可W被配置为使得在通过通过处理器512进行 所述指令时由计算设备510进行预定的根据示意性实施例的操作。
[0205] 计算机可读存储介质514被配置为存储计算机可执行的指令或程序代码(例如，包 括于应用530中的指令）、程序数据(例如，通过应用530使用的数据)及/或其他适合形式的 信息。存储于计算机可读存储介质514中的应用530包括通过处理器512可W执行的指令的 预定的集合。
[0206] 图12中示出的存储器516和存储装置518是计算机可读存储介质514的一个例子。 存储器516可W加载通过处理器512可W执行的计算机可执行的指令。并且，在存储器516中 可W存储程序数据。例如，运些存储器516可为如随机存取存储器等易失性存储器、非易失 性存储器或其适当组合。作为另一个例子，存储装置518可W包括用于存储信息的至少一个 可拆卸或不可拆卸的组件。例如，存储装置518可为硬盘、闪存、磁盘、光盘、可W通过计算设 备510访问且能够存储所需的信息的其他形式的存储媒体或其适当组合。
[0207] 而且，计算设备510可W包括提供为至少一个输入/出装置570的接口的至少一个 输入/出接口 520。输入/出接口 520与总线560连接。输入/出装置570可W通过输入/出接口 520与计算设备510(的其他组件)连接。输入/出装置570可W包括如定点设备、键盘、触摸式 输入装置、语音输入装置、传感器设备及/或摄影装置等输入装置及/或如显示器、打印机、 音箱及/或网卡等输出装置。
[0208] 此外，一些实施例可包括具有用于在计算机上执行本说明书中记载的方法的程序 的计算机可读记录介质。所述计算机可读记录介质可单独地包括程序命令、本地数据文件、 本地数据结构等，或者包括它们的组合。所述计算机可读记录介质可W是为本发明而专口 设计并构成的介质。所述计算机可读记录介质的示例包括为了存储并执行程序命令而专口 构成的硬件装置:诸如硬盘、软盘及磁带的磁介质、诸如CD-R0M、DVD的光记录介质、诸如软 盘的磁光介质及R〇M、RAM、闪存等。程序命令的示例可包括：由编译器编写的机器语言代码 W及使用解释器等而由计算机来执行的高级语言代码。
[0209] 综上，通过代表性实施例对本发明进行了具体地说明，但本发明所属技术领域的 普通技术人员应当理解，在不脱离本发明的范围内能够进行各种变形。因此，本发明的权利 要求范围并非限定于所说明的实施例而规定，根据权利要求范围及与权利要求范围等同的 进行规定。
【主权项】
1. 一种特征点提取装置，用于提取对图像变化稳健的特征点，包括： 特征点提取单元，在图像作为特征点候选位置提取边角区域，在所述特征点候选位置 提取特征点;及 特征点后处理单元，生成所述提取的特征点的特征点描述符。2. 根据权利要求1所述的特征点提取装置，其中，所述特征点提取单元从所述图像中计 算在视窗移动之前的视窗内的像素值的平均值与在视窗移动之后的视窗内的像素值的平 均值的差异(平均值的变化），利用在所述平均值的变化最大的方向上的平均值的变化量和 在所述平均值的变化最小的方向上的平均值的变化量决定所述边角区域。3. 根据权利要求2所述的特征点提取装置，其中，所述特征点提取单元在所述平均值的 变化最大的方向上的平均值的变化量和在所述平均值的变化最小的方向上的平均值的变 化量分别超过预先设定的阈值时，将在所述图像中的相当领域决定为所述边角区域。4. 根据权利要求1所述的特征点提取装置，其中，所述特征点提取单元以在所述图像的 尺寸相同的状态下改变过滤器尺寸的方式对所述图像适用所述过滤器，从而提取特征点候 选位置。5. 根据权利要求4所述的特征点提取装置，其中，所述特征点提取单元将具有实数系数 的过滤器转换成具有整数系数的正规化过滤器，以改变所述正规化过滤器的尺寸的方式对 所述图像的重叠图像适用所述过滤器，从而提取特征点候选位置。6. 根据权利要求4所述的特征点提取装置，其中，在通过对所述图像适用具有第一尺寸 的过滤器来检测特征点候选位置时，所述特征点提取单元通过比较对所述图像适用所述具 有第一尺寸的过滤器的图像与对所述图像适用具有小于所述第一尺寸的第二尺寸的过滤 器的图像及对所述图像适用具有大于所述第一尺寸的第三尺寸的过滤器的图像来，将所述 检测的特征点候选位置最终决定为特征点候选位置。7. 根据权利要求1所述的特征点提取装置，其中，所述特征点后处理单元向预先设定的 方向排列所述特征点的主要方向性，生成包括所述特征点与所述特征点邻近像素之间的关 系信息的所述特征点描述符。8. 根据权利要求1所述的特征点提取装置，其中，所述特征点提取单元以在过滤器的尺 寸相同的状态下改变所述图像的尺寸的方式，对不同尺寸的各个图像适用所述过滤器，从 而提取特征点候选位置。9. 根据权利要求1所述的特征点提取装置，其中，在所述图像为彩色图像时，所述特征 点提取装置还包括图像预处理单元，该图像预处理单元对所述彩色图像进行光照补偿。10. 根据权利要求9所述的特征点提取装置，其中，所述图像预处理单元根据所述彩色 图像中的颜色通道的通道比率适应性地扩展各个颜色通道的动态范围。11. 根据权利要求10所述的特征点提取装置，其中，所述图像预处理单元对在所述彩色 图像中通道比率最高的颜色通道计算扩展参数(α)和移动参数(β)，然后使各个颜色通道的 像素扩展到所述扩展参数(α)，且移动到所述移动参数(β)。12. 根据权利要求1所述的特征点提取装置，其中，在所述图像为彩色图像时，所述特征 点提取装置还包括图像预处理单元，该图像预处理单元将所述图像的空间从彩色空间转换 成黑白空间。13. 根据权利要求1所述的特征点提取装置，其中，所述特征点提取装置还包括图像预 处理单元，该图像预处理单元将所述图像正规化为预先设定的尺寸。14. 根据权利要求1所述的特征点提取装置，其中，所述特征点提取装置还包括过滤单 元，该过滤单元将所述图像通过低通滤波器过滤后传递给所述特征点提取单元，而且，所述 过滤单元适用高频补偿过波法，使得在所述图像中保持所述边角区域。15. 根据权利要求1所述的特征点提取装置，其中，所述特征点提取装置还包括特征点 检索单元，该特征点检索单元在预先存储的特征点中检索与第一特征点匹配的特征点。16. 根据权利要求15所述的特征点提取装置，其中，所述特征点检索单元对所述第一特 征点的特征点描述符与所述预先存储的特征点的各个特征点描述符进行比较，在预先存储 的特征点中提取与所述第一特征点之间的相似度大于或等于预先设定的阈值的特征点。17. 根据权利要求16所述的特征点提取装置，其中， 所述特征点检索单元通过下述数学式1验证所述提取的特征点是否与所述第一特征点 匹配： (数学式1)式中，SSD(Π、f 2)为与检索请求特征点（f 1)之间的相似度最高的特征点（f 2)之间的 SSD(差值平方和，Sum of Squared Difference)，330(;1!!、€2'）为与检索请求特征点(;1!!)之 间的相似度第二高的特征点(f2'）之间的SSD。18. -种特征点提取方法，用于提取对图像变化稳健的特征点，包括以下步骤： 在特征点提取装置，作为图像的特征点候选位置提取边角区域;及 在所述特征点提取装置，生成在所述特征点候选位置提取的特征点的特征点描述符。19. 根据权利要求18所述的特征点提取方法，其中， 提取所述特征点候选位置的步骤包括以下步骤： 在所述特征点提取装置，从所述图像中计算在视窗移动之前的视窗内的像素值的平均 值与在视窗移动之后的视窗内的像素值的平均值的差异(平均值的变化）；及 在所述特征点提取装置，利用在所述平均值的变化最大的方向上的平均值的变化量和 在所述平均值的变化最小的方向上的平均值的变化量决定所述边角区域。20. 根据权利要求19所述的特征点提取方法，其中， 决定所述边角区域的步骤包括以下步骤： 在所述特征点提取装置，在所述平均值的变化最大的方向上的平均值的变化量和在所 述平均值的变化最小的方向上的平均值的变化量分别超过预先设定的阈值时，将在所述图 像中的相当领域决定为所述边角区域。21. 根据权利要求18所述的特征点提取方法，其中， 提取所述特征点候选位置的步骤包括以下步骤： 在所述特征点提取装置，以在所述图像的尺寸相同的状态下改变过滤器尺寸的方式对 所述图像适用所述过滤器，从而提取特征点候选位置。22. 根据权利要求21所述的特征点提取方法，其中， 提取所述特征点候选位置的步骤包括以下步骤： 在所述特征点提取装置，将具有实数系数的过滤器转换成具有整数系数的正规化过滤 器;及 在所述特征点提取装置，以改变所述正规化过滤器的尺寸的方式对所述图像的重叠图 像适用所述过滤器，从而提取特征点候选位置。23. 根据权利要求21所述的特征点提取方法，其中， 提取所述特征点候选位置的步骤包括以下步骤： 在所述特征点提取装置，通过对所述图像适用具有第一尺寸的过滤器来检测特征点候 选位置;及 在所述特征点提取装置，通过比较对所述图像适用所述具有第一尺寸的过滤器的图像 与对所述图像适用具有小于所述第一尺寸的第二尺寸的过滤器的图像及对所述图像适用 具有大于所述第一尺寸的第三尺寸的过滤器的图像来，将所述检测的特征点候选位置最终 决定为特征点候选位置。24. 根据权利要求18所述的特征点提取方法，其中， 生成所述特征点描述符的步骤包括以下步骤： 在所述特征点提取装置，将所述特征点的主要方向性设定为预先设定的方向，生成包 括所述特征点与所述特征点邻近像素之间的关系信息的所述特征点描述符。25. 根据权利要求18所述的特征点提取方法，其中， 在提取所述特征点候选位置的步骤中， 在所述特征点提取装置，以在过滤器的尺寸相同的状态下改变所述图像的尺寸的方 式，对不同尺寸的各个图像适用所述过滤器，从而提取特征点候选位置。26. 根据权利要求18所述的特征点提取方法，其中， 在所述图像为彩色图像时， 在提取所述特征点候选位置的步骤之前，还包括以下步骤： 在所述特征点提取装置，通过根据所述彩色图像中的颜色通道的通道比率适应性地扩 展各个颜色通道的动态范围来进行光照补偿。27. 根据权利要求26所述的特征点提取方法，其中， 进行所述光照补偿处理的步骤包括以下步骤： 在所述特征点提取装置，对在所述彩色图像中通道比率最高的颜色通道计算扩展参数 (α)和移动参数(β);及 在所述特征点提取装置，使各个颜色通道的像素扩展到所述扩展参数(α)，且移动到所 述移动参数(β)。28. 根据权利要求18所述的特征点提取方法，其中， 在所述图像为彩色图像时， 在提取所述特征点候选位置的步骤之前，还包括以下步骤： 在所述特征点提取装置，将所述图像的空间从彩色空间转换成黑白空间。29. 根据权利要求18所述的特征点提取方法，其中， 在提取所述特征点候选位置的步骤之前，还包括以下步骤： 在所述特征点提取装置，将所述图像正规化为预先设定的尺寸。30. -种用于分析内容在线流通情况的图像匹配系统，包括： 服务器计算设备，在图像作为特征点候选位置提取边角区域，在所述特征点候选位置 提取特征点，存储所述特征点;及 用户计算设备，发送包括从图像或所述图像中提取的特征点的图像检索基本信息； 其中，所述服务器计算设备在预先存储的特征点中检索与从所述图像检索基本信息获 得的检索请求特征点匹配的特征点，监测与预先存储的特征点对应的图像的检索次数。31. -种计算机可读存储介质，与硬件结合，存储有指令，其中， 在通过特征点提取装置的处理器执行所述指令时，使所述处理器执行以下操作： 在图像作为特征点候选位置提取边角区域;及 生成在所述特征点候选位置提取的特征点的特征点描述符。
【文档编号】G06K9/62GK106067024SQ201610203408
【公开日】2016年11月2日
【申请日】2016年4月1日 公开号201610203408.8, CN 106067024 A, CN 106067024A, CN 201610203408, CN-A-106067024, CN106067024 A, CN106067024A, CN201610203408, CN201610203408.8
【发明人】赵仁济, 裴基赫
【申请人】息科安宝