专利名称：用于根据条件自适应地执行图像匹配的方法、系统和计算机可读记录介质的制作方法
技术领域：
本发明涉及一种通过參考各种状况执行图像匹配的方法、系统和计算机可读记录介质；更具体而言，涉及通过识别输入图像中包括的主题(subject)的状况(包括拍摄距离、拍摄场所、拍摄时段等)，并且根据所识别出的状况在数据库中的所有參考图像中自适应地判定在图像匹配过程期间要与所述主题的输入图像进行比较的合格參考图像，更精确且更迅速地对所述主题执行图像匹配的方法、系统和计算机可读记录介质。
背景技术：
近来，由于包括数字照相机和移动电话的可用来拍摄图像的拍摄设备具有更多的智能功能，用户对其人工智能具有更高的期望。具体而言，已经嵌入了用于识别图像中出现的主题(例如人脸、建筑物等)的主题识别功能，作为这种拍摄设备的基本功能。考虑到难以 嵌入高性能微处理器的移动照相机设备的计算速度有限以及由于必须在这种设备中基本运行的其他处理器导致的计算负载，需要一种更高效的主题识别技木。作为图像中所包含的主题的识别技术，通常使用一种图像匹配技术，该图像匹配技术将在所述图像中检测到的主题与数据库中的參考图像进行比较，然后将包含与所述主题最类似的内容的最佳參考图像判定为匹配結果。根据该常规引入的图像匹配技术，由于不论主题的类型如何(例如在近距离内拍摄的人脸、远距离拍摄的建筑物等)，都必须在主题的图像和数据库中的所有參考图像之间进行图像匹配，所以计算量増加并且匹配速度下降。因此，需要一种用于提高主题识别中的准确度同时加快图像中所包括的主题的识别的新图像匹配技木，从而更加高效地识别图像中的主題。
发明内容
因此，本发明的目的是解决上述所有问题。本发明的另ー个目的是识别用于图像匹配的主题的状况，比如拍摄距离、拍摄场所、拍照时段等，因此在数据库中的所有參考图像中自适应地判定在图像匹配过程期间要与主题的输入图像进行比较的合格參考图像。根据本发明的ー个方面，提供了一种用于根据状况自适应地执行图像匹配过程的方法，包括如下步骤(a)识别输入图像中包括的主题的状況；以及(b)根据所识别出的状况，在数据库上存储的多个图像中选择包括至少ー个针对所述图像匹配过程要与所述主题的输入图像比较的图像的图像组，作为合格參考图像组；其中所述合格參考图像组中包括的图像根据所识别出的状况动态改变。根据本发明的另ー个方面，提供了一种用于根据状况自适应地执行图像匹配过程的系统，包括状况识别部件，用于识别输入图像中包括的主题的状況；以及合格參考图像判定部件，用于根据所识别出的状况，在数据库上存储的多个图像中选择包括至少ー个针对所述图像匹配过程要与所述主题的输入图像比较的图像的图像组，作为合格參考图像组；其中所述合格參考图像组中包括的图像根据所识别出的状况动态改变。
从结合附图给出的以下优选实施例描述，本发明的上述和其他目的和特征将变得显而易见，在附图中图I和图2是示范性示出根据本发明的示例实施例的图像匹配系统的内部配置的示图。图3是示范性示出了根据本发明的示例实施例的输入图像中包括的主题的示图。图4和图5是示范性示出了根据本发明的示例实施例的包括分别在白天和夜间拍摄的每个主题的图像的示图。
图6是示范性示出了根据本发明的示例实施例的用于确定參考图像的配置的示图。
具体实施例方式本发明的详细描述示出了可以參考附图执行本发明的具体实施例。在以下详细描述中，參考通过例示方式示出可以实践本发明的具体实施例的附图。充分详细地描述这些实施例，从而使得本领域的技术人员能够实践本发明。要理解的是，本发明的各个实施例尽管不同，但是不必相互排斥。例如，本文中结合一个实施例描述的特定特征、结构或特性可以在其他实施例中实施，而不会背离本发明的精神和范围。此夕卜，要理解的是，可以修改每个公开实施例内的个体元件的位置或布置，而不会背离本发明的精神和范围。因此，以下详细描述不被认为是限制性的，本发明的范围仅仅由合适解释的所附权利要求以及有资格作为权利要求的等价物的全部范围限定。在附图中，在若干示图中，类似的数字表示相同或类似的功能。用于实现本发明目的的本发明配置如下这里，參考图像表示数据库中存储的用于图像匹配过程的图像。在图像匹配过程期间可以将參考图像与主题的输入图像比较，由此检索包括与所述主题最类似的内容的最佳參考图像，作为图像匹配过程的結果。此外，输入图像可能是已经完成拍摄或在实际拍摄图像之前以预览状态显示于屏幕上的数字数据。图像匹配系统的配置下面是对ー种图像匹配系统的内部配置和组件的详细说明，所述组件执行它们的重要功能来实现本发明。根据本发明的示例实施例，可以采用具有存储模块以及具备计算能力的微处理器的设备作为图像匹配系统100，比如个人计算机(例如桌面计算机、膝上型计算机等)、服务器、工作站、PDA、上网平板(web pad)、蜂窝电话或照相机设备。图I是示范性示出根据本发明的示例实施例的图像匹配系统的内部配置的示图。參见图1，根据本发明的示例实施例的图像匹配系统100可以包括状况识别部件
110、合格參考图像判定部件120、数据库130、通信部件140和控制部件150。根据本发明的示例实施例，状况识别部件110、合格參考图像判定部件120、数据库130、通信部件140和控制部件150中的至少ー些可以是与外部系统(未示出)通信的程序模块。所述程序模块可以以操作系统、应用程序模块和其他程序模块的形式包括在图像匹配系统100中，也可以物理地存储在若干存储设备上。此外，所述程序模块可以存储在可与图像匹配系统100通信的远程存储设备上。所述程序模块可以包括但不限于用于执行具体操作的例程、子例程、程序、对象、组件和数据结构或稍后将根据本发明描述的特定类型的抽象数据。首先，根据本发明的示例实施例的状况识别部件110可以执行识别输入图像中包括的主题的状况的功能。简而言之，它可以识别包括拍摄该主题的位置和该主题的实际位置之间的距离、拍摄该主题的场所以及拍摄该主题时的时段等的状况，由此支持合格參考图像判定部件120自适应地确定在图像匹配过程期间要与所述主题的输入图像进行比较的合适的參考图像，即所谓的合格參考图像。參见图2，根据本发明的示例实施例的状况识别部件110可以包括距离识别部件
111、场所识别部件112和时间识别部分113。对于包含主题的输入图像，距离识别部件111可以执行识别该主题的拍照位置和该主题的实际位置之间的距离的功能。通常，主题的拍照位置和主题的实际位置之间的距离可能取决于主题的类型。例如，比如钢笔和书本等小尺寸主题倾向于在ー米以内的近距离进行拍摄，而比如人和车辆等中等尺寸主题倾向于在I米到10米范围内进行拍摄。另外，比如建筑物和风景等大尺寸主题倾向于在距离拍照场所几十或几百米的场所进行拍摄。此外，如果针对主要在近距离或中等距离进行拍摄的主题(包括人、车辆等)执行图像匹配过程，则由于该主题的深度不大，所以比如仿射变换等平面型图像匹配技术是可用的。然而，对于主要在远距离进行拍摄的大尺寸主题(比如建筑物、风景等)的图像匹配过程，由于主题的深度大，仿射变换等可能不可用。取而代之，可以应用參考主题中包括的重复性图案(例如，建筑物中包括的多个窗ロ)的非平面型匹配技术(例如，街景使用中的匹配过程)。如果自适应地判定了合格參考图像或考虑上述倾向根据主题的距离应用不同的图像匹配技木，则可以高效地执行针对主题的图像匹配过程。为此，根据本发明的示例实施例的距离识别部件111可以识别主题的拍摄位置和主题的实际位置之间的距离。如上所述，必须使用距离识别技术来使得距离识别部件111识别输入图像中所包括的主题的拍摄位置和该主题的实际位置之间的距离。作为距离识别技术，可以參考作者为 Ashutosh Saxena 和另外两个人的题为 “Depth Estimation Using Monocular andStereo Cues”的论文(该论文的全部内容可以认为已经并入本文中)。在该论文中，利用关于拍摄图像的纹理变化、影像模糊、焦点变化、具体主题的已知尺寸等的信息描述了用于测量单目图像或立体图像的深度的方法。当然，适用于本发明的距离识别技术不是仅限于本文中描述的技木，并且它能够通过应用各个示例再现本发明。根据本发明的示例实施例，作为用于识别主题距离的距离识别技术，也可以考虑根据拍摄设备的详细运动參考输入图像中的主题的位置、尺寸等的变化程度来识别主题的拍照位置和实际位置之间距离的技木。換言之，根据拍摄设备的运动，在所拍摄的图像中，被放置为相对于更靠近拍摄位置的主题的尺寸、位置等会有相对较大的变化，而根据拍摄设备的运动，在所拍摄的图像中，被放置为远离拍摄位置的主题的尺寸或位置会有相对较小的变化。考虑到这些点，可以识别主题的拍摄位置与主题的实际位置之间的距离。图3是示范性示出了根据本发明的示例实施例的输入图像中所包括的主题的示图。參见图3，输入图像可以包括作为主题的书本310和作为主题的建筑物320，书本310位于距离拍摄位置较近的位置处，建筑物320位于距离拍摄位置较远的位置处。根据本发明的示例实施例的距离识别部件111可以估计并识别拍摄位置和书本310之间的距离以及拍摄位置和建筑物320之间的距离，由此自适应地确定要与输入图像中的包括书本310的第一区域进行比较的第一合格參考图像，以及要与输入图像中的包括建筑物320的第二区域进行比较的第二合格參考图像。接着，场所识别部件112可以执行识别主题被拍摄的场所(即主题拍摄场所的类型)的功能。从经验情况来看，在特定场所拍摄的图像可以包括位于该特定场所的可能性高的主题。例如，室内拍摄的图像很可能包括比如桌子等主题，而室外拍摄的图像很可能包括 比如山脉、海洋、建筑物等主题。地下拍摄的图像很可能包括比如照明设备、电梯等主题，而地面拍摄的图像很可能包括比如建筑物、汽车等主題。考虑到以上状况，如果根据主题被拍摄的场所(S卩，主题拍摄场所的类型)的信息自适应地判定合格參考图像，则可以更高效地执行主题的图像匹配过程。为此，根据本发明的示例实施例的场所识别部件112可以识别主题的拍摄场所。如上所述，必须使用场所识别技术由场所识别部件112来识别主题的输入图像被拍摄的场所(即，主题拍摄场所的类型)。作为场所识别技木，将參考由Ariadna Quattoni和另一人在 2009 年的 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)上共同发表的题为“Recognizing Indoor Scenes”的论文(该论文的全部内容可以认为都已并入本文中)。该论文描述了如何考虑图像的总体特性或其中的主题的类型来识别图像所描绘的景物。当然，适用于本发明的场所识别技术不是仅限于该论文所描述的方法，并且它能够通过应用各个示例再现本发明。作为识别主题被拍摄的场所(即主题拍摄场所的类型)的方法的另ー示例，根据本发明的示例实施例的场所识别部件112可以參考照相机设备所接收的无线信号(例如GPS信号等)来识别主题的拍摄场所(即，主题的位置)。例如，如果GPS等的无线信号的強度超过预定值，则判定该场所在地面或室外，而如果其小于预定值，则可以判定该场所在地下或室内。此外，可以通过检查自然光等有多强来判断主题是在地下还是在室内。根据本发明的示例实施例，时间识别部件113可以执行识别主题被拍摄时的时段的功能。通常，即使存在分别包括相同主题的图像，在白天和在夜间拍摄的图像中出现的相同主题的各自的外观也会非常不同。考虑到以上状况，根据本发明的示例实施例的时间识别部件113可以识别主题在何时拍摄，以便根据主题的拍摄时间在数据库130中的所有參考图像中自适应地判定在图像匹配过程期间要与主题的输入图像进行比较的合格參考图像，从而更高效地执行图像匹配过程。图4和图5是示范性示出了根据本发明的示例实施例的分别在白天和在夜间拍摄的包括相同主题的图像的示图。从图4和图5的各自图像中检测到的主题特征用红十字标记示出。參见图4和图5，即使在白天和在夜间拍摄的各自的图像中包括相同主题，也可以确认在白天拍摄的图像中出现的主题特征与在夜间拍摄的图像中出现的主题特征不同。根据本发明的示例实施例的合格參考图像判定部件120可以执行如下功能根据由状况识别部件110识别出的主题状况(或条件)，在数据库130中的參考图像中，自适应地确定要与主题的输入图像进行比较的合格參考图像。简而言之，根据本发明的示例实施例的合格參考图像判定部件120可以仅仅将数据库130上存储的多个图像中与该状况对应的图像判定为要用于图像匹配过程的合格參考图像，由此能够更迅速地得出图像匹配过程的结果。更优选地，根据本发明的示例实施例的合格參考图像判定部件120可以基于主题的拍照位置和主题的实际位置之间的距离确定合格參考图像。例如，一方面，在近距离拍摄到的主题的情况下，可以将数据库130上存储的多个參考图像中的在近距离拍摄到的可能性高的參考图像(比如钢笔、书本和人等)确定为合格參考图像。另ー方面，在远距离拍摄到 的主题的情况下，可以将数据库130上存储的多个參考图像中的在远距离拍摄到的可能性高的那个(那些)參考图像(比如建筑物、风景等)确定为合格參考图像。这里，基于到拍摄点的距离为变量的假设，作为示例提到了将距离范围分为两个范围(即近距离和远距离)的状况，但不仅仅限于此。例如，作为示例可以说明如下情况可以如下面所示将距离范围分成三个范围。具体而言，作为要与被识别为在距离拍摄点ー米之内的主题“A”的输入图像进行比较的合格參考图像，可以选择在大致ー米的近距离内拍摄到的可能性高的包含小尺寸主题(比如钢笔、书本等)的參考图像。此外，作为要与被识别为在距离拍摄点I米到10米的范围内的主题“B”的输入图像进行比较的合格參考图像，可以选择在距离拍摄点I米到10米的范围内拍摄到的可能性高的包含中等尺寸主题(比如人、车辆等)的參考图像。此夕卜，作为要与被识别为在距离拍摄点超过10米的范围内的主题“C”的输入图像进行比较的合格參考图像，可以选择在超过几十或几百米的范围内拍摄到的可能性高的包含大尺寸主题(比如建筑物、风景等)的參考图像。此外，根据本发明的示例实施例的合格參考图像判定部件120可以基于主题被拍摄的场所的类型来判定合格參考图像。例如，对于在地下拍摄的主题，可以从合格參考图像中排除掉数据库130上存储的多个參考图像中的在地下拍摄到的可能性低的图像，比如地面建筑的图像。对于在室内拍摄的主题，可以从合格參考图像中排除掉数据库130上存储的多个參考图像中的在室内拍摄到的可能性低的图像，比如车辆的图像。此外，根据本发明的示例实施例的合格參考图像判定部件120可以基于主题被拍摄的时间来确定合格參考图像。例如，对于在白天拍摄的主题，可以将数据库130上存储的多个參考图像中的在白天拍摄的图像确定为合格參考图像。对于在夜间拍摄的主题，可以将数据库130上存储的多个參考图像中的在夜间拍摄的图像，确定为合格參考图像。为了使合格參考图像判定部件120的上述配置成为可能，根据本发明的示例实施例的数据库130可以存储多个參考图像，该多个參考图像与对应着这些參考图像各个状况的信息链接，更具体而言，各个图像可以根据它们的对应状况的信息有差别地存储在数据库130上。这里，与各个參考图像链接并被存储的状况信息可以包括拍摄距离、拍摄场所、拍摄时段等。根据本发明，数据库130不仅是狭义上而且是广义上的数据库概念，包括基于计算机文件系统的数据记录等。从这个方面，必须明白的是，即使是ー组简单的操作处理日志，如果可以从该组简单的操作处理日志中提取数据，则该组简单的操作处理日志也可以是本发明中的数据库。此外，根据本发明的示例实施例的数据库130可以由本领域的技术人员配置成包括在图像匹配系统100中或与图像匹配系统100分离。图6是示范性示出了根据本发明的示例实施例的用于确定合格參考图像的配置的示图。參见图6，可以假设针对分别包括在三个不同输入图像中的主题A 610、B 620和C 630执行图像匹配过程。更具体地讲，參见图6，对于在50厘米范围内拍摄的主题A 610，可以将数据库130中的多个參考图像中的包含在近距离内拍摄到的可能性高于预定阈值
的主题(比如钢笔或书本)的部分615中的图像确定为合格參考图像。继续參见图6，对于在地面拍摄的主题B 620，可以将数据库130中的多个參考图像中的包含在地面上拍摄到的可能性高于预定阈值的主题(比如建筑物或风景)的部分625中的图像确定为合格參考图像。还參见图6，对于在15 00到18 00的时段内拍摄的主题C 630，可以将数据库130中的多个參考图像中的包括在该时段内拍摄到的主题的部分635中的ー些图像，确定为合格參考图像。接着，根据本发明的示例实施例的通信部件140可以执行如下功能指示图像匹配系统100与移动通信服务器(未示出)、网络服务器(未示出)或其他外部设备进行通信。最后，根据本发明的示例实施例的控制部件150可以执行如下功能在状况识别部件110、合格參考图像判定部件120、数据库130和通信部件140之间对数据流进行控制。简而言之，控制部件150可以控制来自外部的或图像匹配系统的组件之间的数据流，并允许状况识别部件110、合格參考图像判定部件120、数据库130和通信部件140执行它们独特的功能。根据本发明，在对图像中所包括的主题执行图像匹配过程的情况下，根据诸如主题的拍摄距离、拍摄场所、拍摄时段等状况，可以从数据库130上的所有參考图像中自适应地选择仅仅一部分图像作为合格參考图像。因此，可以使主题的图像匹配更精确且更迅速地进行。可以通过各种计算机模块以可记录到计算机可读介质上的可执行程序命令的形式来实现本发明的实施例。计算机可读介质可以单独包括程序命令、数据文件和数据结构或包括上述的组合。记录到介质上的程序命令可以是为本发明专门设计的组件，或可被计算机软件领域的技术人员所用。计算机可读记录介质包括比如硬盘、软盘、磁带等磁性介质，比如⑶-ROM和DVD等光学介质，比如floptical盘的磁光介质以及专门设计成存储和执行程序的比如R0M、RAM和闪速存储器等硬件设备。程序命令不仅包括由编译器制成的机器语言代码，而且包括可由解释程序(interpreter)使用的高级代码，所述代码由计算机执行。上述硬件设备能够作为多于ー个软件模块来工作，以执行本发明的动作，相反，多于ー个软件模块能够作为上述硬件设备来工作，以执行本发明的动作。尽管已经參考优选实施例示出和描述了本发明，但是本领域的技术人员将要理解的，可以在不背离下述权利要求限定的本发明的精神和范围的情况下，进行各种变化和修改。因此，一定不能将本发明的思想限于所说明的实施例，以下专利权利要求以及包括与专利权利要求相同或等价的变化的每样东西都属于本发明思想的范畴。
权利要求
1.一种用于根据状况自适应地执行图像匹配过程的方法，包括如下步骤 (a)识别输入图像中包括的主题的状况；以及 (b)根据所识别出的状况，在数据库上存储的多个图像中选择包括至少一个针对所述图像匹配过程要与所述主题的输入图像比较的图像的图像组，作为合格参考图像组； 其中所述合格参考图像组中包括的图像根据所识别出的状况动态改变。
2.根据权利要求I所述的方法，其中，所述主题的状况包括以下参数中的至少一个参数所述主题的拍摄位置和所述主题的实际位置之间的距离、所述主题的拍摄场所的类型和所述主题的拍摄时间。
3.根据权利要求I所述的方法，其中，在步骤(a)中，识别与所述主题的拍摄位置和所述主题的实际位置之间的距离对应的距离范围，在步骤(b)中，将所述数据库上存储的图像中的与所识别出的距离范围对应的至少一个图像选择为包括在所述合格参考图像组中。
4.根据权利要求3所述的方法，其中，在步骤(b)中，要被用于所述图像匹配过程的合格参考图像组包括在所识别出的距离范围中所包括的范围上被拍摄到的概率高于预定阈值的主题的图像。
5.根据权利要求I所述的方法，其中，在步骤(a)中，识别与所述输入图像的拍摄场所对应的场所范围，在步骤(b)中，将所述数据库上存储的图像中的与所识别出的场所范围对应的至少一个图像选择为包括在所述合格参考图像组中。
6.根据权利要求5所述的方法，其中，基于拍摄设备接收到的GPS(全球定位系统)信号的强度，识别所述主题的拍摄场所。
7.根据权利要求5所述的方法，其中，在步骤(b)中，所述合格参考图像组包括在所识别出的场所范围被拍摄到的概率高于预定阈值的主题的图像。
8.根据权利要求I所述的方法，其中，在步骤(a)中，识别与所述输入图像的拍摄时间对应的时间范围，在步骤(b)中，将所述数据库上存储的图像中的与所识别出的时间范围对应的至少一个图像选择为包括在所述合格参考图像组中。
9.根据权利要求I所述的方法，其中，所述输入图像包括已经拍摄的图像以及在拍摄之前以预览状态显示于屏幕上的图像中的至少一种图像。
10.根据权利要求I所述的方法，在步骤(a)之前，还包括如下步骤构建数据库，在所述数据库上存储与所述状况的信息链接的至少一个图像。
11.一种用于根据状况自适应地执行图像匹配过程的系统，包括 状况识别部件，用于识别输入图像中包括的主题的状况；以及 合格参考图像判定部件，用于根据所识别出的状况，在数据库上存储的多个图像中选择包括至少一个针对所述图像匹配过程要与所述主体的输入图像比较的图像的图像组，作为合格参考图像组； 其中所述合格参考图像组中包括的图像根据所识别出的状况动态改变。
12.根据权利要求11所述的系统，其中，所述主题的状况包括以下参数中的至少一个参数所述主题的拍照位置和所述主题的实际位置之间的距离、所述主题的拍摄场所的类型和所述主题的拍摄时间。
13.根据权利要求11所述的系统，其中，所述状况识别部件识别与所述主题的拍摄位置和所述主题的实际位置之间的距离对应的距离范围；并且所述合格参考图像判定部件选择所述数据库上存储的图像中的与所识别出的距离范围对应的至少一个图像，以包括到所述合格参考图像组中。
14.根据权利要求13所述的系统，其中，要被用于所述图像匹配过程的合格参考图像组包括在所识别出的距离范围中所包括的范围内被拍摄到的概率高于预定阈值的主题的图像。
15.根据权利要求11所述的系统，其中，所述状况识别部件识别与所述输入图像的拍摄场所对应的场所范围，所述合格参考图像判定部件选择所述数据库上存储的图像中的与所识别出的场所范围对应的至少一个图像，以包括到所述合格参考图像组中。
16.根据权利要求15所述的系统，其中，所述状况识别部件基于拍摄设备接收到的GPS(全球定位系统)信号的强度，识别所述主题的拍摄场所。
17.根据权利要求15所述的系统，其中，所述合格参考图像组包括在所识别出的场所范围被拍摄到的概率高于预定阈值的主题的图像。
18.根据权利要求11所述的系统，其中，所述状况识别部件识别与所述输入图像的拍摄时间对应的时间范围，所述合格参考图像判定部件选择所述数据库上存储的图像中的与所识别出的时间范围对应的至少一个图像，以包括到所述合格参考图像组中。
19.根据权利要求11所述的系统，其中，所述输入图像包括已经拍摄的图像以及在拍摄之前以预览状态显示于屏幕上的图像中的至少一种图像。
20.根据权利要求11所述的系统，其中，所述数据库上存储与关于所述状况的信息链接的至少一个图像。
21.一种记录计算机可读程序来执行根据权利要求I到10的任一项所述的方法的介质。
全文摘要
本发明涉及一种根据状况自适应地执行图像匹配过程的方法。该方法包括如下步骤(a)识别输入图像中包括的主题的状况；以及(b)根据所识别出的状况，在数据库上存储的多个图像中选择包括至少一个针对图像匹配过程要与所述主题的输入图像比较的图像的图像组，作为合格参考图像组；其中所述合格参考图像组中包括的图像根据所识别出的状况动态改变。
文档编号H04N5/262GK102792675SQ201080059282
公开日2012年11月21日 申请日期2010年12月23日 优先权日2009年12月24日
发明者周燦真, 柳重熙, 金泰勳 申请人:Olaworks株式会社