电子装置及其控制方法与流程

本公开涉及一种电子装置及其控制方法。更具体地，本公开涉及一种能够基于标记信息检索期望图像的电子装置及其控制方法。

背景技术：

随着计算机技术的发展，用户能够容易地通过诸如智能电话的存储器搜索期望的内容。典型地，用户通过将与数据相关的关键字输入到搜索栏或选择由智能电话的系统提供的关键字之一来搜索数据。例如，当用户希望找到的数据是图像时，智能电话可基于标记到图像的信息来执行图像搜索。标记到图像的信息可以是图像的拍摄时间、拍摄地点等信息。最近，用于标记图像中的特定对象或特定人的识别信息的技术被广泛使用。

用户需要检索和收集期望的信息，但是问题在于用户需要审阅大量的关键字来选择信息，或者需要花太多的时间从被提供为搜索结果的大量信息中选出信息。

具体地，搜索结果中常常会错失无标记信息的一些图像，例如无拍摄位置、拍摄时间等标记信息的图像。

另外，根据用户输入的关键字被提供作为搜索结果的大量图像使得用户要用附加的关键字再次进行信息的搜索。因此，使用户不易快速、方便地搜索到期望的图像。

由此，对用于精确且无错失地检索图像的方法和能快速、方便地分类和显示搜索结果的搜索界面存在增长的需求。

上面的信息仅作为背景信息给出以帮助理解本发明。对于以上任意内容是否适用于作为本公开的现有技术未作出判定或断言。

技术实现要素：

本发明的各个方面是至少解决上面提及的问题和/或缺点和至少提供下面描述的优点。由此，本公开的一个方面是提供一种能够提供搜索界面的电子装置及其控制方法，该搜索界面基于图像的上下文信息根据用户的意图检索图像且快速、方便地提供用户想要的图像。

根据本公开的一个方面，提供了一种电子装置，该装置包括相机、存储器和处理器，该处理器被配置为将由相机拍摄的图像和图像的元数据存储到存储器中，该处理器还被配置为识别是否可获得与图像相关的第一信息、基于不能获得第一信息而基于第二信息生成与第一信息相关的元数据并将生成的元数据存储为图像的元数据。

各个方面部分在下面的描述中阐述、部分根据描述变得明显或可通过所给出的实施方式的实践学习到。

第二信息可包括由相机拍摄的至少一个其它图像，处理器还被配置为从至少一个其它图像的元数据获得与第一信息相关的元数据并基于获得的元数据生成与第一信息相关的元数据。

第一信息可包括与图像的拍摄位置相关的信息，其中处理器还被配置为基于图像的元数据识别图像的拍摄时间并且基于识别出的拍摄时间是在至少一个其它图像之中的拍摄位置匹配的第一图像和第二图像各自的拍摄时间之间从而基于第一图像和第二图像各自的拍摄位置而生成与第一信息相关的元数据。

第二信息可包括电子装置与接入点(ap)之间的连接信息和从外部服务器接收的在商店的支付信息中的至少一个。

第一信息可包括与图像的拍摄位置相关的信息，处理器还被配置为检索ap的位置和商店的位置中的至少一个位置并基于检索到的至少一个位置生成与第一信息相关的元数据。

元数据可包括图像的拍摄位置、拍摄时间、以及拍摄对象的识别数据中的至少一个。

处理器还可被配置为基于图像的元数据识别图像的拍摄时间、检索在以图像的拍摄时间为基础的第一预定时间内获得的第二信息、以及基于不能从检索到的第二信息获得与第一信息相关的元数据执行对在超过第一阈值时间的第二阈值时间内获得的第二信息的附加搜索。

基于第二信息的类型，第一阈值时间和第二阈值时间可彼此不同。

根据本公开的另一方面，提供了一种电子装置。该装置包括显示器、输入单元、存储器和处理器，该处理器被配置为基于通过输入单元接收的用于检索图像的询问通过显示器显示交互式界面，从存储在存储器中的多个图像中识别包含满足询问中的搜索准则的元数据的第一图像，在不具有与搜索准则相关的元数据的图像之中识别在以第一图像被拍摄的时间的预定时间内拍摄的第二图像、或在以第一图像被拍摄的位置为基础的预定距离内拍摄的第二图像，并控制显示器显示包括识别出的第一图像和第二图像的搜索结果。

处理器还可被配置为将满足搜索准则的元数据存储为识别出的第二图像的元数据。

处理器还可被配置为基于识别出的第一图像和第二图像的元数据将识别出的第一图像和第二图像分成多个类别并且控制显示器显示用于选择所分的多个类别的询问消息。

根据本公开的另一方面，提供了一种方法。该方法包括控制电子装置，该方法包括：存储由相机拍摄的图像和图像的元数据；识别是否可获得与图像相关的第一信息；基于不能获得第一信息，基于第二信息生成与第一信息相关的元数据；以及将生成的元数据附加地存储为图像的元数据。

第二信息可包括由相机拍摄的至少一个其它图像，其中生成元数据包括从至少一个其它图像的元数据获得与第一信息相关的元数据并且基于获得的元数据生成与第一信息相关的元数据。

第一信息可包括与图像的拍摄位置相关的信息，其中生成元数据包括基于图像的元数据识别图像的拍摄时间并且基于识别出的时间是在至少一个其它图像之中的拍摄位置彼此匹配的第一图像和第二图像各自的拍摄时间之间、基于第一图像和第二图像各自的拍摄位置生成与第一信息相关的元数据。

第二信息可包括电子装置与接入点(ap)之间的连接信息和从外部服务器接收的在商店的支付信息中的至少一个。

第一信息可包括与图像的拍摄位置相关的信息，其中生成元数据包括检索ap的位置和商店的位置中的至少一个位置以及基于检索到的至少一个位置生成与第一信息相关的元数据。

元数据可包括图像的拍摄位置、拍摄时间、以及拍摄对象的识别数据中的至少一个。

生成元数据可包括：基于图像的元数据识别图像的拍摄时间；检索在以图像的拍摄时间为基础的第一阈值时间内获得的第二信息；以及基于无法从检索到的第二信息获得与第一信息相关的元数据，执行对在超过第一阈值时间的第二阈值时间内获得第二信息的附加搜索。

根据本公开的另一方面，提供了一种方法。该方法包括控制电子装置，该方法包括：显示交互式界面；接收用于检索图像的询问；从多个预存储的图像识别包含满足询问中的搜索准则的元数据的第一图像；在不具有与搜索准则相关的元数据的图像之中识别在以第一图像被拍摄的时间为基础的预定时间内拍摄的第二图像、或在以第一图像被拍摄的位置为基础的预定距离内拍摄的第二图像；以及显示包括识别出的第一图像和第二图像的搜索结果。

该方法还可包括将满足搜索准则的元数据存储为识别出的第二图像的元数据。

该方法还可包括基于识别出的第一图像和第二图像的元数据将识别出的第一图像和第二图像分为多个类别并显示用于选择所分的多个类别的询问消息。

根据上述的各种实施方式，用户可根据用户的搜索意图快速、方便地检索期望的图像并被提供给精确的搜索结果。

根据下面的描述，本公开的其它方面、优点的显著特征对本领域技术人员而言将变得明显，其中下面的描述结合附图公开了本公开的各种实施方式。

附图说明

根据结合附图进行的下面描述，本公开的某些实施方式的以上和其它的方面、特征和优点将更明显，在附图中：

图1a和图1b是示出根据本公开的实施方式的传统图像检索方法产生的问题的视图；

图2是示出根据本公开的一个实施方式的电子装置的配置的示意性框图；

图3是解释根据本公开的实施方式的元数据存储方法的示意图；

图4是解释根据本公开的实施方式的元数据存储方法的详细视图；

图5是示出根据本公开的另一实施方式的电子装置的配置的示意性框图；

图6、图7和图8是示出根据本公开的各种实施方式的搜索界面屏幕的视图；

图9是示出根据本公开的实施方式的电子装置的配置的详细框图；

图10是解释根据本公开的一个实施方式的电子装置的控制方法的流程图；

图11是解释根据本公开的另一实施方式的电子装置的控制方法的流程图；

图12是解释根据本公开的实施方式的提供搜索界面的搜索结果的方法的流程图。

在整个附图中将理解相似的参考标号指向相似的零件、组件和结构。

具体实施方式

下面参考附图的描述被提供以帮助全面理解由权利要求及其等同限定的本公开的各种实施方式。它包含各种具体细节以帮助理解但是仅被认为是示例性的。由此，本领域技术人员将认识到可在不偏离本公开的范围和精神的前提下对本文中描述的各种实施方式进行各种改变和修改。另外，为了清楚和简洁，已知的功能和结构的描述可被省略。

下面描述和权利要求中使用的术语和词语不限于书面含义，但是仅由发明人用于清楚、一致地理解本公开。由此，对本领域技术人员而言应该明显的是，下面对本公开的各种实施方式的描述被提供仅用于说明而非用于限制由所附权利要求及其等同限定的本公开。

将理解，单数形式“一个(a)”、“一个(an)”和“所述(the)”包括复数指示物，除非上下文清楚地另有指示。因此，例如，对“组件表面”的引用包括对所述表面的一个或多个的引用。

本公开不限于下面公开的实施方式并可以各种形式实现，本公开的范围不受限于下面的实施方式。另外，从权利要求及其等同的含义和范围得到的所有改变和修改应该被解释为包含在本公开的范围内。在下面的描述中，公众知晓但与本公开的主旨不相干的配置可被省略。

例如“第一”、“第二”等的术语可用于描述各种元件，但是元件不应该受限于这些术语。术语是简单用于区分一个元件与另一个元件的标签。这些序数词的使用不应该被解释为限制术语的含义。例如，与这些序数词相关联的组件不应该受限于使用顺序、布置顺序等。如有必要，各个序数词可互换使用。

单数表达也包括复数含义，只要它不在上下文中含义不同。在本说明书中，诸如“包括”和“具有”的术语被解释为指示在说明书中存在特征、数字、操作、元件、组件或其组合，不排除其它特征、数字、操作、元件、组件或其组合中的一个或多个的存在或添加的可能性。

在实施方式中，“模块”、“单元”或“零件”执行至少一个功能或操作，并且可被实现为诸如处理器或集成电路的硬件、由处理器执行的软件、或它们的组合。另外，多个“模块”、多个“单元”或多个“零件”可被集成到至少一个模块或芯片中并且可被实现为除了应该在特定硬件中实现的“模块”、“单元”或“零件”以外的至少一个处理器。

下文将参考附图详细描述本公开的实施方式从而本领域技术人员能够容易地实施本公开。然而，本公开可以以许多不同的形式实施并且不限于本文中描述的实施方式。为了在附图中清楚地说明本公开，为了清晰，不是完整理解本公开所必需的一些元件被省略，并且在说明书中相似的参考标号指向相似的元件。

下文将参考附图更详细地描述本公开。

图1a和图1b是示出根据本公开的实施方式的传统图像检索方法产生的问题的视图。

参考图1a和图1b，相机拍摄的图像(照片、视频等)可以用元数据格式存储拍摄相关的信息。例如，拍摄的图像可以用元数据格式存储特定的附加信息，诸如相机制造商、相机型号、拍摄日期、图像尺寸、曝光时间(快门速度)、拍摄程序、镜头焦距、光圈打开值(f值)等。元数据格式在数字相机中使用并且可被实施为可交换图像文件(exif)格式。

元数据的实施例还可包括图像的拍摄位置、图像中的对象的识别数据和用户生成数据。

图像的拍摄位置可通过卫星从诸如全球定位系统(gps)的位置检测传感器接收、或者通过识别图像中的对象所处的地点而识别出。图像中的对象的识别数据可指识别出诸如人、动物、建筑等的各种对象的数据。

例如，当联系人应用包括使“cheolsu”与“cheolsu”的面部图像匹配的信息且cheolsu的面部从拍摄的图像被识别时，cheolsu的识别数据可被存储为拍摄的图像的元数据。另外，用户直接将“cheolsu”与拍摄的图像中的“cheolsu”的面部图像匹配的用户生成数据可被存储为拍摄的图像的元数据。用户生成数据可以是由用户手动创建的数据，并且可包括由用户创建用以描述拍摄的图像的文本等。

参考图1a，如果由包括数字相机的电子装置(例如，便携式相机、智能电话、pda、平板pc、笔记本等)拍摄了图像，则拍摄位置21、拍摄日期/时间22、对象识别数据23、用户生成数据24等可被存储为拍摄的图像10的元数据20。

用户可通过使用与拍摄的图像一起存储的元数据来检索图像。例如，当用户将待被检索的图像的信息(拍摄、拍摄位置等)输入到由电子装置提供的搜索界面作为搜索关键字时，电子装置可分析预存储的图像的元数据，并提供具有与搜索关键字匹配的元数据的图像作为搜索结果。

例如，当用户将命令“请找到去年夏天cheolsu的照片”输入到由电子装置提供的交互式搜索界面时，具有与诸如“去年夏天”和“cheolsu”的关键字匹配的拍摄日期和对象识别数据作为元数据的图像可被显示为搜索结果。在此情况中，可预先设置夏天的时段。例如，如果设置6月到8月为夏天，则在6月到8月期间拍摄且包括cheolsu的面部的识别数据的图像可被选择。

同时，特定元数据可能从自动存储到拍摄的图像中的元数据丢失，或者错误的元数据可能包含在拍摄的图像中。例如，考虑下面这些情况，在电子装置的位置检测传感器未工作(例如，关机状态)的状态中拍摄图像、或者在位置检测传感器工作(例如，开机状态)但未正确地从卫星接收到位置信息的状态中拍摄图像。当位置检测传感器未工作时，图像被拍摄的位置的元数据可能未被存储。另外，由于诸如gps的位置检测传感器基于室外地点追踪位置，因此当图像在难以与卫星通信的地点(诸如建筑内、高层建筑之间等)被拍摄时，错误的位置信息可能被存储为拍摄的图像中的元数据。在此情况中，使用自动存储的元数据检索图像的方法在获得精确的搜索结果方面具有局限性。

在更具体的示例中，参考图1b，当搜索去年在海滩拍摄的特定照片时，用户可通过由电子装置执行的搜索应用提供的搜索界面输入包含与待被检索的图像相关的线索的问题诸如“请找到去年在海滩拍摄的照片”。在此情况中，可基于指定时间和位置的两条线索诸如“去年”和“海滩”检索图像，但是可能提供包括满足时间信息“去年”的元数据和满足位置信息“海滩”的元数据的图像作为搜索结果。

然而，如图1b的图像30所示，当与海滩相关的对象的识别数据或与拍摄位置即海滩相关的元数据未包含在图像30内时，搜索结果可能会错失图像30。与海滩相关的对象的示例可包括诸如海、白沙、贝壳、海星、棕榈树等各种对象。另外，可被指定为海滩的拍摄位置的元数据可包括由gps传感器检测到的诸如与马尔代夫海滩、科帕卡巴纳海滩、长滩岛海滩等对应的经度和维度的位置数据。指示特定地点的通用名称(或地点名称)与位置数据之间的匹配信息可被存储在电子装置中或从外部服务器接收。

参考图1b，尽管图像30包括与拍摄日期/时间相关的元数据，但是可能未包括用于将拍摄位置识别为“海滩”的元数据例如由gps传感器检测的位置数据或用于将拍摄位置识别为“海滩”的对象识别数据。因此，可能会将图像30排除在搜索结果外。

由此，用户可能发现难以搜索到图像30。

因此，本公开可提供一种用于精确地提供用户期望的图像的方法，即使特定的元数据从拍摄的图像丢失时亦如此。

<基于上下文的元数据自动标记法>

图2是示出根据本公开的实施方式的电子装置的配置的示意性框图。

参考图2，电子装置100可被实施为诸如pda、pmp、智能电话、平板pc、个人计算机、笔记本电脑、可穿戴式数字电子装置等的各种电子装置。

电子装置100可包括相机110、存储器120和处理器130。

相机110可拍摄图像。特别地，相机110可将对象的图像转换成电子信号，然后将电子信号转换成数字信号以将数字信号存储到存储器120中。

存储器120可被配置为存储拍摄的图像。存储器120可被实施为包括硬盘驱动器(hdd)、固态驱动器(ssd)、dram存储器、sram存储器、fram存储器或闪存存储器的各种存储媒体。

处理器130可被配置为控制电子装置100的整体操作。具体地说，处理器130可将由相机110拍摄的图像和图像的元数据存储到存储器120中。元数据可被标记到图像。

处理器130可识别是否能够获得与图像相关的第一信息，如果不能，则基于第二信息生成与第一信息相关的元数据并将生成的元数据存储为图像的元数据。

第一信息可以是与图像中未包括的元数据相关的信息。

第二信息可以指当图像被拍摄时的上下文，并且可包括相机110拍摄的至少一个其它图像、与电子装置100执行的操作有关的信息、存储在电子装置100中的信息(诸如电子装置100与接入点(ap)之间的连接信息、从外部服务器接收的在商店的支付信息等)等。

根据实施方式，如上所述，当拍摄的图像(下文称为第一图像)包括与拍摄日期时间相关的元数据但是拍摄的图像不包括拍摄位置时，处理器130可基于第一图像的元数据识别第一图像的拍摄时间，并基于在以识别出的拍摄时间为基础的预定时间段内拍摄的至少一个其它图像(下文称为第二图像)的拍摄位置生成与第一图像的拍摄位置相关的元数据。

处理器130可识别在第一图像被拍摄的时间之前和之后的预定时间段内拍摄的至少一个第二图像，并将与识别出的第二图像中的与拍摄位置相关的元数据存储到拍摄的第一图像中。

例如，当第一图像在2017年8月10日下午3:00拍摄、且在以2017年8月10日下午3:00为基础的30分钟内即下午2:30至下午3:30之间拍摄的第二图像是在巴黎埃菲尔铁塔附近拍摄的图像时，第一图像可能也是在巴黎埃菲尔铁塔附近拍摄的(至少离巴黎埃菲尔铁塔不远)。

处理器130可获得与第二图像的拍摄位置(巴黎埃菲尔铁塔附近)相关的元数据，并将获得的元数据存储为第一图像的元数据。如果下午2:30到下午3:30拍摄了多个其它图像，则可将多个其它图像之一的拍摄位置存储为与第一图像的拍摄位置相关的元数据。在此情况中，希望将在离第一图像被拍摄的时间点最近的时间点拍摄的另一图像的拍摄位置存储为与第一图像的拍摄位置相关的元数据。

具体地，当第一图像的拍摄时间是在第二图像的拍摄时间与第三图像的拍摄时间之间且第二图像的拍摄位置和第三图像的拍摄位置彼此匹配时，处理器130可基于第二图像和第三图像的拍摄位置生成与第一图像的拍摄位置相关的元数据。

例如，如果分别在下午2:50和下午3:05拍摄的第二图像和第三图像包括与相同拍摄位置(巴黎埃菲尔铁塔附近)相关联的元数据，则强烈地识别到第一图像于下午3:00在巴黎埃菲尔铁塔附近被拍摄。该实施方式将在下面参考图3和图4进行详细描述。

当识别到拍摄的图像不包括与拍摄位置相关的元数据时，处理器130可通过使用与电子装置100相连的ap信息来识别图像被拍摄时电子装置的位置，并将识别出的位置存储为与拍摄的图像的拍摄位置相关的元数据。使用诸如3g、lte、wibro、wi-fi等的各种类型的无线通信信号可通过安装在每个区域的ap被提供给电子装置100使得电子装置100可访问无线网络。处理器130可基于与电子装置100连接的ap的记录来揭示图像被拍摄时ac的位置，并将揭示的ap位置存储为与拍摄的图像的拍摄位置相关的元数据。

另外，在紧挨着拍摄图像之后的预定时间内，处理器130可识别图像中是否包括与拍摄位置相关的元数据，并且当识别到不包括与拍摄位置相关的元数据时，处理器130可将收集的邻近ap的信号之中处于高信号强度的ap的位置存储为与拍摄的图像的拍摄位置相关的元数据。

基于离待被识别的位置(诸如，小区id)最近的ap来识别当前位置的基于wi-fi的位置追踪技术是本领域的公知技术。因此，通过使用电子装置100附近的ap来识别电子装置100的位置的方法的详细描述将被省略。

处理器130可通过使用以图像被拍摄的时间为基础的预定时间内在商店的支付信息识别图像被拍摄时电子装置100的位置，并将识别出的位置存储为与拍摄的图像的拍摄位置相关的元数据。

例如，当用户拍摄了图像并在10分钟之后使用信用卡在商店进行支付时，处理器130可通过使用从信用卡公司接收的与支付相关的信息中包含的商店信息来揭示或识别商店位置，并将揭示或识别出的商店位置识别为电子装置100在拍摄图像时的位置。处理器130可将识别出的电子装置100的位置存储为与拍摄的图像的拍摄位置相关的元数据。

处理器130可基于图像的元数据识别图像的拍摄时间，基于识别出的图像的拍摄时间检索在第一阈值时间内获得的信息，并在未能基于检索的信息获得未被标记到图像的元数据时附加地检索在超过第一阈值时间的第二阈值时间内获得的信息。例如，如果在图像被拍摄的时间2014年11月13日2:00为基础的30分钟内没有获得信息，则可附加地检索1个小时内获得的信息。

第一阈值时间和第二阈值时间可根据从拍摄的图像未能获得的、用于生成元数据的信息的类型而改变。例如，对于ap的连接信息，用户可能长时间待在该区域，从而第一阈值时间和第二阈值时间可分别被设为10分钟和20分钟。然而，对于在商店的支付信息，用户可能很快离开该区域，第一阈值时间和第二阈值时间可分别被设为5分钟和10分钟。

此外，如上所述，本公开的技术理念不仅能够被扩展至在识别到存在与关于从拍摄的图像不能获得的信息相关的元数据时，而且能够被扩展至在图像中包括错误的元数据时。

例如，当以10分钟为间隔连续拍摄第一图像至第三图像时，与第一图像和第三图像的拍摄位置相关的元数据可能指示济州岛的特定区域，与第二图像的拍摄位置相关的元数据可能指示釜山的特定区域。在此情况中，可识别到与第二图像的拍摄位置相关的元数据不正确。处理器130可用与第一图像和第三图像的拍摄位置相关的元数据来替换与第二图像的拍摄位置相关的元数据。

根据另一实施例，基于从gps接收的位置信息，与拍摄的图像的拍摄位置相关的元数据可被存储为与“我家”对应的位置。当在拍摄的图像的拍摄时间的3分钟之后从外部服务器接收到离我家10km远的商店的支付信息时，识别到与拍摄的图像相关的元数据不正确。处理器130可将存储的与图像的拍摄位置相关的元数据替换为基于进行支付所在的商店的位置生成的元数据。

图3是解释根据本公开的实施方式的元数据存储方法的示意图。

电子装置100的存储器120可存储连续拍摄的第一图像31至第四图像34，图像31至34中的每个可包括与拍摄时间相关的元数据。处理器130可分析图像31至34中的每个，并将分析出的数据存储为与图像31至34中的每个相关的元数据。与图像31至34中的每个关联地存储的元数据可包括图像中的对象的识别数据、以及从识别数据识别出的拍摄位置的数据。

例如，参考图3，第一图像31、第二图像32和第四图像34可包括能够识别出拍摄位置是海滩浴场的诸如贝壳、海星、海、船、海鸥等对象，并且处理器130可将图像31、32和34的拍摄位置识别为海滩浴场。处理器130可生成“海滩浴场”作为与图像31、32和34的拍摄位置相关的元数据，并将生成的元数据存储为图像31、32和34中的每个的元数据。

由此，当用户在电子装置100中搜索在海滩浴场拍摄的照片并输入诸如“海滩浴场”或与“海滩浴场”相关的“海”或“海滩”的关键字时，可检索到包含指示拍摄位置是“海滩浴场”的元数据的图像31、32和34。诸如“海”或“海滩”的与海滩浴场相关的关键字可与“海滩浴场”匹配，并被存储到存储器120中或被存储为与图像31、32和34相关的元数据。

然而，尽管图3中的第三图像33以与其它图像31、32和34相同的方式在海滩浴场被拍摄，但是可能未包括能够将拍摄位置识别为海的对象。因此，尽管处理器130分析第三图像，但是可能未生成指示第三图像33的拍摄位置是海滩浴场的元数据。

在此情况中，根据本公开的实施方式的电子装置100可基于在紧挨着第三图像33的拍摄时间(下午12:31)之前(下午12:24)拍摄的第二图像32的拍摄位置和紧挨着第三图像的拍摄时间之后(下午12:33)拍摄的第四图像34的拍摄位置的元数据识别出第三图像33的拍摄位置。为了便于说明，第二图像32和第四图像34将被称为相邻拍摄图像。

处理器130可提取与相邻拍摄图像32和34的拍摄位置相关的元数据，并且当识别到相邻拍摄图像32和34均在海滩浴场被拍摄时，第三图像33的拍摄位置可能是海滩浴场。由此，处理器130可将海滩浴场标记为与第三图像33的拍摄位置相关的元数据。

由此，在没有将第三图像33的拍摄位置识别为海滩浴场的对象的情况下，可向用户将第三图像33提供为与关键字“海滩浴场”匹配的图像搜索结果。

图4是解释根据本公开的实施方式的元数据存储方法的详细视图。

最近引入了一种用于自动生成和提供描述进入计算机的照片的标注的服务。作为示例，google的神经图像标注(nic)基于机器学习自动生成和提供描述图像内容的文本标注。

电子装置100可从提供自动标注生成服务的外部服务器接收对第一图像31至第四图像34中的每个进行描述的标注，或自身支持自动标注生成服务来生成标注。在图4的描述中，为了便于说明，将元数据称为标记。

参考图4，根据自动标注生成服务，例如可为第一图像31生成标注“水面”、可为第二图像32生成标注“站在海滩上的男人和女人，他们似乎”、可为第三图像33生成标注“对着相机摆姿势的两个人，他们似乎”，可为第四图像34生成标注“海边的沙滩”。

处理器130可通过生成的标注生成每个图像的标记。例如，对于第一图像31，可生成与“水面”相关联的诸如“天空”、“海滩”、“大海”、和“海岸”的关键字作为标记。类似地，对于第二图像32，可生成与“男人”、“女人”、“站”、“海滩”等相关联的关键字“人们”、“度假”、“海滩”、“大海”、“仪式”等作为标记。对于第三图像33，可生成与“两个”、“人们”、“对着相机摆姿势”等相关联的关键字“人们”、“人”、“摄像”、“家”、“人物摄影”等作为标记。对于第四图像34，可生成与“沙滩”、“海洋”等相关联的关键字“海星”、“沙”、“贝壳”、“海滩”、“大海”等作为标记。

处理器130可使用与第一图像31至第四图像34关联地生成的标记并计算第一图像31至第四图像34之间的相似性。相似性可不仅指图像之间的相似性，而且指各个图像被拍摄时的上下文之间的相似性。例如，尽管拍摄的对象不同，但是如果不同的对象在相同的地点被拍摄，则可计算出相似性的程度高于不同的对象在不同的地点被拍摄的情况。

处理器130可根据计算出的相似性控制在预定时间段内拍摄的、相似性等于或高于预定阈值的图像共享标记。

例如，如果预定的阈值等于或大于0.5，第一图像31和第二图像32以1分钟为间隔被连续拍摄，且由标注自动生成的标记之间的相似性等于或大于0.5，则第一图像31和第二图像32可彼此共享生成的标记。第二图像32的诸如“人们”、“度假”和“仪式”的标记可以以隐藏标记的格式被存储在第一图像31中。反过来，第一图像31的诸如“天空”和“海岸”的标记可以以隐藏标记的格式被存储在第二图像32中。

处理器130可通过使用第一图像31至第四图像34的对应标记来计算第一图像31至第四图像34之间的相似性的程度。可基于为图像31至34中的每个自动生成的标记之间的相似性映射来计算第一图像31至第四图像34之间的相似性的程度。

由此，可计算出第一图像31与第二图像32之间的相似性为0.81973，第二图像32与第三图像33之间的相似性为0.63293，第三图像33与第四图像34之间的相似性为0.02938。由于第一图像31、第二图像32和第四图像34包括诸如“大海”、“海滩”等的共同标记，因此相似性可较高。然而，由于第三图像33和第四图像34不包括共同标记，因此相似性的程度可较低。

然而，由于第三图像33是在海滩浴场拍摄的图像，因此第三图像33与图像31、32和34之间的相似性可能较大。因此，通过仅使用通过标注自动生成的标记来确定相似性的方法可能具有局限性。

处理器130可基于图像31至34中的每个的拍摄时间的标记来修改相似性。具体地说，第三图像33和第四图像34可能以2分钟为间隔在预定时间段(例如30分钟)内被拍摄。由此，处理器130可识别到第三图像33与第四图像34在相同的位置即海滩浴场被拍摄。预定的时间可以是各种时间，例如10分钟或20分钟内。

参考图4，基于拍摄时间的标记，第三图像33与第四图像34之间的相似性可从0.02938被修改到0.6。

由此，第二图像32的“人们”、“度假”和“仪式”可被存储为第一图像31中的隐藏标记。第二图像32可将第一图像31的“天空”和“海岸”以及第四图像34的“海星”和“贝壳”存储为隐藏标记。第三图像33可存储第一图像31的“天空”、“海滩”、“海”和“海岸”，第四图像34可将“海星”、“沙”和“贝壳”存储为隐藏标记。第四图像34可将第二图像32的“度假”和“仪式”以及第三图像33的“人们”存储为隐藏标记。

下文将详细描述一种使用附加存储的元数据执行图像搜索的方法。

<基于元数据的图像搜索方法>

图5是示出根据本公开的另一实施方式的电子装置的配置的示意性框图。

参考图5，根据本公开的另一实施方式的电子装置100'还可包括输入单元140和显示器150。根据实施方式，电子装置100'可不必包括相机110。

输入单元140可被配置为检测用于对电子装置100'的整体操作进行控制的用户交互并接收用户命令。输入单元140可用触摸面板和物理按钮实现。

显示器150可被配置为提供显示信息的屏幕。具体地，显示器150可在输入单元140的控制下显示各种信息。显示器150可用液晶显示面板(lcd)、有机发光二极管(oled)、透明显示器、或柔性显示器实现，但不限于此。另外，显示器150可包括可以以非晶硅tft、低温多晶硅(ltps)tft、有机tft(otft)等形式实现的驱动电路、背光单元等。

显示器150可用触摸显示器实现。由于触摸显示器接收通过手指或触摸笔的用户输入，因此可能需要输入单元140。具体地说，触摸显示器可由用于对从电子装置100'输出的输出信息执行显示功能的显示面板(未示出)和用于由用户执行各种输入功能的输入感测面板(未示出)构成。

显示面板可用液晶lcd或oled实现，并且在结构上可与输入检测面板集成。显示面板可显示电子装置100'的各种操作状态、菜单状态、应用执行状态、服务等。

输入感测面板可检测诸如用户使用手指、电子笔等的单次输入或多次触摸输入、拖拽输入、写输入、画输入等的各种输入。输入感测面板可用能够进行手指输入感测和笔输入感测的单个面板实现，或用诸如能够进行手指输入感测的触摸面板和能够进行笔输入感测的笔识别面板的两个面板实现。

处理器130可通过显示器150显示交互式界面，并通过输入单元140从用户接收用于检索图像的询问。

处理器130可执行安装在电子装置100'中的应用并控制显示器150显示由应用提供的交互式搜索界面。应用可以是检索诸如图像等内容的应用，并可提供用于来回对话的交互式搜索界面。

图6是示出根据本公开的各种实施方式的搜索界面屏幕的视图。

参考图6，当应用被执行时，处理器130可通过以文本框格式显示诸如“你要查找哪张照片”的询问61来引导用户输入搜索字。用户可将诸如“去年夏天喝咖啡”的用于检索图像的询问62输入到屏幕上显示的输入窗口。输入的询问中的搜索准则可以是“夏天”、“咖啡”等。处理器130可在交互式界面上显示输入的询问，从存储在存储器120中的多个图像识别具有满足诸如“夏天”、“咖啡”等搜索准则的元数据的图像，并提供这样的图像作为搜索结果。

处理器130可提供具有满足搜索准则的元数据的图像作为第一搜索结果。例如，处理器130可分析存储在存储器120中的图像的元数据，并且显示预先设置的、属于夏天的6月到8月拍摄的图像和具有对象识别数据“咖啡”的图像作为第一搜索结果。当搜索出的图像等于或大于预定数量时，处理器130可在显示搜索结果之前或在显示搜索结果的一部分的同时继续进行附加询问63以挑选出搜索结果。

处理器130可基于元数据将第一搜索结果中的图像分成多个类别，并控制显示器150显示用于选择所分的类别的询问消息。

例如，第一搜索结果中的图像可根据拍摄年份和拍摄位置被分成一些子类。参考图6，处理器130可执行诸如“几年前，在何地”的附加询问63，并显示被方便地设计为使用户在文本框中容易选择拍摄年份和拍摄位置的ui。

当搜索出的图像的拍摄时间被分类成1988年夏天、2002年夏天、2015年夏天等时，可显示指示类别“1988”、“2002”和“2015”的ui。当搜索出的图像的拍摄位置被分类成“首尔”、“水原”、“济州岛”等时，可显示指示类别“首尔”、“水原”、“济州岛”的ui。然而，ui可按检索到的图像的数量的降序仅显示最上面的预定数量个图像。当附加询问63的文本框被选择时，用于选择拍摄时间和拍摄位置的ui可被扩展，从而可提供多个选项。处理器130可在用于指示多个类别的ui的旁边显示第一搜索结果的一部分。

由此，当用户仅记住拍摄时间时，用户可选择“1988”、“2002”和“2015”之一的ui，并且当用户仅记住拍摄位置时，用户可选择“首尔”、“水原”、“济州岛”之一的ui，由此使第一搜索结果的范围变窄。换句话说，用户可选择拍摄位置和拍摄时间中的一个来搜索期望的图像，从而可提高便利性。

当图像的拍摄位置在附加询问63中未被显示成ui，用户可通过以交互式格式输入附加的线索使第一搜索结果的范围变窄，或通过语音识别来执行搜索。参考图6，当用户未确切地记住拍摄年份但是模糊地记住拍摄位置时，可输入诸如“我不记得确切的时间，但是好像在江原道”的附加线索64。

在第一搜索结果中，处理器130可进一步选择拍摄图像的元数据为“江原道”的图像，并将选择的图像输出为第二搜索结果65。当输出的第二搜索结果小于预定数量时，检索出的图像的至少一个缩略图可与诸如“总共找到00张照片”的消息一起被显示。当用户选择显示的搜索结果65时，搜索结果65可被展开并且第二搜索结果65中的全体图像的缩略图可被显示。用户可选择检索出的图像中的一个并使用检索出的图像执行附加的操作。

当用户满意第二搜索结果65且不希望执行附加搜索时，用户可输入用于终止搜索的消息66，诸如“很好”。处理器130可显示对作为第二搜索结果65提供的图像执行何种附加任务有关的询问消息67。

当用户输入“分享”68作为对询问的响应时，处理器130可显示用于选择搜索结果65中待被分享的图像的ui、以及用于选择一个人来分享所选择的图像的ui。可显示用于选择用于将用户选择的图像与w分享的路线的附加ui，并且处理器130能够根据用户选择的路线将选择的图像与选择的人分享。例如，处理器130可简单地将选择的图像发送给选择的人，或者将选择的图像更新到通过社交网络提供的网站，从而用户可与选择的人观看到更新的图像。

参考图6，分享是示例的附加任务，但是附加任务的示例还可包括复制、编辑图像等。

处理器130可附加地显示在不具有与输入搜索准则相关的元数据的图像之中的、在以第二搜索结果65中的至少一个图像被拍摄的时间为基础的预定时间内拍摄的图像作为搜索结果。

例如，存储器120中存储的图像之中的不具有与拍摄位置相关的元数据的图像可以是不具有与输入的搜索准则(江原道)相关的元数据的图像。当第二搜索结果65中的图像是第一图像时，处理器130可附加地从存储器120中存储的图像之中的不具有与拍摄位置相关的元数据的图像中检索并显示在以至少一个第一图像被拍摄的时间为基础的预定时间内拍摄的图像(被称为第二图像)。换句话说，能够强烈地识别到在以江原道拍摄的第一图像被拍摄的时间为基础的10分钟或20分钟之前或之后拍摄的图像(第二图像)也是在江原道拍摄的。因此，可使用与第一图像的拍摄位置相关的元数据。

可向用户提供最少地错失期望图像的搜索结果。

处理器130可存储满足搜索准则的元数据(即，将地点名称“江原道”或江原道的位置数据)存储为与第二图像相关的元数据，并可控制显示器150显示包括第一图像和第二图像的搜索结果。

图7和图8是示出了根据本公开的各种实施方式的搜索界面屏幕的视图。

参考图7，处理器130可控制显示器150通过交互式界面显示关于图像拍摄时间点的询问71，并且用户可输入提供诸如“2～3年前？”的宽泛线索的文本72-1作为对询问71的响应。在此情况中，处理器130可基于与存储器120中存储的图像被拍摄的时间点相关的元数据提供当前日期(日/月/年)的2～3年前拍摄的图像作为搜索结果。

当用户由于无法确切记得因而希望修改被输入用于搜索的文本时，用户可取消基于输入文本的图像搜索，在预定时间内输入新的文本，并且请求基于新输入文本的图像搜索。例如，用户可输入包含用于取消先前输入的文本“2～3年前？”的“不”以及紧随的提供新拍摄时间线索的“去年”的文本72-2。处理器130可忽略文本72-1“2～3年前”并提供存储器120中存储的图像之中去年拍摄的图像作为搜索结果。

用于删除文本框的ui73-1和ui73-2可显示在用户输入文本的文本框的一侧，用户可通过选择ui73-1和ui73-2删除输入的文本并输入新的文本。

参考图7，处理器730可输出包括与诸如“照片找到”的消息一起显示的搜索到的图像的缩略图像的搜索结果74。

图8是示出根据本公开的另一实施方式的允许用户通过内容映射直接搜索图像的搜索界面屏幕的视图。

参考图8，用于导航图像的内容映射81可显示在交互式界面的一侧。内容映射81具有如下形式：代表存储器120中存储的多个图像的ui分布在立方体中。立方体可具有与图像中的各个元数据对应的多个轴，图像可根据元数据的相似性彼此或近或远地分布。

例如，基于与拍摄时间对应的轴，2007年7月拍摄的第一图像的ui离2008年1月拍摄的第三图像可以比离2003年1月拍摄的第二图像更近。然而，当第一图像在首尔拍摄、第二图像在江原道拍摄且第三图像在福冈拍摄时，基于与拍摄位置对应的轴，第一图像的ui离第二图像的ui可以比离第三图像的ui更近。用户可通过触摸来旋转内容映射81，调整内容映射81被显示的角度，并直观地沿对应轴识别图像之间的相关性。

当用户通过输入窗口82输入诸如“在沙滩上快乐”、“2～3年前”等的拍摄时间和拍摄位置的搜索准则时，处理器130可重构内容映射81以包括包含满足搜索准则的元数据的图像的ui(搜索出的图像的ui)、以及与搜索出的图像类似的图像的ui。如上所说，与搜索出的图像类似的图像的ui可包括根据元数据的相似性紧邻分布的图像的ui。

待被重构的内容映射81的与拍摄时间对应的轴和与拍摄位置对应的轴可分别根据搜索出的图像的拍摄时间和拍摄位置缩小范围。

在重构内容映射时，处理器130可根据用户输入的搜索准则以搜索出的图像的ui为目标来浏览内容映射81。通过控制内容映射81的角度以根据用户输入的搜索准则将搜索出的图像的ui移动到内容映射81的中心，搜索出的图像的ui可被放大并显示。参考图8，搜索的图像的ui可被显示为缩略图像83。

图9是示出了根据实施方式的电子装置的配置的详细框图。

参考图9，根据本公开的另一实施方式的电子装置100”可包括相机110、存储器120、处理器130、输入单元140、显示器150、通信器160、传感器170、音频处理器175、视频处理器180和用户接口190。对图2的重复描述将被省略。

通信器160可被配置为执行与服务器或外部服务器的通信。通信器160可通过使用诸如蓝牙(bt)、wi-fizigbee、nfc等的射频(rf)和红外(ir)的各种通信方法与服务器或外部服务器通信，并且可被设置有包括zigbee通信元件、bt通信元件和wi-fi通信元件中的至少一个的通信元件。

通信器160可从提供自动标注生成服务的外部服务器接收描述拍摄的图像的标注，或使用诸如3g、lte、wibro、wi-fi等的各种通信方法接收无线通信信号。另外，通信器160可与各种外部装置或服务器交换信息，例如从信用卡公司接收支付相关的信息。

传感器170可被配置为检测用户的当前地理位置。传感器170可通过使用gps信号检测拥有电子装置100”的用户的当前位置，并包括用于基于检测到的当前位置提供相邻区域的地图信息服务和提供导航服务等的gps模块。

音频处理器175可被配置为对音频数据执行处理。然而，音频数据可由存储在存储器120中的音频处理模块处理。

视频处理器180可被配置为执行各种图像处理，诸如内容的解码、缩放、噪声滤除、帧速率转换、分辨率转换等。然而，视频处理可由存储在存储器120中的视频处理模块执行。

用户接口190可包括麦克风(未示出)以接收用于语音识别或识别用户的用户命令。

处理器130可控制电子装置100”的整体操作。

参考图9，处理器130可包括rom131、ram132、cpu133、图形处理单元(gpu)134和第一接口135-1至第n接口135-n。rom132、ram132、cpu133、gpu134和第一接口135-1至第n接口135-n可经由总线136连接至彼此。

用于系统启动的命令集可被存储在rom131中。cpu133可将存储在存储器120中的各种程序复制到ram132，执行复制到ram132的程序并执行各种操作。

cpu133可存取存储器120并通过使用存储在存储器120中的操作系统(o/s)执行启动。cpu133可通过使用存储在存储器120中的各种程序、内容、数据等执行各种操作。

gpu134可执行图形处理。gpu134可通过使用计算单元(未示出)和绘制单元(未示出)生成包括诸如图标、图像、文本等的各种对象的屏幕。计算单元可根据屏幕的布局计算对象的诸如坐标值、形状、尺寸、颜色等的属性值。绘制单元可基于由计算单元计算的属性值生成包括对象的各种布局的屏幕。

第一接口135-1至第n接口135-n可连接至上述的各种组成元件。接口之一可以是通过网络与外部装置连接的网络接口。

图10是解释根据本公开的实施方式的电子装置的控制方法的流程图。

在操作s1010可存储相机拍摄的第一图像和第一图像的元数据。元数据的示例可以是拍摄对象的拍摄位置、拍摄时间、识别数据等。

在操作s1020识别是否可获得与第一图像相关的第一信息。

当识别到不能获得第一信息时，在操作s1030可基于第二信息生成与第一信息相关的元数据。第二图像可包括相机拍摄的至少一个其它图像。第二信息可包括电子装置与ap之间的连接信息、在商店的支付信息等。

在操作s1040可将生成的元数据附加地存储为第一图像的元数据。可从第二图像的元数据获得与第一信息相关的元数据，并且可基于获得的元数据生成与第一信息相关的元数据。具体地说，当第一信息与第一图像的拍摄位置相关时，可基于第一图像的元数据识别第一图像的拍摄时间，并且当识别出的拍摄时间是在第二图像的彼此匹配的第三图像与第四图像的对应拍摄时间时，可基于第三图像和第四图像的对应拍摄位置生成与第一信息相关的元数据。

根据另一实施方式，可通过使用基于与电子装置连接的ap的连接信息搜索出的ap的位置或基于从外部服务器接收的在商店的支付信息搜索出的商店的位置而生成与第一图像的第一信息相关的元数据，并可将生成的元数据存储为与第一图像相关的元数据。

图11是解释根据本公开的另一实施方式的电子装置的控制方法的流程图。

在操作s1110可显示交互式界面。

在操作s1120可接收用于检索图像的询问。

在操作s1130可从多个预存储的图像中识别出包含满足询问中的搜索准则的元数据的第一图像。

在操作s1140可在不具有与搜索准则相关的元数据的图像之中识别出在以第一图像被拍摄的时间为基础的预定时间内拍摄的第二图像、或在以第一图像被拍摄的位置为基础的预定距离内拍摄的第二图像。满足搜索准则的元数据可被存储为识别出的第二图像的元数据。

在操作s1150可显示包括识别出的第一图像和第二图像的搜索结果。基于识别出的第一图像和第二图像的元数据，可将识别出的第一图像和第二图像分成多个类别，并且可显示用于选择所分的类别的询问消息。

图12是解释根据本公开的实施方式的提供搜索界面的搜索结果的方法的流程图。

可在电子装置的显示器上显示用于检索图像的交互式界面。用户在操作s1210可输入待被检索的照片的询问。

当输入询问时，在操作s1220可通过使用存储的照片的元数据生成和显示与输入的询问准则匹配的搜索结果候选组和用于使搜索结果变窄的子类别。

当输出了对用户希望找到的照片是否包含在搜索结果内的询问时，如果在操作s1230从用户接收到肯定反馈“是”，则在操作s1240可输出用于用户从搜索结果选择的照片的附加任务的询问。如果在操作s1230从用户接收到否定反馈“否”，则可再次输出关于用户希望找到的照片的询问。

对于针对附加任务的询问，如果用户在操作s1240选择附加任务“是”，则可在操作s1250进一步执行诸如复制、移动、分享等的附加任务。如果用户在操作s1240未选择附加任务“否”，则可不执行附加任务并且可终止交互式界面。

根据各种实施方式，用户可用较少的线索更方便地搜索到期望的图像，并防止搜索结果中错失被搜索的图像。

根据各种实施方式的用于控制电子装置的方法可被实施为程序并被存储在各种记录介质中。换句话说，可存储由各种处理器处理且执行各种控制方法的计算机程序。

提供了一种存储程序的非暂时性计算机可读介质，该程序可执行存储由相机拍摄的图像和图像的元数据、确定是否可获得与图像相关的信息、基于不能获得第一信息而基于第二信息生成与第一信息相关的元数据且附加地将生成的元数据存储为图像的元数据的程序。

非暂时性计算机可读介质指半永久存储数据的介质而不是指非常短时间存储数据的介质诸如寄存器、缓存器和存储器并且由设备可读。特别地，上述的各种应用或程序可被存储在非暂时性计算机可读介质诸如光盘(cd)、数字通用光盘(dvd)、硬盘、蓝光光盘、通用串行总线(usb)记忆棒、存储卡和只读存储器(rom)中并且可被提供。

尽管参考本公开的各种实施方式示出和描述了本公开，但是本领域技术人员将理解在不偏离由所附权利要求及其等同限定的本公开的精神和范围前提下可对本公开进行各种形式和细节的修改。