用于提供图像的方法和设备的制造方法_3

文档序号:9564361阅读:来源:国知局
可向找到的第二图像提供效果。设备100可利用识别信息从第二图像区分出对应于关注区域的局部图像,并且向区分出的局部图像提供与向第一图像的关注区域应用的效果的相同的效果。在操作S1410中,设备100可响应于用户的选择而从第一图像区分出关注区域。在操作S1450中,设备100可利用识别信息从第二图像区分出对应于关注区域的局部图像。
[0148]图15是根据示范性实施例的设备100生成识别信息的方法的流程图。图15图示了未预定义第一图像内的关注区域的识别信息的情况。在生成目标图像的识别信息时也可应用图15的识别信息生成方法。
[0149]在操作S1510中,设备100可判定是否存在与关注区域相对应的属性信息。例如,设备100可检查与关注区域相对应的元数据。设备100可从元数据中提取关注区域的属性
?目息。
[0150]根据示范性实施例,属性信息表示图像的属性,并且可包括与图像生成相关联的情境信息和用户添加的注释信息。
[0151]情境信息是在图像生成期间与图像相关联的环境信息。例如,情境信息可包括以下各项中的至少一者:关于图像的格式的信息、关于图像的大小的信息、关于用来生成图像的设备100的信息、图像生成的时间信息、图像生成的温度信息和图像的来源信息。情境信息可由设备100自动获取并被存储在其中。
[0152]注释信息是用户记录的信息,并且可包括关于图像中包括的对象的信息,例如对象的类型、名称和状态,以及关于图像中包括的背景的信息,例如位置信息、时间信息和天气信息。
[0153]在操作S1520和S1540中,设备100可概括图像的属性信息并且生成识别信息。
[0154]概括属性信息可以指基于WordNet (层次术语引用系统)以上层语言表达属性信息。
[0155]“WordNet”是提供单词的定义或使用模式并且建立单词之间的关系的数据库。WordNet的基本结构包括具有语义上等同的单词的列表的被称为synset的逻辑群组,和这些synset之间的语义关系。语义关系包括上位词、下位词、部分词和整体词。WordNet中包括的名词以一实体作为最高单词并且通过根据意义扩展该实体来形成下位词。从而,WordNet也可被称为通过分类并定义概念性词汇而具有层次结构的本体论。
[0156]“本体论”表示共享的概念化的正式且明确的规范。本体论可被认为是由单词和关系构成的一类词典。在本体论中,与特定领域相关联的单词被层次地表达,并且包括用于扩展这些单词的推断规则。
[0157]例如,当关注区域是背景时,设备100可将属性信息中包括的位置信息分类成上层信息并且生成识别信息。例如,设备100可将全球定位系统(global posit1ningsystem,GPS)坐标值(玮度:37.4872222,经度:127.0530792)表达为上位概念,例如区域、建筑物、地址、地区名、城市名或国家名。在此情况下,建筑物、地区名、城市名、国家名等等可被生成为背景的识别信息。
[0158]在操作S1530和S1540中,如果与关注区域相对应的属性信息不存在,则设备100可获取关注区域的图像分析信息并且利用图像分析信息生成关注区域的识别信息。
[0159]根据示范性实施例,图像分析信息是与经由图像处理获取的分析数据的结果相对应的信息。例如,图像分析信息可包括关于在图像上显示的对象的信息(例如,对象的类型、状态和名称)、关于在图像上示出的位置的信息、关于在图像上示出的季节或时间的信息和关于在图像上示出的氛围或情绪的信息,但示范性实施例不限于此。
[0160]例如,当关注区域是对象时,设备100可检测图像中包括的对象的轮廓线。根据示范性实施例,设备100可将图像中包括的对象的轮廓线与预定义的模板相比较并且获取对象的类型、名称等等。例如,当对象的轮廓线与车辆的模板相似时,设备100可将图像中包括的对象识别为车辆。在此情况下,设备100可利用关于图像中包括的对象的信息来显示识别信息“汽车”。
[0161]或者,设备100可在图像中包括的对象上执行脸部识别。例如,设备100可从图像中检测人类的脸部区域。脸部区域检测方法的示例可包括基于知识的方法、基于特征的方法、模板匹配方法和基于外观的方法,但示范性实施例不限于此。
[0162]设备100可从检测到的脸部区域中提取脸部特征(例如,作为脸部的主要部分的眼睛、鼻子和嘴的形状)。为了从脸部区域中提取脸部特征,可以使用加博滤波器、局部二值模式(LBP)等等,但示范性实施例不限于此。
[0163]设备100可将从图像内的脸部区域中提取的脸部特征与预先注册的用户的脸部特征相比较。例如,当提取的脸部特征与预先注册的第一注册者的脸部特征相似时,设备100可确定第一用户被作为局部图像包括在所选择的图像中。在此情况下,设备100可基于脸部识别的结果生成识别信息“第一用户”。
[0164]根据示范性实施例,设备100可将图像的某个区域与颜色地图(颜色直方图)相比较,并且提取图像的诸如颜色布置、图案和氛围之类的视觉特征作为图像分析信息。设备100可利用图像的视觉特征生成识别信息。例如,当图像包括天空背景时,设备100可利用天空背景的视觉特征生成识别信息“天空”。
[0165]根据示范性实施例,设备100可以以区域为单位划分图像,搜索与每个区域最相似的聚类,并且生成与找到的聚类相连接的识别信息。
[0166]如果与图像相对应的属性信息不存在,则设备100可获取图像的图像分析信息并且利用图像分析信息生成图像的识别信息。
[0167]图15图示了设备100在图像的属性信息不存在时获取图像的图像分析信息的示范性实施例,但示范性实施例不限于此。
[0168]例如,设备100可只利用图像分析信息或属性信息来生成识别信息。或者,即使当属性信息存在时,设备100也可进一步获取图像分析信息。在此情况下,设备100可利用属性信息和图像分析信息两者来生成识别信息。
[0169]根据示范性实施例,设备100可将基于属性信息生成的多条识别信息与基于图像分析信息生成的多条识别信息相比较并且确定共同识别信息作为最终识别信息。共同识别信息可具有比非共同识别信息更高的可靠性。可靠性表示从图像提取的多条识别信息被信任为是合适的识别?目息的程度。
[0170]图16根据示范性实施例图示了图像的属性信息。如图16所示,可以以元数据的形式存储图像的属性信息。例如,对于每个图像,诸如类型1610、时间161UGPS 1612、分辨率1613、大小1614和收集设备1617之类的数据可被存储为属性信息。
[0171]根据示范性实施例,也可以以元数据的形式存储在图像生成期间使用的情境信息。例如,当设备100生成第一图像1601时,设备100可在生成第一图像1601的时刻从天气应用收集天气信息(例如,多云)、温度信息(例如,20°C)等等。设备100可将天气信息1615和温度信息1616存储为第一图像1601的属性信息。设备100可在生成第一图像1601的时刻从日程应用收集事件信息(未示出)。在此情况下,设备100可将事件信息存储为第一图像1601的属性信息。
[0172]根据示范性实施例,也可以以元数据的形式存储由用户输入的用户添加信息1618。例如,用户添加信息1618可包括用户输入来说明图像的注释信息以及关于用户说明的对象的信息。
[0173]根据示范性实施例,可以以元数据的形式存储作为对图像的图像处理的结果获取的图像分析信息(例如,对象信息1619)。例如,设备100可将关于第一图像1601中包括的对象(例如,用户1、用户2、我以及椅子)的信息存储为关于第一图像1601的属性信息。
[0174]图17是用于说明设备100基于图像的属性信息生成图像的识别信息的示例的参考视图。
[0175]根据示范性实施例,设备100可基于用户输入选择图像1710的背景1712作为关注区域。在此情况下,设备100可在图像1710的属性信息1720内检查所选择的背景1712的属性信息。设备100可利用所选择的背景1712的属性信息来检测识别信息1730。
[0176]例如,当被选择为关注区域的区域是背景时,设备100可从属性信息1720中检测与背景相关联的信息。设备100可利用属性信息1720内的位置信息(例如,玮度:37 ;25 ;26.928...,经度:126 ;35 ;31.235...)来生成识别信息“公园”,或者利用属性信息1720内的天气信息(例如,云)来生成识别信息“多云”。设备100可通过组合多条属性信息来生成新的识别信息。例如,当属性信息1720内的时间信息是2012.5.3.15:13并且其内的位置信息是玮度:37 ;25 ;26.928…和经度:126 ;35 ;31.235…时,设备100可利用位置信息确定图像1710上示出的区域并且还通过除了位置信息以外还使用时间信息来确定图像1710上示出的季节。例如,当位置信息是“韩国”时,设备100可利用时间信息生成关于季节“春季”的识别信息。作为另一示例,设备100可利用基于位置信息和时间信息生成的关于季节的识别信息和天气信息来生成识别信息“春雨”。
[0177]或者,设备100可从用户添加的注释信息生成与对象信息相对应的识别信息“微笑”和“用户1”。
[0178]当情境信息和注释信息彼此相反时,设备100可利用图像分析信息生成识别信息。例如,当情境信息中包括的天气信息是雨,但注释信息中包括的天气信息是多云时,设备100可利用图像分析信息来判定天气信息是雨还是多云。然而,示范性实施例不限于此。当情境信息和注释信息彼此相反时,设备100可向注释信息赋予优先级并且利用注释信息生成识别?目息。
[0179]图18是用于说明设备100利用图像分析信息生成识别信息的示例的参考视图。根据示范性实施例,设备100可基于用户输入选择图像1810的第一对象1812作为关注区域。在此情况下,设备100可通过对第一对象1812执行图像分析来生成描述第一对象1812的识别信息(例如,人类和笑脸)。
[0180]例如,设备100可从关注区域中检测人类的脸部区域。设备100可从检测到的脸部区域中提取脸部特征。设备100可将提取的脸部特征与预先注册的用户的脸部特征相比较并且生成表示所选择的第一对象1812是用户1的识别信息。设备100也可基于检测到的脸部区域中包括的嘴唇形状来生成识别信息“微笑”。然后,设备100可从识别信息1820获取“用户1”和“微笑”。
[0181]当有关注区域的多条识别信息时,设备100可显示识别信息列表以便用户可选择识别信息。图19根据示范性实施例图示了设备100显示识别信息列表的示例。
[0182]参考图19的1900-1,设备100可基于用户输入选择第一图像1910的第一对象1912作为关注区域。根据示范性实施例,设备100可获取描述第一对象1912的识别信息。例如,设备100可获取诸如微笑、母亲和眨眼之类的识别信息。
[0183]参考图19的1900-2,设备100可显示所获取的多条识别信息的识别信息列表1920。在此情况下,设备100可接收从识别信息列表1920中选择至少一些识别信息的用户输入。例如,设备100可接收选择母亲1922的用户输入。设备100可从目标图像(例如,图片集)中搜索具有用户选择的识别信息(例如,母亲)的第二图像,向第二图像内的与母亲相对应的局部图像提供效果,然后显示具有应用了效果的与母亲相对应的局部图像的第二图像1930,如图19的1900-3中所示。
[0184]当有多个应用了效果的第二图像时,设备100可生成文件夹(以下称为效果文件夹)并将应用了效果的第二图像(以下称为效果图像)存储在效果文件夹中。每个效果图像可包括从第一图像和第二图像中选择的至少一者。虽然设备100可将效果图像存储在效果文件夹内,但设备100也可将效果图像的链接信息存储在效果文件夹中。
[0185]图20图示出设备100显示效果文件夹的示例。当对第二图像的搜索完成时,设备100可向第二图像提供效果。如图20的2000-1中所示,设备100可显示效果文件夹2010。效果文件夹2010可存储效果图像。在其他示范性实施例中,效果图像的链接信息可被存储在效果文件夹2010中。
[0186]用户可输入用于选择效果文件夹2010的命令。响应于用户输入,设备100可显示至少一个效果图像2020,如图20的2000-2中所示。
[0187]根据示范性实施例,设备100可基于从图像生成时间信息、图像生成位置信息、图像的容量信息和图像的分辨率信息中选择的至少一者来布置效果文件夹2010中包括的至少一个效果图像。
[0188]当有不同类型的效果图像时,设备100可根据效果图像的类型生成效果文件夹并且将相同类型的效果图像存储在单个效果文件夹中。设备100可在效果文件夹中包括的图像上选择新的关注区域并且向所选择的关注区域提供新的效果。当在效果文件夹中包括许多被应用了新效果的效果图像时,可在该效果文件夹内生成新的效果文件夹。
[0189]如上所述,不仅可向设备100中存储的图像提供效果,而且可向外部设备中存储的图像提供效果。外部设备可例如是社交网络服务(SNS)服务器、云服务器或远程服务器,或者另一用户使用的设备100。图21是根据示范性实施例的设备向存储在外部设备中的图像提供效果的方法的流程图。
[0190]在操作S2110中,外部设备200可存储至少一个图像。外部设备200中存储的图像之一可以是第一图像。外部设备200可以是向经由网络与外部设备连接的设备100提供SNS的服务器,可以是经由网络与设备100连接的便携式终端,或者可以是云服务器。SNS表示使得在线用户能够新构建个人联系或者加强现有的个人联系的服务。
[0191]根据示范性实施例,外部设备200可存储从若干个用户的设备100上传的图像。
[0192]在操作S2120中,设备100可连接到外部设备200。设备100可通过执行登录来连接到外部设备200。登录可以是获取对外部设备200中存储的图像的访问权限的过程。例如,在向外部设备200发送用户的识别信息(例如,电子邮件账户信息)和用户的认证信息(例如,口令)的同时,设备100可请求外部设备200执行用户授权。当用户被识别为授权用户时,设备100可被允许连接外部设备并访问外部设备中存储的图像。
[0193]在操作S2130中,设备100可从外部设备200中存储的图像之中接收第一图像。设备100可请求外部设备200中存储的图像之一作为第一图像。响应于此请求,外部设备200可向设备100发送第一图像。第一图像可包括对象和背景。第一图像可以是静止图像、运动图片帧或者实时取景图像。
[0194]在操作S2140中,设备100可从第一图像中选择关注区域。例如,设备100可接收从第一图像中选择部分区域的用户输入,检测围绕所选择的部分区域的轮廓线,并且选择被轮廓线围绕的部分区域作为关注区域。被轮廓线围绕的区域可以是对象或背景。
[0195]根据示范性实施例,选择关注区域的用户输入可以有所不同。用户输入可例如是键输入、触摸输入、运动输入、弯曲输入、语音输入或多重输入。例如,设备100可接收触摸外部设备200中存储的多个图像内的特定内容达预定时间段(例如,两秒)以上或者触摸该特定内容预定次数以上(例如,双叩击)的输入。
[0196]在操作S2150中,设备100可就识别所选择的关注区域的识别信息询问外部设备200。在操作S2160中,设备100可从外部设备200接收关于识别信息的响应。设备100可询问是否预定义了关于与关注区域相对应的对象或背景的识别信息。当预定义了识别信息时,外部设备200可向设备100发送关于关注区域的识别信息。
[0197]在一些示范性实施例中,当在外部设备200中没有预定义关于对象或背景的识别信息时,外部设备200可判定外部设备200是否能够生成识别信息。如果判定外部设备200能够生成识别信息,则外部设备200可生成关于关注区域的识别信息并将其发送给设备100。当外部设备200生成识别信息时,外部设备200可使用关注区域的属性信息和图像分析信息中的至少一者。另一方面,如果判定外部设备200不能生成识别信息,则外部设备200可以只向设备100发送外部设备200拥有的关于关注区域的信息。在一些示范性实施例中,外部设备200可向设备100发送表明外部设备200不能生成识别信息的响应。
[0198]在操作S2170中,设备100可基于外部设备200的响应获取关注区域的识别信息。设备100可从外部设备200接收关注区域的识别信息,或者可利用从关注区域的属性信息和图像分析信息中选择的至少一者来生成关注区域的识别信息。
[0199]在操作S2180中,设备100可搜索具有识别信息的第二图像。设备100可从目标图像中搜索具有识别信息的第二图像。目标图像可以是存储在设备100中的图像。或者,目标图像可以是存储在外部设备200中的图像。或者,目标图像可以是存储在除了图21的外部设备200以外的外部设备中的图像。当搜索第二图像时,设备100可使用为目标图像存储的识别信息。当没有预定义识别信息时,设备100可利用目标图像的属性信息或图像分析信息生成目标图像的识别信息,然后搜索具有共同识别信息的第二图像。
[0200]当有多条识别信息时,设备100可响应于用户输入利用多个识别信息中的至少一些来搜索第二图像。
[0201]在操作S2190中,设备100可向找到的第二图像提供效果。
[0202]虽然在图21中利用存储在外部设备中的第一图像的关注区域来向存储在设备100或外部设备200中的第二图像提供效果,但示范性实施例不限于此。可利用存储在设备100中的第一图像的关注区域来向存储在外部设备200中的第二图像提供效果。
[0203]设备100可与外部设备200共享效果图像。图22是根据不范性实施例的设备与外部设备共享效果图像的方法的流程图。
[0204]在操作S2210中,设备100可显示效果图像。例如,设备100可通过向用户在第一图像上选择的关注区域提供效果来生成效果图像。设备100可显示效果图像。设备100可通过利用
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1