本申请要求于2017年3月27日在韩国知识产权局提交的并分配序列号为10-2017-0038691的韩国专利申请的优先权，其全部公开内容通过引用结合于此。
本公开涉及提供与图像中的对象相关联的信息的技术。
背景技术：
随着识别图像中的对象的技术的发展，已经提供了对通过使用移动电话的相机实时获取的图像中的对象进行识别的服务。
例如，识别qr码的应用可以识别预览图像中的qr码并且可以向用户提供qr码中定义的信息。再如，搜索酒标签的应用可以识别预览图像中的酒瓶的酒标签，并且可以向用户提供关于酒的信息。
这种传统技术仅可以识别预设类型的对象。
由于传统技术仅识别预设类型的对象，在一个图像中识别各种类型的对象是困难的。此外，当为了提供所识别的对象的信息的目的而获取图像时，即使在一个图像中识别各种类型的对象，传统技术也会采用同一方案获取图像。
技术实现要素：
根据本公开的示例方面，本公开不仅识别一个图像中的多个对象，而且一次识别各种类型的对象。
本公开可以通过基于所识别的对象的特性、用户期望接收的信息的类型、上下文信息等改变获取用于提供对象的信息的图像的方案，来以较少操作提供信息。
出于识别对象的目的，本公开可以参照多条信息跳过不必要的操作。
根据本公开的一个方面，一种电子设备包括：包括图像获取电路系统的相机模块、显示器、以及电连接至相机模块和显示器的处理器。处理器被配置为：使用相机模块在显示器中显示包括一个或多个对象的预览图像；在显示器中显示与一个或多个对象对应的第一用户界面或者不同于第一用户界面的第二用户界面；接收选择第一用户界面或第二用户界面的输入；如果至少基于输入选择第一用户界面，则采用第一方案使用相机模块来获取包括一个或多个对象的第一图像；如果至少基于输入选择第二用户界面，则采用与第一方案不同的第二方案使用相机模块来获取包括一个或多个对象的第二图像；以及使用至少基于输入获取的第一图像和/或第二图像提供与一个或多个对象相关联的信息。
根据本公开的一个方面，一种电子设备包括：存储图像的存储器、显示器、以及电连接至存储器和显示器的处理器。处理器被配置为：使用显示器显示存储在存储器中的并包括一个或多个对象的第一图像；使用显示器显示与一个或多个对象对应的多个用户界面；接收从多个用户界面中选择第一用户界面的输入；采用与所选择的第一用户界面的类型对应的方案，从第一图像获取包括一个或多个对象的第二图像；以及基于所选择的第一用户界面的类型和所获取的第二图像提供与包括在第二图像中的对象相关联的信息。
根据本公开的一个方面，一种电子设备包括：存储器、显示器、以及电连接至存储器和显示器的处理器。处理器被配置为：使用显示器显示包括一个或多个对象的第一图像；采用与在对应于一个或多个对象的多条属性信息之中的、至少基于上下文信息而确定的一条属性信息对应的方案，获取包括一个或多个对象的第二图像；以及使用第二图像提供与一个或多个对象相关联的信息。
根据本公开的一个方面，一种电子设备包括：包括图像获取电路系统的相机模块；显示器；存储与相机模块相关联的相机应用的存储器；以及电连接至相机模块、显示器和存储器的处理器。处理器被配置为：执行相机应用；使用相机模块获取包括第一对象和第二对象的预览图像；显示包括预览图像的屏幕；显示与第一对象对应的第一用户界面，并显示与第二对象对应的第二用户界面；如果选择第一用户界面，则采用第一方案使用相机模块来获取包括第一对象的第一图像；如果选择第二用户界面，则采用与第一方案不同的第二方案使用相机模块来获取包括第二对象的第二图像；以及使用第一图像或第二图像在显示器中显示与第一对象或第二对象相关联的信息。
根据本公开的一个方面，一种电子设备包括：显示器；存储包括第一对象和第二对象的图像的存储器；以及电连接至显示器和存储器的处理器。处理器被配置为：接收选择图像的输入；显示包括图像的屏幕；响应于输入，显示与第一对象对应的第一用户界面，以及显示与第二对象对应的第二用户界面；如果选择第一用户界面，则采用第一方案从图像中获取包括第一对象的第一图像；如果选择第二用户界面，则采用与第一方案不同的第二方案从图像中获取包括第二对象的第二图像；以及使用第一图像或第二图像在显示器中显示与第一对象或第二对象相关联的信息。
根据本公开的各种实施例，一种应用可以提供与各种类型的对象相关联的信息。
根据各种实施例，电流消耗可以通过减少不必要的操作来降低。
根据各种实施例，由于在基于所提供的信息的类型、对象的特性等而确定的捕获模式下获取图像，可以更有效地使用存储器。
此外，可以提供通过本公开直接或间接地了解的各种效果。
从以下结合附图公开了本公开的各种实施例的详细描述中，本公开的其他方面、优势和显著特征对本领域技术人员而言将变得清楚。
附图说明
从结合附图进行的以下描述中，本公开的某些实施例的上述和其他方面、特征和优势将会更加明显，在附图中：
图1是展示了根据实施例的电子设备的示例配置的框图；
图2是展示了根据实施例的由处理器实施的示例模块的框图；
图3是展示了根据实施例的提供与包括在图像中的对象相关联的信息的示例方法的流程图；
图4是展示了根据实施例的显示与包括在图像中的对象相关联的信息的示例屏幕的图示；
图5是展示了根据实施例的在处理器包括的软件模块之间的示例数据流的框图；
图6是展示了根据各种实施例的图像识别引擎在预览图像中识别的对象以及对象的roi信息的图示；
图7a是展示了根据实施例的示例向导界面和包括在向导界面中的对象的roi信息的图示；
图7b是展示了根据实施例的其尺寸被调整的示例向导界面以及包括在向导界面中的对象的roi信息的图示；
图7c是展示了根据实施例的示例移动后的向导界面以及包括在向导界面中的对象的roi信息的图示；
图8是展示了根据实施例的通过用户输入确定设置信息以及通过设置信息激活的图像识别引擎识别对象的屏幕的图示；
图9是展示了根据实施例的与对象相关联地显示与多个对象对应的用户界面的示例屏幕的图示；
图10是展示了根据实施例的如何基于由场景分类器确定的图像的类别信息来确定处理器获取的图像的质量的示例的框图；
图11是展示了根据实施例的提取包括在图像中的文本以提供与文本相关联的信息的示例屏幕的图示；
图12a是展示了根据实施例的识别预览图像中的qr码以及显示与qr码对应的用户界面的示例屏幕的图示；
图12b、图12c和图12d是展示了根据各种实施例的在qr码中定义的信息的图示；
图13是展示了根据实施例的识别包括在预览图像中的场景的示例屏幕以及地标信息搜索结果屏幕的图示；
图14是展示了根据实施例的在图像中显示多个对象和多个用户界面的示例屏幕以及产品信息搜索结果屏幕的图示；
图15是展示了根据实施例的如何基于关键字筛选和显示产品信息搜索结果的示例的图示；
图16是展示了根据实施例的管理处理器提供的信息历史的示例屏幕的图示；
图17是展示了根据各种实施例的网络环境中的电子设备的图示；
图18是展示了根据各种实施例的电子设备的示例的框图；以及
图19是展示了根据各种实施例的示例程序模块的框图。
贯穿附图，应注意，相似的附图标记用于描绘相同或相似的要素、特征和结构。
具体实施方式
提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括帮助理解的各种特定细节，但这些仅被视为是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所描述的各种实施例进行各种改变和修改。此外，为了清楚和简洁起见，可以省略对众所周知的功能和构造的描述。
在本公开中，在本文中所使用的表达“具有(have)”、“可以具有(mayhave)”、“包含(include)”和“包括(comprise)”或“可以包含(mayinclude)”和“可以包括(maycomprise)指示了相应特征(例如，如数值、功能、操作或部件的要素)的存在，但不排除其他特征的存在。
在本公开中，表达“a或b”、“a或/和b中的至少一个”或“a或/和b中的一个或多个”等可以包括关联的列出项目中的一个或多个的任何和所有组合。例如，术语“a或b”、“a和b中的至少一个”或“a或b中的至少一个”可以指以下所有的情况：(1)包括至少一个a的情况；(2)包括至少一个b的情况；或(3)包括至少一个a和至少一个b两者的情况。
在本公开中使用的诸如“第一(first)”、“第二(second)”等术语可以用于指各种元件，而不管顺序和/或优先级如何，并且用于将相关元件与其他元件区分，而不限制元件。例如，“第一用户设备”和“第二用户设备”指示不同用户设备，而不管顺序或优先级如何。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
将理解的是，当元件(例如，第一元件)被称为与另一元件(例如，第二元件)“(可操作地或可通信地)耦合/耦合至”另一元件或“连接至”另一元件时，该元件可以直接地与另一元件耦合/耦合至另一元件，或连接至另一元件，或者可以存在中间元件(例如，第三元件)。另一方面，当元件(例如，第一元件)被称为与另一元件(例如，第二元件)“直接地耦合/耦合至”另一元件或“直接连接至”另一元件时，应当理解的是，不存在中间元件(例如，第三元件)。
根据这种情形，在本公开中使用的表达“被配置为”可以与例如表达“适合于”、“具有...的能力”、“被设计为”、“适于”“被制作为”或“能够”互换地使用。术语“被配置为”不是仅指在硬件上“专门设计为”。相反，表达“设备，被配置为”可以指设备“能够”与另一设备或其他部件一起操作的情形。例如，“处理器，被配置为(或设置为)执行a、b和c”例如可以指而不限于用于执行相应操作的专用处理器(例如，嵌入式处理器)或通用处理器(例如，中央处理单元(cpu)或应用处理器)，该通用处理器通过执行存储在存储器设备中的一个或多个软件程序来执行相应操作。
在本公开中使用的术语用于描述特定实施例，并不旨在限制本公开的范围。除非另有说明，否则单数形式的术语可以包括复数形式。本文中所使用的包括技术或科学术语的所有术语可以具有本领域技术人员通常理解的相同含义。将进一步理解的是，除非在本公开的各种实施例中明确地如此定义，否则在词典中定义并且通常使用的术语还应当如相关领域的惯例被解释，并不是理想化或过度正式。在一些情况下，即使术语是在本公开中定义的术语，但其不可以被解释为排除本公开的实施例。
根据本公开的各种实施例的电子设备可以包括例如以下各项中的至少一项：智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器、台式pc、膝上型pc、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、运动图像专家组(mpeg-1或mpeg-2)音频层3(mp3)播放器、移动医疗设备、相机或可穿戴设备等，但并不局限于此。根据各种实施例，可穿戴设备可以包括以下各项中的至少一项：附件类型(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(hmd))、织物或衣服集成类型(例如，电子服装)、身体附着类型(例如，护皮垫或纹身)、或可生物植入类型(例如，可植入电路)等，但并不局限于此。
根据各种实施例，电子设备可以是家用器具。家用器具可以包括例如以下各项中的至少一项：电视机(tv)、数字多功能盘(dvd)播放器、音频、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、tv盒(例如，三星homesynctm、苹果tvtm或谷歌tvtm)、游戏机(例如，xboxtm或playstationtm)、电子词典、电子钥匙、摄录机或电子相框等，但不限于此。
根据另一实施例，电子设备可以包括以下各项中的至少一项：各种医疗设备(例如，各种便携式医疗测量设备(例如，血糖监测设备、心率测量设备、血压测量设备和体温测量设备等)、磁共振血管造影(magneticresonanceangiography，mra)、磁共振成像(magneticresonanceimaging，mri)、计算机断层扫描(computedtomography，ct)、扫描仪和超声设备)、导航设备、全球导航卫星系统(globalnavigationsatellitesystem，gnss)、事件数据记录器(eventdatarecorder，edr)、飞行数据记录器(flightdatarecorder，fdr)、车辆信息娱乐设备、船舶用电子装置(例如，导航系统和回转罗盘)、航空电子设备、安全设备、车辆头部单元(headunit)、工业用或家用机器人、自动取款机(automaticteller'smachine，atm)、商店的零售点(pointofsales，pos)或物联网(例如，灯泡、各种传感器、电表或气表、喷淋设备、火灾警报器、恒温器(thermostat)、路灯、烤面包机(toaster)、健身器材、热水箱、加热器、锅炉等)等，但不限于此。
根据实施例，电子设备可以包括以下各项中的至少一项：家具或建筑物/构造物中的一部分、电子板、电子签名接收设备、投影仪或各种测量仪器(例如，水表、电表、气表、或测波仪等)等，但不限于此。根据各种实施例，电子设备可以是上述设备中的一个或其组合。根据实施例的电子设备可以是柔性电子设备。此外，根据本公开的实施例的电子设备可以不限于上述电子设备并且可以包括其他电子设备以及根据技术的发展的新电子设备。
在下文中，将参照附图描述根据各种实施例的电子设备。在本公开中，术语“用户”可以指使用电子设备的人，或者可以指使用电子设备的设备(例如，人工智能电子设备)。
图1是展示了根据实施例的电子设备的示例配置的框图。
参照图1，电子设备100可以包括相机模块(例如，包括图像捕获电路系统)110、存储器120、显示器130、传感器电路140、通信电路150和处理器(例如，包括处理电路系统)160。电子设备100可以进一步包括任何其他元件以及所展示的元件，或者可以排除所展示的元件中的一些。根据实施例，电子设备100可以进一步包括以下参照图17至图19所描述的硬件/软件配置。根据实施例，电子设备100可以省略传感器电路140和/或通信电路150。
相机模块110可以包括捕获静止图像和视频的各种电路系统并且可以包括图像信号处理器(isp)(例如，包括图像处理电路系统)111等。isp111可以将相机模块110的图像传感器获取的图像存储在缓冲器中，并且可以改变在显示器130中实时显示的预览图像的分辨率或为生成将被存储在存储器120中的图像而获取的图像的分辨率。根据实施例，可以根据显示器130的分辨率来确定预览图像的分辨率。根据实施例，将被存储在存储器120中的图像的分辨率可以通过稍后将描述的用户的设置或处理器160的操作来确定。
存储器120可以包括易失性和/或非易失性存储器。存储器120可以存储与电子设备100的元件相关联的命令或数据。例如，存储器120可以根据与在显示器130中显示的对象的类型对应的输入方案或者根据输入来存储关于用户界面(ui)的对象将执行的功能等的数据。根据实施例，存储器120可以存储相机模块110获取的图像，并且可以存储处理器160提供信息所需的信息。根据实施例，存储器120可以存储关于所存储的图像中对象的信息，并且关于对象的信息可以包括对象的类别信息。根据实施例，存储器120可以存储用户输入历史、由处理器160提供的信息历史等。
显示器130可以输出应用的执行屏幕。根据实施例，可以与触摸面板(例如，触摸屏幕面板等)一体地实施显示器130。在这种情况下，用户可以通过触摸显示器130生成用户输入。换言之，在与触摸面板一体地实施显示器130的情况下，应理解，显示器130执行输入设备和输出设备两者的功能。
传感器电路140可以测量物理量，或者可以感测电子设备100的操作状态。根据实施例，传感器电路140可以包括感测电子设备100的运动的运动传感器。
通信电路150可以允许电子设备100与外部服务器进行通信。根据实施例，通信电路150可以向外部服务器发送文本、图像等，并且可以接收与从外部服务器接收到的数据对应的信息。
处理器160可以包括各种处理电路系统并且控制电子设备100的整体操作。处理器160可以通过执行存储在存储器120中的指令来实施各种模块(例如，程序元件)。在下文中，将参照图2来描述由处理器160执行的模块。
图2是展示了根据实施例的由处理器实施的示例模块的框图。
参照图2，处理器200可以包括帧管理器(例如，包括处理电路系统和/或程序元件)210、运动感测模块(例如，包括处理电路系统和/或程序元件)220、视觉特征模块(例如，包括处理电路系统和/或程序元件)225、图像识别引擎(例如，包括处理电路系统和/或程序元件)230、信息管理器(例如，包括处理电路系统和/或程序元件)240、视觉智能(vi)代理(例如，包括处理电路系统和/或程序元件)250、以及代理管理模块(例如，包括处理电路系统和/或程序元件)260。因此，应理解，由处理器200执行由下述模块执行的操作。
根据实施例，可以省略可由处理器200实施的模块中的一个或多个模块。例如，在处理器200中可以省略vi代理250。
根据实施例，帧管理器210可以向图像识别引擎230和运动感测模块220发送从相机模块110或存储器120接收的图像。根据实施例，帧管理器210可以改变所接收的图像的分辨率并且可以发送其分辨率被改变的图像。根据实施例，帧管理器210可以基于从运动感测模块220接收的关于电子设备100的倾斜状态的信息来旋转所接收的图像，并且可以发送经旋转的图像。根据实施例，在帧管理器210发送预览图像的情况下，帧管理器210可以基于从运动感测模块220接收的运动信息，在电子设备100的运动值不大于预设值的时间点处发送预览图像。
根据实施例，运动感测模块220可以使用从帧管理器210接收的图像来生成电子设备100的运动信息。根据实施例，运动感测模块220可以基于从电子设备100的运动传感器接收的感测信号来生成关于电子设备100的倾斜状态的信息，并且可以向帧管理器210发送关于倾斜状态的信息。根据实施例，运动感测模块220生成的运动信息可以用于确定是否操作图像识别引擎230。例如，在生成的运动信息的基础上，图像识别引擎230可以在运动值不大于临界值的情况下识别图像中的对象，并且在运动值大于临界值的情况下可以不操作。
根据实施例，视觉特征模块225可以使用所接收的图像生成关于包括在图像中的对象的视觉特征效果信息，以将视觉特征效果信息发送至应用。应用可以使用从运动感测模块220接收的视觉特征效果信息将视觉特征效果应用于图像，并且可以在显示器130中显示应用视觉特征效果的图像。根据实施例，为了通知用户图像识别引擎230正在操作的目的，仅在图像识别引擎230操作的情况下，视觉特征模块225可以生成视觉特征效果信息。根据实施例，视觉特征效果可以是在图像中包括的对象的特征点处显示的视觉效果。
根据实施例，图像识别引擎230可以识别从帧管理器210接收的图像中的对象，可以生成包括所识别的对象的感兴趣区域(roi)信息，并且可以包括各种程序元件，诸如，例如但不限于场景分类器231、qr/条形码识别器232、场景识别器233、物品识别器234、文本识别器235、人类识别器236、以及动物识别器237等。然而，图像识别引擎230能够包括的识别器不限于此范例，并且可以进一步包括用于识别对象的适当识别器。根据各种实施例，处理器200可以基于从外部服务器接收的数据添加图像识别引擎230的识别器。
根据各种实施例，图像识别引擎230的操作可以由外部服务器执行。处理器200可以使用通信电路150向外部服务器发送与图像相关联的信息(例如，图像文件、特征点、分析结果、关键字、元数据等)，并且可以从外部服务器接收图像识别结果。
根据实施例，场景分类器231可以使用所接收的图像生成图像的类型信息。例如，在图像中包括文本的情况下，场景分类器231可以生成关于图像的类型是文档这一事实的信息。再如，在图像中包括山脉的情况下，场景分类器231可以生成关于图像的类型是场景这一事实的信息。根据实施例，场景分类器231可以向以下各项中的至少一个识别器发送生成的类型信息：qr/条形码识别器232、场景识别器233、物品识别器234、文本识别器235、人类识别器236或动物识别器237。
根据实施例，qr/条形码识别器232可以识别包括在图像中的qr码和条形码，可以生成关于图像包括qr码或条形码这一事实的信息以及关于包括qr码对象或条形码对象的区域的信息，并且可以向信息管理器240发送生成的信息。
根据实施例，场景识别器233可以识别包括在图像中的场景。场景识别器233可以生成关于图像包括场景这一事实的信息以及关于包括场景对象的区域的信息，并且可以向信息管理器240发送生成的信息。
根据实施例，物品识别器234可以识别包括在图像中的物品。物品识别器234可以向信息管理器240发送关于图像包括物品这一事实的信息以及关于包括物品对象的区域的信息。例如，物品识别器234识别酒瓶，可以生成关于包括酒瓶的区域的信息或关于包括酒瓶的标签对象的区域的信息，并且可以向信息管理器240发送生成的信息。
根据实施例，文本识别器235可以识别包括在图像中的文本。文本识别器235可以生成关于图像包括文本这一事实的信息以及关于包括文本对象的区域的信息，并且可以向信息管理器240发送生成的信息。
根据实施例，人类识别器236可以识别包括在图像中的人类。人类识别器236可以向信息管理器240发送关于图像包括人类这一事实的信息以及关于包括人类对象的区域的信息。
根据实施例，动物识别器237可以识别包括在图像中的动物。动物识别器237可以向信息管理器240发送关于图像包括动物这一事实的信息以及关于包括动物对象的区域的信息。
根据实施例，信息管理器240可以接收图像识别引擎230生成的信息，并且可以向应用发送所接收的信息中的至少一部分。换言之，信息管理器240可以以应用要求的格式向应用提供所接收的信息。
根据实施例，信息管理器240可以基于所接收的信息生成新的信息以向应用发送该新的信息。根据实施例，信息管理器240可以生成关于从多个识别器中接收的多条信息之间的优先级的信息。例如，信息管理器240可以从qr/条形码识别器232接收关于图像包括qr码这一事实的信息，可以从场景识别器233接收关于图像包括场景这一事实的信息，并且可以从文本识别器235接收关于图像包括文本这一事实的信息。信息管理器240可以基于预设优先级信息，生成关于qr码被排名为第一优先级这一事实的优先级信息、关于文本被排名为第二优先级的优先级信息、以及关于场景被排名为第三优先级的优先级信息。
根据实施例，信息管理器240可以向应用发送从识别器中的每个接收的、关于包括对象的区域的信息。例如，信息管理器240可以基于上述优先级信息仅将与最高优先级对应的对象的roi信息发送至应用。
根据实施例，信息管理器240可以将关于识别对象的识别器的信息发送至应用。例如，在关于场景识别器233和文本识别器235识别的对象的信息被发送至信息管理器240的情况下，信息管理器240可以向应用发送关于对象已经由场景识别器233和文本识别器235识别这一事实的信息。
根据实施例，应用可以基于从信息管理器240接收的信息来显示用户界面，并且可以基于用户输入等显示与对象相关联的信息。
根据实施例，vi(视觉智能)代理250可以生成图像的类别信息，以将类别信息存储在存储器120中。例如，vi代理250可以将图像的类别设置为人类、家具、衣服、车辆等。vi代理250可以进一步设置所设置的类别的子类别。例如，vi代理250可以设置诸如椅子、桌子、架子、灯泡等子类别。根据实施例，vi代理250可以接收与图像识别引擎230生成的对象相关联的信息，并且可以使用与所接收的对象相关联的信息设置图像的子类别。
根据实施例，vi代理250可以将图像数据具有的信息(诸如，图像的颜色、图像的存储时间点、图像的捕获位置等)存储在存储器120中。当搜索图像时，vi代理250可以使用存储在存储器120中的信息。
根据实施例，为了提供与对象相关联的信息的目的，代理管理模块260可以基于信息管理器240发送的信息、用户输入或上下文信息中的至少一个确定是否向外部服务器发送查询。换言之，为了提供与对象相关联的信息的目的，代理管理模块260可以基于所选择的用户界面来确定是否使用存储在存储器120中的第一数据库或是否使用存储在外部服务器中的第二数据库。此外，根据实施例，代理管理模块260可以确定将要发送查询的外部服务器。例如，相机模块110获取的预览图像可以包括移动电话对象，并且处理器200可以接收选择与移动电话对象对应的产品搜索ui的用户输入。在这种情况下，代理管理模块260可以基于所选择的产品搜索ui来确定向外部服务器发送在其中包括移动电话对象的图像以及与该图像对应的产品信息搜索查询，并且可以确定外部服务器是互联网购物中心服务器。
在下文中，将基于上述配置描述根据实施例的电子设备100的操作。在以下描述中，假设电子设备100包括上述配置中的一部分或所有。
(1)整体操作
将参照图3描述根据实施例的整体操作。
图3是展示了根据实施例的提供与包括在图像中的对象相关联的信息的示例方法的流程图。
参照图3，在操作301中，处理器160可以在显示器130中显示包括一个或多个对象的图像。根据实施例，处理器160可以使用相机模块110显示预览图像。根据实施例，处理器160可以显示存储在存储器120中的图像。
在操作302中，处理器160可以在显示器130中显示与一个或多个对象对应的多个用户界面。
在操作303中，处理器160可以接收在多个用户界面中选择用户界面的用户输入。根据实施例，处理器160可以接收诸如触摸输入等用户输入。
在操作304中，处理器160可以采用与所选择的用户界面对应的方案获取包括一个或多个对象的图像。根据实施例，处理器160可以采用与所选择的用户界面的类型对应的方案获取图像。例如，用户界面的类型可以与以下各项中的至少一项相关联：qr码识别、条形码识别、购物信息搜索、文本提取、产品信息搜索、类似图像搜索、地标搜索、场景搜索、人类搜索、或动物搜索。根据实施例，在用户界面被选择同时处理器160使用相机模块110显示预览图像的情况下，处理器160可以使用相机模块110获取图像。例如，在操作301中在显示器130中显示的图像可以是预览图像，并且在操作304中获取的图像可以是从相机模块110获取的高清晰度图像。根据实施例，在用户界面被选择同时处理器160显示存储在存储器120中的图像的情况下，处理器160可以从存储在存储器120中的图像中获取图像。例如，操作301中在显示器130中显示的图像可以是存储在存储器120中的原始图像，并且在操作304中获取的图像可以是从原始图像的一部分裁切(crop)的图像，或者可以是其分辨率从原始图像改变的图像。
在操作305中，处理器160可以基于所选择的用户界面和所获取的图像来提供与包括在所获取的图像中的对象相关联的信息。根据实施例，处理器160可以在显示器130中显示与对象相关联的信息。
图4是展示了根据实施例显示与包括在图像中的对象相关联的信息的示例屏幕的图示。
参照图4，根据实施例，处理器160可以使用相机模块110获取图像。
在屏幕410中，处理器160可以执行相片捕获应用，并且可以接收选择用于执行提供与对象相关联的信息的应用的用户界面411的触摸输入。
在屏幕420中，处理器160可以在显示器中显示使用相机模块110获取的包括一个或多个对象的预览图像(操作301)。在根据实施例的屏幕420中，预览图像可以包括杯子对象和在杯子表面上的文本对象。如在根据实施例的屏幕420中所展示的，处理器160可以在作为预览图像中的对象的杯子和文本中显示视觉特征效果421。
在屏幕430中，处理器160可以在显示器中显示与对象对应的用户界面(操作302)。在根据实施例的屏幕430中，处理器160可以在显示器中显示与包括杯子对象的区域对应的roi431、以及与文本对象对应的多个用户界面432、433和434。
在屏幕430中，处理器160可以接收在多个用户界面中选择一个用户界面的用户输入(操作303)。在根据实施例的屏幕430中，处理器160可以接收在多个用户界面432、433、434中选择购物信息搜索用户界面432的触摸输入。
如果接收到用户输入，则处理器160可以采用与通过用户输入选择的用户界面对应的方案来获取包括一个或多个对象的图像(操作304)。根据实施例，如果接收到选择购物信息搜索用户界面432的触摸输入，则处理器160可以利用与购物信息搜索用户界面432对应的捕获模式设置使用相机模块110来获取包括杯子对象的图像。例如，如果接收到选择文本用户界面434的触摸输入，则处理器160可以利用与文本用户界面434对应的捕获模式设置使用相机模块110来获取包括杯子表面上的文本的图像。换言之，在接收到选择购物信息搜索用户界面432的触摸输入的情况下的捕获模式设置可以不同于在接收到选择文本用户界面434的触摸输入的情况下的捕获模式设置。
根据实施例，如在屏幕440中所展示的，在提供与对象相关联的信息之前，处理器160可以采用与所选择的用户界面对应的方案显示所获取的图像。根据实施例，如在屏幕440中所展示的，处理器160可以将所选择的购物信息搜索用户界面441显示为与未选择的用户界面不同。
在屏幕450中，处理器160可以基于用户界面和所获取的图像来提供与包括在图像中的对象相关联的信息(操作305)。根据实施例，处理器160可以使用包括所获取的杯子对象的图像，并且可以基于所选择的购物信息搜索用户界面搜索购物信息。如在屏幕450中所展示的，处理器160可以在显示器130中显示作为与杯子对象相关联的信息的购买信息搜索结果451。
在下文中，将更详细地描述操作301到操作305。
(2)图像的显示和用户界面的显示(操作301和操作302)
根据实施例，在操作301中，处理器160可以使用相机模块110显示包括一个或多个对象的预览图像。处理器160可以从相机模块110接收预览帧，并且可以在显示器130中实时地显示所接收的预览帧。
根据另一实施例，在操作301中，处理器160可以显示存储在存储器120中的包括一个或多个对象的图像。例如，存储在存储器120中的图像可以是使用相机模块110获取的图像，或者从外部接收的图像，例如，通过互联网浏览器下载的图像、通过消息接收的图像等。
根据实施例，操作302可以包括：帧管理器向图像识别引擎发送图像的操作、图像识别引擎识别对象并且向信息管理器发送识别信息的操作、以及信息管理器生成关于所接收的识别信息的附加信息并且向应用发送附加信息以及应用显示用户界面的操作。
在下文中，将参照图5至图9描述处理器160显示与对象对应的用户界面的实施例。
图5是展示了根据实施例的在处理器包括的软件模块之间的示例数据流的框图。
参照图5，处理器可以包括帧管理器(例如，包括处理电路系统和/或程序元件)510、运动感测模块(例如，包括处理电路系统和/或程序元件)520、视觉特征模块(例如，包括处理电路系统和/或程序元件)525、图像识别引擎(例如，包括处理电路系统和/或程序元件)530、信息管理器(例如，包括处理电路系统和/或程序元件)540、以及应用(例如，包括处理电路系统和/或程序元件)560。因此，应理解，由处理器执行下述模块执行的操作。
帧管理器510可以从相机模块110接收预览图像，或者可以接收存储在存储器120中的图像。在帧管理器510向图像识别引擎530发送图像的操作中，帧管理器510可以改变所接收的图像的分辨率，以将改变后的图像发送至图像识别引擎530。根据实施例，帧管理器510可以基于图像识别引擎530的特性确定待发送的图像的分辨率。例如，出于识别对象的目的，帧管理器510可以将所接收的图像的原件发送至需要高清晰度图像的qr/条形码识别器532、场景识别器533和文本识别器535，或者可以以高分辨率发送调整大小后的图像。出于识别对象的目的，帧管理器510可以以低分辨率向不需要高清晰度图像的场景分类器531和物品识别器534发送调整大小后的图像。
根据实施例，帧管理器510可以基于电子设备100从运动感测模块520接收的关于倾斜状态的信息来旋转所接收的图像，并且可以发送经旋转的图像。根据实施例，在帧管理器510发送预览图像的情况下，帧管理器210可以基于从运动感测模块520接收的运动信息，在电子设备100的运动值不大于预设值的时间点处发送预览图像。
根据实施例，在帧管理器510从相机模块110接收预览图像的情况下，帧管理器510可以向运动感测模块520发送帧图像。
运动感测模块520可以使用从帧管理器510接收的图像来生成电子设备100的运动信息。例如，运动感测模块520可以提取连续帧图像的运动向量以生成运动信息。根据另一实施例，运动感测模块520可以基于从电子设备100的运动传感器接收的感测信号来生成运动信息。
根据实施例，运动感测模块520可以基于从电子设备100的运动传感器接收的感测信号来生成关于电子设备100的倾斜状态的信息，并且可以向帧管理器510发送关于倾斜状态的信息。根据实施例，运动感测模块520生成的运动信息可以用于确定是否操作图像识别引擎530。例如，在生成的运动信息的基础上，图像识别引擎530可以在运动值不大于临界值的情况下识别图像中的对象，并且在运动值大于临界值的情况下可以不操作。
根据实施例，视觉特征模块525可以使用所接收的图像生成关于包括在图像中的对象的视觉特征效果信息，以将视觉特征效果信息发送至应用560。在根据实施例的操作301中，应用560可以使用从运动感测模块520接收的视觉特征效果信息将视觉特征效果应用于图像(预览图像或存储在存储器120中的图像)，并且可以在显示器130中显示应用了视觉特征效果的图像。
在图像识别引擎530识别对象并且将所识别的信息发送至信息管理器540的操作中，包括在图像识别引擎530中的场景分类器531、qr/条形码识别器532、场景识别器533、物品识别器534、文本识别器535、人类识别器536和动物识别器537可以根据各自功能识别对象，并且可以生成包括所识别的对象的roi信息。
根据实施例，qr/条形码识别器532、场景识别器533、物品识别器534、文本识别器535、人类识别器536和动物识别器537可以根据各自功能检测和识别包括在图像中的对象。根据实施例，识别器中的每个可以生成作为包括在图像中识别的对象的区域的信息的roi信息。
根据实施例，图像识别引擎530可以识别多个对象。
图6是展示了根据实施例的图像识别引擎530在预览图像中识别的示例对象以及对象的roi信息的图示。
如在图6中所展示的，物品识别器534可以识别与预览图像中的物品对象对应的台灯和花瓶，并且可以生成台灯的roi信息610和花瓶的roi信息630。如图6所展示的，文本识别器535可以识别与预览图像中的文本对象对应的相框的文本，并且可以生成文本的roi信息620。将在下文描述的应用560可以在显示器130中显示所生成的roi信息。
根据实施例，处理器160可以在图像上显示其尺寸能够被调整的向导界面，并且图像识别引擎530可以识别包括在向导界面中的对象。根据实施例，基于用户输入，可以调整向导界面的尺寸或者向导界面可以在预览图像上移动。
图7a是展示了根据实施例的示例向导界面和包括在向导界面中的对象的roi信息的图示。图7b是展示了根据实施例的其尺寸被调整的示例向导界面以及包括在向导界面中的对象的roi信息的图示。图7c是展示了根据实施例的示例移动后的向导界面和包括在向导界面中的对象的roi信息的图示。
如图7a中所展示的，处理器160可以在图像上显示向导界面710。如图7a所展示的，文本识别器535可以识别与包括在向导界面710中的文本对象对应的相框中的文本，并且可以生成文本的roi信息720。如图7a所展示的，物品识别器534可以识别与包括在向导界面710中的物品对象对应的花盆并且可以生成花盆的roi信息730。
如在图7b中所展示的，可以调整向导界面710的尺寸。参照图7b，其尺寸被调整的向导界面710中所包括的对象可以是相框。根据至少基于图7b的实施例，不可以识别台灯和花盆并且可以仅识别相框。根据至少基于图7b的实施例，在识别相框、台灯和花盆的识别结果中，可以仅使用相框的识别结果(例如，不使用台灯和花盆的识别结果)。如图7b所展示的，文本识别器535可以识别与包括在向导界面710中的文本对象对应的相框中的文本，并且可以生成文本的roi信息720。
如在图7c中所展示的，向导界面710可以移动。参照图7c，由于包括在移动后的向导界面710中的对象是台灯，所以不可以识别相框中的文本和花盆。
根据至少基于图7c的实施例，不可以识别文本和花盆并且可以仅识别台灯。根据至少基于图7c的实施例，在识别文本、花盆和台灯的识别结果中，可以仅使用台灯的识别结果(例如，不使用文本和花盆的识别结果)。如图7c所展示的，物品识别器534可以识别与包括在向导界面710中的物品对象对应的台灯并且可以生成台灯的roi信息740。
根据实施例，处理器160可以接收选择对象的用户输入，并且图像识别引擎530可以识别所选择的对象。例如，用户输入可以是触摸输入、手势输入(诸如，放大等)、力触摸输入等。
根据实施例，通过设置激活的图像识别引擎530可以识别对象。
图8是展示了根据实施例的通过用户输入确定设置信息以及通过设置信息激活的图像识别引擎530识别对象的示例屏幕的图示。
参照屏幕810，应用560可以显示预览图像并且可以包括用于与功能激活相关联的设置的ui811。如果应用560接收选择用于与图像识别引擎530的激活相关联的设置的ui811的用户输入，则可以显示设置屏幕820。
参照屏幕820，应用560可以包括待激活的多个功能的名称821、指示是否激活功能的ui822、以及退出设置屏幕的ui823。根据实施例，可以根据用户输入激活多个功能中的一些功能。处理器160可以基于被激活的功能来确定是否激活图像识别引擎530。例如，参照屏幕820，可以仅激活检测文本、qr码和条形码的功能。处理器160可以基于被激活的功能仅激活qr/条形码识别器532和文本识别器535两者。
如果处理器160接收选择退出设置屏幕的ui823的用户输入，则可以在显示器130中显示屏幕830。
参照屏幕830，处理器160可以执行其中被激活的qr/条形码识别器532和被激活的文本识别器535识别对象的操作，并且文本识别器535可以识别与文本对象对应的杯子表面上的文本，以生成文本的roi信息831。根据实施例，处理器160可以在显示器130中显示用于提供与所识别的文本相关联的功能的用户界面832，并且在下文中将描述关于用于提供功能的用户界面的细节。
根据实施例，如在图5中所展示的，多个识别器可以接收场景分类器531生成的信息，并且可以基于所生成的信息仅激活多个识别器中的一些识别器。
例如，在场景分类器531生成关于图像的类型是文档这一事实的信息的情况下，可以基于所生成的信息去激活(deactivate)场景识别器533和物品识别器534，并且可以激活qr/条形码识别器532和文本识别器535。
根据各种实施例，首先，帧管理器510可以向场景分类器531发送图像，并且只有基于场景分类器531生成的信息被激活的识别器可以接收图像。
根据实施例，存储在存储器120中的图像可以包括由图像分类器或vi代理生成的关于图像的信息。可以将多个识别器中的、与关于包括在图像中的对象的信息对应的识别器去激活。例如，文本可以包括在存储于存储器120的图像中，并且图像可以包括由光学字符阅读器(ocr)生成的文本信息。在这种情况下，可以将与预先存储的文本信息对应的文本识别器535去激活。
根据实施例，在图像识别引擎530识别来自相机模块110的预览图像中的对象的情况下，图像识别引擎530可以不识别每个预览帧的对象、可以识别至少一个预览帧中的对象、并且可以跟踪所识别的对象。根据实施例，当对预览帧中的对象进行跟踪时，图像识别引擎530可以继续跟踪，直到运动感测模块520生成的运动值超过临界值。根据实施例，图像识别引擎530可以继续对象跟踪，直到所检测的对象退出图像。
根据各种实施例，在处理器160使用相机模块110提供与包括在预览图像中的对象相关联的信息的情况下，图像识别引擎530可以仅执行检测对象的操作，而不是识别对象的操作。与此不同，在处理器160提供与包括在存储于存储器120的图像中的对象相关联的信息的情况下，图像识别引擎530可以执行检测对象的操作以及识别对象的操作两者。
在应用560显示用户界面的操作中，应用560可以显示多个用户界面。例如，应用560可以显示与一个对象对应的多个用户界面，或者可以显示与多个对象对应的多个用户界面。根据实施例，应用560可以显示与通过用户输入选择的对象对应的用户界面。
根据实施例，处理器160可以确定与对象对应的属性，并且可以基于所确定的属性显示用户界面。例如，与对象对应的属性可以是对象的类型，诸如，文本、物品、人类、动物、场景、qr码、或者条形码。根据实施例，在处理器160确定与对象对应的属性是物品的情况下，处理器160可以显示用于搜索购物信息的用户界面或用于搜索类似图像的用户界面中的至少一个。
根据实施例，在处理器160识别多种类型的对象的情况下，处理器160可以显示与多种类型之中的基于预设优先级而确定的类型对应的用户界面。例如，预设优先级可以具有下述顺序：qr码、条形码、文本、物品、人类、动物和场景。在处理器160识别qr码对象、文本对象和场景对象的情况下，处理器160可以基于预设优先级来确定qr码对象被排名为第一优先级，文本对象被排名为第二优先级，以及场景对象被排名为第三优先级。
根据实施例，处理器160可以在显示器130中仅显示与对应于第一优先级的qr码对应的用户界面。根据实施例，处理器160可以显示分别与qr码对象、文本对象和场景对象对应的所有用户界面，并且可以基于优先级按照用于解释qr码的用户界面、用于提取文本的用户界面、以及用于搜索关于场景的信息的用户界面的顺序显示用户界面。
根据实施例，处理器160可以在显示器130中与对象相关联地显示与所确定的属性对应的至少一条属性信息。根据实施例，属性信息可以与所识别的对象相关联，或者可以是能够提供的功能。例如，属性信息可以是产品搜索、文本提取、地址搜索等。
图9是展示了根据实施例与对象相关联地显示与多个对象对应的用户界面的示例屏幕的图示。
参照图9，处理器160可以在显示器130中显示包括在图像中识别的台灯的roi信息910、包括在相框中的文本的roi信息920、以及包括花盆的roi信息930。参照图9，处理器160可以在包括台灯的roi信息910的周围显示用于搜索类似图像的用户界面911；可以在包括相框中的文本的roi信息920的周围显示用于提取文本的用户界面921、以及在包括花盆的roi信息930的周围显示用于搜索类似图像的用户界面931。处理器160可以通过在每个对象的roi信息的周围显示与每个对象对应的用户界面，与对象相关联地显示与多个对象对应的用户界面。
根据实施例，处理器160可以基于上下文信息确定待显示的用户界面。例如，上下文信息可以包括当前时间、电子设备100的位置、用户输入历史等。
例如，在电子设备100位于百货商店并且处理器160识别物品对象的情况下，处理器160可以基于关于电子设备100置于百货商店这一事实的信息显示用于搜索产品信息的用户界面。
再如，存储器120可以存储用户输入历史。根据实施例的用户输入历史，用于在多种类型的用户界面中选择用于搜索类似图像的用户界面的用户输入的数量可能比用于选择其他类型的用户界面的用户输入的数量大。处理器160可以基于用户输入历史来确定与所识别的对象对应的多个用户界面之中的、用于搜索类似图像的用户界面是代表性用户界面，并且可以显示代表性用户界面。
根据实施例，与一个对象对应的用户界面的数量是多个，并且在显示器130中仅可以显示在多个用户界面中的代表性用户界面。此时，在处理器160接收预设用户输入的情况下，处理器160可以执行下述操作：在显示器130中显示与一个对象对应的所有多个用户界面。根据实施例，预设用户输入可以是在特定时间或更长时间期间触摸显示在显示器130中的用户界面的用户输入，或以特定强度或更大的压力触摸用户界面的用户输入(例如，力触摸)。
根据实施例，在处理器160识别包括在存储于存储器120的图像中的对象并且存储器120存储与包括在图像中的对象相关联的类别信息的情况下，处理器160可以基于类别信息显示用户界面。
例如，处理器160可以仅显示与所识别的多个对象之中的、类别信息被存储的对象对应的用户界面。根据实施例，在台灯、花盆和文本被包括在图像中并且关于图像包括与类别信息对应的文本这一事实的类别信息被存储在存储器120中的情况下，处理器160可以仅显示与文本对象对应的用户界面。
(3)选择用户界面的用户输入的接收以及图像的获取(操作303和操作304)
在操作303中，处理器160可以接收选择显示在显示器130上的用户界面的用户输入。例如，用户输入可以是触摸输入等。
如果在操作303中选择用户界面的用户输入，则在操作304中，处理器160可以采用基于所选择的用户界面等的方案获取图像。根据实施例，所获取的图像可以存储在存储器120中。
根据实施例，在处理器160接收与对应于包括在使用相机模块110获取的预览图像中的对象的用户界面相关联的用户输入的情况下，方案可以包括使用相机模块110获取图像的捕获模式设置。例如，捕获模式设置可以包括以下各项中的至少一项：闪光灯(flash)操作设置、图像的分辨率设置、变焦(zoom)设置、iso设置、曝光设置、光圈设置、或高动态范围(hdr)模式设置。
根据实施例，处理器160可以使用存储在存储器120中的图像来接收与对应于包括在图像中的对象的用户界面相关联的用户输入。在这种情况下，例如，方案可以包括用于从存储于存储器120的图像中的包括一个或多个对象的部分区域获取图像的方案、或者用于以指定分辨率获取图像的方案。
根据实施例，在所选择的用户界面是用于提取文本的用户界面的情况下，处理器160可以利用获取高分辨率图像的捕获模式设置使用相机模块110来获取图像。再如，处理器160可以获取在存储在相机模块110的循环缓冲器中的图像之中的最高质量的图像。
根据实施例，在处理器160使用存储在存储器120中的图像并且所选择的用户界面是用于提取文本的用户界面的情况下，处理器160可以不降低存储在存储器120中的图像的分辨率(或者指定分辨率或更大分辨率)，并且可以裁切图像中包括文本的部分区域以获取图像。换言之，处理器160可以通过裁切存储在存储器120中的图像中的除了包括文本的部分区域之外的部分来获取图像。
根据实施例，在所选择的用户界面是用于搜索场景的地点信息的用户界面的情况下，处理器160可以利用获取低分辨率图像的捕获模式设置使用相机模块110来获取图像，或者可以获取预览图像。
换言之，处理器160可以基于所选择的用户界面的类型来确定所获取的图像的质量、图像获取方法等。
根据实施例，处理器160可以采用基于包括在图像中的对象的方案来获取图像。例如，当处理器160接收选择用户界面的用户输入以获取图像时，在包括在图像中的对象中包括复杂图案的情况下，处理器160可以利用获取高分辨率图像的捕获模式设置使用相机模块110获取图像。再如，在包括在预览图像中的对象是暗的情况下，处理器160可以采用操作闪光灯的捕获模式设置来获取图像。
根据实施例，处理器160可以采用与在对应于对象的多条属性信息之中的、基于上下文信息而确定的一条属性信息对应的方案来获取图像。例如，上下文信息可以包括用户输入历史、电子设备100的位置、当前时间等。属性信息可以是关于与对象相关联地提供的功能的信息，并且所提供的功能可以包括文本提取、翻译、类似图像搜索、购物信息搜索、qr码识别、地点信息搜索等。
例如，与对象对应的属性信息可以是文本提取功能或翻译功能，并且接收翻译功能执行输入多于特定频率或更多的历史可以被包括在用户输入历史中。处理器160可以基于接收文本提取功能和翻译功能中的翻译功能的执行输入多于特定频率或更多的历史，来确定翻译功能是与对象对应的属性信息，并且可以采用与翻译功能对应的方案来获取图像。例如，由于处理器160需要提取文本以用于执行翻译功能的目的，处理器160可以利用获取高分辨率图像的捕获模式设置使用相机模块110来获取图像。
根据实施例，处理器160可以采用基于由场景分类器确定的图像的类别信息的方案来获取图像。
图10是展示了根据实施例如何基于由场景分类器确定的图像的类别信息来确定处理器160获取的图像的质量的示例的框图。
参照图10，预览帧1010可以被发送至场景分类器1020并且可以被存储在帧循环缓冲器1030中。场景分类器1020可以使用预览帧1010确定预览图像的类别。如果处理器160接收选择用户界面的用户输入，则处理器160可以使用相机模块110捕获(例如，获取)图像(1040)。根据实施例，在场景分类器1020确定的预览图像的类别是文档的情况下，处理器160可以使用相机模块110获取高清晰度图像并且可以存储高清晰度图像(1050)。根据实施例，在场景分类器1020确定的预览图像的类别不是文档的情况下，处理器160可以接收并且存储被存储在帧循环缓冲器1030中的预览图像，或者可以使用相机模块110获取低清晰度图像，以存储低清晰度图像(1070)。根据实施例，帧循环缓冲器1030可以存储多个预览帧(1060)，并且处理器160可以接收并存储在多个预览图像中的最高清晰度帧图像(例如，具有最少模糊的帧图像)。
(4)与对象相关联的信息的提供(操作305)
在操作305中，处理器160可以基于所选择的用户界面和所获取的图像来提供与对象相关联的信息。
根据实施例，在处理器160识别文本对象并且接收选择用于文本提取的用户界面的用户输入的情况下，在提取文本之后，处理器160可以进一步显示与所提取的文本相关联的用户界面。例如，处理器160可以显示用于便条或备忘录的用户界面、用于存储和共享的用户界面、用于翻译的用户界面、以及用于搜索的用户界面。
在处理器160接收选择用于便条或备忘录的用户界面的用户输入的情况下，处理器160可以执行用于文本书写的应用并且可以将所提取的文本输入文本书写区域。处理器160可以将所提取的文本存储在存储器120中。在处理器160接收选择用于存储和共享的用户界面的用户输入的情况下，处理器160可以在屏幕上显示所提取的文本，并且可以提供用于存储和共享的ui。在处理器160接收选择用于翻译的用户界面的用户输入的情况下，处理器160可以向外部服务器发送文本和翻译请求查询，并且可以从外部服务器接收翻译后的文本，以提供翻译后的文本。在处理器160接收选择用于搜索的用户界面的用户输入的情况下，处理器160可以向外部服务器发送文本和搜索请求查询，并且可以从外部服务器接收搜索结果，以提供搜索结果。根据实施例，在处理器160识别包括文本对象的图像是商业名片并且接收选择用于存储联系人列表的用户界面的用户输入的情况下，处理器160可以提取包括在图像中的文本并且可以提供存储联系人列表的服务。
根据实施例，在处理器160识别qr码对象并且接收选择用于识别qr码的用户界面的用户输入的情况下，处理器160可以提取并提供qr码中定义的信息。根据实施例，处理器160可以根据所提取的信息进一步提供服务。
根据实施例，在处理器160识别条形码对象并选择用于搜索购物信息的用户界面的情况下，处理器160可以向购物中心服务器发送搜索购物信息和条形码信息的查询，并且可以从购物中心服务器接收购物信息(例如，类似产品推荐信息、用于转到购买站点来指导购买的信息)，以提供购物信息。
根据实施例，在处理器160识别场景对象并且选择用于搜索地标信息的用户界面的情况下，处理器160可以向外部服务器发送图像以及搜索地标信息搜索的查询，并且可以从外部服务器接收地标信息，以提供地标信息。
根据实施例，在处理器160识别物品对象并接收选择用于搜索的用户界面的用户输入的情况下，处理器160可以在存储在存储器120中的图像中搜索类似图像以提供找到的类似图像，或者可以向外部服务器发送图像以及搜索类似图像的查询，并且可以从外部服务器接收类似图像，以提供类似图像。再如，在选择用于搜索购物信息的用户界面的情况下，处理器160可以向购物中心服务器发送图像以及搜索产品信息的查询，并且可以从购物中心服务器接收产品信息，以提供产品信息。
根据实施例，处理器160可以基于对象来改变所获取的图像的分辨率，并且可以基于所选择的用户界面和其分辨率被改变的图像提供与对象相关联的信息。例如，在对象是场景的情况下，处理器160可以降低所获取的图像的分辨率。在所选择的用户界面是用于搜索地点信息的用户界面的情况下，处理器160可以使用其分辨率被降低的图像来搜索地点信息，并且可以提供找到的地点信息。根据实施例，在一个或多个对象或者所选择的用户界面中的至少一个的基础上，处理器160可以基于存储在存储器120中的信息提供与对象相关联的信息，或可以向外部服务器发送使用通信电路150获取的图像或从所获取的图像中获取的信息中的至少一个，并且可以从外部服务器接收与对象相关联的信息，以提供与对象相关联的信息。换言之，出于提供与对象相关联的信息的目的，处理器160可以确定是否使用存储在存储器120中的第一数据库或是否使用存储在外部服务器中的第二数据库。
例如，在所选择的用户界面是用于文本提取的用户界面的情况下，处理器160可以基于存储在存储器120中ocr信息来提取并提供文本。另一方面，在所选择的用户界面是用于翻译的用户界面的情况下，处理器160可以获取包括在图像中的文本并且可以向翻译服务器发送文本和翻译请求查询。
根据实施例，即使所选择的用户界面是用于文本提取的用户界面，在包括在图像中的文本的量超过预设标准的情况下，处理器160也可以向外部ocr处理服务器发送图像和文本提取请求查询并且可以接收和提供所提取的文本。
根据实施例，在提取文本之前，处理器160可以执行旋转图像、去除噪声、调整roi区域等的操作。
处理器160可以确定所提取的文本的类别(例如，收据、时间表或商业名片)，或者可以提供下述服务：编辑、存储和共享翻译后的文本，识别商业名片，存储联系人列表，计算数学问题等。处理器160可以为每个类似内容存储所提取的文本。
图11是展示了根据实施例的提取包括在图像中的文本以提供与文本相关联的信息的示例屏幕的图示。
在屏幕1110中，处理器160可以使用相机模块110在显示器130中显示包括文本的预览图像。处理器160可以显示文本对象1111的roi信息1112、与文本对象对应的用于搜索的用户界面1113、以及与文本相关联的用户界面1114。处理器160可以接收选择用于文本提取的用户界面1114的用户输入，并且可以根据用户输入的接收来显示屏幕1120。
根据实施例，处理器160可以通过旋转文本对象1111来显示在屏幕1120中展示的文本对象1121，并且可以显示与文本对象对应的附加用户界面1122、1123和1124。
根据实施例，在屏幕1120中，处理器160可以接收放大屏幕的用户输入，并且如在屏幕1130中所述展示的，可以调整roi区域1131。
根据实施例，处理器160可以接收选择用于文本提取的用户界面1122的用户输入，并且如在屏幕1140中所展示的，可以提供所提取的文本1141。根据实施例，在屏幕1140中，处理器160可以显示用于存储所提取的文本的ui1142和用于共享所提取的文本的ui1143。
根据实施例，处理器160可以接收选择用于翻译的用户界面1123的用户输入，并且如在屏幕1150中所展示的，可以提供所提取的文本1151和翻译后的文本1152。
图12a是展示了根据实施例识别预览图像中的qr码以及显示与qr码对应的用户界面的示例屏幕的图示。图12b、图12c和图12d是展示了根据各种实施例的在qr码中定义的信息的图示。
参照图12a，处理器160可以在显示器130中显示包括在图像中识别的qr码1211的roi信息1212、用于提取在qr码中定义的信息的用户界面1213、以及用于搜索qr码的用户界面1214。如果处理器160接收选择用于提取qr码中定义的信息的用户界面1213的用户输入，则处理器160可以提供如在图12b、图12c和图12d中展示的qr码中定义的信息。例如，在处理器160在显示器130中显示如图12b中所展示的信息并且获取与所显示的信息对应的触摸输入的情况下，处理器160可以执行以samsung.kim@samsung.com作为接受方发送电子邮件的应用。在处理器160在显示器130中显示如图12c中所展示的信息并且获取与所显示的信息对应的触摸输入的情况下，处理器160可以执行添加2016年9月22日在yangjae处的研讨会时间表的应用。在处理器160在显示器130中显示如图12d中所展示的信息并且获取与所显示的信息对应的触摸输入的情况下，处理器160可以执行拨打02-1234-1234的应用。
图13是展示了根据实施例的识别包括在预览图像中的场景的示例屏幕以及地标信息搜索结果屏幕的图示。
参照屏幕1310，处理器160可以在显示器130中显示与在图像中识别的场景对象对应的用于搜索地标信息的用户界面1311以及用于搜索类似图像的用户界面1312。如果处理器160接收选择用于搜索地标信息的用户界面1311的用户输入，则处理器160可以向外部服务器发送搜索地标信息的查询和所获取的图像，并且可以从外部服务器接收地标信息，以提供如在屏幕1320中所展示的所接收的信息。
图14是展示了根据实施例的在图像中显示多个对象和多个用户界面的示例屏幕以及产品信息搜索结果屏幕的图示。
参照屏幕1410，处理器160可以在显示器130中显示包括在图像中识别的台灯的roi信息1411、包括相框中的文本的roi信息1412、包括花盆的roi信息1413、用于搜索产品的用户界面1414、用于提取文本的用户界面1415、以及用于搜索类似图像的用户界面1416。如果处理器160接收选择用于搜索产品的用户界面1414的用户输入，则处理器160可以向外部服务器发送搜索台灯的产品信息的查询和所获取的图像，并且可以从外部服务器接收产品信息，以提供如在屏幕1420中所展示的所接收的信息。
图15是展示了根据实施例的如何基于关键字筛选(filter)和显示产品信息搜索结果的示例的图示。
在屏幕1510中，处理器160可以识别图像中的帽子、眼镜和发型，并且可以显示包括所识别的对象的roi信息1511、用于搜索购物信息的用户界面1512、以及用于搜索图像的用户界面1513。如果处理器160接收选择用于搜索类似图像的用户界面1513的用户输入，则处理器160可以向外部服务器发送搜索帽子、眼镜和发型的产品信息的查询以及所获取的图像，并且可以从外部服务器接收产品信息，以提供如在屏幕1520中所展示的所接收的信息。
在屏幕1520中，处理器160可以显示与多个对象对应的关键字1521以及与多个对象对应的产品信息1522。与屏幕1520相比较，处理器160可以接收用于向上滚动的输入并且可以滚动屏幕以显示如屏幕1530中所展示的更多条产品信息1532。
在屏幕1530中，如果处理器160接收选择用于仅对关于眼镜的产品信息进行筛选的关键字ui1531的用户输入以显示经筛选的产品信息，则处理器160可以显示屏幕1540。
在屏幕1540中，处理器160可以仅显示关于眼镜的产品信息1542并且可以将所选择的关键字ui1541显示为与未选择的关键字不同。
(5)所提供的信息历史和用户输入历史的存储
处理器160可以将根据上述过程提供的信息历史和用户输入历史存储在存储器120中。处理器160可以存储针对由用户选择的每个用户界面而提供的信息历史和用户输入历史。
例如，与购物相关联地提供的信息历史可以包括产品图像、产品名称、制造商等。与书相关联地提供的信息历史可以包括书封面图像、书名、作者、价格和等级。与文本相关联地提供的信息历史可以包括所提取的文本、翻译后的文本等。与地点相关联地提供的信息历史可以包括地标信息等。与图像搜索相关联地提供的信息历史可以包括关键字和大量使用的图像。与酒相关联地提供的信息历史可以包括酒标签和酒名。与qr码相关联地提供的信息历史可以包括qr码中定义的信息。
图16是展示了根据实施例的管理处理器160提供的信息历史的示例屏幕的图示。
参照图16，处理器160可以设置分头(taps)1610来显示针对用户选择的每个用户界面的历史。图16展示了根据购物分头(shoppingtap)的历史。处理器160可以显示每个日期的历史。如在图16中所展示的，处理器160可以显示2016年10月16日1621提供的购物信息历史1631以及2016年10月12日1622提供的购物信息历史1632。
在上述操作305中，可以使用根据各种实施例存储的所提供的信息历史以及所提供的用户输入历史。例如，在用户搜索公司a的眼镜的历史被包括在用户输入历史中的情况下，当处理器160搜索关于眼镜的信息时，处理器160可以使用搜索公司a的眼镜的查询作为参考。
图17是展示了根据各种实施例的网络环境系统中的电子设备的图示。
参照图17，根据各种实施例，电子设备1701、第一电子设备1702、第二电子设备1704或服务器1706可以通过网络1762或短距离无线通信连接1764而彼此连接。电子设备1701可以包括总线1710、处理器1720、存储器1730、输入/输出接口1750、显示器1760和通信接口1770。根据实施例，电子设备1701可以不包括上述元件中的至少一个，或者可以进一步包括其他元件。
例如，总线1710可以使上述元件1720到1770互连，并且可以包括用于在上述元件之间传送通信(例如，控制消息和/或数据)的电路。
处理器1720(例如，处理器160)可以包括各种处理电路系统，诸如，例如而不限于以下各项中的一个或多个：专用处理器、中央处理单元(cpu)、应用处理器(ap)或通信处理器(cp)等。例如，处理器1720可以执行与电子设备1701的至少其他元件的控制和/或通信相关联的算术运算或数据处理。
存储器1730(例如，存储器120)可以包括易失性和/或非易失性存储器。例如，存储器1730可以存储与电子设备1701的至少一个其他元件相关联的指令或数据。根据实施例，存储器1730可以存储软件和/或程序1740。程序1740可以包括例如内核1741、中间件1743、应用编程接口(api)1745、和/或应用程序(或“应用”)1747。内核1741、中间件1743或api1745中的至少一部分可以被称为“操作系统(os)”。
例如，内核1741可以控制或管理用于执行其他程序(例如，中间件1743、api1745和应用程序1747)的操作或功能的系统资源(例如，总线1710、处理器1720、存储器1730等)。此外，内核1741可以提供允许中间件1743、api1745或应用程序1747访问电子设备1701的分立元件的接口，以便控制或管理系统资源。
中间件1743可以执行例如中介(mediation)角色，使得api1745或应用程序1747与内核1741通信以交换数据。
此外，中间件1743可以根据优先级处理从应用程序1747接收的任务请求。例如，中间件1743可以将使得可以使用电子设备1701的系统资源(例如，总线1710、处理器1720、存储器1730等)的优先级分配给应用程序1747中的至少一个。例如，中间件1743可以根据分配给该至少一个应用程序的优先级处理一个或多个任务请求，这使得可以对一个或多个任务请求执行调度或负载平衡。
api1745可以是例如应用程序1747通过其控制由内核1741或中间件1743提供的功能的接口，并且可以包括例如用于文件控制、窗口控制、图像处理、特征控制等的至少一个接口或功能(例如，指令)。
输入/输出接口1750可以包括各种输入/输出电路系统，并且起到例如向电子设备1701的其他元件发送从用户或另一外部设备输入的指令或数据的接口的作用。此外，输入/输出接口1750可以向用户或另一外部设备输出从电子设备1701的其他元件接收的指令或数据。
显示器1760(例如，显示器130)可以包括例如液晶显示器(lcd)、发光二极管(led)显示器、有机led(oled)显示器、微机电系统(mems)显示器或电子纸显示器等，但不限于此。显示器1760可以向用户显示例如各种内容(例如，文本、图像、视频、图标、符号等)。显示器1760可以包括触摸屏，并且可以接收例如使用电子笔或用户身体的一部分的触摸、手势、接近或悬停输入。
例如，通信接口1770可以包括各种通信电路系统，并且在电子设备1701与外部设备(例如，第一电子设备1702、第二电子设备1704或服务器1706)之间建立通信。例如，通信接口1770可以通过无线通信或有线通信连接至网络1762，以与外部设备(例如，第二电子设备1704或服务器1706)进行通信。
无线通信可以使用例如以下各项中的至少一项作为蜂窝通信协议：长期演进(lte)、先进lte(lte-a)、码分多址(cdma)、宽带cdma(wcdma)、通用移动通信系统(umts)、无线宽带(wibro)、全球移动通信系统(gsm)等。此外，无线通信可以包括例如短距离通信1764。短距离通信1764可以包括以下各项中的至少一项：无线保真(wi-fi)、蓝牙、近场通信(nfc)、磁条传输(mst)、全球导航卫星系统(gnss)等。
mst可以使用电磁信号响应于传输数据而生成脉冲，并且脉冲可以生成磁场信号。电子设备1701可以将磁场信号传递至销售点(pos)，并且pos可以使用mst阅读器检测磁场信号。pos可以通过将检测到的磁场信号转换成电信号来恢复数据。
gnss可以包括例如基于可用区域、带宽等的全球定位系统(gps)、全球导航卫星系统(glonass)、北斗导航卫星系统(以下称为“北斗”)、或基于欧洲的全球卫星的导航系统(在下文中称为“伽利略”)中的至少一个。在下文中，在本公开中，可以互换使用“gps”和“gnss”。有线通信可以包括以下各项中的至少一项：例如，通用串行总线(usb)、高清晰度多媒体接口(hdmi)、推荐标准-232(rs-232)、普通老式电话服务(pots)等。网络1762可以包括电信网络中的至少一个，例如，计算机网络(例如，lan或wan)、因特网或电话网络。
第一电子设备1702和第二电子设备1704中的每个可以是类型与电子设备1701的类型不同或相同的设备。根据实施例，服务器1706可以包括具有一个或多个服务器的组。根据各种实施例，电子设备1701将执行的操作中的所有或一部分可以由另一或多个电子设备(例如，第一电子设备1702、第二电子设备1704或服务器1706)执行。根据实施例，在电子设备1701自动地或响应于请求来执行任何功能或服务的情况下，电子设备1701可以不在内部执行功能或服务，但是可替代地，另外地，其可以从另一设备(例如，电子设备1702或1704或服务器1706)请求与电子设备1701相关联的至少一部分功能。该另一电子设备可以执行所请求的功能或附加功能，并且可以向电子设备1701发送执行结果。电子设备1701可以使用所接收的结果提供请求的功能或服务，或者另外可以处理所接收的结果以提供请求的功能或服务。为此，例如，可以使用云计算、分布式计算、或客户端服务器计算。
图18是展示了根据各种实施例的示例电子设备的框图。
参照图18，电子设备1801可以包括例如如图17中展示的电子设备1701的全部或一部分。电子设备1801可以包括一个或多个处理器(例如，应用处理器(ap))1810、通信模块1820、订户识别模块1829、存储器1830、安全模块1836、传感器模块1840、输入设备1850、显示器1860、接口1870、音频模块1880、相机模块1891、电力管理模块1895、电池1896、指示器1897、以及电机1898。
处理器1810(例如，处理器160)可以包括各种处理电路系统并驱动例如操作系统(os)或应用以控制连接至处理器1810的多个硬件或软件元件，并且可以处理和计算各种数据。例如，处理器1810可以使用片上系统(soc)来实施。根据实施例，处理器1810可以进一步包括图形处理单元(gpu)和/或图像信号处理器。处理器1810可以包括图18中所展示的元件中的至少一部分(例如，蜂窝模块1821)。处理器1810可以将从其他元件(例如，非易失性存储器)中的至少一个接收的指令或数据加载到易失性存储器，并且处理所加载的指令或数据。处理器1810可以将各种数据存储在非易失性存储器中。
通信模块1820(例如，通信电路150)可以被配置成与图17的通信接口1770相同或类似。通信模块1820可以包括包含各种通信电路系统的各种模块，诸如，例如并不限于蜂窝模块1821、wi-fi模块1822、蓝牙(bt)模块1823、gnss模块1824(例如，gps模块、glonass模块、北斗模块或伽利略模块)、近场通信(nfc)模块1825、mst模块1826、以及射频(rf)模块1827等。
蜂窝模块1821可以通过通信网络提供例如语音通信、视频通信、字符(character)服务、互联网服务等。根据实施例，蜂窝模块1821可以在通信网络内使用订户识别模块(例如，sim卡)1829来执行对电子设备1801的区分和认证。根据实施例，蜂窝模块1821可以执行处理器1810提供的功能中的至少一部分。根据实施例，蜂窝模块1821可以包括通信处理器(cp)。
例如，wi-fi模块1822、bt模块1823、gnss模块1824、nfc模块1825或mst模块1826中的每个可以包括用于处理通过相应模块交换的数据的处理器。根据实施例，蜂窝模块1821、wi-fi模块1822、bt模块1823、gnss模块1824、nfc模块1825或mst模块1826中的至少一部分(例如，两个或更多个)可以被包括在一个集成电路(ic)或ic封装内。
例如，rf模块1827可以发送和接收通信信号(例如，rf信号)。例如，rf模块1827可以包括收发器、功率放大器模块(pam)、频率滤波器、低噪声放大器(lna)、天线等。根据另一实施例，蜂窝模块1821、wi-fi模块1822、bt模块1823、gnss模块1824、nfc模块1825或mst模块1826中的至少一个可以通过单独的rf模块发送和接收rf信号。
订户识别模块1829可以包括例如包括订户识别模块的卡和/或嵌入式sim，并且可以包括唯一的身份信息(例如，集成电路卡识别符(iccid)或订户信息(例如，集成移动用户身份(imsi))。
存储器1830(例如，存储器120或存储器1730)可以包括内部存储器1832和/或外部存储器1834。例如，内部存储器1832可以包括以下各项中的至少一项：易失性存储器(例如，动态随机存取存储器(dram)、静态ram(sram)、同步dram(sdram)等)、非易失性存储器(例如，一次性可编程只读存储器(otprom)、可编程rom(prom)、可擦可编程rom(eprom)、电可擦可编程rom(eeprom)、掩模rom、快闪rom、闪存(例如，nand闪存或nor闪存)等)、硬盘驱动器或固态驱动器(ssd)。
外部存储器1834可以进一步包括闪存驱动器，诸如压缩闪存(cf)、安全数字(sd)、微型安全数字(micro-sd)、迷你型安全数字(mini-sd)、极限数字(xd，extremedigital)、多媒体卡(mmc)、记忆棒等。外部存储器1834可以通过各种接口可操作地和/或物理上连接至电子设备1801。
安全模块1836可以是包括安全级别高于存储器1830的安全级别的存储空间的模块，并且可以是保证安全数据存储和受保护执行环境的电路。安全模块1836可以使用单独的电路来实施，并且可以包括单独的处理器。例如，安全模块1836可以位于可移除的智能芯片或安全数字(sd)卡中，或者可以包括嵌入在电子设备1801的固定芯片中的嵌入式安全元件(ese)。此外，安全模块1836可以基于与电子设备1801的操作系统(os)不同的os来操作。例如，安全模块1836可以基于java卡开放平台(jcop)os来操作。
传感器模块1840(例如，传感器电路140)可以测量例如物理量，或者可以检测电子设备1801的操作状态。传感器模块1840可以将所测量或所检测的信息转换成电信号。例如，传感器模块1840可以包括以下各项中的至少一项：手势传感器1840a、陀螺仪传感器1840b、气压传感器1840c、磁传感器1840d、加速度传感器1840e、握持传感器1840f、接近传感器1840g、颜色传感器1840h(例如，红色、绿色、蓝色(rgb)传感器)、生物计量传感器1840i、温度/湿度传感器1840j、照度(照明度)传感器1840k、和/或uv传感器1840m。尽管未展示，但是附加地或一般地，传感器模块1840可以进一步包括例如电子鼻(e-nose)传感器、肌电图(emg)传感器、脑电图(eeg)传感器、心电图(ecg)传感器、红外(ir)传感器、虹膜传感器和/或指纹传感器。传感器模块1840可以进一步包括用于控制包括在其中的至少一个或多个传感器的控制电路。根据实施例，电子设备1801可以进一步包括作为处理器1810的一部分或独立于处理器1810的处理器，并且被配置为控制传感器模块1840。处理器可以控制传感器模块1840，而处理器1810仍处于休眠状态。
输入设备1850可以包括各种输入电路系统，诸如，例如并不限于触摸面板1852、(数字)笔传感器1854、按键1856或超声输入设备1858等。例如，触摸面板1852可以使用电容、电阻、红外和超声检测方法中的至少一种。此外，触摸面板1852可以进一步包括控制电路。触摸面板1852可以进一步包括向用户提供触觉反映的触觉层。
(数字)笔传感器1854可以是例如触摸面板的一部分，或可以包括用于识别的附加片。按键1856可以包括例如物理按钮、光学按键、键区(keypad)等。超声输入设备1858可以通过麦克风(例如，麦克风1888)检测(或感测)由输入设备生成的超声信号，并且可以检查与所检测的超声信号对应的数据。
显示器1860(例如，显示器130或显示器1760)可以包括面板1862、全息图设备1864或投影仪1866。面板1862可以与图17中展示的显示器1760相同或类似。面板1862可以被实施为例如灵活的、透明的或可穿戴的。面板1862和触摸面板1852可以被集成到单个模块中。全息图设备1864可以使用光干涉现象在空间中显示立体图像。投影仪1866可以将光投射到屏幕上，以便显示图像。例如，屏幕可以被安排在电子设备1801内或外。根据实施例，显示器1860可以进一步包括用于控制面板1862、全息图设备1864或投影仪1866的控制电路。
接口1870可以包括各种接口电路系统，诸如，例如并不限于高清晰度多媒体接口(hdmi)1872、通用串行总线(usb)1874、光学接口1876和/或d-超小型(d-sub)1878等。接口1870可以例如包括在图17中所展示的通信接口1770中。附加地或一般地，接口1870可以包括例如移动高清链接(mhl)接口、sd卡/多媒体卡(mmc)接口、或红外数据协会(irda)标准接口。
音频模块1880可以在双向上转换声音和电信号。音频模块1880中的至少一部分可以例如包括在图17中所展示的输入/输出接口1750中。音频模块1880可以处理例如通过扬声器1882、接收器1884、耳机1886或麦克风1888输入或输出的声音信息。
例如，相机模块1891(例如，相机模块110)可以拍摄静止图像或视频。根据实施例，相机模块1891可以包括至少一个或多个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(isp)或闪光灯(例如，led或氙灯)。
电力管理模块1895可以管理例如电子设备1801的电力。根据实施例，电力管理集成电路(pmic)、充电器ic、或者电池或燃料量表可以被包括在电力管理模块1895中。pmic可以具有有线充电方法和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法或电磁方法，并且可以进一步包括附加电路(例如，线圈回路、共振电路、整流器等)。当对电池充电时，电池量表可以测量例如电池1896的剩余容量以及其电压、电流或温度。电池1896可以包括例如可充电电池和/或太阳能电池。
指示器1897可以显示电子设备1801或其一部分(例如，处理器1810)的特定状态，诸如，启动状态、消息状态、充电状态等。电机1898可以将电信号转换成机械振动，并且可以产生以下效果：振动、触觉等。尽管未展示，但是用于支持移动tv的处理设备(例如，gpu)可以包括在电子设备1801中。用于支持移动tv的处理设备可以根据数字多媒体广播(dmb)、数字电视广播(dvb)、mediaflotm等标准来处理媒体数据。
根据本公开的各种实施例的电子设备的上述元件中的每一个可以被配置有一个或多个部件，并且元件的名称可以根据电子设备的类型而改变。在各种实施例中，电子设备可以包括上述元件中的至少一个，并且可以省略一些元件或者可以添加其他附加元件。此外，根据各种实施例的电子设备的元件中的一些可以彼此组合以便形成一个实体，使得元件的功能可以以与组合之前相同的方式执行。
图19是展示了根据各种实施例的示例程序模块的框图。
根据实施例，程序模块1910(例如，程序1740)可以包括控制与电子设备(例如，电子设备1701)相关联的资源的操作系统(os)和/或在os上被驱动的多样化的应用(例如，应用程序1747)。os可以是例如android、ios、windows、symbian、或tizen。
程序模块1910可以包括例如内核1920、中间件1930、应用编程接口(api)1960、和/或应用1970。程序模块1910中的至少一部分可以被预加载在电子设备上或可以从外部电子设备(例如，第一电子设备1702、第二电子设备1704、服务器1706等)下载。
内核1920(例如，内核1741)可以包括例如系统资源管理器1921和/或设备驱动器1923。系统资源管理器1921可以执行系统资源的控制、分配或取回(retrieval)。根据实施例，系统资源管理器1921可以包括处理管理单元、存储器管理单元、或文件系统管理单元。设备驱动器1923可以包括例如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、usb驱动器、键区驱动器、wi-fi驱动器、音频驱动器或进程间通信(ipc)驱动器。
中间件1930可以提供例如应用1970普遍需要的功能，或可以通过api1960向应用1970提供多样性的功能以允许应用1970有效地使用电子设备的有限系统资源。根据实施例，中间件1930(例如，中间件1743)可以包括以下各项中的至少一项：运行时间库1935、应用管理器1941、窗口管理器1942、多媒体管理器1943、资源管理器1944、电力管理器1945、数据库管理器1946、包管理器1947、连接性管理器1948、通知管理器1949、位置管理器1950、图形管理器1951、安全管理器1952、扩展屏幕管理器1953、和/或支付管理器1954等。
运行时间库1935可以包括例如库模块，该库模块在应用1970正在被执行时由编译器使用用于通过编程语言来添加新功能。运行时间库1935可以执行输入/输出管理、存储器管理、或关于算术功能的能力。
应用管理器1941可以管理例如应用1970的至少一个应用的生命周期。窗口管理器1942可以管理在屏幕中使用的图形用户界面(gui)资源。多媒体管理器1943可以识别播放多样性媒体文件所需的格式，并且可以使用适用于格式的编解码器对媒体文件进行编码或解码。资源管理器1944可以管理资源，诸如，存储空间、存储器或应用1970中的至少一个应用的源代码。
电力管理器1945可以例如使用基本输入/输出系统(bios)来操作以管理电池的容量、温度或电力，并且可以使用关于电池的容量、温度或电力中的一个的相应信息来确定或提供用于电子设备的操作的电力信息。电力管理器1945可以例如使用基本输入/输出系统(bios)来操作以管理电池的容量或电力，并且可以提供用于电子设备的操作的电力信息。
连接性管理器1948可以管理例如无线连接(诸如，wi-fi或蓝牙)。通知管理器1949可以在不干扰用户的模式下显示或通知诸如到达消息、约定或接近通知的事件。位置管理器1950可以管理关于电子设备的位置信息。图形管理器1951可以管理向用户提供的图形效果，或管理与其相关的用户界面。安全模块1952可以提供系统安全、用户认证等所需的通用安全功能。例如，扩展屏幕管理器1953可以确定在其中显示图形图像的显示器的区域。根据实施例，扩展屏幕管理器1953可以通过显示器的被确定为使得显示图形图像的区域来管理待提供的信息、图形效果、或与待提供的信息或图形效果相关联的用户界面。
根据实施例，在电子设备(例如，电子设备1701)包括电话功能的情况下，中间件1930可以进一步包括用于管理电子设备的语音或视频呼叫功能的电话管理器。中间件1930可以包括组合了上述元件的多样性功能的中间件模块。中间件1930可以提供专门用于每个os种类的模块以提供差异化功能。此外，中间件1930可以动态地移除预先存在的元件中的一部分或可以将新元件添加至此。
api1960(例如，api1745)可以是例如编程功能的集合，并且可以被提供有取决于os可变的配置。例如，在os是android或ios的情况下，其可以为每个平台提供一个api集。在os是tizen的情况下，其可以为每个平台提供两个或更多个api集。
应用1970(例如，应用程序1747)可以包括例如能够为以下各项提供功能的一个或多个应用：主页1971、拨号器1972、sms/mms1973、即时消息(im)1974、浏览器1975、相机1976、闹钟1977、联系人1978、语音拨号1979、电子邮件1980、日历1981、媒体播放器1982、相簿1983、钟表(时钟)1984和/或支付1935等。此外，尽管未示出，应用可以包括各种其他应用，诸如，例如并不限于用于提供卫生保健(例如，测量运动量、血糖等)或环境信息(例如，气压、湿度、温度等信息)的应用。
根据实施例，应用1970可以包括用于支持电子设备(例如，电子设备1701)与外部电子设备(例如，第一电子设备1702或第二电子设备1704)之间的信息交换的应用(为描述方便起见，在下文中称为“信息交换应用”)。信息交换应用可以包括例如用于向外部电子设备发送特定信息的通知中继应用或用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括向外部电子设备发送由其他应用(例如，用于sms/mms、电子邮件、卫生保健或环境信息的应用)产生的通知信息的功能。此外，信息交换应用可以接收例如来自外部电子设备的通知信息，并且向用户提供通知信息。
设备管理应用可以管理(例如，安装、检测、或更新)例如与电子设备进行通信的外部电子设备的至少一项功能(例如，外部电子设备自身(或元件的一部分)的打开/关闭、或显示器亮度(或分辨率)的调整)、在外部电子设备上运行的应用、或者从外部电子设备提供的服务(例如，呼叫服务、消息服务等)。
根据实施例，应用1970可以包括根据外部电子设备的属性而分配的应用(例如，移动医疗设备的卫生保健应用)。根据实施例，应用1970可以包括从外部电子设备(例如，第一电子设备1702、第二电子设备1704或服务器1706)接收的应用。根据实施例，应用1970可以包括预加载应用、或可从服务器下载的第三方应用。根据实施例的程序模块1910的元件的名称是可以根据操作系统的种类可修改的。
根据各种实施例，程序模块1910中的至少一部分可以由软件、固件、硬件或其两项或更多项的组合来实现。程序模块1910中的至少一部分可以例如由处理器(例如，处理器1810)实现(例如，执行)。程序模块1910中的至少一部分可以包括例如用于执行一种或多种功能的模块、程序、例程、指令集、进程等。
本公开中使用的术语“模块(module)”可以表示例如包括硬件、软件和固件的一个或多个组合的单元。术语“模块”可以与术语“单元(unit)”、“逻辑(logic)”、“逻辑块(logicalblock)”、“部件(component)”和“电路(circuit)”互换使用。“模块”可以是集成部件的最小单元或者可以是其一部分。“模块”可以是用于执行一个或多个功能或其一部分的最小单元。“模块”可以被机械地或电子地实施。例如，“模块”可以包括例如，并不限于用于执行一些已知或将要开发的操作的专用处理器、cpu、专用ic(asic)芯片、现场可编程门阵列(fpga)以及可编程逻辑设备等中的至少一个。
根据各种实施例的装置(例如，模块或其功能)或方法(例如，操作)的至少一部分可以例如由存储在计算机可读存储介质中的指令以程序模块的形式实施。指令当由处理器(例如，处理器1720)执行时，可以使得一个或多个处理器执行与指令对应的功能。计算机可读存储介质例如可以是存储器1730。
计算机可读记录介质可以包括硬盘、软盘、磁性介质(例如，磁带)、光学介质(例如，致密盘只读存储器(cd-rom)和数字多功能盘(dvd))、磁光介质(例如，软盘))和硬件设备(例如，只读存储器(rom)、随机存取存储器(ram)或闪存)。而且，程序指令不仅可以包括诸如由编译器生成的东西之类的机械代码，而且还可以包括使用解释器在计算机上可执行的高级语言代码。上述硬件单元可以被配置为经由根据各种实施例的用于执行操作的一个或多个软件模块进行操作，反之亦然。
根据各种实施例的模块或程序模块可以包括以上元件中的至少一个，或者可以省略以上元件中的一部分，或者可以进一步包括附加的其他元件。可以顺序地、并行地、重复地或以启发方法执行根据各种实施例的由模块、程序模块或其他元件执行的操作。此外，可以以不同顺序执行一些操作或可以省略一些操作。可替代地，可以添加其他操作。
尽管已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将会理解，在不脱离如所附权利要求及其等同物定义的本公开的精神和范围的情况下，可以在形式和细节上做出各种改变。