用于生成视频内容的方法和设备与流程

相关申请的交叉引用

根据35u.s.c.§119(a)，本申请要求于2015年8月12日在韩国知识产权局提交的韩国专利申请no.10-2015-0114119的优先权，其全部公开内容通过引用合并于此。

本公开总体上涉及一种用于通过使用诸如图像或视频等媒体内容来生成视频内容的技术。

背景技术：

当用户通过使用存储在存储器中的图像和/或其他视频来编辑视频(例如，创建高亮视频(highlightvideo))时，电子设备可以通过对图像进行后处理来获得关于图像的信息。例如，在通过用yuv对jpeg图像进行解码而获得与图像相关的属性信息之后，电子设备可以基于所获得的属性信息来生成编辑图像。此外，电子设备可以通过从视频的回放片段中选择任意片段或仅提取视频中的i帧来生成编辑图像。

技术实现要素：

技术问题

类似地，当传统的电子设备用于根据原始视频生成高亮视频时，需要对原始视频数据进行分析，以确定要用于高亮视频的原始视频的片段。也就是说，在现有的方法中，电子设备对原始视频数据进行后处理，这增加了生成高亮视频所需的时间和资源。

技术方案

因此，本公开的一个方面在于提供一种用于生成高亮视频的设备和方法。

根据本公开的一个方面，提供一种电子设备，包括：存储器；相机；以及处理器，被配置为基于在通过相机获得图像时获得的用户交互信息来生成附加信息，将图像编码为视频数据，并将包括视频数据和附加信息的视频文件存储在存储器中。

根据本公开的另一方面，提供了一种用于电子设备的视频内容生成方法。所述方法包括：获得图像；基于在获得图像时获得的用户交互信息来生成附加信息；将图像编码为视频数据；以及存储包括视频数据和附加信息的视频文件。

有益效果

当生成高亮视频时，减少了分析原始视频文件所消耗的时间，因此，可以减少高亮视频生成时间。

此外，可以通过仅当发生针对高亮视频的存储事件时才将高亮视频存储在存储空间中，来有效地使用系统资源。此外，可以提供通过本说明书直接或间接确定的各种效果。

附图说明

根据结合附图的以下描述，本公开的特定实施例的上述和其它方面、特征以及优点将更清楚，在附图中：

图1示出了根据本公开实施例的电子设备和外部电子设备；

图2是示出了根据本公开实施例的媒体内容生成方法的流程图；

图3示出了根据本公开实施例的视频文件结构。

图4示出了根据本公开实施例的用于生成高亮视频的电子设备；

图5是示出了根据本公开实施例的用于播放并存储高亮视频的方法的流程图；

图6示出了根据本公开实施例的高亮视频配置；

图7示出了根据本公开实施例的用于高亮视频回放和存储用户界面(ui)的示例屏幕图像；

图8示出了根据本公开实施例的网络环境中的电子设备；

图9示出了根据本公开实施例的电子设备；以及

图10示出了根据本公开实施例的程序模块；

应注意，在整个附图中，相似的附图标记用于描述相同或相似的元件、特征和结构。

具体实施方式

下文中，参考附图描述了本公开的多种实施例。然而，本说明书不旨在限制本公开的各种实施例，应理解，本公开旨在涵盖所附权利要求及其等同物的范围内的所有修改、等同和/或备选。

在附图的描述中，类似的参考数字表示类似的元件。

本文中，所使用的术语用于描述本公开的特定实施例，而不意在限制其他实施例的范围。

除非在上下文中具有明显不同的含义，否则单数形式的术语可以包括复数形式。

除非本文另有定义，否则包括技术术语或科学术语的所有术语可以具有与本领域技术人员通常理解的含义相同的含义。通常，词典中限定的术语应被视为具有与相关技术中的语境含义一致的含义，并且除非本文中明确地如此限定，否则不应被不同地理解或具有过于形式化的含义。在任何情况下，即使是本说明书中限定的术语也不能解释为排除本公开的实施例。

术语“包括”、“包含”、“具有”、“可以包括”、“可以包含”和“可以具有”表示所公开的功能、操作或元件，但是不排除其他功能、操作和/或元件。

例如，表述“a或b”或“a或/和b中至少一项”可以指示a、b或a和b两者。

诸如“第1”、“第2”、“第一”、“第二”等的术语可以区分各种不同元件，且不限制所述元件。例如，第一用户设备和第二用户设备可以表示不同的用户设备，而与顺序或重要性无关。从而，在不脱离本公开范围的情况下，第一组件可称为第二组件，反之亦然。

当将组件(例如，第一组件)称作“与”另一组件(例如，第二组件)“可操作性地或可通信地耦接/被可操作性地或可通信地耦接到”另一组件(例如，第二组件)或“连接到”另一组件(例如，第二组件)时，所述第一组件可以直接连接到第二组件，或通过其他组件(例如，第三组件)连接。然而，当将第一组件称为“直接连接到”或“直接接入”第二组件时，在第一组件和第二组件之间不存在另一组件。

根据上下文，表述“被配置为”可以与以下各项互换使用：“适用于”、“具有...的能力”、“被设计用于”、“适于”、“被制作用于”或“能够”。

术语“被配置为”可以意味着在硬件方案“被具体设计为”，但是在一些情况下“被配置为...的设备”可以意味着该设备和另一设备或部件“能够...”。例如，“被配置为执行a、b和c的处理器”的意思可以意味着用于执行相应操作的专用处理器(例如嵌入式处理器)、或用于通过执行存储在存储设备中的至少一个软件程序来执行相应操作的通用处理器(例如中央处理单元(cpu)或应用处理器)。

本文中，电子设备可以是智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器(e-book)阅读器、台式pc、膝上型pc、上网本计算机、工作站、服务器、个人数字助手(pda)、便携式多媒体播放器(pmp)、mp3播放器、移动医疗设备、相机和可穿戴设备。例如，可穿戴设备可以是：配饰型设备(例如，手表、戒指、手链、脚链、项链、眼镜、隐形眼镜或头戴式设备(hmd))、纤维或服饰集成型设备(例如，电子服装)、身体附着型设备(例如，皮肤贴或纹身)、或生物植入型设备(例如，可植入电路)。

本文中，术语“用户”可以指代使用电子设备的人或使用电子设备的设备(例如人工智能电子设备)。

图1示出了根据本公开实施例的电子设备和外部电子设备。

参考图1，电子设备100包括捕获模块110、图像信号处理器(isp)120、缓冲器130、处理器140、存储器150、触摸屏面板(tsp)160、传感器170以及通信模块180。

电子设备100可以通过通信模块180无线地或有线地连接到外部电子设备(例如，平板电脑、智能手表、pc、笔记本、可穿戴设备等)。

捕获模块110或通信模块180可以配置有软件、硬件、固件或其组合。

捕获模块110可以是相机。捕获模块110可以包括多个透镜，并将来自对象的光提供给isp120，其中所述光是通过透镜入射的。捕获模块110可以被理解为包括透镜和isp120以及其他适当的硬件/软件模块(例如，光圈、闪光灯等)。

isp120可以将通过捕获模块110获得的图像存储在缓冲器130中。isp120可以是与处理器140不同的独立硬件设备。isp120也可以与处理器140一起集成为例如一个芯片(例如，作为片上系统(soc))。

缓冲器130可以是与其他存储器不同的独立硬件设备。缓冲器130可以是分配了随机存取存储器(ram)的地址的一部分的存储空间。

处理器140可以控制电子设备100的整体操作。处理器140可以被理解为控制模块、处理模块和/或控制器。处理器140可以包括cpu或应用处理器(ap)。处理器140可以控制配置电子设备100的大部分硬件。图1所示的控制/数据的连接关系可以是示例性的，且处理器140可以直接控制isp120或者捕获模块110。

tsp160可以检测触摸输入和/或悬停输入，并向处理器140提供输入事件。各种输入(例如，通过电子笔的输入)可以是可识别的并被提供给处理器140。例如，当在捕获期间从用户发生用于指示放大的触摸输入(例如，对放大菜单的触摸输入或多点触摸)时，tsp160可以向处理器140提供关于触摸输入的信息(例如，坐标、多点触摸、触摸压力程度等)。通过使用这个信息，处理器140可以获得关于在捕获期间发生的诸如放大输入的用户输入的信息。

传感器170可以在由捕获模块110执行捕获时由电子设备100检测到的各种信息(例如，照明、方向、移动、心跳等)。传感器170可以包括多个传感器。

通信模块180可以与外部电子设备200、基站或服务器进行通信。

图2是示出了根据本公开实施例的媒体内容生成方法的流程图。例如，以下将图2所示的方法描述为由图1所示的电子设备100执行。

参考图2，在操作201中，电子设备100(例如，其中的捕获模块110)获得用于生成媒体内容(例如，视频)的图像。当相机被用户激活并且开始捕获(或记录)功能时，电子设备100可以通过捕获模块110获得图像数据。

在操作203，电子设备100将所获得的图像数据存储在缓冲器130中。在将图像数据存储在缓冲器130中之前，可以通过isp120将适当的图像处理应用于该图像数据。本文中，缓冲器130可以对应于在图像数据作为视频文件(例如，mp4文件)被存储在存储器150之前临时存储被编码或正被编码的图像数据的存储空间。

在操作205中，电子设备100可以生成与图像(或图像数据)相关的附加信息。例如，附加信息可以包括以下至少一项：通过对存储在缓冲器130中的图像数据进行图像分析而获得的信息、关于在捕获图像时发生的用户交互(例如，通过tsp160发生的触摸输入)的信息以及在捕获图像时获得的状况信息。此处，状况信息可以被理解为包括电子设备100在捕获期间可获得或可识别的不同类型的周围环境信息，诸如通过传感器170收集的信息(例如，环境亮度、用户手部颤抖、周围噪声水平和/或电子设备100的位置信息)以及通过通信模块180收集的信息(例如，通过功能上连接到电子设备100的外部设备的传感器收集的信息)。

在操作207中，电子设备100可以生成编码数据。例如，处理器140可以对存储在缓冲器130中的图像数据进行编码以生成编码视频数据(例如，视频数据、视频流、视频包等)。

备选地，可以由处理器140基本上同时(或并行地)执行操作205和207。此外，可以由不同的处理模块执行操作205和207(例如，可以由cpu执行信息收集，且操作205中的图像分析和操作207中的编码可以由图形处理单元(gpu)执行)。

在操作209，电子设备100通过使用在操作205中生成的附加信息和在操作207中生成的编码数据来生成媒体内容，例如，视频文件。

如上所述，根据本公开实施例的电子设备可以以多种方式生成附加信息。

例如，电子设备100(例如，其中的处理器140)可以根据所确定的在捕获图像时出现的图像数据的不连续区域来生成附加信息。

更具体地，当根据图像数据可获得的特定参数值的改变在特定时间超出预定范围(例如，高于阈值)(例如，电子设备100从室内移动到室外，或前视图(或背景)或捕获对象改变)时，处理器140可以确定在所捕获的图像中发生改变，并在附加信息中包括关于改变的发生时间和所发生的改变的信息。本文中，改变的发生时间可以包括绝对时间(例如，当前日期和时间)和/或视频文件的回放时间(例如，呈现时间戳(pts))。

例如，当诸如直方图或绝对差值和(sad)等参数的改变发生超过指定阈值时，处理器140还可以以标签或元数据格式存储关于发生的改变的信息以及关于发生时间的信息。

此外，处理器140可以基于从获得的图像中检测到的手势、表情或运动来生成附加信息。

此外，处理器140可以生成包括满足指定条件的时间和对应音频信息的附加信息，其中所述对应音频信息包括在当捕获图像时获得的音频信息中。例如，处理器140可以确定音频的音量是否突然增加或减小，或确定是否检测到与指定声音(例如，呼喊、拍手或特定短语(例如，“进球”、“射门”、“本垒打”等))相对应的波形，并且根据确定结果将音频信息包括在附加信息中。

此外，处理器140可以使用在捕获模块110执行捕获时获得的捕获图像的质量信息。例如，处理器140可以检查通过捕获模块110获得的图像的锐度、亮度、饱和度和结构，并且可以忽略附加信息中关于严重晃动的图像和过亮或过暗的图像的信息。然而，处理器140可以在附加信息中包括关于具有确保锐度的图像(例如，模糊图像)的信息。

此外，当在图像中发生面部识别或对象识别时，处理器140可以在附加信息中包括发生面部识别和/或对象识别的信息和/或所识别的面部或对象的信息(例如，名称和标题)以及关于发生相应识别的时间或发生持续时间的信息。

作为另一示例，处理器140可以检测在捕获模块110获取图像时发生的用户输入，并且在附加信息中包括关于该用户输入的发生时间和所发生的用户输入的信息。例如，如果在图像捕获期间发生经由tsp160的触摸输入或经由触摸/物理按钮或键按钮的用户输入，则处理器140可以生成附加信息以包括关于发生所述用户输入的时间的信息和所发生的用户输入。

例如，当用户提供用于放大的触摸输入时，处理器140可以生成附加信息以包括关于发生所述输入的时间的信息和关于所述放大输入的信息，例如，所述放大输入发生在2015年7月20日下午10：25：38且pts03：12。

例如，电子设备100可以支持与捕获有关的各种功能。如果在捕获期间接收到的用户输入用于激活(应用)至少一个功能，则处理器140可以在附加信息中包括与用户输入有关的信息。例如，如果电子设备100支持对象跟踪功能，则当用户在捕获期间选择特定对象(例如，儿童)时，可以基于所选择的儿童连续地改变焦点或变焦。在这种情况下，处理器140可以在附加信息中包括关于发生该用户输入的时间的信息和关于激活功能(例如，对象跟踪功能)的信息。

当想要近处观察对象或确定对象的重要性很高时，用户可以使用放大功能，在相反的情况下，使用缩小功能。根据本公开的实施例，放大输入被预先定义为指定用户输入，而缩小输入并未被预先定义为指定用户输入。也就是说，当发生预先定义类型或形式的用户输入时，处理器140可以将关于所述预先定义类型或形式的用户输入的信息包括在附加信息中。

由于电子设备100通过分析在捕获图像时实时获得的信息来生成附加信息，所以电子设备100可以生成包括不是通过附加后处理获得的信息和通过对视频文件的后处理获得的信息在内的附加信息。也就是说，除了简单地生成编辑视频(例如，高亮视频)时生成所消耗的时间(即，用于后期处理的时间)的效果之外，还可以存在以下附加效果：相对高亮视频内容是基于在捕获期间发生的各种用户输入或在捕获期间检测或收集的信息而生成的。

例如，当通过传感器170检测到满足特定条件的数据或检测到数据改变时，处理器140可以生成附加信息以包括关于所述数据或所述数据改变的检测时间的信息以及传感器相关的状况信息。例如，可以通过陀螺仪传感器或加速度传感器来检测捕获角的变化，或捕获角可以改变超过预定范围(例如，纵向模式改变为横向模式)，关于检测到所述改变的时间或当发生所述改变时的持续时长的信息以及关于陀螺传感器的信息(例如，角度信息)可以包括在附加信息中。

此外，照度传感器相关信息(例如，照度值是否增加或减少超过阈值)以及心率传感器相关信息(例如，心率是否增加超过阈值或者心率传感器是否位于指定范围内)可以包括在附加信息中。

上述信息仅是示例。因此，电子设备100可获得的其他传感器信息(例如，紫外(uv)指数信息、外部温度、湿度程度和/或交互信息)可以包括在附加信息中。

此外，处理器140可以生成附加信息以包括关于在捕获期间发生或改变的电子设备100的状况的信息，例如，关于当第一相机捕获对象时第二相机是否处于激活状态的信息。

此后，处理器140可以通过使用基于状况信息的附加信息，来基于特定状况(例如，电子设备100的不太颤抖的状态以及用户的心理状态(例如，心率)不稳定或激动的状态)生成高亮视频。

例如，处理器140可以在捕获期间通过通信模块180收集信息。例如，处理器140可以从关于电子设备100的全球定位卫星(gps)坐标值或wi-fi连接的接入点信息检查电子设备100(例如，机场、咖啡馆等)的位置。

通信模块180可以将视频呼叫连接到另一用户终端，并当通过使用从视频呼叫获得的图像或在视频呼叫期间获得的图像来生成媒体内容时，处理器140可以获得关于视频呼叫发送/接收的信息(例如视频呼叫时间，视频呼叫的另一方等)。例如，关于视频呼叫发送/接收的信息可以包括视频呼叫的质量信息和视频呼叫的发送/接收灵敏度(例如视频呼叫期间的接收信号强度指示(rssi)值的变化)。

此外，处理器140可以从通过通信模块180连接的外部电子设备(例如，可穿戴设备)获得满足指定条件的信息。例如，可以从连接到电子设备100的可穿戴设备通过蓝牙(bt)获得用于控制照相机的信号(例如，在视频捕获期间的图像捕获，放大/缩小，慢动作捕获等))在捕获期间。除了获取时间的信息之外，所获得的信息可以被包括在附加信息中。例如，当从通过通信模块180连接的可穿戴设备获得大于预定值的心率信息时，处理器140可以在附加信息中包括关于获取时间和心率信息的信息。

例如，处理器140可以根据用户反馈信息生成附加信息。例如，当通过网络实时广播电子设备100捕获的图像时，可以收集观看广播的用户的反馈。当用户反馈大于预定水平时，处理器140可以在附加信息中包括关于对应时间的信息。例如，当观看者每分钟输入的评论的数量超过参考值时，当收视率大于参考值时，或当用户提供指定反馈(例如，喜欢/推荐)时，这些信息可以包括在附加信息中。

处理器140还可以基于捕获时电子设备100的内部/外部信息来选择重要对象(例如，重要人物)，并且在该附加信息中包括关于重要对象的信息。通过这样的附加信息，电子设备100可以基于重要的目标生成高亮图像。

例如，处理器140可以提前分析关于电子设备100的联系人列表内包括的用户中频繁联系的用户或被添加到收藏夹的用户的信息(例如，面部图像)。备选地，处理器140可以在捕获图像的同时执行分析。当对重要对象的面部识别出现在图像中时，处理器140除了附加信息中的高优先级指示之外还可以包括识别的面部的图像。

处理器140可以仅在捕获期间在附加信息中包括关于识别对象的信息，并且随后在生成高亮视频时使用关于重要对象的信息和包括在附加信息中的关于识别对象的信息。

此外，处理器140可以根据用户的时间表(例如，基于存储的日历事件，约会的频率或通过社交网络或信使应用程序的帖子)来配置重要对象。

图像中的重要对象不限于人或人的面部。例如，处理器140可以预先将特定图像(例如，车辆)配置为重要对象。当视频捕获开始时，在配置重要对象之后，处理器140还可以在捕获期间在附加信息中包括关于识别为车辆的对象的高优先级指示。

在视频捕获期间可获得的不同类型的信息不限于上述示例，并且各种其他扩展是可能的。此外，上述实施例可以应用于通过图像分析或音频分析获得的附加信息。

图3示出了根据本公开实施例的视频文件配置。

参考图3，视频文件包括报头报头310、数据分组320、用户数据330以及适用于其它文件格式的数据(例如，循环冗余校验(crc)数据)。视频文件的结构可以进行多种修改，但是通常包括用于定义视频文件(例如，报头310)、视频数据(例如，数据分组320)和附加信息(例如，用户数据330)。

例如，mp4文件可以包括用于检查文件的可比性的文件类型框“ftyp”、用于存储媒体的所有元数据的电影框“moov”以及用于存储实际媒体数据的媒体数据框“mdat”。

用户数据330(即，存储有附加信息)可以是与常规文件格式的元数据区域(例如，mp4文件中的“moov”)分开的区域。例如，由于媒体文件通常具有根据每个媒体文件的类型指定的标准，所以附加信息可以存储在用户使用的用户数据区域中。因此，如图3所示，附加信息331包括在用户数据330中。

可以以被定义为解析系统或应用中的附加信息331的标签、元数据或各种格式(例如，xml文档)来提供附加信息331。例如，在正进行用于生成视频文件的图像捕获时收集的信息可以包括在附加信息331中。附加信息331可以具有与每个信息(或事件)相对应的标签，并且每个标签可以包括与视频的回放时间点相对应的pts和事件相关信息。

此外，附加信息331可以包括关于每个事件发生的实际时间(即，日期和时间)的信息。备选地，附加信息331可以在视频中包括关于视频文件的生成时间(或捕获时间)的信息(例如，1分24秒)。

图4示出了根据本公开实施例的用于生成高亮视频的电子设备。

参考图4和图1，电子设备100可以通过使用存储在存储器150中的图像i和视频v来生成高亮视频。例如，对准模块410可以从存储在存储器150中的图像和视频获得元数据，并根据指定标准(例如，时间顺序、重要性顺序等)来对准所述元数据。

选择模块420可以在对准后的元数据中选择要用于生成高亮视频的元数据。

回放模块430可以基于所选的元数据向存储器150查询数据，并通过使用查询到的数据向显示器450输出高亮视频。

当相对于所播放的高亮视频发生存储事件时，存储模块440可以将高亮视频作为附加视频文件存储在存储器150中。

对准模块410、选择模块420、回放模块430和存储模块440可以是由处理器控制的软件模块或引擎。也就是说，由图4中的对准模块410、选择模块420、回放模块430和存储模块440执行的操作可以被理解为由处理器(例如，如图1中所示的处理器140)执行的操作。

对准模块410、选择模块420、回放模块430和存储模块440可以用软件、硬件、固件或其组合来配置。

图5是示出了根据本公开实施例的用于播放并存储高亮视频的方法的流程图。例如，以下将图5所示的方法描述为由图4所示的电子设备100执行。

参考图5，在操作501中，电子设备100从所存储的内容(图像/视频)中选择用于播放高亮视频的内容。例如，存储在电子设备100的存储器150中的内容可以被分为多个事件。也就是说，电子设备100的媒体库可以包括多个事件，且每个事件可以包括多个内容(例如，诸如视频文件和/或图像文件等内容文件)。例如，在对应时间处生成或获得的内容可以包括在与特定时间(例如，一个月、一个季度、一年等)相对应的事件中。在对应地点捕获的图像或视频也可以包括在特定地点(例如，优胜美地之旅)事件中。

可以由电子设备100根据指定设置来自动配置包括多个内容的事件，或可以由用户手动配置包括多个内容的事件。

用户可以选择特定事件，以便生成/播放关于特定事件的高亮视频。备选地，不管事件如何，用户都可以选择存储在存储器150中的内容，并基于所选内容命令生成高亮视频。

在操作503中，电子设备100对所选内容中的图像执行后处理。例如，当在操作501中选择的内容(或事件)包括图像时，处理器可以通过对图像的后处理任务来获得元数据。如果在操作501中选择的内容仅配置有视频，则可以省略对图像的后处理操作。

在操作505中，电子设备100可以确定要用于生成高亮视频的元数据。例如，对准模块410可以根据生成时间顺序来对准视频的附加信息和在操作503中获得的图像的元数据。例如，元数据可以包括从视频文件获得的附加信息以及从图像获得的元数据。

当对准元数据时，电子设备100可以组合从多个视频获得的元数据(即，附加信息)以及从多个图像获得的元数据，并按时间顺序列出组合的元数据。本文中，时间可以对应于以下至少一项：视频的附加信息中包括的指定条件的发生时间、视频的捕获完成时间、视频的捕获开始时间以及在捕获期间捕获的图像的存储时间(在视频的情况下)；以及图像的捕获时间(在图像的情况下)。例如，电子设备100可以支持在视频捕获期间进行图像捕获。

相对于图像，可以基于捕获时间(或图像编码完成时间)来生成时间信息(例如，exif信息)。相对于所捕获的视频，可以基于视频捕获停止时间(或视频的编码完成的时间)来生成时间信息。

当通过使用所捕获的视频和在视频捕获期间捕获的图像来生成高亮视频时，图像的时间信息具有早于视频的时间信息的时间值，且因此，在高亮视频中，相比于从视频选择的图像可以更早地提供所捕获的图像。此外，对于选自视频的多个图像中的时间信息早于在视频捕获期间捕获的图像的图像，可以首先在高亮视频中提供该图像。

当完成对元数据的对准时，选择模块430可以在元数据中确定要应用于高亮视频的元数据。选择模块430可以根据每个元数据的权重来确定优先级，并按照优先级降序来选择元数据。例如，选择模块430可以对出现类似信息的场景的部分进行聚类，并将权重分配给聚类区域中的有意义的信息，例如，所识别的面部的大小、面部的数量、图像的晃动程度等。

例如，识别面部的时间的图像可以比没有识别出面部的时间的图像具有更高的优先级。此外，具有预定照明等级的图像可以比太亮或太暗的图像具有更高的优先级。此外，应用对象跟踪功能的持续时间内的图像可以比其他持续时间内的图像具有更高的优先级。此外，直方图或sad的变化值较大的时间的图像可以比其他时间点的图像具有更高的优先级。此外，在放大状态下捕获的持续时间内的图像可以比在缩小状态下捕获的持续时间内的图像具有更高的优先级。在捕获期间保持较高心率的持续时间内的图像可以比保持正常心率的持续时间内的图像具有更高的优先级。

在操作507中，电子设备100确定要应用于所确定的元数据的主题或效果。例如，可以在选择模块420中执行该操作，并且可以在回放期间由回放模块430执行该操作。

当确定元数据时，可以应用预定义主题，或可以根据元数据的信息来应用主题。例如，当在与元数据相对应的图像中存在许多动态图像时，可以应用动态主题。此外，当在特定时间(例如，圣诞节、新年、感恩节、复活节、万圣节等)捕获图像时，可以应用适合相应节日的主题。此外，当根据图像的分析结果存在许多欢快气氛图像或低沉气氛图像时，可以应用相应主题。本文中，除了应用于高亮视频回放的视觉效果之外，主题还可以包括音效，例如背景音乐。

可以针对为了生成高亮视频而选择的数据(例如，某些持续时间的图像或视频数据)或针对不同数据之间的间隙(例如，当从一图像切换到另一图像、从图像切换到视频或从一视频切换到另一视频的间隙)施加效果。例如，gpu可以针对屏幕切换或内容显示应用适当的效果。例如，根据背景音乐的节拍，可以提供(改变)效果，可以提供图像拼贴效果，可以基于面部位置提供放大/缩小的快速改变效果，或可以提供用于连续图片的图像效果(例如，诸如gif等效果、慢动作效果、重叠效果等)。

在操作509中，电子设备100基于所确定的元数据和所确定的主题/效果信息来播放高亮视频。例如，回放模块430可以基于元数据向存储器150查询原始数据，并将从存储器150提供的数据连同指定主题/效果一起输出到显示器450。

例如，当媒体库的事件1中包括一百个不同的内容时，选择模块420可以选择五个图像和两个视频文件(或与其对应的元数据)。在这种情况下，可以选择与视频文件中的附加信息内的一些pts相对应的元数据。例如，电子设备100可以通过对准模块410的元数据对准和选择模块420的元数据选择来获得以下信息：第一视频文件从2秒播放到4秒且第二视频文件从30秒到34秒是重要的。当播放高亮视频时，回放模块430可以通过按照以下顺序询问存储器150来播放高亮视频：event1＝img1.jpg，img2.jpg，img3.jpg，img4.jpg，img5.jpg，vide01.mp4(02：00～04：00)且vide02(30：00～34：00)。

图6示出了根据本公开实施例的高亮视频配置。

参考图6，电子设备100可以通过使用img_001.jpg，img_009.jpg，video_01.mp4和video_02.mp4来播放高亮视频。也就是说，当执行操作501至507时，至少四个文件可以对应于优先级被确定为高的元数据。

回放模块430可以通过在与2秒到4秒相对应的持续时间610中使用img_001来播放高亮视频。尽管通过在0到2秒的持续时间内使用另一内容来播放高亮视频，但是为了便于描述，省略了针对除了2秒到19秒之外的持续时间的回放的描述。

在持续时间610中，回放模块430可以基于回放信息611播放img_001文件。回放信息611可以是基于与img_001相对应的元数据信息生成的信息以及基于在操作507中确定的主题/效果信息生成的信息。例如，回放模块430可以与较慢的淡入效果一起输出该文件。可以在操作507中确定应用于每个持续时间的效果。虽然在图6的实施例中针对一个持续时间示出了一个效果，然而可以将多个效果应用于一个持续时间，并当从一个持续时间进入到下一持续时间时可以定义用于持续时间进入的效果。

回放模块430可以在与高亮视频的4秒到10秒相对应的持续时间620中，基于回放信息621播放video_01文件。例如，回放模块430可以向存储器150询问与video_01文件的pts(pts_v)3：55至4：01相对应的视频数据，并针对持续时间620播放相应视频数据。回放信息621可以是基于与video_01的pts3：55至4：01相对应的附加信息以及在操作507中确定的主题/效果信息而生成的信息。

以类似的方式，回放模块430可以相对于持续时间630和持续时间640，通过使用每个img_009文件和video_2文件来基于信息631和641播放高亮视频。

此外，当播放高亮视频时，电子设备100可以基于元数据呈现关于原始图像的信息。例如，电子设备100可以通过诸如高亮视频上进行叠加的方法，输出关于原始图像的信息(例如，原始图像的文件名和原始图像中的pts信息)。

此外，电子设备100可以提供关于附加信息的信息。例如，可以通过在视频图像上进行叠加、弹出或对话框来输出发生放大输入的信息和执行对象跟踪的信息。

在图6中，提供了当播放根据视频文件生成的高亮视频时播放视频文件的特定片段的示例。也就是说，视频文件的特定片段被用于生成高亮视频。然而，在另一示例中，根据基于附加信息确定的元数据，可以将与特定时间点(例如，pts)相对应的图像(例如，i帧)用于生成高亮视频。

再次参考图5，在操作511，电子设备100(例如，存储模块440)确定是否发生存储事件。例如，当发生用于播放高亮视频的输入时(其中正通过电子设备100的显示器450播放所述高亮视频或完整地播放了所述高亮视频)，在操作513中，存储模块440可以将高亮视频存储在存储器150中。

如果没有发生存储事件，则可以在播放高亮视频之后结束该过程。也就是说，当没有发生存储事件时，高亮视频不占用存储器150的存储空间。在这种情况下，可以将被确定用于生成高亮视频的元数据信息和主题/效果信息(例如，参照图6描述的回放信息)存储在存储器150中。然而，由于正由回放模块430播放的高亮视频暂时占用了分配给特定存储器(例如，ram)的部分空间，而不占用电子设备的存储空间，因此可以改善电子设备100中的系统资源的使用效率。

如图6所示，可以通过使用在操作505中确定的元数据来生成高亮视频。也就是说，高亮视频的所有持续时间可以包括与每个持续时间相对应的元数据。备选地，如果用于生成高亮视频的元数据不足或高亮视频中的一些持续时间被配置为用随机图像填充，则不管元数据如何，高亮视频的一些持续时间可以不包括对应元数据。例如，在上述媒体库中包括的多个事件中，如果在用于生成高亮视频的事件中包括少量内容(例如，一个视频和两个图像)，则电子设备100可以根据图5所示的方法确定元数据，并附加地根据随机或指定参考来生成视频(例如，提取与视频文件中的i帧相对应的图像)。

由于要包括在高亮视频中的元数据是根据优先级来确定的，所以在没有元数据的高亮视频中包括的图像(或视频持续时间)可以具有相对较低的优先级。因此，当在操作509中播放高亮视频时，电子设备100可以有区别地设置具有元数据的回放持续时间以及没有元数据的回放的回放条件。例如，相比于具有元数据的持续时间，电子设备100可以更快地播放没有元数据的持续时间。此外，电子设备100可以通过使用诸如损耗压缩的图像处理来针对没有元数据的持续时间配置相对较低的图像质量，并且相应地，减小高亮视频的大小。

图7示出了根据本公开实施例的用于高亮视频回放和存储ui的示例屏幕图像。

参考图7，显示包括多个事件的媒体库屏幕710。媒体库中可以包括针对2015年6月13日至18日期间捕获的图像/视频的事件以及针对2015年4月21日在洛杉矶周末旅行捕获的图像/视频的事件711。

当相对于事件711发生用于播放高亮视频的输入(例如，触摸输入、语音输入或悬停输入)时，电子设备100可以执行图5的操作501至509，其中在操作501中选择的内容可以是与事件711相对应的图像/视频。

代替预先生成高亮视频并将其存储在存储器中，电子设备100可以通过基于在高亮视频的回放时间点确定的元数据从存储器所存储的图像和视频数据中获得与该高亮视频相对应的数据，来执行即时回放。由于需要在捕获时提前生成关于相对较大尺寸的视频数据的附加信息，所以电子设备100可以在不干扰用户体验的时间内立即播放高亮视频，而不需要对视频数据的分析时间。

在操作509中播放的高亮视频的回放屏幕720可以被输出给显示器。回放屏幕720可以包括用于回放屏幕/高亮视频的控制菜单，例如，用于返回到事件列表的菜单、共享菜单和导出菜单721。导出菜单721上的选择可以被理解为发生存储事件。也就是说，当选择了导出菜单721时，电子设备100可以生成回放中的高亮视频作为视频文件。在这种情况下，所生成的视频文件还可以包括用于生成高亮视频的元数据信息作为附加信息。

图8示出了根据本公开实施例的网络环境中的电子设备。

参照图8，电子设备801、802和804以及服务器806可以通过网络862或短距离通信864彼此连接。电子设备801包括总线810、处理器820、存储器830、输入/输出接口850、显示器860和通信接口870。电子设备801可以省略上述部件中的至少一个，或可以附加地包括不同组件。

总线810可以包括用于将组件810至870彼此相连并在组件810至870之间传递通信(例如，控制消息和/或数据)的电路。

处理器820可以包括cpu、ap和通信处理器(cp)中的至少一个。例如，处理器820可以执行用于电子设备801的至少一个其它组件的控制和/或通信的计算或数据处理。

存储器830可以包括易失性和/或非易失性存储器。存储器830可以存储有关于电子设备801的至少一个其它组件的指令或数据。存储器830存储软件和/或程序840。程序840包括内核841、中间件843、应用编程接口(api)845和应用程序(或应用)847。内核841、中间件843和api845中的至少一部分可以称作操作系统(os)。

内核841可以控制或管理用于执行在其他程序(例如，中间件843、api845或应用程序847)中实现的操作或功能的系统资源(例如，总线810、处理器820、存储器830等)。此外，内核841可以通过从中间件843、api845或应用程序847访问电子设备801的各个组件来提供用于控制或管理系统资源的接口。

当api845或应用程序847与内核841通信时，中间件843可以充当用于交换数据的中介角色。

此外，中间件843可以根据优先级处理从应用847接收到的至少一个工作请求。例如，中间件843可以向至少一个应用程序847分配使用电子设备801的系统资源(例如，总线810、处理器820或存储器830)的优先级。例如，中间件843可以通过根据向至少一个工作请求分配的优先级来处理所述至少一个工作请求，对所述至少一个工作请求执行调度或负载平衡。

作为用于允许应用程序847控制从内核841或中间件843提供的功能的接口，api845可以包括用于文件控制、窗口控制、图像处理、或字符控制的至少一个接口或功能(例如，指令)。

输入/输出接口850可以充当用于向电子设备801的其它组件传送从用户或另一外部设备输入的指令或数据的接口。此外，输入/输出接口850可以向用户或另一外部设备输出从电子设备801的其它组件接收的指令或数据。

显示器860可以包括液晶显示器(lcd)、发光二极管(led)显示器、有机发光二极管(oled)显示器、微机电系统(mems)显示器或电子纸显示器。显示器860可以向用户显示各种内容(例如，文本、图像、视频、图标、符号等)。显示器860可以包括触摸屏，并且例如可以接收通过使用电子笔或用户身体部位的触摸、手势、接近、或悬停输入。

通信接口870可以在电子设备801与第一外部电子设备802、第二外部电子设备804和/或服务器806之间设立通信。例如，通信接口870可以通过无线通信或有线通信与连接到网络862的第二外部电子设备804或服务器806通信。

无线通信可以使用以下的至少一项作为蜂窝通信协议：长期演进(let)、lte-高级(lte-a)、码分多址(cdma)、宽带cdma(wcdma)、通用移动电信系统(umts)、无线宽带(wibro)、全球移动通信系统(gsm)等。附加地，无线通信可以包括短距离通信864。短距离无线通信864可以包括无线保真(wi-fi)、蓝牙(bt)、近场通信(nfc)、磁条传输(mst)或全球导航卫星系统(gnss)中的至少一个。

mst可以通过使用根据传输数据的磁信号来产生脉冲，并且所述脉冲可以产生磁信号。电子设备801可以向销售点(pos)设备发送磁信号，并且pos设备可以使用mst读取器检测磁信号，并将通过将检测到的磁信号转换成电信号来恢复数据。

gnss可以包括以下至少一项：gps、glonass、北斗卫星导航系统和galileo(也就是说，基于欧洲全球卫星的导航系统)。下文中，gps和gnss可以互换使用。有线通信可以包括以下至少一项：通用串行总线(usb)、高清多媒体接口(hdmi)、推荐标准932(rs-232)和普通老式电话服务(pots)。网络862可以包括电信网络，例如计算机网络(例如lan或wan)、互联网和电话网络中至少一项。

第一外部电子设备和第二外部电子设备802和804中的每一个可以是与电子设备801相同或不同的类型的设备。

服务器806可以包括具有一个或多个服务器的组。

电子设备801上执行的全部操作或一部分操作可以在电子设备802、电子设备804和/或服务器806中执行。因此，当电子设备801执行特定功能或服务时，其可以向电子设备802、电子设备804和/或服务器806请求与该电子设备相关的功能的至少一部分，而不由其本身执行功能或服务或除了由其本身执行功能或服务之外。外部电子设备802、电子设备804和/或服务器806可以执行所请求的功能或附加功能，并可以向电子设备801发送执行结果。电子设备801可以照原样地，或例如通过使用云计算、分布式计算或客户端-服务器计算技术来附加地处理所接收的结果，来提供所请求的功能或服务。

如图8或图9所示的电子设备(如下文所述)可以执行本说明书中公开的各种实施例。例如，电子设备801可以包括用于获得至少一个图像的捕获模块(例如，图9的相机模块991)和处理器820。处理器820可以获得与获取至少一个图像有关的附加信息，并且存储与所述至少一个图像相关的附加信息的至少一部分。例如，处理器820可以将与电子设备801的用户或另一用户相对应的状况信息、所获得的图像的分析信息以及在获得图像时发生的用户交互信息中的至少一个作为附加信息存储在存储器830中。

处理器820可以接收对所述至少一个图像的请求，并基于所述至少一些状况信息来提供(或呈现)所述至少一个图像或其高亮(或视频)。此外，处理器820可以确定要应用于高亮的主题，并基于所述主题和所述至少一个状况信息来提供高亮。

处理器820可以改变与至少一个图像相关的回放条件并且执行回放。

处理器820可以获得电子设备或与电子设备功能上相连的外部电子设备的用户或其他用户的与获取至少一个图像相关的手势、语音或表情作为状况信息的至少一部分。例如，电子设备801可以包括两个或更多个相机(例如，前置相机和后置相机)，且可以同时激活前置相机和后置相机。例如，电子设备801可以在通过后置相机捕获对象时通过前置相机获得电子设备801的用户或用户周围的人的图像信息。当通过使用经由后置相机捕获的图像来生成视频文件时，电子设备801可以基于通过前置相机获得的手势或表情来生成状况信息。例如，可以将表情改变(例如，由前置相机捕获的用户突然笑了)用作状况信息。电子设备801可以通过使用与电子设备801电连接或功能连接的适当传感器来获得与电子设备801的用户或其他用户的状况有关的信息，例如手势、语音和表情。

处理器820可以获得与获得所述至少一个图像的时间点、所述至少一个图像的图像属性或从所述至少一个图像识别的面部相对应的信息，作为状况信息的至少一部分。

电子设备801还可以包括用于从外部电子设备接收至少一部分状况信息的通信模块。

处理器820可以获得与和所述至少一个图像相关的另一图像相对应的信息作为状况信息的至少一部分。此外，处理器820可以通过使用所述另一图像来生成和/或播放所述至少一个图像或其高亮。

处理器820可以响应于指定事件的发生而生成针对至少一个图像的高亮图像。指定事件可以是根据用户输入的高亮图像生成请求，并且可以是根据电子设备801中设置的条件(例如，特定时间)自动(内部)发生的生成请求。

电子设备801可以执行方法，所述方法包括：通过功能上连接到电子设备801的相机模块获得至少一个图像；获得与获取至少一个图像有关的附加信息；以及存储与所述至少一个图像有关的附加信息的至少一部分。

此外，该方法还可以包括：接收对至少一个图像的请求，并基于状况信息的至少一部分来呈现所述至少一个图像或其高亮。

附加地，所述获得状况信息可以包括以下至少一个：获得电子设备或与电子设备功能上相连的外部电子设备的用户或其他用户的与获取至少一个图像相关的手势、语音或表情作为状况信息的至少一部分，以及从外部电子设备获得状况信息的至少一部分。

此外，本说明书中公开的各种方法可以作为至少一条指令存储在存储有计算机可读指令的存储介质中。该指令在由电子设备执行时可以允许电子设备执行上述方法中的至少一个操作。

图9示出了根据本公开实施例的电子设备。

参考图9，电子设备901包括ap910、通信模块920、订户识别模块(sim)929、存储器930、传感器模块940、输入设备950、显示器960、接口970、音频模块980、相机模块991、电源管理模块995、电池996、指示器997和电机998。

处理器910可以控制连接到所述处理器的多个硬件或软件组件，并且还可以通过执行操作系统或应用程序来执行各种数据处理和操作。例如，处理器910可以使用soc来实现。处理器910还可包括gpu和/或图像信号处理器。处理器910可以包括图9所示的组件中的至少一部分(例如，蜂窝模块921)。处理器910可以加载从其它组件(例如非易失性存储器)中的至少一个接收的命令或数据并对它们进行处理，并且可以在非易失性存储器中存储各种数据。

通信模块920可以包括蜂窝模块921、wi-fi模块922、bt模块923、gnss模块924、nfc模块925、mst模块926以及射频(rf)模块927。

蜂窝模块921可以通过电信网络提供语音呼叫、视频呼叫、文本服务或互联网服务。蜂窝模块921可以通过使用sim929执行电子设备901在通信网络中的区别和认证操作。蜂窝模块921可以至少执行处理器910提供的功能的一部分。蜂窝模块921还可以包括cp。

wi-fi模块922、bt模块923、gnss模块924、nfc模块925和mst模块926中的每一个可以包括用于处理通过对应模块发送/接收的数据的处理器。蜂窝模块921、wi-fi模块922、bt模块923、gnss模块924、nfc模块925和mst模块926中的至少一部分(例如，两个或更多个)可以包括在一个集成芯片(ic)或ic封装中。

rf模块927可以发送/接收通信信号(例如，rf信号)。rf模块927可以包括收发机、功率放大器模块(pam)、频率滤波器、低噪放大器(lna)和/或天线。蜂窝模块921、wi-fi模块922、蓝牙模块923、gnss模块924、nfc模块925和mst模块926中的至少一个可以通过单独的rf模块来发送/接收rf信号。

sim929可以包括sim和/或嵌入式sim的卡，并且还可以包括唯一标识信息(例如，集成电路卡标识符(iccid)或订户信息(例如，国际移动订户标识(imsi))。

存储器930包括内部存储器932和外部存储器934。内部存储器932可以包括以下至少一项：易失性存储器(例如，动态ram(dram)、静态ram(sram)、同步动态ram(sdram))和非易失性存储器(例如，一次性可编程rom(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩膜rom、闪存rom、闪存(例如，nand闪存或nor闪存)、硬盘驱动或固态驱动(ssd))。

外部存储器934还可以包括闪存驱动，例如高密度闪存(cf)、安全数字(sd)、微型sd、迷你sd、极限数字(xd)、多媒体卡(mmc)和/或记忆棒。外部存储器934可以通过各种接口与电子设备901功能连接和/或物理连接。

安全模块936(比存储器930具有相对较高安全级别的包括存储空间的模块)可以是用于确保安全数据存储和受保护执行环境的电路。安全模块936可以实现为单独的电路，且可以包括附加处理器。安全模块936可以处于可拆卸的智能芯片或sd卡中，或者可以包括嵌入在电子设备901的固定芯片中的嵌入式安全元件(ese)。附加地，安全模块936可以运行在与电子设备901不同的os上。例如，安全模块936可以基于java卡开放平台(jcop)os来运行。

传感器模块940测量物理量或检测电子设备901的操作状态，从而将测量的或检测的信息转换成电信号。传感器模块940包括以下至少一项：手势传感器940a、陀螺仪传感器940b、气压传感器940c、磁传感器940d、加速度传感器940e、握持传感器940f、接近传感器940g、颜色传感器940h(例如红、绿、蓝(rgb)传感器)、生物传感器940i、温度/湿度传感器940j、照度传感器940k和紫外线(uv)传感器940m。附加地或备选地，传感器模块940可以包括电子鼻传感器、肌电图(emg)传感器、脑电图(eeg)传感器、心电图(ecg)传感器、红外线(ir)传感器、虹膜传感器、和/或指纹传感器。传感器模块940还可以包括用于控制其中至少一个传感器的控制电路。

电子设备901还可以包括配置为控制传感器模块940的处理器，作为处理器910的一部分或独立于处理器910，并因此可以在处理器910处于睡眠状态时控制传感器模块940。

输入设备950包括触摸面板952、(数字)笔传感器954、按键956和超声输入设备958。触摸面板952可以使用电容式、电阻式、红外线或超声方法中至少一种。此外，触摸面板952还可以包括控制电路。触摸面板952还可以包括触觉层，以向用户提供触觉响应。

(数字)笔传感器954可以包括作为触摸面板一部分的用于识别的板或单独的用于识别的板。

按键956可以包括例如物理按钮、光学键、或键区。

超声输入设备958可以通过麦克风988来检测从输入工具产生的超声波，以检查与所检测的超声波相对应的数据。

显示器960包括面板962、全息设备964和投影仪966。

面板962可以被实现为例如柔性的、透明的或可穿戴的。面板962和触摸面板952可以用一个模块来配置。

全息设备964可以通过使用光的干涉在空气中显示三维图像。

投影仪966可以通过在屏幕上投影光来显示图像。屏幕可以位于电子设备901的内部或外部。

显示器960还可以包括用于控制面板962、全息设备964或投影仪966的控制电路。

接口970包括例如高清多媒体接口(hdmi)972、通用串行总线(usb)974、光学接口976或d-超小型(sub)978。

附加地或备选地，接口970可以包括移动高清链路(mhl)接口、安全数字(sd)卡/多媒体卡(mmc)接口、或红外数据协会(irda)标准接口。

音频模块980可以将声音转换为电信号并且可以将电信号转换成声音。音频模块980可以处理通过扬声器982、接收机984、耳机986和麦克风988输入/输出的声音信息。

相机模块991作为用于捕获静止图像和视频的设备，并且可以包括至少一个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(isp)和/或闪光灯(例如，led或氙灯)。

电源管理模块995可以管理电子设备901的电力。电源管理模块995可以包括功率管理集成电路(pmic)、充电器ic或电池量表。pmic可以具有有线和/或无线充电方法。例如，无线充电方法可以是磁共振方法、磁感应方法、或电磁方法。可以添加用于无线充电的附加电路，如线圈回路、谐振电路或整流电路之类的电路。

电池量表可以测量电池996的剩余量、或者在充电期间测量电池的电压、电流或温度。电池996可以包括可再充电电池和/或太阳能电池。

指示器997可以显示电子设备901或者其一部分(例如，处理器910)的具体状态，例如引导状态、消息状态或充电状态。

电机998可以将电信号转换成机械振动，并且可以产生振动或触觉效果。

电子设备901还可以包括用于支持移动tv的处理设备(例如，gpu)。用于移动tv支持的处理设备可以根据标准来处理媒体数据，标准是例如数字多媒体广播(dmb)、数字视频广播(dvb)、或mediaflo^tm。

根据本公开各种实施例的电子设备的每个上述组件可以被配置为至少一个组件，并且对应组件的名称可以根据电子设备类型而变化。根据本公开各种实施例的电子设备可以包括至少一个上述组件，可以不包括某些上述组件，或还可以包括其它组件。

此外，根据本公开的各种实施例的电子设备中的某些组件被配置为一个实体，使得相同地执行之前对应的组件的功能。

图10示出了根据本公开实施例的程序模块；

参考图10，程序模块1010包括用于控制与电子设备相关的资源的os和/或在os上运行的各种应用。

程序模块1010包括内核1020、中间件1030、api1060和应用1070。程序模块1010的至少一部分可以被预先加载到电子设备上或者可以从外部电子设备下载。

内核1020包括系统资源管理器1021和设备驱动器1023。

系统资源管理器1021可以执行系统资源的控制、分配或获取。系统资源管理器1021可以包括进程管理单元、存储器管理单元或文件系统管理单元。

设备驱动器1023可以包括显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、usb驱动器、键区驱动器、wi-fi驱动器、音频驱动器或进程间通信(ipc)驱动器。

中间件1030可以提供应用1070通常所需的功能、或通过api1060向应用1070提供多种功能，以允许应用1070能有效地使用电子设备中有限的系统资源。

中间件1030包括以下至少一项：运行时库1035、应用管理器1041、窗口管理器1042、多媒体管理器1043、资源管理器1044、电源管理器1045、数据库管理器1046、包管理器1047、连接性管理器1048、通知管理器1049、位置管理器1050、图形管理器1051、安全管理器1052和支付管理器1054。

运行库1035可以包括库模块，在应用1070运行的同时，编译器使用所述库模块来通过编程语言添加新的功能。运行时间库1035可以执行与输入/输出管理、存储器管理或算术功能相关的功能。

应用管理器1041可以管理应用1070中的至少一个应用的生命周期。

窗口管理器1042可以管理在屏幕中使用的gui资源。

多媒体管理器1043可以识别用于播放各种媒体文件的格式，并且可以通过使用与相应格式相对应的编解码器来对媒体文件进行编码或解码。

资源管理器1044可以管理应用1070中至少一个应用的资源，例如，源代码、存储器或存储空间。

电源管理器1045可以连同基本输入/输出系统(bios)一同操作，以管理电池或电力，并可以提供用于操作电子设备所需的电力信息。

数据库管理器1046可以创建、搜索或修改在应用1070中的至少一个应用中使用的数据库。

包管理器1047可以管理以数据包文件格式分发的应用的安装或更新。

连接管理器1048可以管理无线连接，诸如wi-fi和蓝牙。

通知管理器1049可以按照不干扰用户的方式显示和/或通知事件，例如到达消息、约会和接近告警。

位置管理器1050可以管理电子设备的位置信息。

图形管理器1051可以管理要提供给用户的图形效果或与其相关的ui。

安全管理器1052可以提供用于系统安全或用户认证所需的各种安全功能。

当电子设备包括电话功能时，中间件1030还可以包括电话管理器，用于管理电子设备的语音或视频呼叫功能。

中间件1030可包括用于形成上述组件的各个功能的组合的中间件模块。中间件1030可以提供根据每种类型的os而被专门化的模块，以便提供差异化的功能。另外，中间件1030可以动态地移除一些已有组件和/或添加新的组件。

根据os，作为api编程功能集合的api1060可以被提供为另一配置。例如，可以针对特定os提供一个api集，且可以针对不同os提供至少两个api集。

应用1070包括主页应用1071、拨号应用1072、短消息服务/多媒体消息服务(sms/mms)应用1073、即时消息应用1074、浏览器应用1075、相机应用1076、闹钟应用1077、联系人应用1078、语音拨号应用1079、电子邮件应用1080、日历应用1081、媒体播放器应用1082、相册应用1083、时钟应用1084。附加地，应用1070可以包括健康护理应用(例如，测量运动量或血糖等级的应用)或环境信息提供应用(例如，提供大气压、湿度或温度信息的应用)。

应用1070可以包括用于支持电子设备之间的信息交换的信息交换应用。信息交换应用可以包括用于向外部电子设备中继特定信息的通知中继应用或者用于管理外部设备的设备管理应用。

例如，通知中继应用可以具有用于向外部电子设备中继从电子设备的其它应用(例如，sms/mms应用、电子邮件应用、健康护理应用和/或环境信息应用)产生的通知信息的功能。

附加地，通知中继应用可以从外部电子设备接收通知信息，并可以接着将接收到的通知信息提供给用户。

设备管理应用可以管理(例如，安装、删除和/或更新)与该电子设备通信的外部电子设备的至少一个功能(外部电子设备本身(或一些组件)的开启/关闭、或调整显示器的亮度(或分辨率))、在外部电子设备中运行的应用、或从外部设备提供的服务(例如，呼叫服务、消息服务等)。

应用1070可以包括根据外部电子设备的属性的指定应用(例如，移动医疗设备的健康护理应用)。应用1070可以包括从外部电子设备接收的应用。

应用1070可包括预加载的应用或可从服务器下载的第三方应用。根据所示实施例的程序模块1010的组件名称可以根据os的类型而改变。

程序模块1010的至少一部分可以利用软件、固件、硬件或者其组合来实现。

程序模块1010的至少一部分可以由处理器(例如，处理器910)实现(例如，执行)。程序模块1010的至少一部分可以例如包括用于执行至少一个功能的模块、程序、例程、指令集或进程。

在本文中，术语“模块”可以表示包括硬件、软件和固件中的至少一个的组合的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。

“模块”可以是集成配置组件的最小单元或部分。“模块”可以是执行至少一个功能的最小单元或其部分。可以从机械上或从电学上实现模块。例如，模块可以包括执行特定操作的专用集成电路(asic)芯片、现场可编程门阵列(fpga)、或可编程逻辑器件中的至少一项，这些设备都是已知的或将来会发展的。

可以使用存储在计算机可读存储介质中的指令来实现编程模块形式的根据本公开的设备的至少一部分(例如其模块或功能)或方法的至少一部分(例如操作)。当至少一个处理器执行指令时，所述至少一个处理器可以执行对应于该指令的功能。例如，非暂时性计算机可读存储介质可以包括存储器830。

非瞬时计算机可读存储介质可以包括硬盘、软盘、磁介质(例如，磁带)、光介质(例如，cd-rom和数字视频盘(dvd))、磁光介质(例如，光磁软盘)以及硬件设备(例如，rom、ram、或闪存)。此外，除了编译器创建的机器代码之外，程序指令还可以包括可由计算机使用解释器来执行的高级语言代码。硬件设备可被配置为作为至少一个软件模块来操作，以执行本公开的各种实施例的操作，并且反之亦然。

根据本公开的各种实施例的模块或编程模块可以包括至少一个上述组件，可以不包括某些上述组件，或还可以包括其它组件。根据本公开的各种实施例的模块、编程模块或其它组件执行的操作可以通过顺序、并行、重复或启发式方法执行。另外，一些操作可以按不同顺序执行，或者可以省略。或者可以增加其他操作。

尽管参考本公开的特定实施例具体示出并描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物定义的本公开的精神和范围的前提下，可以在其中进行各种形式和细节上的改变。