提取静止图像的电子设备和方法与流程

本申请要求于2015年6月10日向韩国知识产权局提交的第10-2015-0082137号韩国专利申请的优先权，其全部内容通过引用合并于此。

技术领域

本公开通常涉及一种通过分析输入图像提取静止图像的电子设备和方法，更具体地，涉及一种从视频文件产生静止图像的电子设备和方法。

背景技术：

在高清晰度视频捕捉期间，帧速率可以被设置为每秒30帧(FPS)，使得1分钟的视频捕捉等同于拍摄1800个静止照片。

尽管因为与静止图像捕捉相比，用户能够捕捉精细尺度瞬时变化，所以视频捕捉理论上用于捕捉瞬时，但是仍然必须开发捕捉视频帧并将捕捉的视频帧保存为静止图像的功能。

技术实现要素：

因此，本公开的一方面提供一种提取静止图像的电子设备和方法。

根据本公开的一方面，提供一种电子装置，包括图像传感器、显示器和控制器，所述控制器被配置为从通过图像传感器输入的图像信号产生视频文件，向视频文件中包括的每个帧分配帧特性，在显示器上选择性显示至少一个帧，接收对显示的至少一个帧之中的帧的选择，从选择的帧产生静止图像。

根据本公开的另一方面，提供一种控制电子装置的方法。所述方法包括：使用通过图像传感器输入的图像信号产生视频文件；向视频文件中包括的每个帧分配帧特性；选择性显示至少一个帧；接收对显示的至少一个帧之中的帧的选择；以及从选择的帧产生静止图像。

根据本公开的另一方面，提供一种电子装置，包括图像传感器、显示器和控制器，所述控制器被配置为从通过图像传感器输入的图像信号产生视频文件，进入从视频文件产生静止图像的拍摄模式，在显示器上选择性显示视频文件中包括的至少一个帧，接收对显示的至少一个帧之中的帧的选择，以及从选择的帧产生静止图像。

根据本公开的另一方面，提供一种电子装置，包括图像传感器、显示单元和控制器，所述控制器被配置为从通过图像传感器输入的图像信号产生视频文件，在产生视频文件时分析视频文件中包括的帧的帧改变特性，基于分析的帧改变特性选择至少一个帧，在显示器上显示选择的至少一个帧，接收对显示的至少一个帧之中的帧的选择，以及从选择的帧产生静止图像。

附图说明

根据下面结合附图进行的详细描述，本公开的特定实施例的上述和其他方面、特征和优点将会更加明显，在附图中：

图1示出根据本公开的实施例的网络环境中的电子装置；

图2示出根据本公开的实施例的电子装置；

图3示出根据本公开的实施例的编程模块；

图4示出根据本公开的实施例的电子装置；

图5示出根据本公开的实施例的场景分析引擎(SAE)和场景推荐引擎(SRE)；

图6是示出根据本公开的实施例的控制电子装置的方法的流程图；

图7A示出根据本公开的实施例的具有低亮度值的帧；

图7B示出根据本公开的实施例的具有增加亮度值的帧；

图7C示出根据本公开的实施例的被选为主帧的包括特定人的帧；

图8A示出根据本公开的实施例的没有人出现的包括风景的帧；

图8B示出根据本公开的实施例的包括人的帧；

图8C示出根据本公开的实施例的包括多个人的帧；

图8D示出根据本公开的实施例的识别人的帧；

图9A示出根据本公开的实施例的主对象没有移动的帧；

图9B示出根据本公开的实施例的主对象移动的帧；

图9C示出根据本公开的实施例的聚焦主对象的帧；

图9D示出根据本公开的实施例的聚焦主对象的帧；

图10示出根据本公开的实施例的通过使用帧分析信息(FRAI)盒配置在视频文件中存储附加信息的形式；

图11是示出根据本公开的实施例的控制包括SRE的电子装置的方法的流程图；

图12是示出根据本公开的实施例的控制包括多个SAE的电子装置的方法的流程图；

图13A示出根据本公开的实施例的在视频捕捉之后选择用于产生静止图像的拍摄模式的显示器；

图13B示出根据本公开的实施例的在视频捕捉之后用于产生静止图像的拍摄模式的显示器；

图14示出根据本公开的实施例的对选择的帧的质量校正方法的流程图；

图15A示出根据本公开的实施例的在视频回放期间显示推荐帧；

图15B示出根据本公开的实施例的选择推荐帧的屏幕；以及

图16示出根据本公开的实施例的通过使用帧捕捉信息(CAPI)盒配置在视频文件中存储产生静止图像的历史。

具体实施方式

现将参照附图详细描述本公开的各种实施例。在下面的描述中，提供诸如详细配置和组件的具体细节仅用于帮助本公开的这些实施例的全面理解。因此，对本领域的普遍技术人员明显的是，在不脱离本公开的范围和精神的情况下可以对本文描述的实施例进行各种改变和修改。另外，为了简明和清楚，省略公知功能和结构的描述。

在附图中，相同的标号表示相同的元件。

本文定义的术语仅用于描述特定实施例，并且不意在限制其他实施例的范围。本文使用的所有术语(包括科学和技术术语)具有与本领域的普通技术人员所通常理解的相同的含义。在字典中定义的术语具有与相关技术中理解的含义相同或相似的含义，并且不应当被解释为具有理想化或过于形式化的含义，除非明确定义为这样。在一些情况下，本文所定义的术语不能被解释为排除本发明实施例。

在此，单数形式可以包括多个形式，除非明确表示为这样。

在此，术语“和/或”包括一个或多个相关所列项目的任何或所有组合。

在一列元件之后的诸如“中的至少一个”的表达修饰整列元件，并且不修饰该列中的单个元件。

在此，诸如“具有”，“可以具有”，“包括”、“可以包括”的表达指示相应特征(例如，诸如数值、功能、操作和/或部件的元素)的存在，并且不排除附加特征的存在。

在此，诸如“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”的表达可以包括一起所列项目的所有可能组合。例如，这些表达可以指示(1)包括至少一个A，(2)包括至少一个B，或(3)包括至少一个A和至少一个B两者。

诸如“第一”、“第二”、“主要”和“次要”的表达可以表示各种元件，而不管顺序和/或重要性，并且不限制相应元件。这些表达可以用于区分一个元件与另一元件。例如，第一用户装置和第二用户装置可以代表不同的用户装置，而不管顺序或重要性。因此，在不脱离当前实施例的范围的情况下，第一元件可以被称为第二元件，类似地，第二元件可以被称为第一元件。

当元件(例如，第一元件)“可操作地或可通信地耦接到”或“连接到”另一元件(例如，第二元件)时，第一元件可以直接连接到第二元件，或者第三元件可以存在于其间。然而，当第一元件“直接连接到”或“直接耦接到”第二元件时，其间不存在中间元件。

表达“被配置为(或被设置为)”可以根据上下文与例如“适合于”、“具有…的能力”、“被设计为”、“适于”、“制成”或“能够”互换使用。此外，“被配置为(或被设置为)”并不一定意味着由硬件“专门设计为”。例如，“设备配置为”可以指示该设备能够与另一设备或组件进行操作。

例如，“处理器被配置(或设置)为执行A、B和C”可以是通用目的处理器(诸如中央处理单元(CPU)或应用处理器(AP))，其可以通过执行用于执行相应操作的处理器(诸如嵌入式处理器)或存储装置中存储的至少一个软件程序来执行相应操作。

根据本公开的实施例的电子装置可以是智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书(e-book)阅读器、台式计算机、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、动医疗设备、相机和可佩戴装置。例如，可佩戴装置可以包括配件类型装置(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或者头戴式装置(HMD))，织物或衣服集成型装置(例如，电子服装)、主体连接型装置(例如，护具或纹身)和植入体内型装置(例如，可植入电路)。

电子装置还可以是智能家电，诸如电视(TV)、数字视频盘(DVD)播放器、音频设备、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气清洁器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，三星苹果或谷歌)、游戏控制台(例如，或)、电子辞典、电子钥匙、摄像机和电子相框。

电子装置还可以包括各种医疗设备(例如，各种便携式医疗测量系统，诸如血糖测量装置、心跳测量装置、血压测量装置或体温测量装置、磁共振血管造影(MRA)装置、磁共振成像(MRI)装置、计算机断层摄影(CT)装置、成像装置或超声波装置)、导航系统、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐装置、船舶电子设备(例如，船舶导航系统和陀螺罗盘)、航空电子装置、安全装置、车辆头单元、工业或家用机器人、自动取款机(ATM)、销售终端(POS)装置、物联网(IOT)装置(例如，灯泡、各种传感器、电表或煤气表、自动喷水灭火装置、火灾报警器、温控器、路灯、烤面包机、健身器材、热水箱、热水器、锅炉等)。

电子装置还可以家具或建筑物/结构的一部分、电子板、电子签名接收装置、投影仪或各种测量设备(例如，用于测量水、电、煤气或电磁波的装置)。

电子装置还可以是柔性装置。

电子装置还可以是上面列出装置的组合。

当然，电子装置不限于上述列出装置，并且根据新技术的发展可以包括新的电子装置。

在此，术语“用户”可以是指使用电子装置的人，或使用电子装置的装置(例如，人工智能电子装置)。

图1示出根据本公开的实施例的网络环境中的电子装置。

参照图1，电子装置101包括总线110、处理器120、存储器130、输入/输出(I/O)接口150、显示器160和通信模块170。可选地，电子装置101可以省略上述元件中的至少一个和/或还可以包括其它元件。

总线110可以包括用于将元件110至170互连且允许元件110至170之间通信(例如，控制消息和/或数据)的电路。

处理器120可以包括一个或多个CPU、AP和通信处理器(CP)。处理器120执行操作或数据处理，用于例如电子装置101的至少一个其它元件的控制和/或通信。

存储器130可以包括易失性和/或非易失性存储器。存储器130存储软件和/或程序140。存储器130还可以存储，例如，与电子装置101的至少一个其它元件相关联的命令或数据。

程序140包括内核141、中间件143、应用编程接口(API)145和应用程序(或应用)147。内核141、中间件143和API145中的至少部分可以被称为操作系统(OS)。

I/O接口150将从用户或另一外部装置输入的命令或数据传送到电子装置101的其它元件。I/O接口150还将从电子装置101的其它元件接收的命令或数据输出到用户或另一外部装置。

显示器160可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器160可以向用户显示各种内容(例如，文本、图像、视频、图标或符号)。显示器160还可以包括触摸屏，从例如电子笔或用户的身体部分接收触摸、手势、接近和/或悬停输入。

通信模块170可以在例如电子装置101与第一外部电子装置102、第二外部电子装置104和/或服务器105之间建立通信。通信模块170可以通过无线或有线通信连接到网络162以与第二外部电子装置104和/或服务器105通信。

无线通信可以使用长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动通信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)中至少一个作为蜂窝通信协议。无线通信还包括短距离通信164。短距离通信164可以包括无线保真(WiFi)、蓝牙(BT)、近场通信(NFC)和全球导航卫星系统(GNSS)中的至少一个。GNSS可以包括全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(北斗)和伽利略、欧洲全球卫星导航系统中的至少一个。在此，“GPS”可以与“GNSS”互换使用。

有线通信可以包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准(RS)-2032或普通老式电话服务(POTS)中的至少一个。

网络162可以包括电信网络，例如，计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网和电话网络中的至少一个。

第一外部电子装置102和第二外部电子装置104中的每一个可以与电子装置101类型相同或类型不同。

服务器105可以包括一个或多个服务器的组。

电子装置101上执行的全部或部分操作可以在电子装置102和104和/或服务器105上执行。例如，当电子装置101必须执行功能或服务时，代替自身执行功能或服务或除了自身执行功能或服务之外，电子装置101可以请求电子装置102和104和/或服务器105执行与该功能或服务相关联的至少部分功能。电子装置102和104和/或服务器105可以执行请求的功能或附加功能，并且将结果传送到电子装置101。电子装置101提供接收的结果，或者通过处理接收的结果提供请求的功能或服务。例如，可以使用云计算、分布式计算、或客户机-服务器计算。

图2是示出根据本公开的实施例的电子装置。

参照图2，电子装置201包括处理器210、通信模块220、用户识别模块(SIM)224、存储器230、传感器模块240、输入装置250、显示器260、接口270、音频模块280、相机模块291、功率管理模块295、电池296、指示器297和马达298。

处理器210可以通过驱动OS或应用程序控制连接到处理器210的多个硬件和软件组件，并且对包括多媒体数据的各种数据执行处理和操作。处理器210可以使用片上系统(SoC)实现。

处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器。

处理器210还可以包括图2所示的组件的至少一部分(例如，蜂窝模块221)。

处理器210将从至少一个其它元件(例如，非易失性存储器)接收的命令或数据加载到易失性存储器，处理该命令或数据，并且在非易失性存储器中存储各种数据。

通信模块220包括蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块(例如，GPS模块、Glonass模块、北斗模块或伽利略模块)227、NFC模块228和射频(RF)模块229。

存储器230包括内部存储器232或外部存储器234。内部存储器232可以包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM))、非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除和可编程ROM(EPROM)、电可擦除和可编程ROM(EEPROM)、掩模ROM、闪速ROM、NAND闪存或NOR闪存)和固态驱动器(SSD)中的至少一个。

外部存储器234还可以包括闪存驱动器、紧凑式闪存(CF)、安全数字(SD)、微型SD、迷你SD、极速卡(XD)、多媒体卡(MMC)或记忆棒。外部存储器234可以经由各种接口与电子装置1801在功能上和/或物理上连接。

传感器模块240测量物理量或感测电子装置201的操作状态，以将测量或感测的信息转换成电信号。传感器模块240包括手势传感器240A、陀螺传感器240B、压力传感器240C、磁传感器240D、加速度传感器240E、抓握传感器240F、接近传感器240G、颜色传感器240H(例如，RGB传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K和紫外线(UV)传感器240M。传感器模块240还可以包括用于控制包括其中的至少一个传感器的控制电路。

可选地，电子装置201还可以包括处理器，被配置为作为处理器210的一部分或独立于处理器210控制传感器模块240，以在处理器210处于睡眠模式时控制传感器模块240。

输入装置250包括触摸面板252、(数字)笔传感器254、键256和超声输入装置258。触摸面板252可以使用电容型、电阻型、红外线(IR)型或超声波型中的至少一个。触摸面板252还可以包括控制电路。触摸面板252还可以包括触觉层，以向用户提供触觉反应。

(数字)笔传感器254可以包括作为触摸面板252的一部分的识别片或单独的识别片。

键256还可以包括物理按钮、光学键或键盘。

超声波输入装置258感测通过麦克风288产生超声波的输入装置中产生的超声波，并且在电子装置201中检查与感测的超声波对应的数据。

显示器260包括面板262、全息图装置264和投影仪266。面板262可以被实现为柔性的、透明的和/或可佩戴的。面板262也可以与触摸面板252配置在一个模块中。

接口270包括高清晰度多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276和D-超小型278。

音频模块280双向转换声音和电信号。音频模块280处理通过扬声器282、接收器284、耳机286和/或麦克风288输入或输出的声音信息。

相机模块291捕捉静止图像或运动图像，并且可以包括一个或多个图像传感器(例如，正面和背面传感器)、镜头、图像信号处理器(ISP)或闪光灯(诸如LED或氙灯)。

功率管理模块295管理电子装置201的功率。功率管理模块295可以包括功率管理集成电路(PMIC)、充电器IC和/或电池电量表。PMIC可以具有有线和/或无线充电方案。电池电量表测量电池296的剩余电量或者充电期间电池296的电压、电流或温度。

指示器297显示电子装置201或电子装置的一部分(例如，处理器210)的具体状态，例如，开启状态、消息状态或充电状态。

马达298将电信号转换为机械振动，或产生振动或触觉效果。

本文所述的上面每个元件可以包括一个或多个部件，并且所述部分的名称可以随电子装置201的类型而不同。

可选地，电子装置201可以包括前述元件中的至少一个，并且一些元件可以从其省略或其他元件可以进一步包括在其中。由于电子装置201的部分元件被耦接到一个实体，因此可以执行与没有耦接的那些元件的功能相同的功能。

图3示出根据本公开的实施例的编程模块。

参照图3，可以取代图1的程序140的编程模块310可以包括用于控制与电子装置相关联的资源和/或OS上执行的各种应用的OS。OS可以包括或Bada。

编程模块310包括内核320、中间件330、应用编程接口(API)360和应用370。编程模块310的至少一部分可以预加载到电子装置，或者可以从外部电子装置下载。

内核320包括系统资源管理器321和/或装置驱动器323。

系统资源管理器321可以执行系统资源的控制、分配或恢复。系统资源管理器321可以包括处理管理单元、存储器管理单元或文件系统。装置驱动器323可以包括显示驱动器、相机驱动器、蓝牙驱动器、共享存储驱动器、USB驱动器、键盘驱动器、WiFi驱动器、音频驱动器和/或进程间通信(IPC)驱动器。

中间件330可以包括通过API 360提供应用370通常需要的功能或者向应用370提供各种功能，以允许应用370有效使用电子装置中有限的系统资源。中间件330包括运行时间库353、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、功率管理器245、数据库管理器346、分组管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351和安全管理器352。

中间件330还可以包括形成上述内部元件的各种功能的组合的中间件模块。中间件330可以提供根据OS的类型指定的模块，使得提供区别功能。另外，中间件330可以动态删除一些现有元件或添加新元件。

API 360可以被设置为根据OS具有不同配置的API编程函数的集合。例如，在或的情况下，每个平台可以提供一个API集合，在的情况下，可以提供两个或更多个API集合。

应用370包括家庭应用371、拨号器应用372、短消息服务(SMS)/多媒体消息服务(MMS)应用373、即时消息(IM)应用374、浏览器应用375、相机应用376、警报应用377、联系人应用378、语音拨号应用379、电子邮件应用380、日历应用381、媒体播放器应用382、唱片集应用383和时钟应用384。应用370可以包括其它应用，例如，卫生保健应用(例如，测量锻炼量或血糖程度的应用)或环境信息提供应用(例如，提供空气压力、湿度或温度信息的应用)。

程序模块310的至少一部分可以由软件、固件、硬件或其至少两个的组合实现。可以通过处理器实现(例如，执行)编程模块310的至少一部分。程序模块310的至少一部分可以包括用于执行一个或多个功能的模块、程序、例程、指令集或进程。

根据各种实施例的装置的至少一部分(例如，其模块或功能)或方法的至少一部分(例如，操作)可以以程序模块的形式使用存储在计算机可读存储介质中的命令来实现。当通过处理器执行命令时，一个或多个处理器可以执行与命令对应的功能。例如，计算机可读存储介质可以是存储器。

根据各种实施例的模块或编码模块可以包括一个或多个上述元件，具有省略上述元件的一部分，或者还包括附加的其它元件。可以以连续的、平行的、重复的或启发式方式执行模块、编程模块或其它元件的执行的操作。另外，可以以不同顺序执行操作的一部分或省略操作的一部分，或者操作的一部分可以具有附加的不同操作。

图4示出根据本公开的实施例的电子装置。

参照图4，电子装置包括控制器400、存储器440、显示单元450和拍摄单元460。

在操作中，通过图像传感器470将通过拍摄单元460提供的镜头输入的光转换成图像信号。控制器400通过使用图像信号产生视频文件。包括在控制器400中的帧特性分析器或SAE 410分析包括在所产生的视频中的每个帧的特性，并且存储与该帧的分析对应的分数数据。在此，分数数据是指基于特定准则对分析的每个帧的特性记分的数据。

帧推荐器或SRE 420通过使用SAE 410的分析结果选择帧。控制器400在显示单元450上显示选择的帧。

存储器440存储SAE 410用于分析视频文件所使用的参考数据或SRE420用于选择帧所使用的参考数据。

SAE 410、SRE 420和质量增强器430可以在控制器400中作为单独的模块存在，或者可以通过程序实现并包括在控制器400中。

图5示出根据本公开的实施例的SAE和SRE。

参照图5，SAE 500包括分别处理不同类型数据的第一SAE 510、第二SAE 520和第三SAE 530。SAE 500包括收集从第一SAE 510、第二SAE 520和第三SAE 530接收的多个数据并且选择特定数据的帧特性确定器540。

例如，如果将要分析的数据量少，则SAE 500可以通过使用通过第一SAE510的输入帧分析信息，并且向该信息分配分数数据。然而，如果将要分析的数据量大，则SAE 500在视频捕捉完成之后通过使用通过第二SAE 520的输入帧分析信息。可选地，第三SAE 530可以将从输入帧提取的信息发送到外部装置560或远程终端。外部装置560或远程终端分析接收数据，并且将分析结果发送到第三SAE 530。外部装置560可以通过特定网络与电子装置连接，并且可以是云装置。

帧特性确定器540通过使用分析的数据或存储的信息确定最终分数，并且向每个帧分配分数数据。

图6是示出根据本公开的实施例的控制电子装置的方法的流程图。例如，将图6的方法描述为通过图4所示的电子装置执行。

参照图6，在步骤600，电子装置拍摄视频。例如，按照与一般相机摄像相同的方式执行拍摄视频，其中，用户可以在开始拍摄之前设置光圈值、感光度、快门速度等。因此，通过图像传感器470输入的图像信号由控制器400压缩并且以视频帧的形式存储。

在步骤610，电子装置分析视频帧的特性。例如，SAE 410将图像信号转换和压缩成视频文件，并且将附加信息一起存储在视频帧中。附加信息可以包括可用于图像分析的信息和与分析结果对应的结果信息。例如，附加信息可以包括可交换图像文件格式(Exif)信息(诸如颜色、曝光、感光度、快门速度等)、包括面部检测的对象识别信息、包括面部识别的对象识别信息和帧间运动分析信息。通过SAE 410以分数数据的形式分析和存储此信息。分数数据被存储用于视频文件的每个帧。

由于拍摄的视频在视频拍摄之后将用于静止图像帧的提取，而不是如在一般视频中平滑重放，因此参数可以被设置为最小化抖动的影响。例如，如果对于一般视频捕捉快门速度被设置为约1/30秒，则当根据图6的方法视频捕捉时，快门速度可以被设置为约1/60秒、1/125秒、1/250秒等。因此，电子装置可以产生具有比现有视频文件更少抖动的视频文件，使得从这样的视频文件中提取的静止图像帧也可以包括较少抖动，并且可以比现有视频文件更清晰。

在步骤610，SAE 410可以以各种方式分析附加信息。

在步骤620，控制器400基于分配给每个帧的分数数据在显示单元450上选择性地显示帧。例如，控制器400可以在显示单元450上显示分配了分数数据的所有帧或者可以选择性地显示帧的一部分。

在步骤630，控制器400确定显示单元450上显示的帧之中是否存在输入帧选择信号的帧。例如，如果使用触摸屏实现显示单元450，则电子装置可以通过触摸输入接收帧选择信号，或者如果不使用触摸屏实现显示单元450，则可以通过单独的物理键接收帧选择信号。

在步骤640，控制器400对选择的帧产生静止图像文件。可以使用视频编解码器存储拍摄单元460捕捉的图像，而可以以与一般静止图像相同的形式存储选择的图像。

图7A至图9D示出根据实施例的通过SAE 410分析信息的各种方法。

具体地，根据本公开的实施例，图7A示出具有低亮度值的帧，图7B示出具有增加亮度值的帧，图7C示出被选为主帧的包括特定人的帧。

根据本公开的实施例，图8A示出没有人出现的包括风景的帧，图8B示出的包括人的帧，图8C示出包括多个人的帧，图8D示出识别出人的帧。

根据本公开的实施例，图9A示出主对象没有移动的帧，图9B示出主对象移动的帧，图9C示出聚焦主对象的帧，图9D示出聚焦主对象的帧。

根据本公开的实施例，SAE 410通过统计分析输入帧的整个区域分析场景敏感度，以测量颜色变化或亮度变化。因为场景敏感度分析不是基于包括在每个对象中的含义，所以在没有附加算法的情况下直接统计分析图像信息。因此，可以在短时间内计算场景敏感度分析。

例如，对于每个输入帧，SAE 410可以计算从像素到像素或从设置像素范围到设置像素范围的颜色直方图值或亮度直方图值。SAE 410逐帧比较计算的颜色直方图或亮度直方图值以获得敏感度。随着先前帧与随后帧之间颜色直方图值或亮度直方图值差异增加，敏感度增加。因此，场景敏感度分析可以为具有大改变的场景而不是连续相似场景设置高重要性。当与特定周期输入的帧的整体变化相比时，场景敏感度分析为特定帧中改变或变化量突然增加或减少的情况增加重要性。

在场景敏感度分析期间，如果SAE 410共同分析整个屏幕的变化，则SAE410获得整个屏幕的敏感度分析结果，但是SAE 410未必对局部变化相对敏感。例如，当特定对象在固定的场景水平移动时，包括对象进入屏幕的场景的帧和包括对象从屏幕消失的场景的帧具有高重要性，包括对象在屏幕内移动的场景的帧可具有低重要性。为了弥补这个问题，SAE 410可以将屏幕划分为区域以对每个区域执行统计分析，并且根据分析结果的组合对整个屏幕预测分析结果。

例如，图7A和图7B示出亮度直方图值大量改变的图像帧。

在时间t输入的帧中，如图7A所示，因为云遮天空，所以图像是全局暗。然而，在时间(t+1)输入的帧中，如图7B所示，图像的亮度高于在t输入的帧。从用户的角度，在(t+1)帧的用户敏感度大幅增加。SAE 410将t的帧与(t+1)的帧进行比较，识别出(t+1)的帧的亮度直方图值显著改变，并且向(t+1)的帧分配与亮度直方图相关的高分数数据。

可选地，SAE 410通过使用包括面部检测的对象检测算法或者在输入帧的感兴趣区域(ROI)使用面部识别的对象识别算法来分析附加信息。SAE 410通过使用算法识别面部、特定人物和尺寸大于预设阈值尺寸的对象，以计算分数数据和分析帧的重要性。

例如，如图7C所示，包括特定人的帧可以被选为主帧，或者面部的尺寸针对屏幕以预设比率或更高比率增加或主人物位于屏幕中心的帧可以被选为主帧。

图8A和图8B示出根据本公开的实施例的基于面部检测的帧重要性分析。

在时间t输入的帧中，如图8A所示，没有检测到面部。在时间(t+1)输入的帧中，如图8B所示，检测到面部。SAE 410将先前帧与随后帧进行比较以识别新检测到面部的帧，并且向检测到面部的帧分配高分数数据。

类似地，当在新输入帧中面部的数量改变时，SAE 410可以分配高分数数据。

图8C示出在时间(t+2)检测的4个面部。在这种情况下，与包括单个面部的帧相比，SAE 410可以向包括多个面部的帧分配更高的分数数据。可选地，与包括多个面部的帧相比，SAE 410可以向包括单个面部的帧分配更高的分数数据。

作为另一示例，SAE 410可以向识别到面部的帧分配高分数数据。SAE410将检测的面部与先前存储在电子装置的存储器440中的面部信息数据库(DB)进行比较。如果检测的面部对应于存储在DB中的面部，则SAE 410向相应面部出现的帧分配高分数数据。

图8D示出正被识别的面部。

参照图8D，SAE 410将时间(t+3)输入的帧中检测的面部与先前存储在电子装置的存储器440中的面部信息DB进行比较。如果检测的面部对应于面部信息DB中的面部，则电子装置在输入的面部附近显示从DB提取的信息。例如，如果面部的名称在DB中，则控制器400如图8D所示在检测的面部附近显示名称，并且SAE 410向帧分配高分数数据并存储高分数数据。

可选地，SAE 410可以通过使用对输入帧的ROI中的运动进行分析的结果向帧分配分数数据。也就是说，对于面部检测和识别，检测和识别是主要分析目标。因此，面部出现或被识别的帧可以是主帧。

可选地，检测到的面部在屏幕上移动的帧可以被选为主帧。例如，主对象在屏幕的中心部分的运动不同于主对象在屏幕的外围部分的运动的帧可以被选为主帧，并且分数数据被分配给该帧。

图9A和图9B示出根据本公开的实施例分析运动并且向帧分配分数数据。

参照图9A，高尔夫球员在时间t等待击球。例如，在时间t，高尔夫球员的轻微运动不超过阈值。

在图9B中，高尔夫球员在时间(t+1)挥杆。例如，随着高尔夫球员旋转高尔夫球杆准备挥杆，SAE 410将时间t的帧与时间(t+1)的帧进行比较，获得指示时间(t+1)的帧包括更多运动的分析结果，并且向(t+1)的帧分配高分数数据。

根据本公开的另一实施例，SAE 410可以向具有低自动聚焦(AF)结果值的帧分配低分数数据。因此，SAE 410可以选择无抖动拍摄的帧。

SAE 410可以获得针对输入帧的对比度值。如果获得的对比度值小于或等于阈值，则SAE 410向帧分配低分数数据。SAE 410可以向与超过阈值的获得的对比度值对应的帧分配高分数数据。因此，可以选择具有清晰显示质量的帧。

图9C和图9D示出通过使用场景内高频分量的分布向帧分配分数数据。

参照图9C，抖动显示高尔夫球员挥动高尔夫球杆的帧，即，帧是模糊的。

在图9D中，无抖动显示高尔夫球员挥动高尔夫球杆的帧，即，帧是清晰的。

因此，SAE 410向图9C中的包括抖动的帧分配低分数数据，并且向图9D中不包括抖动的帧分配高分数数据。因此，可以选择具有抖动少的帧。

显示单元450上显示的帧可以在以YUV格式转换通过图像传感器470输入的图像信号之后被显示。将以YUV格式显示的帧转换成静止图像格式的处理可以使用通常已知的方法。在这种情况下产生的静止图像包括Exif信息，如通过一般静止图像捕捉产生的静止图像。

SAE 410可以将SAE 410分析的分数数据和可以稍后另外分析的拍摄信息存储为视频文件中的元数据。例如，SAE 410通过使用FRAI盒标签来存储视频文件的元数据，如表1所示。

表1–FRAI盒配置

例如，FRAI存储在MP4文件的用户数据盒udta盒中。在表1中，“大小”指示FRAI盒占据的总容量。“类型”指示当前FRAI的细节出现在用户数据盒中，“版本”指示当前FRAI盒的版本，“帧计数”指示记录在实际FRAI盒中的分析信息的数量，“分析信息”包括视频捕捉期间获得的各种信息或SAE 410通过每个帧的分析获得的分析信息。

图10示出根据本公开的实施例的通过使用FRAI盒在视频文件中存储附加信息的形式。

图11是示出根据本公开的实施例的控制包括SRE的电子装置的方法的流程图。具体地，图11示出通过使用SAE 410执行的分析和获得的分数数据确定优先级并且选择性显示帧的处理。例如，下面将描述如图4所示的电子装置执行的图11的方法。

参照图11，在步骤1100，由电子装置拍摄视频，即，控制器400将图像信号转换和压缩成视频文件。

在步骤1110，电子装置分析视频的帧的特性，即，SAE 410以与上述相同的方式为每个帧存储附加信息和分数数据。

在步骤1120，电子装置推荐帧。例如，SRE 420通过使用为每个帧存储的分数数据和附加信息选择帧之中的优先级，以选择被认为对用户有意义的帧。

在步骤1130，电子装置显示选择的帧。例如，控制器400或SRE 420在显示单元450上显示选择的帧。可以由用户设置显示的图像的数量。SRE 420还可以基于拍摄的视频的特性积极确定显示的图像的数量。

SRE 420可以位于电子装置的内部，但是如果电子装置通过网络与外部装置560或服务器连接，则SRE 420可以将数据从SAE 410传递到外部装置560或终端，并且接收分析结果。

控制器400可以分析当前输入场景以识别场景。例如，控制器400可以将输入场景分析为人物场景、夜晚场景、运动场景、风景场景等。如果控制器400将当前输入场景确定为人物场景，则SRE 420可以从自SAE 410接收的被分配分数数据的帧选择具有与面部检测或面部识别相关的高分数数据的帧。

如果控制器400将当前输入场景确定为风景场景，则SRE 420可以从自SAE 410接收的被分配分数数据的帧选择具有与颜色直方图或亮度直方图相关的高分数数据的帧。

如果控制器400将当前输入场景确定为运动场景，则SRE 420可以从自SAE 410接收的被分配分数数据的帧选择具有与运动检测相关的高分数数据的帧。

可选地，SRE 420可以通过使用用户从对颜色直方图或亮度直方图、面部检测和面部识别、运动检测结果等中改变的分析方法中选择的分析方法来选择帧。

在步骤1140，控制器400从显示的帧之中识别输入帧选择信号的帧。

在步骤1150，电子装置以与上述相同的方式为选择的帧产生静止图像文件。

图12是示出根据本公开的实施例的控制包括多个SAE的电子装置的方法的流程图。例如，图12示出通过使用图5的多个SAE 510、520和530分析附加信息。

参照图12，在步骤1200，电子装置拍摄视频。如果电子装置实时处理帧分析，则电子装置可以降低快速帧解释和结果获得的分析精度。因此，对于主要分析，电子装置可以减少要处理的数据或简化所使用的算法。

例如，在步骤1210，第一SAE 510可以以统计方式分析帧之间的颜色直方图或亮度直方图，并且向每个帧分配分数数据。

难以实时分析的信息可以经过二次分析。在完成视频捕捉之后，在视频回放之前可以执行第二SAE 520。

例如，在步骤1220，第二SAE 520通过使用对帧的ROI中的运动进行分析的结果向输入帧分配分数数据。当基于整个图像的信息而不减少输入帧的数据来执行分析时，对输入帧的ROI中的运动的分析可以保持较高准确度。

难以通过单个电子装置分析的信息可以经过三次分析。第三SAE 530可以通过在网络上与外部装置560或服务器进行通信来执行分析。

例如，在步骤1230，第三SAE 530可以包括包含面部识别的对象识别。

对于将被比较的较大量的数据，包含面部识别的对象识别可以具有较高的识别准确度。因此，第三SAE 530在网络上向外部装置560的服务器发送视频捕捉期间输入的面部信息或对象信息。外部装置560将接收的面部信息或对象信息与DB进行比较，并且将比较结果发送回第三SAE 530。

在第一SAE 510、第二SAE 520和第三SAE 530中分析的数据可以集成到单个数据，并且分配给每个帧作为分数数据。

在步骤1240，电子装置推荐帧。例如，SRE通过使用分配给每个帧的分数数据来选择在帧之间的优先级。

在步骤1250，电子装置选择性显示帧。

在步骤1260，电子装置从显示的帧之中识别输入帧选择信号的帧。

在步骤1270，电子装置产生选择的帧，作为如上所示的静止图像。

通过使用上述分析方法，电子装置推荐对用户有意义的帧。也就是说，在完成视频捕捉之后，用户可以仅检查电子装置推荐的帧，而不必检查所有帧。

通常，如果电子装置以速度30FPS拍摄一分钟视频，则产生总共1800帧。通常，用户可能花费大量时间扫描1800帧，以选择将被产生为静止图像的帧。然而，通过使用图12所示的上述描述分析方法，电子装置可以选择对用户有意义的帧，并且在视频拍摄的同时向用户提供帧。因此，用户可以快速检查电子装置推荐的帧，并且可以在拍摄点恢复拍摄。

图13A示出根据本公开的实施例的在视频捕捉之后选择用于产生静止图像的拍摄模式的显示器，图13B示出根据本公开的实施例的在视频捕捉之后用于产生静止图像的拍摄模式的显示器。

参照图13A，电子装置在显示单元1350上显示各种拍摄模式(自动、智能、专家、帧捕捉和我的影片)。基于用户选择的模式设置拍摄设置值。例如，可以设置视频捕捉之后用于产生静止图像的单独拍摄模式，例如，帧捕捉模式。可以在电子装置中存储此模式，或者可以通过与单独的服务器通信以应用的形式下载此模式。

如图13B所示，在视频捕捉之后接收到进入用于产生静止图像的拍摄模式的信号时，电子装置以用户界面(UI)的形式在显示单元1350上显示拍摄参数，以允许在显示通过图像传感器当前输入的屏幕的同时设置拍摄参数。在视频捕捉之后进入用于产生静止图像的拍摄模式之后，用户可以如一般拍摄一样设置感光度、快门速度、光圈值等。

电子装置可以提供各种聚焦模式，例如，单自动聚焦(SAF)、连续自动聚焦(CAF)、多自动聚焦(MAF)和手动聚焦(MF)。电子装置可以包括触摸AF模式。触摸AF是这样的模式：如果用户使用手指或触笔触摸将被聚焦的区域，则用户对该区域执行聚焦。

电子装置可以在视频捕捉期间以及视频捕捉之前改变聚焦模式。例如，如果电子装置在视频捕捉之后进入用于产生静止图像的拍摄模式，则电子装置可以激活MAF模式，以通过使用输入图像连续地执行聚焦。聚焦期间，在接收到触摸显示单元上的特定区域的信号时，电子装置在选择的区域周围执行AF聚焦。

电子装置在视频捕捉之后设置用于产生静止图像的拍摄模式的视频捕捉时间。例如，电子装置可以将视频捕捉时间设置为5秒、10秒、15秒等。电子装置可以设置视频捕捉时间，使得拍摄在存储器的容量允许的范围内继续。

电子装置可以恢复视频捕捉。例如，电子装置可以暂停视频捕捉。当电子装置恢复视频捕捉时，控制器400将当前输入的图像添加到所拍摄的视频之后。在完成拍摄时，电子装置可以产生单个视频文件。

图14示出根据本公开的实施例的针对选择的帧的质量校正方法的流程图。

参照图14，在电子装置在视频捕捉之后进入用于产生静止图像的单独拍摄模式之后，可以将快门速度设置为高于一般视频捕捉的参考快门速度，使得感光度值也被设置为高于一般视频捕捉中设置的感光度值。如果以30FPS拍摄一般视频，则视频应被自然拍摄而无屏幕之间的断开，使得参考快门速度可以被设置为约1/30秒用于拍摄。

在视频捕捉之后产生静止图像的拍摄模式中，最终结果不是视频，而是静止图像，使得视频中包括的每个帧没有抖动比无缝视频更为重要。因此，在步骤1400，电子装置以设置为1/60秒或1/125秒(即，高于1/30秒)的快门速度拍摄视频。

以这种方式，以上述模式拍摄的视频可以在视频包括的每个帧中包括很少的抖动。如果电子装置设置高快门速度，则可以减少输入光的量，允许高感光度拍摄。其结果是，电子装置会产生包括在低感光度的情况下没有产生的高感光度噪声的图像。

在步骤1410、1420和1430，电子装置如上所述分析视频的帧，显示帧，并且接收显示的帧的选择。

在步骤1440，电子装置执行质量校正以消除产生的高感光度噪声。

电子装置可以以各种方式执行质量校正。例如，电子装置可以将需要校正的帧与先前帧和随后帧逐个像素地进行比较，以校正帧。电子装置可以将公知的各种类型的用于高感光度噪声消除的噪声消除滤波器应用到需要校正的帧。

电子装置可以对将被产生为静止图像的帧或对视频捕捉期间输入的产生视频文件的所有帧执行质量校正。

在步骤1450，电子装置显示校正的静止图像。

图15A和图15B示出视频捕捉之后将被产生为静止图像的帧的选择。具体地，图15A示出根据本公开的实施例的在视频回放期间推荐帧的显示，图15B示出根据本公开的实施例的选择推荐帧的屏幕。

参照图15A，在视频捕捉之后，电子装置在显示器上显示SAE和SRE选择的帧1501。例如，电子装置可以在所拍摄视频的回放期间以缩略图的形式显示选择的帧。

电子装置还以UI的形式在显示器上显示捕捉帧的时间指示1502。电子装置可以响应于与在显示器上触摸或拖拽相应的信号或与物理键的操纵相应的信号来改变显示器上显示的帧或改变显示帧的位置。

在接收到用于选择帧1501中的一个的信号时，电子装置在整个屏幕上显示选择的帧，如图15B所示。

当在整个屏幕上显示帧时，电子装置可以响应于与在显示器上触摸或拖拽相应的信号或与物理键的操纵相应的信号来改变显示的帧。

在接收到用于将选择的帧产生为静止图像的信号时，电子装置将帧改变为静止图像。产生的静止图像可以具有与通常已知的静止图像文件相同的形式。例如，产生的静止图像可以具有联合图像专家组(JPEG)文件形式，并且可以包括Exif信息。

电子装置还可以以视频文件中元数据的形式存储从视频文件产生静止图像的历史。例如，电子装置可以通过使用CAPI盒标签存储视频文件的元数据，如表2所示。

表2–CAPI盒配置

例如，CAPI存储在MP4文件的用户数据盒udta盒中。在表2中，“大小”指示CAPI盒占据的总容量。“类型”指示当前CAPI的细节出现在用户数据盒中的位置，“版本”指示当前CAPI盒的版本，“信息”指示视频文件中包括的帧之中被产生为静止图像的帧。

图16示出根据本公开的实施例的通过使用表2的CAPI盒配置在视频文件中存储产生静止图像的历史。

可以以能够通过各种计算机组件执行的且在计算机可读记录介质中记录的程序命令的形式实现本公开的上述实施例。计算机可读记录介质可以以单独或组合的方式包括程序命令、数据文件、数据结构等。不论是否可擦除或重新记录，这样的软件可以被存储在易失性或非易失性存储器(诸如只读存储器(ROM)、诸如随机存取存储器(RAM)的存储器、存储器芯片、装置、或集成电路)；以及光学或磁性记录和机器(例如，计算机)可读存储介质(诸如光盘(CD)、DVD、磁盘或磁带)。可以包括在移动终端的存储器是适于存储包括用于实现本实施例的指令的一个或多个程序的机器可读存储介质的示例。记录在计算机可读记录介质中的程序命令可以是为本实施例专门设计和配置的程序命令或者已知由计算机软件领域的本领域技术人员使用的程序命令。

根据上述实施例，电子装置可以选择性地提取帧，并且在视频捕捉之后向用户提供提取的帧。

尽管已经参照其特定实施例具体示出和描述了本公开，但是本领域的普通技术人员将理解，在不脱离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对其进行形式和细节的各种改变。