提供视频内容的方法和支持该方法的电子装置与流程

文档序号:13627776阅读:187来源:国知局
提供视频内容的方法和支持该方法的电子装置与流程

相关申请的交叉引用

本申请要求于2016年7月29日提交至韩国知识产权局并且指定的序列号为10-2016-0096869的韩国专利申请的优先权,该韩国专利申请的全部公开内容通过引用并入本文。

本公开涉及视频内容。



背景技术:

电子装置可使用其相机来采集图像。例如,常规电子装置可使用其相机来采集静止图像或运动图像。所采集的图像可以在显示器上输出。

上述常规电子装置可提供用于以高速捕获视频的高速视频捕获功能。这种常规电子装置可以仅提供以下功能:存储以高速捕获的视频、或回放视频、或根据用户请求将视频传输到服务器等。

上述信息仅作为背景信息呈现,以帮助对本公开的理解。未确定并且未断言任何上述内容是否可能适于作为关于本公开的现有技术。



技术实现要素:

本公开的方面是为了解决至少上述问题和/或缺点,并且至少提供以下所述的优点。因此,本公开的一个方面是为了提供一种方法以及支持该方法的电子装置,所述方法用于提供视频内容以在以高速捕获的视频中自动提取有意义的间隔(或具有恒定意义的间隔)并且用慢动作提供所提取的间隔。

根据本公开的一个方面,提供了一种电子装置。电子装置包括:存储器,配置成存储以每秒第一数量的帧捕获的高速视频;以及处理器,与存储器电连接并且配置成基于第一数量的帧中的至少一个来检测图像变化量,并且针对高速视频的至少一部分通过将第一数量的帧划分成少于第一数量的帧的第二数量的帧来生成回放时间被延长的慢动作间隔,或针对高速视频的至少一部分通过对第一数量的帧中的至少一部分帧进行采样来生成回放时间被延长的慢动作间隔。

根据本公开的另一方面,提供了一种电子装置。电子装置包括:存储器,配置成存储以每秒第一数量的帧捕获的高速视频;以及处理器,与存储器电连接并且配置成基于第一数量的帧中的至少一个来检测图像变化量的信息,检测一定级别或更多的图像变化量连续一定长度的多个间隔,并且针对所检测到的多个间隔通过将第一数量的帧划分成少于第一数量的帧的第二数量的帧来生成回放时间被延长的多个慢动作间隔,或针对所检测到的多个间隔通过对第一数量的帧中的至少一部分帧进行采样来生成回放时间被延长的多个慢动作间隔。

根据本公开的另一方面,提供一种用于提供视频内容的方法。用于提供视频内容的方法包括:使用每秒第一数量的帧中的一部分从以每秒第一数量的帧捕获的高速视频获得图像变化量的信息,检测具有满足条件的图像变化量的间隔,以及针对所述间隔通过将第一数量的帧划分成少于第一数量的帧的第二数量的帧来生成回放时间被延长的慢动作间隔,或针对所述间隔通过对第一数量的帧中的至少一部分帧进行采样来生成回放时间被延长的慢动作间隔。

根据以下详细描述,本公开的其他方面、优点以及显著特征将对本领域技术人员变得显而易见,结合附图做出的所述详细描述公开了本公开的多个实施方式。

附图说明

本公开的某些实施方式的上述和其他方面、特征和优点将根据结合附图做出的以下详述变得更加显而易见,在附图中:

图1是示出根据本公开实施方式的电子装置的示例的框图;

图2是示出根据本公开实施方式的处理器的示例的框图;

图3是示出根据本公开实施方式的处理器的另一示例的框图;

图4是示出根据本公开实施方式的用于提供视频内容的方法的示例的流程图;

图5是示出根据本公开实施方式的用于提供视频内容的方法的另一示例的流程图;

图6是示出根据本公开实施方式的用于提供与检测事件信息相关的视频内容的方法的示例的流程图;

图7是示出根据本公开的实施方式的视频评分的图;

图8a是示出根据本公开实施方式的多个对象中的变化量的跟踪的图;

图8b是示出根据本公开实施方式的为多个对象提供视频内容的过程的图;

图9a是示出根据本公开实施方式的与慢动作相关的初始屏幕的示例的图;

图9b是示出根据本公开实施方式的用于提供多个慢动作的屏幕的示例的图;

图9c是示出根据本公开实施方式的编辑多个慢动作的过程的图;

图10是示出根据本公开实施方式的网络环境中的电子装置的配置的框图;

图11是示出根据本公开实施方式的电子装置的配置的框图;以及

图12是示出根据本公开实施方式的程序模块的配置的框图。

在所有附图中,应当注意,类似的附标记用于描绘相同或相似的元件、特征和结构。

具体实施方式

参考附图的以下描述被提供以帮助全面理解由权利要求及其等同限定的本公开的各种实施方式。所述描述包括各种具体细节以便帮助理解,但这些细节仅被视为示例性的。因此,本领域普通技术人员将认识到,在不脱离本公开的范围和精神的情况下,可以对本文所述的各种实施方式进行各种改变和修改。另外,为了清晰和简洁起见,可省略众公知的功能和构造的描述。

在以下描述和权利要求中使用的术语和词语不限于书面含义,而仅由发明人使用以使得能够清楚且一致地理解本公开。因此,应对本领域的技术人员显而易见的是,本公开的各种实施方式的以下描述仅为说明目的而提供,而不是为了限制所附权利要求及其等同所限定的本公开的目的。

应理解,除非上下文明确地另外规定,否则单数形式“一”、“一”和“该”包括多个指示对象。因此,例如提及“一个组件表面”包括提及此类表面中的一个或多个。

在本文公开的公开内容中,本文所使用的表达“具有”、“可具有”、“包括”和“包含”、或“可包括”和“可包含”表示对应的特征(例如,诸如数值、功能、操作或组件的元素)的存在,但不排除其他特征的存在。

在本文公开的公开内容中,本文使用的表达“a或b”、“a或/和b中的至少一个”或“a或/和b中的一个或多个”等可以包括相关所列项目的中的一个或多个的任何和所有组合。例如,术语“a或b”、“a和b中的至少一个”或“a或b中的至少一个”可以指以下所有情况:包括至少一个a的情况(1)、包括至少一个b的情况(2)或包括至少一个a和至少一个b两者的情况(3)。

本文使用的诸如“第一”、“第二”等的术语可以指各种实施方式的各种元件,但不限制元件。此外,此类术语可用于将一个元件与另一个元件区分开。例如,“第一用户装置”和“第二用户装置”可以指示不同的用户装置,而不管其顺序或优先次序如何。例如,“第一用户装置”和“第二用户装置”指示不同的用户装置。

应当理解,当一个元件(例如,第一元件)被称为与另一个元件(例如,第二元件)“联接(“可操作地或通信地”)/联接(“可操作地或通信地”)到另一元件(例如,第二元件)”或“连接到”另一元件(例如,第二元件)时,其可以与另一个元件直接联接/直接联接到另一元件,或可存在中间元件(例如,第三元件)。相比之下,当元件(例如,第一元件)被称为与另一元件(例如,第二元件)“直接联接”/“直接联接到”另一元件或“直接连接”到另一个元件时,应当理解,不存在中间元件(例如,第三元件)。

根据这种情况,本文使用的表达“配置成”可例如用作以下的表达:“适合于”、“有能力”、“设计为”、“适于”、“使得”或“能够”。术语“配置成”必须不能仅意指在硬件中“专门设计为”。相反,表达“配置成……的装置”可能意指装置“能够”与另一装置或其他组件一起操作。中央处理单元(cpu),例如“配置成执行a、b和c的处理器”可意指用于执行对应操作的专用处理器(例如,嵌入式处理器),或者可通过执行存储在存储器装置中的一个或多个软件程序来执行对应操作的通用处理器(例如,cpu或应用程序处理器(ap))。

本公开中使用的术语用于描述具体的实施方式,并且不旨在限制本公开的范围。除非另外说明,否则单数形式的术语可包括复数形式。除非本文另外定义,否则本文使用的所有术语(包括技术术语或科学术语)可具有由本领域技术人员通常理解的相同含义。将进一步理解,除非在本公开的各种实施方式中明确地如此定义,否则在词典中定义并且常用的术语也应当被解释为相关领域惯用的,而不是理想化或过于形式化的含义解释。在某些情况下,即使术语是在说明书中定义的术语,它们也可不被解释为排除本公开的实施方式。

根据本公开的各种实施方式的电子装置可以包括以下中的至少之一:智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器、台式pc、膝上pc、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、运动图像专家组(mpeg-1或mpeg-2)音频层3(mp3)播放器、移动医疗装置、相机、可穿戴装置(例如,诸如电子眼镜的头戴式装置(hmd)、电子服装、电子手镯、电子项链、电子应用配件、电子纹身、智能手表等)。

根据另一实施方式,电子装置可以是家用电器。家用电器可包括以下中的至少之一:例如,电视(tv)、数字通用盘(dvd)播放器、音响装置、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如,samsunghomesynctm、appletvtm、或googletvtm)、游戏控制台(例如,xboxtm或playstationtm)、电子词典、电子钥匙、摄像机、电子相框等。

根据另一实施方式,拍摄设备可包括以下中的至少之一:医疗装置(例如,各种便携式医疗测量装置(例如,血糖监测装置、心跳测量装置、血压测量装置、体温测量装置等))、磁共振血管造影(mra)、磁共振成像(mri)、计算机断层扫描(ct)、扫描仪和超声波装置)、导航装置、全球定位系统(gps)接收器、事件数据记录器(edr)、飞行数据记录器(fdr)、车辆信息娱乐装置、船舶电子设备(例如,导航系统和陀螺仪)、航空电子装置、安全装置、车辆头部单元、工业机器人或家庭机器人、自动取款机(atm)、销售点(pos)、或物联网(例如,灯泡、各种传感器、电表或煤气表、喷洒器装置、火灾报警器、恒温器、路灯、面包机、健身设备、热水箱、加热器、锅炉等)。

根据另一实施方式,电子装置可包括以下中的至少之一:家具或建筑物/结构的部件、电子板、电子签名接收装置、投影仪或各种测量仪器(例如水表、电表、煤气表或波长计等)。在各种实施方式中,电子装置可以是上述各种装置中的一个或其组合。根据实施方式的电子装置可以是柔性装置。此外,根据实施方式的电子装置可不限于上述电子装置,并且可根据技术发展而包括其他电子装置和新的电子装置。

在下文中,可参考附图描述根据多种实施方式的电子装置。本文所使用的术语“用户”可以指使用电子装置的人,或者可以指使用电子装置的装置(例如,人工智能电子装置)。

图1是示出根据本公开实施方式的电子装置的示例的框图。

参考图1,根据本公开的实施方式,例如,处理器120、存储器130、显示器160和相机180中的至少一个可位于电子装置100的外壳内侧和外侧中的至少之一中。电子装置100可包括电连接元件的总线110。另外或可选地,电子装置100还可包括:可与外部电子装置通信的通信接口以及可感测电子装置100的运动或移动的传感器(例如,加速度传感器、地磁传感器等)。

可以打开外壳中的例如面对第一方向的第一表面的至少一部分,并且可通过打开的第一表面暴露显示器160上的显示屏幕的区域的至少一部分。外壳可包括面向第二方向(例如,与第一方向相反的方向)的第二表面,并且可包括覆盖第一表面和第二表面的边缘侧部分的至少一个侧壁。处理器120和存储器130可安装在至少一个印刷电路板(pcb)上,并且pcb可位于外壳的内侧。相机180的至少一部分可位于外壳的内侧。与图像捕获相关的透镜部分的至少一部分可以通过在外壳的一侧处形成的孔而暴露于外部。

总线110可使处理器120、存储器130、显示器160和相机180彼此电连接。例如,总线110可将处理器120的指令传输到相机180,或可将由相机180获得的图像(例如,以第一指定速度捕获的一般视频或以第二指定速度捕获的高速视频)传输到处理器120。根据实施方式,总线110可支持传输信号,以通过将相机180所获得的图像的一部分帧传输到显示器160来输出预览图像。

处理器120可传输和处理与操作电子装置100相关的信号。例如,处理器120可包括与执行和操作电子装置100的应用相关的至少一个应用(ap)。可选地,处理器120可包括与操作相机180相关的图形处理单元(gpu)。根据实施方式,处理器120可执行用于采集一般视频(例如,以指定数量的帧(例如,20帧或30帧)的帧速率捕获的图像)或高速视频(例如,以每秒第一数量的帧(例如,大于指定数量的帧的一定数量的帧,例如180帧至240帧)的帧速率捕获的图像)的信号处理。可选地,处理器120可处理用于提供预览图像(例如,以每秒恒定数量的帧(例如,每秒15帧)的帧速率在显示器160上输出的图像)的信号(例如,图像或帧)。一般视频、高速视频或预览图像中的每秒帧数可以是相对的,并且可根据电子装置100的硬件特性、用户设置等而变化。在此方面,处理器120可根据默认设置(或初始功能)支持一般视频捕获功能,并且可根据用户输入将一般视频捕获功能改变为高速视频捕获功能。可选地,处理器120可支持高速视频捕获功能作为默认设置,并且可根据用户输入将高速视频捕获功能改变为一般视频捕获功能。

根据实施方式,结合高速视频捕获功能,处理器120可配置成根据默认设置在高速视频捕获时自动生成慢动作,或根据用户选择自动生成和提供慢动作。处理器120可在显示器160上输出与生成慢动作的功能相关的图标或菜单项。如果存在与生成慢动作的请求相关的用户输入,或如果处理器120配置成在高速视频捕获时自动生成慢动作,则处理器120可根据所获得的帧之间的图像变化量分配事件(例如,指示具有指定级别或更多变化量的帧的指示符)。可基于例如包括在帧中的至少一个对象的变化量来计算帧之间的图像变化量。在此方面,处理器120可通过提取包括在帧中的至少一个对象或根据用户输入选择至少一个帧并且对所提取或选择的帧应用对象跟踪来计算变化量。

处理器120可基于指定条件(例如,分配的事件之间的变化量级别)向每个事件分配分数,并且可基于所分配的分数选择至少一个间隔以生成慢动作。在此操作中,处理器120可根据指定条件调整要提取的间隔的数量和要提取的间隔的宽度中的至少之一。处理器120可通过调整要在指定时间间隔回放的与所选择的间隔对应的帧来生成与所选择的间隔相关的慢动作。处理器120可在除了与生成慢动作相关的间隔之外未被选择的至少一个间隔中调整多个帧中的一部分帧的采样条件(例如,所采样的帧的数量),并且可执行处理(例如,一般回放间隔的处理),使得在指定时间期间回放间隔。通过上述操作,处理器120可提供包括一般回放间隔和至少一个慢动作间隔的视频内容。

根据各种实施方式,处理器120可以为包括慢动作间隔的视频内容提供编辑功能。在此方面,如果接收到用于选择包括慢动作间隔的视频内容的输入信号、或如果接收到与编辑请求相关的用户输入,则处理器120可以在显示器160上输出编辑屏幕,并且可响应于用户输入来编辑视频内容。

根据各种实施方式,处理器120可在捕获高速视频时通过比较恒定数量的采样帧(例如,在每秒获得的240帧中采样的10帧)来测量图像变化量,并且可存储测量的变化量。如果高速视频的捕获完成,则处理器120可基于测量的变化量分配事件(例如,指示具有指定级别或更多的变化量的帧的指示符)。处理器120可通过相对地比较分配的事件来分配相对分数,或者可基于指定参考值根据变化量来分配绝对分数。处理器120可选择其中恒定参考值或更大值的分数以指定密度分布的间隔或者其中恒定参考值或更大值的分数连续的间隔作为慢动作间隔的间隔。如果接收到回放高速视频的请求,则处理器120能够以第一指定倍速回放未被选择为慢动作间隔的间隔(例如,将每秒240帧的图像采样为30帧并且用1秒来回放30帧),并且可以以第二指定倍速回放慢动作间隔(例如,每30帧对每秒240帧的图像进行划分并且用8秒来回放30帧)。根据设置,对应于高速视频的240帧可以用480帧、1280帧等来替代,并且作为回放倍速标准的30帧可以用15帧、20帧、60帧等替代。

根据实施方式,存储器130可存储与提供视频内容相关的至少一个指令集。例如,存储器130可包括:与捕获相机180的一般视频或高速视频相关的指令集、与获得(或检测)高速视频帧之间的图像变化量相关的指令集、与基于所检测的变化量执行评分相关的指令集、与根据分配的分数和指定条件选择慢动作间隔相关的指令集以及与生成用于所选择的间隔的慢动作相关的指令集。此外,存储器130可包括与编辑包括慢动作间隔的视频内容相关的指令集。根据实施方式,存储器130可存储与由相机180获得的一般视频和高速视频对应的帧。此外,存储器130可存储基于高速视频而应用慢动作间隔的视频内容。

显示器160可输出与操作电子装置100相关的至少一个屏幕。根据实施方式,显示器160可响应于用户输入而输出用于选择相机180以捕获一般视频或高速视频的屏幕、用于输出根据相机180的激活而获得的预览图像的屏幕、用于回放应用慢动作间隔的视频的屏幕、用于编辑应用慢动作间隔的视频的屏幕等。根据各种实施方式,显示器160可以输出用于编辑以高速捕获的视频的慢动作间隔的屏幕。

相机180可位于电子装置100的外壳的一侧处、可响应于处理器120的控制来捕获图像并且可将捕获的图像传输到处理器120。根据实施方式,相机180可响应于处理器120的控制以指定速度捕获图像(例如,每秒第一数量的帧,下文中将针对每秒240帧给出描述)。此外,相机180可以将获得的图像的一部分帧传输到处理器120。例如,相机180可以将每秒获得的240帧中的一部分(下文将针对每秒10帧给出描述)作为预览图像传输到显示器160(或者基于处理器120的控制,将每秒获得的240帧中的一部分作为预览图像传输到显示器160)。根据各种实施方式,处理器120可通过对每秒从相机180传输的240帧进行采样(例如,240帧中的每16帧采样一次)来生成预览图像,并且可将预览图像传输到显示器160。根据各种实施方式,相机180可响应于处理器120的控制捕获一般视频(例如,每秒第二数量的帧,下文中将针对每秒30帧给出描述)。如果帧之间的图像变化量大于或等于指定级别,则相机180可捕获高速视频(例如,每秒240帧)。

如上所述,根据本公开实施方式的电子装置100可从使用相机180以高速捕获的高速视频中选择至少一个间隔,并且可生成所选择的间隔被转换成慢动作的视频内容。可选地,电子装置100可以从高速视频中选择对应于指定条件的多个间隔,并且可生成多个所选择的间隔中的每个均被转换成慢动作间隔的视频内容。

图2是示出根据本公开实施方式的处理器的示例的框图。

参考图2,根据本公开的实施方式的处理器120可包括图像分析单元210、图像存储单元220、慢动作生成单元230、条件调整单元240和图像编辑单元250。例如,处理器120的至少一部分元件可以用硬件或软件中的至少之一来实现。可选地,可使用至少一个处理器来实现每个元件。

图像分析单元210可根据设置或用户输入来控制图1的相机180来捕获一般视频或高速视频。图像分析单元210可以在图像捕获时执行抖动校正。例如,图像分析单元210可提取先前帧与当前帧之间的图像变化,并且如果所提取的图像变化被确定为预定级别内的抖动(例如,根据手握持的、恒定级别内的图像变化),则可以执行抖动校正。图像分析单元210可检测帧之间的图像的实际变化量(或获得其信息)(例如,从运动或移动变化量减去抖动量)。根据各种实施方式,图像分析单元210可以基于传感器(例如,加速度传感器或地磁传感器)的信息确定抖动,并且可根据抖动量来校正图像变化量。图像分析单元210可分析从相机180传输的图像,并且可基于分析结果执行间隔选择和评分。在此方面,图像分析单元210可包括事件检测单元211和评分单元212。

例如,事件检测单元211可通过对从相机180传输的预览图像(例如,每秒5至20帧,例如10帧)执行图像分析来检测或获得帧之间的图像变化量。例如,事件检测单元211可以检测在每秒10帧中的相邻帧之间的图像变化量(或获得图像变化量的信息)。根据各种实施方式,事件检测单元211可以对恒定数量的帧进行采样(例如,提取10帧中的一部分帧),并且可以使用采样的帧来检测图像变化量。例如,事件检测单元211可以获得每秒的第一帧,并且可检测所获得的第一帧之间的图像变化量(或获得图像变化量的信息)。可选地,事件检测单元211可以对每2秒获得的帧(例如,每秒10帧情况下的20帧)中的一个(例如,20帧中的第一帧或最后帧)进行采样,并且可检测采样的帧之间的图像变化量(或获得图像变化量的信息)。根据各种实施方式,事件检测单元211可以使用相同的提取间隔在每秒的帧(例如,每秒240帧)中提取指定数量的帧(例如,每秒10帧),并且可检测所提取的帧之间的图像变化量(或获得图像变化量的信息)。可选地,事件检测单元211可结合检测图像变化量(或获得图像变化量的信息)来执行各种类型的采样(例如,以规则间隔或不规则间隔进行采样)。根据各种实施方式,事件检测单元211可结合测量图像变化量以指定毫秒(msec)的间隔提取帧。例如,事件检测单元211可以以100毫秒或200毫秒的间隔提取帧,并且可测量所提取的帧之间的图像变化量。

上述采样间隔可以根据图1的电子装置100的硬件性能或电子装置100的处理器120的当前使用程度而变化。如果图像变化量满足指定条件,例如如果图像改变的程度大于或等于指定参考值,则事件检测单元211可分配事件并且可采集与分配的事件相关的事件信息。事件信息可由于发生指定级别或更大级别的图像变化而用于指示事件被分配到的点,并且可以包括命令信息、时间信息等。此外,所分配的事件信息可以包括图像变化量的级别值。事件检测单元211可以累积并且存储所分配的事件信息直到图像捕获结束。事件检测单元211可以将累积的事件信息传输到评分单元212。

根据各种实施方式,事件检测单元211可以基于传感器信息来校正图像变化量。例如,事件检测单元211可以获得电子装置100的运动或移动,并且可以基于所获得的运动或移动的方向或速度来校正图像变化量。根据实施方式,如果电子装置100的图像捕获方向随着对象的运动或移动而移动(例如,如果图像捕获角度改变、或如果图像捕获位置改变),则包括在图像中的对象的运动或移动可以被检测为相对较大的(例如,如果图像捕获的移动方向与对象的移动方向不同)或相对较小的(例如,如果图像捕获的移动方向与对象的移动方向相同)。关于补偿这种情况,事件检测单元211可以基于获得的传感器信息来计算电子装置100的运动或移动级别,并且可以向帧之间的图像变化量施加所计算的运动或移动级别。事件检测单元211可以基于实际对象的运动或移动的变化量来确定分配事件。事件检测单元211可以在捕获图像时或在图像捕获结束之后分配事件。

关于在捕获图像时分配事件,例如,如果相对于指定参考值(例如,先前存储的图像变化量的参考值)存在恒定的参考值或更大的参考值,则事件检测单元211可以分配事件。关于在图像捕获结束之后分配事件,事件检测单元211可以将事件分配给所有图像中具有相对高的变化量的图像。例如,事件检测单元211可以基于已捕获图像的整个间隔事件与分配间隔的比例来确定图像变化量的级别,从而分配事件,并且可以将事件分配给指示大于或等于已确定的变化量的图像变化量的帧。在捕获图像之后,事件检测单元211可以相对于指定参考值来分配事件。

评分单元212可以分析采集的事件信息以便分配分数。在此操作中,评分单元212可以根据每个图像中的变化量级别来分配绝对分数方案中的分数(例如,图像变化量对应于一定级别的分数)。可选地,评分单元212可以根据每个图像中的变化量的相对级别来分配相对分数方案中的分数(例如,将较高分数分配给图像变化量相对高的事件信息,并且将较低分数分配给图像变化量相对低的事件信息)。评分单元212可以相对于绝对分数或相对分数选择对应于指定条件的间隔。例如,评分单元212可以选择其中采集了指定级别或更大级别的绝对分数的事件信息的间隔,并且可以计算间隔信息(例如,具有连续恒定间隔的每个事件的事件开始点和事件结束点、所分配的分数的平均值、所分配的分数的最大值和最小值等)。评分单元212可以将所计算的间隔信息中的至少一个传输到慢动作生成单元230。

根据实施方式,如果应用绝对分数方案,则对于具有高图像变化量的视频,评分单元212可能获得相对多的间隔信息(或在选择相对多的间隔之后获得的间隔信息)。可选地,通过将相对分数方案应用于具有高图像变化量的视频,评分单元212可以获得指定数量的间隔信息。在此过程中,评分单元212可以自动调整图像变化量的级别(例如,增加图像变化量的参考值)以便获得指定数量的间隔信息。如果应用绝对分数方案,则对于具有低图像变化量的视频,评分单元212可能获得相对少的间隔信息(例如,在选择相对少的间隔之后获得的间隔信息)。可选地,通过将相对分数方案应用于具有低图像变化量的视频,评分单元212可以获得指定数量的间隔信息。在此过程中,评分单元212可自动调整图像变化量的级别(例如,减小图像变化量的参考值)以便获得指定数量的间隔信息。

可以根据应用设计者的意图或用户设置改变绝对分数方案或相对分数方案。可以根据用户设置或应用设计者的意图来改变以下的设置:绝对分数方案中与获得间隔信息相关的图像变化量的级别、以及在相对分数方案中获得的间隔信息的数量。在此方面,电子装置100可以提供用于改变分数方案的屏幕、用于设置图像变化量级别的屏幕、用于设置间隔信息数量的屏幕等。评分单元212可以在捕获图像时或在图像捕获结束之后分配分数。评分单元212可以在捕获图像时基于指定参考值对图像变化量执行评分。在图像捕获结束之后,评分单元212可以为图像变化量分配相对分数,或可以基于先前存储的参考值分配绝对分数。

图像存储单元220可以将从相机180提供的一般视频或高速视频存储在图1的存储器130中。根据实施方式,当事件检测单元211基于预览图像检测事件时,图像存储单元220可以将相关的高速视频存储在存储器130中。存储在存储器130中的高速视频可以被提供给慢动作生成单元230。

慢动作生成单元230可基于存储在图像存储单元220中的高速视频和从评分单元212提供的间隔信息来确定慢动作间隔的采样率,并且可以基于所确定的采样率来生成慢动作。例如,可以根据图像变化量的级别来确定采样率。根据实施方式,慢动作生成单元230可以基于包括在间隔信息中的分数信息、分数平均值、分数最大值/最小值等来确定间隔的采样率。慢动作生成单元230可以向具有相对高分数的间隔(例如,具有相对高的图像变化量的间隔)应用较长的回放延长(例如,通过以每秒30帧的间隔均等地划分所有的每秒240帧,延长到8秒的回放时间)。慢动作生成单元230可以向具有相对低分数的间隔(例如,具有相对低的图像变化量的间隔)施加较短的回放延长(例如,通过对每秒240帧中的60帧进行采样并且每4帧提取一帧,而延长到每秒30帧的间隔的2秒回放时间。

慢动作生成单元230可以以未选择的间隔计算每秒240帧中的一部分(例如,通过每8帧采样1帧来提取30帧),并且可采集要用1秒回放的帧。因此,能够以每秒30帧的帧速率回放包括慢动作间隔的视频内容。根据各种实施方式,慢动作生成单元230可以延长间隔回放时间,以根据设置将每秒240帧回放成每秒20帧。可选地,慢动作生成单元230可以延长间隔回放时间,以将每秒240帧回放成每秒40帧或每秒60帧。为延长而选择的帧的数量可以由一般回放间隔中的每秒帧速率来确定。例如,如果一般回放间隔配置成以每秒20帧的帧速率回放,则慢动作生成单元230能够对高速视频中的每秒帧进行采样或划分,从而以每秒20帧的间隔回放。

根据各种实施方式,慢动作生成单元230可以应用慢动作间隔的余量间隔。例如,慢动作生成单元230可以调整包括慢动作间隔的开始恒定范围和结束恒定范围的回放延长大小以与中心部分(或在开始恒定范围之后、在结束恒定范围之前)的回放延长大小不同。根据实施方式,对于通过每秒240帧获得的10秒的慢动作间隔(总共2400帧),慢动作生成单元230可以针对慢动作间隔的开始一秒和慢动作间隔的结束一秒将回放延长确定为4秒,并且可以以8秒的间隔处理慢动作间隔的中心部分的回放延长。在此方面,慢动作生成单元230可以对于位于慢动作间隔的开始一秒内的240帧中的120帧进行采样(例如,通过每2帧提取1帧来采样120帧),并且能够以每秒30帧的速率处理要回放的已采样的120帧。如果针对慢动作间隔的开始一秒和慢动作间隔的结束一秒的回放延长被确定为2秒,则慢动作生成单元230可每秒采样60帧,并且能够以每秒30帧的帧速率处理要回放的已采样的60帧。根据各种实施方式,慢动作生成单元230能够以一般回放速度(例如,每秒30帧)处理针对慢动作间隔的开始恒定时间和结束恒定时间的回放延长。在这种情况下,慢动作生成单元230可以通过以8帧的间隔对每秒240帧进行采样来提取30帧,并且能够以每秒30帧的帧速率处理要回放的已提取的30帧。

根据实施方式,慢动作生成单元230可以存储和管理慢动作间隔的开始帧信息、慢动作间隔的结束帧信息、以及包括慢动作间隔的采样率(例如,1/2倍速、1/4倍速、1/8倍速、1/16倍速等)的慢动作信息。视频播放器可以在回放包括慢动作间隔的视频时验证慢动作信息,并且可以根据慢动作间隔中的采样率回放慢动作。

条件调整单元240可以调整慢动作间隔的大小和慢动作间隔的数量。在此方面,条件调整单元240可以在图1的显示器160上显示用于调整图像变化量的级别值的屏幕、用于选择慢动作间隔数量的屏幕等。条件调整单元240可以将根据用户输入而选择的图像变化量或慢动作数量存储在存储器130中。事件检测单元211可以参考存储在存储器130中的图像变化量或慢动作数量。根据各种实施方式,条件调整单元240可根据用户输入调整向事件检测施加的对象的大小、向事件检测施加的对象的数量等。已调整的对象大小和已调整的对象数量可以用于检测和跟踪对象。

图像编辑单元250可以根据指定的方案来编辑应用慢动作间隔的视频内容。例如,图像编辑单元250可以在执行媒体库应用的屏幕、主屏幕等上输出与编辑慢动作相关的项目。如果发生与编辑慢动作相关的请求,则图像编辑单元250可以在显示器160上输出慢动作编辑屏幕。慢动作编辑屏幕可包括例如视频内容回放区域、代表帧区域和慢动作间隔区域。慢动作间隔区域可包括由慢动作生成单元230生成的至少一个慢动作间隔。因此,多个慢动作间隔区域可位于屏幕上。

图像编辑单元250可响应于用户输入(例如,在慢动作间隔区域上发生的触摸输入)来调整慢动作间隔的长度。可选地,图像编辑单元250可以响应于用户输入而删除慢动作间隔。可选地,图像编辑单元250可以响应于用户输入而选择除了慢动作间隔(例如,通过以8帧的间隔对高速视频中的每秒240帧进行采样来以每秒30帧的帧速率回放的间隔)之外的一般间隔作为慢动作间隔,并且可以将所选择的慢动作间隔传输到慢动作生成单元230,从而生成慢动作(例如,对与选择为慢动作间隔的一般间隔对应的高速视频中的每秒240帧的采样单位进行改变和划分并且延长回放时间)。图像编辑单元250可以将包括编辑的慢动作间隔的视频内容存储在存储器130中,或可以响应于用户输入而通过通信接口将视频内容传输到服务器或外部电子装置。

根据各种实施方式,图像分析单元210可以根据事件检测来调整图像捕获速度。例如,图像分析单元210可以指示相机180捕获一般视频。如果发生指定级别或更多的图像变化量,则图像分析单元210可以指示相机180捕获高速视频。根据实施方式,如果在捕获一般视频时检测到恒定大小或更大的对象,并且如果发生对象的运动或移动,则图像分析单元210可以指示相机180捕获高速视频。如果对象的运动或移动结束,或者如果对象的大小减小到恒定大小或更小,则图像分析单元210可指示相机180停止捕获高速视频并且捕获一般的视频。

在上述描述中,一个实施方式被例示为在捕获图像时执行事件检测和评分。然而,实施方式不限于此。例如,可例如在图像捕获结束之后执行事件检测和评分操作。根据实施方式,事件检测单元211可根据生成慢动作的请求对存储在存储器130中的高速视频进行采样。例如,事件检测单元211可以对来自高速视频的每几秒(例如,1秒)的几帧(例如,1帧)进行采样,并且可以检测采样帧之间的图像变化量,由此采集事件信息。在图像捕获结束之后,评分单元212可基于从事件检测单元211传输的事件信息来采集至少一个间隔信息。

图3是示出根据本公开实施方式的处理器的另一示例的框图。

参考图3,根据本公开的实施方式的处理器120可包括:图像分析单元210、图像存储单元220和慢动作生成单元230。图像存储单元220和慢动作生成单元230可以与参照图2所描述的图像存储单元和慢动作生成单元基本相同或类似。

图像分析单元210可包括事件检测单元211、评分单元212、和对象检测单元213、以及对象跟踪单元214。

对象检测单元213可以接收从图1的相机180接收的预览图像(或从高速视频采样的图像),并且可以基于所接收的预览图像来检测对象。根据实施方式,对象检测单元213可以过滤所接收的预览图像以提取至少一个对象(例如,背景对象或除背景之外的特定对象)。根据各种实施方式,对象检测单元213可以在图1的显示器160上输出用于选择至少一个对象的屏幕。对象检测单元213可以接收用户输入(例如,用于选择在显示器160上显示的至少一个对象的触摸输入),并且可以响应于所接收的用户输入来提取对象。在此操作中,对象检测单元213可根据用户输入提取多个对象。可选地,对象检测单元213可以提供对象候选,并且可以仅提取用户所选择的对象。可选地,对象检测单元213可以自动检测指定大小或更大的对象。

对象跟踪单元214可以跟踪由对象检测单元213提取的对象。例如,对象跟踪单元214可以存储所提取的对象的位置信息,并且可以跟踪对象在下一帧上的运动或移动。在此操作中,对象跟踪单元214可以计算下一帧中包括对象的标度改变、方向改变等的运动矢量,并且可以确定对象的运动或移动程度。如果正在跟踪的对象的运动或移动程度大于或等于恒定级别,则对象跟踪单元214可以向事件检测单元211提供有关对象的信息(例如,对象的位置信息和对象的运动或移动的变化量)。根据各种实施方式,如果对象检测单元213检测到多个对象,则对象跟踪单元214可以跟踪多个对象。在此方面,对象跟踪单元214可以跟踪指定数量的对象或更多的对象、或者指定大小的对象。根据实施方式,在配置成跟踪指定数量的对象或更多对象的环境中,如果所选择的对象从帧消失,则对象跟踪单元214可以检测未被选择的另一个对象并且可以跟踪检测的新对象。

事件检测单元211可以从对象跟踪单元214接收具有恒定级别或更多运动或移动变化量的对象的对象信息。事件检测单元211可以基于接收的对象信息分配事件,并且可以生成对应于事件的事件信息(例如,时间信息、位置信息、运动或移动变化量的级别信息等)。

如上所述,评分单元212可以基于事件信息来执行评分。

根据各种实施方式,电子装置可以包括:存储器,配置成存储以每秒第一数量的帧捕获的高速视频;以及处理器,配置成与存储器电连接。处理器可以配置成基于第一数量的帧(例如,以每秒240帧捕获的图像)中的至少一个(例如,每秒10帧的图像)来检测图像变化量,并且可针对具有满足指定条件的图像变化量的视频间隔通过将第一数量的帧划分或采样成少于所述第一数量的帧的第二数量的帧(例如,每秒30帧)来生成回放时间被延长的慢动作间隔。

根据各种实施方式,提供了电子装置。电子装置可以包括:存储器,配置成存储以每秒第一数量的帧捕获的高速视频;以及处理器,配置成与存储器电连接,其中处理器可配置成基于第一数量的帧中的至少一个来检测图像变化量,并且针对包括具有满足一定条件的图像变化量的至少一个帧的视频间隔通过将第一数量的帧划分成少于第一数量的帧的第二数量的帧来或者对第一数量的帧中的至少一部分进行采样来生成回放时间被延长的慢动作间隔。

根据实施方式,电子装置还可以包括配置成以每秒第一数量的帧捕获高速视频的相机,其中处理器配置成在相机捕获高速视频时,在所捕获的视频(或捕获帧)具有一定级别或更多图像变化量时分配事件,如果相机的高速视频捕获操作结束,则分配对应于累积事件之间的图像变化量的分数,计算所分配的分数满足条件的间隔,并且生成所计算的间隔被延长至回放时间的慢动作间隔。

根据实施方式,电子装置还可以包括配置成以每秒第一数量的帧捕获高速视频的相机,并且其中处理器配置成:如果相机的捕获操作结束,则执行相机所捕获和存储的高速视频的帧之间的比较;并且将事件分配给具有一定级别或更多的图像变化量的帧;并且根据所分配的事件之间的图像变化量级别来分配分数;并且基于所分配的分数满足条件的间隔来生成慢动作间隔。

根据实施方式,处理器可以配置成基于配置有第一数量的帧中的一部分帧的预览图像来检测图像变化量。

根据实施方式,处理器可以配置成通过基于配置有第一数量的帧中的一部分帧的预览图像来检测对象并且跟踪所检测的对象来检测一定级别或更多的对象变化量。

根据实施方式,处理器可以配置成基于配置有第一数量的帧中的一部分帧的预览图像来检测和显示候选对象,并且检测通过用户输入在候选对象中选择的对象,并且基于在所检测的对象具有一定级别或更多的对象变化量时的帧生成慢动作间隔。

根据实施方式,处理器可以配置成响应于用户输入从配置有第一数量的帧中的一部分帧的预览图像检测多个对象,并且在所检测到的多个对象中的每个具有一定级别或更多对象变化量时分类并且存储帧。

根据实施方式,处理器可以配置成根据用户输入或设置生成多个慢动作间隔。

根据实施方式,处理器可以配置成根据用户输入或设置来调整图像变化量的级别,并且基于具有所调整的级别或更多图像变化量的事件来生成慢动作间隔。

根据实施方式,处理器可以配置成根据图像变化量的级别以不同的方式调整慢动作间隔的采样率。

根据实施方式,处理器可以配置成检测一定大小或更大的对象,并且基于所检测到的多个所述一定大小或更大的对象之间的变化量来生成慢动作间隔。

根据实施方式,处理器可以配置成检测高速视频抖动的发生并且根据抖动应用图像校正。

根据实施方式,处理器可以配置成检测电子装置的运动或移动,并且根据运动或移动的方向和速度来检测图像变化量。

根据实施方式,电子装置还可以包括配置成显示包括慢动作间隔的视频内容的显示器,其中处理器配置成显示指示视频内容的回放位置的回放条,并且在回放条上输出指示慢动作间隔的引导对象。

根据实施方式,处理器可以配置成响应于用户输入来调整包括在引导对象中的帧区域的范围或帧区域的数量。

根据实施方式,处理器配置成响应于引导对象的改变而生成新的慢动作间隔。

根据各种实施方式,提供了电子装置。电子装置可以包括:存储器,配置成存储以每秒第一数量的帧捕获的高速视频;以及处理器,配置成与存储器电连接,其中处理器配置成基于第一数量的帧中的至少一个来检测图像变化量,检测一定级别或更多图像变化量连续一定长度的多个间隔,并且针对多个所检测的间隔通过将第一数量的帧划分成少于第一数量的帧的第二数量的帧或对第一数量的帧中的至少一部分帧进行采样来生成回放时间被延长的多个慢动作间隔。

图4是示出根据本公开的实施方式的用于提供视频内容的方法的示例的流程图。

参考图4,结合根据本公开的实施方式的用于提供视频内容的方法,在操作401中,图2或图3的处理器120(例如,图像分析单元210)可确定是否发生对高速图像捕获的请求。在此方面,处理器120可输出包括与高速图像捕获相关的图标或菜单的屏幕。可选地,当图1的相机180被激活时,处理器120可以自动进入高速图像捕获状态。根据各种实施方式,对高速图像捕获的请求可包括存储在图1的存储器130中输入信号的发生,所述输入信号用于选择以高速捕获的视频。如果没有高速图像捕获请求,则在操作403中,处理器120可以执行指定的功能。例如,处理器120可以响应于用户输入来捕获一般视频或高速视频。

如果发生对高速图像捕获的请求,则处理器120(例如,图像分析单元210)可以激活相机180以获得具有指定帧速率(例如,每秒240帧)的帧的视频。在操作405中,处理器120(例如,图像分析单元210)可以执行抖动校正。如果图1的电子装置100没有抖动或根据设置,则处理器120可以省略抖动校正操作。在执行抖动校正的操作中,处理器120可以基于配置成被确定为抖动的参考变化量,使用先前帧与当前帧之间的比较值来确定抖动的发生。可选地,处理器120可以基于传感器信息来确定抖动的发生。

在操作407中,处理器120(例如,图3的对象检测单元213、对象跟踪单元214和事件检测单元211)可以提取并且存储事件信息。在此方面,处理器120可以检测帧之间的变化。如果帧之间的变化大于或等于指定级别,则处理器120可以确定事件发生,并且可以确定在帧之间大于或等于指定级别的变化发生期间发生了相同的事件。处理器120可以基于检测帧之间的图像变化量将事件分配给在帧之间发生指定级别或更多的图像变化量的帧,并且可以基于分配的事件来计算事件信息。事件信息可以包括发生事件的时间、事件的图像变化量的级别。根据各种实施方式,可以在下面描述的操作409之后执行操作407。例如,在捕获高速视频时,处理器120可以提取和存储具有指定级别或更多图像变化量的帧。在图像捕获结束之后,处理器120可以将事件分配给所存储的帧。

在操作409中,处理器120(例如,图像分析单元210)可以确定是否发生与结束图像捕获相关的请求。如果没有与结束图像捕获相关的请求,则处理器120可以分支到操作401以再次从操作401执行操作。如果发生与结束图像捕获相关的请求,则在操作411中,处理器120(例如,图2或图3的评分单元212)可以执行评分以便计算间隔信息。例如,根据对应于每个事件的帧之间的图像变化量,处理器120可以分配指定级别的分数。可选地,处理器120可以根据视频内容的所有帧之间的图像变化量来分配相对分数。根据实施方式,处理器120可以将帧中大小相对大的对象的分数分配成高于(或根据设置低于)大小相对小的对象的分数指定级别。

在操作413中,处理器120(例如,图2或图3的慢动作生成单元230)可以基于分配的分数生成慢动作。例如,如上所述,处理器120可以将高采样率分配给与具有高分数(例如,高绝对分数或高相对分数)的间隔有关的信息,并且可以将低采样率分配给与具有低分数(例如,低绝对分数或低相对分数)的间隔有关的信息。处理器120可以基于所分配的采样率来确定间隔信息的回放延长时间。处理器120可以基于确定的回放延长时间,对包含在间隔信息中的帧进行采样和划分。

根据各种实施方式,处理器120能够以恒定速度(例如,每秒240帧)捕获视频。处理器120可以在回放高速视频时确定一般间隔和慢动作间隔的采样率,并且可以根据确定的采样率执行回放。例如,处理器120能够以一倍速回放一般间隔(例如,没有事件的间隔或者没有设置为慢动作间隔的间隔)(例如,当设置每秒30帧的回放时,对240个帧中的30帧进行采样和回放)。处理器120能够以指定倍速回放慢动作间隔(例如,具有指定级别或更多图像变化量的后续事件位于其中的间隔)(例如,当设置1/2倍速时,对240帧中的60帧进行采样并且以每秒30帧的间隔用2秒回放60帧;当设置1/4倍速时,对240帧中的120帧进行采样并且以每秒30帧的间隔用4秒回放120帧,并且当设置1/8倍速时,以每秒30帧的间隔回放240帧)。

根据各种实施方式,例如,处理器120可以根据确定的采样率回放10秒的图像(例如,每秒240帧)并且将其延长到到80秒的图像(例如,每秒30帧)以生成慢动作间隔。可选地,处理器120可以根据确定的采样率回放10秒的图像(例如,每秒240帧)并且将其延长到40秒的图像(例如,通过对每秒240帧进行采样来提取120帧,每2帧提取一帧,以及回放每秒120帧并且将其延长到4秒的图像)。根据各种实施方式,处理器120可以回放和延长中心部分中的6秒图像(或8秒或7秒的图像),而不用回放和延长10秒图像中的前半部分中的2秒图像(或1秒或1.5秒的图像)以及后半部分中的2秒图像(或1秒或1.5秒的图像)。处理器120可以通过向图像中发生改变的开始部分和改变结束的部分提供足够的识别时间并且通过慢动作验证更准确的图像来优化慢动作的识别。例如,用户可以通过在识别到对象(图1的显示器160上显示的虚拟对象)在某种程度上的快速改变的情况中通过慢动作缓慢且准确地理解情况(例如,观察发生改变的前半部分)以及识别对象再次快速改变的状态(例如,识别后半部分)来增强对慢动作部分的集中。根据各种实施方式,处理器120可以仅对前半部分中的恒定部分提供正常改变(例如,在10秒图像中的前半部分中的2秒图像),并且可能省略后半部分中的改变。

在操作415中,处理器120可以在图1的显示器160上输出包括慢动作的视频内容,或者可以将视频内容存储在图1的存储器130中。例如,在完成慢动作的生成之后,处理器120可以自动回放视频内容。可选地,处理器120可以通知用户慢动作的生成通知(例如,通过显示器160或音频装置的输出引导信息),并且可以根据用户输入回放包括慢动作的视频内容。

在操作417中,处理器120可确定是否发生结束图1的电子装置100的功能操作的请求。如果没有结束功能操作的请求,则处理器120可以分支到操作401以再次从操作401执行操作。

根据各种实施方式,电子装置100可以包括双相机。双相机可以包括面向相同方向的至少两个相机。电子装置100可以使用至少两个相机来捕获图像,并且可以存储和显示所捕获的图像。例如,双相机可以包括广角相机(具有相对宽的视角)和长焦相机(具有相对窄的视角)。可选地,双相机可以包括彩色相机和黑白相机。

结合使用双相机捕获的图像,在回放广角图像时,电子装置100的处理器120可以在突出的间隔(例如,图像变化量大于或等于恒定级别的间隔)中将广角图像转换成远摄图像。当使用第一相机(例如,广角相机)和第二相机(例如,长焦相机)捕获相同的对象时,电子装置100的处理器120可以使用第一相机以第一速度(例如,每秒30帧)捕获图像,并且可以使用第二相机以高速(例如,240帧/秒)捕获图像。处理器120可以使用通过第一相机所捕获的图像的至少一部分帧来检测图像变化量,并且可以根据检测的图像变化量来检测事件。

如果图像捕获完成,则在操作411中,处理器120可以使用图像由第一相机分析的事件来执行评分。在操作413中,处理器120可以以特定间隔(例如,具有指定级别或更多图像变化量的间隔)使用第二相机的图像来生成慢动作。处理器120可以在显示器160上输出由第一相机捕获的第一图像和由第二相机捕获的第二图像,或者可以将第一图像和第二图像存储在存储器130中。根据各种实施方式,处理器120可以使用第一相机(例如,长焦相机)来执行高速图像捕获,并且可以使用第二相机(例如,广角相机)执行低速图像捕获。处理器120可相对于以高速捕获的图像自动生成与具有指定级别的图像变化量的间隔相关的至少一个慢动作间隔。

图5是示出根据本公开实施方式的用于提供视频内容的方法的另一示例的流程图。

参考图5,结合提供视频内容,在操作501中,图2或图3的处理器120(例如,图像分析单元210)可以确定是否发生对高速图像捕获的请求。如果没有对高速图像捕获的请求,则在操作503中,处理器120可以执行指定的功能。例如,对高速图像捕获的请求可以包括:出现用于使用图1的相机180来指导高速图像捕获的输入信号、出现用于选择以高速捕获的视频的输入信号等。如果发生对高速图像捕获的请求,则在操作505中,处理器120可以选择性地执行抖动校正。如果发生小于指定级别的运动或移动,则处理器120可以执行下一操作而不执行抖动校正。如果发生与抖动校正相关的指定级别的运动或动(例如,如果采集到对应于抖动的传感器信息、或者如果检测到所获得的帧之间的抖动模式),则处理器120可以响应于运动或移动的发生而执行帧的运动或移动补偿。

在操作507中,处理器120(例如,图像分析单元210)可以确定是否发生对结束图像捕获的请求。如果没有对结束图像捕获的请求,则处理器120可以分支到操作501。如果发生对结束图像捕获的请求,则在操作509中,处理器120可以提取对象并且可以提取和存储事件信息。

结合提取对象,处理器120(例如,图3的对象检测单元213)可以对图像捕获结束的视频内容的至少一部分帧进行过滤,并且可以基于通过过滤引出的特征点来检测对象(例如,基于边界线信息的对象)。可选地,处理器120可以通过对帧进行过滤来检测候选对象,并且可以输出用于选择候选对象中的至少一个的选择屏幕。处理器120可以响应于用于选择至少一个候选对象的输入信号的发生来检测对象。在此操作中,处理器120可对存储在图1的存储器130中的高速视频进行采样(例如每秒提取1至20帧,例如每秒提取1帧或2帧,每秒提取10帧等),并且可以执行所采样的帧之间的比较(例如,在先前时间t(与所捕获的图像相关的时间)采样的帧与在随后时间t+1采样的帧之间的图像比较)。根据各种实施方式,处理器120可以根据设置或用户输入来调整采样周期。根据各种实施方式,处理器120能够以指定时间(例如,10毫秒、20毫秒、50毫秒、100毫秒等)的间隔来获得帧,并且可以基于获得的帧来测量图像变化量。

根据各种实施方式,处理器120可根据指定的条件限制所检测的对象的数量,或者可限制可由用户选择的候选对象的数量。例如,处理器120可以仅检测恒定大小或更大的对象或者可以提供候选对象。如果根据指定条件检测到指定数量的对象或更多对象,则处理器120可以根据每个对象的大小或位置选择恒定数量的对象。例如,处理器120可以响应于恒定数量来提取相对大的对象,或者可以首先检测相对位于中心部分中的对象。

结合提取和存储事件信息,处理器120(例如,图3的对象跟踪单元214和事件检测单元211)可以在跟踪所检测的对象的同时检测对象的运动或移动的变化量。如果对象的运动或移动的变化量大于或等于指定级别,则处理器120可以分配事件并且可采集和存储与所分配的事件相对应的事件信息(例如,事件顺序或时间信息、分配有事件的对象信息、变化量的级别值等)。可选地,处理器120可基于所获得的图像帧之间的变化量来分配事件(例如,包括在帧中的至少一个特征点的向量中的变化量),并且可以采集和存储对应于所分配的事件的事件信息。

在操作511中,处理器120(例如,图2或图3的评分单元212)可以基于所提取的事件信息执行评分。处理器120可以基于评分过程来计算至少一个间隔信息以生成慢动作。例如,间隔信息可以包括:与具有连续恒定间隔的事件根据特定对象的运动或移动的发生而发生时的开始时间有关的信息、与事件根据运动或移动的结束而结束时的结束时间有关的信息、所分配的分数值(例如,平均值和最大值/最小值)等。如果存在多个间隔信息,则处理器120可以选择指定数量的间隔信息。可选地,处理器120可以在多个间隔信息中选择具有恒定级别或更多的分数的间隔信息。

在操作513中,处理器120(例如,图2或图3的慢动作生成单元230)可以生成慢动作。处理器120可以通过基于间隔信息以每秒指定帧的间隔(例如,以每秒30帧的间隔)划分以每秒240帧获得的视频内容并且延长回放时间来生成慢动作。可选地,处理器120可以存储配置成以指定倍速回放以每秒204帧获得的视频内容的慢动作信息,并且可以在回放视频时基于所配置的慢动作信息回放慢动作间隔。

在操作515中,处理器120可以输出或存储包括所生成的慢动作的视频内容。当回放包括慢动作间隔的视频时,处理器120可以以正常倍速或一般倍速(例如,一倍速)或以高于一倍速的高倍速回放未检测到事件的间隔。处理器120可针对检测到事件的间隔(例如,慢动作间隔)通过以指定帧(例如,30帧)的间隔划分间隔的帧(例如,每秒240帧)来生成慢动作,并且回放所划分的帧。

在操作517中,处理器120(例如,图2的图像编辑单元250)可以确定是否发生编辑请求。如果没有发生编辑请求,则处理器120可以跳过后续操作(例如,操作519、521和523),并且可以分支到操作525。如果发生编辑请求,则在操作519中,处理器120可以在显示器160上输出编辑屏幕。在此方面,处理器120可以在输出视频内容的屏幕上输出与编辑慢动作相关的图标或菜单。可选地,在生成慢动作之后,处理器120可自动输出慢动作编辑屏幕。处理器120可以结合编辑慢动作来验证慢动作间隔,并且可以输出编辑屏幕,编辑屏幕用于调整或删除将被应用慢动作的间隔的范围。

在操作521中,处理器120(例如,图像编辑单元250)可以根据用户输入编辑慢动作。例如,如果发生与慢动作间隔有关的用户触摸输入,则处理器120可以将慢动作间隔处理成比先前间隔更窄或者更宽。与调整间隔一起,处理器120还可以基于已调整间隔的高速视频来延长慢动作,或者可以删除先前生成的慢动作间隔。在操作523中,处理器120可以根据用户输入来存储或传输所编辑的视频内容。可选地,处理器120可以根据用户输入在显示器160上输出已编辑的视频内容。

在操作525中,处理器120可以确定是否发生结束图1的电子装置100的功能操作的请求。如果没有发生结束功能操作的请求,则处理器120可以分支到操作501或517以再次从操作501或517执行操作。

图6是示出根据本公开实施方式的用于提供与检测事件信息相关的视频内容的方法的示例的流程图。

参考图6,结合用于提供视频内容的方法,当高速视频被捕获或与捕获的高速视频(或捕获的高速视频帧)结合时,在操作601中,图3的处理器120(例如,对象检测单元213或对象跟踪单元214)可以检测对象的变化量。在此方面,处理器120可以基于预览图像或从高速视频采样的图像检测候选对象(例如,恒定大小或更大的对象)。处理器120可以提供用于选择所检测到的候选对象的屏幕。用户可以在观看预览图像或从高速视频采样的图像时在屏幕上选择至少一个对象。处理器120可以跟踪由用户选择指定的对象。如果选择了多个对象,则处理器120可跟踪对象中的每个。

在操作603中,处理器120(例如,图3的对象跟踪单元214或事件检测单元211)可以确定检测的变化量是否满足指定条件。例如,处理器120可以确定是否发生指定级别或更多的变化量。如果变化量满足指定条件,则在操作605中,处理器120(例如,事件检测单元211)可以分配事件。在此操作中,处理器120可以计算事件信息(例如,与事件发生时的时间有关的信息和与对象中的变化量有关的信息)。

在操作607中,处理器120(例如,图3的图像分析单元210)可以确定当前验证的帧是否是最后一帧。如果当前验证的帧不是最后一帧,则处理器120可以分支到操作601以再次从操作601执行操作。如果当前验证的帧是最后一帧,则在操作609中,处理器120(例如,图3的评分单元212)可以对分配的事件执行评分。如果先前状态是在图像捕获期间,则处理器120可以确定图像捕获是否结束,并且可以根据图像捕获的结束来确定当前验证的帧是否是视频的最后一帧。处理器120可以对具有高变化量的事件分配相对高的分数,或者可以分配与变化量级别相匹配的分数。结合分配所匹配的分数,图1的电子装置100可以存储和管理分数分配表,所述分数分配表限定要针对变化量级别而分配的分数。分数分配表的分数值可以根据用户输入或设置而变化。

在操作611中,处理器120(例如,评分单元212)可以基于所分配的分数来检测满足指定条件的至少一个事件。例如,处理器120可以检测指定级别或更多的变化量是连续的事件,并且可以基于检测的事件来检测间隔信息(例如,具有连续恒定间隔的事件的开始信息、事件的结束信息和分数值)。

在操作613中,处理器120(例如,图3的慢动作生成单元230)可以基于检测的事件生成慢动作。处理器120可以将相对高的采样率分配给分数值相对高的事件。处理器120可以将相对低的采样率分配给分数值相对低的事件,或者可以分配对应于一般视频回放速度的采样率(例如,由电子装置100的视频播放器支持的采样率)。可选地,如果分配了绝对分数值,则处理器120可以分配采样率,该采样率被分配给分数。电子装置100可以存储和管理映射表,在映射表中,绝对分数值和采样率彼此映射。存储在映射表中的采样率的绝对分数值可以根据用户输入或设置而改变。

根据各种实施方式,电子装置100可以包括双相机。在包括具有双相机的电子装置100的情况中,处理器120可使用在利用第一相机以一般速度(例如,每秒30帧)执行图像捕获时获得的帧中的至少一部分(例如,1至20帧或10帧)来检测图像变化量。如果基于检测的图像变化量而发生具有指定级别或更多变化量的事件,则处理器120可以激活第二相机以捕获高速视频。如果在捕获高速视频时释放具有指定级别或更多变化量的事件的发生,则处理器120可以停止基于第二相机捕获高速视频。当捕获高速视频时,处理器120可以使用通过第二相机所获得的帧中的至少一部分来确定停止还是维持具有指定级别或更多图像变化量的事件。可选地,处理器120可以同时操作第一相机和第二相机,并且可以在第二相机捕获高速视频时基于第一相机所获得的帧中的至少一部分来检测事件。如果图像捕获结束,则处理器120可以对所获得的事件执行评分,并且可以为指定级别或更多图像变化量是连续的事件选择慢动作间隔。如果选择了慢动作间隔,则处理器120可以基于根据第二相机获得的图像来生成慢动作间隔图像。

根据各种实施方式,提供了一种用于提供视频内容的方法。用于提供视频内容的方法可包括:使用来自以每秒第一数量的帧捕获的高速视频中的每秒第一数量的帧中的一部分来检测图像变化量;检测具有满足条件的图像变化量的间隔;以及针对所述间隔通过将第一数量的帧划分成少于第一数量的帧的第二数量的帧或对第一数量的帧中的至少一部分帧进行采样来生成回放时间被延长的慢动作间隔。

根据实施方式,图像变化量的检测可以包括检测包括在帧中的对象、跟踪所检测到的对象以及基于对象的跟踪来确定是否发生了一定级别或更多的变化量。

根据实施方式,间隔的检测可包括根据图像变化量的级别来分配分数以及检测具有满足条件的分数的间隔。

图7是示出根据本公开实施方式的视频评分的图。

图1的处理器120可根据关于图1的存储器130中存储的视频或正被捕获的视频的图像变化量来处理数据。根据各种实施方式,处理器120可以基于先前帧与当前帧之间或多个指定帧之间的图像变化量来产生第一数据a1。处理器120可以通过根据指定方案处理第一数据a1来产生第二数据a2(例如,所生成的第一数据a1之间的平均数据)。处理器120可以基于第一数据a1和第二数据a2中的至少一个、或者通过对第一数据a1和第二数据a2应用指定的算法或指定的计算方案来计算指示事件的至少一个第三数据间隔a3。

参考所示的图,处理器120可针对输入的帧产生第一数据a1,第一数据a1指示先前帧与输入帧之间的变化量。处理器120可以产生第二数据a2,在第二数据a2中,针对第一数据a1计算了间隔平均值。如果产生第二数据a2,则处理器120可以基于第一数据a1和第二数据a2提取用于计算慢动作候选间隔的事件(例如,第三数据间隔a3)。在此方面,处理器120可以产生指示事件的第三数据间隔a3。

根据实施方式,处理器120可以使用第一数据a1中的第二数据a2的高值来计算第三数据间隔a3。处理器120可将第三数据间隔a3之中满足指定条件的数据间隔确定为慢动作间隔。例如,处理器120可将五个第三数据间隔a3之中选择包括在指定的较靠前的百分比(例如,前20%)中的两个第三数据间隔选为慢动作间隔711和712。可选地,处理器120可将五个第三数据间隔a3之中指定数量的第三数据间隔(例如,两个第三数据间隔)选为慢动作间隔711和712所选择的慢动作间隔711和712可根据用户设置而改变。例如,如果处理器120配置成根据用户输入选择三个慢动作间隔,则它可以在五个第三数据间隔a3中选择三个慢动作间隔。

图8a是示出根据本公开实施方式的多个对象中的变化量的跟踪的图。

参考图8a,图1的电子装置100的相机180能够以高速捕获包括多个对象801至803的主题,并且可以将以高速捕获的视频传输到图1的处理器120。图1的显示器160可以输出从相机180传输的预览图像(例如,配置有从以高速捕获的视频中采样的帧的图像)。处理器120可以分析预览图像并且可以检测包括在预览图像中的至少一个对象。在所示的附图中,实施方式被示例为指定级别或更大级别的三个对象801至803被定位。处理器120可以提供屏幕,使得用户选择包括在预览图像中的对象,并且可以根据用户输入确定用于执行运动分析或跟踪的对象。

如果检测到对象801至对象803,则处理器120可以跟踪所检测到的对象801至对象803。在此操作中,处理器120可以向对象801至803中的每个分配识别信息,并且可以基于所分配的识别信息跟踪对象801至803中的每个的运动或移动。在所示的附图中,实施方式被例示为对象在不同方向上行进并且处理器120跟踪对象。根据各种实施方式,尽管多个对象在相同的方向上移动,但是处理器120可以跟踪对象中的每个。处理器120可以采集并存储对象801至对象803中的每个的运动或移动变化量的值。

图8b是示出根据本公开实施方式的为多个对象提供视频内容的过程的图。

参考图8b,如参考图8a所描述的,图1的电子装置100可以存储和管理跟踪多个对象中的每个的运动变化量的信息。在此操作中,电子装置100的处理器120可以对每个对象的运动变化量进行分类,并且可以对每个对象的具有指定级别或更多运动或移动变化量的帧进行分类和存储。例如,处理器120可以分类和存储:对应于间隔811的帧,其中第一对象801的运动或移动的变化量大于或等于图810上的恒定级别;对应于间隔821的帧,其中第二对象802的运动或移动的变化量大于或等于图820上的恒定级别;以及对应于间隔831的帧,其中第三对象803的运动或移动的变化量大于图830上的恒定级别。

结合对上述帧的分类和存储,处理器120可以输出用于选择对象的屏幕,并且可以提取这样的间隔,在该间隔中,由用户选择的对象的运动或移动变化量大于或等于指定级别。处理器120可以在指定级别或更多的间隔中提取恒定数量的间隔,并且可以基于所提取的间隔生成慢动作。在此操作中,处理器120可以分配间隔的分数,并且可以响应于所分配的分数的级别来确定采样率(例如,延长回放间隔的长度)(例如,当设置1/4倍速时,将每秒240帧的间隔回放成4秒间隔;并且当设置1/8倍速时,将每秒240帧回放成8秒间隔)。当将每秒240帧的一秒间隔回放成4秒间隔时,处理器120可以提取240帧中的120帧(每秒回放30帧),并且能够以30帧的间隔划分120帧,从而以4秒来回放120帧。当每秒回放20帧时,处理器120可以提取240帧中的80帧,并且可能以20帧的间隔划分所提取的80帧。根据图像捕获条件或用户输入,240帧可以改变为480帧、1280帧等。

针对所示出的附图,如果第一对象801大于第三对象803的运动或移动变化量,则处理器120可将为第一对象801的间隔811生成的慢动作的采样率分配为高于第三对象803的间隔831的慢动作的采样率。因此,可将第一对象801中的每秒回放时间的延长长度实施成比第三对象803中的每秒回放时间的延长长度长。处理器120可分别存储针对对象801至对象803中的每个检测的间隔的帧,并且可以在发生用户输入时基于所存储的间隔帧而输出慢动作图像。

图9a是示出根据本公开实施方式的与慢动作相关的初始屏幕的示例的视图。

图9b是示出根据本公开实施方式的用于提供多个慢动作的屏幕的示例的视图。

图9c是示出根据本公开实施方式的用于编辑多个慢动作的过程的视图。

参考图9a,在捕获到高速视频之后,如果发生用于选择应用慢动作间隔的视频内容的用户输入信号,则如图9a所示,图1的电子装置100的显示器160可以输出与视频内容相关的初始屏幕。在这方面,电子装置100的处理器120可以输出与包括慢动作间隔的至少一个视频内容对应的项目(例如,缩略图)。如果生成用于选择项目的输入信号(例如,触摸输入),则处理器120可以输出与对应于所选择项目的视频内容相关的初始屏幕。与视频内容相关的初始屏幕可以是例如与包括在视频内容中的帧中的第一帧或指定位置的帧对应的屏幕。

另外地或可选地,显示器160可以在与当前正显示的视频内容相关的屏幕上显示与编辑慢动作间隔相关的至少一个图标或菜单对象909。如果生成用于选择菜单对象909的输入信号,则如图9b所示,处理器120可以输出与编辑慢动作间隔相关的屏幕。根据各种实施方式,在显示与视频内容相关的屏幕的状态下,如果生成用于触摸屏幕的输入信号,则如图9b所示,处理器120可以输出用于编辑慢动作间隔的屏幕。

参考图9b,显示器160可以输出与回放视频内容相关的回放对象908;以及回放条910,与视频内容的指定点对应的连续帧区域定位在所述回放条910中。可选地,包括在回放条910中的帧区域可以对应于包括在视频内容中的特定回放位置的帧。如果发生用于选择特定帧区域的输入(例如,触摸输入),则处理器120可以输出对应于所选择帧区域的屏幕。

根据实施方式,回放条910可以包括指示视频内容的当前回放位置的回放指示对象907和至少一个慢动作间隔引导对象901至903。回放指示对象907可以指示与在显示器160的当前屏幕上显示的帧对应的位置。因此,如果回放指示对象907的位置改变,则与经改变的位置对应的帧可以显示在显示器160的屏幕上。慢动作间隔引导对象901至903中的每个可包括例如包括帧区域中的至少一部分的箱形。在所示的附图中,实施方式被示例为回放条910包括指示两个慢动作间隔的引导对象901至903,所述引导对象901至903中的每个具有箱形。例如,如上所述,在执行事件分配和评分之后,处理器120可以自动生成慢动作间隔,并且可在回放条910上显示与所生成的慢动作间隔对应的引导对象901至903。

处理器120可以接收用于操作引导对象901至903的输入信号(例如,用于触摸引导对象的恒定点并移动回放条910上的触摸位置的触摸拖动(例如,从一侧移动到另一侧))。如图9c所示,处理器120可响应于接收到的输入信号来调整引导对象的大小。

参考图9c,处理器120可响应于于调整第一引导对象901的大小对应的用户输入(例如,触摸拖动)在回放条903上输出第三引导对象903。第三引导对象903可以指示慢动作间隔比先前的第一引导对象901相对减小更多的状态。根据各种实施方式,如果发生用于延长第一引导对象901的用户输入,则可以延长第一引导对象901。如上所述,处理器120可响应于引导对象的改变来延长或减小慢动作间隔。根据实施方式,当延长引导对象时,处理器120可以使用存储在图1的存储器130中的高速视频来执行采样或帧划分,(例如,以每秒240帧的速度捕获的图像),并且可以响应于引导对象的延长来延长慢动作间隔。可选地,当减小引导对象时,处理器120可以调整高速视频的采样或帧划分,并且可以再次生成与减小的引导对象间隔对应的慢动作。可选地,处理器120可以改变与引导对象的减小的大小对应的回放时间。

根据实施方式,如果引导对象配置成覆盖一个帧区域,则处理器120可以生成慢动作间隔以用8秒回放一帧(例如,以30帧的间隔用8秒回放每秒240帧)。可选地,如果引导对象配置成覆盖两个帧区域,则处理器120可以生成慢动作间隔用8秒回放两帧(或用16秒回放两帧)。可选地,如果引导对象配置成包括1帧和1/2帧,则处理器120可以执行帧划分以用8秒回放一帧间隔,并且可生成用于以4秒回放一半区域包括在引导对象中的帧区域的慢动作间隔。可选地,处理器120可以生成每秒240帧的120帧作为四秒慢动作间隔,并且可以通过对另外120帧中的30帧进行采样(或提取30帧,例如,通过每4帧提取1帧来生成30帧)来将另外120帧中的30帧处理成一般回放间隔。因此,处理器120可响应于包括1帧和1/2帧区域的引导对象生成12秒的慢动作间隔。

如上所述,各种实施方式可自动提供与以高速捕获的视频的有意义的间隔相关的慢动作,并且可以据用户输入来编辑慢动作间隔。

图10是示出根据本公开实施方式的网络环境中的电子装置的配置的框图1000。

参考图10,在各种实施方式中,电子装置1001和第一外部电子装置1002、第二外部电子装置1004或服务器1006可通过网络1062或局域通信1064彼此连接。电子装置1001可包括总线1010、处理器1020、存储器1030、输入和输出接口1050、显示器1060以及通信接口1070。在各种实施方式中,所述组件中的至少一个可以从电子装置1001中省略,或者在电子装置1001中还可包括其他组件。

总线1010可以是例如将组件1020至1070彼此连接并在组件之间传输通信信号(例如,控制消息和/或数据)的电路。

处理器1020可包括cpu、ap或通信处理器(cp)中的一个或多个。例如,处理器1020可以执行与电子装置1001的组件中的至少另一组件的控制和/或通信有关的计算或数据处理。

存储器1030可以包括易失性和/或非易失性存储器。存储器1030可以存储例如与电子装置1001的组件中的至少另一组件相关的命令或数据。根据实施方式,存储器1030可以存储软件和/或程序1040。程序1040可包括例如内核1041、中间件1043、应用编程接口(api)1045和/或至少一个应用程序1047(或“至少一个应用”)等。内核1041、中间件1043或api1045的至少一部分可称为操作系统(os)。

内核1041可以控制或管理用于执行在其他程序(例如中间件1043、api1045或应用程序1047)中实现的操作或功能的系统资源(例如,总线1010、处理器1020或存储器1030等)。此外,在中间件1043、api1045或应用程序1047访问电子装置1001的单独组件时,内核1041可以提供可控制或管理系统资源的接口。

中间件1043可以起到例如媒介的作用,使得api1045或应用程序1047与内核1041通信以传递数据。

此外,中间件1043可以按照优先级次序来处理从应用程序1047接收的一个或多个工作请求。例如,中间件1043可将可使用电子装置1001的系统资源(总线1010、处理器1020或存储器1030等)的优先级分配给至少一个应用程序1047中的至少一个。例如,中间件1043可通过按照分配给至少一个应用程序1047中的至少一个的优先级次序处理一个或多个工作请求来对一个或多个工作请求执行调度或负载平衡。

api1045可以是例如应用程序1047控制从内核1041或中间件1043提供的功能的接口。例如,api1045可包括用于文件控制、窗口控制、图像处理或文本控制等的至少一个接口或功能(例如命令)。

输入和输出接口1050可以起到例如可将从用户或另一外部装置输入的命令或数据传输到电子装置1001的另一组件(或其他组件)的接口的作用。此外,输入和输出接口1050可向用户或另一外部装置输出从电子装置1001的另一组件(或其他组件)接收到的指令或数据。

显示器1060可包括例如液晶显示器(lcd)、发光二极管(led)显示器、有机led(oled)显示器、微机电系统(mems)显示器或电子纸显示器。显示器1060可向用户显示例如各种内容(例如,文本、图像、视频、图标或符号等)。显示器1060可包括触摸屏,并且可以使用电子笔或用户的身体部位接收例如触摸输入、手势输入、接输入近或悬停输入。

通信接口1070可以建立例如电子装置1001与外部装置(例如,第一外部电子装置1002、第二外部电子装置1004、或服务器1006)之间的通信。例如,通信接口1070可以通过无线通信或有线通信连接到网络1062,并且可以与外部装置(例如,第二外部电子装置1004或服务器1006)进行通信。

例如,无线通信可以使用以下各项中的至少之一作为蜂窝通信协议:长期演进(lte)、lte高级(lte-a)、码分多址(cdma)、宽频带cdma(wcdma)、通用移动电信系统(umts)、无线宽带(wibro)或全球移动通信系统(gsm)等。此外,无线通信可以包括例如局域通信1064。局域通信1064可以包括例如以下各项中的至少之一:无线保真(wi-fi)通信、蓝牙(bt)通信、近场通信(nfc)或全球导航卫星系统(gnss)等。

mst模块可使用电磁信号来基于传输数据生成脉冲,并且可以基于脉冲生成磁场信号。电子装置1001可以将磁场信号输出到销售点(pos)系统。pos系统可以通过使用mst读取器检测磁场信号并将检测到的磁场信号转换成电信号来恢复数据。

gnss根据可用区域或带宽可包括例如以下各项中的至少之一:全球定位系统(gps)、格洛纳斯、北斗导航卫星系统(以下称为“北斗”)或伽利略(即,基于欧洲全球卫星的导航系统)等。在下文中,本文所使用的“gps”可以与“gnss”互换。有线通信可以包括例如以下各项中的至少之一:通用串行总线(usb)通信、高分辨率多媒体接口(hdmi)通信、推荐标准232(rs-232)通信或普通老式电话服务(pots)通信等。网络1062可包括例如计算机网络(例如,局域网(lan)或广域网(wan))、互联网和电话网络中的至少一个的电信网络。

第一外部电子装置1002和第二外部电子装置1004中的每个可以是与电子装置1001相同或不同的装置。根据实施方式,服务器1006可包括一个或多个服务器的组。根据各种实施方式,在电子装置1001中执行的所有或一部分操作可以在另一个电子装置或多个电子装置(例如,第一外部电子装置1002、第二外部电子装置1004或服务器1006)中执行。根据实施方式,如果电子装置1001应当自动或根据请求执行任何功能或服务,则其可以请求另一装置(例如,第一外部电子装置1002、第二外部电子装置1004或服务器1006)执行所述功能或服务的至少一部分,而不是本身执行所述功能或服务或者执行除了所述功能或服务之外的功能或服务。另一电子装置(例如,第一外部电子装置1002、第二外部电子装置1004或服务器1006)可执行所请求的功能或附加功能,并且可以将执行的结果传输到电子装置1001。电子装置1001可在没有改变的情况下或另外地处理接收到的结果,并且可以提供所请求的功能或服务。为此,例如,可以使用云计算技术、分布式计算技术或客户端-服务器计算技术。

图11是示出根据本公开实施方式的电子装置的配置的框图。

参考图11,电子装置1101可包括例如图10所示的电子装置1001的全部或部分。电子装置1101可以包括一个或多个处理器1110(例如,ap)、通信模块1120、用户识别模块(sim)1129、存储器1130、安全模块1136、传感器模块1140、输入装置1150、显示器1160、接口1170、音频模块1180、相机模块1191、电源管理模块1195、电池1196、指示器1197和电机1198。

处理器1110可以驱动例如os或应用程序,以控制与其连接的多个硬件或软件组件,并且可以处理并计算各种数据。处理器1110可以用例如片上系统(soc)来实现。根据实施方式,处理器1110可以包括gpu(未示出)和/或图像信号处理器(未示出)。处理器1110可以包括图11所示的组件的至少一部分(例如,蜂窝模块1121)。处理器1110可以将从其他组件(例如,非易失性存储器)中的至少一个接收到的命令或数据加载到易失性存储器中,以处理数据并且可以将各种数据存储在非易失性存储器中。

通信模块1120可以具有与图10的通信接口1070相同或类似的配置。通信模块1120可以包括例如蜂窝模块1121、wi-fi模块1122、bt模块1123、gnss模块1124(例如,gps模块、格洛纳斯模块、北斗模块或伽利略模块)、nfc模块1125、mst模块1126以及射频(rf)模块1127。

蜂窝模块1121可以通过通信网络提供例如语音呼叫服务、视频呼叫服务、文本消息服务或互联网服务等。根据实施方式,蜂窝模块1121可以使用sim1129(例如,sim卡)识别并认证在通信网络中的电子装置1101。根据实施方式,蜂窝模块1121可以执行可由处理器1110提供的功能的至少一部分。根据实施方式,蜂窝模块1121可以包括cp。

wi-fi模块1122、bt模块1123、gnss模块1124、nfc模块1125或mst模块1126可以包括例如用于处理通过对应模块传输和接收的数据的处理器。根据各种实施方式,蜂窝模块1121、wi-fi模块1122、bt模块1123、gnss模块1124、nfc模块1125或mst模块1126中的至少一些(例如,两个或更多个)可包括在一个集成芯片(ic)或一个ic封装中。

rf模块1127可传输和接收例如通信信号(例如,rf信号)。尽管未示出,但是rf模块1127可以包括例如收发器、功率放大器模块(pam)、频率滤波器或低噪声放大器(lna)或天线等。根据另一实施方式,蜂窝模块1121、wi-fi模块1122、bt模块1123、gnss模块1124、nfc模块1125或mst模块1126中的至少之一可通过单独的rf模块传输和接收rf信号。

sim1129可以包括例如包括sim和/或嵌入式sim的卡。sim1129可以包括唯一标识信息(例如,集成电路卡标识符(iccid))或用户信息(例如,国际移动用户标识(imsi))。

存储器1130(例如,图10的存储器1030)可以包括例如嵌入式存储器1132或外部存储器1134。嵌入式存储器1132可包括例如易失性存储器(例如,动态随机存取存储器(dram)、静态ram(sram)、同步动态ram(sdram)等)和非易失性存储器(例如,一次性可编程只读存储器(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩模rom、闪存rom、闪存(例如,nand闪存或nor闪存等)、硬盘驱动器或固态驱动器(ssd))中的至少之一。

外部存储器1134可以包括闪存驱动器,例如紧凑式闪存(cf)、安全数字(sd)、微型sd、迷你sd、极限数字(xd)、多媒体卡(mmc)、或记忆棒等。外部存储器1134可通过各种接口与电子装置1101可操作地和/或物理地连接。

安全模块1136可以是比存储器1130具有相对更高的安全级别的模块,并且可以是存储安全数据且保证受保护的执行环境的电路。安全模块1136可以用单独的电路来实现,并且可包括单独的处理器。安全模块1136可包括例如存在于可移除智能芯片或可移除sd卡中或者嵌入在电子装置1101的固定芯片中的嵌入式安全元件(ese)。此外,安全模块1136可以由与电子装置1101的os不同的os驱动。例如,安全模块1136可以基于java卡开放平台(jcop)os来操作。

传感器模块1140可以测量例如物理量或者可检测电子装置1101的操作状态,并且可将测量或检测到的信息转换成电信号。传感器模块1140可包括例如以下各项中的至少之一:手势传感器1140a、陀螺传感器1140b、气压计传感器1140c(例如,大气压力传感器)、磁传感器1140d、加速度传感器1140e、夹持传感器1140f、接近传感器1140g、颜色传感器1140h(例如,红色、绿色、蓝色(rgb)传感器)、生物计量传感器1140i、温度/湿度传感器1140j、照度传感器1140k(例如,照明度传感器)或紫外线(uv)传感器1140m。另外地或可选地,传感器模块1140还可以包括例如电子鼻传感器(未示出)、肌电图(emg)传感器(未示出)、脑电图(eeg)传感器(未示出)、心电图(ecg)传感器(未示出)、红外(ir)传感器(未示出)、虹膜传感器(未示出)和/或指纹传感器(未示出)等。传感器模块1140还可包括用于控制包括在其中的至少一个或多个传感器的控制电路。根据各种实施方式,电子装置1101还可以包括配置成控制传感器模块1140的、作为处理器1110的一部分或独立于处理器1110的处理器。当处理器1110处于睡眠状态时,电子装置1101可以控制传感器模块1140。

输入装置1150可包括例如触摸面板1152、(数字)笔传感器1154、键盘1156、或超声输入装置1158。触摸面板1152可以使用例如电容型、电阻型、红外型或超声波型中的至少一种。此外,触摸面板1152还可以包括控制电路。触摸面板1152还可以包括触觉层,并且可以向用户提供触觉反应。

(数字)笔传感器1154可以是例如触摸面板1152的一部分,或者可包括用于识别的单独片材。键盘1156可以包括例如物理按钮、光学键或小键盘。超声输入装置1158可以允许电子装置1101使用麦克风(例如,麦克风1188)检测声波,并且通过产生超声波信号的输入工具验证数据。

显示器1160(例如,图10的显示器1060)可以包括面板1162、全息装置1164或投影仪1166。面板1162可以包括与显示器160或1060相同或类似的配置。面板1162可实现为例如是柔性的、透明的或可穿戴的。面板1162和触摸面板1152可以集成到一个模块中。全息装置1164可以使用光的干涉在空间中显示立体图像。投影仪1166可以将光投影到屏幕上以显示图像。屏幕可以位于例如电子装置1101内部或外部。根据实施方式,显示器1160还可以包括用于控制面板1162、全息装置1164或投影仪1166的控制电路。

接口1170可以包括例如hdmi1172、usb1174、光学接口1176或d超小型1178。接口1170可以包括在例如图10所示的通信接口1070中。另外地或可选地,接口1170可以包括例如移动高清链接(mhl)接口、sd卡/mmc卡接口或红外数据关联(irda)标准接口。

音频模块1180可以在双向上转换声音和电信号。音频模块1180的组件的至少一部分可以包括在例如图10所示的输入和输出接口1050(或用户接口)中。音频模块1180可以处理通过例如扬声器1182、接收器1184、耳机1186或麦克风1188输入或输出的声音信息等。

相机模块1191可以是捕获静止图像和运动图像的装置。根据实施方式,相机模块1191可以包括一个或多个图像传感器(未示出)(例如,前传感器或后传感器)、镜头(未示出)、图像信号处理器(isp)(未示出)、或闪光灯(未示出)(例如,led或氙气灯)。

电源管理模块1195可以管理例如电子装置1101的电源。根据实施方式,尽管未示出,但是电源管理模块1195可以包括电源管理集成电路(pmic)、充电器ic或电池或电量计。pmic可以具有有线充电方法和/或无线充电方法。无线充电方法可以包括例如磁共振法、磁感应法或电磁法等。可以进一步提供用于无线充电的其它电路,例如线圈环、谐振电路或整流器等。例如,当电池1196被充电时,电池量表可以测量例如电池1196的剩余容量及其电压、电流或温度。电池1196可以包括例如可再充电电池或太阳能电池。

指示器1197可以显示电子装置1101或其一部分(例如,其处理器1110)的特定状态,例如启动状态、消息状态或充电状态等。马达1198可以将电信号转换成机械振动并且可以产生振动或触觉效果等。尽管未示出,但电子装置1101可以包括用于支持移动tv的处理单元(例如,gpu)。用于支持移动电视的处理单元可以根据诸如数字多媒体广播(dmb)标准、数字视频广播(dvb)标准或mediaflotm标准的标准等来处理媒体数据。

根据本公开的各种实施方式的电子装置的上述元件中的每个可配置有一个或多个组件,并且可以根据电子装置的类型来改变对应元件的名称。根据本公开的各种实施方式的电子装置可以包括上述元件中的至少一个,一些元件可以从电子装置中省略,或者其他附加元件可以进一步包括在电子装置中。此外,根据本公开的各种实施方式的电子装置的元件中的一些可彼此组合以形成一个实体,从而能够以与组合之前相同的方式执行相应元件的功能。

图12是示出根据本公开的实施方式的程序模块的配置的框图。

根据实施方式,程序模块1210(例如,图10的程序1040)可以包括用于控制与电子装置(例如,图10的电子装置1001)相关的资源的os和/或在os上执行的各种应用(例如,图10的应用程序1047)。os可以是例如android、ios、windows、symbian、tizen或bada等。

程序模块1210可包括内核1220、中间件1230、api1260和/或应用1270。程序模块1210的至少一部分可以预先加载到电子装置上,或者可以从外部电子装置(例如,图10的第一外部电子装置1002、第二外部电子装置1004或服务器1006等)下载。

例如,内核1220(例如,图10的内核1041)可包括系统资源管理器1221和/或装置驱动器1223。系统资源管理器1221可对系统资源进行控制、分配或采集等。根据实施方式,系统资源管理器1221可包括进程管理单元、存储器管理单元、文件系统管理单元等。装置驱动器1223可包括:例如显示器驱动器、相机驱动器、bt驱动器、共享存储器驱动器、usb驱动器、小键盘驱动器、wi-fi驱动器、音频驱动器、或进程间通信(ipc)驱动器。

例如,中间件1230(例如,图10的中间件1043)可提供应用1270共同需要的功能,或可通过api1260向应用1270提供各种功能,使得应用1270有效地使用电子装置中有限的系统资源。根据实施方式,中间件1230(例如,中间件1043)可包括以下中的至少之一:运行时间库1235、应用管理器1241、窗口管理器1242、多媒体管理器1243、资源管理器1244、电源管理器1245、数据库管理器1246、包管理器1247、连接管理器1248、通知管理器1249、位置管理器1250、图形管理器1251、安全管理器1252或支付管理器1254。

运行时间库1235可包括例如由编译器使用以在执行应用1270时通过编程语言添加新功能的库模块。运行时间库1235可以执行与输入和输出管理、存储器管理或算术功能有关的功能。

应用管理器1241可管理例如应用1270中的至少一个的生命周期。窗口管理器1242可以管理在电子装置的屏幕上使用的图形用户界面(gui)资源。多媒体管理器1243可以确定用于再现各种媒体文件的格式,并且可以使用对应于相应格式的编解码器对媒体文件进行编码或解码。资源管理器1244可以管理应用1270中的至少一个的源代码,并且可以管理存储器或存储空间的资源等。

电源管理器1245可以与例如基本输入/输出系统(bios)等一起操作,可以管理电池或电源,并且可以提供用于电子装置的操作的电力信息。数据库管理器1246可以生成、搜索或更改待在应用1270中的至少一个中使用的数据库。包管理器1247可以管理通过包文件的类型而分布的应用的安装或更新。

连接管理器1248可以管理例如诸如wi-fi连接或bt连接等的无线连接。通知管理器1249可以通过不打扰用户的方法来显示或通知事件,诸如到达消息、约定和接近通知。位置管理器1250可以管理电子装置的位置信息。图形管理器1251可以管理待提供给用户的图形效果或与图形效果相关的用户界面(ui)。安全管理器1252可以提供用于系统安全或用户认证等的所有安全功能。根据实施方式,当电子装置(例如,图1或图10的电子装置100或1001)具有电话功能时,中间件1230还可以包括用于管理电子装置的语音或视频通信功能的电话管理器(未示出)。

中间件1230可包括配置上述组件的各种功能的组合的中间件模块。中间件1230可以提供根据os的种类而专门化的模块以提供差异化的功能。此外,中间件1230可以动态地删除一些旧的组件或可以添加新的组件。

api1260(例如,图10的api1045)可以是例如api编程功能的集合,并且可以根据os而设置有不同的组件。例如,在android或ios的情况下,可以根据平台提供一个api集合。在tizen的情况下,可根据平台提供两个或更多个api集合。

应用1270(例如,图10的应用程序1047)可包括例如以下各项中的一个或多个:主页应用1271、拨号器应用1272、短消息服务/多媒体消息服务(sms/mms)应用1273、即时消息(im)应用1274、浏览器应用1275、相机应用1276、警报应用1277、联系人应用1278、语音拨号应用1279、电子邮件应用1280、日历应用1281、媒体播放器应用1282、相册应用1283、时钟应用1284、支付应用1285、医疗保健应用(例如,用于测量运动量或血糖等的应用)或环境信息应用程序(例如,用于提供大气压力信息、湿度信息或温度信息等的应用)等。

根据实施方式,应用1270可包括用于在电子装置(例如,图10的电子装置1001)与外部电子装置(例如,第一外部电子装置1002或第二外部电子装置1004)之间交换信息的应用(以下为了更好地理解和易于描述,称为“信息交换应用”)。信息交换应用可包括例如用于将特定信息传输到外部电子装置的通知中继应用、或用于管理外部电子装置的装置管理应用。

例如,通知中继应用可以包括将由电子装置的其他应用(例如,sms/mms应用、电子邮件应用、医疗保健应用或环境信息应用等)生成的通知信息传输到外部电子装置(例如,第一外部电子装置1002或第二外部电子装置1004)的功能。此外,通知中继应用可例如从外部电子装置接收通知信息,并且可以向电子装置的用户提供接收到的通知信息。

装置管理应用可管理(例如,安装、删除或更新)例如与电子装置通信的外部电子装置(例如,第一外部电子装置1002或第二外部电子装置1004)的功能中的至少一个(例如,打开/关闭外部电子装置本身(或部分组件)的功能或调整显示器的亮度(或分辨率)的功能)、在外部电子装置中运行的应用或从外部电子装置提供的服务(例如,呼叫服务或消息服务)。

根据实施方式,应用1270可包括根据外部电子装置(例如,第一外部电子装置1002或第二外部电子装置1004)的属性预设的应用(例如,移动医疗装置的健康卡应用)。根据实施方式,应用1270可以包括从外部电子装置(例如,服务器1006、或第一外部电子装置1002或第二外部电子装置1004)接收的应用程序。根据实施方式,应用1270可包括预加载应用或可从服务器下载的第三方应用。根据本公开各种实施方式的程序模块1210的组件的名称可以根据os的种类而不同。

根据各种实施方式,程序模块1210的至少一部分可以用软件、固件、硬件或其至少两个或更多个组合来实现。程序模块1210的至少一部分可以由例如处理器(例如,图10的处理器1020)来实现(例如,执行)。程序模块1210的至少一部分可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集或进程等。

本文所使用的术语“模块”可以意指例如包括硬件、软件和固件之一或其两个或更多个组合的单元。术语“模块”可以与例如术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”等互换使用。“模块”可以是集成组件的最小单元或其一部分。“模块”可以是执行一个或多个功能或其一部分的最小单元。“模块”可以机械地或电子地实现。例如,“模块”可以包括用于执行某些操作的专用集成电路(asic)芯片、现场可编程门阵列(fpga)或公知的或将在未来进行开发的可编程逻辑器件中的至少一个。

根据本公开的各种实施方式,可以利用例如存储在计算机可读存储介质中的具有程序模块的指令来实现装置(例如,模块或功能)或方法(例如,操作)的至少一部分。当指令由处理器执行时,一个或多个处理器可以执行对应于指令的功能。计算机可读存储介质可以是例如存储器。

在附图中描述和示出的本公开的实施方式作为示例来提供以描述技术内容并帮助理解,但不限制本公开。因此,应当理解,除了本文列出的实施方式之外,基于本公开的技术思想导出的所有修改或修改形式都包括在如权利要求及其等同中所限定的本公开中。

本公开的上述实施方式可以用硬件、固件或经由可被存储在诸如光盘rom(cdrom)、dvd、磁带、ram、软盘、硬盘或磁光盘的记录介质中的软件或计算机代码或最初存储在远程记录介质或非暂时性机器可读介质上通过网络下载并且存储在本地记录介质上的计算机代码的执行来实现,使得本文描述的方法可使用通用计算机或专门处理器通过存储在记录介质上的此类软件来实现或者以诸如asic或fpga的可编程或专用硬件来实现。如本领域所理解的那样,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储器组件,例如ram、rom、闪存等,并且当所述软件或计算机代码由计算机访问和执行时,处理器或硬件实现本文描述的处理方法。

控制单元可以包括微处理器或任何合适类型的处理电路,诸如一个或多个通用处理器(例如,基于arm的处理器)、数字信号处理器(dsp)、可编程逻辑器件(pld)、asic、fpga、gpu、视频卡控制器等。此外,应当认识到,当通用计算机访问用于实现本文所示的处理的代码时,代码的执行将通用计算机转换成用于执行本文所示的处理的专用计算机。附图中提供的任何功能和步骤可以用硬件、软件或两者的组合来实现,并且可以在计算机的编程指令内整体或部分地执行。此外,技术人员理解并赞同“处理器”或“微处理器”可以是所要求保护的公开中的硬件。

虽然已参照本发明的各种实施方式示出并描述了本发明,但是本领域技术人员将理解,在不脱离如由所附权利要求及其等同限定的本发明的精神和范围的情况下,可以在本发明中做出形式和细节上的各种改变。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1