电子设备和用于在电子设备中捕捉图像的方法与流程

文档序号:15062364发布日期:2018-07-31 22:05阅读:199来源:国知局

本公开总体上涉及电子设备和用于在电子设备中捕捉图像的方法。



背景技术:

最近,电子设备正在提供更多样化的服务和附加功能。正在开发在电子设备上可执行的各种应用,以满足不同用户的需求并提高电子设备的效用。

相机应用可以允许用户使用她的电子设备的相机来进行自拍或拍摄背景图片。电子设备可以包括用于捕捉图像的相机模块。相机模块通常可以包括用于收集光的透镜、用于将收集的光转换为电信号的光电二极管、以及用于将作为模拟信号的电信号转换为数字电信号的模数转换器(adc)。将来自多个光电二极管的电信号转换为数字电信号并输出该数字电信号的相机模块的处理可以被称为“读出”。

电子设备可以以低速或高速来捕捉图像。低速图像捕捉可以意味着根据以每秒帧数(fps)表示的捕捉速度来捕捉图像以描绘比正常移动更快的对象。高速图像捕捉可以意味着捕捉图像以描绘比正常移动更慢的对象。

对于高速图像捕捉,常规的电子设备以预设的捕捉速度(例如,120fps至240fps)通过相机模块来捕捉整体视频,并且在重放视频时,仅选择要以慢动作描绘的部分。

然而,增加用于捕捉快速移动对象的捕捉速度可以导致高速捕捉无关紧要的部分,造成视频体积庞大,并造成相机模块的下游处理过载,导致功耗增加。

用于高速捕捉的相机模块中的每个外部输出线所需的每秒比特(bps)为1000fps时的6gbps,且视频的原始体积为2.6gb。这样,以高速捕捉的视频的增加的体积可能延迟对帧数据的存储和处理。



技术实现要素:

因此,本公开的一个方案提供了一种电子设备和用于通过该电子设备来捕捉视频的方法,其允许在进行视频捕捉时仅在需要高速捕捉的特定时间时才执行高速捕捉。

根据本公开的一个方案,电子设备包括图像捕捉设备和与图像捕捉设备电连接的处理器,其中,处理器被配置为:使用图像捕捉设备在第一时段期间以第一捕捉速度来获得视频的第一部分;当基于分析所获得的第一部分的结果将第二捕捉速度设置为捕捉视频的速度时,控制第一通知,以指示以设置的第二捕捉速度来获得视频的第二部分;以及使用图像捕捉设备在第一时段之后的第二时段期间以第二捕捉速度来获得第二部分。

根据本公开的另一方案,一种用于在电子设备中捕捉图像的方法包括:使用电子设备的图像捕捉设备在第一时段期间以第一捕捉速度来获得视频的第一部分;当基于分析所获得的第一部分的结果将第二捕捉速度设置为捕捉视频的速度时,控制第一通知以指示以所设置的第二捕捉速度来获得视频的第二部分;以及使用图像捕捉设备在第一时段之后的第二时段期间以第二捕捉速度来获得第二部分。

附图说明

根据结合附图给出的以下详细描述,将更清楚本公开的上述和其它方案、特征和优点,在附图中:

图1是示出了根据本公开实施例的网络环境的视图;

图2是示出了根据本公开实施例的用于图像捕捉的电子设备的配置的框图;

图3是示出了根据本公开实施例的电子设备的配置的视图;

图4是示出了根据本公开实施例的电子设备的操作的流程图;

图5是示出了根据本公开实施例的电子设备的通知功能的视图;

图6是示出了根据本公开实施例的电子设备的操作的流程图;

图7是示出了根据本公开实施例的由电子设备进行的图像捕捉的屏幕的视图;

图8a和图8b是示出了根据本公开实施例的在电子设备中改变捕捉速度的视图;

图9是示出了根据本公开实施例的电子设备中的捕捉速度的改变的视图;

图10是示出了根据本公开实施例的电子设备中的捕捉速度的改变的视图;

图11是示出了根据本公开实施例的电子设备的框图;以及

图12是示出了根据本公开实施例的程序模块的框图。

具体实施方式

下文中将参考附图描述本公开的实施例。然而应该理解的是,并不旨在将本公开局限于本文所公开的特定形式;相反,本公开旨在被解释为涵盖本公开的实施例的各种修改、等同物和/或备选。在对附图的描述中,相似的附图标记可以用于表示相似的元素。

将理解,除非上下文另行明确说明,否则单数形式“一”、“一个”和“该”包括复数引用。如本文中使用的,术语“a或b”或“a和/或b中的至少一项”可以包括a和b的所有可能组合。

术语“第一”和“第二”可以修饰各种组件,而与重要性和/或顺序无关,并且被用于在不限制组件的情况下将组件与另一组件区分开来。当一元素(例如,第一元素)被称为操作地或者通信地“耦接至”或者“连接至”另一元素(例如,第二元素)时,该元素可以直接耦接或连接至该另一元素,或者可以经由又一元素(例如,第三元素)耦接或连接至该另一元素。

如本文所用,在硬件或软件方面,术语“被配置为”可以与诸如“适合于”、“能够”、“被修改为”、“被制造为”、“适于”、“能够”或“被设计为”的其它术语互换使用。术语“被配置为”可以意指设备与另一设备或其部件一起执行操作。例如,表述“被配置(或设置)为执行a、b和c的处理器”可以意指通过执行存储设备中存储的一个或多个软件程序来执行操作的通用处理器(例如,中央处理单元(cpu)或应用处理器(ap))、或者用于执行操作的专用处理器(例如,嵌入式处理器)。

电子设备可以包括以下至少一项:智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器、台式pc、膝上型计算机、上网本计算机、工作站、服务器、个人数字助手(pda)、便携式多媒体播放器(pmp)、mp3播放器、医疗设备、相机或可穿戴设备。可穿戴设备可以包括以下至少一项:饰品式设备(例如,手表、戒指、手链、脚链、项链、眼镜、隐形眼镜或头戴式设备(hmd))、衣料或服饰集成设备(例如,电子服饰)、身体附着型设备(例如,皮肤贴或纹身)、或身体植入式设备。智能家用电器的示例可以包括以下至少一项:电视、数字多功能盘(dvd)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、干衣机、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、tv盒(例如,samsunghomesynctm、appletvtm或googletvtm)、游戏机(例如,xboxtm、playstationtm)、电子词典、电子钥匙、便携式摄像机或电子相框。

电子设备可以包括以下至少一项:各种医疗设备(例如,多功能便携式医疗测量设备(血糖测量设备、心跳测量设备或体温测量设备)、磁谐振血管造影(mra)设备、磁谐振成像(mri)设备、计算机断层扫描(ct)设备、成像设备或超声设备)、导航设备、全球导航卫星系统(gnss)接收器、事件数据记录仪(edr)、飞行数据记录仪(fdr)、汽车信息娱乐设备、航海电子设备(例如,航海导航设备或陀螺罗盘)、飞行电子设备、安保设备、车头单元、工业或家庭机器人、无人机、自动柜员机(atm)、销售点(pos)设备或物联网(iot)设备(例如,灯泡、各种传感器、洒水器、火警、恒温调节器、街灯、烤面包机、健身器材、热水箱、加热器或烧水壶)。

电子设备可以是以下至少一项:一件家具的一部分、建筑物/结构或车辆、电子板、电子签名接收设备、投影仪或各种测量设备(例如,用于测量水、电、燃气或电磁波的设备)。电子设备可以是柔性的,或者可以是上述电子设备的组合。电子设备不限于上述实施例。如本文使用的,术语“用户”可以表示使用电子设备的人或另一设备(例如,人工智能电子设备)。

参考图1,电子设备101被包括在网络环境100中。电子设备101包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信接口170。在一些实施例中,电子设备101可以不包括组件中的至少一个,或者可以添加另一组件。总线110可以包括用于将组件110至170相互连接并在组件之间传输通信(例如,控制消息或数据)的电路。处理模块120可以包括cpu、ap或通信处理器(cp)中的一个或多个。处理器120可以控制电子设备101的其它组件中的至少一个组件,或者执行与通信相关的操作或数据处理。

存储器130可以包括易失性和/或非易失性存储器。存储器130可以存储与电子设备101的至少一个其它组件相关的命令或数据。

存储器130可以存储软件和/或程序140。程序140可以包括内核141、中间件143、应用编程接口(api)145和/或应用程序(或应用)147。内核141、中间件143或api145中的至少一部分可以表示操作系统(os)。内核141可以控制或管理用于执行在其它程序(例如,中间件143、api145或应用147)中实现的操作或功能的系统资源(例如,总线二110、处理器120或存储器130)。内核141可以提供允许中间件143、api145或应用147访问电子设备101的各个组件以控制或管理系统资源的接口。

中间件143可以作为中继器,以允许api145或应用147与内核141传输数据。中间件143可以按照优先级顺序来处理从应用147接收到的一个或多个任务请求。例如,中间件143可以向至少一个应用147指派使用电子设备101的系统资源(例如,总线110、处理器120或存储器130)的优先级,并且处理一个或多个任务请求。api145是允许应用147控制由内核141或中间件143提供的功能的接口。例如,api145可以包括用于归档控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如,命令)。输入/输出接口150可以向电子设备101的其它组件传输从用户或其它外部设备输入的命令或数据,或可以向用户或其它外部设备输出从电子设备101的其它组件接收的命令或数据。

显示器160可以包括液晶显示器(lcd)、发光二极管(led)显示器、有机发光二极管(oled)显示器、微机电系统(mems)显示器或电子纸显示器。显示器160可以向用户显示各种内容(例如,文本、图像、视频、图标或符号)。显示器160可以包括触摸屏,并且可以接收使用电子笔或用户的身体部位进行的触摸、手势、接近或悬停输入。通信接口170可以在电子设备101和外部电子设备(例如,第一电子设备102、第二电子设备104或服务器106)之间建立通信。通信接口170可以通过无线或有线通信与网络162连接,以与外部电子设备(例如,第一电子设备102、第二外部电子设备104或服务器106)进行通信。

无线通信可以包括使用以下至少一项的蜂窝通信:长期演进(lte)、lte-高级(lte-a)、码分多址(cdma)、宽带码分多址(wcdma)、通用移动电信系统(umts)、无线宽带(wibro)或全球移动通信系统(gsm)。无线通信还可以包括以下至少一项:无线保真(wi-fi)、蓝牙、蓝牙低能耗(ble)、zigbee、近场通信(nfc)、磁安全传输(mst)、射频或体域网(ban)。无线通信可以包括全球导航卫星系统(gnss),例如全球定位系统(gps)、全球导航卫星系统(glonass)、北斗导航卫星系统(北斗)或galileo、或欧洲全球卫星导航系统。在下文中,术语“gps”和“gnss”可以互换使用。有线通信可以包括以下至少一项:通用串行总线(usb)、高清多媒体接口(hdmi)、推荐标准(rs)-232、电源线通信(plc)或普通老式电话服务(pots)。网络162可以包括以下至少一项:计算机网络(例如,局域网(lan)或广域网(wan))、互联网或电话网络。

第一外部电子设备102和第二外部电子设备104各自可以是与电子设备101相同或不同类型的设备。在电子设备101上执行的全部或一些操作可以在另一或多个其它电子设备102和104、或服务器106上执行。当电子设备101自动或者根据请求执行某个功能或服务时,电子设备101可以请求另一设备执行与其相关联的至少一些功能,而不是自己执行该功能或服务。其它电子设备可以执行所请求的功能或附加功能,并且可以向电子设备101传输执行结果。电子设备101可以通过按原样或附加地处理接收的结果来提供所请求的功能或服务。为此,可以使用云计算、分布式计算或客户端-服务器计算技术。

图2是示出了根据本公开实施例的电子设备的配置的框图。

参考图2,电子设备200(与图1的电子设备101相同或相似)包括处理器210、图像捕捉设备220、显示器230、输入设备240、输出设备250和存储器260。

处理器210可以根据电子设备的操作来处理信息,或者可以根据程序、应用或功能的执行来处理信息。

处理器210可以根据视频捕捉请求来控制图像捕捉设备220捕捉视频。当捕捉开始时,处理器210可以控制图像捕捉设备220以预设的第一捕捉速度(例如,60fps)来捕捉视频。当以第一捕捉速度来捕捉视频时,处理器210可以对以第一捕捉速度获得的视频的第一部分执行图像分析,并且基于图像分析的结果以捕捉速度已经改变成的第二捕捉速度来获得视频的第二部分。

处理器210可以通过对视频的第一部分执行图像分析来检测来自用于视频捕捉的传感器的以在改变为第二捕捉速度之前的第一捕捉速度输出的数据(即,视频的第一部分)中包括的至少一个对象,并且基于所检测到的对象的运动的变化来识别是否需要改变为用于高速捕捉的第二捕捉速度。例如,处理器210可以通过在第一时段期间跟踪从图像捕捉设备220输出的帧数据来识别从与第一部分相对应的多个图像中检测到的至少一个对象的运动的变化。可以使用图像分析算法(例如,对象检测、对象分类和对象跟踪算法)来识别对象的运动的变化。图像分析算法可以识别当前接收的帧与对象的运动路径中的先前帧有多相似,并且当识别到相同的对象时,算法可以继续跟踪之后接收到的帧中的对象。根据本公开的实施例,除了使用算法之外,还可以通过其它各种方法来跟踪和分析对象。

处理器210可以在视频捕捉已经开始之后跟踪从图像捕捉设备220输出的帧中识别出的移动对象长达预定时间(第一时段),可以识别与所检测的对象有关的运动信息(例如,运动速度、位置、颜色、形状或纹理中的至少一项),并且可以基于所识别的运动信息来识别对象的运动的变化。

处理器210可以基于在由用户设置的帧的特定区域中的对象的运动来自动地改变为用于高速捕捉的捕捉速度。例如,当处理器210向图像捕捉设备220发送用于改变捕捉速度的控制信号时,可以在图像捕捉设备220中自动触发高速捕捉。可以使用自动对焦和对象检测来自动设置特定区域。

特定区域可以被设置为在用于通过触摸屏输入的触摸区域(位置)上显示的图像的一部分。例如,当用户触摸在触摸屏上显示的特定区域时,响应于接收到触摸信号,可以根据显示的图像来识别由用户选择的对象的运动。通过比较到目前为止显示的视频的帧,可以通过对象的运动的变化来识别对象的运动。在识别出对象的运动路径(例如,像素间距离)变化为高于预设路径阈值时,处理器可以向图像捕捉设备发送控制信号,以自动地改变到第二捕捉速度以进行高速捕捉。处理器210可以输出通知信息以指示高速捕捉。

处理器210可以基于获得的第一部分的图像的像素值的变化将视频的捕捉速度设置为第二捕捉速度。例如,处理器210可以将当前获得的图像的像素值与之前获得的图像的像素值进行比较,并且基于比较的结果来识别是否需要将视频捕捉速度改变为高速捕捉速度(即,第二捕捉速度)。例如,处理器210可以将第一部分的第一图像和第二图像划分成具有特定像素大小(例如,100x100像素)的区域,将第一图像的每个区域的像素值与第二图像的每一区域的像素值进行比较,并且识别像素值的差异是否是阈值或更大。作为比较的结果,在识别出存在预定数目的具有多个像素值的、其中像素值的差异是阈值或更大的区域时或者这样的区域彼此相邻定位时,处理器210可以识别出捕捉视频的周围环境的变化或对象的变化较大(即,需要高速捕捉)。

处理器210可以基于所获得的视频的第一部分的分析结果来预先识别出可能发生需要高速捕捉的事件。为了以高速捕捉视频,处理器210可以预先设置在事件实际发生之前用于切换到高速捕捉的第一时间和指示其切换到了高速捕捉的第二时间。这里,第二时间可以与第一时间、第一时间之前的预定时间或第一时间之后的预定时间相同。第一时间可以是基于图像分析自动设置的时间,或者是响应于用户请求手动设置的时间。可以手动或自动执行对捕捉速度的改变。根据本公开的实施例,第二时间被设置为第一时间之后的预定时间的情况可以是手动(即,由用户请求)执行对捕捉速度的改变的情况。在这种情况下,当接收到用户输入(例如,按钮触摸输入)时,处理器210可以将当前时间设置为第一时间,并且立即向图像捕捉设备220发送用以改变捕捉速度的控制信号。处理器210可以将发送控制信号的时间或之后的预定时间设置为第二时间,并且处理器210可以在发送了控制信号之后在第二时间时输出通知信息来指示捕捉速度的改变。这里,可以通过用户的选择来设置预定时间。例如,可以将通知信息输出长达预设时间,或者在执行高速图像捕捉时连续输出。

在输出通知信息以向用户通知在第二时间时切换到高速图像捕捉之后,处理器210可以向图像捕捉设备220发送控制信号,以在第一确定时间时改变捕捉速度。当图像捕捉设备220从处理器210接收到控制信号时,读出电路可以向像素阵列发送控制信号,以将读出像素阵列的像素信号的速度改变为第二捕捉速度(例如,1000fps)。这里,读出速度可以与从图像捕捉设备220(例如,图像传感器的输出接口)向外部电路(即,处理器210)输出帧的速度相同或不同。根据本公开的实施例,处理器210可以控制图像捕捉设备220进行高速捕捉长达预设时间(例如,2秒)。

处理器210可以基于以下至少一项来确定第二时间:图像捕捉设备220的存储器的状态、图像捕捉设备220的输出速度、或通过图像捕捉设备220的输出线(pin)输出的控制信号。

在识别出需要高速捕捉时,处理器210可以立即自动执行高速捕捉。由于处理器210可以从用户接收高速捕捉的请求,因此处理器210可以将用于预测高速捕捉的时间设置为第二时间。处理器210可以向图像捕捉设备发送控制信号,以在第一时间时改变为用以高速捕捉的第二捕捉速度。第二时间可以与第一时间、第一时间之前的预定时间或第一时间之后的预定时间相同。

处理器210可以包括在第一时间之前的预定时间的获得的第一部分的部分以及在以第二捕捉速度获得的视频的第二部分中的在用于终止第二捕捉速度的第三时间之后的预定时间获得的视频的第三部分的部分,并且产生视频的高速捕捉部分。在播放视频时,处理器210可以播放所产生的视频的高速捕捉部分。

处理器210可以使用音频模块、振动模块、显示器或发光输出设备(例如,相机闪光灯或led)250中的至少一个来输出通知信息以指示捕捉速度的改变。通知信息可以被输出为光、声音、振动或者显示器230上的视觉效果中的至少一项。处理器210可以预先将用于高速捕捉的第一时间和第二时间设置为缺省。

在图像捕捉设备220正在捕捉视频时,处理器210可以控制输出设备250向用户通知捕捉速度改变或者被计划(schedule)改变为第二捕捉速度。

根据本公开的实施例,处理器210可以输出用于预测高速捕捉的第一通知信息以及用于以不同的形式指示高速捕捉开始的第二通知信息。当确定的第二时间到达时,处理器210可以在显示器上将用于预测高速捕捉的第一通知信息显示为视觉效果。当所确定的第一时间到达时,处理器210可以向图像捕捉设备发送用以改变捕捉速度的控制信号,同时打开相机灯以发出用于指示高速捕捉的开始的第二通知信息的光。

当响应于通知信息的输出从用户接收到用于手动地(例如,针对相机模块的显示触摸输入或按钮输入)改变捕捉速度的请求时,处理器210可以立即或在预测时间时向图像捕捉设备220发送用于改变为第二捕捉速度的控制信号。

处理器210可以向图像捕捉设备220仅发送用于控制从第一捕捉速度到第二捕捉速度的改变的信号,并且当通过图像捕捉设备220改变视频的捕捉速度时,处理器210可以从图像捕捉设备220接收关于捕捉速度的改变的信息。处理器210可以基于从图像捕捉设备220接收的与捕捉速度的改变有关的信息,来输出通知信息以指示捕捉速度的改变。这里,图像捕捉设备220可以基于通过图像分析从捕捉的视频的第一部分检测到的对象的运动的变化来识别出事件是需要高速捕捉的事件,自动地改变为第二捕捉速度,并向处理器210发送与捕捉速度的改变有关的信息以指示视频的捕捉速度已经改变。

根据本公开的实施例,以将捕捉速度从第一捕捉速度改变为第二捕捉速度来以第二捕捉速度获得视频的第二部分的相同或相似方式,处理器210可以将捕捉速度从第二捕捉速度改变回第一捕捉速度,以在第三时段期间以第一捕捉速度来获得视频的第三部分。例如,当完全获得第二部分时,处理器210可以控制图像捕捉设备220以从第二捕捉速度改变为第一捕捉速度,执行第二通知以指示以第一捕捉速度来获得视频的第三部分,并使用图像捕捉设备在第二时段之后的第三时段期间以第一捕捉速度来获得第三部分。当经过了用于以第二捕捉速度来捕捉视频的预设时间时,处理器210可以识别出完成了获得第二部分,或者当处理器210在改变为第二捕捉速度时基于图像分析的结果而识别出改变到第一捕捉速度时,处理器210可以识别出完成了获得第二部分。

可以是硬件模块或者软件模块(例如,应用程序)的处理器210可以是包括以下至少一项在内的硬件组件(功能)或者软件组件(程序):各种传感器、数据测量模块、输入/输出接口、用于管理电子设备的状态或环境的模块、或电子设备中包括的通信模块。

根据本公开的实施例,可以是图1的输入/输出接口150的一部分、应用147的一部分或可以是图2的电子设备的图像捕捉设备220可以捕捉外部视图并且向处理器210输出结果。输出结果可以由处理器210处理并且显示在显示器230上或存储在存储器260中。

图像捕捉设备220可以包括:包括像素以及将所接收的光转换成模拟电信号的光电二极管在内的像素阵列、读出电路、输入/输出接口、和用于暂时存储来自读出电路的输出的存储器。读出电路可以包括:模数转换器(adc),其将模拟电信号转换为数字电信号并且输出该数字电信号;以及解码电路,用于扫描多个像素。

图像捕捉设备220还可以包括:用于控制像素阵列、读出电路、存储器和输入/输出接口的控制电路;以及分析和处理所捕捉的视频的帧的图像处理电路。图像捕捉设备220可以分别通过控制电路和图像处理电路来执行处理器210的一些功能(例如,改变视频的输出速度、和/或分析所捕捉的视频的一部分(例如,第一部分或第二部分))。

图像捕捉设备220可以在第一时段期间以第一捕捉速度来捕捉视频的同时将捕捉速度改变为高速,以第二捕捉速度来捕捉视频长达设置的第二时段,然后以第一捕捉速度来捕捉视频。

图像捕捉设备220可以以第一捕捉速度从像素读出像素值。第一捕捉速度(例如,60fps)的单位可以是以下时间的倒数:读出电路从像素阵列中的所有像素接收与一帧相对应的模拟电信号并且将所接收的模拟电信号转换成数字电信号。例如,在读出电路接收模拟电信号并将模拟电信号转换成数字电信号占用1/120秒的情况下,读出的第一速度可以是120fps。读出电路输出与一帧相对应的数字信号的周期的倒数可以代表捕捉速度。如上所述,图像捕捉设备220的读出电路可以包括以相对高的速度执行转换的adc或以相对高的速度从像素接收电信号的解码电路。因此,第一速度可以是相对高的速度。

根据实施例,电子设备的存储器260可以暂时存储在程序运行时生成的各种数据以及功能操作所需的程序。存储器260可以包括程序区域和数据区域。程序区域可以存储用于驱动电子设备的相关信息,例如用于启动电子设备的os。数据区域可以存储根据本公开实施例来传输和生成的数据。存储器260可以包括以下至少一种存储介质:闪存、硬盘、多媒体卡、微型存储器(例如,安全数字(sd)或极限数字(xd)存储器)、随机存取存储器(ram)或只读存储器(rom)。根据本公开的实施例,存储器260可以存储从图像捕捉设备220接收的帧数据。

电子设备的输入设备240可以向处理器210传输各种信息,比如由用户输入的号码和字符信息、与由电子设备设置各种功能和控制功能相关地输入的信号。输入设备240可以支持用于运行支持特定功能的应用或模块的用户输入。输入设备240可以包括以下至少一项:按键输入装置(比如,键盘或键区)、触摸输入装置(比如,触摸传感器或触摸板)、声源输入装置或各种传感器。输入设备240可以包括手势输入装置。此外,输入设备240可以包括当前正在开发或将来将要开发的所有类型的输入装置。输入设备240可以从用户接收由用户通过显示器的触摸面板或各种输入接口输入的信息,并且可以向处理器210传输所接收的信息。此外,输入设备240可以通过声音输入装置(例如,麦克风)从用户接收与要向另一个电子设备发送的数据相关的输入信号,并且向处理器210传输所接收到的输入信号。

电子设备200的输出设备250可以包括显示器230或者被配置为与显示器230分离。输出设备250可以包括音频模块或灯。在处理器210的控制下,音频模块可以根据通知信息的发生来输出音频信号,以预测或指示视频捕捉速度的改变,并且灯可以在第二时间时发出用于通知信息的光。音频模块可以输出声音来作为音频信号,并且可以包括音频编解码器、麦克风(mic)、听筒、耳机输出(ear_l)或扬声器中的至少一个。

电子设备200还可以包括用于输出振动的装置或用于输出气味的装置。用于输出振动的装置或用于输出气味的装置可以根据通知信息的发生来分别输出振动和气味,以预测或指示视频捕捉速度的改变。

在处理器210的控制下,电子设备的显示器230可以输出与运行操作的结果(例如,文本、图像或视频中的至少一项)有关的信息。显示器230可以以各种方式在屏幕上显示用于在输入窗口上输入各种数字、字符或符号中的至少一项的输入区(例如,按钮)。显示器230可以根据与信息通信相关的各种应用的执行来显示运行服务的屏幕。此外,当显示器230以触摸屏的形式实现时,显示器230可以与输入设备240的触摸屏相对应。当以触摸屏的形式与输入设备240一起实现时,显示器230可以显示根据用户的触摸操作而产生的各种信息。

根据本公开的实施例,当回放视频时,显示器230可以显示使用图像捕捉设备220捕捉的视频中包括的图像。在视频捕捉速度需要改变的情况下,显示器230可以显示通知以预测或指示视频捕捉速度的改变,以便显示视觉效果。

电子设备的显示器230可以包括以下至少一项或多项:lcd、薄膜晶体管lcd(tft-lcd)、oled显示器、led显示器、有源矩阵oled(amoled)显示器、柔性显示器和三维(3d)显示器。一些显示器可以被配置成透明类型或者透光类型,从而允许通过其观看外部。这可以被配置成包括透明oled(toled)显示器在内的透明显示器的形式。

除了显示器230之外,电子设备200还可以包括另一显示单元(例如,扩展的显示单元或柔性显示单元)或与电子设备200互相作用的外部电子设备(例如,可穿戴设备或外部终端设备中的至少一个)的显示单元。根据本公开的实施例,图2所示的组件不是必需的组件,并且电子设备200可以被实现有比所示组件更多或更少的组件。上面结合图2描述的主要组件的位置可以根据本公开的各种实施例而变化。

图3是示出了根据本公开实施例的电子设备的配置的视图。

参考图3,根据本公开的实施例,电子设备300(其与图2的图像捕捉设备220相同或相似)可以捕捉外部视图并且向外部电路(例如,处理器120或处理器210)输出所捕捉的图像。输出图像可以由外部电路处理并显示在显示器160上或者存储在外部存储器130中。

电子设备300可以是包括相机镜头和图像传感器在内的图像捕捉设备或相机模块。电子设备300可以表示图像传感二器本身。电子设备300可以包括:像素阵列310,包括用于将接收到的光转换成模拟电信号的光电二极管;以及读出电路320,包括用于将模拟电像素信号转换成数字电像素信号并且输出数字电像素信号的adc以及用于扫描多个像素的解码电路。电子设备300可以包括存储器330,存储器330暂时存储从adc或解码电路输出的像素信号,然后向下游部件输出该像素信号。电子设备300可以包括对从读出电路320或存储器330输出的数字电像素信号进行图像处理的图像处理电路340。电子设备300可以包括输入/输出接口350,输入/输出接口350向外部电路输出与从图像处理电路340输出的一帧相对应的经图像处理的帧数据,并且向控制电路360传输来自外部电路的信号。

电子设备300可以包括控制电路360,控制电路360控制像素阵列310、读出电路320、存储器330、图像处理电路340或输入/输出接口350中的至少一个。电子设备300可以包括能够存储在控制电路360和输入/输出接口350之间发送/接收的数据(即,与控制和输入/输出相关的信息)的寄存器370。寄存器370可以存储指示第一捕捉速度和第二捕捉速度的信息。

当访问外部电路(例如,图2的处理器210)时,在控制电路360的控制下,寄存器370可以向外部电路读出指示所存储的第一捕捉速度和第二捕捉速度的信息。根据本公开的实施例,电子设备300可以基于在第一时段期间以第一捕捉速度获得的视频的第一部分以及对第一部分中包含的图像的分析结果,将视频捕捉速度设置为第二捕捉速度。电子设备300可以在第一时段之后的第二时段期间以第二捕捉速度来获得第二部分。换句话说,电子设备300可以在第一时段期间以第一捕捉速度来捕捉第一视频的同时将捕捉速度改变为高速,在第二时段期间以第二捕捉速度(即,高速)来捕捉视频,将捕捉速度改变回第一捕捉速度,然后捕捉视频。

根据本公开的实施例,当将视频捕捉速度设置为第二捕捉速度时,电子设备300可以向外部电路发送控制信号,指示由外部电路通过输出设备以设置的第二捕捉速度来获得视频的第二部分。电子设备300可以向外部电路发送控制信号,以指示将捕捉速度从第二捕捉速度改变回第一捕捉速度并且通过输出设备在第三时段期间获得视频的第三部分。响应于控制信号,外部电路可以生成通知信息,并且通过输出设备来输出所生成的通知信息。

电子设备300可以以第一捕捉速度从像素读出像素值。第一捕捉速度可以是诸如60fps之类的单位,该单位可以是如下时间的倒数,在该时间期间:读出电路320从像素阵列310中的每个像素接收与一帧相对应的模拟电信号,并且将所接收到的模拟电信号转换成数字电信号。例如,在读出电路320接收模拟电信号并将模拟电信号转换成数字电信号占用1/60秒的情况下,读出的第一速度可以是60fps。读出电路输出与一帧相对应的数字电信号的周期的倒数可以表示第一捕捉速度。

像素阵列310可以包括多个像素(例如,以二维排列的多个像素和光电二极管)。像素阵列310可以输出与在控制电路360的控制下捕捉的视频的帧相对应的模拟信号。在从控制电路360接收到控制信号以改变正被捕捉的视频的捕捉速度时,像素阵列310可以以改变的捕捉速度(例如,第二捕捉速度)来输出与该帧相对应的模拟信号。

读出电路320可以从像素阵列310接收模拟电信号,并且可以顺序地或者同时地从像素阵列310中包括的多个像素接收模拟电信号。例如,读出电路320可以从第一像素接收模拟电信号,从第二像素接收模拟电信号,然后从第三像素接收模拟电信号。读出电路320可以同时从第一像素和第二像素接收模拟电信号,然后读出电路320可以同时从第三像素和第四像素接收模拟电信号。在同时从像素阵列310的第一行像素接收模拟电信号之后,读出电路320可以同时从下一个(第二行像素)接收模拟电信号,并且读出电路320可以顺序地接收模拟电信号直到像素阵列310的最后一行。

读出电路320可以包括能够从多个像素中的每一个像素接收模拟电信号的电路(例如,开关设备)。读出电路320还可以包括将模拟电信号转换成数字电信号并输出该数字电信号的adc。根据本公开的实施例,读出电路320可以包括多个adc。

读出电路320中包括的解码电路可以包括能够确定要被读出的行的行解码器和能够确定要被读出的列的列解码器。要被读出的行和列可以由行解码器和列解码器来确定,并且因此可以确定要被读出的像素。可以在行解码器和像素阵列310之间设置多个开关,并且可以将与被确定为要被读出的行相对应的开关控制在导通状态。可以在列解码器、adc电路和像素阵列310之间设置多个开关,并且可以将与被确定为要被读出的行相对应的开关控制在导通状态。同时,列解码器和adc电路可以包括多个adc,在这种情况下,列解码器和adc电路可以将在实质相同的时间段内来自多个像素的模拟电信号并行转换为数字电信号。因此,与包括一个adc时相比,可以以相对高的速度执行读出。

存储器330可以在向外部电路(例如,总线110、处理器120或存储器130)输出与一帧相对应的帧数据之前,暂时存储从读出电路320输出的数字电像素信号。可以以根据用于帧数据的输入/输出接口所设置的输出速度来输出存储器330中存储的帧数据。当还包括存储器330时,电子设备300可以将读出速度和电子设备300的输出速度设置为彼此不同。因此,尽管以相对高的速度执行读出,但是可以满足所需的输出速度或其它各种类型的接口要求。

图像处理电路340可以改变从存储器330输出的数字电像素信号的格式并且对该信号执行颜色校准。

图像处理电路340可以包括用于分析与从存储器330输出的数字电像素信号相对应的帧的图像分析模块。图像分析模块可以被配置在与图像处理电路340分离的图像传感器中。在视频捕捉开始之后,图像处理电路340可以基于第一帧输出来检测要用于切换到高速捕捉的对象,根据下一帧输出来跟踪至少一个对象,并且识别检测到对象的运动的变化。例如,图像处理电路340可以将先前输出的帧与当前正在输出的帧进行比较,识别对象区域的像素值的变化,并且识别对象的运动的变化。图像处理电路340可以向控制电路360传送识别对象的运动的变化的结果。根据本公开的实施例,图像处理电路340可以基于识别对象的运动的变化的结果,来确定是否在以第一捕捉速度捕捉视频之后立即以第二捕捉速度执行高速捕捉(即,是否需要高速捕捉),并且图像处理电路340可以向控制电路360传送确定结果。控制电路360可以基于识别对象的运动的变化的结果来确定是否需要高速捕捉,并且设置第二捕捉速度。除了被配置在图像传感器(即,电子设备300)内部,图像处理电路340还可以被分离地配置在图像传感器的下游。

输入/输出接口350可以基于根据有线或无线通信标准的接口与外部电路进行数据通信。输入/输出接口350可以基于设置的输出速度向外部电路发送从图像处理电路340或存储器330输出的帧数据。由外部电路访问的输入/输出接口350可以发送寄存器370中存储的第一捕捉速度信息和第二捕捉速度信息。或者,输入/输出接口350可以向输出图像文件(例如,用于发送帧数据的消息)发送与第一捕捉速度和第二捕捉速度相关的信息。此外,当发生特定事件(例如,指示捕捉速度需要改变的事件)时,输入/输出接口350可以向外部电路发送用于指示捕捉速度已经改变的识别信息和/或与第一捕捉速度和第二捕捉速度有关的信息,并且可以发送与指示通过输出pin输出通知信息的控制信息相对应的控制信号。

控制电路360(例如,处理器120或210)可以控制像素阵列310、读出电路320、存储器330、图像处理电路340、输出接口350和/或寄存器370。

控制电路360可以控制输入/输出接口350向外部电路输出与以第一捕捉速度输出的数字像素信号相对应的帧数据,以捕捉来自读出电路310的视频。

在高速捕捉之前,控制电路360可以基于识别从图像处理电路340接收的对象的运动的变化的结果,来确定是否在以第一捕捉速度捕捉视频之后立即需要以第二捕捉速度进行高速捕捉。根据本公开的实施例,控制电路360可以从图像处理电路350接收与确定结果有关的信息。控制电路360可以基于与从图像处理电路350接收到的确定结果有关的信息,设置作为图像捕捉切换成高速捕捉时的时间(即,第一捕捉速度改变为第二捕捉速度的时间)的第一时间以及作为用于指示切换到高速捕捉的时间的第二时间。控制电路360可以将设置的第一时间和第二时间存储在寄存器370中。当第一时间到达时,控制电路360可以向像素阵列310发送控制信号,以按寄存器370中存储的第二捕获速度来输出帧对应模拟信号。

根据本公开的实施例,可以根据由图像处理电路340分析的对象的运动将捕捉速度改变为第二捕捉速度,并且可以将与该改变有关的信息存储在寄存器370中。寄存器370中存储的与第二捕捉速度有关的信息可以通过输入/输出接口350由外部电路(例如,处理器210)识别。在接收到与第二捕捉速度有关的信息时,外部电路可以使用输出设备或显示设备以第二捕捉速度来获得视频的第二部分。视频的第二部分(即,输出通知信息)可以指示视频捕捉速度已经改变为第二捕捉速度。控制电路360可以在通过输入/输出接口350向外部电路输出帧数据之前、之后或同时,向外部电路发送用于通知信息的控制信号。

控制电路360可以在由定时器设置的时间时/之前,预先确定第二时间,并且控制电路360可以向外部电路发送控制信号以在第二时间时输出通知信息。因此,外部电路可以在第二时间时输出通知信息以指示将立即以各种形式执行高速捕捉。

控制电路360可以控制像素阵列310在第一时间时将第一捕捉速度改变为第二捕捉速度,并且执行控制以在第二时间时向外部电路输出通知信息以指示改变为第二捕捉速度。这里,第一时间表示用于在以第一捕捉速度捕捉视频时改变为用于高速捕捉的第二捕捉速度的时间,并且第二时间表示用于指示改变成第二捕捉速度的时间。第二时间可以是第一时间之前或之后的预设时间,或者可以与第一时间相同。可以从外部电路输出作为光、声音、振动、气味或视觉显示效果中的至少一项的通知信息。当所确定的第二时间到达时,控制电路360可以向外部电路输出用于预测高速捕捉的第一通知信息。当所确定的第一时间到达时,控制电路360可以向图像捕捉设备发送用于改变捕捉速度的控制信号,并且向外部电路输出第二通知信息以指示高速捕捉开始。

电子设备可以包括图像捕捉设备和与图像捕捉设备电连接的处理器,其中,处理器可以被配置为:使用图像捕捉设备在第一时段期间以第一捕捉速度来获得视频的第一部分;当基于分析所获得的第一部分的结果将第二捕捉速度设置为捕捉视频的速度时,控制第一通知,以指示以设置的第二捕捉速度来获得视频的第二部分;以及使用图像捕捉设备在第一时段之后的第二时段期间以第二捕捉速度来获得第二部分。

处理器可以被配置为:基于分析获得的第一部分的结果来设置视频的第二捕捉速度,并且控制图像捕捉设备将视频的捕捉速度改变为设置的第二捕捉速度。

当完全获得第二部分时,处理器可以被配置为:控制图像捕捉设备以将捕捉速度从第二捕捉速度改变为第一捕捉速度;执行第二通知以指示以第一捕捉速度来获得视频的第三部分;并且使用图像捕捉设备在第二时段之后的第三时段期间以第一捕捉速度来获得第三部分。

处理器可以被配置为:基于对以第一捕捉速度捕捉的第一部分的分析的结果从第一部分中检测对象;识别检测到的对象的运动的变化;并且当识别出的运动的变化是预设阈值或更大时,将捕捉速度改变为第二捕捉速度并且输出用于第一通知的通知信息。

处理器可以被配置为:设置当视频的捕捉速度改变为第二捕捉速度时的第一时间和用于在第二时段之前执行第一通知的第二时间;在第二时段中的第一时间时将第一捕捉速度改变为第二捕捉速度;以及在第二时间之后以第二捕捉速度来执行第一通知。

处理器可以被配置为:输出与第一通知有关的第一通知信息以指示在第二时间时获得第二部分,并且当第一时间到达时,输出与第一通知有关的第二通知信息以指示在第二时段期间或在预设时间内连续获得第二部分。

第二部分可以包括第一部分中的在第一时间之前的预定时间获得的部分以及视频的第三部分中的在用以终止第二捕捉速度的第三时间之后的预定时间获得的部分。

图像捕捉设备可以包括:像素阵列,包括多个像素;读出电路,从多个像素中的每个像素接收模拟信号,将模拟信号转换为数字信号,并且输出数字信号;以及寄存器,暂时存储从读出电路输出的数字信号。

图像捕捉设备可以包括:控制电路,控制像素阵列输出模拟信号并且改变视频的捕捉速度;以及图像处理电路,检测以第一捕捉速度输出的第一部分中包括的对象,并且识别所检测的对象的运动的变化。

处理器可以包括控制图像捕捉设备的像素阵列改变视频的捕捉速度的控制电路,并且可以使用光、声音、振动或显示器的视觉效果中的至少一项来执行第一通知和第二通知。

处理器可以基于以下至少一项来识别视频的捕捉速度的变化:图像捕捉设备的寄存器的状态、图像捕捉设备的帧输出速度、或通过图像捕捉设备的输出线(pin)输出的控制信号。

图4是示出了根据本公开实施例的电子设备的操作的流程图。

参考图4,在步骤401中,电子设备在第一时段期间以根据捕捉视频的请求而设置的第一捕捉速度(例如,60fps)来获得视频的第一部分。

在步骤403中,电子设备分析获得的第一部分,基于分析结果设置第二捕捉速度,并且执行通知(在下文中,第一通知)以指示以设置的第二捕捉速度来获得视频的第二部分。例如,电子设备可以通过图像分析来分析在第一时段期间获得的第一部分,检测第一部分中包括的至少一个对象,并且基于检测到的对象的运动的变化来确定视频的捕捉速度是否需要改变(即,是否需要高速捕捉)。在需要高速捕捉的情况下,电子设备可以将第一捕捉速度改变为第二捕捉速度,并且通过输出设备来输出通知信息以指示改变为第二捕捉速度。由于基于对获得的第一部分的分析结果将视频的捕捉速度设置为第二捕捉速度,因此电子设备可以直接执行第一通知以指示以设置的第二捕捉速度来获得视频的第二部分,或者向外部电路发送控制信号,使得外部电路可以执行第一通知。

在步骤405中,电子设备使用图像捕捉设备在第一时段之后的第二时段期间以第二捕捉速度来获得第二部分。例如,电子设备可以在第二时段期间或者在预定时间内连续输出用于第一通知的通知信息。

在步骤407中,电子设备获得包含第一部分和第二部分在内的视频。

根据本公开的实施例,当完全获得第二部分时,电子设备可以控制图像捕捉设备以从第二捕捉速度改变为第一捕捉速度,并且执行第二通知以指示以第一捕捉速度来获得视频的第三部分。电子设备可以使用图像捕捉设备在第二时段之后的第三时段期间以第一捕捉速度来获得第三部分。

当视频捕捉结束时,电子设备可以存储在其结束之前获得的视频(例如,包括第一部分、第二部分和第三部分在内的视频),并且电子设备可以根据回放请求来播放视频。

根据本公开的实施例,在捕捉视频时获得以第一捕捉速度捕捉的视频的第一部分时,电子设备可以由于需要高速捕捉而自动将视频捕捉速度改变为第二捕捉速度,由此在获得第一部分之后通过高速捕捉来获得第二部分。因此,视频可以包括以不同速度捕捉的图像或视频(第一部分和第二部分)。电子设备可以在以设置的第一捕捉速度捕捉一个视频时,在特定的时段期间内以第二捕捉速度来执行高速捕捉。

图5是示出了根据本公开实施例的电子设备的通知功能的视图。

参考图5,电子设备可以将图像捕捉设备的像素阵列或读出电路的输出速度识别为视频捕捉速度。例如,电子设备可以在时间t3和时间t1之前或之后执行通知功能,其中,时间t3是在捕捉时间t2之后的捕捉速度被改变用于高速捕捉的时间(例如,输入队列的时间),而时间t1是当图像捕捉设备从第一输出速度(例如,30fps)改变到第二输出速度(例如,960fps)时的时间(例如,自动队列时间)。电子设备可以输出用于第一通知的通知信息,以指示在第一捕捉速度(120fps)改变为第二捕捉速度(例如,960fps)时的时间t3时的高速捕捉(即,以960fps来捕捉视频)。在另一示例中,电子设备可以在第二捕捉速度时段(即,从t3到t4)期间连续地输出用于第一通知的通知信息。电子设备可以在以第二捕捉速度进行的视频捕捉结束的时间t4时改变回第一捕捉速度(例如,120fps),以第一捕捉速度来捕捉视频。电子设备可以在时间t5时终止视频捕捉。

图6是示出了根据本公开实施例的电子设备的操作的流程图。

参考图6,在接收到第一视频捕捉的请求时,电子设备可以使用图像捕捉设备以设置的第一捕捉速度开始图像捕捉。

在步骤601中,随着视频捕捉开始,电子设备以第一捕捉速度获得视频的第一部分(例如,帧)。电子设备可以存储以第一捕捉速度获得的图像,并且输出所获得的视频的第一部分的预览。

在步骤603中,当以第一捕捉速度来获得第一部分时,电子设备识别从第一部分中检测到的至少一个对象的运动的变化。电子设备可以使用图像分析算法从第一部分中检测对象,将从图像捕捉设备输出的帧彼此比较,并且识别所检测到的对象的运动的变化。当所检测到的对象的运动的变化是预设阈值或更大时,电子设备可以确定第一视频立即需要高速捕捉。每当从图像捕捉设备输出一帧或者以预设时间间隔输出一帧时,可以执行图像分析。

在步骤605中,电子设备识别是否需要高速捕捉。当需要高速捕捉时,电子设备执行步骤607。当不需要高速捕捉时,电子设备执行步骤617。

在步骤607中,在获得第二图像之前以第一捕捉速度捕捉第一部分时,电子设备基于在步骤603中分析出的对象的运动的变化,来设置用于改变为第二捕捉速度的第一时间和用于指示改变成第二捕捉速度的第二时间。当将捕捉速度设置为要在由定时器预设的定时处改变时,电子设备可以将预设定时或者预设定时之前的时间设置为第二时间。

在步骤609中,电子设备在第一时间时将捕捉速度从第一捕捉速度改变为第二捕捉速度。根据本公开的实施例,电子设备的处理器可以向图像捕捉设备发送控制信号,以在第一时间时改变捕捉速度。电子设备可以基于以下至少一项来识别改变成第二捕捉速度:存储与帧相对应的数字信号的图像捕捉设备的存储器的状态、图像捕捉设备的输出速度、或通过图像捕捉设备的输出线(pin)输出的控制信号。电子设备可以在识别到改变成第二捕捉速度之后设置第二时间。在这种情况下,可以基于以下至少一项来设置第二时间:图像捕捉设备的输出速度或通过图像捕捉设备的输出线(pin)输出的控制信号。在电子设备预测将在短时间内执行高速捕捉并且指示捕捉速度改变的情况下,可以针对预测时间和与捕捉速度改变时间相同的时间来设置两个不同的第二时间。可以在步骤607中预先设置预测时间,并且可以在步骤609中设置与捕捉速度改变时间相同的时间。

在步骤611中,电子设备在第二时间时输出用于第一通知的通知信息,以指示改变成第二捕捉速度。

在步骤613中,当以改变后的第二捕捉速度来执行高速捕捉时,电子设备以第二捕捉速度来获得第二部分。电子设备可以存储从图像捕捉设备获得的第二部分,并且输出包括第二部分在内的预览视频。

在步骤615中,电子设备识别视频的捕捉速度是否改变回第一捕捉速度。例如,如通过设置或图像分析所识别的,在高速捕捉结束时、之前、或之后,第二捕捉速度可以改变回第一捕捉速度。当识别到第二捕捉速度改变回第一捕捉速度时,电子设备可以重复步骤601。相对地,除非识别到第二捕捉速度改变回第一捕捉速度,否则电子设备可以重复步骤613。

在步骤617中,电子设备识别视频捕捉是否已经结束。当识别到视频捕捉已经结束时,电子设备终止视频捕捉,并且当视频捕捉没有终止时,电子设备重复步骤601。

根据本公开的实施例,当在步骤615和步骤617之后第二捕捉速度改变回第一捕捉速度时,电子设备可以改变为第一捕捉速度,并且执行第二通知以指示获得视频的第三部分。

当在图6的操作中执行第一通知时,电子设备可以在第二时间之前输出用于第一通知的第一通知信息以预测高速捕捉,然后在第二时间时或之后,输出用于第一通知的第二通知信息,以指示开始高速捕捉。这里,第一通知信息和第二通知信息可以以相同或不同的方式输出。

图7是示出了根据本公开实施例的由电子设备进行的图像捕捉的屏幕的视图。

参考图7,电子设备可以基于在视频捕捉已经开始之后的首次输出的帧以第一捕捉速度来检测对象601,并且可以根据随后输出的帧来跟踪该对象的运动的变化。当对象的运动的变化是预设阈值或更大时,电子设备可以确定需要高速捕捉。根据本公开的实施例,电子设备可以检测用于自动对焦的区域(对象)目标来作为对象,并且分析所检测到的对象的运动的变化。

电子设备可以将当前输入的图像与之前输入的图像进行比较,并且在当前输入的图像的至少一部分变化超过阈值或更高时,电子设备可以识别到是高速捕捉的时间了并且执行高速捕捉。例如,在当前输入的图像的至少一部分的像素值的变化的改变超过阈值时,电子设备可以识别到是高速捕捉的时间了。

在从用户接收到用于高速捕捉的特定输入信号时,电子设备可以识别到是高速捕捉的时间了并且执行高速捕捉。

图8a和图8b是示出了根据本公开实施例的在电子设备中改变捕捉速度的视图。

当识别到需要高速捕捉的上下文时,电子设备可以确定第一时间811a和第二时间813a(如图8a所示),其中第一时间811a是捕捉速度从第一捕捉速度(例如,60fps)改变为第二捕捉速度(例如,1000fps)时的时间,而第二时间813a是通知信息指示捕捉速度的变化时的时间。电子设备可以设置高速捕捉的结束时间815a。由于第一时间811a比第二时间813a早,因此电子设备可以在识别出改变后的捕捉速度之后输出通知信息。例如,在用户输入按钮以改变捕捉速度的情况下,电子设备基于图像捕捉设备的寄存器的状态或者从图像传感器或读出电路输出的帧数据的输出速度来确定第二时间,并且电子设备可以在捕捉速度改变之后输出通知信息。

电子设备可以在作为第一时间811a之前的低速捕捉时段的第一捕捉时段801a(例如,第一时段)期间以第一捕捉速度(例如,60fps)来执行捕捉。电子设备可以在作为第一时间811a之后的高速捕捉时段的第二捕捉时段803a(例如,第二时段)期间以第二捕捉速度(例如,1000fps)来执行捕捉。电子设备可以在高速捕捉结束的时间815a之后执行低速捕捉的第三捕捉时段805a期间以第一捕捉速度(例如,60fps)来执行捕捉。在执行捕捉时接收到结束捕捉请求时,电子设备可以终止对一个视频的捕捉。

参考图8b,电子设备可以确定第一时间811b和第二时间813b,其中,第一时间811b是当捕捉速度从第一捕捉速度(例如,60fps)改变为第二捕捉速度(例如,1000fps)时的时间,并且第二时间813b是根据指示捕捉速度的变化的通知信息的时间。电子设备可以设置高速捕捉的结束时间815b。由于第一时间811b比第二时间813b晚,因此电子设备可以基于对象的运动的变化来预测需要高速捕捉,在捕捉速度改变之前预先输出通知信息。第二时间813b可以是输出第一通知信息以预测高速捕捉的时间。可以在第一时间811b时、就在之前或就在之后输出第二通知信息以指示视频捕捉将改变为高速捕捉。电子设备可以在作为第一时间811b之前的低速捕捉时段的第一捕捉时段801b期间以第一捕捉速度(例如,60fps)来执行捕捉。电子设备可以在作为第一时间811b之后的高速捕捉时段的第二捕捉时段803b期间以第二捕捉速度(例如,1000fps)来执行捕捉。电子设备可以在高速捕捉结束的时间815b之后执行低速捕捉的第三捕捉时段805b期间以第一捕捉速度(例如,60fps)来执行捕捉。

图9和图10是示出了根据本公开实施例的电子设备中的捕捉速度的改变的视图。

参考图9,当图像捕捉设备在第一捕捉时段和第三捕捉时段期间捕捉(910和930)视频时,电子设备可以执行用于预测或识别捕捉速度改变到低速捕捉状态、而不输出通知信息的操作。相对地,在图像捕捉设备在第二捕捉时段期间高速捕捉(920)视频的情况下,捕捉速度的改变被预测或识别为发生改变,并且电子设备可以在第二时间通过相机灯输出作为光921的通知信息。

参考图10,在捕捉一个视频时,电子设备可以在显示器上显示预览1010和视觉描绘(例如,图标)1011、1021、1031和1041,以将以第一捕捉速度执行的捕捉1020和1040与以第二捕捉速度执行的捕捉1030进行区分。电子设备可以通过在第二捕捉速度改变的时间时、之前或之后给予以第一捕捉速度获得第一图像时显示的图标1021不同的视觉效果,来显示用于输出通知信息的图标1031。

根据本公开的实施例,一种用于在电子设备中捕捉图像的方法可以包括:使用电子设备的图像捕捉设备在第一时段期间以第一捕捉速度来获得视频的第一部分;当基于分析所获得的第一部分的结果将第二捕捉速度设置为捕捉视频的速度时,控制第一通知以指示以所设置的第二捕捉速度来获得视频的第二部分;以及使用图像捕捉设备在第一时段之后的第二时段期间以第二捕捉速度来获得第二部分。

所述方法还可以包括:基于分析所获得的第一部分的结果来设置视频的第二捕捉速度,并且控制图像捕捉设备将视频的捕捉速度改变为设置的第二捕捉速度。

所述方法还可以包括:当完成获得第二部分时,控制图像捕捉设备将捕捉速度从第二捕捉速度改变为第一捕捉速度;执行第二通知以指示以第一捕捉速度来获得视频的第三部分;以及使用图像捕捉设备在第二时段之后的第三时段期间以第一捕捉速度来获得第三部分。

所述方法还可以包括:控制第一通知以指示以所设置的第二捕捉速度来获得视频的第二部分包括:通过对以第一捕捉速度捕捉的第一部分执行自动聚焦和图像分析,来识别通过对象检测而检测到的对象的运动的变化;以及当所识别的运动的变化是预设阈值或更大时,将捕捉速度改变为第二捕捉速度并执行第一通知。

所述方法还可以包括:控制第一通知以指示以所设置的第二捕捉速度来获得视频的第二部分包括:设置视频的捕捉速度改变为第二捕捉速度时的第一时间以及用于在第二时段之前执行第一通知的第二时间;在第二时段中的第一时间时将第一捕捉速度改变为第二捕捉速度;以及在第二时段中的第二时间之后以第二捕捉速度来执行第一通知。

所述方法还可以包括:控制第一通知以指示以所设置的第二捕捉速度来获得视频的第二部分包括:在第二时间时输出与第一通知有关的第一通知信息以指示获得第二部分;以及当第一时间到达时,输出与第一通知有关的第二通知信息,以指示在第二时段期间或者在预设时间内连续获得第二部分。

第二部分可以包括第一部分中在第一时间之前的预定时间获得的部分以及视频的第三部分中在用于终止第二捕捉速度的第三时间之后的预定时间获得的部分,并且第二部分可以是视频的高速捕捉部分。

所述方法还可以包括:基于图像捕捉设备的寄存器的状态、图像捕捉设备的帧输出速度、或通过图像捕捉设备的输出线(pin)输出的控制信号中的至少一项来识别第二捕捉速度的变化。

图11是示出了根据本公开实施例的电子设备的框图。

电子设备1101可以包括图1中的电子设备101的整体或一部分。电子设备1101包括一个或多个处理器(例如,ap)1110、通信模块1120、订户识别模块(sim)1124、存储器1130、传感器模块1140、输入设备1150、显示器1160、接口1170、音频模块1180、相机模块1191、电源管理模块1195、电池1196、指示器1197和电机1198。处理器1110可以通过运行os或应用程序来控制连接到处理器1110的多个硬件和软件组件,并且处理器1110可以处理和计算各种数据。处理器1110可以以片上系统(soc)来实现的。处理器1110还可以包括图形处理单元(gpu)和/或图像信号处理器。处理器1110可以包括图11所示的组件中的至少一些(例如,蜂窝模块1121)。处理器1110可以将从至少一个其它组件(例如,非易失性存储器)接收的命令或数据加载到易失性存储器上,处理该命令或数据,并且将结果数据存储在非易失性存储器中。

通信模块1120可以具有与通信接口170相同或相似的配置。通信模块1120可以包括例如蜂窝模块1121、无线保真(wi-fi)模块1123、蓝牙(bt)模块1125、gnss模块1127、nfc模块1128以及rf模块1129。蜂窝模块1121可以通过通信网络来提供语音呼叫、视频呼叫、文本或互联网服务。根据本公开的实施例,蜂窝模块1121可以使用sim1124(例如,sim卡)对通信网络中的电子设备1101执行识别或认证。蜂窝模块1121可以执行处理器1110可提供的功能中的至少一些。

蜂窝模块1121可以包括cp。蜂窝模块1121、wi-fi模块1123、蓝牙模块1125、gnss模块1127或nfc模块1128中的至少一些(例如,两个或更多个)可被包括在单个集成芯片(ic)或ic封装中。rf模块1129可以发送并接收通信信号(例如,射频(rf)信号)。rf模块1129可以包括收发机、功率放大器模块(pam)、频率滤波器、低噪声放大器(lna)或天线。蜂窝模块1121、wi-fi模块1123、蓝牙模块1125、gnss模块1127或nfc模块1128中的至少一个可以通过单独的rf模块来传送rf信号。sim1124可以包括sim卡或嵌入式sim,并且还可以包含唯一的识别信息(例如,集成电路卡标识符(iccid)或订户信息(例如,国际移动订户身份(imsi))。存储器1130可以包括内部存储器1132或外部存储器1134。内部存储器1132可以包括以下至少一项:易失性存储器(例如,动态ram(dram)、静态ram(sram)、或同步动态ram(sdram))、或非易失性存储器(例如,一次性可编程rom(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩膜rom、闪存rom、闪存(例如,nand闪存或nor闪存)、硬盘驱动器或固态驱动器(ssd)。外部存储器1134可以包括闪存驱动器(例如,高密度闪速(cf)存储器、sd存储器、微型sd存储器、迷你型sd存储器、xd存储器、多媒体卡(mmc)或存储棒tm)。外部存储器1134可以经由各种接口与电子设备1101功能地或物理地连接。

传感器模块1140可以测量物理量或检测电子设备1101的运动状态,并且传感器模块1140可以将测量的或检测的信息转换为电信号。传感器模块1140可以包括以下至少一项:手势传感器1140a、陀螺仪传感器1140b、气压传感器1140c、磁传感器1140d、加速度传感器1140e、握持传感器1140f、接近传感器1140g、颜色传感器1140h(例如,红、绿、蓝(rgb)传感器)、生物传感器1140i、温度/湿度传感器1140j、照度传感器1140k或紫外(uv)传感器1140m。附加地或备选地,传感器模块1140可以包括电子鼻传感器、肌电图(emg)传感器、脑电图(eeg)传感器、心电图(ecg)传感器、红外(ir)传感器、虹膜传感器或指纹传感器。传感器模块1140还可以包括用于控制传感器模块1140中包括的至少一个或多个传感器的控制电路。

根据本公开的实施例,电子设备1101还可以包括被配置为控制传感器模块1140的处理器,作为处理器1110的一部分或与处理器1110分离,并且当处理器1110处于睡眠模式时,电子设备1101可以控制传感器模块1140。

输入设备1150可以包括触摸面板1152、数字笔传感器1154、按键1156或超声输入设备1158。触摸面板1152可以使用电容式、电阻式、红外或超声方法中至少一种。触摸面板1152还可以包括控制电路和触觉层以向用户提供即时反应。数字笔传感器1154可以包括触摸面板的一部分或用于识别的单独片。按键1156可以包括物理按钮、光学按键或键区。超声输入设备1158可以通过麦克风1188来感测从输入工具产生的超声波,以识别与所感测的超声波相对应的数据。

显示器1160可以包括面板1162、全息设备1164、投影仪1166和/或用于对它们进行控制的控制电路。面板1162可以被实施为柔性的、透明的或可穿戴的。面板1162可以与触摸面板1152一起被配置在一个或多个模块中。面板1162可以包括可以测量由用户触摸造成的压力强度的压力传感器。压力传感器可以与触摸面板1152实现在单个主体中,或者可以以与触摸面板1152分离的一个或多个传感器来实现。全息设备1164可以通过使用光干涉在空气中形成3d图像(全息图)。投影仪1166可以通过将光投影到屏幕上来显示图像。该屏幕可以位于电子设备1101的内部或外部。接口1170可以包括hdmi1172、usb1174、光学接口1176或d超小型(d-sub)1178。可以在图1中示出的通信接口170中包括接口1170。附加地或备选地,接口1170可以包括移动高清链路(mhl)接口、sd卡/mmc接口、或红外数据协会(irda)接口。

音频模块1180可以将声音信号转换为电信号,反之亦然。音频模块1180的至少一部分可被包括在图1所示的输入/输出接口145中。音频模块1180可以处理通过扬声器1182、听筒1184、耳机1186或麦克风1188输入或输出的声音信息。例如,相机模块1191(即,图2的图像捕捉设备220或图3的电子设备300)可以是用于捕捉静态图像和视频的设备,并且可以包括一个或多个图像传感器(例如,前置传感器和后置传感器)、镜头、图像信号处理器(isp)或闪光灯(比如,led或氙灯)。电源管理模块1195可以管理电子设备1101的电源。

电源管理模块1195可以包括电源管理ic(pmic)、充电器ic或电池量表(batterygauge)。pmic可以具有有线和/或无线充电方案。无线充电方案可以包括磁谐振方案、磁感应方案或基于电磁波的方案,并且可以添加附加电路(例如,线圈回路、谐振电路、或整流器等)用于无线充电。电池量表可以测量电池1196的剩余电量、电压、电流或温度。电池1196可以包括可充电电池和/或太阳能电池。

指示器1197可以指示电子设备1101或者电子设备的一部分(例如,处理器1110)的特定状态,包括引导状态、消息状态或充电状态。电机1198可以将电信号转换为机械振动,并可以产生振动或触觉效果。电子设备1101可以包括移动tv支持设备(例如,gpu),其可以根据数字多媒体广播(dmb)、数字视频广播(dvb)或mediaflotm标准来处理媒体数据。

电子设备的上述组件中的每一个组件可以包括一个或多个部件,并且部件的名称可以随着电子设备的类型而变化。根据本公开的各种实施例,电子设备1101可以不包括一些元素或包括更多元素,或可以将一些元素组合为可以执行与这些元素在被组合之前所执行的功能相同功能的单个实体。

图12是示出了根据本公开实施例的程序模块的框图。

程序模块1210可以包括控制与电子设备101相关的资源的os和/或在os上驱动的各种应用147。操作系统可以包括androidtm、iostm、windowstm、symbiantm、tizentm或badatm

程序模块1210包括内核1220、中间件1230、api1260和/或应用1270。程序模块1210的至少一部分可被预先加载到电子设备上或者从外部电子设备下载。

内核1220包括系统资源管理器1221或设备驱动程序1223。系统资源管理器1221可以执行对系统资源的控制、分配或者恢复。系统资源管理器1221可以包括进程管理单元、存储器管理单元或文件系统管理单元。设备驱动程序1223可以包括显示器驱动程序、相机驱动程序、蓝牙驱动程序、共享存储器驱动程序、usb驱动程序、键区驱动程序、wi-fi驱动程序、音频驱动程序或进程间通信(ipc)驱动程序。中间件1230可以通过api1260向应用1270提供各种功能,使得应用1270可以使用电子设备中的有限系统资源,或者提供应用1270所共同需要的功能。中间件1230包括以下至少一项:运行库1235、应用管理器1241、窗口管理器1242、多媒体管理器1243、资源管理器1244、电源管理器1245、数据库管理器1246、包管理器1247、连接管理器1248、通知管理器1249、位置管理器1250、图形管理器1251或安全管理器1252。

运行库1235可以包括例如由编译器使用的库模块,以便在执行应用1270的同时通过编程语言来添加新的功能。运行库1235可以执行输入/输出管理、存储器管理或算数功能处理。应用管理器1241可以管理应用1270的生命周期。窗口管理器1242可以管理在屏幕上使用的gui资源。多媒体管理器1243可以掌握播放媒体文件所必需的格式,并使用适当的编解码器对媒体文件执行编码或解码。资源管理器1244可以管理应用1270的源代码或存储空间。电源管理器1245可以管理电池容量或电源,并提供电子设备的操作所需的电源信息。电源管理器1245可以与基本输入/输出系统(bios)互相作用。数据库管理器1246可以产生、搜索或改变要在应用1270中使用的数据库。包管理器1247可以管理以包文件形式分发的应用的安装或更新。

连接管理器1248可以管理无线连接性。通知管理器1249可以向用户提供事件到达消息、预约或接近提醒。位置管理器1250可以管理与电子设备有关的位置信息。图形管理器1251可以管理将向用户提供的图形效果以及与图形效果相关的用户界面。安全管理器1252可以提供系统安全性或用户认证。中间件1230可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器或能够形成上述元素的功能的组合的中间件模块。中间件1230可以提供根据os的类型而指定的模块。中间件1230可以动态省略一些现有组件或添加新组件。api1260可以是api编程函数的集合,并可以根据0s具有不同配置。例如,在androidtm或iostm的情况下,可以为每个平台提供一个api集合,并且在tizentm的情况下,可以为每个平台提供两个或更多api集合。

应用1270可以包括:主页1271应用、拨号器1272应用、sms/mms1273应用、即时消息(im)1274应用、浏览器1275应用、相机1276应用、闹钟1277应用、联系人1278应用、语音拨号1279应用、电子邮件1280应用、日历1281应用、媒体播放器1282应用、相册1283应用或时钟1284应用、保健(例如,测量锻炼程度或用户的血糖)应用、或环境信息(例如,气压、湿度或温度信息)。应用1270可以包括支持电子设备与外部电子设备之间的信息交换的信息交换应用。信息交换应用的示例可以包括(但不限于):用于向外部电子设备传输特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。

通知中继应用可以向外部电子设备传输由电子设备的其它应用产生的通知信息,或从外部电子设备接收通知信息并向用户提供所接收的通知信息。例如,设备管理应用可以安装、删除或更新与电子设备通信的外部电子设备的功能(例如,打开/关闭外部电子设备的一个或多个元素、或调整显示器的亮度(或分辨率))或在外部电子设备上操作的应用。应用1270可以包括根据外部电子设备的属性来指定的应用(例如,移动医疗设备的保健应用)。应用1270可以包括从外部电子设备接收的应用。程序模块1210的至少一部分可以以软件、固件、硬件(例如,处理器210)或其至少两个或多个的组合来实现(例如,执行),并且可以包括用于执行一个或多个功能的模块、程序、例程、命令集或进程。

如本文所使用的,术语“模块”包括以硬件、软件或固件配置的单元,并且可以与其它术语“逻辑”、“逻辑块”、“部件”或“电路”互换地使用。模块可以是执行一个或多个功能的单个集成部件或最小单元或部分。模块可以通过机械或电学的方式实现,并且可以包括专用集成电路(asic)芯片、现场可编程门阵列(fpga)、或已知或将来开发的可编程逻辑器件。设备的至少一部分(例如,模块或其功能)或方法的至少一部分(例如,操作)可以被实现为具有程序模块的形式存储在计算机可读存储介质(例如,存储器140)中的指令。当由处理器(例如,处理器130)执行时,指令可以使得处理器能够执行对应功能。计算机可读介质可以包括硬盘、软盘、磁介质(例如,磁带)、光学记录介质(例如,高密度盘-只读存储器(cd-rom)、dvd)或磁光介质(例如,光磁软盘)或嵌入式存储器。指令可以包括由编译器创建的代码或可由解译器执行的代码。模块或编程模块可以包括上述组件中的至少一个或多个,省略其中一些组件,或进一步包括附加的组件。由模块、编程模块或其它组件执行的操作可以顺序地、并行地、重复地或启发式地执行,或者至少一些操作可以以不同的顺序执行或被省略,或者可以添加其它操作。

根据本公开的实施例,提供了一种记录计算机上运行的程序的计算机可读记录介质,所述程序包括由处理器执行以使得该处理器能够实现下述操作的可执行命令:使用电子设备的图像捕捉设备在第一时段期间以第一捕捉速度来获得视频的第一部分;当基于分析所获得的第一部分的结果将第二捕捉速度设置为捕捉视频的速度时,控制第一通知以指示以所设置的第二捕捉速度来获得视频的第二部分;以及使用图像捕捉设备在第一时段之后的第二时段期间以第二捕捉速度来获得第二部分。

电子设备和用于从电子设备提供信息的方法可以基于根据以第一捕捉速度捕捉的第一图像而分析出的对象的运动的变化,将捕捉速度改变为作为高捕捉速度的第二捕捉速度,使得能够在获得第一图像之后的特定时间段期间通过高速捕捉来获得第二图像。因此,可以以高速来捕捉一个视频的仅重要部分,而其余部分则以低速捕捉。这样做可以减少图像处理的视频体积和功耗。

电子设备可以通过向用户通知改变为第二捕捉速度而在用户期望的定时获得高速视频。用户可以直观地识别到在捕捉视频时是在何时执行高速捕捉的。

尽管已经参考本公开的某些实施例示出并描述了本公开,但是本领域技术人员应理解,在不脱离由所附权利要求及其等同物限定的本公开的范围和精神的前提下,可以对这些实施例进行各种形式和细节上的修改。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1