用于快速视频采集和传感器调节的系统和方法与流程
本申请要求于2016年11月1日提交的序列号为no.62/415,888的美国专利申请的优先权，其全部内容通过引用合并于此。
背景技术：
使用便携式电子装置记录视觉媒体可以在各种各样的环境条件下执行。诸如智能手机或智能眼镜的一些便携式装置通常不提供用于允许手动调节各种图像采集参数的复杂的控制机制。这可能阻碍了使用此类装置准确地影响用户采集照片和/或视频图像的意图的努力。
在一些情况下，这些困难由于诸如通常形成更复杂的单用途数码相机的一部分的感测设备的装置的缺失或者在装置上提供不太复杂或成本较低的感测设备而加剧。
此外，利用此类便携式和/或可穿戴式多功能装置拍摄的照片和视频通常在瞬间被采集或者在没有过多的相机参数的预备设置的情况下采集。这些因素可能会导致令人失望的结果，并且在一些情况下会导致非最优的装置上的资源利用率。
附图说明
附图中的各个附图仅示出了本公开的示例实施例，并且不应被视为限制其范围。
图1是根据一个示例实施例的具有快速视频传感器调节功能的具有支持电子技术(electronics-enabled)的眼镜制品形式的便携式电子装置的示意性三维(3d)视图。
图2a示出了根据一些实施例的包括具有快速视频传感器调节的装置的系统的各方面。
图2b示出了根据一些实施例的包括具有快速视频传感器调节的装置的系统的各方面。
图3是根据示例实施例的具有可自动调节的图像采集功能的便携式电子装置的所选功能组件的示意性框图。
图4a示出了根据一些示例实施例的用于快速视频传感器调节的方法。
图4b示出了根据一些示例实施例的用于生成与快速视频传感器调节一起使用的自动包围设置的方法。
图5a是根据一些示例实施例的具有智能手机形式的便携式电子装置的示意性前视图，所述智能手机具有关于图像采集参数执行快速视频采集和传感器调节动作的功能。
图5b是根据一些示例实施例的具有智能手机形式的便携式电子装置的示意性前视图，所述智能手机具有关于图像采集参数执行快速视频采集和传感器调节动作的功能。
图5c是根据一些示例实施例的具有智能手机形式的便携式电子装置的示意性前视图，所述智能手机具有关于图像采集参数执行快速视频采集和传感器调节动作的功能。
图6是示出根据一些示例实施例的可以安装在机器上并用于快速视频传感器调节的软件体系结构的示例的框图。
图7示出了根据一些示例实施例的具有计算机系统形式的机器的图形表示，在该计算机系统内可以执行一组指令以使机器执行在此所讨论的方法中的任何一种或多种方法。
具体实施方式
在此描述的实施例涉及使用资源受限的相机装置(诸如包括相机功能的可穿戴装置)对视频的采集。特定实施例涉及在采集视频的初始帧期间使用自动包围。如下所述，此类自动包围使得能够在资源受限的相机环境中进行快速视频采集和传感器调节，并且进一步允许使用在最终选择相机设置之前采集的视频帧，其将以其它方式被丢弃。以下的描述讨论了本公开的说明性实施例。在以下的描述中，出于解释的目的，阐述了许多具体细节以便提供对所公开主题的各种实施例的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践所公开主题的实施例。
如在此所述，自动包围是指使用不同的相机设置来多次采集图像。自动曝光包围(aeb)是使用不同曝光设置的包围类型。此类设置可以基于目标相机设置，其在由“包围”目标设置的偏移值给出的设置中具有变化。一些相机装置包括被配置为使用此类aeb采集单个图像的多个副本以提供高动态范围图像的硬件。与采集单个图像相反，在此描述的实施例可以利用此类配置来提供对视频采集的改进。
在资源受限的摄像机环境中(诸如在可穿戴装置中使用摄像机)资源和存储器受到显著限制。当用户想要开始记录视频时的即时响应是有价值的，但是直到在接收到用户输入之后资源才可用于运行相机。由于此类资源限制，在许多情况下，在用户进行输入选择之前相机不工作，并且因此，装置不具有针对当前环境的适当设置。这会在用户输入后产生延迟，因为相机会调节各种传感器设置，直到针对环境识别出适当的设置。在标准系统中，从激活相机的用户输入到相机确定适当设置的时间导致用户选择和可用于回放或记录的视频的开始时间之间的延迟。在此描述的实施例使用自动包围来在相机确定针对当前环境的适当设置之前使用自动包围设置来采集多个图像(在各种实施例中，例如，3个图像、5个图像、10个图像等等)。这些图像可用于确定适当的设置，并且丢弃由自动包围设置采集的图像生成的劣质图像。
在一些实施例中，可以将自动包围设置与最终设置进行比较，以将要被包括在最终视频文件中的一个或多个初始图像识别为匹配所确定的针对环境的相机设置。这可以针对视频进行初始帧的非常快速的视频采集以及快速自动传感器调节。在一些实施例中，后处理可以进一步用于将使用自动包围设置采集的一个或多个图像与使用最终相机设置采集的图像进行匹配。在各种实施例中，自动包围设置用于曝光值，诸如曝光时间、灵敏度(例如，描述对光的灵敏度的国际标准组织(iso)值)、快门速度和/或光圈值。在其它实施例中，在对用户输入的初始响应期间，任何数量的相机设置可以与自动包围一起使用以开始记录视频。
在一些实施例中，联网通信系统可用于处理来自大量装置的自动包围设置以更新和调节自动包围设置。在某些实施例中，此类系统分析帧质量和对某些自动包围设置的响应度，并基于此类分析将更新的设置传送给系统中的装置。此外，在一些实施例中，此类更新的自动包围设置考虑诸如一天中的时间、天气或位置的信息，以便向相机装置的处理器提供不同的自动包围设置。在图像传感器被激活之前向相机装置的处理器提供此类目标自动包围设置能够实现快速视频采集和传感器调节。在一些实施例中，用户设置允许用户为装置选择某些自动包围设置。
现在将参考更详细的示例实施例描述各个方面和替代配置。图1-3示出了实施各种公开技术的电子装置的示例实施例，其中，电子装置是由具有支持电子技术的眼镜31构成的眼镜制品的示例形式，该眼镜可以进一步在网络系统100或101内操作以用于传送图像和视频内容。图1示出了眼镜31的前透视图，根据该示例实施例，该眼镜31响应于用户采用单动作输入机构的接合而提供一个或多个图像采集参数的自动包围。
眼镜31可包括由任何合适材料(诸如塑料或金属，包括任何合适的形状记忆合金)制成的框架32。框架32可具有前件33，该前件33可包括第一或左透镜、显示器或光学元件保持器36以及通过桥38连接的第二或右透镜、显示器或光学元件保持器37。前件33另外包括左端部分41和右端部分42。第一或左光学元件43和第二或右光学元件44可以设置在相应的左和右光学元件保持器36、37内。每个光学元件43、44可以是透镜、显示器、显示组件或前述的组合。在一些实施例中，例如，眼镜31具有集成的近眼显示机构，其使得例如能够向用户显示针对由眼镜31的相机69采集的视觉媒体的预览图像。
框架32另外包括左臂或镜腿件46和第二臂或镜腿件47，它们通过诸如铰链(未示出)的任何合适的部件耦接到前件33的相应的左和右端部分41、42，以便耦接到前件33，或者刚性地或可固定地固定到前件，以便与前件33成一体。镜腿件46和47中的每一个可包括耦接到前件33的相应的端部分41或42的第一部分51以及任何合适的第二部分52(诸如弯曲或弓形件)用于耦接到用户的耳朵。在一个实施例中，前件33可由单件材料形成，以便具有整体或一体结构。在一个实施例中，诸如图1中所示，整个框架32可以由单件材料形成，以便具有整体或一体结构。
眼镜31可以包括计算装置，诸如计算机61，其可以具有任何合适的类型，以便由框架32承载，并且在一个实施例中，具有合适的大小和形状，以便至少部分地设置在镜腿件46和47中的一个镜腿件中。在一个实施例中，如图1中所示，计算机61的大小和形状类似于镜腿件46、47之一的大小和形状，并且因此几乎完全(如果不是完全的话)设置在此类镜腿件46和47的结构和界限(confine)内。在一个实施例中，计算机61可以设置在镜腿件46、47二者中。计算机61可以包括具有存储器、无线通信电路和电源的一个或多个处理器。计算机61包括低功率电路、高速电路和显示处理器。各种其它实施例可以包括不同配置中的这些元件或者以不同方式集成在一起。计算机61的各方面的附加细节可以如参考以下描述所描述的那样实施。
计算机61另外包括电池62或其它合适的便携式电源。在一个实施例中，电池62设置在镜腿件46或47中的一个镜腿件中。在图1中所示的眼镜31，电池62被示出为设置在左镜腿件46中并且使用连接件74电耦接到设置在右镜腿件47中的计算机61的其余部分。一个或多个输入和输出装置可包括适合于对可从框架32的外部接入的电池62充电的连接器或端口(未示出)、无线接收机、发射机或收发机(未示出)或此类装置的组合。
眼镜31包括数码相机69。虽然描绘了两个相机，但是其它实施例考虑使用单个或附加(即，多于两个)相机。为了便于描述，将仅参考单个相机69进一步描述与相机69有关的各种特征，但是应当理解，在合适的实施例中，这些特征可以应用于两个相机69。
在各种实施例中，除了相机69之外，眼镜31可包括任何数量的输入传感器或外围装置。前件33具有面向外、面向前的表面或前表面或外表面66，其在眼镜31安装在用户的面部上时面向前或背对着用户，以及相对的面向内、面向后的表面或后表面或内表面67，其在眼镜31安装在用户的面部上时面向用户的面部。此类传感器可以包括面向内的视频传感器或数字成像模块，诸如相机，其可以安装在前件33的内表面67上或者设置在前件33的内表面67内或在框架32上的其它地方，以便面向用户；以及面向外的视频传感器或数字成像模块，诸如相机69，其可以安装在前件33的外表面66上或设置在前件33的外表面66内或者在框架32上的其它地方，以便背对用户。此类传感器、外围装置或外围设备可另外包括生物特征传感器、位置传感器、加速度计或任何其它此类传感器。
眼镜31进一步包括相机控制机构或用户输入机构的示例实施例，该机构包括安装在框架32上的相机控制按钮，用于用户的触觉或手动接合。控制按钮提供双模式或单动作机构，因为用户可以仅在两个状态之间使用它，即接合状态和脱离状态。在该示例实施例中，控制按钮是这样的按钮，其在默认情况下处于脱离状态，可由用户按压以将其设置为接合状态。释放按压的控制按钮后，它会自动返回到脱离状态。
在其它实施例中，单动作输入机构可以替代地由例如触摸按钮提供，该触摸按钮包括安装在框架32上邻近其表面的电容传感器，用于检测用户手指的存在，以便当用户将手指触摸到框架32的外表面上的对应点时，将触敏按钮设置到接合状态。应当理解，上述按钮和电容式触摸按钮仅是用于相机69的单动作控制的触觉输入机构的两个示例，而其它实施例可以采用不同的单动作触觉控制布置。
图2a是描绘根据一个实施例的网络系统100的网络图，该网络系统100具有被配置用于通过网络交换数据的客户端-服务器体系结构。例如，网络系统100可以是消息传递系统，其中，客户端在网络系统100内传送和交换数据。该数据可以涉及与网络系统100及其用户相关联的各种功能(例如，发送和接收视频内容以及文本和其它媒体通信等)和方面。虽然在此示出为客户端-服务器体系结构，但是其它实施例可以包括其它网络体系结构，诸如对等或分布式网络环境。
如图2a中所示，网络系统100包括社交消息传递系统130。社交消息传递系统130通常基于三层体系结构，包括接口层124、应用逻辑层126和数据层128。如相关的计算机和因特网相关领域中的技术人员所理解的，图2a中所示的每个模块或引擎表示一组可执行软件指令和用于执行指令的对应硬件(例如，存储器和处理器)。在各种实施例中，附加功能模块和引擎可以与社交消息传递系统一起使用，诸如图2a中所示的社交消息传递系统，以便于在此未具体描述的附加功能。此外，图2a中描绘的各种功能模块和引擎可以驻留在单个服务器计算机上，或者可以以各种布置横跨若干服务器计算机分布。此外，尽管图2a中将社交消息传递系统130描绘为三层体系结构，但是本发明的主题并不限于此类体系结构。
如图2a中所示，接口层124包括：接口模块(例如，web服务器)140，其接收来自各种客户端计算装置和服务器的请求，诸如执行客户端应用112的客户端装置110，以及执行第三方应用122的第三方服务器120。响应于所接收的请求，接口模块140经由网络104向请求装置传送适当的响应。例如，接口模块140可以接收诸如超文本传输协议(http)请求或其它基于web的应用编程接口(api)请求的请求。
客户端装置110可以执行传统web浏览器应用或已经为特定平台开发以包括各种移动计算装置和移动专用操作系统(例如，iostm、androidtm、
如图2a中所示，数据层128具有便于访问信息存储库或数据库134的一个或多个数据库服务器132。数据库134是存储诸如成员简档数据、社交图数据(例如，社交消息传递系统130的成员之间的关系)和其他用户数据的数据的存储装置。
个人可以注册社交消息传递系统130以成为社交消息传递系统130的成员。在注册后，成员可以在社交消息传递系统130上形成社交网络关系(例如，朋友、关注者或联系人)，并且与社交消息传递系统130提供的广泛的应用交互。
应用逻辑层126包括各种应用逻辑模块150，该应用逻辑模块150结合接口模块140，采用从数据层128中的各种数据源或数据服务取得的数据生成各种用户界面。各个应用逻辑模块150可用于实现与社交消息传递系统130的各种应用、服务和特征相关联的功能。例如，社交消息传递应用可以与一个或多个应用逻辑模块150一起实现。社交消息传递应用为客户端装置110的用户提供消息传递机制，以发送和接收包括诸如图片和视频的文本和媒体内容的消息。客户端装置110可以在指定的时间段内(例如，有限的或无限制的)访问和观看来自社交消息传递应用的消息。在示例中，消息接收者可以在预定的持续时间内(例如，由消息发送者指定)访问特定消息，该预定的持续时间在特定消息被首次访问时开始。在预定的持续时间过去之后，消息将被删除，并且消息接收者将无法再访问该消息。当然，其它应用和服务可以分别体现在它们自己的应用逻辑模块150中。
如图2a中所示，社交消息传递系统130和/或客户端装置110包括视频采集系统160，该视频采集系统160提供实现快速视频采集和传感器调节的功能。如上所述，一些实施例可以使用诸如社交消息系统130的系统来提供自动包围设置，以接收关于某些自动包围设置的反馈，以及基于各种参数更新自动包围设置。在其它各种实施例中，视频采集系统160可以被实现为独立系统，并且不一定包括在社交消息传递系统130中。在一些实施例中，客户端装置110包括视频采集系统160的一部分(例如，视频采集系统160的一部分可以独立地包括，或被包括在客户端应用112中)。在客户端装置110包括视频采集系统160的一部分的实施例中，客户端装置110可以单独工作或与包括在特定应用服务器中或包括在社交消息传递系统130中的视频采集系统160的部分一起工作。
图2b示出了可以与某些实施例一起使用的替代网络系统101。网络系统101包括具有接口模块140、应用逻辑模块150、数据库服务器132和数据库134的社交消息传递系统130，以及操作客户端应用112的客户端装置110，正如在网络系统100中一样。然而，网络系统101另外包括连接到客户端装置110的客户端伴随装置114。客户端伴随装置114可以是可穿戴装置，诸如眼镜、面罩、手表或其它网络使能物品。客户端伴随装置也可以是在此描述的任何装置，该装置经由诸如客户端装置110的另一装置访问诸如网络104的网络。客户端伴随装置114包括图像传感器116、无线输入和输出(i/o)117以及视频采集系统160的元件。正如上所述，在一些实施例中，诸如客户端伴随装置114的装置可以与独立视频采集系统160一起操作。在此类实施例中，视频采集系统160与图像传感器116一起操作以实现快速视频采集和传感器调节。客户端伴随装置114可包括一个或多个处理器、显示器、电池和存储器，但是可能具有有限的处理和存储器资源。在此类实施例中，可以经由网络连接使用客户端装置110和/或用于社交消息传递系统130的服务器计算装置来为客户端伴随装置114提供远程处理和存储器资源。在一个实施例中，例如，客户端伴随装置114可以是一对支持网络的眼镜，诸如图1的眼镜，并且客户端装置110可以是智能手机，其能够访问社交消息传递系统130以实现与图像传感器116采集的视频内容的传递。
图3是示出具有眼镜31形式的示例电子装置的一些组件的示意图。注意，交互机器组件的对应布置可以应用于如下实施例，其中与本公开一致的电子装置包括例如移动电子装置，诸如可穿戴装置(例如，眼镜31)、智能手机(例如，诸如参考图5描述的智能手机)、平板计算机或数码相机。眼镜31的计算机61(图1)包括与板载存储器226通信的处理器221。中央处理器221可以是中央处理单元和/或图形处理单元。该示例实施例中的存储器226包括闪存和随机存取存储器的组合。
装置31进一步包括与中央处理器221和相机69通信的相机控制器214。相机控制器214包括如下电路，该电路被配置为基于对从包括控制按钮的单动作输入机构(通常由图2中的项235指示)接收的控制信号的处理来控制摄影内容或视频内容的记录，并提供与相机69采集图像数据有关的一个或多个图像采集参数的自动调节，以及在其持久存储和/或将其呈现给用户以供观看或预览之前对图像数据进行板载处理。在各种实施例中，图像采集参数的自动调节包括在基于传感器反馈的确定之前使用针对装置的一组自动包围设置来采集多个图像，该装置具有针对当前环境的适当相机设置。因此，相机控制器214将与中央处理器221交互以在接收到在机构235处的输入之后立即基于自动包围参数来开始采集第一组图像，并且基于在输入机构(例如，单动作机械按钮、电子触摸传感器、语音激活输入等)处接收到输入之后获取的传感器读数确定的相机设置来开始采集第二组图像。
在一些实施例中，相机控制器214包括永久配置的电路，诸如固件或专用集成电路(asic)，其被配置为执行所描述的各种功能。在其它实施例中，相机控制器214可以包括动态可重新配置的处理器，其执行临时配置处理器以执行所描述的各种功能的指令。
相机控制器214与存储器226交互以存储、组织和呈现具有照片内容和视频内容形式的图像内容。为此，在该示例实施例中的存储器226包括照片内容存储器228和视频内容存储器242。因此，相机控制器214与中央处理器221协作，被配置为从相机69接收表示由相机69根据一些图像采集参数采集的数字图像的图像数据，以根据一些图像采集参数处理图像数据，并将处理的图像数据存储在照片内容存储器228和视频内容存储器242中的适当的一个内容存储器中。
相机控制器214进一步被配置为与显示控制器249协作以使得在并入眼镜31中的显示机构上显示存储器226中的所选照片和视频，以提供所采集的照片和视频的预览。在一些实施例中，相机控制器214将管理图像的处理，使用包括在视频文件中的自动包围参数采集该图像。
单动作输入机构235通信地耦接到中央处理器221和相机控制器214，以传送表示关于相机控制器214当前是否正被按压的相机控制按钮的当前状态的信号。相机控制器214进一步关于从单动作输入机构235接收的输入信号与中央处理器221通信。在一个实施例中，相机控制器214被配置为处理经由单动作输入机构235接收的输入信号以确定特定的用户与相机控制按钮的接合是否将导致视频内容或摄影内容的记录，和/或基于输入信号的处理动态地调节一个或多个图像采集参数。例如，按压相机控制按钮超过预定阈值持续时间使得相机控制器214在持久存储和显示采集的视频内容之前自动对采集的视频内容应用相对不太严格的视频处理。相反，在此类实施例中按压相机控制按钮短于阈值持续时间使相机控制器214自动地对表示一个或多个静态图像的图像数据应用相对更严格的光稳定处理。在此类实施例中，机构235的任何按压将导致采用自动包围设置采集初始的一组图像，而不管是否确定要采集图像或视频。
在该实施例中，相机控制器214还被配置用于与相机69协作以基于至少一个图像度量来动态地调节一个或多个图像采集参数，该至少一个图像度量基于表示由相机采集的数字图像的图像数据来计算。在此类实施例中，使用自动包围值采集的图像用于计算当前环境的细节，并且然后选择相机设置。因此，实施例基于传感器数据(例如，由相机69记录的多个数字帧的计算亮度值)提供相机69的相机参数(例如，iso等级)的自动动态调节或调整。
眼镜31可以进一步包括诸如智能眼镜或智能手机的移动电子装置所共有的各种组件，例如包括显示控制器，用于控制在显示机构上显示视觉媒体(包括由相机69采集的摄影和视频内容)，该显示机构被合并在装置中。注意，图2的示意图不是形成眼镜31的一部分的所有组件的详尽表示。
图4a示出了由可穿戴相机装置(例如，眼镜31)执行以提供快速视频采集和传感器调节的方法400。各种其它类似方法可以由诸如智能手机的其它装置或其它此类相机装置来执行。方法400特别提供在资源受限的环境中的改进的响应，使得直到接收到用户选择，用于确定相机设置的传感器才被操作，并且在输入处的初始用户选择和视频剪辑的初始图像的采集之间的延迟时间是重要的装置特性。在各种其它实施例中，类似的方法可以由装置的一个或多个处理器执行以实施对应的操作。另外，方法400的一些实施例被实现为在存储介质中的计算机可读指令，该计算机可读指令当由相机装置的一个或多个处理器执行时，使装置执行类似于方法400中的操作的操作。
方法400开始于操作402，其中可穿戴相机装置的输入机构(例如，机构235)接收用户输入以启动第一视频数据的采集。在各种实施例中，初始信号可以提供模糊命令，其中定时器确定初始信号与图像采集还是视频采集相关联。在任一情况下，初始信号被用作视频采集的指示，稍后基于来自输入机构的附加信息将其调节为图像采集信号。例如，机械按钮的初始按压作为用户输入以启动视频数据的采集来操作。如果在阈值时间之前释放按钮，则仅存储图像，而如果按钮被保持长于阈值时间，则在按钮/机构被激活期间采集视频。根据在此描述的实施例，任一种情况都作为接收用户输入的指示以启动第一视频数据的采集来操作。
响应于来自操作402的用户输入以启动采集视频数据，操作404然后涉及响应于用户输入使用基于一组自动包围设置的相机设置来采集第一多个帧。在一些实施例中，第一多个帧中的每个帧具有相关联的相机设置，该相机设置对于第一多个帧中的每个帧是不同的，并且相关联的相机设置从该组自动包围设置中确定。例如，自动包围设置可以包括用于iso设置的三个值，以及用于曝光时间的三个值(例如，快门速度)。自动包围设置可指示装置被配置为以这些值的所有九种组合来拍摄图像。
在操作406中，处理一组传感器数据以确定针对可穿戴相机装置的环境的一组相机设置值。在采用自动包围设置采集图像期间，装置进一步处理传感器数据，该传感器数据可以是来自这些采集图像的数据，或来自其它传感器的数据，以基于测量的环境选择最后一组相机设置。在各种实施例中，可以使用任何数量的自动包围设置，其中，每个设置具有任何数量的值。各种实施例限制采集图像的总数以避免在采用基于传感器数据所选择的相机设置来配置相机之前的过多设置时间。一些实施例可以包括具有针对每个自动包围值类型的每个值的单个测量，使得仅从上述九个可能组合中采集三个图像，其中所选择的值基于提供传感器信息的组合，其平衡用于采集图像的延迟时间。
从采集的图像，从成像装置采集的其它数据，或者从除了用于采集视频帧的成像装置之外的传感器处理传感器数据之后，装置的处理器处理传感器数据以基于该传感器数据确定一组相机设置值。然后，操作408涉及在采集第一多个帧之后使用该组相机设置值来选择可穿戴相机装置的相机设置。
在基于描述当前环境的传感器数据配置了相机设置之后，在操作410中，装置继续采集第二多个帧，其中使用该组相机设置值选择相机设置。
当采集视频剪辑的图像时，某些实施例执行操作412以包括使用最终视频剪辑中的自动包围设置采集的一个或多个图像。操作412通过以下动作来包括此类帧：至少部分地基于针对第一多个帧中的第一帧的相关联的相机设置来至少选择第一帧，用于与第一视频数据包括在一起。在一些实施例中，例如，装置可以确定在操作408中确定的一组相机设置值类似于针对使用自动包围设置采集的图像之一的设置。如果最终设置在针对特定图像的自动包围设置的阈值相似度内，则图像可被自动处理以被包括在最终视频文件中。在其它实施例中，一个或多个图像可以经历附加的后处理以使在自动包围操作期间采集的初始的一个图像或多个图像与使用最终相机设置采集的图像相匹配。
在操作414中，基于一个或多个图像的质量以及与视频剪辑中其余的图像的匹配，将使用所选择的一组相机设置值采集的图像与来自自动包围操作的所选图像中的一个或多个所选图像一起存储。图像可以作为原始数据存储在装置的存储器中，或者可以在存储在装置的存储器中之前经历附加的处理和压缩。
在各种实施例中，自动包围设置可以基于直接与相机的物理特征相关联并且基于相机的物理特性的所确定的功能来选择的值。当接收到启动视频采集的输入时，此类设置可以存储在相机装置的存储器中并由装置的处理器使用。在其它实施例中，这些特性可以基于个体用户或一组用户的预期环境，随时间推移改变。如上所述，在一些实施例中，与相机装置交互的消息传递或通信系统可以记录与视频剪辑生成相关联的数据，诸如响应时间、自动包围值和图像质量度量。
在一些实施例中，处理此类数据以满足阈值响应度目标或质量目标。响应度目标是指在装置输入机构处接收用户输入与在存储的视频文件中使用的第一帧的时间之间的目标时间。质量目标是指在存储的视频文件中的第一图像的质量。在一些实施例中，另外针对已知的环境因素跟踪这些质量值和阈值。这些因素可以是一天中的时间、一年中的时间、位置、标准化的天气报告或其它此类因素。使用此类因素，可以调节在每个装置上采用自动包围值生成的一组测试曝光。此外，可以基于此类数据来调节要使用自动包围值的顺序。在一些实施例中，在装置的处理器确定该组相机设置值之后，装置可中断自动包围值的采集。例如，一个实施例可以具有20个不同的自动包围设置，但是在仅采集了与前10个不同的自动包围设置相关联的10个图像之后，从传感器数据确定一组相机设置。
在各种示例实施例中，可以在使用自动包围设置采集初始帧期间以不同方式确定相机设置。如上所述，在各种实施例中，在调用视频采集模式之后，在采集初始帧的同时确定这些设置。在各种实施例中，通过用户选择来激活眼镜31上的对应模式或通过启动具有图像采集功能的应用来调用视频采集模式。在其它实施例中，响应于用户与单动作输入机构235的接合(例如，响应于相机控制按钮的触觉接合)，可以自动调用视觉采集模式。
检测用户与具有相机控制按钮的示例形式的输入机构的接合。如前所述，在该示例实施例中，通过触觉或用户与其的手动接合，相机控制按钮可设置到激活或接合状态。通过用户释放控制按钮，可以实现将控制按钮设置为停用或脱离状态。在其它实施例中，例如在其中在此描述的自动图像采集控制技术被提供为与智能手机或平板装置合作的实施例中，该机构可以包括在装置的触敏屏幕上显示的软按钮(例如，参见图5中的软按钮525)。
在一些实施例中，响应于用户按压相机控制按钮，启动定时器，并且使用表示视频内容的图像数据的临时存储来记录由相机69采集的视频内容。如上所述，使用一系列自动包围相机设置采集这些初始帧。定时器在中央处理器221和/或相机控制器214的控制下执行。可以理解，以传统方式的媒体内容包括由相机69采集的一系列静态数字图像。形成视频内容的一部分的这些静态数字图像中的每一个静态数字图像被称为相应的视频帧。
在该示例实施例中，相机控制器214被配置用于实时处理所记录帧的初始帧，以确定处理帧的一个或多个图像度量的值，并基于从处理的帧确定的图像度量自动选择针对相机69或相机控制器214的设置。然后，基于对在采用来自初始帧的相机设置配置相机之后采集的一些或所有帧的类似分析，形成在自动选择相机参数之后记录的附加的另外帧。换句话说，可以连续地处理帧以识别正在采集视频的环境中的变化，并且随着环境的改变，使用与在自动包围操作中所使用的设置初始化相机设置的操作类似的操作，更新相机设置。在一些实施例中，被处理以计算图像度量的多个帧是响应于按压相机控制按钮而在记录开始时采集的预定数量的连续帧。在一些实施例中，图像采集参数的自动调节所基于的图像数据用于在按压相机控制按钮之后使用自动包围设置采集的前十个视频帧。在其它实施例中，图像度量计算可以基于任何数量的帧，或者基于与多个省略的中间帧对应的间隔获取的多个非连续帧。
在一些实施例中，眼镜31被自动配置以调节灵敏度参数，灵敏度参数在该示例中被表示为iso水平，其确定由形成相机69的一部分的电荷耦合装置提供的光学传感器的入射在其上的光的灵敏度。此类动态自动调节所基于的图像度量值在该情况下是指示由多个处理帧表示的图像的亮度属性的亮度度量。注意，在其它实施例中，其它图像采集参数可以响应于亮度度量值而自动调节。在一些实施例中，例如，可以动态地调节光圈值和快门速度的组合来代替iso调节或与iso调节结合。
在一些实施例中，虽然单个帧的亮度等级可以用于调节相机iso等级，但是如上所述，在该实施例中用于自动光模式切换的定义标准是：具有超过适用亮度阈值的曝光值的连续帧数超过预定阈值帧数。
用于从已采集的图像确定图像亮度的不同测量可能替代地或补充地用在其它实施例中。用于计算图像亮度的一些替代示例包括但不限于：帧中的变黑(blackedout)像素的数量；帧中低亮度像素的数量，每个低亮度像素具有低于预定阈值的亮度值；图像中像素的平均亮度值；帧中宏像素的平均亮度值；以及帧中像素和/或宏像素的中值亮度。本领域技术人员将理解，可以采用各种附加或替代测量来提供基于采集的图像数据的环境照明条件的可量化测量。
在一些实施例中，相同阈值数量的帧可以应用于向上切换和向下切换相机69的iso设置。在此类情况下，对于特定阈值数量-例如，十帧-当超过十个连续帧低于在相机69处于正常照明模式的情况下所应用的亮度阈值时，相机69将被自动设置为低光模式，并且当超过十个连续帧高于在相机69处于低光模式的情况下所应用的亮度阈值时，相机69将被自动设置为正常照明模式。然而，在该示例实施例中，不同的阈值数量分别应用于向上切换和向下切换中的亮度阈值超越帧的计数。特别地，在一些实施例中，从正常照明模式切换到低光模式需要比从低光模式切换到正常照明模式所需的更大数量的亮度阈值-超越帧。
同样地，在一些实施例中，相同的亮度值可以用作向上切换和向下切换相机69的iso设置的阈值。然而，在该示例实施例中，用于搜索从正常照明模式到低光模式的iso设置的图像亮度值低于用于将iso设置从低光模式切换到正常照明模式的图像亮度值。因此，相机控制器214偏向于将相机69设置为正常照明模式。
在一些实施例中，确定相机69的当前照明模式。当相机开始记录时，相机控制器214自动确定处理的视频帧是否包括所采集的多于阈值数量的具有低于阈值的亮度值的连续帧。如果是，则改变照明模式以调节iso值，使得相机69以较高的iso值操作。如果不是，则不改变照明模式，使得相机69继续在现有照明模式下工作。
在装置操作期间设置为一致的对照明模式的任何自动调节是持久的，直到会话结束(例如，通过关闭眼镜或退出图像采集应用)或者直到在稍后的自动调整操作的迭代期间照明模式在相反方向中自动改变为止。
注意，在该示例实施例中的眼镜31没有在其中合并直接测量环境光水平的任何光传感器。与一些现有数码相机中的自动相机灵敏度调节相反，由相机控制器214执行的所述自动调节动作因此不基于来自专用光传感器的测量数据来执行，而是基于由相机69采集的图像数据的处理来执行。一些实施例可以提供基于由板载光传感器提供的两个测量信号结合源自相机69的实时图像数据的所描述的处理的自动参数调节。
以上是单个图像采集参数(这里是相机iso等级)的自动调节的示例，并且可以在其它实施例中应用不同的自动调整度量。可以基于图像数据来自动调节的其它示例图像采集参数包括但不限于：
(a)基于图像亮度度量和图像清晰度/模糊度度量中的一个或多个的相机快门速度；
(b)基于图像亮度度量和图像清晰度/模糊度度量中的一个或多个的相机曝光设置(例如，光圈值)；
(c)基于例如图像清晰度/模糊度度量的相机对焦设置；
(d)基于例如图像着色度量的相机白平衡设置；
(e)基于例如图像亮度度量的相机闪光灯设置；以及
(f)基于图像亮度度量和图像清晰度/模糊度度量中的一个或多个的图像稳定设置，使得可以对专用于摄影图像稳定的板载处理量进行自动调节。
在一些示例实施例中，响应于与输入机构235的持久接合(这里包括相机控制按钮的继续按压)，连续记录视频内容，并且定时器继续运行。当用户释放相机控制按钮时，识别输入机构的释放。然后停止定时器，并且停止将视频内容记录到缓冲存储器。
由相机控制器214针对预定持续时间阈值(例如，1秒、3秒、0.5秒等)评估激活持续时间(由定时器记录的经过时间来指示)。
如果超过阈值持续时间，则相机控制器214解译用户与相机控制按钮的接合以指示记录视频内容的意图，并且然后处理并存储所记录的视频内容。如上所述，该处理可以涉及分析使用自动包围设置采集的初始帧，以确定这些初始帧中的任何一个初始帧是否适合与使用针对相机装置所确定的设置来采集的后续帧包括在一起。在一些实施例中，视频内容的处理包括将视频稳定处理应用于由相机69采集的原始图像数据。如本领域技术人员将理解的，视频稳定处理在诸如比摄影稳定处理相对更不严格地描述的应用的应用中，并且因此资源消耗更少。
然而，如果未超过阈值持续时间(即，如果按钮在该示例中被按压小于3秒的阈值时间)，则选择视频的帧以提供数字照片。然后处理表示所选帧的原始图像数据以将摄影图像稳定应用于该原始图像数据。此后，将稳定的帧作为数字照片存储在照片内容存储器228中，并且根据摄影图像稳定的需要使用利用自动包围采集的初始帧，并且然后丢弃该初始帧。如上所述，这种摄影图像稳定更严格，并且因此比视频稳定更耗费资源。
应当理解，在向用户呈现原始图像数据之前要应用于原始图像数据的特定图像稳定模式在该实施例中是眼镜31的图像采集参数之一，该眼镜31响应于用于采集视觉内容的单动作输入而自动调节。然而，稳定参数的调节(例如，是否应用相对更严格的摄影稳定处理)在这里基于用户输入属性，该用户输入属性与用户与由相机控制按钮提供的单动作双模输入机构的接合有关。特别地，在该情况下，激活持续时间(这里，按压按钮的长度)自动确定在将采集的图像数据呈现给用户以供观看或预览之前应用于采集的图像数据的图像稳定处理的方式。
注意，在一些实施例中，稳定参数可以不在更严格模式和更不严格模式之间自动调节，如图3的示例中的情况，但是，可以在不执行图像稳定的停用模式(适用于视频内容)和激活模式(适用于摄影内容)之间调节。在其它实施例中，可以基于已处理的由相机采集的图像数据自动调节特定模式的一个或多个参数。因此，例如，可以基于图像度量值的确定来自动调节摄影图像稳定的一个或多个参数。
另外，如上面在图2a和图2b中所述，在一些实施例中，用于使用如在此所述的自动包围来采集视频剪辑或视频数据的装置可以是社交消息传递系统130的一部分。社交消息传递系统可以包括经由网络(例如，因特网或广域网(wan))连接到执行自动包围操作的相机装置的一个或多个服务器。在一些实施例中，社交消息传递系统是短暂的消息传递系统，其接受具有指定时间限制的图像或视频剪辑以及相关联的删除触发器。当来自消息的内容与来自偏转(deflection)触发器的标准相关联时(例如，完成视频剪辑的设定次数的观看，开始播放视频剪辑设定的次数(例如，一次，两次等)而不管是否完成，由一组中的所有或一定比例观看，从包括视频剪辑作为内容的短暂消息的通信开始的设定时间，或任何类似标准或此类标准的组合)，从系统中删除内容。在此类上下文中，消息或短暂消息可以被配置为不仅包括内容(例如，一个或多个视频剪辑和照片)，还包括附加信息。在此描述的一些实施例中，该附加信息包括视频采集数据，其描述消息内的视频剪辑的上下文。该信息可以包括关于用于确定最终选择的相机设置的设置的不同自动包围设置的数量的数据。还可以包括关于如何选择最终相机设置的信息(例如，用于比较使用不同自动包围设置采集的不同图像的质量比较标准)。可以包括关于从用户输入时间到与视频剪辑中的第一图像相关联的时间的延迟的数据。可以包括关于时间、位置、温度或与图像剪辑相关联的任何其它此类传感器数据的数据。然后，该数据可以匿名存储在系统中，并且独立于与内容相关联的任何删除触发。在一些实施例中，可以在由于短暂消息而删除内容之前在服务器处执行视频剪辑的附加质量分析。例如，可以使用一组标准化的质量度量来比较从不同装置接收的视频剪辑之间的帧。可以基于关于采集视频剪辑的相机装置的传感器和透镜的信息来进一步对此类数据进行分类，使得基于具有类似传感器、透镜或可以与视频采集数据一起存储的其它此类装置值的装置来标准化或分组质量值。
在采用相关联的性能度量来分析和存储视频采集数据之后，社交消息传递系统的服务器计算机可以分析聚合数据以确定推荐组的自动包围数据。例如，这可以基于响应度和质量之间的加权权衡，其中附加的自动包围设置(例如，使用5个设置而不是3个)导致视频的输入和第一帧之间的附加延迟，但是得到提高的质量。在一些实施例中，服务器可以生成多组自动包围设置，其带有默认设置和用户选择，用于使用不同设置或数量的自动包围设置来改善响应度或质量，其中，在选择标准设置之前采集对应的附加图像以及为视频剪辑建立一致帧速率。
在一些实施例中，质量分数基于视频剪辑中相关帧的详细曝光分析。例如，可以计算亮度的直方图，并且可以基于直方图与质量分数的相关性将质量分配给图像或视频。此类相关性可以基于将某些直方图模式与所选质量分数相关联的表或函数，或者可以在任何其它此类事项中生成。对于分析多个样本帧的视频剪辑，可以使用每个帧的平均分数来选择分数，可以使用所有已分析的帧中的单个帧的最差分数，或者可以使用多个分数或者分数选择的任何这种组合或函数。
在一些实施例中，可以针对压缩伪像(artifact)或其它图像处理伪像分析图像或样本视频帧，该伪像指示由于各种压缩或通信问题而引入图像的较低图像质量或误差。出于选择自动包围设置的目的，阈值可以被设置为排除包括此类传输或基础降级(baseddegradation)的视频剪辑，或者被设置为与任何自动包围设置不相关的任何其它此类质量值。此类伪像可以包括图像振铃、图像轮廓、沿着弯曲边缘的阶梯噪声、分色伪像或块边界伪像。可以分析视频以用于附加的基于视频的压缩伪像，诸如与运动补偿或蚊式噪声相关联的块边界伪像，其可以通过分析视频的所选帧来识别。除了与压缩或有损传输相关联的此类信息损失之外，还可以针对其它类型的噪声来分析图像和视频帧。例如，可以针对噪声伪像来分析图像的平滑或均匀区域中的方差，诸如与低质量或故障相机传感器、相机的低质量或脏光学器件相关联的噪声，或者可降低、损坏或修改图像中的数据的任何其它此类噪声源。
在某些实施例中使用反馈或机器学习来选择或设置质量分数。此类系统可以使用神经网络来提取被识别为系统用户优选或关注的特征。例如，在一些实施例中，可以为学习集选择图像。来自学习集的一些或所有图像和视频帧可以具有使用诸如卷积神经网络的前馈人工神经网络来提取和分析的特征，以识别图像的所需元素。在此类神经网络中使用的特征图可以基于在此描述的任何分析度量，包括图像质量特征和相关联的响应度值。
在适当群组的视频采集数据和相关联的性能值是可用的之后，分析跨大数据集的自动包围设置和结果性能值以确定优选的自动包围设置。该分析可导致针对不同装置、不同地理区域、一天或一年的不同时间或基于任何其它此类变量的不同优选自动包围设置。然后，将反映针对不同上下文所识别的最优或优选自动包围设置的所得到的自动包围更新信息发送到连接到社交消息传递系统的相机装置。在一些实施例中，所有组的自动包围设置被发送到装置，其中装置基于上下文(例如，位置、时间等)在选项之间进行选择，或者在一些实施例中，基于系统中与特定装置的关联，不同的自动包围设置被发送到不同的装置。例如，诸如海滩或山脉的某些地理位置可以与不同的优选运动设置相关联。一些设置可涉及进一步的特定组设置，诸如，相比于在给出非体育演示时的相同位置，在体育赛事期间体育场地的位置可能与不同的设置相关联。此类系统使得社交消息传递系统能够提供针对上下文的自动包围值，同时保持用户的匿名性。这使得能够改进性能和目标权衡(例如质量和响应度)，而无需随时间推移跟踪个体用户数据，以便维护用户隐私。
因此，一些实施例采用基于服务器的方法来操作以生成自动包围设置。图4b示出了根据一些示例实施例的用于生成与快速视频传感器调节一起使用的自动包围设置的方法401。在一些实施例中，方法401是由与多个装置通信的服务器计算机执行的方法，该多个装置使用如上在方法400中所述的自动包围操作来生成视频剪辑。在一些实施例中，方法401由此类服务器计算机实施，该服务器计算机将视频数据和相关联的视频采集数据存储在存储器中，其中服务器计算机的一个或多个处理器被配置为对数据执行操作。在一些实施例中，方法401被实例化为存储介质中的指令，该指令当由装置的一个或多个处理器执行时，使装置执行方法401的操作。类似地，以上方法400可以是具有与可穿戴相机设备相关联的此类形式的对应操作。
方法401开始于操作452，其中服务器计算机从第一装置接收使用第一组自动包围设置采集的第一视频剪辑的第一视频采集数据。该信息可以由执行如上所述的方法400的装置生成，可以经由先前从可穿戴装置接收数据的主机装置或中间计算装置接收，或者通过任何其它此类部件接收。然后，操作454涉及分析第一视频采集数据以确定与第一组自动包围设置相关联的第一组性能值。对任何数量的装置和视频剪辑重复这些操作。在一些实施例中，接收由单个装置采用相似或不同的自动包围设置采集的多个视频剪辑。在一些实施例中，从不同装置接收所有视频剪辑。作为该数据集合的一部分，操作456和458涉及在服务器计算机处从第二装置接收使用第二组自动包围设置采集的第二视频剪辑的第二视频采集数据，并分析第二视频采集数据以确定与第二组自动包围设置相关联的第二组性能值。在收集了足够的数据之后，方法401继续进行操作460，其基于第一组性能值和第二组性能值计算或以其它方式生成包括一组更新自动包围设置的一组自动包围更新信息。在一些实施例中，然后可以可选地将该信息发送到任何数量的装置，以用于采用如在此所述的快速视频采集和传感器调节来采集视频数据。
在一些实施例中，此类方法可以在第一组性能值和第二组性能值各自包括第一帧的质量值和对应视频剪辑的第一帧的响应度值的情况下操作。此类方法可以进一步包括在服务器计算机处从至少包括第一装置、第二装置和多个附加装置的多个装置接收来自多个装置中的每个装置的对应视频剪辑的相关联的视频采集数据，相关联的视频采集数据包括针对每个对应视频剪辑的对应的自动包围设置；并分析相关联的视频采集数据以确定与对应的自动包围设置相关联的性能值；其中该组自动包围更新信息进一步基于与对应的自动包围设置相关联的性能值。
在一些此类实施例中，分析相关联的视频采集数据以确定性能值包括：分析质量值、响应度值和对应的自动包围设置的个体设置之间的统计相关值；并且生成该组自动包围更新信息包括基于质量和响应度之间的一组加权权衡标准来分析对应视频剪辑的质量值和响应度值，以选择该组更新自动包围设置。类似地，一些实施例在以下情况下工作，其中一组自动包围更新信息指示要采集的多个自动包围设置和对应的初始帧的改变以便调节预期的响应度性能，并且一些实施例在以下情况下工作，其中第一视频采集数据包括：采集第一视频剪辑期间使用的多个自动包围设置，多个自动包围设置中的每个自动包围设置的自动包围值，以及用于采集第一视频剪辑的多个自动包围设置中的所选自动包围设置的指示符。
在一些实施例中，可以将自动包围更新信息发送到对用于生成自动包围更新的数据集没有贡献的装置。在一些实施例中，信息可以被中继到诸如移动电话的主机装置，并且可由可穿戴装置基于上下文来访问，使得移动电话将包括针对各种上下文的多组自动包围设置，并且当在可穿戴装置和电话之间的握手发生在给定的上下文中时，将对相机装置提供适当自动包围设置。在此类实施例中，可穿戴装置可以仅存储单组自动包围设置，或者在未连接到主机时使用的少量设置，而主机将保持更大的一组自动包围设置。主机装置基于当前或预期的上下文更新可穿戴装置，并且社交消息传递系统的服务器系统基于对来自大量用户的数据的服务器分析向主机装置提供更大的一组自动包围设置。
图5a示出了根据在此描述的实施例的可以用作用于与可穿戴装置配对的主机装置的示例移动装置500。可以由用户594使用装置显示区域590内的触摸屏输入592来执行对在此描述的任何系统操作的输入和调节。另外，根据不同的实施例，可以通过移动设备500在可穿戴设备和消息传递系统之间传送包括视频采集数据、短暂消息或内容以及更新数据的数据通信。
图5b示出根据一些实施例的执行移动操作系统(例如，iostm、androidtm、
可以在移动装置500上执行许多种类的应用(也称为“应用软件”)，诸如本机应用(例如，在iostm上运行的以objective-c、swift或另一适当语言编程的应用，或在androidtm上运行的以java编程的应用)、移动web应用(例如，以超文本标记语言-5(html5)编写的应用)或混合应用(例如启动html5会话的本机外壳(shell)应用)。例如，移动装置500包括消息传递应用软件、音频录制应用软件、相机应用软件、书籍阅读器应用软件、媒体应用软件、健身应用软件、文件管理应用软件、位置应用软件、浏览器应用软件、设置应用软件、联系人应用软件、电话呼叫应用软件或其它应用软件(例如，游戏应用软件、社交网络应用软件、生物特征监视应用软件)。在另一示例中，移动装置500包括诸如
图5c示出了在执行应用期间生成的示例用户界面510。用户界面510包括由智能手机500的相机采集的当前场景的显示。用户界面510进一步包括在触摸屏505上生成的软按钮525，用于接收来自用户的触觉输入以控制相机操作。因此，软按钮525在功能上对应于上述的相机控制按钮。
用户界面510进一步包括具有低光图标530的示例形式的用户可选用户界面元素，当识别出低光条件或其它特定预定环境条件时，该低光图标530自动浮出显示在显示器上。在一些实施例中，这使得用户能够将相机切换到低光模式，以及选择相关联的一组自动包围值。其它实施例可以包括用于选择不同组的自动包围值的其它输入。
可以看出，上述技术和在此描述的任何方法表示本公开的方面的一个示例实施例，其提供了一种便携式电子装置，包括：框架；相机，其安装在框架上并被配置为根据一组图像采集参数采集和处理图像数据；输入机构，其设置在框架上，并被配置为接收用户输入以控制相机的操作；以及相机控制器，其结合在框架中并且被配置为至少部分地基于用户输入属性，关于相机的一组图像采集参数中的一个或多个执行自动调节动作，该用户输入属性关于将输入机构设置为接合状态的用户与输入机构的接合。
在一些实施例中，输入机构可以是双模式机构，由用户专门在接合状态和脱离状态之间设置。在一些此类实施例中，输入机构可以是触觉机构，例如包括按钮，该按钮可由用户按压以将其从脱离状态设置到接合状态。
在一些实施例中，自动调节动作可以包括自动地在便携式电子装置提供的用户界面上显示用户界面元素。在一些此类实施例中，相机控制器可以被配置为响应于用户对用户界面元素的选择来修改一个或多个图像采集参数。
在一些实施例中，自动调节动作可以包括自动修改一个或多个图像采集参数，而无需请求中间用户输入来确认或授权修改。
在一些实施例中，用户输入属性可以包括激活持续时间，该激活持续时间指示在用户接合期间输入机构被设置为接合状态的持续时间。
在一些实施例中，输入机构可以包括由便携式电子装置的框架承载的控制按钮，这样，将输入机构设置为接合状态包括用户按压控制按钮，具有指示用户持续按压控制按钮的时段的激活持续时间。在一些实施例中，控制按钮是合并在框架中的唯一机构，用于接收手动用户输入以控制相机的功能。在一些实施例中，便携式电子装置是眼镜制品，并且框架可以是头戴式的，用于在用户的视野内承载一个或多个光学元件。在一些实施例中，眼镜框架可以在外部可接触的表面上承载控制按钮作为单独的控制机构，通过该机构可以实现对相机操作的手动用户控制。
所描述的技术进一步表示用于操作与上述特征一致的电子装置的方法以及具有用于使机器执行此类方法的指令的计算机可读存储介质的示例实施例。
所公开的技术的益处在于，与现有装置相比，它们为电子装置提供了改进的图像采集功能。例如，由于具有相关参数的自动化的自动包围，使用这些参数采集图像以及在视频剪辑中包括适当的帧，因此通过使用装置采集的初始图像的质量得到改善。无需附加的用户输入或参数调节即可实现此目的。
示例机器和硬件组件
上述示例电子装置可以包含各种计算机组件或机器元件，其中的至少一些被配置用于执行自动操作和/或用于自动提供各种功能。这些包括例如如所描述的自动图像数据处理和图像采集参数调节。因此，眼镜31可以提供独立的计算机系统。可替代地或另外地，眼镜31可以形成分布式系统的一部分，该分布式系统包括一个或多个的非车载处理器和/或装置。
图6是示出可以安装在上述任何一个或多个装置上的软件602的体系结构的框图600。图6仅仅是软件体系结构的非限制性示例，并且将理解可以实现许多其它体系结构来促进在此所述的功能。在各种实施例中，软件602由诸如图6的机器700的硬件来实现，该机器700包括处理器710、存储器730和i/o组件750。在该示例体系结构中，软件602可以被概念化为层的堆栈，其中每一个层可以提供特定的功能。例如，软件602包括诸如操作系统604、库606、框架608和应用610的层。操作上，根据一些实施例，应用610通过软件堆栈调用api调用612，并响应于api调用612接收消息614。在各种实施例中，在此描述的任何客户端装置、服务器系统的服务器计算机或任何其它装置可以使用软件602的元件来操作。如前所述，诸如相机控制器214和便携式电子装置的其它组件的装置可以另外使用软件602的各方面来实现。
在各种实施方式中，操作系统604管理硬件资源并提供公共服务。操作系统604包括例如内核620、服务622和驱动器624。根据一些实施例，内核620作为硬件与其它软件层之间的抽象层。例如，内核620提供了其它功能中的存储器管理、处理器管理(例如调度)、组件管理、网络连接和安全设置。服务622可以为其它软件层提供其它公共服务。根据一些实施例，驱动器624负责控制底层硬件或与底层硬件接口连接。例如，驱动器624可以包括显示器驱动器、相机驱动器、
在一些实施例中，库606提供由应用610利用的低级通用基础设施。库606可以包括系统库630(例如，c标准库)，其可以提供诸如存储器分配函数、字符串操作函数、数学函数等的函数。此外，库606可以包括api库632，诸如媒体库(例如，支持各种媒体格式(诸如运动图像专家组-4(mpeg4)、高级视频编码(h.264或avc)、运动图像专家组层-3(mp3)、高级音频编码(aac)、自适应多速率(amr)音频编解码器、联合图像专家组(jpeg或jpg)或便携式网络图形(png))的呈现和操纵的库)、图形库(例如，用于在显示器上的图形内容中呈现二维(2d)和3d的opengl框架)、数据库库(例如，提供各种关系数据库功能的sqlite)、web库(例如，提供网页浏览功能的webkit)等。库606同样可以包括各种各样的其它库634，以向应用610提供许多其它api。
根据一些实施例，框架608提供可由应用610利用的高级公共基础架构。例如，框架608提供各种图形用户界面(gui)功能、高级别资源管理、高级位置服务等。框架608可以提供可由应用610利用的广泛范围的其它api，其中的一些可以特定于特定操作系统或平台。
在示例实施例中，应用610包括主页应用650、联系人应用652、浏览器应用654、书籍阅读器应用656、位置应用658、媒体应用660、消息传递应用662、游戏应用664以及诸如第三方应用666的广泛分类的其它应用。根据一些实施例，应用610是执行程序中定义的功能的程序。可以利用各种编程语言来创建以各种方式构造的一个或多个应用610，诸如面向对象的编程语言(例如，objective-c、java或c++)或过程编程语言(例如，c或汇编语言)。在具体示例中，第三方应用666(例如，由除了特定平台的供应商之外的实体使用androidtm或iostm软件开发工具包(sdk)开发的应用)可以是在移动操作系统(诸如iostm、androidtm、
在此描述的实施例可以特别地与显示应用667交互。此类应用667可以与i/o组件750交互以与所描述的装置建立各种无线连接。显示应用667可以例如与相机控制器214通信以自动控制由眼镜31采集的视觉媒体的显示。
在此将某些实施例描述为包括逻辑或多个组件、模块、元件或机构。此类模块可以构成软件模块(例如，在机器可读介质上或在传输信号中体现的代码)或硬件模块。“硬件模块”是能够执行某些操作的有形单元，并且可以以某种物理方式配置或布置。在各种示例实施例中，一个或多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件模块(例如，处理器或一组处理器)由软件(例如，应用或应用部分)配置为用于操作以执行如在此所述的某些操作的硬件模块。
在一些实施例中，硬件模块以机械、电子或其任何合适的组合实现。例如，硬件模块可以包括永久配置为执行某些操作的专用电路或逻辑。例如，硬件模块可以是专用处理器，诸如现场可编程门阵列(fpga)或asic。硬件模块还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路。例如，硬件模块可以包括包含在通用处理器或其它可编程处理器内的软件。应当理解，可以通过成本和时间考虑来驱动在专用和永久配置的电路中或在临时配置的电路(例如，由软件配置)中物理上地实现硬件模块的决定。
因此，短语“硬件模块”应该被理解为包含有形实体，是物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)为以某种方式操作或执行在此所述的某些操作的实体。如在此所使用的，“硬件实现的模块”是指硬件模块。考虑临时配置(例如，编程)硬件模块的实施例，不需要在任何一个时刻配置或实例化每个硬件模块。例如，在硬件模块包括由软件配置成为专用处理器的通用处理器的情况下，通用处理器可以在不同时间被配置为分别不同的专用处理器(例如，包括不同的硬件模块)。因此，软件可以配置特定的一个或多个处理器，例如，在一个时刻构成特定的硬件模块，并在不同的时刻构成不同的硬件模块。
硬件模块可以向其它硬件模块提供信息并从其接收信息。因此，所描述的硬件模块可以被视为通信地耦接。在同时存在多个硬件模块的情况下，可以通过在两个或更多个硬件模块之间或之中的信号传输(例如，通过适当的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件模块的实施例中，可以例如通过存储和检索多个硬件模块可访问的存储器结构中的信息来实现此类硬件模块之间的通信。例如，一个硬件模块执行操作并将该操作的输出存储在与其通信耦接的存储器装置中。然后，另一个硬件模块可以稍后访问存储器装置以检索和处理所存储的输出。硬件模块还可以启动与输入或输出装置的通信，并且可以在资源(例如，信息集合)上操作。
在此描述的示例方法的各种操作可以至少部分地由临时配置(例如，通过软件)或永久配置为执行相关操作的一个或多个处理器来执行。无论是临时配置还是永久配置，此类处理器构成处理器实现的模块，其操作以执行在此描述的一个或多个操作或功能。如在此所使用的，“处理器实现的模块”是指使用一个或多个处理器实现的硬件模块。
类似地，在此描述的方法可以至少部分地由处理器实现，其中特定的一个处理器或多个处理器是硬件的示例。例如，方法的至少一些操作可以由一个或多个处理器或处理器实现的模块执行。此外，一个或多个处理器还可以操作以支持“云计算”环境中的相关操作的执行或作为“软件即服务”(saas)操作。例如，至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行，其中，这些操作可以经由网络(例如，因特网)并且经由一个或多个适当的接口(例如，api)访问。在某些实施例中，例如，客户端装置可以在与云计算系统的通信中中继或操作，并且可以在云环境中存储诸如由在此描述的装置生成的图像或视频的媒体内容。
某些操作的执行可以在处理器之间分配，不仅驻留在单个机器内，而且横跨多个机器部署。在一些示例实施例中，处理器或处理器实现的模块位于单个地理位置上(例如，在家庭环境、办公室环境或服务器群内)。在其它示例实施例中，处理器或处理器实现的模块横跨多个地理位置分布。
图7是示出根据一些实施例的机器700的组件的框图，该机器700能够从机器可读介质(例如，机器可读存储介质)读取指令并执行在此所讨论的方法中的任何一种或多种方法。具体地，图7示出了以计算机系统的示例形式的机器700的图示表示，在该计算机系统内可以执行用于使机器700执行在此讨论的任何一种或多种方法的指令716(例如，软件、程序、应用、小程序、应用程序或其它可执行代码)。在替代实施例中，机器700作为独立装置操作或者可以耦接(例如，网络连接)到其它机器。在联网部署中，机器700可以以服务器-客户端网络环境中的服务器机器或客户端机器的能力操作，或者作为对等(或分布式)网络环境中的对等机器操作。机器700可以包括但不限于服务器计算机、客户端计算机、pc、平板计算机、膝上型计算机、上网本、机顶盒(stb)、pda、娱乐媒体系统、蜂窝电话、智能手机、移动装置、可穿戴装置(例如，智能手表)、智能家居装置(例如，智能家电)、其它智能装置、网络装置、网络路由器、网络交换机、网络桥接器、或者指定机器700将采取的动作的能够连续或以其它方式执行指令716的任何机器。此外，虽然只示出单个机器700，但是术语“机器”同样可被认为包括单独或联合执行指令716以执行在此所讨论的任何一种或多种方法的机器700的集合。
在各种实施例中，机器700包括处理器7110、存储器730以及可被配置成经由总线702彼此通信的i/o组件750。在示例实施例中，处理器710(例如，中央处理单元(cpu)、简化指令集计算(risc)处理器、复合指令集计算(cisc)处理器、图形处理单元(gpu)、数字信号处理器(dsp)、asic、射频集成电路(rfic)、另一个处理器或其任何合适的组合)包括例如可以执行指令716的处理器712和处理器714。术语“处理器”旨在包括多核处理器，该多核处理器可以包括可以同时执行指令的两个或更多个独立处理器(同样称为“核”)。尽管图6示出了多个处理器710，但是机器700可以包括单个具有单核的处理器、单个具有多核的处理器(例如，多核处理器)、多个具有单核的处理器、多个具有多核的处理器或其任何组合。
根据一些实施例，存储器730包括主存储器732、静态存储器734和经由总线702可被处理器710访问的存储单元736。存储单元736可以包括机器可读介质738，在该机器可读介质738上存储了体现在此所述的方法或功能中任何一个或多个的指令716。指令716同样可以在由机器700对其的执行期间完全或至少部分地驻留在主存储器732内、静态存储器734内、处理器710中的至少一个内(例如，在处理器的高速缓冲存储器内)或它们的任何合适的组合。因此，在各种实施例中，主存储器732、静态存储器734和处理器710被认为是机器可读介质738。
如在此所使用的，术语“存储器”是指能够临时或永久地存储数据的机器可读介质738，并且可以认为包括但不限于随机存取存储器(ram)、只读存储器(rom)、缓存、闪存和高速缓存。虽然机器可读介质738在示例实施例中被示出为单个介质，但术语“机器可读介质”应当被认为包括能够存储指令716的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”同样可被视为包括能够存储指令(例如，指令716)用于由机器(例如，机器700)执行的任何介质或多个介质的组合，使得指令在由机器700的一个或多个处理器(例如，处理器710)执行时使机器700执行在此描述的方法中的任何一种或多种方法。因此，“机器可读介质”是指单个存储设备或装置，以及包括多个存储设备或装置的“基于云”的存储系统或存储网络。因此，术语“机器可读介质”可被视为包括但不限于以固态存储器(例如，闪存)、光学介质、磁性介质、其它非易失性存储器(例如，可擦除可编程只读存储器(eprom))或其任何合适的组合的形式的一种或多种数据存储库。术语“机器可读介质”明确地排除非法定信号本身。
i/o组件750包括用于接收输入、提供输出、产生输出、发送信息、交换信息、采集测量等的各种各样的组件。通常，可理解的是i/o组件750可以包括图6中未示出的许多其它组件。i/o组件750根据功能被分组，仅用于简化以下讨论，并且分组决不是限制性的。在各种示例实施例中，i/o组件750包括输出组件752和输入组件754。输出组件752包括视觉组件(例如，显示器，诸如等离子体显示面板(pdp)、发光二极管(led)显示器、液晶显示器(lcd)、投影仪或阴极射线管(crt))、听觉组件(例如扬声器)、触觉组件(例如振动电动机)、其它信号发生器等。输入组件754包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指向仪器)、触知输入组件(例如，物理按钮、提供触摸或触摸手势的位置和力的触摸屏、或其它触知输入组件)、音频输入组件(例如，麦克风)等。
在一些另外的示例实施例中，i/o组件750包括各种其它组件中的生物特征组件756、运动组件758、环境组件760或位置组件762。例如，生物特征组件756包括检测表达(例如手部表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗水或脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件758包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。环境组件760包括例如照明传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、接近度传感器组件(例如，检测附近物体的红外传感器)、气体传感器组件(例如，机器嗅觉检测传感器、用于为了安全而检测危险气体浓度或测量大气中的污染物的气体检测传感器)或可能提供与周围物理环境相对应的指示、测量或信号的其它组件。位置组件762包括位置传感器组件(例如，全球定位系统(gps)接收器组件)、高度传感器组件(例如，高度计或气压计，其可以检测可以从哪个高度导出的空气压力)、取向传感器组件(例如，磁力计)等。
通信可以使用各种各样的技术来实现。i/o组件750可以包括通信组件764，其可操作以分别经由耦接器782和耦接器772将机器700耦接到网络780或装置770。例如，通信组件764包括网络接口组件或与网络780接口连接的另一合适装置。在另外的示例中，通信组件764包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(nfc)组件、
此外，在一些实施例中，通信组件764检测标识符或包括可操作以检测标识符的组件。例如，通信组件764包括射频识别(rfid)标签读取器组件、nfc智能标签检测组件、光学读取器组件(例如，光学传感器，其用于检测诸如通用产品代码(upc)条形码的一维条形码、诸如快速响应(qr)码、aztec码、数据矩阵、数字图形、最大码、pdf417、超码、统一商业代码缩减空格符号(uccrss)-2d条形码的多维条形码和其它光学代码)、声学检测组件(例如，用于识别标记的音频信号的麦克风)或其任何合适的组合。此外，可以经由可以指示特定位置的通信组件764来得到各种信息，诸如经由因特网协议(ip)地理位置的位置、经由
传输介质
在各种示例实施例中，网络780的一个或多个部分可以是自组织网络、内联网、外部网、虚拟专用网络(vpn)、局域网(lan)、无线lan(wlan)、广域网(wan)、无线wan(wwan)、城域网(man)、因特网、因特网的一部分、公共交换电话网(pstn)的一部分、普通老式电话服务(pots)网络、蜂窝电话网络、无线网络、
在示例实施例中，经由网络接口装置(例如，在通信组件764中包括的网络接口组件)使用传输介质通过网络780发送或接收指令716，并且利用多个公知的传输协议(例如，http)中的任何一个。类似地，在其它示例实施例中，使用传输介质经由耦接772(例如，对等耦接)向装置770发送或接收指令716。术语“传输介质”可被视为包括能够存储、编码或携带由机器700执行的指令716的任何无形介质，并且包括数字或模拟通信信号或其它无形介质以便于这种软件的通信实现。
此外，因为机器可读介质738不体现传播信号，所以机器可读介质738是非暂态的(换句话说，不具有任何短暂信号)。然而，将机器可读介质738标记为“非暂态”不应被解释为意味着介质不能移动；介质738应该被认为是可从一个物理位置传送到另一物理位置。另外，由于机器可读介质738是有形的，因此介质738可以被认为是机器可读装置。
在整个说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。虽然将一种或多种方法的单独操作示出和描述为单独的操作，但可以并行地执行单独操作中的一个或多个，并且不需要以所示顺序执行操作。作为示例配置中的单独组件呈现的结构和功能可以被实现为组合的结构或组件。类似地，作为单个组件呈现的结构和功能可以被实现为分离的多个组件。这些和其它变化、修改、添加和改进落入本文主题的范围内。
虽然已经参考具体示例实施例描述了本发明主题的概述，但是在不脱离本公开的实施例的更广泛范围的情况下，可以对这些实施例进行各种修改和改变。仅出于方便，本发明主题的此类实施例在此可以单独地或共同地由术语“发明”指代，，如果事实上公开了多于一个的公开内容或发明构思，则不旨在将本申请的范围限制于任何单个公开内容或发明构思。
在此示出的实施例足够详细地描述，以使本领域技术人员能够实践所公开的教导。可以从中使用和导出其它实施例，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此，具体实施方式不应被认为是限制性的，并且各种实施例的范围仅由所附权利要求以及这些权利要求所赋予的等同物的全部范围来限定。
如在此所使用的，术语“或”可以以包含或排除的方式来解释。此外，多个实例可以作为单个实例为在此所述的资源、操作或结构提供。此外，各种资源、操作、模块、引擎和数据存储之间的边界是一定程度上任意的，并且在特定说明性配置的上下文中示出了特定的操作。可以设想功能的其它分配，并且这些其它分配可以落入本公开的各种实施例的范围内。通常，作为示例配置中的分离的资源呈现的结构和功能可以被实现为组合的结构或资源。类似地，作为单个资源呈现的结构和功能可以被实现为分离的资源。这些和其它变化、修改、添加和改进落入由所附权利要求所表示的本公开的实施例的范围内。因此，说明书和附图被认为是说明性的而不是限制性的。
- 还没有人留言评论。精彩留言会获得点赞！