基于事件映射的相机设置调整的制作方法

本公开整体涉及相机设置调整。例如，本公开的各方面涉及基于事件映射的相机设置调整。

背景技术：

1、越来越多的电子设备配备了相机硬件，用于捕获图像和/或视频以供使用。例如，计算设备可包括相机(例如，移动设备诸如包括一个或多个相机的移动电话或智能电话)以允许计算设备捕获场景、人物、对象等的视频或图像。该图像或视频可由计算设备(例如，移动设备、ip相机、扩展现实设备、连接设备等)捕获和处理，并被存储或输出以供使用(例如，在设备和/或另一设备上显示)。在一些情况下，可针对效果(例如，压缩、图像增强、图像恢复、缩放、帧速率转换等)和/或某些应用(诸如计算机视觉、扩展现实(例如，增强现实、虚拟现实等)、对象检测、图像识别(例如，人脸识别、对象识别、场景识别等)、特征提取、身份验证和自动化等)对图像或视频进行进一步处理。

2、在一些情况下，电子设备可处理图像以检测由图像捕获的对象、人脸和/或任何其他项目。对象检测可用于各种应用，诸如身份验证、自动化、姿势识别、监控、扩展现实、计算机视觉等。在一些示例中，电子设备可实现较低功率或“常开”(aon)相机，其持续地或周期性地运行以自动检测环境中的某些对象。较低功率相机可针对多种用例来实现，诸如持续手势检测、持续对象(例如，人脸/人物、动物、车辆、设备、飞机等)检测、持续对象扫描(例如，快速响应(qr)代码扫描、条形码扫描等)、用于身份验证的持续人脸识别等。然而，较低功率相机和其他相机设置的持续操作和/或更频繁操作可能导致高的总功耗。此外，实现此类较低功率相机的移动设备可能会受到电池寿命缩短的影响，并且固定设备可能需要更复杂的散热设计和/或在长期使用期间表现出不可接受的低功率效率。因此，显著更高的功耗会对电子设备的使用、设备的性能和用户体验产生负面影响。

技术实现思路

1、本文描述了用于基于事件映射的相机设置调整的系统和技术。根据至少一个示例，提供了一种用于基于事件数据调整相机设置的方法。该方法可包括：经由电子设备的图像捕获设备获得描绘环境的至少一部分的图像；确定从该图像提取的一个或多个视觉特征和与关联于一个或多个检测事件的关键帧相关联的一个或多个视觉特征之间的匹配；以及基于该匹配，调整该图像捕获设备的一个或多个设置。

2、根据至少一个示例，提供了一种用于基于事件数据调整相机设置的非暂态计算机可读介质。该非暂态计算机可读介质可包括存储在其上的指令，这些指令当由一个或多个处理器执行时，使该一个或多个处理器：经由电子设备的图像捕获设备获得描绘环境的至少一部分的图像；确定从该图像提取的一个或多个视觉特征和与关联于一个或多个检测事件的关键帧相关联的一个或多个视觉特征之间的匹配；以及基于该匹配，调整该图像捕获设备的一个或多个设置。

3、根据至少一个示例，提供了一种用于基于事件数据调整相机设置的装置。该装置可包括存储器和一个或多个处理器，该一个或多个处理器被配置为：经由该装置的图像捕获设备获得描绘环境的至少一部分的图像；确定从该图像提取的一个或多个视觉特征和与关联于一个或多个检测事件的关键帧相关联的一个或多个视觉特征之间的匹配；以及基于该匹配，调整该图像捕获设备的一个或多个设置。

4、根据至少一个示例，提供了用于基于事件数据调整相机设置的另一装置。该装置可包括用于执行以下操作的构件：经由该装置的图像捕获设备获得描绘环境的至少一部分的图像；确定从该图像提取的一个或多个视觉特征和与关联于一个或多个检测事件的关键帧相关联的一个或多个视觉特征之间的匹配；以及基于该匹配，调整该图像捕获设备的一个或多个设置。

5、在一些方面，上文所述的方法、非暂态计算机可读介质和装置可周期性地减少与电子设备处的事件数据中的关键帧条目相关联的检测事件的相应计数，该检测事件的相应计数跨事件数据中的所有关键帧条目成比例地减少。

6、在一些示例中，调整图像捕获设备的一个或多个设置可包括修改图像捕获设备的功率模式。在一些情况下，修改图像捕获设备的功率模式可包括修改以下中的至少一者：图像捕获设备的帧速率、图像捕获设备的分辨率、图像捕获设备的像素合并模式、图像捕获设备的成像模式以及由图像捕获设备和电子设备中的至少一者调用的图像传感器的数量。在一些示例中，修改图像捕获设备的功率模式可包括：基于在环境中发生感兴趣事件的可能性低于阈值的确定，降低帧速率、分辨率、像素合并模式、成像模式和调用的图像传感器的数量中的至少一者。在一些示例中，修改图像捕获设备的功率模式可包括：基于在环境中发生感兴趣事件的可能性高于阈值的确定，提高帧速率、分辨率、像素合并模式、成像模式和所调用的图像传感器的数量中的至少一者。

7、在一些示例中，图像捕获设备可包括第一图像捕获设备，并且上述方法、非暂态计算机可读介质和装置可包括基于在环境中发生感兴趣事件的可能性高于阈值的确定而提高电子设备的第二图像捕获设备的功率模式，其中第二图像捕获设备采用以下中的至少一者：比第一图像捕获设备更高的功率模式、比第一图像捕获设备更高的帧速率、比第一图像捕获设备更高的分辨率、比第一图像捕获设备更多数量的图像传感器以及比与第一图像捕获设备相关联的处理流水线更高功率的处理流水线。在一些示例中，提高第二图像捕获设备的功率模式可包括初始化该第二图像捕获设备。

8、在一些情况下，关键帧被包含在电子设备处的事件数据中，并且该事件数据可包含来自与图像捕获设备相关联的检测事件的多个关键帧。在一些情况下，事件数据还包含与该多个关键帧中的每个关键帧相关联的检测事件的相应计数。

9、在一些方面，上文所述的方法、非暂态计算机可读介质和装置可包括基于该匹配以及来自该多个关键帧中的一个或多个关键帧来确定在环境中发生感兴趣事件的可能性。

10、在一些方面，上文所述的方法、非暂态计算机可读介质和装置可包括基于该匹配和与该关键帧相关联的检测事件的相应计数来确定在环境中发生感兴趣事件的可能性。

11、在一些方面，上文所述的方法、非暂态计算机可读介质和装置可包括响应于确定从图像提取的一个或多个视觉特征与关联于该关键帧的一个或多个视觉特征之间的该匹配，增加事件数据中与关键帧相关联的检测事件的相应计数。

12、在一些方面，上文所述的方法、非暂态计算机可读介质和装置可包括：经由图像捕获设备获得描绘不同环境的至少一部分的不同图像；确定从不同图像提取的一个或多个视觉特征与关联于电子设备处的事件数据中的任何关键帧的视觉特征都不匹配；以及在事件数据中创建与不同图像相对应的新条目，响应于确定从不同图像提取的一个或多个视觉特征与关联于事件数据中的任何关键帧的视觉特征都不匹配以及以下中的至少一者而创建该新条目：确定在不同图像中检测到感兴趣事件、自上次创建事件数据中的相应关键帧起经过的时间，以及自上次标识出事件数据中的特定关键帧与由图像捕获设备捕获的特定图像之间的相应匹配起经过的时间。

13、在一些方面，上文所述的方法、非暂态计算机可读介质和装置可包括：确定在不同图像中检测到感兴趣事件；基于在不同图像中检测到感兴趣事件的确定，确定在不同环境中发生附加的感兴趣事件的第二可能性；以及基于在不同环境中发生附加的感兴趣事件的第二可能性来调整图像捕获设备的至少一个设置。

14、在一些情况下，图像捕获设备的该一个或多个设置可包括帧速率，并且上述方法、非暂态计算机可读介质和装置可包括：基于用于检测事件的预先确定的帧速率和在环境中发生感兴趣事件的可能性来确定帧速率；以及维持帧速率，直到至少配置的时间段到期或者确定由图像捕获设备捕获的不同图像与电子设备处的事件数据中的至少一个关键帧之间的后续匹配为止。

15、在一些方面，上文所述的方法、非暂态计算机可读介质和装置可包括在所配置的时间段到期或确定后续匹配之后，将图像捕获设备的帧速率调整为不同的帧速率。在一些示例中，该不同的帧速率可包括默认帧速率或基于预先确定的帧速率和检测到与后续匹配相关联的特定感兴趣事件的第二可能性确定的特定帧速率。

16、在一些示例中，该预先确定的帧速率可包括图像捕获设备支持的最高帧速率，并且其中确定帧速率可包括将该预先确定的帧速率乘以与在环境中发生检测事件的可能性相对应的值。

17、在一些示例中，预先确定的帧速率高于默认帧速率，并且上述方法、非暂态计算机可读介质和装置可包括响应于将一个或多个关键帧添加到电子设备处的事件数据而将默认帧速率降低到较低帧速率。

18、在一些情况下，确定从图像提取的一个或多个视觉特征与关联于关键帧的一个或多个视觉特征之间的匹配还包括：将从图像提取的该一个或多个视觉特征中的至少一个视觉特征与关联于关键帧的该一个或多个视觉特征进行比较，以及将从图像提取的该一个或多个视觉特征的第一描述符与关联于关键帧的该一个或多个视觉特征的第二描述符进行比较。

19、在一些方面，上文所述的方法、非暂态计算机可读介质和装置可包括：基于在环境中发生感兴趣事件的可能性，调整以下中的至少一者的一个或多个不同设置：电子设备的主动深度发射器、音频算法、与全球导航卫星(gnss)系统、无线位置区域网络连接和全球定位系统(gps)中的至少一者相关联的位置服务。

20、在一些示例中，调整该一个或多个不同设置可包括关闭或实现主动深度发射器、音频算法和位置服务中的至少一者。

21、在一些示例中，一个或多个检测事件可包括检测到以下中的至少一者：由图像描绘的人脸、由图像描绘的手势、由图像描绘的情绪、由图像描绘的场景、由图像描绘的一个或多个人、由图像描绘的动物、由图像描绘的机器可读代码、由图像描绘的红外光、由图像描绘的二维表面和由图像描绘的文本。在一些情况下，关键帧是电子设备处的事件数据的一部分，并且事件数据包括多个关键帧。

22、在一些方面，上文所述的方法、非暂态计算机可读介质和装置可包括：基于该匹配，确定在环境中发生感兴趣事件的可能性；以及进一步基于在环境中发生感兴趣事件的可能性来调整图像捕获设备的一个或多个设置。

23、在一些方面，上文所述的方法、非暂态计算机可读介质和装置可包括：进一步基于来自电子设备的非图像捕获设备的数据来确定事件的可能性；或者进一步基于来自电子设备的非图像捕获设备的数据来调整图像捕获设备的该一个或多个设置。

24、在一些方面，上文所述的装置中的每个装置为移动设备、智能或连接设备、相机系统和/或扩展现实(xr)设备(例如，虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备)，或者可为这些设备的一部分或可包括这些设备。在一些示例中，该装置可包括车辆、移动设备(例如，移动电话或所谓的“智能电话”或其他移动设备)、可穿戴设备、个人计算机、膝上型计算机、平板计算机、服务器计算机、机器人设备或系统、航空系统或其他设备或者为这些设备的一部分。在一些方面，该装置包括用于捕获一个或多个图像的一个图像传感器(例如，一个相机)或多个图像传感器(例如，多个相机)。在一些方面，该装置包括用于显示一个或多个图像、通知和/或其他可显示数据的一个或多个显示器。在一些方面，该装置包括一个或多个扬声器、一个或多个发光设备和/或一个或多个麦克风。在一些方面，上文描述的装置可以包括一个或多个传感器。在一些情况下，该一个或多个传感器可以用于确定该装置的位置、该装置的状态(例如，跟踪状态、操作状态、温度、湿度水平和/或另一状态)并且/或者用于其他目的。

25、该发明不旨在标识所要求保护的主题的关键或必要特征，其也不旨在孤立地用于确定所要求保护的主题的范围。本主题内容应当参考本专利的整个说明书的合适部分、任何或所有附图、以及每项权利要求来理解。

26、前述内容以及其他特征和实施方案将在参考以下说明书、权利要求书和所附附图时变得更明显。