具有低功率传感器装置和高功率传感器装置的传感器系统的制作方法

文档序号:30711379发布日期:2022-07-10 15:33阅读:80来源:国知局
具有低功率传感器装置和高功率传感器装置的传感器系统的制作方法
具有低功率传感器装置和高功率传感器装置的传感器系统
1.交叉引用
2.本技术要求2020年3月31日提交的美国非临时申请16/836,764的较早提交日的权益,该申请的公开内容以全文引用的方式并入本文中。
技术领域
3.本公开涉及传感器装置。更具体地说,本公开涉及具有较低功率传感器装置和高功率传感器装置的传感器系统。
4.相关领域的描述
5.传感器装置可用于对传感器数据进行捕获、获取、收集、检测、感测等。传感器数据可指示关于传感器装置所处的区域、位置、环境等等的信息。例如,传感器装置可以是音频传感器,并且传感器数据可以是音频传感器检测到的音频数据(例如,音频、声音等)。在另一示例中,传感器装置可以是相机传感器,并且传感器数据可以是相机传感器捕获(例如,收集、获取、记录等)的图像/视频数据(例如,图像、视频、帧等)。


技术实现要素:

6.在一些实施方案中,提供一种传感器装置。传感器装置包括被配置成获取传感器数据的传感器和配置成与一组辅助传感器装置通信的通信接口。该组辅助传感器装置包括一组辅助传感器和一组辅助处理装置。该组辅助传感器被配置成获取额外传感器数据。该组辅助处理装置被配置成基于一组辅助机器学习模型来处理额外传感器数据,并基于通过该组辅助机器学习模型处理额外传感器数据来生成激活数据。传感器装置还包括耦合到传感器的处理装置。处理装置被配置成在第一功率状态中操作传感器装置。处理装置还被配置成从该组辅助传感器装置接收激活数据。处理装置还被配置成将传感器装置转变为第二功率状态,该第二功率状态消耗的功率多于第一功率状态。处理装置还被配置成基于激活数据而使传感器获取第一传感器数据。处理装置还被配置成基于第一传感器数据和机器学习模型生成一个或多个推断,其中处于第二功率状态的传感器装置消耗的功率多于每个辅助传感器装置。
7.在一些实施方案中,提供一种传感器装置。传感器装置包括被配置成获取传感器数据的传感器和被配置成与主传感器装置通信的通信接口。主传感器装置包括主传感器和主处理装置。主传感器被配置成获取主传感器数据。主处理装置被配置成基于激活数据通过主机器学习模型处理主传感器数据。传感器装置还包括耦合到传感器的处理装置。处理装置被配置成从传感器接收传感器数据。处理装置还被配置成基于传感器数据和机器学习模型生成一个或多个推断。处理装置还被配置成基于该一个或多个推断向主传感器装置发送激活数据。传感器装置消耗的功率少于主传感器装置。激活数据使主传感器装置获取额外传感器数据。
8.在一些实施方案中,提供一种方法。方法包括在第一功率状态中操作传感器装置。方法还包括通过传感器装置从一组辅助传感器装置接收激活数据。该组辅助传感器装置包
括一组辅助传感器和一组辅助处理装置。该组辅助传感器被配置成获取额外传感器数据。该组辅助处理装置被配置成基于一组辅助机器学习模型来处理额外传感器数据,并基于通过该组辅助机器学习模型处理额外传感器数据来生成激活数据。方法还包括基于激活数据而使传感器装置的传感器获取第一传感器数据。方法还包括基于第一传感器数据和机器学习模型生成一个或多个推断,其中传感器装置消耗的功率多于该组辅助传感器装置中的每个辅助传感器装置。
附图说明
9.图1是根据本公开的一个或多个实施方案的示出示例性系统架构的框图。
10.图2是根据本公开的一个或多个实施方案的示出示例性系统架构的框图。
11.图3是根据本公开的一个或多个实施方案的示出示例性系统架构的框图。
12.图4是根据本公开的一个或多个实施方案的示出用于处理传感器数据的示例性过程的流程图。
13.图5是根据本公开的一个或多个实施方案的示出用于处理传感器数据的示例性过程的流程图。
14.为了有助于理解,在可能的情况下,使用相同的参考标号来表示附图中共有的相同元件。可以设想是,在一个实施方案中公开的元件可以有利地用于其他实施方案而无需具体叙述。
具体实施方式
15.在以下公开内容中,参考本公开的示例、具体实施和/或实施方案。然而,应当理解,本公开不限于具体描述的示例、具体实施和/或实施方案。本文所公开的特征、功能、操作、部件、模块等的任何组合,无论是否与不同实施方案相关,都可用于实现和操作本公开。此外,尽管本公开的实施方案可以提供优于其他可能解决方案的优点和/或益处,但是给定实施方案是否实现特定优点和/或益处不是对本公开的限制。因此,以下方面、特征、实施方案和优点仅是说明性的,并且不被认为是所附权利要求书的要素或限制,除非在权利要求书中明确地叙述。同样地,对“本公开”的引用不应当被解释为本文公开的任何发明主题的概括,并且不应当被认为是所附权利要求书的要素或限制,除非在权利要求书中明确地叙述。
16.本文提供的标题仅为了方便,并不一定影响要求保护的发明的范围或含义。本文公开了与处理由传感器装置生成的传感器数据相关的示例性实现方式、配置和/或实施方案。
17.如上文所论述,传感器装置可用于对传感器数据进行捕获、获取、收集、检测、感测等。传感器数据可指示关于传感器装置所处的区域、位置、环境等等的信息。传感器数据可用于确定是否已经满足条件、标准、阈值等,或者在区域/位置/环境中是否已发生某事。为了正确地检测条件、阈值、事件等,传感器装置可以持续操作。例如,传感器装置可持续获取并处理/分析传感器数据。然而,持续操作(例如,以较高功率状态或满功率状态持续操作)可能会使传感器装置消耗更多的能量(这可能会耗尽传感器装置的电源,如电池)。一些传感器装置使用运动传感器(和其它类似装置)来触发传感器装置获取/捕获传感器数据(例
如,从较低功率状态转变到较高功率状态)。然而,运动传感器(和其它类似装置)通常容易出错和/或误报,这可能会导致传感器装置浪费电力。运动传感器也可能无法检测某些条件、标准、阈值等。例如,运动传感器可能检测到移动,但可能无法确定是人在移动还是动物在移动。
18.在本文公开的各种实施方案、示例和/或实现方式中,主传感器装置(例如,高/较高功率传感器装置)与一个或多个辅助传感器装置(例如,低/较低功率传感器装置)分为一组。辅助传感器装置消耗的功率可少于主传感器装置。主传感器装置可具有比辅助传感器装置更强大和/或更高质量的传感器,该传感器消耗的功率可多于辅助传感器装置上的传感器。另外,主传感器装置还可具有更强大的进程,该进程消耗的功率可多于辅助传感器装置上的处理器。此外,主传感器装置可使用一种机器学习模型,执行该机器学习模型所使用的功率多于辅助传感器装置上的机器学习模型。辅助传感器装置可持续获取传感器数据并使用机器学习模型处理传感器数据。当检测到条件、标准、阈值、事件等时,辅助传感器装置可触发或引发主传感器装置获取传感器数据并处理传感器数据。这可允许传感器系统具有一个常开的较低功率传感器装置,该装置可以触发/激活较高功率传感器装置,从而使得不同传感器装置更有效地使用能量/功率。另外,辅助传感器装置还包括允许辅助传感器装置检测更多阈值、标准、条件、事件等的机器学习模型。
19.图1是根据本公开的一些实施方案的示出示例性系统架构100的图。系统架构100可被称为传感器系统。系统架构100包括网络110、主传感器装置120a、主传感器装置120b、辅助传感器装置130a和第二传感器装置130b。系统架构100还包括传感器群组140a和传感器群组140b。主传感器装置120a和辅助传感器装置130a是传感器群组140a的部分。主传感器装置120b和辅助传感器装置130b是传感器群组140b的部分。主传感器装置120a和120b及辅助传感器装置130a和130b可各自对传感器数据进行收集、获取、检测等。传感器数据可提供关于传感器所处的区域、环境等等的信息。
20.在一个实施方案中,主传感器装置120a和120b可包括对区域、环境等等的图片和/或视频进行捕获、获取、采集等等(例如,获取区域、环境等等的传感器数据)的传感器。例如,主传感器装置120a和120b可以是数码相机、摄像机等。主传感器装置120a和120b可包括各种部件、模块、电路等,以获取视频和/或图像(例如,传感器数据)。例如,主传感器装置120a和120b可各自包括传感器,例如相机传感器、电荷耦合装置(ccd)阵列、图像传感器等。主传感器装置120a和120b中的每个主传感器装置还可包括处理装置(例如,中央处理单元(cpu)、图形处理单元(gpu)、控制器、现场可编程门阵列(fpga)、专用集成电路(asic)、处理核心等)。
21.主传感器装置120a和120b中的每个主传感器装置还可包括一个或多个机器学习模型。机器学习模型可以使用传感器数据,并且可以基于传感器数据生成一个或多个推断、输出、结果等。一种机器学习模型类型可以是神经网络。神经网络可以是连接和/或互连节点的集合。这些节点可也称为神经元。每个节点可以将信号、消息、数据、信息等发送到一个或多个其他节点。节点可以从另一节点接收信号、消息、数据、信息等,并且可以生成附加信号、消息、数据、信息等以发送到与其连接的其他节点。神经网络可以是可用于通过各种计算确定输入数据中的特征的计算模型。神经网络可以根据定义要执行的计算序列的结构来确定输入数据(例如,音频数据、图像数据、视频数据等)中的特征(例如,数字、形状、图案
等),以及定义应用于计算的系数的权重值。神经网络可还包括权重或权重值。权重或权重值可以是两个或更多节点之间的缩放因子。例如,该结构可以表示为不同节点的连接,其中每个节点表示其输入的总和,并且与某个连接相关联的权重值可以表示与该连接中的节点的输出相乘的系数或缩放因子。
22.一种神经网络类型可以是卷积神经网络(cnn)。cnn可以是前馈神经网络。前馈神经网络可以是一种神经网络,其中节点之间的连接不形成循环。另一神经网络类型可以是递归神经网络(rnn)。rnn可以是神经网络,其中节点之间的连接可以形成有向图。rnn可以是一种神经网络,其中节点之间的连接可以形成循环。尽管本文可能论述的是神经网络,但是可在其它实施方案中使用其它类型的机器学习模型、功能、算法等。
23.在一个实施方案中,辅助传感器装置130a和130b也可包括对区域、环境等等的图片和/或视频进行捕获、获取、采集等等(例如,获取区域、环境等等的传感器数据)的传感器。例如,辅助传感器装置130a和130b也可以是数码相机、摄像机等。辅助传感器装置130a和130b也可包括各种部件、模块、电路等,以获取视频和/或图像(例如,传感器数据)。例如,每个辅助传感器装置130a和130b可包括传感器(例如,相机传感器)、处理装置和/或一个或多个机器学习模型。在其它实施方案中,辅助传感器装置130a和130b可以是其它类型的传感器装置。例如,辅助传感器装置130a和130b可以是音频传感器装置(例如,具有麦克风的传感器装置)、热传感器装置(例如,具有热/温度传感器的传感器装置),等等。
24.如上文所论述,当发生事件、条件、阈值等时,传感器装置获取传感器数据可能很有用。然而,为了使传感器装置确定事件、条件、阈值等何时发生,传感器装置可以持续获取和/或分析传感器数据。这可能会导致传感器装置使用更多功率来操作。另外,获取(例如,捕获、记录、检测等)更高质量的传感器数据可能很有用。例如,更高分辨率的图像/视频可允许传感器装置更好地分析图像/视频和/或生成更好的推断。传感器装置可以使用更先进或更强大且具有更多功能的传感器,以获取更高质量的传感器数据。然而,更先进/强大且具有更多功能的传感器的操作也可能消耗更多功率。此外,更强大(例如,更快)的处理装置可允许传感器更快速地处理/分析传感器数据。然而,更强大的处理装置的操作可能消耗更多功率。
25.在一个实施方案中,辅助传感器装置130a和130b可以是持续获取传感器数据的传感器装置。例如,辅助传感器装置130a和130b可每几毫秒、每秒或以其它时间间隔获取传感器数据(例如,可捕获视频和/或图像)。辅助传感器装置130a和130b可被称为常开装置。常开装置可以是持续获取传感器数据和/或分析传感器数据(例如,使用机器学习模型分析传感器数据)的传感器装置。
26.在一个实施方案中,辅助传感器装置130a和130b所消耗、使用等的功率可少于主传感器装置120a和120b。例如,辅助传感器装置130a的传感器(例如,相机传感器)使用的功率可少于主传感器装置120a的传感器(例如,相机传感器)。辅助传感器装置130a的传感器可能是较低功率或较低分辨率的相机传感器,与之相比,主传感器装置120a的传感器可能是较高分辨率或较高功率的相机传感器。在另一示例中,供辅助传感器装置130b使用的处理装置和/或机器学习模型使用的功率可少于供主传感器装置120b使用的处理装置和/或机器学习模型。
27.如图1中所示,主传感器装置120a和120b及辅助传感器装置130a和130b划分成传
感器群组140a和140b。传感器群组140a包括主传感器装置120a和辅助传感器装置130a。主传感器装置120a可耦合到网络110。辅助传感器装置130a还可耦合到网络110,和/或可耦合到主传感器装置120a。例如,辅助传感器装置130a中的一个辅助传感器装置可经由电缆、总线、电线等直接耦合到主传感器装置120a。传感器群组140b包括主传感器装置120b和辅助传感器装置130b。主传感器装置120b和辅助传感器装置130b可耦合到网络110。网络110可包括公共网络(例如,互联网)、专用网络(例如,局域网(lan))、广域网(wan)诸如互联网、有线网络(例如,以太网网络)、无线网络(例如,802.11网络或wi-fi网络)、蜂窝网络(例如,长期演进(lte)网络、4g网络、5g网络)、路由器、集线器、开关、服务器计算机、其它类型的计算机网络,和/或它们的组合。
28.在一个实施方案中,辅助传感器装置可与主传感器位于相同位置。例如,对于主传感器装置120a和辅助传感器装置130a所处的区域,主传感器装置120a和辅助传感器装置130a可具有相同视图。在另一实施方案中,辅助传感器装置可与主传感器装置位于不同位置。例如,对于主传感器装置120b和辅助传感器装置130b所处的区域,主传感器装置120b和辅助传感器装置130b可具有不同视图。
29.在一个实施方案中,辅助传感器装置130a和130b可引发/触发主传感器装置120a和120b对传感器数据进行获取、收集、检测、感测等。例如,辅助传感器装置130a可基于由辅助传感器装置130a获取或收集的传感器数据而检测对象、人、移动等。辅助传感器装置130a可向主传感器装置120a发送激活数据(例如,消息、指令或一些其它适当的数据)。激活数据可使主传感器装置120a收集传感器数据,如下文更详细地论述。这可允许辅助传感器装置130a和130b引发或触发主传感器装置120收集传感器数据,如下文所论述。
30.在一个实施方案中,辅助传感器装置130a和130b还可使用机器学习模型来确定是否已检测到对象。例如,辅助传感器装置130a和130b可向机器学习模型提供传感器数据以检测是否已满足条件、触发、阈值等(例如,是否检测到移动、是否检测到某一类型的对象,等等)。这可允许辅助传感器装置130a和130b更有效地触发主传感器装置120a和120b。例如,辅助传感器装置130a和130b可以误报更少的方式触发主传感器装置120a和120b。与使用标准运动传感器(例如,被动红外传感器)触发/激活主传感器装置120a和120b相比,这可允许主传感器装置120a和120b更有效地操作(例如,使用更少的功率)(例如,因为主传感器装置120a和120b将由于误报更少而被更少地激活/触发)。
31.在一些实施方案中,辅助传感器装置130a和130b可耦合到主传感器装置120a和120b(直接地或经由网络110),以替代触发主传感器装置120a和120b的现有装置。例如,主传感器装置120a可能已被配置成与pir传感器一起操作。主传感器装置120可以用辅助传感器装置130a改装(例如,辅助传感器装置130a可以替代pir传感器)。这可允许辅助传感器装置130a和130b结合各种主传感器装置一起进行操作。例如,辅助传感器装置130a和130b可结合各种品牌和/或型号的相机装置一起操作。
32.在一些实施方案中,主传感器装置120a和120b及辅助传感器装置130a和130b可以向彼此提供反馈和/或数据。例如,辅助传感器装置130a可向主传感器装置120a提供数据,使得主传感器装置120a能够更快速地和/或更有效地分析传感器数据(例如,改变传感器的设置、改进由机器学习模型生成的推断/输出,等等)。在另一示例中,主传感器装置120b可向辅助传感器装置130b提供数据,以减少辅助传感器装置130b所报告的误报。
33.如上文所论述,为了正确地检测条件、阈值、事件等,传感器装置可以持续操作。然而,持续操作(例如,以较高功率状态或满功率状态持续操作)可能会使传感器装置消耗更多的能量(这可能会耗尽传感器装置的电源,如电池)。另外,使用运动传感器(和其它类似装置)可能容易出错,和/或可能生成会导致传感器装置浪费电力的误报。此外,运动传感器也可能无法检测某些条件、标准、阈值、事件等。
34.在本文公开的各种实施方案、示例和/或实现方式中,主传感器装置(例如,高/较高功率传感器装置)与一个或多个辅助传感器装置(例如,低/较低功率传感器装置)分为一组。辅助传感器装置可持续获取传感器数据并使用机器学习模型处理传感器数据。当检测到条件、标准、阈值、事件等时,辅助传感器装置可触发或引发主传感器装置获取传感器数据并处理传感器数据。这可允许传感器系统具有一个常开的较低功率传感器装置,该装置可以触发/激活较高功率传感器装置,从而使得不同传感器装置更有效地使用能量/功率。另外,辅助传感器装置还包括允许辅助传感器装置检测更多阈值、标准、条件、事件等的机器学习模型。这可允许传感器系统更快速地、更有效地和/或更准确地检测阈值、标准、条件、事件。
35.图2是根据本公开的一些实施方案的示出示例性系统架构200的图。系统架构200可被称为传感器系统。系统架构200包括网络110、主传感器装置120a和辅助传感器装置130a。主传感器装置120a和辅助传感器装置130a可以是一个传感器群组的部分,如上文所论述。主传感器装置120a和辅助传感器装置130a可各自对传感器数据进行收集、获取、检测等。传感器数据可提供关于传感器所处的区域、环境等等的信息。主传感器装置120a可直接地和/或经由网络110耦合到辅助传感器装置130a。网络110可包括公共网络(例如,互联网)、专用网络(例如,局域网(lan))、广域网(wan)诸如互联网、有线网络(例如,以太网网络)、无线网络(例如,802.11网络或wi-fi网络)、蜂窝网络(例如,长期演进(lte)网络)、路由器、集线器、开关、服务器计算机、其它类型的计算机网络,和/或它们的组合。主传感器装置120a和辅助传感器装置130a都可以是计算装置。计算装置可以是可执行服务、进程、应用程序、应用、指令等以执行一个或多个操作(例如,获取传感器数据、处理/分析传感器数据、生成输出/推断等)的装置。
36.主传感器装置120a包括传感器221、处理装置222、机器学习模型223、存储器224和通信接口225。传感器221可对区域、环境等等的图片和/或视频进行捕获、获取、采集等等(例如,获取区域、环境等等的传感器数据)。例如,传感器221可以是相机传感器、音频传感器、热传感器等。处理装置222可以是执行指令(例如,执行机器指令、代码、机器代码等)的一个或多个装置。处理装置的示例可包括但不限于控制器、片上系统(soc)、现场可编程门阵列(fpga)、专用集成电路(asic)、中央处理单元(cpu)、处理器、多核心处理器、图形处理单元(gpu)等。处理装置222可使用机器学习模型223对传感器数据进行分析、处理等。例如,处理装置222可执行机器学习模型223(例如,神经网络),并且可将传感器数据作为输入提供到机器学习模型223。通信接口225可以是允许主传感器装置120与辅助传感器装置130a(及其它装置)传送数据的硬件、软件、固件或其组合。例如,通信接口225可以是网络接口卡、端口、插头、连接器等。
37.存储器224可以是可存储数据的装置、电路、部件等,该数据例如是由传感器221生成/获取的传感器数据。例如,存储器224可以是数据存储装置(例如,混合硬盘驱动器、固态
驱动器、存储卡、任何利用固态存储器的存储装置、硬盘驱动器、任何利用磁介质的存储装置,等等)。在另一示例中,存储器224可以是安全数字(sd)卡、mini sd卡、microsd卡、压缩闪存(cf)卡、多媒体卡(mmc)、extreme数字(xd)卡等。存储器224(例如,数据存储装置)可包括控制器(例如,处理装置),这可允许访问存储器224(例如,可允许处理装置222读取数据和/或将数据写入到存储器224)。存储器224可被配置成用于长期存储数据,并且可在数据存储装置的通电/断电循环之间保持数据。存储器可包括固态存储器。固态存储器可包括各种技术,例如闪存集成电路、相变存储器(pc-ram或pram)、可编程金属化单元ram(pmc-ram或pmcm)、ovonic统一存储器(oum)、电阻ram(rram)、nand存储器(例如,单层级单元(slc)存储器、多层级单元(mlc)存储器、三层级单元存储器、x4单元存储器等)、nor存储器、eeprom、铁电存储器(feram)、磁阻式ram(mram),或其它离散固态存储器芯片。存储器还可包括磁介质(包括叠瓦式磁记录)、光盘、软盘、电可编程只读存储器(eprom)、电可擦可编程只读存储器(eeprom)等。
38.辅助传感器装置130a包括传感器231(例如,相机传感器、音频传感器等)、处理装置232、机器学习模型233和存储器234。传感器231可对辅助传感器装置130a所处的区域或环境的传感器数据(例如,视频、图像、温度、声音等)进行捕获、获取、采集等。处理装置232可以是执行指令的一个或多个装置(例如,soc、fpga、asic、cpu、gpu、处理器、处理核心等)。处理装置232可使用机器学习模型233对传感器数据进行分析、处理等。例如,处理装置232可执行机器学习模型233,并且可将传感器数据作为输入提供到机器学习模型233。通信接口235可以是允许辅助传感器装置130a与主传感器装置120a(及其它装置)传送数据的硬件、软件、固件或其组合。存储器234可以是可存储数据的装置、电路、部件等,该数据例如是由传感器231生成/获取的传感器数据。例如,存储器224可以是混合硬盘驱动器、固态驱动器、存储卡、任何利用固态存储器的存储装置、硬盘驱动器、任何利用磁介质的存储装置、安全数字(sd)卡、mini sd卡、microsd卡、压缩闪存(cf)卡、多媒体卡(mmc)、extreme数字(xd)卡等。
39.在一个实施方案中,传感器231消耗的功率可少于传感器221。例如,相比于传感器221,传感器231可具有更低的分辨率,可检测更少的颜色,可具有更低的帧速率,等等。在另一示例中,传感器231可具有更低的位深度(例如,更少量化,检测更少的颜色,等等)。这可允许传感器231使用比传感器221更少的功率。在另一实施方案中,处理装置232可使用比处理装置222更少的功率。例如,处理装置232包括的处理核心可少于处理装置222。在另一示例中,处理装置232所具有的时钟速度(例如,频率)可低于处理装置222。这可允许处理装置232消耗比处理装置222更少的功率。在另一实施方案中,在执行时,机器学习模型233使用/消耗的功率可少于机器学习模型223。例如,相比于机器学习模型223,机器学习模型233可包括更少的节点、层、权重等。这可允许机器学习模型233更快速地生成推断/输出,从而减少用于执行机器学习模型233的功率量。
40.如上文所论述,辅助传感器装置130a可以是持续获取传感器数据(例如,每10毫秒、每秒或每隔某一其它适当的时间段)的传感器装置。辅助传感器装置130a可被称为常开装置。在辅助传感器装置130a向主传感器装置120a指示主传感器装置120a应该对传感器数据进行捕获、获取等(例如,引发或触发主传感器装置120a对传感器数据进行捕获、获取等)之前,主传感器装置120a可能不对传感器数据进行捕获、获取等。这允许主传感器装置120a
(和/或主传感器装置120a的部件)保持处于较低功率状态,直到主传感器装置120a被辅助传感器装置130a触发为止。因为辅助传感器装置130a是较低功率装置(例如,所包括的部件使用的功率更少,如上文所论述),所以系统架构200可以更有效地使用功率。
41.在一个实施方案中,处理装置222可从辅助传感器装置130a接收激活数据。例如,辅助传感器装置130a可基于通过辅助传感器装置130a获取的传感器数据而确定已满足阈值、标准、条件等,如下文更详细地论述。辅助传感器装置130a可通过向主传感器装置发送激活数据(例如,指示主传感器装置120a应开始对传感器数据进行获取、搜集、记录、检测等)来触发主传感器装置120a。
42.在一个实施方案中,处理装置222可基于激活数据而使传感器221获取传感器数据。例如,处理装置222可向传感器221发送消息,以指示传感器221获取(例如,收集、搜集、记录、检测等)传感器数据。在另一示例中,处理装置222可将传感器221从第一功率状态转变到第二功率状态。传感器221在第一功率状态中所使用/消耗的功率可少于第二功率状态。例如,第一功率状态可以是低功率状态,且第二功率状态可以是正常/高功率状态。这允许主传感器装置120a减少在主传感器装置120a被辅助传感器装置130a触发之前的功率/能量使用。在另一实施方案中,处理装置222还可基于激活数据从较低功率状态转变到较高功率状态。例如,处理装置222可处于较低功率状态,其中使用更低的时钟速度和/或更少的处理核心。当处理装置222接收激活数据时,处理装置222可转变到较高功率状态,其中使用更高的时钟速度和更多的处理核心。
43.在一个实施方案中,处理装置222可使用机器学习模型223生成一个或多个推断、输出等。例如,处理装置222可执行机器学习模型223,并且可向机器学习模型223提供传感器数据(通过传感器221获取)。机器学习模型223可基于传感器数据生成一个或多个推断、输出等。例如,机器学习模型223可在图像/视频中在对象周围生成限界框。在另一示例中,机器学习模型223可指示检测到特定类型的对象(例如,人、动物等)。
44.在一个实施方案中,机器学习模型223可使用激活数据(从辅助传感器装置130a接收)和传感器数据生成该一个或多个推断。激活数据可以提供额外信息和/或数据,这些额外信息和/或数据可供机器学习模型223用于生成该一个或多个推断。例如,激活数据可指示图像中机器学习模型223应该进行处理的部分(例如,左上角、中间部分等)。这可允许机器学习模型223更快速地生成推断,因为机器学习模型223可以不处理整个图像,而是处理图像的一部分或其它传感器数据(如激活数据中所指示)。
45.在一个实施方案中,处理装置222可基于激活数据调整传感器221的一个或多个参数(例如,设置、配置、操作参数等)。例如,激活数据可指示主传感器装置120a和/或辅助传感器装置130a所处区域的光照条件(例如,日时间、光量等)。考虑到光照条件,处理装置222可以调整传感器221的快门速度、光圈、曝光时间、帧速率、对比度、增益、iso设置等。在另一示例中,激活数据可指示辅助传感器装置130a检测到的对象的状态。状态可以是关于该对象的信息,例如该对象是否正在移动以及该对象的速度。处理装置222可以调整传感器221的快门速度,以便减少传感器数据(例如,图像、视频等)中的图像/运动模糊。
46.在一个实施方案中,激活数据可包括来自辅助传感器装置130a的机器学习模型233的中间层的中间输出。例如,机器学习模型233可包括机器学习模型223的层、节点和/或权重的子集(例如,机器学习模型223和233的前几个层可以是相同的)。因此,处理装置222
可以不通过机器学习模型223的前几个层传递从辅助传感器装置130a接收到的传感器数据。例如,辅助传感器装置130a的机器学习模型233的中间层的输出(例如,中间层输出)可作为输入直接提供到主传感器装置120a的机器学习模型223的中间层。这可被称为绕过机器学习模型223的层。这可允许主传感器装置120a更快速地和/或更有效地操作。
47.在一个实施方案中,处理装置222还可接收由辅助传感器装置130a生成的传感器数据(例如,额外传感器数据)。处理装置222可使用这些额外传感器数据和由传感器221生成的传感器数据生成一个或多个推断。例如,辅助传感器装置130a可具有关于区域和/或对象的不同视图。因此,由辅助传感器装置130a生成的图像(例如,传感器数据)可显示该区域和/或对象的不同侧。额外传感器数据(例如,通过辅助传感器装置130a获取的区域和/或对象的额外图像)可允许处理装置222生成更好的推断和/或输出。例如,机器学习模型223可在图像中执行人的面部检测。具有包括人的面部的不同视图的多个图像可使得机器学习模型223对面部的检测更快速、更准确、更有效,等等。
48.在一个实施方案中,处理装置222可向辅助传感器装置130a(和/或传感器群组中的其它辅助传感器装置)发送调整数据。调整数据可以是向辅助传感器装置130a指示机器学习模型233生成推断/输出的方式应进行调整、修改等的信息/数据。辅助传感器装置130a可以基于调整数据调整一个或多个推断的生成。例如,辅助传感器装置130a可能已经发送指示辅助传感器装置130a在区域中检测到人的激活数据。处理装置222可使传感器221获取传感器数据,并且可使用机器学习模型223分析传感器数据。机器学习模型可生成指示在传感器数据(例如,图像)中未检测到人的输出。这可指示辅助传感器装置130a错误地确定了有人在该区域中。处理装置222可向辅助传感器装置130a发送调整数据,并且辅助传感器装置130a可以使用调整数据减少错误和/或误报。例如,调整数据可包括机器学习模型233(例如,神经网络)中应该使用的新的/更新后的权重和/或节点。在另一示例中,调整数据可包括用于由机器学习模型233生成的输出的更新后的阈值(例如,更新后的置信度阈值)。在另一示例中,调整数据还可包括传感器231的设置和/或参数(例如,快门速度、帧速率、iso设置、光圈、曝光时间等)。向辅助传感器装置130a发送调整数据可被称为向辅助传感器装置130a提供反馈。
49.在一个实施方案中,辅助传感器装置130a的传感器231可持续获取(例如,检测、感测、收集等)传感器数据(例如,图像、音频、温度等)。例如,传感器231可每15毫秒、每500毫秒或以其它时间间隔获取传感器数据。
50.在一个实施方案中,处理装置232可基于传感器数据(通过传感器231获取)和机器学习模型233生成一个或多个推断。例如,处理装置可将传感器数据作为输入提供到机器学习模型233以生成该一个或多个推断(例如,输出)。处理装置232可以分析推断/输出以确定是否满足一个或多个条件、标准、阈值等。例如,处理装置232可以分析推断/输出以确定是否检测到人、检测到面部、检测到移动等等。
51.在一个实施方案中,如果满足该一个或多个条件、标准、阈值等,那么处理装置232可向主传感器装置120a发送激活数据。例如,如果在传感器231(例如,相机传感器)所获取的图像(例如,传感器数据)中检测到人或面部,那么处理装置232可向主传感器装置120a发送激活数据。辅助传感器装置130a可通过向主传感器装置120a发送激活数据(例如,指示主传感器装置120a应开始对传感器数据进行获取、搜集、记录、检测等的数据)来触发主传感
器装置120a。
52.在一个实施方案中,处理装置232可使用机器学习模型233生成一个或多个推断、输出等。例如,处理装置232可执行机器学习模型233,并且可向机器学习模型233提供传感器数据(通过传感器231获取)。机器学习模型233可基于传感器数据生成一个或多个推断、输出等。例如,机器学习模型233可在图像/视频中在对象周围生成限界框。在另一示例中,机器学习模型233可指示检测到特定类型的对象(例如,人、动物等)。
53.在一个实施方案中,激活数据可以提供额外信息和/或数据,这些额外信息和/或数据可供机器学习模型223用于生成更多推断,如上文所论述。例如,激活数据可指示辅助传感器装置130a的传感器221的一个或多个参数应进行调整。在另一示例中,激活数据可指示传感器数据中主传感器装置120a应该聚焦的部分。
54.在一个实施方案中,处理装置232可向辅助传感器装置130a发送通过传感器231获取的传感器数据。例如,处理装置232可向主传感器装置120a发送已由机器学习模型233分析的传感器数据及激活数据。如上文所论述,主传感器装置120a可以使用通过传感器231获取的传感器数据,以更快速地、更有效地和/或更准确地生成推断。
55.在一个实施方案中,处理装置232可从主传感器装置120a接收调整数据。如上文所论述,调整数据可向处理装置232指示机器学习模型233生成推断/输出的方式应进行调整、修改等。例如,调整数据可包括机器学习模型233(例如,神经网络)中应该使用的新的/更新后的权重和/或节点。
56.图3是根据本公开的一个或多个实施方案的示出示例性系统架构300的框图。系统架构300主传感器装置120a和辅助传感器装置130a。主传感器装置120a和辅助传感器装置130a可以是传感器群组的部分,如上文所论述。主传感器装置120a和辅助传感器装置130a可各自对传感器数据进行收集、获取、检测等。传感器数据可提供关于传感器所处的区域、环境等等的信息。主传感器装置120a可直接地和/或经由网络耦合到辅助传感器装置130a,如上文所论述。
57.在一个实施方案中,辅助传感器装置130a消耗的功率可少于主传感器装置120a。例如,相比于主传感器装置120a,辅助传感器装置130a可具有更低的分辨率,可检测更少的颜色,可具有更低的帧速率,等等。这可允许辅助传感器装置130a使用比主传感器装置120a更少的功率。如上文所论述,辅助传感器装置130a可各自为持续获取传感器数据(例如,每10毫秒、每秒或每隔某一其它适当的时间段)的传感器装置。辅助传感器装置130a可被称为常开装置。在辅助传感器装置130a中的一个或多个辅助传感器装置向主传感器装置120a指示主传感器装置120a应该对传感器数据进行捕获、获取等(例如,引发或触发主传感器装置120a对传感器数据进行捕获、获取等)之前,主传感器装置120a可能不对传感器数据进行捕获、获取等。这允许主传感器装置120a(和/或主传感器装置120a的部件)保持处于较低功率状态,直到主传感器装置120a被辅助传感器装置130a触发为止。因为辅助传感器装置130a是较低功率装置(例如,所包括的部件使用的功率更少,如上文所论述),所以系统架构200可以更有效地使用功率。
58.如上文所论述,主传感器装置120a和辅助传感器装置130a可位于不同位置。例如,主传感器装置120a位于图3的左侧,一个辅助传感器装置130a位于图3的顶部,并且另一辅助传感器装置130a位于图4的底部。主传感器装置120a和辅助传感器装置130a(例如,每个
摄像机、数码相机等)都可具有关于某一区域、位置等等的不同视图。例如,主传感器装置120a可具有由源自主传感器装置120a的虚线指示的视图。在另一示例中,辅助传感器装置130a可各自具有由源自辅助传感器装置130a的虚线指示的视图。
59.如图3中所示,对象380(例如,人)可移动经过主传感器装置120a和辅助传感器装置130a所处的区域/位置。下部辅助传感器装置130a可检测对象380。例如,下部辅助传感器装置130a可获取传感器数据,并且可使用机器学习模型分析/处理传感器数据。机器学习模型的推断/输出可指示检测到对象380。
60.下部辅助传感器装置130a可向主传感器装置120a发送激活数据,以将主传感器装置120a引发、触发、激活等。主传感器装置120a可基于激活数据获取传感器数据(例如,捕获区域的图像/视频)。主传感器装置120a可分析传感器数据以生成一个或多个推断/输出。例如,主传感器装置120a可分析传感器数据以确定是否已检测到对象380、对象380是否在移动、对象的特征(例如,人的面部)等等。
61.如上文所论述,激活数据可以提供额外信息和/或数据,这些额外信息和/或数据可供主传感器装置120a用于生成该一个或多个推断。例如,激活数据可指示主传感器装置120a应该聚焦于主传感器装置120a所捕获的图像的右半部分,因为对象380位于其中。激活数据可指示主传感器装置120a应该调整传感器的参数(例如,设置、操作参数等)。例如,激活数据可指示主传感器装置120a应该调整快门速度。
62.图4是根据本公开的一个或多个实施方案的示出用于处理传感器数据的示例性过程400的流程图。过程400可由处理装置(例如,处理器、中央处理单元(cpu)、控制器、专用集成电路(asic)、现场可编程门阵列(fpga)等)和/或传感器装置执行。例如,过程400可由传感器装置(例如,主传感器装置)的处理装置执行。处理装置和/或传感器装置可以是包括硬件(例如,电路系统、专用逻辑、可编程逻辑、微码等)、软件(例如,在处理器上运行以执行硬件模拟的指令)、固件或其组合的处理逻辑。
63.过程400开始于框405:该过程从一个或多个辅助传感器装置接收激活数据。每个辅助传感器装置可包括处理装置、传感器和机器学习模型。该一个或多个辅助传感器装置可以是常开装置,它们可以触发或引发主传感器装置获取传感器数据。在框410处,过程400可基于激活数据而使传感器获取传感器数据。例如,过程400可将传感器从较低功率状态转变到较高功率状态。在另一示例中,过程400可指示传感器获取传感器数据。在框415处,过程400可基于传感器数据生成一个或多个推断(例如,输出)。例如,过程400可执行机器学习模型,并且可将传感器数据作为输入提供到机器学习模型。
64.在框420处,过程400可以任选地确定是否发送调整数据。例如,过程400确定激活数据是否被一个或多个辅助传感器装置错误地发送(例如,是否存在来自一个或多个辅助传感器装置的误报)。如果应该发送调整数据(例如,存在来自辅助传感器装置的误报),那么过程400可在框425处将调整数据发送到一个或多个辅助传感器装置。
65.图5是根据本公开的一个或多个实施方案的示出用于处理传感器数据的示例性过程500的流程图。过程500可由处理装置(例如,处理器、中央处理单元(cpu)、控制器、专用集成电路(asic)、现场可编程门阵列(fpga)等)和/或传感器装置执行。例如,过程500可由传感器装置(例如,辅助传感器装置)的处理装置执行。处理装置和/或传感器装置可以是包括硬件(例如,电路系统、专用逻辑、可编程逻辑、微码等)、软件(例如,在处理器上运行以执行
硬件模拟的指令)、固件或其组合的处理逻辑。
66.过程500开始于框505:该过程获取传感器数据。如上文所论述,过程500可持续地获取传感器数据(例如,每几毫秒、每秒,等等)。在框510处,过程500可基于传感器数据生成一个或多个推断。例如,过程500可执行机器学习模型,并且可将传感器数据作为输入提供到机器学习模型。在框515处,过程500可发送激活数据及任选的传感器数据。例如,过程500可确定机器学习模型的推断、输出等符合标准、阈值、条件等,并且可将激活数据发送到主传感器装置。激活数据可使主传感器装置获取传感器数据。
67.在框520处,过程500确定是否从主传感器装置接收到调整数据。如果接收到调整数据,那么过程500可调整推断/输出的生成。例如,过程500可调整机器学习模型的权重和/或节点。
68.尽管本公开可以参考相机(例如,摄像机、数码相机、相机装置等)作为传感器装置的示例,但是可在其它实施方案中使用其它类型的传感器装置。例如,可在其它实施方案中使用音频传感器(例如,音频装置、麦克风等)和热传感器(例如,温度传感器、热成像传感器等)。
69.一般注解
70.本领域技术人员将理解,在一些实施方案中,其他类型的分布式数据存储系统可实现并且同时保持在本公开的范围内。此外,本文所述的过程中采取的实际步骤可不同于附图中所描述或所示的那些。根据实施方案,可移除上述步骤中的某些步骤,可添加其他步骤。
71.虽然已经描述了某些实施方案,但是这些实施方案仅作为示例呈现,并且不旨在限制保护范围。实际上,本文描述的新颖方法和系统可以各种其他形式体现。此外,可以对本文描述的方法和系统的形式进行各种省略、替换和改变。所附权利要求书以及其等同物旨在涵盖落入保护范围和实质内的这些形式或修改。例如,图中所示的各种部件可实现为处理器、asic/fpga或专用硬件上的软件和/或固件。而且,上文公开的特定实施方案的特征和属性可以不同方式组合以形成另外的实施方案,所有这些都落入本公开的范围内。尽管本公开提供了某些优选的实施方案和应用,但是对于本领域普通技术人员显而易见的其他实施方案,包括不提供本文所述的所有特征和优点的实施方案,也在本公开的范围内。因此,本公开的范围旨在仅通过参考所附权利要求书来限定。
72.词语“示例”或“示例性”在本文中用于表示用作示例、实例或说明。本文中描述为“示例”或“示例性”的任何方面或设计不必被解释为比其他方面或设计更优选或更具优势。相反,使用词语“示例”或“示例性”旨在以具体方式呈现概念。如在本公开中所使用的,术语“或”旨在表示包含性的“或”而非排他性的“或”。即,除非另外指明,或者从上下文中明确指明,“x包括a或b”旨在表示任何天然包含的排列。即,如果x包括a;则x包括b;或者x包括a和b,那么在任何前述实例下满足“x包括a或b”。另外,本公开和所附权利要求书中使用的冠词“一个”(“a”和“an”)通常应理解为表示“一个或多个”,除非另有说明或从上下文明确地指示为单数形式。此外,除非如此描述,否则贯穿使用术语“实施方案”或“一个实施方案”或“实施方式”或“一个实施方式”并非旨在表示相同的实施方案或实施方式。此外,本文使用的术语“第一”、“第二”、“第三”、“第四”等是指用于区分不同元件的标签,并且根据它们的数字标号可不一定具有顺序含义。
73.上述所有过程可通过由一个或多个通用或专用计算机或处理器执行的软件代码模块来体现,并且完全自动化。代码模块可存储在任何类型的计算机可读介质或其他计算机存储设备或存储设备的集合上。所述方法中的一些或全部可另选地体现在专用计算机硬件中。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1