用于卷帘式快门传感器的驱动器机构以获取结构光图案的制作方法

1.本发明总体上涉及3d感测系统，并且更具体地涉及一种用于实现用于卷帘式快门传感器的驱动器机构以获取结构光图案的方法和/或装置。


背景技术：

2.现有的结构光3d感测解决方案利用全局快门传感器来捕获结构光图案。全局快门传感器的成本可能远高于卷帘式快门传感器。在全局快门中，所有像素同时开始曝光。另一种较低成本类型的传感器是卷帘式快门传感器。通常，因为像素的每一排(或每一行)在不同时间开始曝光，所以卷帘式快门传感器不用于捕获结构光图案。如果结构光图案不能同时与红外(ir)帧匹配，则ir帧可能仅具有带有结构光图案的一半或更少的帧。即使存在结构光图案，该图案也将不够清晰，因为投影机由于硬件限制而仅在很短的时间内开启。
3.期望实现用于卷帘式快门传感器的驱动器机构以获取结构光图案。


技术实现要素：

4.本发明涵盖涉及一种装置的方面，该装置包括：rgb-ir卷帘式快门图像传感器、结构光投影仪以及控制电路。该控制电路可以被配置为控制rgb-ir卷帘式快门图像传感器的曝光时间和结构光投影仪的开启时间，以在由rgb-ir卷帘式快门图像传感器捕获的图像中获得结构光图案。
5.在上面描述的装置方面的一些实施例中，控制电路将rgb-ir卷帘式快门图像传感器的曝光时间设置为比预定的值更长。
6.在上面描述的装置方面的一些实施例中，控制电路被配置为：从rgb-ir卷帘式快门图像传感器接收第一信号，其中，第一信号被配置为提供以下各项中的至少一个：rgb-ir卷帘式快门图像传感器的最后一行何时开始相应的曝光时间的指示，以及能够根据其来使用预定义的公式计算相应的曝光时间的开始的信息；以及在接收到第一信号后，将第二信号发送到结构光投影仪以在预定义的时段内开启结构光图案。在一些实施例中，控制电路包括计时器，并且被配置为响应于第二信号而对计时器进行编程以控制结构光投影仪的开启时间。
7.在上面描述的装置方面的一些实施例中，装置还包括图像信号处理电路，该图像信号处理电路被配置为处理由rgb-ir卷帘式快门图像传感器捕获的图像，其中，图像信号处理电路将从rgb-ir卷帘式快门图像传感器接收到的图像数据分为彩色图像数据和红外(ir)图像数据。在包括图像信号处理电路的一些实施例中，彩色图像数据包括rgb彩色空间数据或yuv彩色空间数据中的至少一种，并且ir图像数据包括单色图像数据和结构光图案中的一种或多种。在包括图像信号处理电路的一些实施例中，控制电路还被配置为：分析ir图像数据以获得针对rgb-ir卷帘式快门图像传感器的视野的3d信息；以及分析ir图像数据和彩色图像数据以获得在rgb-ir卷帘式快门图像传感器的视野中的一个或多个特征。在一些实施例中，控制电路还被配置为：响应于分析由rgb-ir卷帘式快门图像传感器捕获的图
像而生成一个或多个控制信号；以及响应于一个或多个控制信号而控制安全性系统的一个或多个特征。在一些实施例中，其中，控制电路还被配置为生成一个或多个控制信号并且控制安全性系统的一个或多个特征，安全性系统的一个或多个特征包括以下各项中的一个或多个：门锁、警报系统、受控访问系统以及支付系统。
8.在上面描述的装置方面的一些实施例中，装置包括低功率相机。
9.在上面描述的装置方面的一些实施例中，控制电路被配置为执行面部识别和存在性(liveness)确定。
10.在上面描述的装置方面的一些实施例中，结构光投影仪包括：垂直腔表面发射激光器的阵列，其被配置为生成激光图案；以及镜头，其被配置为将激光图案分解为密集的点图案阵列。在一些实施例中，其中，结构光投影仪包括垂直腔表面发射激光器的阵列，该垂直腔表面发射激光器的阵列发射波长在800纳米至1000纳米范围内的光。
11.本发明还涵盖涉及一种实现低成本的基于结构光的3d感测系统的方法的方面，该方法包括：基于预定的值来设置rgb-ir卷帘式快门图像传感器的曝光时间；当rgb-ir卷帘式快门图像传感器的最后一行开始相应的曝光时间时，发送控制信号以开启结构光投影仪；以及控制结构光投影仪的开启时间。
12.在上面描述的方法方面的一些实施例中，方法还包括：将计时器编程为针对结构光投影仪的开启时间的预定的时段；以及响应于从rgb-ir卷帘式快门图像传感器接收到指示rgb-ir卷帘式快门图像传感器的最后一行正在开始相应的曝光时间的信号而触发计时器开启结构光投影仪。
13.在上面描述的方法方面的一些实施例中，方法还包括：将计时器编程为针对结构光投影仪的开启时间的预定的时段；响应于从rgb-ir卷帘式快门图像传感器接收到的信号而确定用于触发计时器以开启结构光投影仪的触发时间，该信号提供能够根据其来使用预定义的公式计算rgb-ir卷帘式快门图像传感器的最后一行的相应的曝光时间的开始的信息；以及触发计时器以在确定出的触发时间开启结构光投影仪。
14.在上面描述的方法方面的一些实施例中，方法还包括：分析由rgb-ir卷帘式快门图像传感器捕获的一个或多个图像；响应于分析一个或多个图像的结果而生成一个或多个控制信号；以及响应于一个或多个控制信号而控制安全性系统的一个或多个特征。在一些实施例中，分析由rgb-ir卷帘式快门图像传感器捕获的一个或多个图像包括将人工神经网络应用于面部检测和面部识别中的至少一个。在将人工神经网络应用于面部检测和面部识别中的至少一个的一些实施例中，方法还包括：响应于面部识别而控制安全性系统的一个或多个特征。在将人工神经网络应用于面部检测和面部识别中的至少一个以控制安全性系统的一个或多个特征的一些实施例中，安全性系统的一个或多个特征包括以下各项中的一个或多个：门锁、警报系统、受控访问系统以及支付系统。
附图说明
15.通过下面的详细描述以及所附的权利要求书和附图，本发明的实施例将变得显而易见。
16.图1是示出根据本发明的示例实施例的卷帘式快门传感器系统的图。
17.图2是示出根据本发明的示例实施例的3d感测系统的元件的图。
18.图3是示出提供面部解除特征的示例安全性面板的图。
19.图4是示出示例访问控制面板的图。
20.图5是示出使用密码的示例访问控制面板的图。
21.图6是示出使用面部识别的示例访问控制面板的图。
22.图7是示出根据本发明的示例实施例的卷帘式快门传感器系统的示例操作的图。
23.图8是示出根据本发明的示例实施例的示例过程的流程图。
24.图9是示出根据本发明的示例实施例的另一示例过程的流程图。
25.图10是示出图像传感器接口的示例实现方式的图。
26.图11是示出结构光投影仪接口的示例实现方式的图。
27.图12是示出根据本发明的另一示例实施例的装置的图。
具体实施方式
28.本发明的实施例包括提供一种用于卷帘式快门传感器的驱动器机构以获取结构光图案，该驱动器机构可以(i)控制卷帘式快门传感器的快门曝光时间；(ii)控制结构光投影仪的开启时间和持续时间；(iii)确保卷帘式快门传感器的曝光时间比预定义的(或预定的)值更长；(iv)利用来自卷帘式快门传感器的信号(或中断)作为触发信号；(v)响应于触发信号而生成单独的信号来控制结构光投影仪；(vi)利用计时器来控制结构光投影仪的开启时间；(vii)使得结构光投影仪的开启时间能够大于预定的时间；(viii)具有较低的成本；(ix)为控制结构光投影仪提供更大的灵活性；(x)具有降低的功耗；(xi)在低功率且电池操作的设备中实现；(xii)用于实现低成本的基于结构光的3d感测系统；和/或(xiii)被实现为一个或多个集成电路。
29.在各种实施例中，可以提供低成本的3d感测平台。低成本的3d感测平台可以促进智能访问控制系统和智能安全性产品(例如，智能视频门铃和门锁、支付系统、警报系统等)的开发。在各种实施例中，低成本的3d感测平台可以包括视觉片上系统(soc)、结构光投影仪和rgb-ir卷帘式快门图像传感器。在各种实施例中，单个rgb-ir图像传感器可以用于获得可见光图像和红外(ir)图像两者。在各种实施例中，可见光图像可以用于观看、对象(例如，面部等)检测、对象识别和/或面部识别。红外(ir)图像可以用于深度感测和存在性确定。在示例中，视觉soc可以在单个芯片上提供深度处理、反欺骗算法、结构光控制、对象检测/标识算法、3d面部检测/识别算法以及视频编码。在示例中，视觉soc可以响应于分析由rgb-ir卷帘式快门图像传感器捕获的图像而生成一个或多个控制信号。在示例中，视觉soc可以使用一个或多个控制信号来控制安全性系统的一个或多个特征(例如，门锁、警报系统、受控访问系统、支付系统等)。在示例中，视觉soc可以被配置为存储并执行人工神经网络(ann)，从而实现特征检测和提取、对象检测和标识以及面部检测和识别。在示例中，ann可以被存储(例如，在非易失性计算机可读存储介质中)为有向非循环图(dag)和对应的权重。
30.在各种应用中，根据本发明的实施例的低成本的3d感测平台可以显著地降低系统复杂度，同时改进性能、可靠性和安全性。在示例中，根据本发明的实施例的视觉soc可以包括但不限于强大的图像信号处理器(isp)、对rgb-ir滤色器阵列的本地支持以及高级高动态范围(hdr)处理，这可以在低光照且高对比度的环境中产生例外的图像质量。在示例中，
根据本发明的实施例的视觉soc可以提供一种架构，该架构递送用于存在性检测和3d面部识别的计算功率，同时针对诸如人数计数和反追尾(anti-tailgating)之类的高级特征运行多种人工智能(ai)算法。
31.参考图1，示出了说明根据本发明的示例实施例的驱动器机构的示例实现方式的装置的框图。在示例中，系统100可以实现3d感测平台，该3d感测平台包括用于rgb-ir卷帘式快门传感器的驱动器机构以获取结构光图案。在示例中，系统100可以包括块(或电路)102、块(或电路)104、块(或电路)106和/或块(或电路)108。电路102可以被实现为控制电路(例如，专用电路、嵌入式控制器、处理器、微处理器等)。电路104可以实现红外结构光投影仪。电路106可以实现安全性/监督相机(或模块)。电路108可以实现图像信号处理(isp)电路(或处理器或前端)。在示例中，电路108通常能够执行多通道isp。
32.在示例中，电路102可以包括块(或电路)110。块110可以实现结构光(sl)控制电路(或功能)。在另一示例中，电路102和110可以被实现为单独的电路核心，而不是在单个集成电路衬底(或管芯)上或在多芯片模块(mcm)中实例化。在示例中，电路102和108(以及当与电路102分离时的电路110)可以在单个集成电路或片上系统(soc)112中实现。
33.在各种实施例中，电路102可以连接到ir结构光投影仪104、相机106和isp电路108。相机106还可以连接到isp电路108。在示例中，电路102通常提供中央控制机构以使ir投影仪104和相机106的时序同步。在示例中，电路102可以被配置为计算并维护预定义的时序模型，以控制ir投影仪104的结构光源120。在示例中，电路102还可以被配置为控制相机106的卷帘式快门传感器130的曝光时间。在示例中，电路102还可以被配置为控制isp电路108以与相机106的输出同步。在各种实施例中，电路102可以被配置为生成一个或多个视频输出信号(例如，vidout)以及一个或多个控制信号(例如，ctrl)。在示例中，一个或多个控制信号ctrl可以用于控制在电路102和/或soc 112外部的一个或多个设备的特征(或操作)。
34.在一些实施例中，电路106可以被配置为呈现信号(例如，lles)。信号lles可以指示卷帘式快门传感器130的最后一排(或行)何时开始曝光(或提供使用其预定义的公式来促进计算的信息)。在一个示例中，卷帘式传感器130的闪光销可以被配置为生成信号lles。在另一示例中，来自电路106的其他传感器信号可以用于(例如，使用预定义的公式等)计算最后一行何时开始曝光。电路110可以利用来自电路106的信号lles以控制电路104。在另一示例中，信号lles可以被配置为响应于卷帘式传感器130的最后一排开始曝光而生成中断。该中断可以使得电路110开始ir投影仪104的结构光源120的预定义的开启时段。在示例中，电路110可以被配置为以预定义的开启时段对计时器进行编程。响应于接收到信号lles，电路110可以启动计时器以在预定义的时间段内开启结构光源。
35.在示例中，电路102可以具有可以接收信号lles的输入、可以经由信号(例如，isp_sync)与电路108的第一输入/输出通信的第一输入/输出、可以与电路108的第二输入/输出通信第一图像通道(例如，rgb data)的第二输入/输出、可以与电路108的第三输入/输出通信第二图像通道(例如，ir data)的第三输入/输出、可以呈现信号(例如，sl_trig)的第一输出、可以呈现一个或多个视频输出信号vidout的第二输出以及可以呈现一个或多个控制信号ctrl的第三输出。在示例中，电路104可以具有可以接收信号sl_trig的输入。电路104可以被配置为基于信号sl_trig来生成结构光图案。
36.在示例中，电路106可以具有可以呈现信号lles(或者可以用于计算lles的开始时间的另一信号通信信息)的输出，以及可以向电路108的第四输入/输出通信信号的(例如，video)的输入/输出。在示例中，信号video可以将视频像素信息的四个通道(例如，r、g、b和ir)通信到电路108。在示例中，电路106和108还可以经由携带信号video的连接交换控制和/或状态信号。
37.在示例中，电路108可以被配置为将从电路106接收到的四通道rgb-ir视频信号video分为单独的ir图像数据通道和rgb图像数据通道。在示例中，电路108可以被配置为响应于信号video而生成第一图像通道rgb data和第二图像通道ir data。第一图像通道rgb data通常包括彩色图像数据。在示例中，彩色图像数据可以包括rgb彩色空间数据或yuv彩色空间数据。在示例中，第二图像通道ir data可以包括单色图像数据。当结构光图案由电路104投影时，第二图像通道ir data通常包括ir图像数据和由电路104投影的结构光图案两者。当结构光图案未由电路104投影时，第二图像通道ir data通常包括ir图像数据，而没有结构光图案。当结构光图案由电路104投影时，第一图像通道rgb data通常也包括由电路104投影的结构光图案，并且因此通常被忽略。
38.在示例中，由第二图像通道ir data携带的结构光图案数据可以由电路102分析以获得针对相机106的视野的3d(例如，深度)信息。电路102还可以被配置为基于由第二图像通道ir data携带的结构光图案数据来进行存在性确定。在示例中，电路102可以分析rgb(或yuv)数据以及ir数据，以辨别(例如，检测、标识等)在相机106的视野中的一个或多个特征或对象。
39.在示例中，电路110可以被配置为生成信号sl_trig。电路110可以实现根据本发明的实施例的结构光控制时序协议(下面结合图8-12进行描述)。在示例中，电路110可以以硬件、软件(或固件、微码等)或硬件和软件的组合来实现。
40.在示例中，电路120可以被实现为结构光源。在示例中，电路120可以被实现为垂直腔表面发射激光器(vcsel)的阵列和镜头。然而，可以实现其他类型的结构光源以满足特定应用的设计标准。在示例中，vcsel的阵列通常被配置为生成激光图案。镜头通常被配置为将激光图案分解为密集的点图案阵列。在示例中，电路120可以实现近红外(nir)光源。在各种实施例中，电路120的光源可以被配置为发射波长大约为940纳米(nm)的光，该光对于人眼是不可见的。然而，可以利用其他波长。在示例中，可以利用在大约为800nm-1000nm的范围内的波长。在示例中，电路120可以被配置为响应于信号sl_trig而发射结构光图案。在示例中，可以由电路102控制(例如，编程)由电路120发射的光的时段和/或强度。在示例中，电路102可以在使信号sl_trig有效之前配置电路120。
41.在示例中，电路130可以被实现为卷帘式快门图像传感器。在示例中，电路130可以被实现为rgb-ir卷帘式快门互补金属氧化物半导体(cmos)图像传感器。在一个示例中，电路130可以被配置为响应于传感器的最后一行(或排)开始曝光而使信号lles有效。在另一示例中，电路130可以被配置为使另一信号有效，该信号可以用于使用预定义的公式来计算传感器的最后一行(或排)的曝光的开始。在示例中，电路130可以被配置为生成信号video。在示例中，电路130可以将掩模施加到单色传感器。在示例中，掩模可以包括多个单元，该单元包含一个红色像素、一个绿色像素、一个蓝色像素和一个ir像素。ir像素可以包含红色、绿色和蓝色滤波器材料，这些滤波器材料可以高效地吸收可见频谱中的所有光，同时允许
更长的红外波长以最小的损失通过。利用卷帘式快门，随着传感器的每一行(或排)开始曝光，该行(或排)中的所有像素可以同时开始曝光。
42.参考图2，示出了说明根据本发明的示例实施例的3d感测系统的元件的图。在示例中，3d感测系统200可以包括壳体202和处理器204。红外(ir)结构光投影仪104(包括第一镜头和结构光源130)和相机106(包括第二镜头和单个rgb-ir图像传感器130)可以安装在壳体202中。ir结构光投影仪104可以被配置为在开启时将结构光图案投影到相机106的视野中的对象上。rgb-ir传感器130可以用于获取针对相机106的视野中的对象的ir图像数据(具有和不具有结构光图案)和rgb图像数据两者。3d感测系统200通常提供优于常规的两个相机感测系统的优点。通过仅利用一个rgb-ir卷帘式快门传感器来获得具有/不具有结构光图案的rgb图像数据和ir图像数据两者，相对于使用全局快门传感器(例如，一个传感器和一个镜头对两个传感器和两个镜头，以及卷帘式快门对全局快门)的常规系统，3d感测系统200通常减少系统成本和系统复杂度。
43.在示例中，处理器204可以将来自rgb-ir传感器130的rgb-ir数据分开为(分为)ir图像数据通道和rgb图像数据通道。在示例中，可以由处理器204处理ir图像数据通道和/或rgb图像数据通道，以用于3d(例如，深度)感知、存在性确定、对象检测、面部检测、对象标识以及面部识别。在示例中，存在结构光图案的ir图像数据通道可以用于执行深度分析和存在性确定。不存在结构光图案的ir图像数据和rgb图像数据通道可以用于执行对象检测、面部检测、对象标识和面部识别。
44.在示例中，当存在结构光图案时(例如，ir投影仪104开启)，可以将深度分析210应用于ir图像数据通道。还可以利用深度分析210以进行存在性确定。在示例中，可以利用深度分析210以在人的图像206a与无生命对象(例如，计算机等)的图像206b之间进行辨别。在示例中，当不存在结构光图案时(例如，ir投影仪104关闭)的ir图像数据通道和rgb图像数据通道两者可以用于执行对象检测、面部检测、对象标识和面部识别。
45.在示例中，当不存在结构光图案时(例如，ir投影仪104关闭)的ir图像数据通道和/或rgb图像数据通道可以被呈现为对神经网络212的输入。在示例中，神经网络212可以包括一个或多个神经网络架构，包括但不限于卷积神经网络(cnn)、深度学习神经网络(dnn)、完全连接的神经网络等。神经网络(更恰当地被称为“人工”神经网络(ann))是由多个简单的、高度互连的处理元件组成的计算系统，这些处理元件通过对外部输入的相应的动态状态响应来处理信息。神经网络是一种松散地模仿大脑的神经元结构但规模要小得多的处理设备(算法或实际硬件)。大型神经网络可以具有上百个或上千个处理单元。
46.神经网络典型地是分层组织的。这些层可以包括执行操作或激活功能的多个互连节点。输入数据被呈现给网络的输入层，该网络与一个或多个内部(或隐藏)层进行通信，在该内部层中经由经加权的连接的布置而执行实际处理。确定针对神经网络的经加权的连接的权重的过程典型地被称为训练。隐藏层连接到输出层，在输出层中呈现由神经网络实现的预测模型的结果。
47.在示例中，神经网络212可以(例如，通过设计、通过训练过程等)被配置为实时地获得检测、识别和/或分类结果。在示例中，在低光照(或夜晚)环境中，神经网络212可以利用ir图像数据通道来标识在图像206a中人的特征和/或标识图像206b中的无生命对象(例如，计算机等)。在较亮的(白天)环境中，神经网络212可以利用rgb图像数据通道来基于人
的彩色图像208a或无生命对象(例如，计算机等)的彩色图像208b来做出推断。一个或多个应用214可以单独地或组合地利用深度分析210和神经网络212的结果。在示例中，(多个)应用214可以在处理器204上运行或使用分布式处理(例如，云资源等)。
48.参考图3，示出了说明提供面部解除特征的示例安全性面板的图。在示例中，根据本发明的示例实施例的低成本的3d感测系统可以被实现为安全性面板300的一部分。在示例中，安全性控制面板300可以被配置为基于面部识别来限制访问和/或许可。在示例中，3d信息可以用于3d建模和存在性确定，并且可以用于从面部识别特定用户并且自动提供免提访问(例如，解锁门、解除警报系统等)。在示例中，3d建模和存在性确定可以用于识别特定用户并且基于面部标识允许警报系统重新编程特权(例如，即使输入了正确的密码，也可以仅允许人x或y改变访问级别或策略、添加用户等)。
49.参考图4，示出了说明示例访问控制面板的图。在各种实施例中，包括装置100的低成本的基于结构光的3d感测系统可以被实现为访问控制面板400的一部分。在示例中，3d信息可以用于3d建模和存在性确定。在示例中，低成本的基于结构光的3d感测系统可以用于获得对支付系统(例如，atm等)的访问权、解除警报系统和/或允许对(例如，花园、车库、房屋等的)受限区域的“绊网(tripwire)”访问。在一个示例中，低成本的基于结构光的3d感测系统可以被配置为识别园丁/水池维护人员并且禁止触发警报。在另一示例中，低成本的基于结构光的3d感测系统可以被配置为限制对一周中的某些时间和日期的访问。在另一示例中，低成本的基于结构光的3d感测系统可以被配置为基于视频/音频标识通过访问控制面板400允许警报系统重新编程特权(例如，即使输入了正确的密码，也可以仅允许人x或y改变访问级别或策略、添加用户等)。
50.参考图5，示出了说明使用密码的示例访问控制面板的图。在各种实施例中，包括装置100的低成本的基于结构光的3d感测系统可以被实现为安全性小键盘500的一部分。在示例中，安全性小键盘500可以被配置为基于面部识别来限制访问和/或许可。在示例中，3d信息可以用于3d建模和存在性确定，并且可以用于识别特定用户并且基于面部标识允许访问、警报系统解除特权、警报系统编程特权和/或警报系统重新编程特权。在示例中，即使在小键盘500上输入了正确的密码，也可以仅允许已知的人(例如，人x或y)获得访问权或改变访问级别或策略、添加用户等。
51.参考图6，示出了说明可以利用装置100以进行面部识别的另一示例访问控制面板550的图。
52.参考图7，示出了说明根据本发明的示例实施例的装置100的示例操作的图。在示例中，电路104的结构光源120可以与闪光单元类似地操作。在示例中，结构光源120可以具有短的开启时间(例如，小于垂直消隐(vb)时段的时间)，并且rgb-ir卷帘式快门传感器130可以具有长的曝光时间(例如，大于有效帧时间(t_active))。结构光源120的短的开启时间通常导致低的平均功耗。
53.在示例中，可以基于用于实现电路130的传感器的参数和/或特性来配置块(或电路)110。在示例中，传感器130的参数可以包括但不限于帧开始(sof)、帧时间(t_frame)、有效帧时间(t_active)、垂直消隐时段持续时间(t_vb)、曝光时间(t_exposure)、结构光源120的结构光开启时段(t_sl)以及重置/读出时段(a)。在示例中，块(或电路)110可以被配置为根据以下等式来控制信号sl_trig。
54.t_frame＝t_active+t_vb
ꢀꢀ
等式1
55.a＝t_frame-t_exposure
ꢀꢀ
等式2
56.t_sl＝t_frame-t_active-a
57.＝t_vb-a＝t_exposure-t_active.
ꢀꢀ
等式3
58.其中
59.0《t_sl《t_vb；并且
60.t_active《t_exposure《t_frame
61.在示例中，可以生成信号sl_trig，使得结构光图案开启时段t_sl被同步并且落入传感器130的垂直消隐时段内。结构光图案开启时段t_sl通常与传感器130的所有排正在积分时的曝光(积分)时间t_exposure的一部分重叠。
62.参考图8，示出了说明可以使用图1的装置执行的示例过程的流程图。在示例中，可以实现过程(或方法)600以生成一系列图像(或图像的序列)，以用于执行尤其是深度分析、存在性确定、对象检测、面部检测、对象标识和/或面部识别。在示例中，过程600可以包括步骤(或状态)602、决策步骤(或状态)604、步骤(或状态)606、步骤(或状态)608和步骤(或状态)610。在步骤602中，过程600可以使3d感测系统100初始化。在步骤604中，过程600可以确保结构光投影仪开启。在步骤606中，过程600可以通过捕获来自红外(ir)图像数据通道的图像数据的帧并且忽略(丢弃)来自彩色(rgb或yuv)图像数据通道的图像数据，来获得包含结构光图案的图像。在步骤608中，过程600可以确保结构光投影仪关闭。在步骤610中，过程600可以通过捕获来自ir图像数据通道和彩色图像数据通道两者的图像数据的一个或多个帧，来获得不具有结构光图案的一个或多个图像。过程600可以持续地或在预定的时间段内重复步骤604至610以获得一系列图像。在示例中，在步骤606中捕获的图像可以用于执行深度和存在性确定。在示例中，在步骤610中捕获的图像可以用于执行对象检测和标识，包括但不限于面部检测和面部识别。
63.参考图9，示出了说明可以使用图1的装置在图7中示出的操作期间执行的示例过程的流程图。在示例中，可以实现过程(或方法)700以生成信号sl_trig。在示例中，过程700可以包括步骤(或状态)702、决策步骤(或状态)704、步骤(或状态)706、步骤(或状态)708和步骤(或状态)710。在步骤702中，过程700可以利用传感器130的参数(例如，a、t_active、t_frame、t_exposure、t_vb等)来使结构光控制电路110初始化。在决策步骤704中，过程700可以检查传感器130的最后一行是否已经开始曝光。
64.在一个示例中，rgb-ir传感器130可以呈现指示rgb-ir传感器130的最后一行已经开始曝光的输出信号(例如，信号lles)。在示例中，信号lles可以是rgb-ir传感器130的闪光销。在另一示例中，来自rgb-ir传感器130的另一信号(例如，系统中断)可以用于(例如，使用预定义的公式)计算rgb-ir传感器130的最后一行何时已经开始曝光。如果传感器130的最后一行尚未开始曝光，则过程700在步骤704中循环。如果传感器130的最后一行已经开始曝光，则过程700可以移动至步骤706。
65.在步骤706中，过程700可以使得电路110使用ir投影仪104开启结构光图案并且移动至步骤708。在步骤708中，过程700等待预定的延迟时段。当延迟时段到期时，过程700可以移动至步骤710，在步骤710中，过程700使得电路110关闭结构光图案。然后，过程700可以返回到决策步骤704。在示例中，可以使用由来自电路110的信号触发并且利用预定的延迟
时段编程的计时器电路来实现步骤706至710。
66.参考图10，示出了说明各种图像传感器接口的示例实现方式的图。图10中的示例接口是说明性的，并且不应被解释为旨在限制处理器和图像传感器可以耦合或通信的方式。在一些实施例中，可以在处理器与cmos图像传感器之间实现接口760。接口760可以包括垂直同步信号(例如，vert sync)、水平同步信号(例如，horz sync)和视频数据路径。信号vert sync可以用于触发图像数据从像素元件到图像传感器的相关联的存储器元件的传输。信号horz sync可以用于将图像数据时钟输出为信号video data。信号vert sync的有效与信号video data的开始之间的延迟通常由传感器的设计确定。在实现接口760的实施例中，曝光开始由视频模式、消隐时段和相关延迟确定。可以根据特定传感器的时序图以及在被安排在曝光开始时间之后并且在曝光窗口内发生的ir照明来计算曝光窗口的时序。
67.在一些实施例中，可以在处理器与cmos图像传感器之间实现接口765。接口765可以包括曝光触发信号(例如，trig)、水平同步信号(例如，horz sync)和视频数据路径(未示出)。信号trig可以用于控制cmos传感器的曝光窗口的长度，并且触发图像数据从像素元件到图像传感器的相关联的存储器元件的传输。当使信号trig有效(例如，切换到low状态)时，曝光窗口开始，并且cmos图像传感器开始对入射光的积分。当使信号trig失效(例如，切换到high状态)时，曝光窗口结束，并且cmos图像传感器将图像数据从像素元件传输到存储元件。类似于接口760，信号horz sync可以用于将图像数据时钟输出为信号video data。信号trig失效与信号video data的开始之间的延迟通常由传感器的设计确定。在实现接口765的实施例中，曝光开始和曝光窗口由信号trig确定。在一些实施例中，可以通过存储在寄存器和/或配置位中的配置值来设置曝光窗口和ir照明窗口。处理器可以实现控制逻辑(例如，软件、固件、电路)以计算要与信号trig同步的ir结构光图案的时序。例如，处理器可以使用第一gpio来控制积分的开启/关闭，并且使用第二gpio来控制ir照明的开启/关闭。在实现接口765的实施例中，处理器可以针对每一帧实现实时控制。
68.在一些实施例中，可以在处理器与cmos图像传感器之间实现接口770。接口770可以包括曝光设置数据路径、曝光触发信号(例如，trig)、水平同步信号(例如，horz sync)和视频数据路径(未示出)。可以由经由曝光设置数据路径通信到图像传感器的数据(例如，exposure settings)来编程曝光窗口持续时间。信号trig可以用于控制cmos传感器的曝光窗口的开始。基于exposure settings数据，图像传感器控制图像数据从像素元件到图像传感器的相关联的存储器元件的传输。当使信号trig有效(例如，切换到low状态)时，曝光窗口开始，并且cmos图像传感器开始对入射光的积分。当预定的曝光/积分时间结束时，cmos图像传感器将图像数据从像素元件传输到存储元件。类似于接口760，信号horz sync可以用于将图像数据从存储元件时钟输出为信号video data。可以基于exposure settings数据和传感器的时序图来计算信号trig有效与信号video data的开始之间的延迟。在实现接口770的实施例中，曝光开始和曝光窗口由信号trig和exposure settings确定。处理器通常包括控制逻辑(例如，软件、固件、电路)以计算要与信号trig同步的ir脉冲的时序。例如，处理器可以使用第一gpio或sio来编程积分持续时间，使用第二gpio来控制信号trig的有效，并且使用第三gpio来控制ir照明的开启/关闭。
69.参考图11，示出了说明各种ir光照明接口的示例实现方式的图。图11中的示例接口是说明性的，并且不应被解释为旨在限制处理器和ir投影仪可以耦合或通信的方式。
70.在一些实施例中，可以在处理器与ir投影仪104之间实现接口780。接口780可以包括结构光(sl)时段设置数据路径和sl触发信号(例如，sl trig)。红外照明窗口的持续时间(例如，sl开启至sl关闭)对应于时间t_sl，并且ir光强度可以由经由ir照明设置数据路径通信到ir投影仪104的数据(例如，sl period)来编程。信号sl trig可以用于控制结构光时段的开始。当使信号sl trig有效(例如，切换到low状态)时，ir照明时段开始并且可以将ir光源切换至开启以发射ir结构光图案。当预定的sl时段时间结束时，可以将ir光源切换至关闭。电路102通常包括控制逻辑(例如，软件、固件、电路)以计算要与cmos图像传感器的曝光窗口同步的sl照明的时序。例如，电路102可以使用第一gpio(通用输入/输出)或sio(串行输入/输出)来编程ir投影仪104的持续时间和强度，并且使用第二gpio来控制信号sl trig的有效。
71.在一些实施例中，可以在电路102与ir投影仪104之间实现接口785。接口785可以包括ir照明设置数据路径和sl触发信号(例如，sl trig)。在示例中，所投影的ir结构光的强度可以由经由ir照明设置数据路径通信到ir投影仪104的数据(例如，sl intensity)来编程。信号sl trig可以用于控制ir结构光照明的开始和持续时间。当使信号sl trig有效(例如，切换到low状态)时，ir结构光投影窗口开始。当使信号sl trig失效(例如，切换到high状态)时，ir结构光投影窗口结束并且ir光源被切换至关闭。电路102通常包括控制逻辑(例如，软件、固件、电路)以计算要与cmos图像传感器的曝光窗口(例如，t_exposure)同步的ir结构光照明时段的时序。例如，处理器可以使用第一gpio或sio来编程ir结构光图案参数，并且使用第二gpio来控制信号sl trig的有效以控制ir照明的开启/关闭。
72.参考图12，示出了说明示例实现方式的相机800的框图。在示例中，相机800可以包括块(或电路)802、块(或电路)804、块(或电路)806、块(或电路)808、块(或电路)810、块(或电路)812、块(或电路)814、块(或电路)816、块(或电路)818和/或块(或电路)820。电路802可以被实现为处理器和/或片上系统(soc)。电路804可以被实现为捕获设备。电路806可以被实现为存储器。块808可以被实现为光学镜头。电路810可以被实现为结构光投影仪。块812可以被实现为结构光图案镜头。电路814可以被实现为一个或多个传感器。电路816可以被实现为通信设备。电路818可以被实现为无线接口。电路820可以被实现为电池820。在一些实施例中，相机800可以包括处理器/soc 802、捕获设备804、存储器806、镜头808、ir结构光投影仪810、镜头812、传感器814、通信模块816、无线接口818和电池820。在另一示例中，相机800可以包括捕获设备804、镜头808、ir结构光投影仪810、镜头812和传感器814，并且处理器/soc802、存储器806、通信模块816、无线接口818和电池820可以是单独的设备的组件。相机800的实现方式可以根据特定实现方式的设计标准而变化。
73.镜头808可以附接到捕获设备804。在示例中，捕获设备804可以包括块(或电路)822、块(或电路)824和块(或电路)826。电路822可以实现图像传感器。图像传感器822可以是rgb-ir卷帘式快门图像传感器。电路824可以是处理器和/或逻辑。电路826可以是存储器电路(例如，帧缓冲器)。
74.捕获设备804可以被配置为捕获视频图像数据(例如，由镜头808收集并聚焦的光)。捕获设备804可以捕获通过镜头808接收到的数据以生成视频位流(例如，视频帧的序列)。在各种实施例中，镜头808可以被实现为定焦镜头。定焦镜头通常促进更小尺寸和低功率。在示例中，定焦镜头可以用于电池供电的门铃和其他低功率相机应用。在一些实施例
中，镜头808可以被定向、倾斜、平移、缩放和/或旋转以捕获相机800周围的环境(例如，捕获来自视野的数据)。在示例中，可以利用主动镜头系统来实现专业相机模型，以用于增强的功能、远程控制等。
75.捕获设备804可以将接收到的光转换为数字数据流。在一些实施例中，捕获设备804可以执行模数转换。例如，图像传感器822可以对由镜头808接收到的光执行光电变换。处理器/逻辑824可以将数字数据流转换为视频数据流(或位流)、视频文件和/或多个视频帧。在示例中，捕获设备804可以将视频数据呈现为数字视频信号(例如，video)。数字视频信号可以包括视频帧(例如，顺序数字图像和/或音频)。
76.由捕获设备804捕获的视频数据可以被表示为信号/位流/数据video(例如，数字视频信号)。捕获设备804可以将信号video呈现给处理器/soc 802。信号video可以表示视频帧/视频数据。信号video可以是由捕获设备804捕获的视频流。
77.图像传感器822可以从镜头808接收光并且将光转换为数字数据(例如，位流)。例如，图像传感器822可以对来自镜头808的光执行光电变换。在一些实施例中，图像传感器822可以具有不被用作图像输出的一部分的额外裕度。在一些实施例中，图像传感器822可以不具有额外裕度。在各种实施例中，图像传感器822可以被配置为生成rgb-ir视频信号。在仅红外光照明的视野中，图像传感器822可以生成单色(b/w)视频信号。在由ir光和可见光两者照明的视野中，图像传感器822可以被配置为生成除了单色视频信号之外的彩色信息。在各种实施例中，图像传感器822可以被配置为响应于可见光和/或红外(ir)光而生成视频信号。
78.处理器/逻辑824可以将位流转换为人类可见的内容(例如，无论图像质量如何，普通人都可以理解的视频数据，例如，视频帧)。例如，处理器/逻辑824可以从图像传感器822接收纯(例如，原始)数据，并且基于原始数据来生成(例如，编码)视频数据(例如，位流)。捕获设备804可以具有存储器826以存储原始数据和/或经处理的位流。例如，捕获设备804可以实现帧存储器和/或缓冲器826以存储(例如，提供临时存储和/或高速缓存)视频帧中的一个或多个(例如，数字视频信号)。在一些实施例中，处理器/逻辑824可以对存储在捕获设备804的存储器/缓冲器826中的视频帧执行分析和/或校正。
79.传感器814可以实现多个传感器，包括但不限于运动传感器、环境光传感器、接近度传感器(例如，超声、雷达、激光雷达等)、音频传感器(例如，麦克风)等。在实现运动传感器的实施例中，传感器814可以被配置为检测在由相机800监视的视野中的任何地方的运动。在各种实施例中，运动的检测可以用作用于激活捕获设备804的一个阈值。传感器814可以被实现为相机800的内部组件和/或被实现为相机800外部的组件。在示例中，传感器814可以被实现为无源红外(pir)传感器。在另一示例中，传感器814可以被实现为智能运动传感器。在实现智能运动传感器的实施例中，传感器814可以包括被配置为检测运动和/或人的低分辨率图像传感器。
80.在各种实施例中，传感器814可以生成信号(例如，sens)。信号sens可以包括由传感器814收集的各种数据(或信息)。在示例中，信号sens可以包括响应于运动在被监视的视野中被检测到而被收集的数据、在被监视的视野中的环境光级别和/或在被监视的视野中拾取的声音。然而，可以基于特定应用的设计标准来收集和/或生成其他类型的数据。可以将信号sens呈现给处理器/soc 802。在示例中，当运动在由相机800监视的视野中被检测到
时，传感器814可以生成信号sens(使信号sens有效)。在另一示例中，当由在相机800监视的视野中的音频触发传感器814时，传感器814可以生成信号sens(使信号sens有效)。在又一示例中，传感器814可以被配置为提供关于在视野中检测到的运动和/或声音的方向信息。方向信息也可以经由信号sens通信到处理器/soc 802。
81.处理器/soc 802可以被配置为执行计算机可读代码和/或过程信息。在各种实施例中，计算机可读代码可以被存储在处理器/soc 802内(例如，微码等)和/或存储器806中。在示例中，处理器/soc 802可以被配置为执行存储在存储器806中的一个或多个人工神经网络模型(例如，面部识别cnn、对象检测cnn、对象分类cnn等)。在示例中，存储器806可以存储一个或多个有向非循环图(dag)以及定义一个或多个人工神经网络模型的一个或多个权重集。处理器/soc 802可以被配置为从存储器806接收输入和/或向存储器806呈现输出。处理器/soc 802可以被配置为呈现和/或接收其他信号(未示出)。处理器/soc 802的输入和/或输出的数量和/或类型可以根据特定实现方式的设计标准而变化。处理器/soc 802可以被配置用于低功率(例如，电池)操作。
82.处理器/soc 802可以接收信号video和信号sens。处理器/soc 802可以基于信号video、信号sens和/或其他输入来生成一个或多个视频输出信号(例如，vidout)以及一个或多个控制信号(例如，ctrl)。在一些实施例中，可以基于对信号video和/或在信号video中检测到的对象的分析来生成信号vidout和ctrl。在各种实施例中，处理器/soc 802可以被配置为执行以下各项中的一个或多个：特征提取、对象检测、对象跟踪和对象识别。例如，处理器/soc 802可以通过分析来自信号video的帧并且将该帧与先前的帧进行比较来确定运动信息和/或深度信息。比较可以用于执行数字运动估计。在一些实施例中，处理器/soc 802可以被配置为生成包括来自信号video的视频数据的视频输出信号vidout。视频输出信号vidout可以被呈现给存储器806、通信模块816和/或无线接口818。
83.存储器806可以存储数据。存储器806可以实现各种类型的存储器，包括但不限于高速缓存、闪速存储器、存储器卡、随机存取存储器(ram)、动态ram(dram)存储器等。存储器806的类型和/或大小可以根据特定实现方式的设计标准而变化。存储在存储器806中的数据可以对应于视频文件、运动信息(例如，来自传感器814的读数)、视频融合参数、图像稳定参数、用户输入、计算机视觉模型和/或元数据信息。
84.镜头808(例如，相机镜头)可以被定向以提供相机800周围的环境的视图。镜头808可以旨在捕获环境数据(例如，光)。镜头808可以是广角镜头和/或鱼眼镜头(例如，能够捕获宽视野的镜头)。镜头808可以被配置为捕获和/或聚焦用于捕获设备804的光。通常，图像传感器822位于镜头808的后面。基于从镜头808捕获的光，捕获设备804可以生成位流和/或视频数据。
85.通信模块816可以被配置为实现一个或多个通信协议。例如，通信模块816和无线接口818可以被配置为实现以下各项中的一个或多个：ieee 802.11、ieee 802.15、ieee 802.15.1、ieee 802.15.2、ieee 802.15.3、ieee 802.15.4、ieee 802.15.5、ieee 802.20、和/或在一些实施例中，无线接口818还可以实现与蜂窝通信网络相关联的一个或多个协议(例如，gsm、cdma、gprs、umts、cdma2000、3gpp lte、4g/hspa/wimax、sms等)。在相机800被实现为无线相机的实施例中，由通信模块816和无线接口818实现的协议可以是无线通信协议。由通信模块816实现的通信协议的类型可以根据特定实现方式的
设计标准而变化。
86.通信模块816和/或无线接口818可以被配置为生成广播信号作为来自相机800的输出。广播信号可以将视频数据vidout和/或(多个)控制信号ctrl发送到外部设备。例如，可以将广播信号发送到云存储服务(例如，能够按需扩展的存储服务)。在一些实施例中，通信模块816可以不发送数据，直到处理器/soc 802已经执行视频分析以确定对象在相机800的视野中为止。
87.在一些实施例中，通信模块816可以被配置为生成手动控制信号。可以响应于由通信模块816从用户接收到的信号而生成手动控制信号。手动控制信号可以被配置为激活处理器/soc 802。无论相机800的功率状态如何，都可以响应于手动控制信号而激活处理器/soc 802。
88.在一些实施例中，相机800可以包括电池820，该电池820被配置为为相机800的各种组件提供电力。用于基于运动传感器814的输出来激活和/或禁用捕获设备804的多步骤方法和/或相机800的任何其他功耗特征可以被实现以减少相机800的功耗并且延长电池820的可操作寿命。传感器814的运动传感器可以在电池820上具有非常低的耗电量(例如，小于10μw)。在示例中，传感器814的运动传感器可以被配置为保持开启(例如，始终有效)，除非响应于来自处理器/soc 802的反馈而被禁用。由处理器/soc 802执行的视频分析可以在电池820上具有大耗电量(例如，大于运动传感器814)。在示例中，处理器/soc 802可以处于低功率状态(或掉电)，直到某种运动由传感器814的运动传感器检测到为止。
89.相机800可以被配置为使用各种功率状态进行操作。例如，在掉电状态(例如，睡眠状态、低功率状态)下，传感器814的运动传感器和处理器/soc 802可以开启，并且相机800的其他组件(例如，图像捕获设备804、存储器806、通信模块816等)可以关闭。在另一示例中，相机800可以在中间状态下操作。在该中间状态下，图像捕获设备804可以开启，并且存储器806和/或通信模块816可以关闭。在又一示例中，相机800可以在通电(或高功率)状态下操作。在通电状态下，传感器814、处理器/soc 802、捕获设备804、存储器806和/或通信模块816可以开启。相机800可以在掉电状态下消耗来自电池820的一些电力(例如，相对小和/或最小量的电力)。在通电状态下，相机800可以消耗来自电池820的更多电力。在相机800在功率状态中的每一种状态下操作时，功率状态和/或相机800的开启的组件的数量可以根据特定实现方式的设计标准而变化。
90.在一些实施例中，相机800可以包括小键盘、触摸板(或屏幕)、门铃开关和/或其他人机接口设备(hid)828。在示例中，传感器814可以被配置为确定对象何时在hid 828附近。在相机800被实现为访问控制应用的一部分的示例中，可以开启捕获设备804以提供用于标识尝试访问的人的图像和锁定区域的照明，和/或可以开启用于访问的触摸板。
91.在各种实施例中，可以提供低成本的3d感测平台。低成本的3d感测平台可以促进智能访问控制系统和智能安全性产品(例如，智能视频门铃和门锁、支付系统、警报系统等)的开发。在各种实施例中，低成本的3d感测平台可以包括视觉片上系统(soc)、结构光投影仪和rgb-ir卷帘式快门图像传感器。在各种实施例中，rgb-ir cmos传感器可以用于获得用于观看和面部识别的可见光图像和用于深度感测的红外(ir)图像两者。在示例中，视觉soc可以在单个芯片上提供深度处理、反欺骗算法、3d面部识别算法和视频编码。
92.在各种应用中，根据本发明的实施例的低成本的3d感测平台可以显著地降低系统
复杂度，同时改进性能、可靠性和安全性。在示例中，根据本发明的实施例的视觉soc可以包括但不限于强大的图像信号处理器(isp)、对rgb-ir滤色器阵列的本地支持以及高级高动态范围(hdr)处理，这可以在低光照且高对比度的环境中产生例外的图像质量。在示例中，根据本发明的实施例的视觉soc可以提供一种架构，该架构递送用于存在性检测和3d面部识别的计算功率，同时针对诸如人数计数和反追尾之类的高级特征运行多种人工智能(ai)算法。
93.在各种实施例中，可以通过使用rgb-ir卷帘式快门传感器(例如，一个传感器和一个镜头对两个传感器和两个镜头，以及卷帘式快门对全局快门)来降低系统成本。通过利用软件控制结构光投影仪，可以轻松调整时间序列，从而改进灵活性。因为结构光投影仪可以由软件短暂地使用，所以可以实现功率节约。
94.在各种实施例中，可以实现低成本的基于结构光的3d感测系统。在示例中，3d信息可以用于3d建模和存在性确定。在示例中，低成本的基于结构光的3d感测系统可以用于解锁门、解除警报系统和/或允许对(例如，花园、车库、房屋等的)受限区域的“绊网”访问。在一个示例中，低成本的基于结构光的3d感测系统可以被配置为识别园丁/水池维护人员并且禁止触发警报。在另一示例中，低成本的基于结构光的3d感测系统可以被配置为限制对一周中的某些时间和日期的访问。在另一示例中，低成本的基于结构光的3d感测系统可以被配置为在识别出某些对象时触发警报(例如，限制令是针对前配偶的，如果检测到该人，则向911报警)。在另一示例中，低成本的基于结构光的3d感测系统可以被配置为基于视频/音频标识允许警报系统重新编程特权(例如，即使输入了正确的密码，也仅允许人x或y改变访问级别或策略、添加用户等)。
95.由图1-12的图示出的功能可以利用常规通用处理器、数字计算机、微处理器、微控制器、risc(精简指令集计算机)处理器、cisc(复杂指令集计算机)处理器、simd(单指令多数据)处理器、信号处理器、中央处理单元(cpu)、算术逻辑单元(alu)、视频数字信号处理器(vdsp)和/或根据说明书的教导进行编程的类似的计算机器中的一个或多个来实现，如对(多个)相关领域的技术人员将显而易见的。熟练的程序员可以基于本公开的教导容易地准备适当的软件、固件、编码、例程、指令、操作码、微码和/或程序模块，同样如对(多个)相关领域的技术人员将显而易见的。该软件通常由机器实现方式的处理器中的一个或多个从一种或多种介质执行。
96.本发明还可以通过以下方式来实现：准备asic(专用集成电路)、平台asic、fpga(现场可编程门阵列)、pld(可编程逻辑器件)、cpld(复杂可编程逻辑器件)、门海(sea-of-gate)、rfic(射频集成电路)、assp(专用标准产品)、一个或多个单片集成电路、被布置为倒装芯片模块和/或多芯片模块的一个或多个芯片或管芯，或者通过互连常规组件电路的适当的网络，如本文中所描述的，其修改对于本领域技术人员而言将是显而易见的。
97.因此，本发明还可以包括一种计算机产品，该计算机产品可以是一种或多种存储介质和/或一种或多种传输介质，这些介质包括可以用于对机器执行编程以执行根据本发明的一个或多个过程或方法的指令。机器对包含在计算机产品中的指令的执行以及周围电路的操作可以将输入数据转换为存储介质上的一个或多个文件和/或表示物理对象或物质的一个或多个输出信号，例如，音频和/或视觉描绘。存储介质可以包括但不限于任何类型的盘，包括软盘、硬盘驱动器、磁盘、光盘、cd-rom、dvd和磁光盘以及诸如rom(只读存储器)、
ram(随机存取存储器)、eprom(可擦除可编程rom)、eeprom(电可擦除可编程rom)、uvprom(紫外可擦除可编程rom)之类的电路、闪速存储器、磁卡、光卡和/或适合于存储电子指令的任何类型的介质。
98.本发明的元件可以形成一个或多个设备、单元、组件、系统、机器和/或装置的一部分或全部。设备可以包括但不限于服务器、工作站、存储阵列控制器、存储系统、个人计算机、膝上型计算机、笔记本计算机、掌上计算机、云服务器、个人数字助理、便携式电子设备、电池供电的设备、机顶盒、编码器、解码器、代码转换器、压缩器、解压缩器、预处理器、后处理器、发射机、接收机、收发器、密码电路、蜂窝电话、数字相机、定位和/或导航系统、医疗设备、平视显示器、无线设备、音频记录、音频存储和/或音频播放设备、视频记录、视频存储和/或视频播放设备、游戏平台、外围设备和/或多芯片模块。(多个)相关领域的技术人员将理解，可以在其他类型的设备中实现本发明的元件，以满足特定应用的标准。
99.当在本文中与“是”和动词结合使用时，术语“可以”和“通常”意在传达这样的意图：该描述是示例性的，并且被认为足够宽泛以涵盖本公开中提出的具体示例以及可以基于本公开得出的替代示例两者。如本文所使用的术语“可以”和“通常”不应被解释为必然暗示省略相应元件的可取性或可能性。
100.尽管已经参考本发明的实施例具体地示出并描述了本发明，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以对形式和细节进行各种改变。