用于结构光中的误差校正的系统及方法与流程
各种特征涉及主动深度感测，且更具体地说，涉及在解释从结构光导出的深度信息时校正由于数据误差而导致的深度图中的间隙的技术。
背景技术：
结构光主动感测系统发射且接收对应于空间代码(码字)的图案以产生场景的深度图。对象离发射器和接收器越远，接收到的空间代码投影离其在接收器处的原始位置越近，因为传出空间代码投影与反射的传入空间代码投影更平行。相反，对象离发射器和接收器越近，接收到的空间代码投影离其在接收器处的原始位置越远。因此，接收到的与所发射的码字位置之间的差异指示场景中对象的深度。结构光主动感测系统使用这些相对深度来产生场景的深度图或三维表示。深度图对于在从相机质量增强到计算机视觉的范围内的许多应用至关重要。
每一种码字可使用分段成具有变化强度值的行和列的光图案编码。例如，明和暗的强度值可用于表示0和1，从而形成二进制图案。其它空间代码可使用多于两个不同强度值。
干扰(例如，斑点)可使得接收到的空间代码和所得深度图具有间隙或孔洞。例如，在发射二进制代码时存在干扰可使得所发射的代码中经编码的“1”值被接收作为“0”，或反之亦然。因此，接收到的空间代码将不会被辨识为所发射的空间代码。此所得误差可能导致场景的深度图中的深度值不正确或缺失。
技术实现要素：
本文中所揭示的方法和设备或装置各具有若干方面，所述方面中无单一者单独负责其所需属性。在不限制(例如)如由以下权利要求书所表达的本发明的范围的情况下，现将简要地论述其较显著的特征。在考虑此论述之后，且确切地说，在阅读名为“详细描述”的部分区段之后，将理解所描述的特征如何提供包含结构光中的误差校正的优点。
所揭示的一个方面是结构光中的误差校正的方法。在各种实施例中，所述方法可包含经由接收器传感器接收编码多个码字的复合代码掩码的至少一部分的结构光图像，所述图像包含无效码字。所述方法可进一步包含检测无效码字。所述方法可进一步包含基于无效码字产生多个候选码字。所述方法可进一步包含选择多个候选码字中的一个来替代无效码字。所述方法可进一步包含基于所选候选码字产生用于场景的图像的深度图。所述方法可进一步包含基于深度图产生场景的数字表示。所述方法可进一步包含将场景的数字表示输出到输出装置。
对于一些实施方案，检测无效码字包含确定接收到的码字是否包含于多个经编码码字中，和响应于确定接收到的码字不包含于多个经编码字中，确定接收到的码字无效。
对于一些实施方案，经编码码字由多个基底函数与多个基底函数的旋转版本的组合形成。对于一些实施方案，检测无效码字包含将接收到的码字与多个基底函数和多个基底函数的旋转版本中的每一者进行比较。对于一些实施方案，比较包含将接收到的码字匹配滤波到多个基底函数和多个基底函数的旋转版本中的每一者。
对于一些实施方案，产生多个候选码字包含个别扰动无效码字的每一个元素来针对每一个别扰动产生一候选码字。对于一些实施方案，产生多个候选码字包括以迭代方式扰动无效码字的至少两个元素以针对每一迭代产生一候选码字，直到至少两个元素的全部组合均已被扰动一次为止。
对于一些实施方案，选择多个候选码字中的一个来替代无效码字包括选择包含于多个经编码码字中的多个候选码字的子集。对于一些实施方案，选择多个候选码字中的一个来替代无效码字进一步包含确定在候选码字的所选子集中的每一个候选码字与无效码字周围的码字的局部邻域之间的相似性。对于一些实施方案，选择多个候选码字中的一个来替代无效码字进一步包含选择最类似于局部邻域的候选码字来替代无效码字。对于一些实施方案，相似性对应于与候选码字的所选子集中的每一个候选码字相关联的深度和与无效码字周围的码字的局部邻域相关联的深度的差异。对于一些实施方案，无效码字的码字的局部邻域由在无效码字的位置的1、2、3、4、5或6个码字位置内的码字构成。对于一些实施方案，与局部邻域相关联的深度是中值深度。
所揭示的另一方面是用于结构光中的误差校正的设备。误差校正设备可包含接收器传感器，其经配置以接收编码多个码字的复合代码掩码的至少一部分的结构光图像，所述图像包含无效码字。误差校正设备可进一步包含与接收器传感器通信的处理电路、处理电路。处理电路可经配置以检测无效码字。处理电路可进一步经配置以基于无效码字产生多个候选码字。处理电路可进一步经配置以选择多个候选码字中的一个来替代无效码字。处理电路可进一步经配置以基于所选候选码字产生用于场景的图像的深度图。处理电路可进一步经配置以基于深度图产生场景的数字表示。处理电路可进一步经配置以将场景的数字表示输出到输出装置。
对于一些实施方案，处理电路进一步经配置以确定接收到的码字是否包含于所述多个经编码码字中。对于一些实施方案，处理电路经配置以响应于确定接收到的码字不包含于多个经编码字中，确定接收到的码字无效。
对于一些实施方案，经编码码字由多个基底函数与多个基底函数的旋转版本的组合形成。对于一些实施方案，处理电路进一步经配置以将接收到的码字与多个基底函数和多个基底函数的旋转版本中的每一者进行比较。对于一些实施方案，处理电路进一步经配置以将接收到的码字匹配滤波到多个基底函数和多个基底函数的旋转版本中的每一者。
对于一些实施方案，处理电路进一步经配置以扰动无效码字的每一个元素并针对每一个别扰动产生候选码字。对于一些实施方案，处理电路进一步经配置为以迭代方式扰动无效码字的至少两个元素以针对每一迭代产生候选码字，直到至少两个元素的全部组合均已被扰动一次为止。
对于一些实施方案，处理电路进一步经配置以选择包含于多个经编码码字中的多个候选码字的子集。对于一些实施方案，处理电路进一步经配置以确定候选码字的所选子集中的每一个候选码字与无效码字周围的码字的局部邻域之间的相似性。对于一些实施方案，处理电路进一步经配置以选择最类似于局部邻域的候选码字来替代无效码字。对于一些实施方案，相似性对应于与候选码字的所选子集中的每一个候选码字相关联的深度和与无效码字周围的码字的局部邻域相关联的深度的差异。对于一些实施方案，无效码字周围的码字的局部邻域由在无效码字的码字位置的1、2、3、4、5或6个码字位置内的码字构成。对于一些实施方案，与局部邻域相关联的深度是中值深度。
所揭示的另一方面是用于结构光中的误差校正的设备。所述设备可包含用于接收编码多个码字的复合代码掩码的至少一部分的结构光图像的装置，所述图像包含无效码字。所述设备可包含用于检测无效码字的装置。所述设备可包含用于基于无效码字产生多个候选码字的装置。所述设备可包含用于选择多个候选码字中的一个来替代无效码字的装置。所述设备可包含用于基于所选候选码字产生用于场景的图像的深度图的装置。所述设备可包含用于基于深度图产生场景的数字表示的装置。所述设备可包含用于将场景的数字表示输出到输出装置的装置。
所揭示的另一方面为一种存储用于结构光中的误差校正的指令的非暂时性计算机可读媒体，所述指令当经执行时当经执行时执行一方法。所述方法可包含经由接收器传感器接收编码多个码字的复合代码掩码的至少一部分的结构光图像，所述图像包含无效码字。所述方法可包含检测无效码字。所述方法可包含基于无效码字产生多个候选码字。所述方法可包含选择多个候选码字中的一个来替代无效码字。所述方法可包含基于所选候选码字产生用于场景的图像的深度图。所述方法可包含基于深度图产生场景的数字表示。所述方法可包含将场景的数字表示输出到输出装置。
附图说明
现将参考附图结合各种实施方案描述上文提及的方面以及本发明技术的其它特征、方面和优点。然而，所说明的实施方案仅为实例，且并不希望是限制性的。在整个图式中，除非上下文另有规定，否则相似符号通常识别相似组件。应注意，以下各图的相对尺寸可能未按比例绘制。
图1是说明主动感测系统的实例的示意图，其中已知图案用于照明场景或对象并获得深度信息，利用所述深度信息以从2维图像和/或信息产生3维信息。
图2是说明用于主动感测的系统的另一实例的图，其中3维(3d)场景由2维(2d)图像或信息构建。
图3是说明可如何感测对象或场景的深度的示意图。
图4是说明可经配置以产生复合代码掩码和/或投影此类复合代码掩码的发射器装置的实例的框图。
图5是说明可经配置以从复合代码掩码获得深度信息的接收器装置的实例的框图。
图6是经配置以执行本文中所揭示的一或多个误差校正方法的设备的一个实施例的框图。
图7展示使用中值滤波器的误差校正的变化程度。
图8a说明具有展现埃尔米特(hermitian)对称性的点的图案的实例。
图8b说明没有重影图像的埃尔米特对称图案的实例。
图8c说明具有埃尔米特对称性的代码掩码图案的实例。
图8d说明具有重影图像的非埃尔米特对称图案的实例。
图8e说明没有埃尔米特对称性的代码掩码图案的实例。
图9说明图8c中所说明的示范性代码掩码的详细视图，所述示范性代码掩码具有多列不同基底函数和视窗化的4×4个空间代码。
图10展示从结构光导出的深度图中的间隙。
图11为深度图孔洞填充方法的数据流程图的实例。
图12说明深度图中的误差校正过程的实例。
图13描绘说明使用中值滤波器在深度图中进行空隙填充的一些方面的图像。
图14描绘说明使用本文中所揭示的方法和系统进行深度图的空隙填充的一些方面的图像。
图15为说明校正从结构光产生的码字中的误差的过程的实例的流程图。
具体实施方式
以下详细描述是针对某些特定实施例。然而，所揭示的方法和系统可以众多的不同方式体现。应显而易见，本文中的方面可体现于广泛多种形式中，且本文中所揭示的任一特定结构、功能或这两者仅为代表性的。基于本文中的教示，所属领域的技术人员应了解，本文中所揭示的方面可独立于任何其它方面而实施，且可以不同方式组合这些方面中的两个或多于两个方面。举例来说，可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，使用其它结构、功能性或除了本文中所阐述的一或多个方面之外或不同于本文中所阐述的一或多个方面的结构和功能性可以实施这种设备或可以实践这种方法。
另外，可在多种不同计算装置上实施本文中所描述的系统和方法。所述计算装置包括移动电话、平板计算机、专用相机、可佩戴式计算机、个人计算机、照相间或照相亭、个人数字助理、超移动个人电脑和移动互联网装置。其可使用通用或专用计算机系统环境或配置。可适合与本发明一起使用的计算系统、环境和/或配置的实例包含(但不限于)个人计算机、服务器计算机、手持式或笔记本电脑装置、多处理器系统、基于处理器的系统、可编程消费型电子装置、网络pc、微型计算机、大型主机计算机，包含以上系统或装置中的任一个的分布式计算环境等。
如上文所论述，结构光系统在场景上投影已知图案或代码，并将接收到的图案或代码进行处理来获得深度图。每个码字可经由使用在下文更详细地论述的“基底函数”产生。可挑选基底函数的周期性来满足对于埃尔米特对称性的集合图案(用于消除重影图像及简化制造)、最小占空比(为确保每码字最小功率)、完美的窗口特性(用于最佳轮廓分辨率与高分辨率的代码封装)和随机移位(用于在对象边界上的经改进检测)的一或多个需求。
如果接收到的代码匹配列出有效代码的码簿中的代码中的一个，那么接收到的代码最有可能等效于所发射的代码，且因此不存在误差。不可避免地，由于斑点或其它噪声源，接收到的图案的某些区域可在代码的发射与接收之间更改。如果接收到的代码不精确匹配码簿中的代码中的一个，那么接收器可确定接收到的代码不匹配经发射代码，且因此在接收到的代码中存在误差。任何未解码码字在深度图中产生不含深度信息的孔洞，因此降低图的效用。
一些解决方案利用匹配滤波器以提供关于接收到的码字中的基底函数的存在的软决策。用于误差检测和校正的其它机制涉及使用不使用基础代码结构且由此不产生新信息的几何约束。
在一些实施例中，所揭示的系统和方法可通过确定基于含有可能已发射的有效代码的列表的码簿而发射的最可能码字和接收到的码字来执行误差校正。
举例来说，在一些方面中，如果接收到的代码不匹配有效代码码簿中的任一代码，那么接收到的代码中包含与接收到的代码的一或多个位差的变体可与码簿进行比较，以确定变体中的任一个是否包含于有效代码码簿中。如果接收到的码字的多个变体包含于码簿中，那么采用码字的局部邻域与候选码字之间的相似性度量来选择最可能匹配原始发射码字的变体。
示范性操作环境
图1说明示范性主动感测系统，其中结构光图案用于照明场景或对象且获得深度信息。可在这种示范性主动感测系统内实施本文所描述的一或多个方面和/或特征。图1展示发射器102通过代码掩码104(例如，具有代码的图像)投影光以在对象或场景106上投影码字。接收器108捕捉所投影的代码掩码110和其中的码字。代码掩码104的区段/部分/窗口112(作为区段/部分/窗口114)投影到对象或场景106的表面(例如，所投影的区段/部分/窗口116)上。经投影区段/部分/窗口116接着可由接收器108捕捉作为经捕捉片段118。区段/部分/窗112编码可唯一地识别的码字。通过以此方式用独特码字使场景或对象106成像，可识别/标记场景或对象106的区段/部分，且这个信息可用于深度感测。
可从由接收器108捕捉的图像识别场景或对象106上方的多个片段。可在接收器108和其相对于从经译码掩码104的已知图案去人的其它片段的位置处唯一地识别每一片段118。每一片段/部分/窗口的代码的识别可涉及图案分段(例如，以解决失真)及将感知到的片段/部分/窗口解码成对应代码。另外，三角测量可应用于每一所捕捉片段/部分/窗口以确认定向和/或深度。多个此类片段/部分/窗口可经组合以将所捕捉图像图案拼接在一起。以此方式，可产生场景或对象106的深度图。
图2说明用于主动感测的另一示范性系统，其中3维(3d)场景由2维(2d)图像或信息构建。编码器/形状调制器201可用以产生随后由发射器装置202在发射信道204上投影的代码掩码。代码掩码可投影到目标(例如，场景或对象)上，且反射光由接收器传感器205捕捉为图像(例如，代码掩码图像)。在接收器传感器205(例如，图1中的接收器108)处，捕捉目标(例如，场景或对象)，且编码205其形状/深度。形状/深度编码可(例如)使用所投影的代码掩码确认深度信息而实现。举例来说，可解码206场景或对象的所捕捉图像(其包含所投影代码掩码)以获得深度图208。深度图208可接着用以呈现、产生和/或提供目标的3维版本210a到210e。
主动感测依赖于能够从由发射器装置202投影于场景或对象上的代码掩码(在接收器传感器205和/或解码器206处)辨识出所有空间代码(即，码字)。如果场景或对象过于接近发射器/接收器，那么场景或对象的表面成角度/弯曲及/或基线参考平面倾斜，代码在未知仿射变换下被修改(例如，旋转、偏斜、压缩、伸长，等等)。
本文所描述的一或多个方面或特征可在图1及2的示范性环境内实施。
示范性主动深度感测
图3说明可如何感测对象或场景的“深度”的实例。图3展示包含发射器302和接收器304的装置300。所述装置利用从发射器302发出的结构光作为码字投影310来照明两个对象306和308。码字投影310从对象306和/或308反射且作为码字反射311而被接收。
在所说明的方面中，发射器302与接收器304在同一基线参考平面(例如，透镜平面305)上。发射器302通过透镜或孔口313将代码掩码310投影到对象306和308上。
码字投影310照明作为经投影片段312'的对象306，且照明作为经投影片段312”的对象308。当经投影片段312'和312”由接收器304通过接收器透镜或孔口315接收时，码字反射311可展示在第一距离d1处从对象308产生的反射和在第二距离d2处从对象306产生的反射。
如由图3所展示，由于对象306定位为更接近发射器302(例如，距发射器装置第一距离)，因此经投影片段312'出现在距其初始位置的距离d2处。相比之下，由于对象308位于更远处(例如，距发射器302第二距离)，因此经投影片段/部分/窗口312”出现在距其初始位置的距离d1处(其中d1<d2)。即，对象距发射器/接收器越远，接收到的投影片段/部分/窗口在接收器装置304处距其原始位置越近(例如，传出投影与传入投影更为平行)。相反，对象距发射器/接收器越近，接收到的投影片段/部分/窗口在接收器304处距其原始位置越远。因此，所接收的与所发射的码字位置之间的差异可用作对象的深度的指标。在一个实例中，这种深度(例如，相对深度)可为由图像中的每个像素或分组像素(例如，两个或多于两个像素的区域)描绘的对象提供深度值。
已构想各种类型的调制和译码方案来产生码字投影或代码掩码。这些调制和译码方案包含时间译码、空间译码和直接译成代码(directcodification)。
在时间译码中，图案连续地投影到测量表面上(例如，随时间推移)。这种技术具有高准确度和分辨率，但较不适合于动态场景。
在空间译码中，信息基于形状和图案而编码于局部邻域中。伪随机代码可基于定义码簿的德布鲁因(de-bruijn)或m阵列(例如，m元强度或色彩调制)。例如，在形状和图案失真的情况下，可能不容易获得图案分段。
在直接编码中，编码水平和竖直像素坐标两者。可通过单调相位或强度波形进行调制。然而，这个方案可利用大于用于其它方法的码簿的码簿。大部分方法中，接收到的码字可与(例如，码簿中的)一组所定义的可能码字相关。因此，使用一组小码字(例如，小码簿)与较大码簿相比可提供较好性能。并且，由于较大码簿导致码字之间的较小距离，使用较大码簿的实施方案可能经历另外的误差。
用于主动深度感测的示范性代码
可通过照射光穿过代码掩码来将结构光图案投影到场景上。通过代码掩码所投影的光可含有一或多个棋盘状代码掩码原语。每一代码掩码原语可含有空间代码阵列。码簿或数据结构可包含代码集合。可使用基底函数产生空间代码、代码掩码和代码掩码原语。可挑选基底函数的周期性来满足对于埃尔米特对称性的集合图案(用于消除重影图像及简化制造)、最小占空比(以确保每码字最小功率)、完美的窗口特性(用于最佳轮廓分辨率与高分辨率的代码封装)和随机移位(用于在对象边界上的经改进检测)的需求。在解调、解码及校正接收到的图案中的误差时，接收器可利用码簿和/或空间代码、代码掩码和代码掩码原语的设计属性。
空间代码的大小与对应分辨率对应于代码掩码上的空间代码的物理空间范围。大小可对应于表示每一码字的矩阵中的行与列的数目。码字越小，可检测的对象就越小。例如，为检测和确定在衬衫上的纽扣与衬衫织品之间的深度差异，码字应不大于纽扣的大小。在一实施例中，每一空间代码可占据四行和四列。在一实施例中，代码可占据更多或更少行和列(行×列)，以占据(例如)3×3、4×4、4×5、5×5、6×4或10×10行和列。
空间代码的空间表示对应于每一码字元素如何在代码掩码上图案化并随后投影到场景上。例如，每一码字元素可使用一或多个点、一或多个线路片段、一或多个栅格、一些其它形状或其某一组合来表示。
空间代码的“占空比”对应于码字中经确认位或部分(例如，“1”)的数目与未确认位/部分(例如，“0”)的数目的比率。当包含码字的经译码光图案投影到场景上时，具有“1”值的每一位或部分可具有能量(例如，“光能”)，而具有“0”值的每一位可不含能量。为了使码字更容易被检测，码字应具有充足能量。低能量码字可更难以检测且可对噪声更敏感。例如，如果码字中的8个或多于8个位为“1”，那么4×4码字具有50％或大于50％的占空比。可存在对于个别码字的最小(或最大)占空比约束或对于码簿中的代码集合的占空比约束，例如平均占空比。
代码的“轮廓分辨率”或“完美窗口”特性指示：当码字移位少量(例如一位旋转)时，所得数据表示另一个码字。码字移位的量可被称为移位量。具有高轮廓分辨率的代码可使结构光深度感测系统能够辨识相对较小的对象边界并提供对不同对象的辨识连续性。行维度中的移位量1和列维度中的移位量2可对应于沿行维度向右移位一个位位置和沿列维度向下移位两个位位置。码字的高轮廓分辨率集合使得有可能在接收到的图像上将窗口每次移动一行或一列且确定在每一窗口位置处的深度。这实现了在以接收到的图像的第三行和第三列为中心的起始点处使用5×5窗口及移动5×5窗口至从第三行到倒数第三行和从第三列到倒数第三列的每一行、列位置来确定深度。由于码字重叠，窗口可基于待确定的对象深度(例如，衬衫上的纽扣)的分辨率来设定大小。
代码的对称性可指示代码掩码或码簿原语具有埃尔米特对称性，其与使用非埃尔米特对称的码簿原语或图案相比可提供若干益处。具有埃尔米特对称性的图案沿x和y(行和列)轴两者“翻转”或对称。
代码掩码或代码掩码原语的混叠特性对应于相同的两个码字之间的距离。当光学图案包含棋盘状码簿原语时及当原语中的每一码簿是唯一的时，混叠距离可基于码簿原语的大小。混叠距离可因此表示唯一性准则，其指示码簿原语的每一码字与码簿原语的每一其它码字不同且码簿原语总的来说是唯一的。混叠距离可对一或多个接收器装置为已知的，且可用来在码字解调期间阻止混叠。
代码掩码的基数对应于码簿原语中的唯一代码的数目。
示范性发射器装置
图4是说明可经配置以产生复合代码掩码和/或投影此类复合代码掩码的发射器装置的实例的框图。发射器装置402可包含耦合到存储器/存储装置的处理电路404、图像投影装置408，和/或有形媒体409。在一些方面中，发射器装置402可对应于上文参考图3所论述的发射器302。
在第一实例中，发射器装置402可经耦合以包含有形媒体409。有形媒体可定义、包含和/或存储复合代码掩码414，所述复合代码掩码包含与载体层组合的代码层。所述代码层可包含由多个符号定义的可唯一识别的空间译码码字。载体层可独立地确认且不同于代码层，且包含对于投影时的失真稳健的多个参考对象。可在投影之前通过合成点扩散函数来预整形代码层与载体层中的至少一个。
在第二实例中，处理单元404可包含代码层产生器/选择器416、载体层产生器/选择器418、复合代码掩码产生器/选择器420和/或预整形电路422。代码层产生器/选择器416可选择预先存储的代码层410且/或可产生此类代码层。载体层产生器/选择器418可选择预先存储的载体层412且/或可产生此类载体层。复合代码掩码产生器/选择器可选择预先存储的复合代码掩码414且/或可将代码层410和载体层412进行组合来产生复合代码掩码414。任选地，处理电路404可包含预整形复合代码掩码414、代码层410和/或载体层412来补偿复合代码掩码将通过其投影的信道中预期的失真的预整形电路。
在一些实施方案中，多个不同代码层和/或载体层可能可用，其中每一此类载体层或代码层可经配置用于不同条件(例如，用于处于不同距离的对象，或发射器装置与接收器装置之间的不同配置)。举例来说，对于第一距离或范围内的对象，可使用与处于第二距离或范围的对象不同的代码层与载体层的组合，其中所述第二距离大于所述第一距离。在另一实例中，可取决于发射器装置与接收器装置的相对定向而使用代码层与载体层的不同组合。
图像投影装置408可用以将所产生/选择的复合代码掩码投影到所关注的对象上。举例来说，激光或其它光源可用以将复合代码掩码投影到所关注的对象上(例如，通过投影信道)。在一个实例中，复合代码掩码414可在红外线光谱中投影，因此其对于肉眼可能不可见。替代地，红外线光谱范围中的接收器传感器可用以捕捉此类所投影复合代码掩码。
示范性接收器装置操作
图5是说明可经配置以从复合代码掩码获得深度信息的接收器装置502的实例的框图。接收器装置502可包含耦合到存储器/存储装置的处理电路504和接收器传感器508(例如，图像捕捉装置508)。在一些方面中，图5中所说明的接收器装置502可对应于上文参考图3所论述的接收器304。
接收器传感器508(例如，相机)可用以获得投影在对象的表面上的复合代码掩码的至少一部分。举例来说，接收器传感器可捕捉投影在目标对象的表面上的复合代码掩码的至少一部分。复合代码掩码可通过以下定义：(a)由多个符号定义的可唯一识别的空间译码码字的代码层，和(b)载体层，其可独立地确认且不同于所述代码层且包含对于投影时的失真稳健的多个参考对象。可能在投影之前已通过合成点扩散函数来预整形代码层与载体层中的至少一个。在一个实例中，接收器传感器508可在红外线光谱中捕捉复合代码掩码。
在实施方案中，代码层可包括n1乘n2二进制符号，其中n1和n2为大于二的整数。在复合代码掩码中，每一符号可为不同于参考对象的两个灰阶阴影中的一者中的线段。代码层的符号可在至少一个维度中交错。载体层参考对象可包括用其间的保护间隔同等地隔开的多个参考条带。所述参考条带与所述保护间隔可具有不同宽度。相对于保护间隔宽度的每一参考条带的宽度可通过发射器装置和/或接收器装置的预期光学扩散而确定。
处理电路504可包含参考条带检测器电路/模块512、失真调整电路/模块514、码字识别器电路/模块516、深度检测电路/模块518和/或深度图产生电路/模块520。
参考条带检测器电路/模块512可经配置以检测复合代码掩码的所述部分内的参考条带。失真调整电路/模块514可经配置以基于相对于参考条带的实际定向的参考条带的预期定向而调整复合代码掩码的所述部分的失真。码字识别器电路/模块516可经配置以从复合代码掩码的所述部分内定义的窗口获得码字。深度检测电路/模块518可经配置以基于以下获得对应于窗口的目标对象的表面部分的深度信息：(a)复合代码掩码的单个投影，和(b)窗口相对于已知参考代码掩码的位移。
仍参考图5，深度图产生电路/模块520可经配置以基于检测为未失真复合代码掩码的部分内的不同重叠窗口的多个码字而汇编对象的深度图。
在一个实例中，对代码层与载体层中的至少一个的预整形增大复合代码掩码投影期间的功率效率，使得与未经整形复合代码掩码相比，接收器传感器感知到更多功率。
在一个例项中，所使用的合成点扩散函数可基于以下中的至少一项而选自多个点扩散函数：(a)复合代码掩码将经由其投影的预期信道条件，(b)复合代码掩码投影到其上的表面的特性，和/或(c)将接收所投影复合代码掩码的接收器传感器的灵敏度。在另一实例中，合成点扩散函数可基于以下中的至少一项而选自多个点扩散函数：(a)对将投影复合代码掩码的投影仪的第一信道响应；和/或(b)对从将投影复合代码掩码的投影仪到将接收复合代码掩码的接收器传感器的路径的第二通道响应。
示范性误差校正装置
图6是说明经配置以执行本文中所揭示的一或多个误差校正方法的设备的一实施例的框图。设备600包含光发射器602、光接收元件604、处理器606和存储器608。光发射器602、光接收元件604、处理器606和存储器608经由总线610可操作地连接。在一些方面中，光接收元件604可对应于上文参考图5所论述的接收器装置502。在一些方面中，光发射器602可对应于上文参考图4所论述的发射器装置402。
存储器608可存储将处理器606配置成执行本文中所论述的方法的一或多个功能的指令。例如，存储于存储器中的指令可将处理器606配置成控制光发射器602发射将结构光编码为码字的光以便照明目标对象。存储于存储器608中的指令可进一步使得处理器606控制光接收元件604以接收从目标对象反射的光且产生在反射光中编码的数据。存储于存储器中的指令可将处理器进一步配置成根据下文所论述的方法1500校正由光接收元件产生的数据中的误差。
图7展示缓解图像深度图中的间隙效应的已知方法的应用的结果。图像701a展示无需任何误差校正的深度图。深度图中的孔洞可被视为(例如)手701b中的暗区。图像702a展示在已执行轻度孔洞填充过程之后的相同深度图。虽然手702b与手701a相比在深度图中包含更少孔洞时，但还是存在一些细节损失。图像703a展示在已执行中等水平孔洞填充之后与图像701a相同的深度图。图像703a中的手703b展示深度图间隙的数目中的进一步减小，而且展示了相对于手701b和702b的细节损失。图像704a展示在彻底孔洞填充之后与图像701a相同的深度图。图像704a中的手704b与手701b、702b和703b相比展示深度图间隙的进一步减小。然而，相对于手701b、702b和703b的其它细节损失也是明显的。
图8a说明展现埃尔米特对称性的图案。具有正(x,y)的每个点a、b、c包含于码簿原语中，且围绕原点(例如，点(0,0))反射到也在码簿原语中的点(-x,-y)。由点a、b、c中的每一个展现的埃尔米特对称性可抑制当使用非埃尔米特图案时可接收的“重影”图像的形成。例如，图8b说明由埃尔米特对称代码掩码形成的无重影图像的图案。相比之下，图8d说明由不具有埃尔米特对称性的代码掩码形成的具有重影图像的图案。消除重影图像可减少接收器侧信号处理，可增加码字辨识和解调准确度，增加对移动对象的耐受性，增加对噪声的耐受性和增加对照明变化的耐受性。
图8c及8e展示埃尔米特对称图案可如何影响结构光投影中的零阶光束的大小。如图所示，当与具有非埃尔米特对称图案的图8e中所展示的零阶光束相比时，图8c的埃尔米特对称图案产生较小零阶光束。在光(例如，激光)穿过代码掩码且一部分光以非绕射方式穿过代码掩码的中心时，产生零阶光束。这产生零阶光束。因为零阶光束不会绕射，所以零阶光束与绕射光束相比可具有较高强度，导致在零阶光束的位置周围的接收图像传感器的盲点和饱和。与图8e中所使用的非埃尔米特对称图案相比，图8c中的零阶光束的经减小大小和较低强度可减小盲点的大小，并改进使用激光的系统中的人眼安全性。
图9说明图8c中所说明的示范性代码掩码的详细视图。代码掩码900的列内的经编码数据可基于一组基底函数产生。基底函数用于形成空间代码。基底函数(基底序列)的设计可类似于用于矩阵的特征向量，在于基底函数可经挑选为与彼此正交且可经线性组合。
图9的代码掩码说明从三个基底函数产生的代码掩码。图案中的白色方形表示为一(1)的值，而深色方形表示为零(0)的值。在图9所说明的代码掩码中，每一列从以下三个基底函数中的一个对值进行编码：
由(有时是旋转的)基底函数产生的图案组织成包括四列部分的代码中，每一列部分由一个四元基底函数图案组成。例如，代码950可表示为
代码950可以图像形式存储于码簿中，作为4×4二进制矩阵，作为二进制矩阵的二进制表示(例如，按列为1111111101011100，或按行为1101111111001110)，作为具有相位的基底函数的组合(910、910、930+1、920)或作为函数的组合(910、910、932、920)。
以类似方式，代码
可识别图9的代码掩码中的每一四乘四元素“窗口”的代码。如由代码952和954所示的可识别代码“重叠”，在于代码掩码900的每一4×4部分表示有效代码。由于对设计代码掩码900的轮廓分辨率(完美窗口)约束，每一4×4“窗口”从910、920、922、924、926、930或932的组合形成有效代码。
用于图9的代码掩码图案的设计的完美窗口约束还要求经移位码字为唯一的。至代码掩码的一个窗口对应于位置950、952、954和956中所展示的四乘四窗口。由于窗口移位一或多行和/或一或多列，窗口内的四乘四码字需要是唯一的且在抗混叠区域上不重复。如果码字不是唯一的，那么不可能唯一识别抗混叠区域内的每一码字位置(对应于每一唯一码字的窗口位置)。对于具有七个函数910、920、922、924、926、930及932和四列的这个实例，存在四列74＝2,401的可能的组合，使得有可能在至多2,401列的抗混叠区域上满足完美窗口约束。
不用于此实例中的4×4个代码的两个其它候选基底函数是
图9的代码掩码900可发射到场景中的一或多个对象上并随后反射回接收器。接收器(例如，接收器502或光接收元件604)从场景中的对象接收经发射图案的反射。在接收后，可确定窗口950、952、954和956处的代码的所接收版本。通过观测经编码码字在由对象反射时如何变化，可产生深度图，例如图10中所示的深度图1002a。所产生的深度图可提供至一或多个图像处理方法，所述方法可基于深度图修改图像数据。所产生的深度图可包含一或多个间隙或孔洞。间隙或孔洞可由解码代码的所接收版本时的误差产生。误差可由多种因素造成，所述因素包含具有低反射率的对象的部分、杂散环境光条件或多种其它因素。深度图中的孔洞的实例可见于手1002b的经扩展图像中。在没有用于校正这些误差的装置的情况下，可抑制对接近孔洞的图像的区域进行图像处理，从而导致经处理图像的视觉质量降低。
当接收到代码掩码900的码字时，可解调或解释每一接收到的码字来确定接收到的代码。
在一实施例中，接收到的空间代码或接收到的空间代码的符号(二进制或n进制)表示可匹配至基底函数(例如，使用匹配滤波器)、基底函数的移位版本或每一有效空间代码阵列，以确定接收到的代码是否对应于有效代码。代码掩码900可经产生以包含仅表示基底函数的所有可能组合的子集的有效代码。在图9的4×4个代码的实例中，七个函数910、920、922、924、926、930和932对应于出自216(4×4)＝65,536个可能性的74＝2,401个可能的代码。
用以产生代码掩码900的码簿可选择2,401个代码的子集(例如，400)，在此情况下小于1％的可能代码是有效的。如果有效代码差异很大，那么单个位误差可能不会产生另一有效代码。因此，如果接收到的代码不匹配有效代码，那么有可能确定所述接收到的代码具有误差，且对于单个位误差来说，相对不大可能或甚至不可能使第一有效代码被误认为第二有效代码。
本文中所描述的误差校正系统和方法检测在接收到无效代码时的误差，并通过确定对应于接收到的无效代码的最可能有效的经发射码字来校正所述误差。最可能有效的经发射码字的确定在一些方面中可假设无效码字包含仅一个差错。这个假设限定确定最可能有效码字的计算要求。此外，考虑到单一码字中有多个误差的机率相对较低，这个假设提供具有校正误差的适当能力的方法和系统。
图11是深度图孔洞填充方法的数据流程图。所述方法包含在检测误差步骤1150中检测接收到的空间码字中的误差。检测误差可包含确定接收到的码字不包含于列出有效码字的码簿中。在检测误差之后，所述方法包含在产生码字步骤1160中产生候选有效码字。在检查有效性步骤1170中对照有效码字的集合检查候选码字中的每一个，以确定候选码字中的哪些是有效候选。接下来，在产生深度步骤1180中产生有效码字中的每一个的深度。图11说明使用参考图9所描述的基底函数产生的实例4×4个空间代码的数据流，所述基底函数即基底函数
图11首先竖直地说明误差检测过程1150。在误差检测过程11150内，解码接收到的空间代码1102。经解码空间代码1102可由上文参考图9所描述的空间代码中的至少一者的反射产生。特殊代码1102中的每一所接收的空间列使用匹配滤波器与图9的基底函数的集合进行比较。1102的第一、第二和第三列分别匹配函数910、930和926。然而，列1104不匹配函数910、920、922、924、926、930或932中的任一个，表示列1104的至少一个元素中的误差。
在图11中竖直地说明，一旦误差检测过程1150在空间码字1102的列1104中检测到误差，那么在候选码字产生步骤1160中产生候选有效码字产生。
图11的实例候选产生步骤1160包含仅一个误差存在于列1104中的设计假设。其它所预期的实施例可进行不同假设，例如，其它实施例可假设不超过两个、三个或四个误差存在于列1104中。然而，检测与校正大量差错可需要较高计算成本和复杂度。在一些方面中，候选码字可经产生于无效代码的特定汉明(hamming)距离内。例如，在假设无效码字中有至多一个误差的实施方案中，可产生具有距无效码字的汉明距离一(1)的候选码字。在预期列1104中有至多两个误差的实施方案中，可产生在距无效码字1102的汉明距离二(2)内的候选码字，等等。
如图11中所示，在码字产生步骤1160中产生候选码字1106a至1106d。候选码字1106a至1106d中的每一个具有距无效码字1102的汉明距离一(1)。此对应于上文所论述的单位误差假设。替代地，取决于实施方案，候选码字1106a至1106d可通过多种其它方法产生。在一个实施方案中，通过扰动(或改变)包含误差的列1104的唯一位来产生每一候选码字。因此，如果列1104包含八个位，那么可产生八个候选码字，每一候选码字包含不同的经扰动位。
在产生候选码字1106a至1106d之后，接着可在有效性步骤1170中检查候选码字中的每一个的有效性。在一些方面中，可通过确定候选码字是否包含于用以产生代码掩码900的有效代码的码簿1108中来确定有效性。如果候选替代物1106a至1106d中的恰好一个是有效代码(在码簿1108中列出)，那么单个匹配候选很可能是原始发射的有效代码。在图11的实例中，发现代码1106a至1106c在码簿1108中是有效的，而在码簿1108中没发现代码1106d。应注意，如果候选码字中无一者经确定为有效的(即在码簿1108中)，那么一些实施方案可确定无效码字列1104包含多于单个误差。响应于此确定，一些实施方案可执行第二候选码字产生步骤。例如，可产生在距无效码字的汉明距离二(2)内的候选码字且将其与码簿1108进行比较。一些实施方案可对距无效码字的汉明距离更大的候选码字执行额外步骤。一些实施方案可在单一步骤中确定在最接近汉明距离处的候选码字。
在一些实施例中，有效性检查过程1170可基于码字分配方案执行。例如，在一些方面中，水平方向上的码字在x维度中可为唯一的，且在y维度中可重复。一些候选码字可不符合这个总体码字分配方案，且在有效性检查308期间可受到排斥。
在执行有效性检查1170之后，产生深度步骤1180确定与每一候选有效码字1110a至1110c相关联的深度。与码字1110a至1110c相关联的候选深度可与局部邻域内的深度进行比较，以确定候选码字1110a至1110c中的哪一个应替代无效码字1102。举例来说，无论哪个候选深度1110a至1110c最接近局部邻域，无效码字1102的深度值可用于替代深度图中的无效码字1102。在一些情况下，局部邻域可限于来自无效码字1102的1、2、3、4、5、6、7、8、9或10个码字。在一些方面中，局部邻域可限于深度图宽度或高度的百分之一内的码字。举例来说，如果深度图有100个码字穿过，那么局部邻域可经定义为这个尺寸的百分之一(1)或在无效码字1102的一个码字内。下文参考图12描述关于产生深度步骤1180的更多细节。
应注意，一些实例经解码码字1102可包含多于一列中的误差。例如，4×4码字的第一与第三列可各自包含误差。在此情况下，可产生八个潜在候选的候选码字(在4×4码字的情况下针对每一列产生四个候选码字)，对照码簿来验证每一候选，产生每一有效候选的深度，且选择最相似深度以用于替代。方法可在位误差的数目上设置上限以作考虑。
图12展示在给定一组候选替代深度的情况下的深度图中的误差校正过程的一部分，所述候选替代深度例如是图11中所说明的1110a至1110c，其分别对应于图12中的候选深度1204a至1204c)。在一些方面中，图12的论述接着描述图11的过程1180的一个实施方案。图12展示在中心位置1203处具有未知深度值的3×3区域。深度在位置1203处未知，因为在位置1203处接收到的代码不是有效代码，如由图11的检测误差1150所确定。存在由图11的检查有效性1170验证的三个经验证的候选码字1204a至1204c，且通过产生深度步骤1180产生所述码字的候选深度。图12说明确定候选深度的相似性度量1206a至1206c，所述候选深度是针对在3×3邻域中具有其他位置的深度的每一对应候选码字1204a至1204c而确定的。图12展示基于对三个候选码字1204a至1204c的相似性度量，具有值63691的码字1204c具有最类似于八个邻近位置1208a至1208h的深度的深度。经误差校正的深度值包含经选择的深度。
在一些方面中，在每一候选替代深度1204a至1204c与邻近深度之间计算相似性度量1206a至1206c。在一些方面中，邻近深度可限于深度1208a至1208h。在一些方面中，邻近深度的中值可与每一替代深度1110a至1110c进行比较，且最相似(例如，在一些方面中，基于最近邻者的中值深度之间的差异的绝对值)的候选深度可用于替代图11的无效码字1102。其它实施例可使用除中值外的度量(例如，平均值)，且/或考虑更少(例如，四个)或更多邻近者的深度。在一实施例中，如果所有相似性度量1206a至1206c指示低于相似性阈值的相似性，那么可能会排斥所有候选码字。
已知方法不使用上文参考图9、11及12的所描述的误差检测及校正过程。例如，图13展示使用中值滤波器在深度图中进行间隙填充。基于中值滤波器的解决方案不使用结构光的基础编码的知识，且因此实际上不会校正误差。相反，误差一般是通过中值滤波器平滑到周围区域中。这个平滑的结果在图13中显而易见。图像1302a包含左手1302b和右手1302c。左手1302b和右手1302c两者展示除对应的细节损失以外的经减小的间隙数目。
与由图13的基于中值滤波器的解决方案所展示的细节损失相反，图14展示使用本文中所揭示的方法和系统对深度图的间隙填充。如在图像1404a的左手1404b和右手1404c中可见，虽然由基础译码中的误差产生的间隙已经减少，但保留相对于图13中所展示的中值滤波器的左手1402b和右手1402c的细节。
在一实施例中，为确定最可能发射哪一候选空间代码，候选空间代码中的每一个可与邻近空间代码进行比较，且基于该比较选择一候选作为最可能发射的代码。例如，如果邻近空间代码的基底函数与所有其它基底函数相比更符合一个候选，那么可选择所述候选。在一实施例中，对应于候选空间代码中的每一个的深度可与邻近经估算的深度进行比较，且基于该比较来选择候选。例如，邻近深度的中值滤波器值可与对应于每一候选代码的深度进行比较，且可选择具有最接近中值滤波器值的深度的候选代码。
图15是校正由结构光产生的码字中的误差的方法的流程图。在一些方面中，上文所论述的特征中的一或多个也可能与参考图15所描述的实施方案相关联。
在一些方面中，方法1500可由上文参考图6所论述的装置600执行。例如，存储于存储器608中的处理器指令可将处理器606配置成执行下文参考方法1500所论述的功能中的一或多个。在一些方面中，方法1500可由上文参考图5所论述的装置500执行。例如，存储于存储器/存储装置506中的处理器指令可将处理电路504配置成执行下文参考方法1500所论述的功能中的一或多个。
在框1510中，接收器传感器接收编码多个码字的复合代码掩码的至少一部分的结构光图像，所述图像包含无效码字。在一些方面中，框1510由上文参考图6所论述的光接收元件604执行。在一些方面中，框1510由处理器606执行，所述处理器控制光接收元件604接收复合代码掩码。在一些方面中，框1510由下文参考图5所论述的接收器传感器508执行。在一些方面中，框1510由处理电路504执行，所述处理电路控制接收器传感器508接收复合代码掩码。在一些方面中，代码掩码部分可包括一或多个码字。在一些方面中，代码具有如上文参考“用于主动深度感测的示范性代码(exemplarycodesforactivedepthsensing)”所描述的特性。举例来说，代码可包含诸如以下的特性：代码掩码原语(其可为棋盘状的)、码簿、大小和空间分辨率、码字图案、占空比、轮廓分辨率或完美窗口特性、对称性(如参考图8a至8e所描述)、混叠和基数。在一些方面中，经编码码字可经组织成数据的行和或列。在一些方面中，代码掩码的经编码码字由多个基底函数与所述多个基底函数的旋转版本的组合形成，例如，如上文参考图11所论述。
在一些方面中，有效码字可稀疏地填入码字的总可能值。例如，在一些方面中，码字可编码32位信息，但具有远少于231个有效值。因此，在一些方面中，具有无效值的码字可经确定为包含一或多个误差。在一些方面中，小于1％的可能的二进制码字在代码掩码中经编码为有效码字。
在框1520中，方法1500检测无效码字。在一些方面中，框1520可使用如上文参考图11所描述的误差检测过程1150来检测无效码字。在一些方面中，框1520确定接收到的码字是否包含于多个经编码码字中(例如在码簿中)，且如果不包含于其中，那么确定接收到的码字是无效的。在一些方面中，检测无效码字包括将接收到的码字与多个基底函数和所述多个基底函数的经旋转版本中的每一者进行比较，如上文参考图9所描述。在一些方面中，比较包括将接收到的码字匹配滤波到多个基底函数和所述多个基底函数的经旋转版本中的每一者。在一些方面中，比较包括将码字与码簿中的条目进行比较。在一些方面中，框1520由处理器606或由处理电路504执行。
框1530基于无效码字产生多个候选码字。框1530可至少针对经由如图9中所描述的基底函数产生的码字而使用上文参考图11所描述的候选产生步骤1160和/或有效性步骤1170产生码字。在一些方面中，其可包含产生包含于代码掩码中的一或多个候选码字。在一些情况下，产生包含于代码掩码的部分中的多个码字中的每一者的多个候选码字。如上文参考图11及12的所论述，在一些方面中，候选码字可通过扰动码字中的个别位产生，以使得码字的检查指示候选部分中不存在误差。举例来说，如果码字列包含八个位，那么可产生八个候选掩码，每一候选码字在与来自在框1505中接收的代码掩码的部分的对应码字相比时扰动一个位。在一些方面中，框1530由处理器606或由处理电路504执行。
在框1540中，选择候选码字中的一个。在一些方面中，框1540可执行上文参考检查有效性步骤1170和/或上文所论述的产生深度步骤1180所论述的功能中的一或多个。
在一些方面中，候选码字的选择也可包含上文参考图12所论述的功能中的一或多个。例如，在一些方面中，可产生与每一候选码字相关联的深度与在无效码字周围的局部邻域的深度值之间的相似性度量。可在框1540中选择最类似于局部邻域的候选码字。
在一些方面中，相似性对应于与候选码字的经选择子集中的每一个相关联的深度和与无效码字周围的码字的局部邻域相关联的深度的差异。
在一些方面中，与局部邻域相关联的深度是中值深度。在一些方面中，其是平均深度。
在一些方面中，无效码字周围的码字的局部邻域由在无效码字的位置的1、2、3、4、5、6、7、8、9、10或11个码字位置内的码字构成。在一些方面中，局部邻域的范围包含定位在距无效码字的对角线距离内的码字。例如，在1、2、3、4、5、6、7、8、9、10、11个对角线码字位置中的任一个内的码字可包含于局部邻域中。在一些方面中，框1540由选择候选码字的处理器606执行。在一些方面中，框1540由选择候选码字的处理电路504执行。
在框1550中，确定基于所选候选码字的深度图。在一些方面中，所选候选码字可包含于在含有误差的码字的位置处的深度图中。在一些方面中，基于上文参考图3所描述的主动深度感测方法来确定在所选码字的位置处的深度。深度图可由一个或多个处理例程使用以处理和改进场景的图像。在一些方面中，框1550由产生深度图的处理器606执行。在一些方面中，框1550由产生深度图的处理电路504执行。
在框1560中，基于深度图产生场景的数字表示。在一些方面中，场景的数字表示是场景的三维表面表示，其基于深度图中的深度表示场景中的对象的深度。在一些方面中，场景的数字表示是使用透视图和/或阴影来表示三维对象、使用深度图的深度信息的场景的二维表示。在一些方面中，数字表示用于产生场景的计算机图形图像。在一些方面中，数字表示用于产生场景的增强现实图像。在一些方面中，数字表示用于产生场景的立体表示，例如以用于计算机辅助设计、立体建模或用于三维打印。在一些方面中，框1560由处理器606或由处理电路504执行。
在框1570中，场景的数字表示输出到输出装置。在一些方面中，输出装置是显示器、监视器或投影仪。显示器、监视器或投影仪可为独立的(如在电视中)，或可为台式计算机、膝上型计算机、便携式计算机装置、可佩戴式计算机、平板计算机或电话的组件。在一些方面中，输出装置产生三维图像，所述输出装置例如是三维显示器或全息投影仪。在一些方面中，输出装置可为二维图片或三维对象的打印机，例如3d打印机。在一些方面中，输出装置可为立体或三维建模系统，例如计算机辅助工程设计系统。在一些方面中，框1570由处理器606或由处理电路504执行。在一些方面中，可能不执行框1560和1570。
应理解，本文中使用例如“第一”、“第二”等名称的元件的任何参考通常不限制那些元件的数量或次序。相反地，这些名称可在本文中用作区别两个或多于两个元件或元件的例项的方便方法。因此，对第一和第二元件的参考不意味着此处可采用仅两个元件或第一元件必须以某一方式在第二元件之前。并且，除非另外说明，否则一组元件可包括一或多个元件。另外，用于说明书或权利要求书的形成“以下中的至少一个：a、b或c”的术语意味着“a或b或c或这些元件的任一组合”。
如本文所使用，术语“确定”涵盖各种各样的动作。举例来说，“确定”可包含推算、计算、处理、导出、研究、查找(例如，在表、数据库或另一数据结构中查找)、确认等。而且，“确定”可包含接收(例如，接收信息)、存取(例如，在存储器中存取数据)等。此外，“确定”可包含解析、选择、挑选、建立等。
如本文所使用，提到一列项目“中的至少一个”的短语是指那些项目的任何组合，包含单个成员。作为实例，“a、b或c中的至少一个”意在涵盖：a、b、c、a-b、a-c、b-c和a-b-c。
上文所描述的方法的各种操作可由能够执行所述操作的任何适合的装置来执行，例如各种硬件和/或软件组件、电路和/或模块。一般来说，各图中所说明的任何操作可以由能够执行所述操作的对应功能装置执行。
可使用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列信号(fpga)或其它可编程逻辑装置(pld)、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所描述的功能的任何组合来实施或执行结合本发明而描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何市售处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，dsp与微处理器的组合、多个微处理器、一或多个微处理器结合dsp核心，或任何其它此类配置。
在一或多个方面中，所描述功能可在硬件、软件、固件或其任何组合中实施。如果实施于软件中，那么可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体发射。计算机可读媒体包含计算机存储媒体及通信媒体两者，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可以是可由计算机存取的任何可用媒体。举例来说且非限制，此类计算机可读媒体可包括ram、rom、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发射软件，则同轴电缆、光纤电缆、双绞线、dsl或例如红外线、无线电及微波等无线技术包含于媒体的定义中。如本文中所使用，磁盘和光盘包含压缩光盘(cd)、激光光盘、光学光盘、数字多功能光盘(dvd)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。因此，在一些方面中，计算机可读媒体可包括非暂时性计算机可读媒体(例如，有形媒体)。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。在不偏离权利要求书的范围的情况下，方法步骤和/或动作可彼此互换。换句话说，除非规定了步骤或动作的特定次序，否则在不偏离权利要求书的范围的情况下可对特定步骤和/或动作的次序及/或用途加以修改。
另外，应了解，用于执行本文所描述的方法和技术的模块和/或其它适当装置可在适用时由用户终端和/或基站下载和/或以其它方式获得。举例来说，可将此装置耦合到服务器以促进传送用于执行本文所描述方法的装置。替代地，本文中所描述的各种方法可经由存储装置(例如，ram、rom、例如压缩光盘(cd)或软性磁盘的物理存储媒体等)提供，以使得用户终端和/或基站一旦将存储装置耦合或提供至所述装置后可获得各种方法。此外，可利用用于将本文中所描述的方法及技术提供到装置的任何其它合适的技术。
应理解，权利要求书不限于上文所说明的精确配置和组件。在不偏离权利要求书的范围的情况下，可在上文所描述的方法和设备的布置、操作和细节中作出各种修改、改变和变化。
- 还没有人留言评论。精彩留言会获得点赞！