飞行去混叠的单个频率时间的制作方法_4

文档序号:9382950阅读:来源:国知局
行去混叠的每一帧的频率可以是不同的。然而,所使用的频率分组可以重复。因此,在其中针对三个帧的相移数据被用于对相移数据进行去混叠的示例中,三个不同的频率可被使用,其中来自第一图像帧的频率可在第四图像帧中被重新使用,来自第二图像帧的频率在第五图像帧中被重新使用,并以此类推。因此,在本示例中,对于任何给定的去混叠操作,可使用三个不同的频率。应理解,在其他实施例中,所使用的不同频率的数目可超过用于对相移数据进行去偏移的图像帧的数目。
[0059]在所示的示例中,来自三个图像帧和三个离散频率的数据被用来对每一像素描述器140的深度图像进行去混叠。在其他实施例中,可在两个图像帧上使用两个离散的频率以对相移数据进行去混叠,或可在四个图像帧上使用四个离散的频率以对相移数据进行去混叠。应理解,在其他实施例中,可在四个以上的图像帧上使用四个以上离散的频率。
[0060]在各实施例中,在该离散频率范围内使用的特定频率可改变。在一个示例中,跨50MHz到120Mhz的范围使用三个频率,可以为85MHz,f 2可以为105Mhz,且f 3可以为115Mhz。在这个和其他示例中可使用其他频率。作为进一步的示例,以上提到的题为“Method and System for Lossless Dealiasing in Time-Of-Flight (TOF) Systems (飞行时间(TOF)系统中用于进行无损去混叠的方法和系统)”的美国专利N0.7,791,715使用接近该TOF系统的最大频率的去混叠频率。
[0061]图11是上述使用η个不同的图像帧上的η个不同的频率来对相移数据进行去混叠的过程的概括流程图。在给定以上详细描述的情况下,本文中概括地描述了步骤300到332。计数器i和j在步骤300被初始化,并在步骤304和308被递增。在步骤312,光源120在图像帧i发射经调制的频率fj。步骤316和320检查j是否已达到其最大值η。如果如此,则将j复位成O。在步骤324,微处理器160确定针对成像帧i的相移,并在步骤326,微处理器160确定针对图像帧i的相移的Z距离(包括任何模)。
[0062]如果在步骤330尚未收集到足够的相移数据(i〈n),则流程返回到步骤304以在下一图像帧收集更多的相移数据。另一方面,如果在步骤330收集了足够的相移数据(i多η),则微处理器160可使用在当前图像帧和之前的η-l个图像帧确定的Z距离对相移数据进行去混叠以提供每一像素检测器140的Z位置。因此,在η = 3的情况下,步骤332将使用当前图像帧和之前的两个图像帧来对相移数据进行去混叠。流程随后返回步骤304以收集下一图像帧i的图像数据。
[0063]以上描述的系统允许对相移数据进行去混叠并确定场景深度图,而使用常规系统的功率的一部分。在例如现有技术系统在每一图像帧发射三个不同的调制频率来用于去混叠的情况下,本发明系统可使用深度成像系统100的操作的功率的三分之一。尽管各实施例可通过每图像帧发射单个频率来使所使用的功率量最小化,但应理解,在其他实施例中,在单个图像帧中可发射不止一个频率。例如,系统可在每一图像帧发射两个不同的频率,并使用来自三个图像帧的相移数据来用于去混叠。这样的示例在多个图像帧上使用三个(或更多个)不同的频率来对相移数据进行去混叠,并因此与在每一图像帧发射三个光频率的常规系统相比仍使用更少的功率。
[0064]此外,对来自多个频率的数据进行去混叠的过程是使用了相对大量的处理时间和功率的复杂过程。随着根据本发明技术所使用的频率数的减少,用于计算深度图的时间和相关联的功率也减少了。将单个频率深度计算与确定对象在先前帧中的何处进行比较可使用与复杂的去混叠所使用的相比更少的CPU和功率资源。该功率节省(计算功率)与每一帧发射更少的频率(照明功率)的功率节省不同。
[0065]在各实施例中,一个或多个频率可使用先前存储的数据来发射以计算距离。如使用了 f\、&和f3的参考帧。距对象的深度可被计算,接着的深度帧序列使用基于先前深度场景和感兴趣的对象的知识来设置的一个频率f4。同样使用先前的深度序列信息,可细化针对新近接收到的数据的深度计算。
[0066]上述系统可为静态对象提供与常规系统相同的去混叠准确性,即为深度数据在用于对相移数据进行去混叠的数目的图像帧上没有改变的那些对象提供与常规系统相同的去混叠准确性。然而,可发生一些对象是动态的而不是静态的情况。这可能是因为对象本身正在移动,或者深度成像系统100正在移动。还可能因为第一对象不在移动,但第二对象已在第一对象和深度成像系统之间移动了。本系统可使用各种方法来识别动态对象场景,并据此来调整相移去混叠操作。
[0067]在各实施例中,捕捉设备20能够标识并跟踪对象随时间相对于捕捉设备20的移动。具体地,使用来自过去的图像帧的状态数据,微处理器160能够确定对象的移动以及其移动速率。更具体地,捕捉设备20可注意到由像素检测器140配准的深度图像在图案方面改变了。在对象正在前景中移动的情况下,在对象的前沿处的各像素检测器将变为前景深度测量,而在尾沿处的各像素将变回为背景深度测量。随着时间的推移,这些测量将提供关于移动对象的边界以及其移动速率的指示符。该信息可使用深度成像系统600本身来获得,或结合RGB相机122 (图2)使用深度成像系统600来获得。
[0068]作为以上的补充或替换,骨架跟踪算法也已知用于标识手、头部或其他移动的身体部位。一旦这些身体部位被标识出,被移动的身体部位遮挡的静态对象的测量到位置可被校正。
[0069]在之前的段落中描述的方法可用于预测、解释或确认由像素检测器140感测到的不一致的深度测量。在像素检测器140已读取了对场景中的某点的稳定深度测量,并且该深度测量变为非预期值的情况下,该系统可将那个深度测量看作那个像素的动态场景。该系统可以用至少两种方式来处理动态场景。
[0070]在一个示例中,在预测到像素检测器已在那个像素处感测到移动的对象的情况下,该系统可使用先前的状态数据来更改来自之前的η个图形帧的相移测量。这可允许使用当前的图形帧相移数据以及来自之前的图形帧的经更改的相移数据来对当前深度图像进行去混置。
[0071]在另一示例中,微处理器160可忽视来自相对于较早的帧感测不一致的深度图像的像素检测器的深度图。当微处理器(例如在η个图像帧上)再次感测到不一致的图像数据时,可在该深度图像中再次使用来自那个像素感测器的图像数据。在给定巨大量的深度图像被生成,并且给定图像帧以较快的速率(例如,每秒30帧)刷新的情况下,忽视一些像素检测器的深度数据达几个帧将不会对由深度成像系统100确定的总深度图像有重大影响。
[0072]图12示出了计算设备219的示例实施例,该计算设备219可以是图1Α_2中示出的、用来解释目标识别、分析和跟踪系统中的一个或多个位置和运动的计算设备12。计算设备219只是合适的计算设备的一个示例,并且不旨在对当前公开的主题的使用范围或功能提出任何限制。计算设备219也不应被解释成对于在示例计算设备219中所示出的任一组件或其组合有任何依赖或要求。在一些实施例中,各个所示的计算元素可包括被配置成实例化本公开的特定方面的电路。例如,本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施例中,术语电路可包括通过体现可操作以执行功能的逻辑的软件指令来配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中,实施者可以编写体现逻辑的源代码,且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步,因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地,本领域技术人员可以明白软件进程可被变换成等价的硬件结构,而硬件结构本身可被变换成等价的软件进程。由此,对于硬件实现还是软件实现的选择是设计选择之一并留给实现者。
[0073]在图12中,计算设备219包括计算机241,计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质,而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括诸如ROM 223和RAM 260之类的易失性和/或非易失性存储器形式的计算机存储介质。包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程的基本输入/输出系统224(B1S)通常存储在ROM223中。RAM
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1