用于增加深度相机图像的精度的技术的制作方法
【专利说明】用于増加深度相机图像的精度的技术
【背景技术】
[0001] 深度相机用在多种应用中W用于利用例如多个透镜或红外传感器来捕获=维信 息。深度相机的特定应用范围从基于手势的接口（例如，在视频游戏系统上）到机器人导 航。深度相机所输出的深度通道或流指示在场景中捕获到的对象相对于相机的距离。然而， 存在多种情况，其中深度相机不能确定场景内某些点的精确的深度测量。运可能由于多种 因素，包括例如遮挡（occlusion)、场景中对象的红外频率吸收、信号噪声和/或到深度相 机的距离。运些常见场景导致深度图像（即，深度通道或深度流）具有孔化ole)W及糟糕 定义的对象边界。繁忙的环境进一步扩大了深度图像中的深度孔的潜在数量和尺寸。
[0002] 虽然在一些应用中，通常不关注深度孔（例如，在视频游戏中），但在其它应用中， 精确的深度图像对于功能性是关键的（例如，机器人导航）。因此，已开发了多种算法来试 图补救深度相机的运种缺陷。例如，已利用各种信号和图像处理滤波器来平滑噪声和填充 深度孔。由于在视频流中处理大量图像，所W在校正的深度相机图像的精度和效率之间必 须进行平衡。
【附图说明】
[0003] 在附图中通过示例的方式而不是通过限制的方式示出了本文所描述的概念。为了 示出的简化和清晰，在图中所示的元件不必按比例绘制。在认为适当的地方，在附图之间重 复附图标记W指示对应的或类似的元件。
[0004]图1是用于改善深度相机图像的精度的计算设备的至少一个实施例的简化框图；
[0005] 图2是图1的计算设备的环境的至少一个实施例的简化框图；
[0006]图3是用于改善图1的计算设备上的深度相机图像的精度的方法的至少一个实施 例的简化流程图；
[0007]图4是用于在图1的计算设备上生成前景掩模的方法的至少一个实施例的简化流 程图；
[0008] 图5是用于在图1的计算设备上将外部深度孔和内部深度孔分离的方法的至少一 个实施例的简化流程图；
[0009] 图6是用于在图1的计算设备上基于邻域深度值填充深度孔的方法的至少一个实 施例的简化流程图；W及
[0010] 图7是基于用于改善图3的深度相机图像的精度的方法通过图1的计算设备来生 成的一组图像。
【具体实施方式】
[0011] 尽管本公开的概念是易受各种修改和可替代形式影响的，但在附图中已经通过示 例的方式示出了其具体实施例并将在本文对其具体实施例进行详细地描述。然而，应该理 解的是，并不存在将本公开的概念限制为所公开的特定形式的意图，而是相反地，本发明要 覆盖与本公开和所附权利要求一致的所有修改、等价物W及替代物。
[0012] 在说明书中提及的"一个实施例"、"实施例"、"示例性实施例"等表示所描述的实 施例可W包括特定特征、结构或特性，但是每个实施例可W或可W不必须包括所述特定特 征、结构或特性。此外，运样的短语不必指的是相同的实施例。此外，当结合实施例描述特 定特征、结构或特性时，认为结合其它无论是否明确描述的实施例来影响运种特征、结构或 特性是在本领域技术人员的认知范围内的。
[0013] 在一些情况下，所公开的实施例可W被实施在硬件、固件、软件或其任意组合中。 所公开的实施例还可W被实施为由暂时性或非暂时性机器可读（例如，计算机可读）存储 介质承载的或存储于其上的指令，其可W由一个或多个处理器读取并执行。机器可读存储 介质可W被实施为任意存储设备、机制、或用于存储或传输W机器可读的形式的信息的其 它物理结构（例如，易失性或非易失性存储器、媒体盘或其它媒体设备）。
[0014] 在附图中，一些结构或方法特征可WW具体布置和/或顺序示出。但是，应当意识 至IJ，可W不要求运样的具体的布置和/或顺序。而是，在一些实施例中，可W与示例性附图 中所示的不同的方式和/或顺序来布置运样的特征。另外，在特定附图中包含结构或方法 特征并不意味着暗示在所有实施例中都需要运样的特征，而是在一些实施例中，可W不包 含运种特征或者可W与其它特征组合。
[0015] 现在参考图1，在示例性实施例中，用于改善深度相机图像的精度的计算设备100 被配置为填充、校正、减小或另外修改深度图像中的未知的深度值（即，深度孔）。如下文详 细讨论的，通过填充深度孔，可W实质上改善深度图像的精度。计算设备100可W被实施为 能够改善深度相机图像的精度并执行本文描述的功能的任意类型的计算设备100。例如，计 算设备100可W被实施为蜂窝电话、智能电话、平板计算机、膝上型计算机、个人数字助理、 移动互联网设备、台式计算机、服务器、游戏系统和/或任意其它计算/通信设备。如图1所 示，示例性计算设备100包括处理器110、输入/输出（"I/O")子系统112、存储器114、通 信电路116、数据存储设备118W及一个或多个外围设备120。当然，在其它实施例中，计算 设备100可W包括其它或额外的部件，例如那些通常在典型计算设备中出现的部件（例如， 各种输入/输出设备）。另外，在一些实施例中，示例性部件中的一个或多个可W并入另一 部件或者W其他方式来自另一部件的一部分。例如，在一些实施例中存储器114或其部分 可W并入到处理器110中。
[0016] 处理器110可W被实施为能够执行本文所描述的功能的任意类型的处理器。例 如，处理器可W被实施为单核或多核处理器、数字信号处理器、微控制器或者其他处理器或 处理/控制电路。类似地，存储器114可W被实施为能够执行本文所描述的功能的任意类 型的易失性或非易失性存储器或数据存储设备。在操作中，存储器114可W存储在计算设 备100的操作期间使用的各种数据和软件，例如操作系统、应用、程序、库W及驱动器。存储 器114经由I/O子系统112通信地禪合到处理器110上，所述I/O子系统112可W被实施 为便于处理器110、存储器114和计算设备100的其它部件的输入/输出操作的电路和/ 或部件。例如，I/O子系统112可W被实施为或者W其他方式包括存储器控制器中屯、、输入 /输出控制中屯、、固件设备、通信链路（即，对等链路、总线链路、电线、电缆、光导、印刷电路 板迹线等）和/或便于输入/输出操作的其它部件和子系统。在一些实施例中，I/O子系 统112可W形成片上系统（SoC)的一部分，并和处理器110、存储器114W及计算设备100 的其它部件一起并入到单个印刷电路忍片上。
[0017] 计算设备100的通信电路116可W被实施为能够使能通过网络在计算设备100和 其它远程设备（例如，在云计算环境中）之间通信的任意通信电路、设备或其集合。通信电 路116可W配置为使用任意一个或多个通信技术（例如，无线或有线通信）和相关联的协 议（例如，W太网、BIuetOO化忠)、Wi-F倾、WiMAX饭等）来产生运样的通信。此外，网络 可W被实施为能够便于计算设备100和远程设备之间通信的任意类型的电信网络。如此， 网络可W包括一个或多个网络、路由器、交换机、计算机和/或其它居间设备。例如，网络可 W被实施为或者W其他方式包括一个或多个蜂窝网络、电话网络、局域网或广域网、公用全 球网络（例如，互联网）、自组织网络或其任意组合。例如，在一个实施例中，图像深度数据 可W由客户端计算设备卸载到计算设备100,W用于分析和减少深度孔。在运样的实施例 中，计算设备100可W将校正的或W其他方式修改的图像深度数据传输回客户端计算设备 事后分析（post-analysis)。
[0018] 数据存储设备118可W被实施为被配置为短期或长期存储数据的任意类型的设 备或多个设备，例如，存储器设备和电路、存储器卡、硬盘驱动器、固态驱动器或其它数据存 储设备。计算设备100的一个或多个外围设备120可W包括任意数量的额外的外围或接口 设备。包含在外围设备120中的特定设备可W取决于例如计算设备100的类型和/或期望 的用途。如图1所示，示例性外围设备120包括用于捕获图像和/或视频的深度相机122， 其可W由计算设备100使用W用于捕获深度图像。在示例性实施例中，深度相机122还被 配置为捕获颜色图像。例如，深度相机122可W具有RGBD(红色-绿色-蓝色-深度）传 感器或类似的相机传感器，其可W捕获具有四个通道一深度通道和S个颜色通道（即，非 深度通道）一的图像。换言之，深度相机122可W具有RGB颜色流和深度流。当然，可WW 另一方式（例如，灰度）来表示图像的颜色值。在一些实施例中，RGB图像颜色值可W被表 示为服L(色相-饱和度-明度）或服V(色调-饱和度-亮度）值作为代替。此外，计算 设备100可W具有深度相机122,其具有被配置为捕捉颜色图像的传感器W及被配置为捕 捉深度的另一传感器。为简单起见，本文提及"RGB图像"和/或"颜色图像"指的是基于特 定图像的颜色/灰度通道（例如，来自RBG流）的图像，而提及"深度图像"指的是相同图 像的仅基于深度通道/流的对应的图像。例如，深度相机122可W捕捉灰度RGBD图像，其 包括对应的RGB图像702和深度图像706,如图7所示。
[0019] 应当意识到的是，深度相机122可W通过依赖于所使用的特定深度相机122的多 种方式来确定场景中对象的深度测量。例如，深度相机122可W包括红外（IR)投影仪和IR 传感器，W使得IR传感器通过分析IR投影仪投射在场景上的IR光模式Qi曲tpattern) 来估计场景中对象的深度值。在另一实施例中，深度相机122包括至少两个透镜和对应的 传感器，其被配置为从场景的至少两个不同的视点捕捉图像（例如，立体相机）。基于那些 视点，计算设备100可W计算在所捕捉场景中的对象的距离。深度相机122可能由于多种 因素（例如，遮挡、IR吸收、噪声和距离）而不能准确地捕捉场景