使用基于来自其它图像的信息的函数的泛函产生目标图像的制作方法
【技术领域】
[0001] 领域通常设及图像处理，并且更具体地，设及包括使用与其它图像有关的信息产 生给定目标图像的图像重建和其它处理。
【背景技术】
[0002] 图像处理在许多不同的应用中是重要的，并且该样的处理可能设及多个不同类型 的图像，包括二维（2D)图像和S维（3D)图像。例如，可W使用基于多个由对应的相机捕获 的二维图像的=角剖分（triangulation)产生空间场景的=维图像，所述相机被布置为使 得每一个相机具有不同的场景视图。替代地，可W使用深度成像器（例如，结构光（SL)相 机或飞行时（To巧相机）直接产生3D图像。可W在机器视觉应用（例如手势识别、人脸检 测和单人或多人跟踪）中处理该些或其它类型的多个图像。
[0003] 常规的图像处理技术包括多种图像重建技术，例如插值和超分辨率。当仅部分 的给定图像的信息可用时，通常使用插值。例如，可W使用超分辨率技术来利用另一较高 分辨率的图像来提高低分辨率图像的分辨率。示例性的超分辨率技术可W基于马尔可夫 (Markov)随机场或双边滤波器。
【发明内容】
[0004] 在一个实施例中，一种图像处理系统包括图像处理器，配置为基于多个函数构建 指定的泛函，并使用构建的泛函产生目标图像，所述多个函数每一个与设及至少第一图像 和第二图像的图像信息的对应部分相关联。可W从一个或多个图像源接收输入图像，并且 可朗尋目标图像提供到一个或多个图像目的地。仅作为示例，所述多个函数可W包括函数 (Al)，f2 (As)，…，ft(AJ的组，每一个包括来自所述图像信息的多个输入图像Al,As,…， 中对应的图像的像素的函数，并且所述泛函可W是该组函数(Al)，f2 (As)，…，片(AJ的函 数。泛函可W是FOO的形式，其中X表示目标图像，并且W该样的布置，可W通过将泛函 FOO最小化产生目标图像X。
[0005] 本发明的其它实施例包括但不限于方法、装置、系统、处理设备、集成电路，W及其 中实现有计算机程序代码的计算机可读存储介质。
【附图说明】
[0006] 图1是在一个实施例中图像处理系统的框图。
[0007] 图2是在图1系统中的用于使用线性方程组产生目标图像的处理的流程图。
[0008] 图3是在图1系统中用于使用逼近迭代最小化产生目标图像的处理的流程图。
【具体实施方式】
[0009] 此处结合示例性的图像处理系统W及用于使用基于来自其它图像的信息的函数 的泛函产生目标图像的实现技术示出了本发明的实施例，示例性的图像处理系统包括图像 处理器或其它类型的处理设备。然而，应理解，本发明的实施例可更一般地适用于其中期望 使用来自多个其它图像的信息产生目标图像的任何图像处理系统或相关联的设备或技术。
[0010] 图1示出了本发明一个实施例中的图像处理系统100。图像处理系统100包括图 像处理器102,其从图像源104接收图像，并且将已处理的图像提供到图像目的地106。
[0011] 图像源104包括例如3D成像器（例如，化相机或ToF相机）W及一个或多个2D 成像器（例如，配置来产生2D红外图像、灰度图像、彩色图像或其它类型的2D图像的2D成 像器），上述元素可W任意组合。图像源104之一的另一个例子是给图像处理器102提供图 像W用于处理的存储设备或服务器。
[0012] 图像目的地106示例性地包括，例如，人机界面的一个或多个显示屏幕，或从图像 处理器102接收已处理的图像的至少一个存储设备或服务器。
[0013] 尽管在本实施例中图像处理器102被示出为与图像源104和图像目的地106分 离，但是图像处理器102也可W至少部分地与一个或多个图像源或图像目的地组合在共同 的处理设备上。因此，例如，可W将图像源104和图像处理器102中的一个或多个共同地实 现在同一处理设备上。类似地，可W将图像目的地106和图像处理器102中的一个或多个 共同地实现在同一处理设备上。
[0014] 在一个实施例中，将图像处理系统100实现为用于处理图像W识别用户手势的视 频游戏系统或者其它类型的基于手势的系统。所公开的技术可W类似地适用于在各种各 样的需要基于手势的人机界面的其它系统中使用，并且还可适用于除手势识别外的其它应 用，例如机器人技术中的机器视觉系统W及其它工业应用。
[0015] 使用至少一个处理设备实现本实施例中的图像处理器102,并且图像处理器102 包括禪接到存储器112的处理器110。图像处理器102还包括泛函构建模块114和目标图 像产生模块116。
[0016] 泛函构建模块114被配置为基于多个函数构建指定的泛函，所述多个函数每一 个与至少设及第一图像和第二图像的图像信息的对应部分相关联。此处使用的术语"泛 函"旨在包含，例如，多个函数的函数。更一般地，可W认为泛函提供从矢量空间到其基础 (underlying)标量场的映射，其中所述矢量空间可W是函数空间。此处使用的术语"图像 信息"应被宽泛地解释W包含第一图像和第二图像本身、该些图像的部分、或从该些图像的 至少部分导出的信息。
[0017] 可W由一个或多个图像源104提供第一图像和第二图像或从其导出的其它图像 信息。例如，第一图像源和第二图像源可W给图像处理器102分别提供第一图像和第二图 像，使得图像处理器可W从该些第一图像和第二图像导出图像信息。替代地，图像源可W从 相应的图像导出信息，并将导出的信息提供到图像处理器102。作为另一个例子，单个图像 源可W给图像处理器102提供多个图像或相关联的导出的信息。
[001引 目标图像产生模块116被配置为使用构建的泛函产生目标图像。将系统100中产 生的目标图像提供到一个或多个图像目的地106。
[0019] 在本实施例中用于在模块114中构建泛函的具体函数包括从图像处理器102的若 干函数118选择或获得的一个或多个函数组。例如，在下面将结合图2和图3描述的处理 过程中，用于在模块114中构建泛函的函数包括函数(Al)，f2 (As)，…，片(\)的组，每一个 函数包括来自上述图像信息的多个输入图像Al,As,…，\中的对应的图像的像素的函数。因 此，在该种布置中，泛函是函数组fi(Al),f2(A2)，…，片(AJ的函数。然而，在其它实施例中 可W使用其它类型的函数来构建泛函。
[0020] 在泛函构建模块114中构建的泛函可W是FOO的形式，其X表示目标图像。目标 图像产生模块116可W被配置为通过将泛函FOO最小化来产生目标图像X。该可W包括， 例如，如图2处理中的线性方程组的求解，或如图3的处理中的逼近迭代最小化。泛函F狂） 可W并入权重组和概率组中的一者或多者，所述组从图像处理器102的相应的权重120或 概率122选择或W其它方式获得。其它实施例可W使用许多其它类型和配置的泛函W及用 于利用泛函产生目标图像的相关技术。
[0021] 在图像处理系统100中使用来确定给定的目标图像的多个图像可W包括深度图 像和非深度图像的多种多样的组合。例如，第一图像可W包括来自图像源104中的第一图 像源的第一分辨率的深度图像，而第二图像可W包括来自图像源104中的不同于第一图像 源的另一个图像源的基本上相同场景的具有与第一分辨率基本上相同的分辨率的2D图 像。在该类型的实施例中，第一图像源可W包括3D图像源（例如，结构光或ToF相机），而 第二图像源可W包括2D图像源（2D图像源被配置用于产生如红外图像、灰度图像或彩色图 像的第二图像）。如上所指示的，在其它实施例中，同一图像源提供第一图像和第二图像两 者。另外，可W不止使用第一图像和第二图像。
[0022] 应注意，在泛函构建模块114的上下文中的术语"构建"化及在目标图像产生模块 116的上下文中的术语"产生"应被宽泛地解释，W分别包括用于确定泛函和目标图像的多 种多样的不同的技术。
[0023] 如前所述，下面将结合图2和图3更详细地描述使用图像处理器102的泛函构建 模块114和目标图像产生模块116实现的示例性图像处理操作。
[0024] 图1实施例中的处理器110和存储器112可W包括至少一个处理设备的相应部 分，其中，所述处理设备包括微处理器、专用集成电路（ASIC)、现场可编程口阵列（FPGA)、 中央处理单元（CPU)、算术逻辑单元（ALU)、数字信号处理器值S巧或其它类似的处理设备 组件W及其它类型和布置的图像处理电路，上述元素可W任意组合。
[0025] 可W至少部分地W软件的形式实现泛函构建模块114和目标