使用空间变化psf卷积的数字相机模拟的制作方法

使用空间变化psf卷积的数字相机模拟的制作方法
【专利摘要】本文描述了使用空间变化PSF卷积的数字相机模拟。空间变化PSF可通过将固定权重图乘以其影响区域而应用在相机模拟器中。接着，对IWk和Ak都进行快速傅立叶变换(FFT)，对FFT结果进行逐元素相乘，并进行逆FFT(IFFT)以将结果带回空间域。输出图像与采用用于空间变化PSF的相同内插方法的直接方案的结果完全一样。然而，在一些实施例中操作现在将会显著地快得多。
【专利说明】使用空间变化PSF卷积的数字相机模拟
【背景技术】
[0001] 运一般地设及相机或光学器件模拟器（simulator)。相机模拟器是可W模拟由相 机生成的原始图像的工具。模拟器的产出可W是到图像信号处理(ISP)模拟器的输入数据。 而且，由相机模拟器生成的图像也可W用作图像算法设计的机器学习的训练数据。相机(或 光学器件）模拟器成本最高的部分是模拟镜头或光学器件的空间变化点扩散函数(Point Spread F^mctioniPSF)的效果。
[0002] 点扩散函数描述成像系统对点光源或点对象的响应。点光源是具有不可忽略的强 度的光的单个可标识的光源，并可W在点上数学地建模W简化分析。点扩散函数可包括相 机的光学器件中引起的光学崎变和衍射。
[0003] 相机镜头或光学器件导致可W建模为空间变化PSF的空间变化模糊，其中任何位 置处收集的光是按特定函数扩散的。此操作等于与空间变化核进行卷积，排除了导致实现 用了不当的长时间的快速傅立叶变换(FFT)之类的传统加速方法的使用。
【附图说明】
[0004] 参考W下附图描述了一些实施例：
[0005] 图1是根据一个实施例的相机模拟器的示意图；
[0006] 图2是示出位置(x，y)处的PSF的图；
[0007] 图3是一个实施例的流程图；
[000引图4是一个实施例的光学器件模拟器的示意图；
[0009] 图5是一个实施例的系统描绘；W及
[0010] 图6是根据一个实施例的系统的前立视图。
【具体实施方式】
[0011] 参考图1，相机模拟器10可接收数字图像文件形式的源图像12。光学器件模拟器14 模拟使用镜头模型16的具体光学器件设计的效果。镜头模型16可W使用PSF来实现。随后图 像信号处理模拟器18可模拟传统数字图像装置(诸如数字相机)的其他方面。结果是原始图 像输出20。
[0012] 对镜头PSF进行密集采样从而可W使用双线性内插来根据邻近的PSF样本估计任 何未采样位置处的空间变化PSF。空间变化PSF的效果可W建模为用适当的权重对输入信号 加权之后与固定PSF进行卷积的和。运允许使用FFT之类的传统方法并在一些实施例中将计 算提速显著的余量。PSF可从例如商业镜头设计包获得。
[001引假定将与空间变化mXm PSF卷积的NXN图像。在运样的场景中，传统方法花0 (炉m2)的时间执行卷积。然而，对于一些实施例复杂度是0(炉.Iog(N)),并且由于m2通常比 Iog(N)大得多，在一些实施例中可W有显著的时间节省。
[0014]第一个问题是怎样测量和估计空间变化PSF。假定镜头的PSF样本是在方形网格上 测量的。随后，对于镜头中的每一个点，找到包含该点的方形单元和最接近它故而在方形单 元的角落的四个经测量的PSF样本。现在使用双线性内插来估计目标位置处的PSF。只要样 本足够密集，估计误差将是可接受的。注意，一般方形块的大小比PSF的大小大得多。
[001引在图2中，估计了位置(x，y)处的PSF Ax,y且A1、A2、A3和A4是四个角落处的相应PSF 样本。边界情况通过在方形网格上扩展最近的经测量样本来处理。示出了从位置(x，y)到每 一个边的距离a、b、c或d。通过双线性内插，如下表示位置(x，y)处的PSF:
[0016]
[0017]
[001 引
[0019]
[0020] 在估计了每个位置处的PSF之后，将PSF应用到每一个输入像素。根据此直接方案， 每一个输入图像像素的强度都乘W其空间变化PSF，并且将所计算的结果累加 W生成最终 输出图像。化墨输入阁像的分辨率是NX N，刚佑统或常规计貸可Pi亲示为：
[0021]
[0022] 对于大小为mXm的PSF，此传统方法的总复杂度是O(NV)。
[00巧]并且，将Iin(x+i，y+j) ? Wk(x+i，y+j)写作IWkU I i，y I j)，那么方程式可W通过W
[0023] 对于最终输出图像中的每一个像素，可W通过将来自邻近像素的贡献局部求和来 计算输出。再次假定输入图像的分辨率为NXN且PSF的大小是mXm。随后，输出图像在(x，y) 处的强度可W如下计算：
[(
[(
[(
[(
[(
[0030] 下步骤而简化：
[0031]
[0032]
[0033]
[0034] 其中n是PSF样本的总数。权重Wk与图像I按点（pointwise)相乘，所WlWk=I ? Wk是 第k个PSF的加权输入图像。乘积随后与Ak卷积W生成最终输出。对于每一个PSF样本，只有 IWk中的一小部分像素将是非零的，并且那些非零像素是输入图像中该PSF的影响区域。如 果PSF样本是被空间均匀地采样的，则影响区域中的Wk的值对于所有PSF样本将都是一样 的。
[0035] 因此参考图3,序列21可W用软件、固件和/或硬件来实现。在软件和固件实施例 中，其可通过存储在一个或多个非瞬态计算机可读介质（诸如磁、光或半导体存储）中的计 算机执行的指令来实现。
[0036] 因此，如图2中所示，为了应用空间变化PSF，首先将固定的权重图(wei曲t map)与 其影响区域相乘(框22)。在"固定"的权重图中，权重独立于输入图像I或PSF核Ak。权重仅依 赖于双线性内插，并且因此如果网格点相同的话，那么他们不改变，是固定的。下一步，对 IWk和Ak都进行快速傅立叶变换(FFT)(框24)并将FFT结果逐元素 (element by element)地 相乘(框26)。"逐元素"乘法是按点的乘法。操作是频域中的卷积，其中其仅仅是按点乘法， 从而降低所需操作的总数。随后逆FFT(IFFT)将结果带回空间域(框28)。输出图像与采用用 于空间变化PSF的相同内插方法的直接方案的结果完全一样。然而，在一些实施例中操作现 在将会显著地快得多。
[0037] 在一些示例中，可利用硬件实现50,如图4中所示。例如，硬件实现可W是计算机设 备的一部分。硬件系统可包括接收影响区域和固定权重图作为输入的乘法器32。乘法器将 运两个输入相乘并将它们提供给快速傅立叶变换34。它接收输入IWk和Ak。随后快速傅立叶 变换的结果在乘法器中逐元素地相乘36。最终乘法的结果受逆快速傅立叶变换器的约束 38 O
[003引为了分析增强算法的实施例的复杂度，假定图像分成kXk个块(每一个包含N/kX N/k个像素)从而在任何块的内部，PSF是如上所述通过双线性内插计算的。而且，注意，一般 选择k使得N/k>>m且此关系对于所有实际的镜头系统都满足。
[0039] 在运样的场景中，增强算法规定输入图像乘W权重W且随后卷积通过用PSF来完 成。对于四个角落PSF重复运样。因此，每一个使用增强算法的块的复杂度与用FFT完成卷积 四次的复杂度是一样的，为：
[0040] 4[0(NVk^ ? log(NVk^))+0(m^log(m^))+0(N^)]=0(NVk^ * log(N/k)+0(m^log (m))
[0041 ]现在加上来自所有k X k个块的贡献之后总复杂度变成：
[0042] k^(NVk^ ? Iog(NA) )+k^(m^log(m)) =0(N^ ? log(N/k)+0(kVlog(m)).
[0043] 现在，既然N>>km，复杂度降低到0(妒.Iog(NA)=O(Wlog(N))D
[0044] 点扩散函数是相机镜头的基本特性。因而，为了模拟相机镜头的行为将需要应用 PSF。如果假定PSF在镜头上每一处都是不变的，应用并不困难。然而，如果想让模拟更接近 现实就需要模拟空间变化PSF。为了加速模拟过程可W使用增强算法来进行计算。
[0045] 为了模拟相机模块模拟器中的多谱图像，PSF应用在一个模拟中发生几次。因此， PSF的应用变成模拟中最显著耗时的步骤。通过使用增强算法，在一些实施例中生成模拟图 像的计算时间可W急剧地减少。因此，可W让相机模拟器工具更有用和用户友好。
[0046] 此处描述的图形处理技术可W用各种硬件架构实现。例如，图形功能可W集成在 忍片组中。替换性地，可W使用离散图形处理器。如又一实施例，图形功能可W通过通用处 理器包括多核处理器来实现。
[0047] 图5示出系统700的实施例。在各实施例中，系统700可W是媒体系统，尽管系统700 不限于此上下文。例如，系统700可W合并进个人计算机(PC)、膝上型计算机、超级膝上型计 算机、平板机、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、 蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如智能电话、智能平板机或智能电视）、移 动互联网设备(MID)、消息设备、数据通信设备等。
[004引在各实施例中，系统700包括禪合到显示720的平台702。平台702可W从内容设备 接收内容，内容设备诸如内容服务设备730或内容递送设备740或其它类似内容源。包括一 个或多个导航特征的导航控制器750可W用来与例如平台702和/或显示720交互。下面将更 详细地描述运些组件中的每一个。
[0049] 在各实施例中，平台702可包括忍片组705、处理器710、存储器712、存储714、图形 子系统715、应用816和/或无线电718的任何组合。忍片组705可提供处理器710、存储器712、 存储714、图形子系统715、应用716和/或无线电718之间的互通信。例如，忍片组705可包括 能够提供与存储714的互通信的存储适配器(未示出）。
[0050] 处理器710可W实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理 器、x86指令集兼容的处理器、多核、或任何其它微处理器或中央处理单元(CPU)。在各实施 例中，处理器710可包括双核处理器、双核移动处理器等等。处理器可与存储器712-起实现 图3的序列。
[0051] 存储器712可实现为易失性存储器设备，诸如但不限于，随机访问存储器(RAM)、动 态随机访问存储器(DRAM)或静态RAM( SRAM)。
[0052] 存储714可W实现为非易失性存储设备，诸如但不限于，磁盘驱动器、光盘驱动器、 磁带驱动器、内部存储设备、附连存储设备、闪存、电池备用SDRAM(异步DRAM)和/或网络可 访问存储设备。在各实施例中，存储714包括在包括多个硬盘驱动器时增加对有价值的数字 媒体的存储性能增强保护的技术。
[0053] 图形子系统715可W执行诸如用于显示的静态或视频图像的处理。例如，图形子系 统715可W是图形处理单元(GPU)或视觉处理单元(VPU)。可W使用模拟或数字接口将图形 子系统715和显示720通信地禪合。例如，接口可W是高清晰度多媒体接口、显示端口、无线 HDMI和/或符合无线皿的技术中的任何一个。图形子系统715可W集成进处理器710或忍片 组705中。图形子系统715可W是通信地禪合到忍片组705的独立卡。
[0054] 此处描述的图形和/或视频处理技术可用各种硬件架构实现。例如，图形和/或视 频功能可集成在忍片组中。替换性地，可使用离散图形和/或视频处理器。如又一实施例，图 形和/或视频功能可W通过通用处理器包括多核处理器来实现。在又一实施例中，功能可W 在消费电子设备中实现。
[0055] 无线电718可包括能够使用各种适合的无线通信技术发送和接收信号的一个或多 个无线电。运些技术可设及跨一个或多个无线网络的通信。示例无线网络包括(但不限于） 无线局域网(WLAN)、无线个人区域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在 跨运些网络的通信中，无线电718可根据一个或多个适用的标准的任何版本操作。
[0056] 在各实施例中，显示720可包括任何电视型监视器或显示。显示720可包括，例如， 计算机显示屏、触摸屏显示、视频监视器、电视机类的设备和/或电视机。显示器720可W是 数字的和/或模拟的。在各实施例中，显示720可W是全息显示。显示器720也可W是可W接 收视觉投影的透明表面。运样的投影可传递各种形式的信息、图像、物体等。例如，运样的投 影可W是移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用716的控制下，平台 702可在显示720上显示用户接口 722。
[0057] 在各实施例中，内容服务设备730可由任何国家的、国际的和/或独立服务主存，并 因此经由例如因特网对平台702是可访问的。内容服务设备730可禪合到平台702和/或显示 器720。平台702和/或内容服务设备730可W禪合到网络760W将媒体信息去往和来自网络 760地通信(例如发送和/或接收）。内容递送设备740也可禪合到平台702和/或显示器720。
[0058] 在各实施例中，内容服务设备730可W包括有线电视盒、个人计算机、网络、电话、 能够递送数字信息和/或内容的启用因特网的设备或电器、和能够经由网络760或直接地、 单向地或双向地在内容提供者和平台702与显示802之间通信内容的任何其它类似设备。应 理解，内容可W经由网络760单向地和/或双向地去往和来自系统700中的任何一个组件和 内容提供者通信。内容的示例可W包括任何媒体信息，包括例如视频、音乐、医疗和游戏信 息等。
[0059] 内容服务设备730接收内容，诸如有线电视节目包括媒体信息、数字信息或其它内 容。内容提供者的示例可W包括任何有线或卫星电视或无线电或因特网内容提供者。所提 供的示例不旨在限制可应用的实施例。
[0060] 在各实施例中，平台702可从具有一个或多个导航特征的导航控制器750接收控制 信号。导航控制器750的导航特征可W用来与例如用户接口 722交互。在各实施例中，导航控 制器750可W是定点设备，其可W是允许用户将空间（例如连续的和多维的）数据输入进计 算机的计算机硬件组件(具体而言，人机接口设备）。诸如图形用户接口（GUI)和电视机和监 视器的许多系统允许用户使用物理姿势控制计算机或电视机并向计算机或电视机提供数 据。
[0061] 导航控制器750的导航特征的动作可通过指针、光标、焦点环或显示在显示上的其 它视觉指示符的动作而在显示(例如显示720)上回显。例如，在软件应用716的控制下，位于 导航控制器750上的导航特征可映射到显示在用户接口 722上的虚拟导航特征。在各实施例 中，控制器750可W不是单独的组件而是集成进平台702和/或显示720中。然而各实施例不 限于本文示出或描述的元素或上下文。
[0062] 在各实施例中，驱动器(未示出）可W包括像电视机在初始启动之后用按钮的触摸 (当启用时，例如)使用户能立即打开或关闭平台702的技术。当平台被"关闭"时，程序逻辑 也可允许平台702将内容流传输到内容适配器或其它内容服务设备730或内容递送设备 740。此外，忍片组705可W包括支持例如5.1环绕声音频和/或高清晰度7.1环绕声音频的硬 件和/或软件。驱动器可W包括用于集成图形平台的图形驱动器。在各实施例中，图形驱动 器可W包括外围组件互连快速(PCIe)图形卡。
[0063] 在各种实施例中，任何一个或多个系统700中示出的组件都可W是集成的。例如， 平台702和内容服务设备730可W是集成的；或者平台702和内容递送设备740可W是集成 的;或者平台702、内容服务设备730和内容递送设备740可W是集成的。在各种实施例中，平 台702和显示器720可W是集成的单元。例如，显示器720和内容服务设备730可W是集成的， 或者显示器720和内容递送设备740可W是集成的。运些示例不旨在限制范围。
[0064] 在各种实施例中，系统700可W实现为无线系统、有线系统或二者的组合。当实现 为无线系统时，系统700可包括适合于通过无线共享介质诸如一个或多个天线、发送器、接 收器、收发器、放大器、滤波器、控制逻辑等通信的组件和接口。无线共享介质的示例可包括 无线频谱的部分，诸如RF频谱等等。当实现为有线系统时，系统700可包括适合于通过诸如 输入/输出（I/O)适配器、将I/O适配器与相对应的有线通信介质连接的物理连接器、网络接 口卡(NIC)、盘控制器、视频控制器、音频控制器等的有线通信介质通信的组件和接口。有线 通信介质的示例可包括导线、电缆、金属线、印刷电路板(PCB)、背板、交换光纤、半导体材 料、双绞线、同轴电缆、光纤等。
[0065] 平台702可W建立一个或多个逻辑或物理信道W通信信息。信息可包括媒体信息 和控制信息。媒体信息可W指表示为用户准备的内容的任何数据。内容的示例可包括，例 如，来自语音对话的数据、视频会议、流视频、电子邮件(email)消息、语音邮件消息、字母数 字符号、图形、图形、视频文本等。来自语音对话的数据可W是，例如，发言信息、沉默期、背 景噪音、舒适噪音、音质等。控制信息可W指表示命令、指令或为自动系统准备的控制字的 任何数据。例如，控制信息可W用来路由媒体信息通过系统，或指令节点W预确定的方式处 理媒体信息。然而各实施例不限于图3中示出或描述的元素或上下文。
[0066] 如上所述，系统700可W用变化的物理风格或形式因子来体现。图6示出了系统700 可W体现于其中的小形式因子设备800的实施例。例如，在各实施例中，设备800可W实现为 具有无线能力的移动计算设备。移动计算设备可W指具有处理系统和例如诸如一个或多个 电池的无线电力源或供应的任何设备。
[0067] 如图6中所示，设备800可包括外壳802、显示804和810、输入/输出（I/O)设备806和 天线808。设备800也可包括导航特征812。显示804可包括用于显示适合于移动计算设备的 信息的任何适合的显示单元。I/O设备806可包括用于将信息输入进移动计算设备的任何适 合的I/O设备。I/O设备806的示例可包括字母数字键盘、数字小键盘、触摸垫、输入建、按钮、 开关、翅板开关、话筒、扬声器、语音识别设备和软件等。信息也可通过话筒的方式输入进设 备800中。运样的信息可W通过语音识别设备数字化。各实施例不限于该上下文。
[0068] 如上所述，移动计算设备的示例可包括个人计算机(PC)、膝上型计算机、超级膝上 型计算机、平板机、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理 (PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如智能电话、智能平板机或智能电 视）、移动互联网设备(MID)、消息设备、数据通信设备等。
[0069] 移动计算设备的示例也可W包括安排为由人佩戴的计算机，诸如腕式计算机、指 式计算机、环式计算机、眼镜计算机、带扣计算机、臂环计算机、鞋式计算机、衣式计算机和 其它可佩戴的计算机。例如，在各实施例中，移动计算设备可W实现为能够执行计算机应用 及语音通信和/或数据通信的智能电话。尽管一些实施例可W用作为示例实现为智能电话 的移动计算设备描述，但应理解，其它实施例也可W使用其它无线移动计算设备实现。各实 施例不限于该上下文。
[0070] W下子句和/或示例设及进一步的实施例。
[0071] -个示例实施例建议是计算机实现的方法，该方法包括对输入图像信号加权和将 所述输入信号的空间变化点扩散函数建模为与固定点扩散函数的卷积的和。方法也可包括 将固定权重乘W其影响区域。方法也可包括对加权的输入图像和点扩散函数进行快速傅立 叶变换。方法也可包括对快速傅立叶变换的结果进行逐元素相乘。方法也可包括快速傅立 叶逆变换W得到空间域结果。
[0072] 另一个示例实施例可W是一个或多个存储由处理器执行W执行序列的指令的非 瞬态计算机可读介质，所述序列包括对输入图像信号加权和将所述输入信号的空间变化点 扩散函数建模为与固定点扩散函数的卷积的和。介质也可包括所述序列，该序列包括将固 定权重乘W其影响区域。介质也可包括所述序列，该序列包括对加权的输入图像和点扩散 函数进行快速傅立叶变换。介质也可包括所述序列，该序列包括对快速傅立叶变换的结果 进行逐元素相乘。介质也可包括所述序列，该序列包括快速傅立叶逆变换W得到空间域结 果。
[0073] 在另一个示例实施例中可W包括对输入图像信号加权的设备和将所述输入信号 的空间变化点扩散函数建模为与固定点扩散函数的卷积的和的单元的装置。装置可包括将 固定权重乘W其影响区域的乘法器。装置可包括对加权的输入图像和点扩散函数进行变换 的快速傅立叶变换设备。装置可包括对快速傅立叶变换的结果进行逐元素相乘的乘法器。 装置可包括提供空间域结果的快速傅立叶逆变换设备。
[0074] 在又一个示例实施例中相机模拟器包括光学器件模拟器，该光学器件模拟器包括 接收原始图像和固定权重图并将固定权重图乘W其影响区域的乘法器、接收乘W图像I的 权重并与点扩散函数进行卷积的快速傅立叶变换器和禪合到同一光学期间模拟器的图像 信号处理模拟器。模拟器可包括禪合到对所述变换的结果进行逐元素相乘的所述变换的乘 法器。模拟器可包括将所述逐元素乘法的结果进行逆变换的快速傅立叶逆变换。模拟器可 包括通信地禪合到电路的显示。模拟器可包括禪合到电路的电池。
[0075] 贯穿本说明书的对"一个实施例"和"实施例"的引用意味着结合实施例所描述的 特定特征、结构或特性包括在涵盖于本公开的至少一个实现中。因此，短语"一个实施例"或 "在实施例中"的出现不必全都指的是同一实施例。而且，除了所示的特定实施例之外，特定 特征、结构和特性还可W用其它适合的形式建立，且所有运样的形式都可W涵盖于本申请 的权利要求书中。
[0076] 尽管描述了有限数量的实施例，本领域技术人员将由此领会无数的修改和变体。 所附权利要求书旨在覆盖所有运样落入此公开的真正的精神和范围内的修改和变化。
【主权项】
1. 一种计算机实现的方法，包括： 对输入图像信号加权；以及 将所述输入信号的空间变化点扩散函数建模为与固定点扩散函数的卷积的和。2. 如权利要求1所述的方法，其特征在于，包括将固定权重乘以其影响区域。3. 如权利要求2所述的方法，其特征在于，包括对加权的输入图像和点扩散函数进行快 速傅立叶变换。4. 如权利要求3所述的方法，其特征在于，包括对快速傅立叶变换的结果进行逐元素相 乘。5. 如权利要求4所述的方法，其特征在于，包括快速傅立叶逆变换以得到空间域结果。6. -种装置，所述装置包括： 用于对输入图像信号加权的设备；以及 用于将所述输入信号的空间变化点扩散函数建模为与固定点扩散函数的卷积的和的 单元。7. 如权利要求6所述的装置，其特征在于，包括将固定权重乘以其影响区域的乘法器。8. 如权利要求7所述的装置，其特征在于，包括用于对加权的输入图像和点扩散函数进 行变换的快速傅立叶变换设备。9. 如权利要求8所述的装置，其特征在于，包括用于对快速傅立叶变换的结果进行逐元 素相乘的乘法器。10. 如权利要求9所述的装置，其特征在于，包括提供空间域结果的快速傅立叶逆变换 设备。11. 一种相机模拟器，所述模拟器包括： 光学器件模拟器，所述光学器件模拟器包括： 用于接收原始图像和固定权重图并将所述固定权重图乘以其影响区域的乘法器； 用于接收乘以图像I的权重和用于与点扩散函数进行卷积的快速傅立叶变换；以及 耦合到同一光学器件模拟器的图像信号处理模拟器。12. 如权利要求11所述的模拟器，其特征在于，包括耦合到对所述变换的结果进行逐元 素相乘的所述变换的乘法器。13. 如权利要求12所述的模拟器，其特征在于，包括将所述逐元素乘法的结果逆变换的 快速傅立叶逆变换。14. 如权利要求11所述的模拟器，其特征在于，包括通信地耦合到所述电路的显示器。15. 如权利要求11所述的模拟器，其特征在于，包括耦合到所述电路的电池。
【文档编号】H04N5/225GK105939441SQ201610081186
【公开日】2016年9月14日
【申请日】2016年2月4日
【发明人】C-T·吴, A·凯莫卡
【申请人】英特尔公司