在高动态范围图像创建中的幻像伪影检测和去除的制作方法_4

文档序号:8907821阅读:来源:国知局
S82中构造的初级和次级网格以及步骤S83和S84中计算 的拼接块曝光质量与拼接块到拼接块相关值,来构造图形(特别是,流网络)(步骤S85)。 该图形包括源节点、宿节点、与初级网格的每一拼接块和次级网格的每一拼接块对应的一 个或多个节点、以及节点之间的各个拼接块特定边缘和横向耦接边缘。每一边缘具有向其 分配的权重,并且这些权重基于拼接块曝光质量以及拼接块到拼接块相关值。本发明实施 例中的构造图形的特定方式如前面描述的那样。然后,使用最小切口算法来计算该图形的 最佳切口,并且从最佳切口来标识用于初级网格的所有拼接块的基准括号(步骤S86)。本 发明实施例中的从最佳切口标识基准括号的方式如前面描述的那样。
[0072] -旦标识了用于每一拼接块的基准括号,则能通过对于每一拼接块比较非基准括 号和基准括号,来在逐拼接块的基础上检测图像集合中的引起幻像的像素(步骤S87)。例 如,能计算基准括号和非基准括号之间的拼接块的归一化交叉相关性(NCC),作为那个拼接 块的非基准括号是否包括引起幻像的对象的指示。可使用其他方法来检测拼接块中的幻像 伪影,诸如Karadag和Akyuz2012论文中描述的方法。在步骤S87,对于每一括号构造幻像 图,其是和原始图像具有相同尺寸、并且指示括号中的每一像素是否引起幻像以及由此是 否应在创建HDR图像时使用该括号的像素的图。然后,通过使用多个括号连同对应幻像图, 来生成HDR图像(步骤S88)。在该步骤中,将不使用由对应幻像图指示为引起幻像的括号 的像素来生成HDR图像。结果,避免幻像伪影。
[0073] 在图8的处理中,步骤S81到S86涉及确定用于每一拼接块的基准括号;并且步骤 S87到S88涉及检测和去除幻像伪影并生成HDR图像。能使用现有技术中已知的方法来实 现这些步骤的后一集合。
[0074] 能对上述实施例进行各种改变。例如,尽管使用初级网格和次级网格中的重叠拼 接块来在以上实施例中定义拼接块到拼接块相关性\q(fp,fq),但是其也能通过测量彼此 接壤(border)的初级网格中的相邻拼接块的视觉相似度的函数、使用仅初级网格中的拼 接块来定义。下面描述这些替换实施例中的两个。在这些描述中,拼接块q是相同网格中 的拼接块P的相邻拼接块;能定义邻居的集合作为在四边与拼接块P邻接的四个拼接块的 集合,或者作为选择,这样的集合的任何子集。
[0075] 在计算拼接块到拼接块相关性\q(fp,fq)的第一替换方法中,首先计算以下NCC 值:
[0076] A=NCC(Ifp(Rp),Ifq(Rp))
[0077] B=NCC(Ifq(Rq),Ifp(Rq))
[0078] 其中Ifq(Rq)是括号fp等的拼接块p的图像。由此,值A是括号匕和匕的拼接块 P和q之间计算的归一化交叉相关性。
[0079] 对于fp#fq,令n为输入图像集合的另一括号的索引,即n辛fp并且n辛fq,并且 计算以下值:
[0080] C=max{n}(NCC(Ifp (Rp),In (Rp))+NCC(Ifq (Rq),In (Rq)))
[0081] 然后,值H被计算为:
[0082] 对于心=?(1,民,(1(心4)=0;
[0083] 对于fp 乒fUfp, = 1-max(A,B,C)
[0084] 然后作为Hp,q(fp,fq)的递增函数来计算拼接块到拼接块相关性VRq(fp,fq)。
[0085] 在计算拼接块到拼接块相关性\q(fp,fq)的第二替换方法中,每一拼接块首先由 函数Ef映射,其取决于括号f将像素强度值映射到曝光值。换言之,Ef是向像素值应用的 逆相机响应函数(CRF)。
[0086]然后令 1加是Efp (Ifp (Rp))和Efq (Ifq (Rq))的并置(juxtaposition)(相邻拼接块) 的图像结果。令dist是比较函数(例如,绝对差,1-NCC)。计算如下:
[0087] A=dist(Itest,E0(I0(Rp+Rq)))
[0088] B=dist(Itest,Ei⑴(Rp+Rq)))
[0089]C=dist(Itest,E2(I2(Rp+Rq)))
[0090]
[0091]Hp;q (fp,fq) =min(A,B,C,...)
[0092] 其中Rp+Rq代表通过组合(并置)拼接块RjPRq而获得的图像补丁。例如,如果 &和R5是正方形,则RP+Rq是通过组合R5和Rq而获得的矩形补丁。
[0093] 然后作为Hp,q(fp,fq)的递增函数来计算拼接块到拼接块相关性Vp,q(fp,fq)。
[0094]当仅使用初级网格中的拼接块来计算拼接块到拼接块相关性Vp,q(fp,fq)时,图形 构造与上面描述的类似,除了拼接块q现在是同一网格(而不是次级网格)中的拼接块P 的相邻拼接块之外。
[0095] 这里描述的幻像伪影检测和HDR图像创建方法能在诸如图8A中示出的计算机120 的数据处理系统中实现。计算机120包括处理器121、储存装置(例如,硬盘驱动器)122、 以及内部存储器(例如,RAM) 123。储存装置122存储软件程序,所述软件程序被读出到RAM 123并由处理器121运行以执行这些方法。
[0096] 该方法也可在硬连线电路中实现,诸如数字相机内的一个或多个芯片。图8B示意 性图示了数字相机130,其包括处理器121、储存装置132、内部存储器133、以及用于获得图 像的成像部件134和用于控制相机的各种功能的控制部件135。控制部件135可执行自动 加括号,以按照不同曝光级别来自动拍摄图像的集合。自动加括号是公知的,并且这里省略 其细节。处理器131可使用上述算法来处理图像的集合以生成HDR图像。
[0097] 在一个方面,本发明在数据处理设备中实施,其可以是数字相机的数据处理部件。 在另一方面,本发明是在计算机可使用非瞬时介质中实施的计算机程序产品,其中嵌入有 计算机可读程序代码,用于控制数据处理设备。在另一方面,本发明是数据处理设备执行的 方法。
[0098] 本领域技术人员将清楚,能在本发明的幻像伪影检测和HDR图像创建方法和相关 设备中进行各种修改和变型,而不脱离本发明的精神或范围。由此,本发明意欲覆盖落入所 附权利要求及其等效的范围内的修改和变型。
【主权项】
1. 一种用于从多个输入图像的集合生成高动态范围(HDR)图像的方法,每一输入图像 被分配括号索引,该方法包括: (a) 将每一输入图像划分为拼接块的集合,其中所有图像被划分为相同的拼接块集 合; (b) 确定用于所述拼接块的集合的每一拼接块的基准括号索引,包括: (bl)作为用于所述拼接块的集合的括号索引的集合的函数来定义目标函数,该目标函 数包括测量个别拼接块的曝光质量的分量和测量相邻拼接块之间的相关性的分量;和 (b2)计算使得该目标函数最优化的用于拼接块的基准括号索引的集合; (c) 基于用于拼接块的基准括号索引的集合,通过对于每一拼接块比较其括号索引不 是基准括号索引的每一输入图像与其括号索引是基准括号索引的输入图像,而在逐拼接块 的基础上检测输入图像的集合中的引起幻像的像素,并生成指示那个图像中的引起幻像的 像素的用于每一输入图像的幻像图;和 (d) 使用输入图像的集合和对应幻像图来生成HDR图像。2. 根据权利要求1的方法,其中所述步骤(b2)包括: 基于该目标函数构造图形,使得该图形的最佳切口给出使得该目标函数最优化的用于 拼接块的括号索引的集合;和 使用图形切割算法来计算图形的最佳切口,以获得使得该目标函数最优化的用于拼接 块的基准括号索引的集合。3. 根据权利要求1的方法,其中步骤(bl)中的目标函数被定义为: F(f) = 2pDp(fp) + 2p2:qeN(p)Vp,q(fp,f q) (I) 其中:P和q是拼接块的索引,N(p)是拼接块p的邻居的拼接块索引的集合,&和f q是 用于拼接块P和q的括号索引,f是fp所形成的向量,D p(fp)是测量括号&的拼接块p的 曝光质量的函数,并且(fp,f q)是测量括号&和f q的两个相邻拼接块p和q之间的耦接 的函数。4. 根据权利要求3的方法,其中Dp(fp)是用于括号&的拼接块p的所有像素的像素曝 光质量值的平均值。5. 根据权利要求3的方法, 其中步骤(a)中的拼接块的集合具有相同拼接块尺寸并形成初级拼接块网格, 该方法进一步包括通过将该初级拼接块网格移位该拼接块尺寸的一部分,来形成次级 拼接块网格, 其中在步骤(bl)中的目标函数中,拼接块索引p和q分别是初级和次级拼接块网格中 的索引,并且拼接块P的邻居的集合N(p)是与初级网格中的拼接块p重叠的次级拼接块网 格中的拼接块,以及 其中(fp,g是其中拼接块P和q彼此重叠的区域中的从括号4和f q的图像计算 的相关性值。6. 根据权利要求5的方法,其中步骤(b2)包括: 基于目标函数构造图形,该图形具有源节点、宿节点、和与初级拼接块网格的每一拼接 块P以及次级拼接块网格的每一拼接块q对应的M-I个中间节点的序列,M是输入图像的 集合中的图像的数目,M个纵向边缘利用基于函数D p (fp)计算的相应边缘权重经由用于每 一拼接块P和每一拼接块q的中间节点的序列而将
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1