用于修正三维图像的深度图的装置和方法

用于修正三维图像的深度图的装置和方法
【专利摘要】本发明公开了一种用于修正三维图像的深度图的装置和方法，其能根据图像的特性精确修正初始产生的深度图，由此实现三维图像的画面质量的提升。所述装置包括：原始深度图产生单元，所述原始深度图产生单元用于产生从外部提供到所述原始深度图产生单元的帧图像数据的原始深度图；和深度图修正单元，所述深度图修正单元用于分析从外部提供的帧图像数据，根据分析结果计算帧图像数据的图像图案和帧图像数据的每像素亮度值，并根据所计算的图像图案和所计算的亮度值修正从所述原始深度图产生单元输出的原始深度图，以产生修正后深度图。
【专利说明】用于修正三维图像的深度图的装置和方法
[0001]本申请要求2012年11月23日提交的韩国专利申请N0.10-2012-0133373的优先权，在此援引该专利申请作为参考，如同在这里完全阐述一样。
【技术领域】
[0002]本发明涉及一种用于修正将二维图像转换为三维图像所需的三维图像深度图的装置，尤其涉及一种三维图像深度图修正装置和方法，其能根据图像的特性精确修正初始产生的深度图，由此实现三维图像的画面质量的提升。
【背景技术】
[0003]作为三维图像呈现方法，主要存在其中根据为了呈现三维图像而产生的二维左眼和右眼图像产生深度图，并使用产生的深度图呈现三维图像的方法(三维图像呈现方法)、以及其中根据为了呈现二维图像而产生的二维图像产生深度图，并将二维图像转换为三维图像以呈现三维图像的方法(三维图像转换方法)。
[0004]根据常规的三维图像转换方法，根据图像的统计亮度和颜色特性确定图像中物体的三维距离。一般来说，图像中表现出高亮度的物体被分配统计高深度值并如此在深度图中呈现，从而向前凸出。另一方面，图像中表现出低亮度的物体被分配统计低深度值并如此在深度图中呈现，从而向后凹陷。根据统计值产生的这种深度图有效地反映了图像的各种特性。然而，当图像具有表现出暗颜色(例如黑色)的物体布置在表现出亮颜色(例如白色)的物体前方的特性时，这种图像的深度图会具有深度图不能精确呈现图像的原始特性的较高可能性。这是因为常规的三维图像转换装置会错误地确定亮颜色物体布置在前侧，暗颜色物体布置在亮颜色物体后方的一侧，如此会产生具有错误信息的深度图。
[0005]三维图像的画面质量受三维图像的深度图的精度影响。为此，为了提高三维图像的画面质量，重要的是精确修正深度图的错误信息。
[0006]然而，在常规情形中不可能精确修正深度图的错误信息。由于此原因，常规情形仍具有三维图像的画面质量劣化的问题。

【发明内容】

[0007]因此，本发明旨在提供一种基本上克服了由于现有技术的限制和缺点而导致的一个或多个问题的用于修正三维图像的深度图的装置和方法。
[0008]本发明的一个目的是提供一种三维图像深度图修正装置和方法，其能根据图像的特性精确修正初始产生的深度图，由此实现三维图像的画面质量的提升。
[0009]在下面的描述中将部分列出本发明的附加优点、目的和特征，这些优点、目的和特征的一部分在研究下面的描述之后对于本领域普通技术人员来说将是显而易见的，或者可从本发明的实施领会到。通过说明书、权利要求书以及附图中具体指出的结构可实现和获得本发明的这些目的和其他优点。
[0010]为了实现这些目的和其他优点，并根据本发明的意图，如在此具体化和概括描述的，一种用于修正三维图像的深度图的装置包括:原始深度图产生单元，所述原始深度图产生单元用于产生从外部提供到所述原始深度图产生单元的帧图像数据的原始深度图；和深度图修正单元，所述深度图修正单元用于分析从外部提供的帧图像数据，根据分析结果计算帧图像数据的图像图案和帧图像数据的每像素亮度值，并根据所计算的图像图案和所计算的亮度值修正从所述原始深度图产生单元输出的原始深度图，以产生修正后深度图。
[0011]所述深度图修正单元可包括:亮度提取器，所述亮度提取器用于从自外部提供的帧图像数据提取每像素亮度值；图像图案分析器，所述图像图案分析器用于根据从所述亮度提取器输出的亮度值识别帧图像数据的图像图案，并根据识别结果输出预定的图案增益值；块深度图产生器，所述块深度图产生器用于根据像素的空间位置将帧图像数据的像素分类为η个像素块，在参考从所述亮度提取器输出的亮度值的同时计算每个像素块的平均亮度值，并根据每个像素块的平均亮度值和来自所述图像图案分析器的图案增益值修正从所述原始深度图产生单元输出的原始深度图，以产生基于块的深度图，其中η为大于I的自然数；像素深度图产生器，所述像素深度图产生器用于根据来自所述亮度提取器的亮度值和来自所述图像图案分析器的图案增益值修正从所述原始深度图产生单元输出的原始深度图，以产生基于像素的深度图；和修正后深度图产生器，所述修正后深度图产生器用于根据来自所述块深度图产生器的基于块的深度图和来自所述像素深度图产生器的基于像素的深度图产生修正后深度图。
[0012]所述图像图案分析器可根据像素的空间位置将帧图像数据的像素分类为m个图案块，可将m个图案块的一部分分组为空中区域，同时将m个图案块的另一部分分组为侧区域，可在参考从所述亮度提取器输出的亮度值的同时计算所述空中区域的平均亮度值和所述侧区域的平均亮度值，可根据所计算的平均亮度值识别帧图像数据的图像图案，并可根据识别结果选择图案增益值，其中m为大于I的自然数。
[0013]所述图像图案分析器可将所述空中区域的平均亮度值与预定的参考亮度值进行比较，可将所述侧区域的平均亮度值与所述参考亮度值进行比较，并可根据比较结果从多个预定的图案增益值选择一个图案增益值。
[0014]所述图像图案分析器可将像素分类为9个图案块，可将在空间上布置在9个图案块的最上侧处的三个水平相邻的图案块分组为所述空中区域，并可将在空间上布置在9个图案块的左边缘侧处的两个垂直相邻的图案块以及在空间上布置在9个图案块的右边缘侧处的两个垂直相邻的图案块分组为所述侧区域。
[0015]所述图像图案分析器可在所述空中区域的平均亮度值小于等于所述参考亮度值，且所述侧区域的平均亮度值高于所述参考亮度值时，识别出从外部提供的帧图像数据具有第一图像图案，然后选择所述图案增益值中的第一图案增益值。所述图像图案分析器可在所述空中区域的平均亮度值高于所述参考亮度值，且所述侧区域的平均亮度值小于等于所述参考亮度值时，识别出从外部提供的帧图像数据具有第二图像图案，然后选择所述图案增益值中的第二图案增益值。所述图像图案分析器可在所述空中区域的平均亮度值小于等于所述参考亮度值，且所述侧区域的平均亮度值小于等于所述参考亮度值时，识别出从外部提供的帧图像数据具有第三图像图案，然后选择所述图案增益值中的第三图案增益值。所述图像图案分析器可在所述空中区域的平均亮度值高于所述参考亮度值，且所述侧区域的平均亮度值高于所述参考亮度值时，识别出从外部提供的帧图像数据具有第四图像图案，然后选择所述图案增益值中的第四图案增益值。
[0016]所述第一图案增益值可为0.3，所述第二图案增益值可为0.7，所述第三图案增益值可为0，所述第四图案增益值可为I。
[0017]所述块深度图产生器还可根据像素的垂直位置计算每个像素块中的一个像素的第一垂直权重，并可根据每个像素块的平均亮度值和来自所述图像图案分析器的图案增益值、以及所述第一垂直权重修正所述原始深度图。所述像素深度图产生器还可根据像素的垂直位置计算一个像素的第二垂直权重，并根据来自所述亮度提取器的亮度值、来自所述图像图案分析器的图案增益值、以及所述第二垂直权重修正所述原始深度图，以产生基于像素的深度图。
[0018]所述第一垂直权重和所述第二垂直权重可由下面的表达式I表示，
[0019][表达式I]: (HL_total/60) - (N_HL_pxl/60) X 8
[0020]其中，“HL_total”表示显示屏的水平行的总数，“N_HL_pxl”表示标记出一个水平行的编号，在所述一个水平行上布置有确定一个像素。在所述第一垂直权重具有十进制值时，所述第一垂直权重可对一个小数位四舍五入。
[0021]所述块深度图产生器可根据布置有确定一个像素的第k个像素块的平均亮度值计算第k个像素块的第k个块增益值；可根据在第k个像素块左侧处与第k个像素块相邻布置的第k-Ι个像素块的平均亮度值，计算第k-Ι个像素块的第k-Ι个块增益值；并可根据在第k个像素块右侧处与第k个像素块相邻布置的第k+Ι个像素块的平均亮度值，计算第k+Ι个像素块的第k+Ι个块增益值。所述块深度图产生器可将第k-Ι个块增益值和第k+1个块增益值中较高的一个定义为侧块增益值。所述块深度图产生器可将第k个块增益值、所述侧块增益值、所述第一垂直权重和所述图案增益值相乘，以计算第一总增益值。所述块深度图产生器可搜索分配给所述确定一个像素的原始深度值的原始深度图，并可向搜索到的原始深度值添加所述第一总增益值，以计算所述确定一个像素的块深度值。所述块深度图产生器可对所有像素进行块深度值的计算，以产生基于块的深度图。
[0022]第k个块增益值可由下面的表达式I表示，第k-Ι个块增益值可由下面的表达式2表示，第k+Ι个块增益值可由下面的表达式3表示，
[0023][表达式 I]: (Max_thl - blk_apl_k) / (Max_thl - Min_thl)
[0024][表达式 2]: (Max_th2 - blk_apl_k_l) / (Max_th2 - Min_th2)
[0025][表达式 3]: (Max_th2 - blk_apl_k+l) / (Max_th2 - Min_th2)
[0026]其中，“Max_thl”表不预定的第一最大参考值，“Min_thl”表不预定的第一最小参考值，“Max_th2”表示预定的第二最大参考值，“Min_th2”表示预定的第二最小参考值，“blk_apl_k”表示第k个像素块的平均亮度值，“blk_apl_k-l”表示第k_l个像素块的平均亮度值，“blk_apl_k+l”表示第k+Ι个像素块的平均亮度值。
[0027]所述第一最大参考值、所述第一最小参考值、所述第二最大参考值和所述第二最小参考值可分别为400，200，440和240。
[0028]所述像素深度图产生器可根据确定的第i个像素的亮度值计算第i个像素的第i个像素增益值；可根据在第i个像素左侧处与第i个像素相邻布置的第i_l个像素的亮度值，计算第i_l个像素的第i_l个像素增益值；并可根据在第i个像素右侧处与第i个像素相邻布置的第i+Ι个像素的亮度值，计算第i+Ι个像素的第i+Ι个像素增益值。所述像素深度图产生器可将第1-ι个像素增益值和第i+ι个像素增益值中较高的一个定义为侧像素增益值。所述像素深度图产生器可将第i个像素增益值、所述侧像素增益值、所述第二垂直权重和所述图案增益值相乘，以计算第二总增益值。所述像素深度图产生器可搜索分配给第i个像素的原始深度值的原始深度图，并可向搜索到的原始深度值添加所述第二总增益值，以计算第i个像素的像素深度值。所述像素深度图产生器可对所有像素进行像素深度值的计算，以产生基于像素的深度图。
[0029]第i个像素增益值可由下面的表达式I表示，第i_l个像素增益值可由下面的表达式2表示，第i+Ι个像素增益值可由下面的表达式3表示，
[0030][表达式 I]: (Max_th3 - pxl_i) / (Max_th3 - Min_th3)
[0031][表达式 2]: (Max_th4 - pxl_i_l) / (Max_th4 - Min_th4)
[0032][表达式 3]: (Max_th4 - pxl_i+l) / (Max_th4 - Min_th4)
[0033]其中，“Max_th3 ”表示预定的第三最大参考值，“Min_th3 ”表示预定的第三最小参考值，“Max_th4”表示预定的第四最大参考值，“Min_th4”表示预定的第四最小参考值，“pxl_i”表示第i个像素的亮度值，表示第i_l个像素的亮度值，“pxl_i+l”表示第i+Ι个像素的亮度值。
[0034]所述第三最大参考值、所述第三最小参考值、所述第四最大参考值和所述第四最小参考值可分别为250，170,290和210。
[0035]所述修正后深度图产生器可搜索分配给确定像素的块深度值的基于块的深度图，可搜索分配给所述确定像素的像素深度值的基于像素的深度图，可将搜索到的块深度值乘以第一修正增益值以计算修正后的块深度值，可将搜索到的像素深度值乘以第二修正增益值以计算修正后的像素深度值，可将修正后的块深度值和修正后的像素深度值相加以计算所述确定像素的修正后深度值，并可对所有像素进行修正后深度值的计算，以产生所述修正后深度图。
[0036]修正后的块深度值和修正后的像素深度值之和可为I。
[0037]所述第一修正增益值可为0.7，所述第二修正增益值可为0.3。
[0038]在本发明的另一个方面，提供一种用于修正三维图像的深度图的方法，包括下述步骤:A)产生从外部提供的帧图像数据的原始深度图；和B)分析从外部提供的帧图像数据，根据分析结果计算帧图像数据的图像图案和帧图像数据的每像素亮度值，并根据所计算的图像图案和所计算的亮度值修正所述原始深度图，以产生修正后深度图。
[0039]所述步骤B)可包括:B_a)从自外部提供的帧图像数据提取每像素亮度值；B_b)根据所述亮度值识别帧图像数据的图像图案，并根据识别结果输出预定的图案增益值；B-c)根据像素的空间位置将帧图像数据的像素分类为η个像素块，在参考所述亮度值的同时计算每个像素块的平均亮度值，并根据每个像素块的平均亮度值和所述图案增益值修正所述原始深度图，以产生基于块的深度图，其中η为大于I的自然数；B-d)根据所述亮度值和所述图案增益值修正所述原始深度图，以产生基于像素的深度图；和B-e)根据基于块的深度图和基于像素的深度图产生修正后深度图。
[0040]所述步骤B-b)可包括:根据像素的空间位置将帧图像数据的像素分类为m个图案块，将m个图案块的一部分分组为空中区域，同时将m个图案块的另一部分分组为侧区域，在参考所述亮度值的同时计算所述空中区域的平均亮度值和所述侧区域的平均亮度值，根据所计算的平均亮度值识别帧图像数据的图像图案，并根据识别结果选择图案增益值，其中m为大于I的自然数。
[0041]所述步骤B-b)可包括:将所述空中区域的平均亮度值与预定的参考亮度值进行比较，将所述侧区域的平均亮度值与所述参考亮度值进行比较，并根据比较结果从多个预定的图案增益值选择一个图案增益值。
[0042]所述步骤B-b)可包括:将像素分类为9个图案块，将在空间上布置在9个图案块的最上侧处的三个水平相邻的图案块分组为所述空中区域，并将在空间上布置在9个图案块的左边缘侧处的两个垂直相邻的图案块以及在空间上布置在9个图案块的右边缘侧处的两个垂直相邻的图案块分组为所述侧区域。
[0043]所述步骤B-b)可包括:当所述空中区域的平均亮度值小于等于所述参考亮度值，且所述侧区域的平均亮度值高于所述参考亮度值时，识别出从外部提供的帧图像数据具有第一图像图案，然后选择所述图案增益值中的第一图案增益值。所述步骤B-b)还可包括:当所述空中区域的平均亮度值高于所述参考亮度值，且所述侧区域的平均亮度值小于等于所述参考亮度值时，识别出从外部提供的帧图像数据具有第二图像图案，然后选择所述图案增益值中的第二图案增益值。所述步骤B-b)还可包括:当所述空中区域的平均亮度值小于等于所述参考亮度值，且所述侧区域的平均亮度值小于等于所述参考亮度值时，识别出从外部提供的帧图像数据具有第三图像图案，然后选择所述图案增益值中的第三图案增益值。所述步骤B-b)还可包括:当所述空中区域的平均亮度值高于所述参考亮度值，且所述侧区域的平均亮度值高于所述参考亮度值时，识别出从外部提供的帧图像数据具有第四图像图案，然后选择所述图案增益值中的第四图案增益值。
[0044]所述第一图案增益值可为0.3，所述第二图案增益值可为0.7，所述第三图案增益值可为0，所述第四图案增益值可为I。
[0045]所述步骤B-c)还可包括:根据像素的垂直位置计算每个像素块中的一个像素的第一垂直权重，并根据每个像素块的平均亮度值和所述图案增益值、以及所述第一垂直权重修正所述原始深度图。所述步骤B-d)还可包括:根据像素的垂直位置计算一个像素的第二垂直权重，并根据所述亮度值、所述图案增益值、以及所述第二垂直权重修正所述原始深度图，以产生基于像素的深度图。
[0046]所述第一垂直权重和所述第二垂直权重可由下面的表达式I表示，
[0047][表达式I]: (HL_total/60) - (N_HL_pxl/60) X 8
[0048]其中，“HL_total”表示显示屏的水平行的总数，“N_HL_pxl”表示标记出一个水平行的编号，在所述一个水平行上布置有确定一个像素。当所述第一垂直权重具有十进制值时，所述第一垂直权重可对一个小数位四舍五入。
[0049]所述步骤B-C)可包括:根据布置有确定一个像素的第k个像素块的平均亮度值计算第k个像素块的第k个块增益值；根据在第k个像素块左侧处与第k个像素块相邻布置的第k-Ι个像素块的平均亮度值，计算第k-Ι个像素块的第k-Ι个块增益值；并根据在第k个像素块右侧处与第k个像素块相邻布置的第k+Ι个像素块的平均亮度值，计算第k+Ι个像素块的第k+Ι个块增益值；将第k-Ι个块增益值和第k+Ι个块增益值中较高的一个定义为侧块增益值；将第k个块增益值、所述侧块增益值、所述第一垂直权重和所述图案增益值相乘，以计算第一总增益值；搜索分配给所述确定一个像素的原始深度值的原始深度图，并向搜索到的原始深度值添加所述第一总增益值，以计算所述确定一个像素的块深度值；和对所有像素进行块深度值的计算，以产生基于块的深度图。
[0050]第k个块增益值可由下面的表达式I表示，第k-Ι个块增益值可由下面的表达式2表示，第k+Ι个块增益值可由下面的表达式3表示，
[0051][表达式 I]: (Max_thl - blk_apl_k) / (Max_thl - Min_thl)
[0052][表达式 2]: (Max_th2 - blk_apl_k_l) / (Max_th2 - Min_th2)
[0053][表达式 3]: (Max_th2 - blk_apl_k+l) / (Max_th2 - Min_th2)
[0054]其中，“Max_thl”表不预定的第一最大参考值，“Min_thl”表不预定的第一最小参考值，“Max_th2”表示预定的第二最大参考值，“Min_th2”表示预定的第二最小参考值，“blk_apl_k”表示第k个像素块的平均亮度值，“blk_apl_k-l”表示第k_l个像素块的平均亮度值，“blk_apl_k+l”表示第k+Ι个像素块的平均亮度值。
[0055]所述第一最大参考值、所述第一最小参考值、所述第二最大参考值和所述第二最小参考值可分别为400，200，440和240。
[0056]所述步骤B-d)可包括:根据确定的第i个像素的亮度值计算第i个像素的第i个像素增益值；根据在第i个像素左侧处与第i个像素相邻布置的第i_l个像素的亮度值，计算第1-ι个像素的第1-ι个像素增益值；并根据在第i个像素右侧处与第i个像素相邻布置的第i+ι个像素的亮度值，计算第i+ι个像素的第i+ι个像素增益值；将第1-ι个像素增益值和第i+ι个像素增益值中较高的一个定义为侧像素增益值；将第i个像素增益值、所述侧像素增益值、所述第二垂直权重和所述图案增益值相乘，以计算第二总增益值；搜索分配给第i个像素的原始深度值的原始深度图，并向搜索到的原始深度值添加所述第二总增益值，以计算第i个像素的像素深度值；和对所有像素进行像素深度值的计算，以产生基于像素的深度图。
[0057]第i个像素增益值可由下面的表达式I表示，第i_l个像素增益值可由下面的表达式2表示，第i+Ι个像素增益值可由下面的表达式3表示，
[0058][表达式 I]: (Max_th3 - pxl_i) / (Max_th3 - Min_th3)
[0059][表达式 2]: (Max_th4 - pxl_i_l) / (Max_th4 - Min_th4)
[0060][表达式 3]: (Max_th4 - pxl_i+l) / (Max_th4 - Min_th4)
[0061]其中，“Max_th3”表示预定的第三最大参考值，“Min_th3”表示预定的第三最小参考值，“Max_th4”表示预定的第四最大参考值，“Min_th4”表示预定的第四最小参考值，“pxl_i”表示第i个像素的亮度值，表示第1-Ι个像素的亮度值，“pxl_i+l”表示第i+Ι个像素的亮度值。
[0062]所述第三最大参考值、所述第三最小参考值、所述第四最大参考值和所述第四最小参考值可分别为250，170,290和210。
[0063]所述步骤B-e)可包括:搜索分配给确定像素的块深度值的基于块的深度图，搜索分配给所述确定像素的像素深度值的基于像素的深度图，将搜索到的块深度值乘以第一修正增益值以计算修正后的块深度值，将搜索到的像素深度值乘以第二修正增益值以计算修正后的像素深度值，将修正后的块深度值和修正后的像素深度值相加以计算所述确定像素的修正后深度值，并对所有像素进行修正后深度值的计算，以产生所述修正后深度图。
[0064]修正后的块深度值和修正后的像素深度值之和为I。[0065]所述第一修正增益值可为0.7，所述第二修正增益值可为0.3。
[0066]应当理解，本发明前面的大体性描述和下面的详细描述都是例示性的和解释性的，意在对要求保护的本发明提供进一步的解释。
【专利附图】

【附图说明】
[0067]给本发明提供进一步理解并且并入本申请中组成本申请一部分的附图图解了本发明的实施方式，并与说明书一起用于说明本发明的原理。在附图中:
[0068]图1是图解根据本发明示例性实施方式的用于修正三维图像的深度图的装置的框图；
[0069]图2是解释图1中所示的图像图案分析器的操作的示图；
[0070]图3是图解图像图案的种类的示图；
[0071]图4是解释像素块的示图；
[0072]图5是图解图4中所示的一部分像素块的示图；
[0073]图6是图解与图4中所示的像素块对应的一部分显示屏的示图；
[0074]图7是解释修正后深度图产生器的操作的示图；
[0075]图8是图解根据本发明示例性实施方式的用于修正三维图像的深度图的方法流程图；以及
[0076]图9到11是解释根据本发明示例性实施方式的三维图像深度图产生装置的效果的示图。
【具体实施方式】
[0077]现在将详细描述本发明的优选实施方式，附图中图解了这些优选实施方式的一些例子。
[0078]图1是图解根据本发明示例性实施方式的用于修正三维图像的深度图的装置的框图。
[0079]如图1中所示，根据本发明所示实施方式的深度图修正装置包括原始深度图产生单元100和深度图修正单元200。
[0080]原始深度图产生单元100产生从外部提供到原始深度图产生单元100的帧图像数据img_data的原始深度图d_mp_org。巾贞图像数据img_data是一巾贞的二维图像数据。原始深度图产生单元100分析帧图像数据img_data，由此确定图像中包含的物体间的三维距离差。根据确定的结果，原始深度图产生单元100通过相对高的亮度值(与亮级别对应的灰度级)呈现相对向前凸出的物体，同时通过相对低的亮度值(与暗级别对应的低灰度级)呈现相对向后凹陷的物体。也就是说，在原始深度图d-mp_org中呈现与这些物体间的三维距离差相关的信息作为深度值。原始深度图产生单元100根据图像的统计亮度和颜色特性确定上述物体的三维距离。例如，图像中表现出高亮度的物体被分配统计高深度值，表现出与红色接近的颜色的物体被分配较高的深度值。另一方面，表现出与蓝色接近的颜色的物体被分配较低的深度值。在原始深度图d-mp_org中存储每像素深度值(原始深度值)。
[0081]深度图修正单元200分析从外部提供的帧图像数据img_data，以识别图像的图案并计算图像的每像素亮度值。根据识别的图像图案和计算的图像亮度值，深度图修正单元200修正从原始深度图产生单元100输出的原始深度图d-mp_org。通过深度图修正单元200修正原始深度图d-mp_org而获得的图为修正后深度图d-mp_cr。
[0082]图像可具有表现出暗颜色(例如黑色)的物体布置在表现出亮颜色(例如白色)的物体前方的特性。这种图像的深度图会具有深度图不能精确呈现图像的原始特性的较高可能性。这是因为原始深度图产生单元100会错误地确定亮颜色物体布置在前侧，暗颜色物体布置在亮颜色物体后方的一侧，如此会产生具有错误信息的深度图。为此，根据本发明所示实施方式的深度图修正单元200识别图像的上述特性，并根据识别的结果修正原始深度图d-mp_0rg。因而，可产生具有更加精确三维图像信息的深度图。
[0083]对于此功能，如图1中所示，深度图修正单元200可包括亮度提取器201、图像图案分析器202、块深度图产生器203A、像素深度图产生器203B和修正后深度图产生器204。下文将详细描述这些组件。
[0084]亮度提取器201
[0085]亮度提取器201从外部提供的帧图像数据img_data提取每像素亮度值。帧图像数据img_data包括与组成一帧的全部像素对应的像素数据。像素数据分为红色数据、绿色数据和蓝色数据。亮度提取器201将一帧的图像数据中包含的每个像素的数据分离为亮度分量Y和色度分量UV，并选择性提取亮度分量Y。提取的亮度分量Y是相关像素数据的亮度值Y。因而，亮度提取器201从一帧的图像数据提取每个像素的亮度值。
[0086]同时，色度数据(红色数据、绿色数据和蓝色数据之一)可具有8比特的大小。每个亮度值可具有10比特的大小。同时，上述原始深度图d-mp_org的每像素深度值可具有8比特的大小。
[0087]图像图案分析器202
[0088]图像图案分析器202根据从亮度提取器201输出的亮度值Y识别帧图像数据img_data的图像图案，并根据识别的结果输出预定图案增益值gn_pt中的一个。
[0089]详细地说，图像图案分析器202根据像素的空间位置将帧图像数据img_data的像素分类为m个图案块(m是大于I的自然数)。也就是说，当将其上显示帧图像的显示屏(图2中的“DSP”)划分为m个图案块时，帧图像的每个像素属于m个图案块中的相应一个。然后，图像图案分析器202把m个图案块的一部分分组为一个组，即空中区域(图2中的“SK”)，而将m个图案块的另一部分分组为另一个组，即侧区域(图2中的“SD”)。随后，图像图案分析器202在参考从亮度提取器201输出的亮度值的同时计算空中区域SK的平均亮度值和侧区域SD的平均亮度值。根据计算的平均亮度值，图像图案分析器202可识别帧图像的图像图案并且可根据识别的结果选择一个图案增益值gn_pt。在这种情形中，图像图案分析器202可根据空中区域SK的平均亮度值与预定参考亮度值之间的比较结果以及侧区域SD的平均亮度值与预定参考亮度值之间的比较结果，从多个预定图案增益值选择一个图案增益值。将参照图2更详细地描述图像图案分析器202的这种操作。
[0090]图2是解释图1中所示的图像图案分析器202的操作的示图。
[0091]如图2中所示，图像图案分析器202可将帧图像的所有像素分类为9个图案块PBl到 PB9。
[0092]图像图案分析器202将空间上布置在9个图案块PBl到PB9的最上侧处的三个水平相邻的图案块PB1，PB2和PB3分组为空中区域SK。例如，第一图案块PB1、第二图案块PB2和第三图案块PB3被分成一组，以组成一个空中区域SK。
[0093]图像图案分析器202还将空间上布置在9个图案块PBl到PB9的左边缘侧处的两个垂直相邻的图案块PB4和PB7以及空间上布置在9个图案块PBl到PB9的右边缘侧处的两个垂直相邻的图案块PB6和PB9分组为侧区域SD。例如，第四图案块PB4、第七图案块PB7、第六图案块PB6和第九图案块PB9被分成一组，以组成一个侧区域SD。
[0094]图像图案分析器202根据空中区域SK的平均亮度值和侧区域SD的平均亮度值分析帧图像的图像图案。例如，图像图案分析器202将布置在空中区域SK中的所有像素的亮度值相加，以计算空中区域SK的总亮度值。然后，图像图案分析器202将总亮度值除以空中区域SK中所有像素的数量，由此得到空中区域SK的平均亮度值。类似地，图像图案分析器202将布置在侧区域SD中的所有像素的亮度值相加，以计算侧区域SD的总亮度值。然后，图像图案分析器202将总亮度值除以侧区域SD中所有像素的数量，由此得到侧区域SD的平均亮度值。
[0095]之后，图像图案分析器202将空中区域SK的平均亮度值与参考亮度值进行比较，并将侧区域SD的平均亮度值与参考亮度值进行比较。根据比较结果，图像图案分析器202确定巾贞图像的图像图案。巾贞图像的图像图案可以是图3中所不的四个图像图案之一。
[0096]图3是图解图像图案的种类的示图。
[0097]图3 (a)是图解第一图像图案的示图。第一图像图案是在空中区域SK (由图案块PBl到PB3组成的区域)的平均亮度值小于等于参考亮度值，且侧区域SD (由图案块PB4，PB7，PB6和PB9组成的区域)的平均亮度值高于参考亮度值的情形中的图像图案。当外部输入的帧图像数据img_data表现出图3 (a)中所示的第一图像图案的特性时，图像图案分析器202选择并输出第一图案增益值。
[0098]图3(b)是图解第二图像图案的示图。第二图像图案是在空中区域SK的平均亮度值高于参考亮度值，且侧区域SD的平均亮度值小于等于参考亮度值的情形中的图像图案。当外部输入的巾贞图像数据img_data表现出图3 (b)中所示的第二图像图案的特性时，图像图案分析器202选择并输出第二图案增益值。
[0099]图3 (C)是图解第三图像图案的示图。第三图像图案是在空中区域SK的平均亮度值小于等于参考亮度值，且侧区域SD的平均亮度值也小于等于参考亮度值的情形中的图像图案。当外部输入的巾贞图像数据img_data表现出图3 (C)中所示的第三图像图案的特性时，图像图案分析器202选择并输出第三图案增益值。
[0100]图3 (d)是图解第四图像图案的示图。第四图像图案是在空中区域SK的平均亮度值高于参考亮度值，且侧区域SD的平均亮度值也高于参考亮度值的情形中的图像图案。当外部输入的巾贞图像数据img_data表现出图3 (d)中所示的第四图像图案的特性时，图像图案分析器202选择并输出第四图案增益值。
[0101 ] 上述参考亮度值可被设为300或400。
[0102]上述第一到第四图案增益值被预先确定，可以是O到I。例如，第一图案增益值可被设为0.3，第二图案增益值可被设为0.7，第三图案增益值可被设为0，第四图案增益值可被设为I。
[0103]块深度图产牛器203A
[0104]图4是解释像素块的示图。[0105]如图4中所示，块深度图产生器203A根据像素的空间位置将帧图像的像素分类为η个像素块(η是大于I的自然数)。也就是说，当将其上显示帧图像的显示屏DSP划分为η个像素块PX-B时，帧图像的每个像素属于η个像素块PX-B中的相应一个。然后，块深度图产生器203Α在参考从亮度提取器201输出的亮度值Y的同时计算每个像素块PX-B的平均亮度值。根据每个像素块PX-B的平均亮度值和来自图像图案分析器202的图案增益值gn_Pt，块深度图产生器203A修正从原始深度图产生器100输出的原始深度图d-mp_org，由此产生基于块的深度图d-mp_blk。
[0106]同时，块深度图产生器203A可根据像素的垂直位置进一步计算每个像素块PX-B中一个像素的第一垂直权重值。在这种情形中，除了每个像素块PX-B的平均亮度值和图案增益值gn_pt之外，块深度图产生器203A还根据第一垂直权重值修正原始深度图d-mp_
orgo
[0107]下文将参照图5详细描述块深度图产生器203A的这种操作。
[0108]图5是图解图4中所示的一部分像素块的示图。
[0109]块深度图产生器203A计算所有像素的块深度值，由此产生基于块的深度图d_mp_blk。首先，将描述一个确定像素PX_i的块深度值的计算。
[0110]参照图5，显示了三个相邻的像素块PX-B_k-l到PX_B_k+l。在这种情形中，假定确定像素PX_i布置在第k个像素块PX-B_k中。
[0111]在这种情形中，块深度图产生器203A计算其中布置有确定像素PX_i的第k个像素块PX-B_k的平均亮度值。根据计算的平均亮度值，块深度图产生器203A计算第k个像素块PX-B_k的第k个块增益值。块深度图产生器203A还计算第k-Ι个像素块PX-B_k-l的平均亮度值，并根据第k-Ι个像素块PX-B_k-l的平均亮度值计算第k-Ι个像素块PX_B_k-1的第k-1个块增益值。此外,块深度图产生器203A计算第k+Ι个像素块PX_B_k+l的平均亮度值，并根据第k+Ι个像素块PX_B_k+l的平均亮度值计算第k+Ι个像素块PX_B_k+l的第k+Ι个块增益值。
[0112]其中布置有确定像素PX_i的第k个像素块PX_B_k的第k个块增益值由下面的表达式I表示。
[0113][表达式 I]: (Max_thl - blk_apl_k) / (Max_thl - Min_thl)
[0114]在表达式I中，“Max_thl”表示预定的第一最大参考值，“Min_thl”表示预定的第一最小参考值，“blk_apl_k”表示第k个像素块PX_B_k的平均亮度值。在这种情形中，第一最大参考值可被设为400,第一最小参考值可被设为200。同时,第k个像素块PX-B_k的平均亮度值是通过将第k个像素块PX-B_k中布置的所有像素的亮度值相加，然后将相加后的亮度值除以第k个像素块PX_B_k中布置的像素数量所获得的值。
[0115]在第k个像素块PX_B_k左侧处与第k个像素块PX_B_k相邻布置的第k-Ι个像素块PX-B_k-l的第k-Ι个块增益值由下面的表达式2表示。
[0116][表达式 2]: (Max_th2 - blk_apl_k_l) / (Max_th2 - Min_th2)
[0117]在表达式2中，“Max_th2”表示预定的第二最大参考值，“Min_th2”表示预定的第二最小参考值，“blk_apl_k_l ”表不第k_l个像素块PX-B_k_l的平均売度值。在这种情形中，第二最大参考值可被设为440，第二最小参考值可被设为240。同时，第k-Ι个像素块PX-B_k-l的平均亮度值是通过将第k-Ι个像素块PX-B_k-l中布置的所有像素的亮度值相力口，然后将相加后的亮度值除以第k-ι个像素块PX-B_k-l中布置的像素数量所获得的值。
[0118]在第k个像素块PX_B_k右侧处与第k个像素块PX_B_k相邻布置的第k+Ι个像素块PX-B_k+l的第k+Ι个块增益值由下面的表达式3表示。
[0119][表达式 3]: (Max_th2 - blk_apl_k+l) / (Max_th2 - Min_th2)
[0120]在表达式3中，“Max_th2”表示预定的第二最大参考值，“Min_th2”表示预定的第二最小参考值，“blk_apl_k+l”表示第k+Ι个像素块PX-B_k+l的平均亮度值。在这种情形中，第k+Ι个像素块PX-B_k+l的平均亮度值是通过将第k+Ι个像素块PX_B_k+l中布置的所有像素的亮度值相加，然后将相加后的亮度值除以第k+Ι个像素块PX-B_k+l中布置的像素数量所获得的值。
[0121]在计算了第k个块增益值、第k-Ι个块增益值和第k+Ι个块增益值之后，块深度图产生器203A选择第k-Ι个块增益值和第k+Ι个块增益值中较高的一个，并将选择的块增益值定义为侧块增益值。然后，块深度图产生器203A将第k个块增益值、侧块增益值、第一垂直权重值和图案增益值相乘，以计算第一总增益值。
[0122]在这种情形中，第一垂直权重值由下面的表达式4表示。
[0123][表达式4]: (HL_total/60) - (N_HL_pxl/60) X 8
[0124]在表达式4中，“HL_total”表示显示屏DSP的水平行的总数，“N_HL_pxl ”表示其中布置有确定像素PX_i的水平行的编号。例如，当根据本发明的三维图像深度图产生装置应用于具有1080X960分辨率的全高清(FHD)显示装置时，“HL_total”为1080。在这种情形中，布置在显示屏DSP最上部的水平行为第一水平行，而布置在显示屏DSP最下部的水平行为第1080水平行。“N_HL_pxl”表示其中布置有确定像素PX_i的水平行的编号。例如，当确定像素PX_i布置在第P水平行HL_p (p是I到1080的自然数)上时，“N_HL_pxl”的值为P。
[0125]根据在显示屏DSP下部上显示的图像比在显示屏DSP上部上显示的图像更凸出的统计基础，设定第一垂直权重值。因此，其中布置有确定像素PX_i的显示屏DSP的水平行越靠下，确定像素PX_i的第一垂直权重值越高。同时，当第一垂直权重值具有十进制值时，其对一个小数位四舍五入。因此，在FHD显示装置中，第一垂直权重值可具有8到144自然数的值。
[0126]之后，块深度图产生器203A搜索分配给确定像素PX_i的原始深度值的原始深度图d-mp_0rg。然后，块深度图产生器203A向搜索到的原始深度值添加第一总增益值，以计算确定像素PX_i的块深度值。
[0127]也就是说，确定像素PX_i的块深度值由下面的表达式5表示。
[0128][表达式5]:原始深度值+(第一垂直权重值X第k个块增益值X侧块增益值X图案增益值)
[0129]为了得到确定像素PX_i的块深度值，需要从其中布置有确定像素PX_i的像素块(第k个像素块PX_B_k)获得的块增益值、从在像素块PX-B_k左、右侧处与像素块PX_B_k相邻布置的两个像素块(第k-Ι个像素块PX-B_k-l和第k+Ι个像素块PX_B_k+l)获得的侧块增益值、从确定像素PX_i的垂直位置获得的第一垂直权重值、以及对应于确定像素PX_i的原始深度值。
[0130]块深度图产生器203A根据其中布置有像素的像素块，以上述方式计算其余每个像素的块深度值。因此，布置在同一像素块且在同一水平行上的像素具有相同的块深度值。
[0131]然而，当其中布置有确定像素的像素块位于显示屏DSP的左边缘或右边缘时，从一个相邻的像素块获得这种情形中的侧块增益值。例如，当将要得到块深度值的确定像素布置在位于显示屏DSP左端的像素块(下文称“确定像素块”)中时，因为不存在布置于确定像素块左侧的像素块，所以从在确定像素块右侧处与确定像素块相邻布置的像素块获得的增益值被用作侧块增益值。另一方面，当确定像素块位于显示屏DSP右端时，因为不存在布置于确定像素块右侧的像素块，所以从在确定像素块左侧处与确定像素块相邻布置的像素块获得的增益值被用作侧块增益值。
[0132]当以上述方式计算所有像素的块深度值时，根据块深度值产生基于块的深度图d_mp—blk。
[0133]同时，上述第k个块增益值、第k-Ι个块增益值、第k+Ι个块增益值和第一垂直权重值可分别具有负值。负值被转换为零。也就是说，上述值不能小于O。
[0134]像素深度图产生器203B
[0135]像素深度图产生器203B根据来自亮度提取器201的亮度值Y和来自图像图案分析器202的图案增益值gn_pt，修正从原始深度图产生单元100输出的原始深度图d_mp_orgo
[0136]同时，像素深度图产生器203B可根据一个像素的垂直位置进一步计算这一个像素的第二垂直权重值。在这种情形中，像素深度图产生器203B根据亮度值Y、图案增益值gn_pt和第二垂直权重值修正原始深度图d-mp_org,由此产生基于像素的深度图d_mp_
pxlo
[0137]下文将参照图6详细描述像素深度图产生器203B的这种操作。
[0138]图6是图解与图4中所示的像素块对应的一部分显示屏的示图。
[0139]像素深度图产生器203B计算所有像素的像素深度值，由此产生基于像素的深度图d-mp_pxl。首先,将描述一个确定像素PX_i的像素深度值的计算。确定像素PX_i与图5中所示的确定像素PX_i相同，将称之为“第i个像素PX_i”。
[0140]参照图6，显示了三个相邻的像素。在这种情形中，三个相邻像素中的中间一个为第i个像素PX_i。
[0141]在这种情形中，像素深度图产生器203B根据第i个像素PX_i的亮度值计算第i个像素PX_i的第i个像素增益值。像素深度图产生器203B还根据第i_l个像素PX_i_l的亮度值计算第i_l个像素PX_i_l的第1-Ι个像素增益值，同时根据第i+Ι个像素PX_i+l的亮度值计算第i+Ι个像素PX_i+l的第i+Ι个像素增益值。
[0142]确定像素PX_i的第i个像素增益值由下面的表达式6表示。
[0143][表达式 6]: (Max_th3 - pxl_i) / (Max_th3 - Min_th3)
[0144]在表达式6中，“Max_th3”表示预定的第三最大参考值，“Min_th3”表示预定的第三最小参考值，“pxl_i”表示第i个像素PX_i的亮度值。在这种情形中，第三最大参考值可被设为250，第三最小参考值可被设为170。
[0145]在第i个像素PX_i左侧处与第i个像素PX_i相邻布置的第1-Ι个像素PX_i_l的第i_l个像素增益值由下面的表达式7表示。
[0146][表达式 7]: (Max_th4 - pxl_i_l) / (Max_th4 - Min_th4)[0147]在表达式7中，“Max_th4”表示预定的第四最大参考值，“Min_th4”表示预定的第四最小参考值，“pxl_1-l”表示第i_l个像素PX_i_l的亮度值。在这种情形中，第四最大参考值可被设为290，第四最小参考值可被设为210。
[0148]另一方面，在第i个像素PX_i右侧处与第i个像素PX_i相邻布置的第i+Ι个像素PX_i+l的第i+ι个像素增益值由下面的表达式8表示。
[0149][表达式 8]: (Max_th4 - pxl_i+l) / (Max_th4 - Min_th4)
[0150]在表达式8中，“Max_th4”表示预定的第四最大参考值，“Min_th4”表示预定的第四最小参考值，“pxl_i+l”表示第i+Ι个像素PX_i+l的亮度值。
[0151]在计算了第i个像素增益值、第i_l个像素增益值和第i+Ι个像素增益值之后，像素深度图产生器203B选择第1-Ι个像素增益值和第i+Ι个像素增益值中较高的一个，并将选择的像素增益值定义为侧像素增益值。然后，像素深度图产生器203B将第i个像素增益值、侧像素增益值、第二垂直权重值和图案增益值相乘，以计算第二总增益值。
[0152]在这种情形中，第二垂直权重值由表达式4表示。假设当第二垂直权重值是十进制值时，在不进行改变的情形下使用十进制值。也就是说，第二垂直权重值可具有小数值。
[0153]之后，像素深度图产生器203B搜索分配给第i个像素PX_i的原始深度值的原始深度图d-mp_org。然后，像素深度图产生器203B向搜索到的原始深度值添加第二总增益值，以计算第i个像素PX_i的像素深度值。
[0154]也就是说，第i个像素PX_i的像素深度值由下面的表达式9表示。
[0155][表达式9]:原始深度值+(第二垂直增益值X第i个像素增益值X侧像素增益值X图案增益值)
[0156]为了得到第i个像素PX_i (即确定像素PX_i)的像素深度值，需要从第i个像素获得的像素增益值、从在第i个像素PX_i左、右侧处与第i个像素PX_i相邻布置的两个像素(第1-Ι个像素PX_1-l和第i+Ι个像素PX_i+l)获得的侧像素增益值、从第i个像素PX_i的垂直位置获得的第二垂直权重值、以及对应于第i个像素PX_i的原始深度值。
[0157]像素深度图产生器203B根据像素的位置以上述方式计算其余每个像素的像素深度值。
[0158]然而，当确定像素位于显示屏DSP的左边缘或右边缘时，从一个相邻的像素获得这种情形中的侧像素增益值。例如，当将要得到像素深度值的确定像素位于显示屏DSP左端时，因为不存在布置于确定像素左侧的像素，所以从在确定像素右侧处与确定像素相邻布置的像素获得的增益值被用作侧像素增益值。另一方面，当确定像素位于显示屏DSP右端时，因为不存在布置于确定像素右侧的像素，所以从在确定像素左侧处与确定像素相邻布置的像素获得的增益值被用作侧像素增益值。
[0159]当以上述方式计算所有像素的像素深度值时，根据像素深度值产生基于像素的深度图 d_mp_pxl。
[0160]同时，上述第i个像素增益值、第i_l个像素增益值、第i+Ι个像素增益值和第二垂直权重值可分别具有负值。负值被转换为零。也就是说，上述值不能小于O。
[0161]修IH后深度图产生器204
[0162]修正后深度图产生器204根据来自块深度图产生器203A的基于块的深度图d_mp_blk和来自像素深度图产生器203B的基于像素的深度图d-mp_pxl产生修正后深度图d-mp_cr0下文将参照图7详细描述修正后深度图产生器204的这种操作。
[0163]图7是解释修正后深度图产生器204的操作的示图。
[0164]如图7中所示，修正后深度图产生器204搜索分配给确定像素PX_i的块深度值dvl_blk的基于块的深度图d-mp_blk，同时搜索分配给确定像素PX_i的像素深度值dvl_pxl的基于像素的深度图d-mp_pxl。之后，修正后深度图产生器204将搜索到的块深度值dvl_blk乘以第一修正增益值，以计算修正后的块深度值dvl_blk_cr。此外，修正后深度图产生器204将搜索到的像素深度值dvl_pxl乘以第二修正增益值，以计算修正后的像素深度值dvl_pXl_cr。随后，修正后深度图产生器204将修正后的块深度值dvl_blk_cr和修正后的像素深度值dvl_pxl_cr相加，以计算确定像素PX_i的最终修正后的深度值dvl_cr。
[0165]修正后深度图产生器204以上述方式计算其余每个像素的修正后的深度值。
[0166]根据上述所有像素的修正后深度值的计算，产生最终修正后深度图d-mp_Cr。
[0167]同时，第一修正增益值和第二修正增益值之和为I，如此，例如第一修正增益值为
0.7，第二修正增益值为0.3。
[0168]同时，修正后深度图d_mp_cr被应用于未示出的三维图像产生单元。三维图像产生单元根据修正后深度图d_mp_cr处理巾贞图像数据img_data,由此将巾贞图像数据img_data转换为三维帧图像数据。
[0169]同时，对于在上述帧图像数据img_data之后随后输入的下一帧图像数据来说，以与上述相同的方式进行图像图案分析，如此，产生修正后深度图d-mp_Cr。也就是说，本发明的深度图修正装置确定每帧的图像特性，并产生每帧的修正后深度图d-mp_cr。
[0170]图8是图解根据本发明示例性实施方式的用于修正三维图像的深度图的方法流程图。
[0171]如图8中所示，根据所示的修正方法，本发明的三维图像深度图修正装置分析帧图像数据img_data，以检测空中区域SK和侧区域SD。然后，修正装置检测空中区域SK和侧区域SD的暗部(S卩，检测较低的空中区域SK和较低的侧区域SD)。根据检测结果，修正装置确定帧图像的图像图案。
[0172]之后，深度图修正装置根据确定的图像图案计算图案增益值。
[0173]然后，深度图修正装置如上所述计算块增益值和像素增益值。
[0174]随后，深度图修正装置如上所述计算侧块增益值和侧像素增益值。
[0175]深度图修正装置还根据像素的垂直位置计算垂直权重值。
[0176]最后，深度图修正装置根据块增益值、像素增益值、侧块增益值、侧像素增益值和垂直权重修正原始深度图d-mp_org,由此产生修正后深度图d_mp_cr。
[0177]因而，根据本发明的深度图修正装置识别图像特性，从而当确定像素的亮度值低于预定参考值(例如最小参考值)时增加确定像素的深度值，同时当确定像素的亮度值高于所述参考值时保持确定像素的深度值(原始深度值)。然而，如果布置在确定像素相对两侧处的像素中的至少一个具有低于所述参考值的亮度值，则即使确定像素的亮度值高于所述参考值，仍可增加确定像素的深度值。然而，当确定像素的亮度值相当高时(例如当确定像素的亮度值超过了最大参考值时)，保持确定像素的深度值。
[0178]当空中区域SK和侧区域SD均为表现出比参考亮度值低的亮度值的暗区域(第三图案图像)时，根据本发明的深度图修正装置将具有相对低亮度值的像素确定为背景区域。另一方面，当空中区域SK和侧区域SD中的至少一个不是暗区域时，深度图修正装置确定具有相对低亮度值的像素被布置成更靠近显示屏的前侧。深度图修正装置还根据被确定为暗区域的区域的增益值，适应性计算所述区域中的像素的深度值。
[0179]为了避免连续帧之间突然的图像变化，预先确定最大参考值与最小参考值之间的
最佳差值。
[0180]图9到11是解释根据本发明示例性实施方式的三维图像深度图产生装置的效果的示图。
[0181]图9 Ca)图解了原始帧图像数据img_data。图9 (b)图解了原始深度图d_mp_orgo图9 (c)是修正后深度图d-mp_cr。
[0182]图9 (a)中的区域A、图9 (b)中的区域B和图9 (C)中的区域C是与显示屏DSP的确定部分对应的同一区域。
[0183]如图9 (a)中所示，因为原始帧图像数据img_data的区域A具有与暗级别对应的低灰度级，所以不管区域A具有相当向前凸出的形状这一事实，根据原始帧图像数据img_data产生的原始深度图d_mp_org的区域B表现出与暗级别对应的相当低的亮度值。这是因为如上所述，在产生原始深度图d-mp_0rg的方法中存在局限性。
[0184]然而,与区域B不同，图9 (C)中所示的修正后深度图d_mp_cr的区域C通过使用与亮级别对应的相当高的灰度级被修正地显示。这是因为根据本发明的深度图修正方法精确修正了原始深度图d-mp_org。
[0185]图10 (a)图解了原始帧图像数据img_data。图10 (b)图解了原始深度图d_mp_orgo图10 (c)是修正后深度图d-mp_cr。参照图10 (a)到10 (c),可以看出修正后深度图d-mp_cr的灰度级被修正地呈现。
[0186]类似地，图11 (a)图解了原始帧图像数据img_data。图11 (b)图解了原始深度图d-mp_org。图11 (c)是修正后深度图d_mp_cr。参照图11 (a)到11 (c),可以看出修正后深度图d-mp_cr的灰度级被修正地呈现。
[0187]根据本发明的用于产生三维图像的深度图的装置和方法具有下面的效果。
[0188]也就是说，根据本发明，分析帧图像数据，以计算每个像素的图像图案和亮度值。根据图像图案和亮度值，精确地修正从原始深度图产生单元产生的原始深度图。因而，可产生具有更加精确的三维信息的深度图。
[0189]在不脱离本发明的精神或范围的情况下，本发明可进行各种修改和变化，这对于本领域技术人员来说是显而易见的。因而，本发明意在覆盖落入所附权利要求书范围及其等同范围内的对本发明的所有修改和变化。
【权利要求】
1.一种用于修正三维图像的深度图的装置，包括: 原始深度图产生单元，所述原始深度图产生单元用于产生从外部提供到所述原始深度图产生单元的帧图像数据的原始深度图；和 深度图修正单元，所述深度图修正单元用于分析从外部提供的帧图像数据，根据分析结果计算帧图像数据的图像图案和帧图像数据的每像素亮度值，并根据所计算的图像图案和所计算的亮度值修正从所述原始深度图产生单元输出的原始深度图，以产生修正后深度图。
2.根据权利要求1所述的装置，其中所述深度图修正单元包括: 亮度提取器，所述亮度提取器用于从自外部提供的帧图像数据提取每像素亮度值； 图像图案分析器，所述图像图案分析器用于根据从所述亮度提取器输出的亮度值识别帧图像数据的图像图案，并根据识别结果输出预定的图案增益值； 块深度图产生器，所述块深度图产生器用于根据像素的空间位置将帧图像数据的像素分类为η个像素块，在参考从所述亮度提取器输出的亮度值的同时计算每个像素块的平均亮度值，并根据每个像素块的平均亮度值和来自所述图像图案分析器的图案增益值修正从所述原始深度图产生单元输出的原始深度图，以产生基于块的深度图，其中η为大于I的自然数； 像素深度图产生器，所述像素深度图产生器用于根据来自所述亮度提取器的亮度值和来自所述图像图案分析器的图案增益值修正从所述原始深度图产生单元输出的原始深度图，以产生基于像素的深度图；和 修正后深度图产生器，所述修正后深度图产生器用于根据来自所述块深度图产生器的基于块的深度图和来自所述像素深度图产生器的基于像素的深度图产生修正后深度图。
3.根据权利要求2所述的装置，其中所述图像图案分析器根据像素的空间位置将帧图像数据的像素分类为m个图案块，将m个图案块的一部分分组为空中区域，同时将m个图案块的另一部分分组为侧区域，在参考从所述亮度提取器输出的亮度值的同时计算所述空中区域的平均亮度值和所述侧区域的平均亮度值，根据所计算的平均亮度值识别帧图像数据的图像图案，并根据识别结果选择图案增益值，其中m为大于I的自然数。
4.根据权利要求3所述的装置，其中所述图像图案分析器将所述空中区域的平均亮度值与预定的参考亮度值进行比较，将所述侧区域的平均亮度值与所述参考亮度值进行比较，并根据比较结果从多个预定的图案增益值选择一个图案增益值。
5.根据权利要求4所述的装置，其中所述图像图案分析器将像素分类为9个图案块，将在空间上布置在9个图案块的最上侧处的三个水平相邻的图案块分组为所述空中区域，并将在空间上布置在9个图案块的左边缘侧处的两个垂直相邻的图案块以及在空间上布置在9个图案块的右边缘侧处的两个垂直相邻的图案块分组为所述侧区域。
6.根据权利要求5所述的装置，其中: 所述图像图案分析器在所述空中区域的平均亮度值小于等于所述参考亮度值，且所述侧区域的平均亮度值高于所述参考亮度值时，识别出从外部提供的帧图像数据具有第一图像图案，然后选择所述图案增益值中的第一图案增益值； 所述图像图案分析器在所述空中区域的平均亮度值高于所述参考亮度值，且所述侧区域的平均亮度值小于等于所述参考亮度值时，识别出从外部提供的帧图像数据具有第二图像图案，然后选择所述图案增益值中的第二图案增益值； 所述图像图案分析器在所述空中区域的平均亮度值小于等于所述参考亮度值，且所述侧区域的平均亮度值小于等于所述参考亮度值时，识别出从外部提供的帧图像数据具有第三图像图案，然后选择所述图案增益值中的第三图案增益值；以及 所述图像图案分析器在所述空中区域的平均亮度值高于所述参考亮度值，且所述侧区域的平均亮度值高于所述参考亮度值时，识别出从外部提供的帧图像数据具有第四图像图案，然后选择所述图案增益值中的第四图案增益值。
7.根据权利要求6所述的装置，其中所述第一图案增益值为0.3，所述第二图案增益值为0.7，所述第三图案增益值为O，所述第四图案增益值为I。
8.根据权利要求2所述的装置，其中: 所述块深度图产生器还根据像素的垂直位置计算每个像素块中的一个像素的第一垂直权重，并根据每个像素块的平均亮度值和来自所述图像图案分析器的图案增益值、以及所述第一垂直权重修正所述原始深度图；以及 所述像素深度图产生器还根据像素的垂直位置计算一个像素的第二垂直权重，并根据来自所述亮度提取器的亮度值、来自所述图像图案分析器的图案增益值、以及所述第二垂直权重修正所述原始深度图，以产生基于像素的深度图。
9.根据权利要求8所述的装置，其中: 所述第一垂直权重和所述第二垂直权重由下面的表达式I表示，
[表达式 I]: (HL_total/60) - (N_HL_pxl/60) X 8 其中，“HL_total”表示显示屏的水平行的总数，“N_HL_pxl”表示标记出一个水平行的编号，在所述一个水平行上布置有确定一个像素； 在所述第一垂直权重具有十进制值时，所述第一垂直权重对一个小数位四舍五入。
10.根据权利要求8所述的装置，其中: 所述块深度图产生器根据布置有确定一个像素的第k个像素块的平均亮度值计算第k个像素块的第k个块增益值；根据在第k个像素块左侧处与第k个像素块相邻布置的第k-1个像素块的平均亮度值，计算第k-Ι个像素块的第k-ι个块增益值；并根据在第k个像素块右侧处与第k个像素块相邻布置的第k+Ι个像素块的平均亮度值，计算第k+Ι个像素块的第k+Ι个块增益值； 所述块深度图产生器将第k-ι个块增益值和第k+Ι个块增益值中较高的一个定义为侧块增益值； 所述块深度图产生器将第k个块增益值、所述侧块增益值、所述第一垂直权重和所述图案增益值相乘，以计算第一总增益值；所述块深度图产生器搜索分配给所述确定一个像素的原始深度值的原始深度图，并向搜索到的原始深度值添加所述第一总增益值，以计算所述确定一个像素的块深度值；以及所述块深度图产生器对所有像素进行块深度值的计算，以产生基于块的深度图。
11.根据权利要求10所述的装置，其中: 第k个块增益值由下面的表达式I表示，第k-ι个块增益值由下面的表达式2表示，第k+Ι个块增益值由下面的表达式3表示，
[表达式 I]: (Max_thl - blk_apl_k) / (Max_thl - Min_thl)[表达式 2]: (Max_th2 - blk_apl_k_l) / (Max_th2 - Min_th2)
[表达式 3]: (Max_th2 - blk_apl_k+l) / (Max_th2 - Min_th2) 其中，“Max_thl”表示预定的第一最大参考值，“Min_thl”表示预定的第一最小参考值，“Max_th2”表示预定的第二最大参考值，“Min_th2”表示预定的第二最小参考值，“blk_apl_k”表示第k个像素块的平均亮度值，“blk_apl_k-l”表示第k-1个像素块的平均亮度值，“blk_apl_k+l”表示第k+Ι个像素块的平均亮度值。
12.根据权利要求11所述的装置，其中所述第一最大参考值、所述第一最小参考值、所述第二最大参考值和所述第二最小参考值分别为400，200，440和240。
13.根据权利要求8所述的装置，其中: 所述像素深度图产生器根据确定的第i个像素的亮度值计算第i个像素的第i个像素增益值；根据在第i个像素左侧处与第i个像素相邻布置的第i_l个像素的亮度值，计算第1-Ι个像素的第1-ι个像素增益值；并根据在第i个像素右侧处与第i个像素相邻布置的第i+ι个像素的亮度值，计算第i+ι个像素的第i+ι个像素增益值； 所述像素深度图产生器将第1-ι个像素增益值和第i+ι个像素增益值中较高的一个定义为侧像素增益值； 所述像素深度图产生器将第i个像素增益值、所述侧像素增益值、所述第二垂直权重和所述图案增益值相乘，以计算第二总增益值； 所述像素深度图产生器 搜索分配给第i个像素的原始深度值的原始深度图，并向搜索到的原始深度值添加所述第二总增益值，以计算第i个像素的像素深度值；以及 所述像素深度图产生器对所有像素进行像素深度值的计算，以产生基于像素的深度图。
14.根据权利要求13所述的装置，其中: 第i个像素增益值由下面的表达式I表示，第i_l个像素增益值由下面的表达式2表示，第i+Ι个像素增益值由下面的表达式3表示，
[表达式 I]: (Max_th3 - pxl_i) / (Max_th3 - Min_th3)
[表达式 2]: (Max_th4 - pxl_i_l) / (Max_th4 - Min_th4)
[表达式 3]: (Max_th4 - pxl_i+l) / (Max_th4 - Min_th4) 其中，“Max_th3”表示预定的第三最大参考值，“Min_th3”表示预定的第三最小参考值，“Max_th4”表示预定的第四最大参考值，“Min_th4”表示预定的第四最小参考值，“pxl_i”表示第i个像素的亮度值，表示第i_l个像素的亮度值，“pxl_i+l”表示第i+1个像素的亮度值。
15.根据权利要求14所述的装置，其中所述第三最大参考值、所述第三最小参考值、所述第四最大参考值和所述第四最小参考值分别为250，170，290和210。
16.根据权利要求2所述的装置，其中所述修正后深度图产生器搜索分配给确定像素的块深度值的基于块的深度图，搜索分配给所述确定像素的像素深度值的基于像素的深度图，将搜索到的块深度值乘以第一修正增益值以计算修正后的块深度值，将搜索到的像素深度值乘以第二修正增益值以计算修正后的像素深度值，将修正后的块深度值和修正后的像素深度值相加以计算所述确定像素的修正后深度值，并对所有像素进行修正后深度值的计算，以产生所述修正后深度图。
17.根据权利要求16所述的装置，其中修正后的块深度值和修正后的像素深度值之和为I。
18.根据权利要求17所述的装置，其中所述第一修正增益值为0.7，所述第二修正增益值为0.3。
19.一种用于修正三维图像的深度图的方法，包括下述步骤: A)产生从外部提供的帧图像数据的原始深度图；和 B)分析从外部提供的帧图像数据，根据分析结果计算帧图像数据的图像图案和帧图像数据的每像素亮度值，并根据所计算的图像图案和所计算的亮度值修正所述原始深度图，以产生修正后深度图。
20.根据权利要求19所述的方法，其中所述步骤B)包括: B-a)从自外部提供的帧图像数据提取每像素亮度值； Β-b)根据所述亮度值识别帧图像数据的图像图案，并根据识别结果输出预定的图案增益值； B-c)根据像素的空间位置将帧图像数据的像素分类为η个像素块，在参考所述亮度值的同时计算每个像素块的平均亮度值，并根据每个像素块的平均亮度值和所述图案增益值修正所述原始深度图，以产生基于块的深度图，其中η为大于I的自然数； B-d)根据所述亮度值和所述图案增益值修正所述原始深度图，以产生基于像素的深度图；和 B-e)根据基于块的深度图和基于像素的深度图产生修正后深度图。
21.根据权利要求20所述的方法，其中所述步骤B-b)包括:根据像素的空间位置将帧图像数据的像素分类为m个图案块，将m个图案块的一部分分组为空中区域，同时将m个图案块的另一部分分组为侧区域，在参考所述亮度值的同时计算所述空中区域的平均亮度值和所述侧区域的平均亮度值，根据所计算的平均亮度值识别帧图像数据的图像图案，并根据识别结果选择图案增益值，其中m为大于I的自然数。
22.根据权利要求21所述的方法，其中所述步骤B-b)包括:将所述空中区域的平均亮度值与预定的参考亮度值进行比较，将所述侧区域的平均亮度值与所述参考亮度值进行比较，并根据比较结果从多个预定的图案增益值选择一个图案增益值。
23.根据权利要求22所述的方法，其中所述步骤B-b)包括:将像素分类为9个图案块，将在空间上布置在9个图案块的最上侧处的三个水平相邻的图案块分组为所述空中区域，并将在空间上布置在9个图案块的左边缘侧处的两个垂直相邻的图案块以及在空间上布置在9个图案块的右边缘侧处的两个垂直相邻的图案块分组为所述侧区域。
24.根据权利要求23所述的方法，其中: 所述步骤B-b)包括:当所述空中区域的平均亮度值小于等于所述参考亮度值，且所述侧区域的平均亮度值高于所述参考亮度值时，识别出从外部提供的帧图像数据具有第一图像图案，然后选择所述图案增益值中的第一图案增益值； 所述步骤B-b)还包括:当所述空中区域的平均亮度值高于所述参考亮度值，且所述侧区域的平均亮度值小于等于所述参考亮度值时，识别出从外部提供的帧图像数据具有第二图像图案，然后选择所述图案增益值中的第二图案增益值； 所述步骤B-b)还包括:当所述空中区域的平均亮度值小于等于所述参考亮度值，且所述侧区域的平均亮度值小于等于所述参考亮度值时，识别出从外部提供的帧图像数据具有第三图像图案，然后选择所述图案增益值中的第三图案增益值；以及 所述步骤B-b)还包括:当所述空中区域的平均亮度值高于所述参考亮度值，且所述侧区域的平均亮度值高于所述参考亮度值时，识别出从外部提供的帧图像数据具有第四图像图案，然后选择所述图案增益值中的第四图案增益值。
25.根据权利要求24所述的方法，其中所述第一图案增益值为0.3，所述第二图案增益值为0.7，所述第三图案增益值为O，所述第四图案增益值为I。
26.根据权利要求20所述的方法，其中: 所述步骤B-c)还包括:根据像素的垂直位置计算每个像素块中的一个像素的第一垂直权重，并根据每个像素块的平均亮度值和所述图案增益值、以及所述第一垂直权重修正所述原始深度图；以及 所述步骤B-d)还包括:根据像素的垂直位置计算一个像素的第二垂直权重，并根据所述亮度值、所述图案增益值、以及所述第二垂直权重修正所述原始深度图，以产生基于像素的深度图。
27.根据权利要求26所述的方法，其中: 所述第一垂直权重和所述第二垂直权重由下面的表达式I表示，
[表达式 I]: (HL_total/60) - (N_HL_pxl/60) X 8 其中，“HL_total”表示显示屏的水平行的总数，“N_HL_pxl”表示标记出一个水平行的编号，在所述一个水平行上布置有确定一个像素；以及 当所述第一垂直权重具有十进制值时，所述第一垂直权重对一个小数位四舍五入。
28.根据权利要求26所述的方法，其中: 所述步骤B-c )包括:根据布置有确定一个像素的第k个像素块的平均亮度值计算第k个像素块的第k个块增益值，根据在第k个像素块左侧处与第k个像素块相邻布置的第k-Ι个像素块的平均亮度值，计算第k-Ι个像素块的第k-Ι个块增益值，并根据在第k个像素块右侧处与第k个像素块相邻布置的第k+Ι个像素块的平均亮度值，计算第k+Ι个像素块的第k+Ι个块增益值；将第k-Ι个块增益值和第k+Ι个块增益值中较高的一个定义为侧块增益值； 将第k个块增益值、所述侧块增益值、所述第一垂直权重和所述图案增益值相乘，以计算第一总增益值； 搜索分配给所述确定一个像素的原始深度值的原始深度图，并向搜索到的原始深度值添加所述第一总增益值，以计算所述确定一个像素的块深度值；和对所有像素进行块深度值的计算，以产生基于块的深度图。
29.根据权利要求28所述的方法，其中: 第k个块增益值由下面的表达式I表示，第k-Ι个块增益值由下面的表达式2表示，第k+Ι个块增益值由下面的表达式3表示，
[表达式 I]: (Max_thl - blk_apl_k) / (Max_thl - Min_thl)
[表达式 2]: (Max_th2 - blk_apl_k_l) / (Max_th2 - Min_th2)
[表达式 3]: (Max_th2 - blk_apl_k+l) / (Max_th2 - Min_th2) 其中，“Max_thl”表示预定的第一最大参考值，“Min_thl”表示预定的第一最小参考值，“Max_th2”表示预定的第二最大参考值，“Min_th2”表示预定的第二最小参考值，“blk_apl_k”表示第k个像素块的平均亮度值，“blk_apl_k-l”表示第k-Ι个像素块的平均亮度值，“blk_apl_k+l”表示第k+Ι个像素块的平均亮度值。
30.根据权利要求29所述的方法，其中所述第一最大参考值、所述第一最小参考值、所述第二最大参考值和所述第二最小参考值分别为400，200，440和240。
31.根据权利要求26所述的方法，其中: 所述步骤B-d)包括: 根据确定的第i个像素的亮度值计算第i个像素的第i个像素增益值；根据在第i个像素左侧处与第i个像素相邻布置的第i_l个像素的亮度值，计算第i_l个像素的第i_l个像素增益值；并根据在第i个像素右侧处与第i个像素相邻布置的第i+Ι个像素的亮度值，计算第i+Ι个像素的第i+Ι个像素增益值； 将第i_l个像素增益值和第i+Ι个像素增益值中较高的一个定义为侧像素增益值；将第i个像素增益值、所述侧像素增益值、所述第二垂直权重和所述图案增益值相乘，以计算第二总增益值； 搜索分配给第i个像素的原始深度值的原始深度图，并向搜索到的原始深度值添加所述第二总增益值，以计算第i个像素的像素深度值；和 对所有像素进行像素深度值的计算，以产生基于像素的深度图。
32.根据权利要求31所述的方法，其中: 第i个像素增益值由下面的表达式I表示，第i_l个像素增益值由下面的表达式2表示，第i+Ι个像素增益值由下面的表达式3表示，
[表达式 I]: (Max_th3 - pxl_i) / (Max_th3 - Min_th3)
[表达式 2]: (Max_th4 - pxl_i_l) / (Max_th4 - Min_th4)
[表达式 3]: (Max_th4 - pxl_i+l) / (Max_th4 - Min_th4) 其中，“Max_th3”表示预定的第三最大参考值，“Min_th3”表示预定的第三最小参考值，“Max_th4”表示预定的第四最大参考值，“Min_th4”表示预定的第四最小参考值，“pxl_i”表示第i个像素的亮度值，表示第i_l个像素的亮度值，“pxl_i+l”表示第i+1个像素的亮度值。
33.根据权利要求32所述的方法，其中所述第三最大参考值、所述第三最小参考值、所述第四最大参考值和所述第四最小参考值分别为250，170，290和210。
34.根据权利要求20所述的方法，其中所述步骤B-e)包括:搜索分配给确定像素的块深度值的基于块的深度图，搜索分配给所述确定像素的像素深度值的基于像素的深度图，将搜索到的块深度值乘以第一修正增益值以计算修正后的块深度值，将搜索到的像素深度值乘以第二修正增益值以计算修正后的像素深度值，将修正后的块深度值和修正后的像素深度值相加以计算所述确定像素的修正后深度值，并对所有像素进行修正后深度值的计算，以产生所述修正后深度图。
35.根据权利要求34所述的方法，其中修正后的块深度值和修正后的像素深度值之和为I。
36.根据权利要求35所述的方法，其中所述第一修正增益值为0.7，所述第二修正增益值为0.3。
【文档编号】H04N13/00GK103841401SQ201310594835
【公开日】2014年6月4日 申请日期:2013年11月21日 优先权日:2012年11月23日
【发明者】全虎敃, 金性均 申请人:乐金显示有限公司