专利名称：处理三维视频数据的方法和设备的制作方法
技术领域：
本发明的各方面涉及一种处理三维视频图像的方法和设备，更具体地说，涉及一 种输出亮度调整的三维视频图像的方法和设备。
背景技术：
如今，三维视频技术正在广泛地发展。三维视频技术将深度信息提供给二维图像 以显示逼真的三维图像。因此，三维视频技术正被应用于各种领域(如通信、医学和广播)。三维视频技术可被分为从一开始即产生三维视频数据的技术和将二维视频数据 转换为三维视频数据的技术。正在将这两项技术结合一起进行研究。
发明内容
技术方案本发明的各方面提供了一种输出亮度调整的三维视频图像的方法和设备。有益效果如上所述，根据本发明的各方面，在输出三维视频之前对视频图像的亮度进行调 整。因此，当观看者使用快门眼镜观看三维视频时，由暗视频图像引起的问题可被克服。
图1是根据本发明的实施例的包括视频处理设备的三维视频系统的示图；图2A和图2B是通过图1中示出的快门眼镜观看的左眼图像和右眼图像的示图；图3A和图;3B是根据本发明的实施例的视频处理设备的框图；图4A到图6B是示出由亮度调整器调整的图像帧的亮度的频率分布表；图7是示出根据本发明的实施例的视频处理方法的流程图。最佳实施方式根据本发明的一方面，提供了一种视频处理方法，所述视频处理方法包括对二维 视频数据的当前帧进行解码；对解码的当前帧的亮度进行调整；将亮度整的二维视频数据 转换为三维视频数据；显示三维视频数据。根据本发明的一方面，调整亮度的步骤可包括调整当前帧的频率分布表中的亮 度分布，在所棕频率分布表中，所述亮度被分为从0到255的256级，并且每一级的像素数 构成频率。根据本发明的一方面，当在当帧前的像素中的具有最高亮度的像素的亮度级低于 255时，调整亮度分布的步骤可包括通过将当前帧的所有像素的亮度级增加等于或小于 在当前帧的像素中的具有最高亮度的像素的亮度级和255之间的差这么多来调整亮度分布。根据本发明的一方面，当在当前帧的像素中的具有最低亮度的像素的亮度级为N， 在当前帧的像素中的具有最高亮度的像素的亮度级为M，并且M小于255时，调整亮度分布的步骤可包括以使具有最低亮度的像素亮度级为N并且具有最高亮度的像素的亮度级为 255的方式来调整亮度分布。根据本发明的一方面，调整亮度分布的步骤可包括以使N和255之间的级之间的 距离相等的方式来调整亮度分布。根据本发明的一方面，当在当前帧的像素中的具有最低亮度的像素的亮度级为N， 在当前帧的像素中的具有最高亮度的像素的亮度级为M,并且K大于N小于M时，调整亮度 分布的步骤可包括以使N和K之间的级之间的距离小于K和M之间的级之间的距离的方 式来调整亮度分布。根据本发明的另一方面，提供了一种视频处理方法，所述视频处理方法包括对二 维视频数据的当前帧进行解码；将当前帧转换为三维视频数据；对三维视频数据的亮度进 行调整；显示亮度调整的三维视频数据。根据本发明的另一方面，提供了一种视频处理方法，所述视频处理方法包括接收 视频数据；确认将接收的视频数据从二维视频数据转换为三维视频数据；对接收的视频数 据的当前帧的亮度进行调整；输出亮度调整的视频数据。根据本发明的另一方面，提供了一种视频处理设备，所述视频处理设备包括视频 数据解码器，用于对二维视频数据的当前帧进行解码；亮度调整器，用于对当前帧的亮度进 行调整；三维视频转换器，用于将当前帧转换为三维视频数据；输出单元，用于显示三维视 频数据。根据本发明的另一方面，提供了一种视频处理系统，所述视频处理系统包括视频 处理设备和快门眼镜。所述视频处理设备包括视频数据解码器，用于对二维视频数据的 当前帧进行解码；亮度调整器，用于对当前帧的亮度进行调整；三维视频转换器，用于将当 前帧转换为三维视频数据，所述三维视频数据包括与当前帧相应的左眼图像帧和右眼图像 帧；输出单元，用于显示三维视频数据并且输出快门控制信号。所述快门眼镜包括左眼镜 片，用于接收左眼图像；右眼镜片，用于接收右眼图像；信号接收器，用于接收快门控制信 号，其中，当右眼镜片接收右眼图像时，根据接收的快门控制信号，左眼镜片关闭，当左眼镜 片接收左眼图像时，根据接收的快门控制信号，右眼镜片关闭。根据本发明的另一方面，提供了一种视频处理设备的视频处理方法，所述视频处 理方法包括由视频处理设备对二维视频数据的当前帧进行解码；由视频处理设备对解码 的当前帧的亮度进行调整；将亮度调整的当前帧显示为三维视频数据。本发明的另外方面和/或优点将在下面的描述中部分地阐明，并且从描述中部分 是清楚的，或者通过本发明的实施可以被理解。
具体实施例方式本申请要求于2008年6月M日在美国专利和商标局提交的第61/075，184号美 国临时申请的利益和于2008年9月23日在韩国知识产权局提交的第10-2008-0093371号 韩国专利申请的利益，该申请完全公开于此以资参考。现在，详细描述本发明的实施例，其示例在附图中表示，其中，相同的标号始终表 示相同的部件。以下通过参照附图描述实施例以解释本发明。图1是根据本发明的实施例的使用视频处理设备110的三维视频系统的示图，图2A和图2B是在图1中示出的快门眼镜130上分别显示的左眼图像和右眼图像的示图。将 参照图1、图2A和图2B来更详细地描述三维视频系统。参照图1，三维视频系统包括视频 处理设备110和快门眼镜130。视频处理设备110包括红外线(IR)发送单元120。快门眼 镜130包括顶接收单元140。如示出的，视频处理设备110包括显示单元和视频解码器。 然而，应该理解视频解码器可以是单独的机顶盒和/或再现设备并且可连接到显示单元。由于人的左眼和右眼在横向方向上是互相分开的，所以从左眼看到的二维图像和 从右眼看到的二维图像是互相不同的。视频处理设备110使用以上的原理交替地将互相不 同的左眼图像和右眼图像输出到屏幕上。当以60Hz或更高的帧率观看图像时，人眼将图像 视为连续视频。通过将通过左眼和右眼输入的图像合并来产生三维视频。因此，为了使人眼 将三维图像视为不间断的连续视频，视频处理设备110以至少120Hz的帧率输出图像。例 如，当视频处理设备110每1/120秒交替地输出左眼图像和右眼图像时，观看者的大脑将不 同的二维图像合并以产生具有远景和实体的逼真的三维图像。当观看者不使用任何专门设备观看从视频处理设备110输出的图像时，左眼图像 和右眼图像互相重叠。观看者配戴快门眼镜130以防止左眼图像和右眼图像互相重叠。快 门眼镜130交替地与由视频处理设备110输出的左眼图像和右眼图像同步来打开左眼镜片 关闭右眼镜片和关闭左眼镜片打开右眼镜片。在视频处理设备110中包括的顶发送单元 120为了同步将红外线信号发送给快门眼镜130。在快门眼镜130中包括的顶接收单元 140感测从顶发送单元120发送的红外线信号，从而快门眼镜130与视频处理设备110同 步地操作。虽然所描述的是红外线，但是应该理解发送单元120和眼镜130之间的通信可 使用其它光、无线电或能量频率，或还可使用有线通信。如上所述，快门眼镜130交替地阻止左眼图像和右眼图像。然而，结果，透过快门 眼镜130照射到观看者的眼睛的图像比在没有障碍的情况下连续输入观看者的眼睛的图 像暗。另外，由于快门眼镜130是暗的，所以透过快门眼镜130照射到观看者的眼睛的图像 比从视频处理设备110输出的图像暗。为防止这种情况，在将三维视频图像输出到屏幕上 之前，视频处理设备110调整图像的亮度。当视频处理设备110输出左眼图像时，快门眼镜130打开左眼镜片关闭右眼镜片 以使图像透过左眼镜片照射到观看者的眼睛。图2A示出快门眼镜130打开左眼镜片130L 关闭右眼镜片130R。当视频处理设备110输出右眼图像时，快门眼镜130打开右眼镜片 130R关闭左眼镜片130L以阻止图像透过左眼镜片发送。图2B示出快门眼镜130打开右眼 镜片130R关闭左眼镜片130L。由于快门眼镜130交替地打开左眼镜片130L和右眼镜片130R，所以观看者的左 眼和右眼每1/120秒分别观看左眼图像和右眼图像。在示出的实施例中，由于视频处理设 备110在输出图像之前调整图像的亮度以补偿在图像通过快门眼镜130的同时的亮度的减 小，所以通过快门眼镜130照射到观看者的眼睛的图像比亮度没被调整的原始图像亮。图3A是根据本发明的实施例的视频处理设备300的框图。参照图3A，视频处理设 备300包括视频数据解码器310、亮度调整器320、三维图像转换器330和输出单元；340。 虽然没有要求，但是单元310、320、330和340中的每个可以是一个或多个芯片或集成电路 上的一个或多个处理器或处理部件。在视频数据被记录在盘(如DVD、蓝光盘等)上的情况下，当盘被加载到视频处理设备300中时，数字数据解码器310从加载的盘中读取视频数据并且对读取的视频数据进 行解码。虽然没有要求，但是图像处理设备300可包括直接读盘的驱动器，或可连接到单独 的驱动器。此外，虽然在所有实施例中没有要求，但是视频处理设备300还可包括通信单 元(未示出)，用于通过通信网络和/或任何有线/无线连接(如通用串行总线、红外、蓝 牙等)与外部服务器或外部终端进行通信。在这种情况下，视频处理设备300通过通信单 元从外部服务器或外部终端将视频数据下载到本地存储装置(未示出)上，并随后读取存 储在本地存储装置中的视频数据并且对读取的视频数据进行解码。然而，应该理解本发明 的各方面都不受限于将视频数据存储在本地存储器中。例如，在其它方面，视频处理设备 300可通过使用实时流传输方法来通过通信单元对从外部服务器或外部终端发送的视频数 据进行解码。此外，视频处理设备300可从任何外部存储装置(如闪存)中读取视频数据。 视频数据可以是电影、电视节目、视频游戏、软件界面等。在对视频数据进行的解码中，视频数据解码器310从图像帧中的像素中提取亮度 分量Y以及色度分量Cr和Cb。亮度调整器320使用由视频数据解码器310提取的亮度分 量Y来调整图像帧的亮度。亮度调整器320通过控制关于亮度分量的分布的频率分布表中 的亮度分布来调整图像帧的亮度。关于亮度分量的频率分布表是这样的直方图示出在横 轴的变化侧上显示亮度，在纵轴的频率侧上显示每个亮度级的像素数。亮度被分为从0到 255的256级，并且与亮度的每级相应的像素数被表示为频率。将参照图4A到图6B来详细 描述亮度调整器320通过调整频率分布表的亮度分布来调整图像帧亮度的实施例。输入到视频数据解码器310的视频数据可以是二维视频数据或三维视频数据。当 输入到视频数据解码器310的视频数据是三维视频数据时，亮度调整器320调整三维视频 数据的亮度并且将亮度调整的三维视频数据发送给输出单元340。当输入到视频数据解码 器310的视频数据是二维视频数据时，亮度调整器320调整二维视频数据的亮度并且将亮 度调整的二维视频数据发送给三维视频转换器330。虽然示出具有两种情况的功能，但时应 该理解设备200不需要具有所示出的将二维视频数据转换为三维视频数据以及接收三维 数据这两种性能。三维视频转换器330通过向二维视频数据提供深度来产生三维视频数据。在这方 面，三维视频转换器330将二维视频数据中的图像帧分为预定尺寸的块，并且从先前帧的 块中选择与当前帧的预定的块最相似的块。随后，三维视频转换器330为当前帧中的划分 的块中的每个块计算运动矢量，并且通过合并选择的块来产生新的帧。然而，本发明的各方 面并不限于以上示例。例如，在其它方面，三维视频转换器330可使用图像帧的合成信息来 产生深度映射并且产生新的帧以向二维视频提供深度。三维视频转换器330将新的图像帧和当前帧中的一个确定为左眼图像，并且将新 的图像帧和当前帧中的另一个确定为右眼图像，作为可选方式，三维视频转换器330可使 用新的图像帧和当前图像帧来产生新的左眼图像和/或新的右眼图像。三维视频转换器 330产生三维格式图像帧，并且将产生的三维格式图像帧发送给输出单元340，其中，所述 三维格式图像帧按帧包括左眼图像和右眼图像。出输出单元230至少每1/120秒交替地输 出包括在亮度补偿帧中的左眼图像和右眼图像。图;3B是根据本发明的另一实施例的视频处理设备350的框图。参照图3B，视频 处理设备350包括视频数据解码器360、三维视频转换器370、亮度调整器380和输出单元
7390。虽然没有要求，但是单元350、360、370、380和390中的每个可以是一个或多个芯片或 集成电路上的一个或多个处理器或处理部件。图3A的视频处理设备300的亮度调整器320 和图3B的视频处理设备350的亮度调整器380分别位于不同的位置。参照图3B，当输入视 频是二维视频时，视频数据解码器360对输入视频进行解码并且将解码的视频发送给三维 视频转换器370。当输入视频是三维视频时，视频数据解码器360对输入视频进行解码并且 将解码的视频发送给亮度调整器380。三维视频转换器370将接收的二维视频转换为三维 视频，并且将转换的视频发送给亮度调整器380。亮度调整器380对从视频数据解码器360 或三维视频转换器370接收的三维视频中的图像帧的亮度进行调整。随后，输出单元390输 出亮度调整的三维视频。如上所述，图3A中示出的视频处理设备300在通过输出单元340 将三维视频输出到屏幕(未示出)上之前以及图3B中示出的视频处理设备350在通过输 出单元390将三维视频输出到屏幕(未示出)上之前，对视频的亮度进行调整。图4A到图6B是示出使用图3A中示出的视频处理设备300的视频处理设备300 和图;3B中示出的视频处理设备350的亮度调整器380的亮度转换的频率分布表。具体地， 图4A和图4B是示出根据本发明的实施例的由亮度调整器320或亮度调整器380的图像帧 的亮度转换的直方图。图4A是在由亮度调整器320或亮度调整器380调整之前的亮度的 直方图。参照图4A，在当前图像帧中的像素中具有最高亮度的像素的亮度级不高于级255。 在图4A中，在当前图像帧中的像素中具有最高亮度的像素的亮度级和级255之间的差被表 示为(1)。在这种情况下，亮度调整器320或亮度调整器380可以以使当前图像帧的像素中 的具有最高亮度的像素的亮度级具有级255的方式来调整直方图的频率分布。也就是说， 亮度调整器320或亮度调整器380以使所有像素的亮度可变亮(1)这么多或小于(1)的量 这么多的方式来调整频率分布。图4B是示出当帧中的所有像素的亮度级增加了(1)或(2) 这么多的帧的亮度的直方图，其中(2)小于(1)大于0。图5A和图5B是示出根据本发明的另一实施例的由亮度调整器320或亮度调整器 380对图像帧进行亮度转换的直方图。图5A是在由亮度调整器320或亮度调整器380调 整之前帧的亮度的直方图。参照图5A，当前图像帧的像素中的具有最高亮度的像素的亮度 级不高于级255(如图4A中所示)。在图5A中，当假设当前图像帧的像素中的具有最高亮 度的像素的亮度级为M并且具有最低亮度的像素的亮度级为N时，亮度调整器320或亮度 调整器380以使具有最低亮度的像素的亮度级为N并且具有最高亮度的像素的亮度级为级 255的方式来调整直方图的频率分布(如图5B中所示)。最低亮度级和最高亮度级之间的 部分被分为恒定尺寸的级。在调整频率分布之前，最低亮度级和最高亮度级之间的部分被 分为通过M减去N而获得的级数。然而，在调整频率分布之后，帧的最低亮度级和帧的最高 亮度级之间的部分被分为通过255减去N而获得的级数。在这种情况下，产生具有级255 和M之间的亮度级的像素，并且可增加帧的亮度。虽然示出N = 0，但是应该理解在其它情 况下N可以大于0。图6A和图6B是示出根据本发明的其它实施例的由亮度调整器320或亮度调整器 380对图像帧进行亮度转换的直方图。图6A是在由亮度调整器320或亮度调整器380调 整之前的帧的亮度的直方图。参照图6A，当假设当前图像帧的像素中的具有最高亮度的像 素的亮度级为M并且具有最低亮度的像素的亮度级为N时，亮度调整器320或亮度调整器 380使用预定参考级K来调整直方图中的亮度分布，其中K大于N小于M。亮度调整器320或亮度调整器380可以以沿直方图的左方向(S卩，向N)移动参考级K的方式来对级进行调 整。
在图6A中，级N和级K之间的部分被表示为(3)，级K和级M之间的部分被表示为 (4).在调整亮度之前，部分(3)中的级的距离与部分⑷中的级的距离相同。然而，如图 6B中所示，当亮度调整器320或亮度调整器380将级K向级0移动时，部分(；3)减少，部分 ⑷增加。这意味着部分⑷中的级之间的距离大于部分⑶中的级之间的距离。也就是 说，由于暗部分的亮度被细化定义，所以帧的亮度改善。图7是示出根据本发明的实施例的使用图3A的视频处理设备300的视频处理方 法的流程图。参照图7，在操作710中，视频处理解码器310对输入视频数据进行解码，并且 在操作720中，亮度调整器320调整解码的视频数据的亮度。在操作730中，视频处理设备 300确定亮度调整的视频数据是二维视频数据还是三维视频数据。当确定视频数据是二维 视频数据(操作730)时，在操作740中，三维视频转换器370将二维视频数据转换为三维 视频数据，并且在操作750中，输出单元340输出转换的视频数据。当确定视频数据是三维 视频数据(操作730)时，在不执行转换操作(操作740)的情况下，在操作750中，输出单 元340输出三维视频数据。如上所述，根据本发明的各方面，在输出三维视频之前调整视频图像的亮度。因 此，当观看者使用快门眼镜观看三维视频时，由暗视频图像引起的问题可被克服。虽然未在此限制，但是本发明的各方面还可实现为计算机可读记录介质上的计算 机可读代码。所述计算机可读记录介质为任何可存储其后能由计算机系统读取的数据的 数据存储装置。所述计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器 (RAM)、⑶-ROM、磁带、软盘和光学数据存储装置。所述计算机可读记录介质也可分布于联网 的计算机系统上，以便所述计算机可读代码以分布方式被存储并被执行。本发明的各方面 还可实现为数据信号，所述数据信号以载波实现，并包括可由计算机读取的程序并且可通 过因特网发送。此外，虽然在所有方面未要求，但是视频处理设备300或视频处理设备350 的一个或多个单元可包括执行存储在计算机可读介质(如本地存储器)中的计算机程序的 处理器或微处理器。虽然已经示出并描述了本发明的一些实施例，但是本领域的技术人员应该理解， 在不脱离本发明的原理和精神的情况下，可以在这些实施例中进行改变，本发明的范围由 权利要求及其等同物限定。
权利要求
1.一种视频处理设备的视频处理方法，所述视频处理方法包括 由视频处理设备对二维视频数据的当前帧进行解码；由视频处理设备对解码的当前帧的亮度进行调整； 将亮度调整的当前帧转换为三维视频数据； 显示转换的三维视频数据。
2.如权利要求1所述的视频处理方法，其中，调整亮度的步骤包括调整当前帧的频率分布表中的亮度分布，在所述频率分布表中，所述亮度被分为从0 到255的256级，并且每一级中的当前帧的像素数构成频率。
3.如权利要求2所述的视频处理方法，其中，当在当前帧的像素中的具有最高亮度的 当前帧的像素的亮度级低于255时，调整亮度分布的步骤包括通过将当前帧的所有像素 的亮度级增加等于或少于当前帧的像素中的具有最高亮度的像素的亮度级与255之间的 差这么多来调整亮度分布，以改变当前帧的亮度。
4.如权利要求2所述的视频处理方法，其中，当在当前帧的像素中的具有最低亮度的 像素的亮度级为N，在当前帧的像素中的具有最高亮度的像素的亮度级为M，并且M小于255 时，调整亮度分布的步骤包括以使具有最低亮度的像素的亮度级为N并且具有最高亮度 的像素的亮度级为255的方式来调整亮度分布。
5.如权利要求4所述的视频处理方法，其中，以使具有最低亮度的像素的亮度级为N并 且具有最高亮度的像素的亮度级为255的方式来调整亮度分布的步骤包括以使N和255之间的级之间的距离相等的方式来调整亮度分布。
6.如权利要求2的述的视频处理方法，其中，当在当前帧的像素中的具有最低亮度的 像素的亮度级为N，在当前帧的像素中的具有最高亮度的像素的亮度级为M,并且K大于N 小于M时，调整亮度分布的步骤包括以使N和K之间的级之间的距离小于K和M之间的级 之间的距离的方式来调整亮度分布。
7.一种视频处理设备的视频处理方法，所述视频处理方法包括 由视频处理设备对二维视频数据的当前帧进行解码；由视频处理设备将二维视频数据的当前帧转换为三维视频数据； 对转换的三维视频数据的亮度进行调整； 显示亮度调整的三维视频数据。
8.一种视频处理设备的视频处理方法，所述视频处理方法包括 由视频处理设备接收视频数据；确认将接收的视频数据从二维视频数据转换为三维视频数据； 由视频处理设备对接收的视频数据的当前帧的亮度进行调整； 输出亮度调整的当前帧。
9.一种视频处理设备，包括视频数据解码器，用于对二维视频数据的当前帧进行解码；亮度调整器，用于对解码的当前帧的亮度进行调整；三维视频转换器，用于将解码的当前帧转换为三维视频数据；输出单元，将具有亮度调整的当前帧的转换的三维视频数据输出到显示器。
10.如权利要求9所述的视频处理设备，其中，亮度调整器调整当前帧的频率分布表中的亮度分布，在所述频率分布表中，亮度被分为从0到255的256级，并且每一级的当前帧 中的像素数构成频率。
11.如权利要求10所述的视频处理设备，其中，当在当前帧的像素中的具有最高亮度 的当前帧的像素的亮度级低于255时，亮度调整器通过将当前帧的所有像素的亮度级增加 等于或小于当前帧的像素中的具有最高亮度的像素的亮度级和255之间的差这么多来调 整亮度分布，以改变当前帧的亮度。
12.如权利要求10所述的视频处理设备，其中，当在当前帧的像素中的具有最低亮度 的像素的亮度级为N，在当前帧的像素中的具有最高亮度的像素的亮度级为M，并且M小于 255时，亮度调整器以使具有最低亮度的像素的亮度级为N并且具有最高亮度的像素的亮 度级为255的方式来调整亮度分布。
13.如权利要求12所述的视频处理设备，其中，亮度调整器以使N和255之间的级之间 的距离相等的方式来调整亮度分布。
14.如权利要求10所述的视频处理设备，其中，当在当前帧的像素中的具有最低亮度 的像素的亮度级为N，在当前帧的像素中的具有最高亮度的像素的亮度级为M，并且K大于N 小于M时，亮度调整器以使N和K之间的级之间的距离小于K和M之间的级之间的距离的 方式来调整亮度分布。
15.一种视频处理设备的视频处理方法，所述视频处理方法包括由视频处理设备对视频数据的当前帧进行解码；由视频处理设备对解码的当前帧的亮度进行调整；将亮度调整的当前帧显示为三维视频数据。
全文摘要
一种视频处理方法和设备，所述视频处理方法包括对二维视频数据进行解码；对解码的二维视频数据的亮度进行调整；将亮度调整的解码的二维视频数据转换为三维视频数据；显示三维视频数据。
文档编号G06T15/00GK102067614SQ200980123638
公开日2011年5月18日 申请日期2009年6月24日 优先权日2008年6月24日
发明者李大钟, 郑吉洙, 郑铉权 申请人:三星电子株式会社