多视点图像处理设备及其图像处理方法
【技术领域】
[0001]与示例性实施例一致的设备和方法涉及多视点图像处理设备及其图像处理方法。具体而言，示例性实施例涉及非眼镜型多视点图像处理设备及其图像处理方法。
【背景技术】
[0002]随着电子技术的发展，各种类型的电子装置已经被开发并配销。具体而言，诸如最常见的家用电子装置之一的电视机(TV)的显示设备近年来已经得到迅速的发展。
[0003]随着显示装置的性能已经提高，由显示装置显示的内容的类型已经多样化。特别是，在现有技术中，用于观看三维(3D)内容的立体显示系统已经被开发并配销。
[0004]现有技术立体显示装置可被实现为各种类型的显示装置，诸如，各种监视器、蜂窝电话、个人数字助理(PDA)、个人计算机(PC)、机顶盒、平板PC、电子框、一体机等。现有技术立体显示装置也可被实现为家中的3D TV。此外，除了在家被使用外，3D显示技术还可在需要3D成像的各种领域(诸如，科学、医疗、设计、教育、广告、计算机游戏等)中被使用。
[0005]现有技术立体显示系统可主要分为非眼镜型系统和眼镜型系统，其中，通过非眼镜型系统可不用眼镜观看到图像，通过眼镜型系统可用眼镜观看到图像。
[0006]虽然现有技术的眼镜型系统提供了令人满意的立体效果，但是用户必须经历配戴眼镜的不便。在现有技术的非眼镜型系统中，用户无需眼镜便可观看3D图像。因此，对非眼镜型系统的开发已经增加。
[0007]现有技术非眼镜类型系统向观看者显示多视点图像，例如，N-视点图像。因此，需要N个多视点图像。由相机获取N个多视图图像。然而，在N>2的情况下，在系统实现中获得N个多视点图像是困难的。
[0008]因此，现有技术非眼镜型系统提取深度信息，并随后当立体图像被输入时对多视点图像进行渲染。然而，当输入的立体图像包括在屏显示(OSD)信息时，难以在深度信息的提取期间从OSD区域得到准确的深度信息。因此，在OSD区域的深度信息中出现误差。因此，所显示的OSD图像失真。
【发明内容】
[0009]技术问题
[0010]示例性实施例可提供多视点图像处理设备及其图像处理方法，其中，所述图像处理方法校正三维(3D)图像中的在屏显示(OSD)区域的深度。因此，防止了图像失真。
[0011]解决问题的方案
[0012]示例性实施例可克服以上缺点以及以上未描述的其它缺点。并且，示例性实施例不需要克服上述缺点。此外，示例性实施例可不克服上述问题中的任何问题。
[0013]根据示例性实施例的一方面，多视点图像处理设备包括:深度提取器，被配置为提取三维(3D)输入图像的深度信息；深度校正器，被配置为基于提取出的深度信息和与3D输入图像中的在屏显示(OSD)区域相应的OSD掩膜信息来校正3D输入图像中的OSD区域的深度;渲染装置，被配置为使用3D输入图像和校正后的深度来对多视点图像进行渲染。
[0014]深度提取器还可被配置为基于提取出的深度信息产生深度图，深度校正器还可被配置为在深度图中校正OSD区域的深度值。
[0015]深度校正器还可被配置为在深度图中将OSD区域的深度值校正为第一深度值。
[0016]深度校正器还可被配置为在深度图中将除了OSD区域之外的其余区域的多个深度值校正为第二深度值。
[0017]深度校正器还可被配置为在深度图中将OSD区域的整个区域的深度值校正为O。
[0018]多视点图像处理设备还可包括:显示装置，被配置为显示包括多个OSD区域的3D输入图像;用户接口装置，被配置为接收用户命令;控制器，被配置为控制深度校正器将根据用户命令选择的至少一个OSD区域的深度与3D图像中的除了选择的所述至少一个OSD区域之外的其余OSD区域的多个深度不同地进行校正。
[0019]控制器还可被配置为:控制深度校正器将选择的所述至少一个OSD区域的深度校正为预设的第三深度值，并将除了选择的所述至少一个OSD区域之外的其余OSD区域的所述多个深度校正为O。
[0020]根据示例性实施例的另一方面，处理多视点图像的方法包括:提取三维(3D)输入图像的深度信息、基于提取出的深度信息和与3D输入图像中的在屏显示(OSD)区域相应的OSD掩膜信息来校正3D输入图像中的在屏显示(OSD)区域的深度，并使用3D输入图像和校正后的深度来对多视点图像进行渲染。
[0021]提取深度信息的步骤可包括基于提取出的深度信息产生深度图，校正深度的步骤可包括在深度图中校正OSD区域的深度值。
[0022]校正深度的步骤可包括:在深度图中将OSD区域的深度值校正为第一深度值。
[0023]校正深度的步骤可包括:在深度图中将除了OSD区域之外的其余区域的多个深度值校正为第二深度值。
[0024]校正深度的步骤可包括:在深度图中将OSD区域中的整个区域的深度值校正为O。
[0025]所述的方法还可包括:显示包括多个OSD区域的3D输入图像，接收用于选择多个OSD区域中的至少一个OSD区域的用户命令，并将根据用户命令选择的所述至少一个OSD区域的深度与除了选择的所述至少一个OSD区域之外的其余OSD区域的多个深度不同地进行校正。
[0026]校正深度的步骤可包括:将选择的所述至少一个OSD区域的深度校正为预设的第三深度值，并将除了选择的所述至少一个OSD区域之外的其余OSD区域的所述多个深度校正为O O
[0027]根据示例性实施例的另一方面，处理多视点图像的方法包括:显示包括至少一个内容区域的3D输入图像，将第一深度值应用于所述至少一个内容区域，并将第二深度值应用于除了所述至少一个内容区域之外的3D输入区域。第一个深度值与第二深度值不同。
[0028]如上所述，根据各种实施例，非眼镜型3D系统可防止3D图像中OSD区域中的图像失真。
[0029]示例性实施例的附加的和/或其它方面和优点将在下面的描述中部分地被阐述，并且部分地将从描述中变得清楚，或者可通过示例性实施例的实践而得知。
[0030]发明的有益效果
[0031]此外，根据各种实施例，非眼镜型3D系统可执行部分3D功能。
【附图说明】
[0032]通过参照附图描述特定的示例性实施例，示例性实施例的以上和/或其它方面将更加明显，其中:
[0033]图1是用于解释非眼镜三维(3D)显示设备的操作的示例的示图；
[0034]图2A是示出根据实施例的多视点图像处理设备的结构的框图；
[0035]图2B是示出根据实施例的多视点图像处理设备的结构的框图；
[0036]图3是用于解释根据实施例的示例性显示单元的示图；
[0037]图4A和图4B是用于解释根据实施例的在屏显示(OSD)掩膜信息的示图；
[0038]图5A至图5C是用于解释根据各种实施例的深度校正方法的示图；
[0039]图6是用于解释根据另一实施例的深度校正方法的示图；
[0040]图7A和图7B是用于解释根据另一实施例的深度校正方法的示图；
[0041 ]图8A至图8C是用于解释根据另一实施例的深度校正方法的示图；
[0042]图9是用于解释根据实施例的控制多视点图像处理设备的方法的流程图。
[0043]用于实施发明的最佳实施方式
【具体实施方式】
[0044]现在将参照附图对特定示例性实施例进行更加详细地描述。
[0045]图1是用于解释非眼镜三维(3D)显示设备的操作的示图。
[0046]图1是示出根据实施例的用于使用非眼镜方式显示多视点图像并提供立体图像的设备的操作。多视点图像包括通过在不同角度捕捉对象而获得的多个图像。换句话说，多视点图像是通过以不同角度折射在不同视点捕捉的多个图像并在预定距离(即，视点距离(例如，大约3米))聚焦多个图像而获得的。形成这些图像的位置被称为视区。因此，当用户的一只眼睛位于第一视区而用户的另一只眼睛位于第二视区时，用户可体验立体效果。
[0047]例如，图1是多视点图像(例如，总共具有6个视点)的显示操作的示图。参照图1，非眼镜3D显示设备允许与6个视点中的第一视点图像相应的光到达左眼并允许与6个视点中的第二视点图像相应的光到达右眼。因此，用户可使用左眼和右眼观看不同的视点图像以体验立体效果。
[0048]图2是示出根据实施例的多视点图像处理设备100的结构的框图。
[0049]参照图2A，多视点图像处理设备100包括深度提取器110、深度校正器120、渲染单元130和控制器140。
[0050]图像接收器(未示出)接收3D图像信号。3D图像可以是立体图像。立体图像包括通过在不同角度捕捉对象而获得的两个图像，即，左眼图像和右眼图像。立体图像可从各种源提供。例如，图像接收器(未示出)可通过有线或无线地从诸如广播频道的源接收立体图像。在这种情况下，图像接收器(未示出)可包括诸如调谐器、解调器、均衡器等的各种组件。此夕卜，图像接收器(未示出)可接收通过用于再现诸如数字视频光盘(DVD)、蓝光光盘、存储卡等的各种介质的记录介质再现单元再现的立体图像，或者可直接接收通过相机捕捉的立体图像。在这种情况下，图像接收器(未示出)可包括诸如通用串口总线(USB)接口等的各种接口。图像接收器(未示出)可从诸如网络服务器的外部服务器接收立体图像。另外，3D图像可在2D-3D转换方案中基于2D图像产生，或者可以是具有3个或更多个视点的多视点图像。省略