专利名称：用于校正立体图像中的误差的方法和设备的制作方法
技术领域：
本发明的实施方式涉及用于校正三维(3D)图像中的误差的方法和设备。更具体地，本发明涉及用于校正3D图像中的误差的方法和设备，该方法和设备检测深度图信息中的误差，并在提供通过将深度图信息应用于输入二维(2D)图像内容所产生的3D图像内容的处理中校正所述误差，从而防止由于深度图信息中的误差而降低3D效果。
背景技术：
随着数字技术的快速发展并且随着由于广播和通信的聚合导致的广播媒体的多样化，最近出现了与广播相关的增值业务。目前，尽管诸如TV广播的视频业务的开发致力于高清晰和大屏幕技术，但迄今为止仅提供2D图像内容，因此观看者无法从当前的2D图像内容感知3D效果。因此，对3D图像的需求逐渐增加，但迄今为止明显缺乏3D图像内容。3D图像处理是下一代信息技术业务领域中的关键技术，并且随着信息工业社会的发展还是一种具有增加的竞争力的最先进的技术。3D图像处理技术是提供高质量视频业务的基本要素，并且被应用于诸如广播、医疗、教育、军事、游戏和虚拟现实的多个领域以及信息技术领域。因此，需要从2D图像内容提供3D图像内容的技术。然而，在利用当前技术从2D图像内容提供3D图像内容的处理期间出现误差，这是个问题。
发明内容
技术问题因此，本发明致力于解决上述问题，本发明的实施方式的目的在于一种用于校正三维(3D)图像中的误差的方法和设备，该方法和设备能够防止在输出3D图像内容的处理中由于深度图信息中的误差而导致降低3D效果。技术方案用于实现以上目的的本发明的实施方式提供了一种用于校正三维(3D)图像中的误差的设备，该设备包括:空间直方图生成单元，其利用与输入图像数据相关的深度图信息生成空间直方图信息；峰值频率生成单元，其利用所述输入图像数据的二维(2D)图像数据生成峰值频率；对象分析单元，其基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个帧中的误差；深度图误差校正单元，如果确定所述帧中存在误差，则该深度图误差校正单元校正所述深度图信息，使得所述误差被校正；以及渲染处理单元，其利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。根据本发明的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法包括以下步骤:空间直方图生成步骤，利用与输入图像数据相关的深度图信息生成空间直方图信息；峰值频率生成步骤，利用所述输入图像数据的2D图像数据生成峰值频率；对象分析步骤，基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个帧中的误差；深度图误差校正步骤，如果确定所述帧中存在误差，则校正所述深度图信息，使得所述误差被校正；以及渲染处理步骤，利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。根据本发明的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中检测所述深度图信息中的误差，该方法包括以下步骤:确定超出针对所述2D图像数据的各个帧中的根据所述深度图信息分类的各个对象生成的空间直方图信息的标准差的特定值；如果所述特定值在第一阈值的纵(Y)轴的正(+ )方向或负(_)方向上超出所述第一阈值，则将与所述特定值对应的区域分类为误差倾向区域；如果所述误差倾向区域的峰值频率在所述正(+ )方向或负(_)方向上超出第二阈值，则确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果是否彼此一致；以及如果确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果彼此不一致，则确定所述深度图信息中存在误差。根据本发明的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中校正所述深度图信息中的误差，该方法包括以下步骤:确定超出被确定为所述深度图信息中具有误差的误差包含区域的空间直方图信息的标准差的特定值；确定所述特定值是否在纵(Y)轴的正(+ )方向或负(_)方向上超出第一阈值；以及如果确定所述特定值超出所述第一阈值，则通过基于所述特定值超出所述第一阈值的方向将所述特定值增加或减小到所述空间直方图信息的所述标准差来校正所述误差。根据本发明的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中检测所述深度图信息中的误差并校正所述误差，该方法包括以下步骤:确定超出针对所述2D图像数据的各个帧中的根据所述深度图信息分类的各个对象生成的空间直方图信息的标准差的特定值；如果所述特定值超出第一阈值，则将与所述特定值对应的区域分类为误差倾向区域；如果所述误差倾向区域的峰值频率超出第二阈值，则确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果是否彼此一致；如果确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果彼此不一致，则确定所述深度图信息中存在误差；以及通过基于所述特定值超出所述第一阈值的方向将所述特定值增加或减小到所述空间直方图信息的所述标准差来校正所述误差。有益效果如上所述，根据本发明的实施方式，能够在提供通过将深度图信息应用于输入2D图像内容所产生3D图像内容的处理中检测深度图信息中的误差并校正所述误差，从而防止深度图信息中的误差降低3D效果。此外，根据本发明的实施方式，能够检测与2D图像数据一起接收的或者从2D图像数据估计的单独的深度图信息中的所有误差，并校正所述误差。即，能够在输出3D图像内容时校正误差，从而使得观看者能够感知经改进的3D效果。
图1是示意性示出根据本发明的实施方式的用于校正3D图像中的误差的设备的框图。图2是示出根据本发明的实施方式的用于校正3D图像中的误差的方法的流程图。图3是示出根据本发明的实施方式的空间直方图的说明性示图。图4是示出本发明的实施方式的输入2D图像数据的说明性示图。图5是示出根据本发明的实施方式的特定帧的正常深度图信息的说明性示图。图6是示出根据本发明的实施方式的特定帧的误差倾向区域的说明性示图。图7是示出根据本发明的实施方式的特定对象的误差倾向区域的说明性示图。图8是示出根据本发明的实施方式的根据快速傅里叶变换(FFT)的应用的峰值频率的说明性示图。〈标号说明〉100:用于校正3D图像中的误差的设备112:图像接收单元120:深度图接收单元122:空间直方图生成单元130:2D图像接收单元132:峰值频率生成单元140:对象分析单元150:深度图误差校正单元160:渲染处理单元
具体实施例方式下文中，将参照附图描述本发明的示例性实施方式。在以下描述中，尽管元件在不同的附图中示出，但相同的元件用相同的标号来表示。此外，在本发明的以下描述中，当对合并于此的已知功能和结构的详细描述可能使得本发明的主题不清晰时，将省略该详细描述。另外，当描述本发明的部件时，这里可能使用诸如第一、第二、A、B、(a)、(b)等术语。这些术语中的每一个不用于限定对应部件的本质、顺序或次序，而仅用于将对应的部件与其它部件区分开。应该注意，如果在说明书中描述了一个部件“连接”、“耦接”或“结合”到另一部件，则尽管第一部件可直接“连接”、“耦接”或“结合”到第二部件，但是第三部件可“连接”、“耦接”和“结合”在第一部件和第二部件之间。图1是示意性示出根据本发明的实施方式的用于校正3D图像中的误差的设备的框图。根据本发明的实施方式的用于校正3D图像中的误差的设备100包括图像接收单元112、深度图估计单元114、深度图接收单元120、空间直方图生成单元122、2D图像接收单元130、峰值频率生成单元132、对象分析单元140、深度图误差校正单元150和渲染处理单元160。尽管在本发明的实施方式中描述了用于校正3D图像中的误差的设备100包括图像接收单元112、深度图估计单元114、深度图接收单元120、空间直方图生成单元122、2D图像接收单元130、峰值频率生成单元132、对象分析单元140、深度图误差校正单元150和渲染处理单元160，但是这仅旨在示出本发明的实施方式的技术构思，本发明所属领域的技术人员将理解，在不脱离本发明的实施方式的基本特征的情况下可对用于校正3D图像中的误差的设备100的部件做出各种修改和改变。根据本发明的实施方式的用于校正3D图像中的误差的设备是指将输入图像数据转换成3D图像数据，在将输入图像数据转换成3D图像数据的处理中检测误差，并且校正所述误差的设备。即，用于校正3D图像中的误差的设备100是指可从图像内容供应方接收2D图像数据并在显示所述2D图像数据之前将所接收到的2D图像数据转换成3D图像的设备。此外，用于校正3D图像中的误差的设备100可从诸如广播公司的图像内容供应方接收独立于2D图像数据提供的深度图信息。即，用于校正3D图像中的误差的设备100可以检测从图像内容供应方接收的或者从2D图像数据估计的深度图信息中的误差，并校正所检测到的误差。这里，用于校正3D图像中的误差的设备100可安装在诸如TV、监视器等的显示装置中，或者可实现为诸如机顶盒的独立装置并连接到显示装置。因此，在本发明中将仅描述由用于校正3D图像中的误差的设备100执行的输入图像数据到用于3D图像的左眼图像和右眼图像的转换，而不单独描述由显示装置执行的按照立体或自动立体方式对3D图像的显不O可按照两个方面定义本发明所述的3D图像。首先，3D图像可被定义为应用了深度图信息使得用户能够感觉到图像的一部分从画面凸出的图像。其次，3D图像可被定义为向用户提供多个视点使得用户能够从图像感知真实感的图像。即，本发明所述的3D图像是指使得观看者能够感知听觉-视觉3D效果从而提供生动感和真实感的图像。可以基于获取方法、深度印象和显示方法来将3D图像分类成立体类型、多视点类型、集成成像(IP)类型、多视点(omni)类型、全景类型和全息图类型。用于显示3D图像的方法可包括基于图像的重建和基于网格(mesh)的呈现。与人眼类似，需要从左侧和右侧这二者拍摄的两个图像来呈现3D图像。S卩，通过左眼观看从左侧拍摄的图像，并且通过右眼观看从右侧拍摄的图像，使得观看者感知3D效果。用于拍摄3D图像的广播相机具有两个相机彼此并排放置或者其中设置有两个镜头的结构。3D图像需要左图像和右图像，因此，图像数据的尺寸是普通广播数据的尺寸的两倍。结果，作为广播信号发送的3D图像占据双频带。可通过分别将左图像和右图像的尺寸减小一半并类似于“并排”方法将左图像和右图像组合来按照普通广播数据的尺寸传送3D图像。然而，数据量在水平方向被压缩，从而出现数据损失。为了在保持与普通图像数据的量相等的数据量的同时发送3D图像数据，可将与普通图像对应的2D图像数据与包含关于3D图像数据的信息的深度图信息一起发送。深度图信息的量对应于2D图像数据量的大约10%，因此，如果添加大约10%的信息，则可显示3D图像。此外，当作为接收2D图像的接收单元的用于校正3D图像中的误差的设备100可将2D图像数据转换成3D图像数据时，需要与普通图像数据相同的信息量，进而无需附加数据就可显示3D图像。可以按照这种方式来处理用于提供3D图像的信号数据:发送左图像和右图像这两者，左图像和右图像在水平方向上被压缩并被发送，2D图像数据和深度图信息被一起发送，或者由作为接收单元的用于校正3D图像中的误差的设备100将2D图像数据转换成3D图像数据。此外，当图像内容供应方按照发送左图像和右图像这二者或者左图像和右图像在水平方向上被压缩并被发送的这种方式来发送图像数据时，3D图像数据被发送，并且在这种情况下，无法修改3D图像的3D效果。然而，当2D图像数据和深度图信息被一起发送时，或者当作为接收单元的用于校正3D图像中的误差的设备100将2D图像数据转换成3D图像数据时，用于校正3D图像中的误差的设备100可以控制深度图信息，这可以修改3D效果。因此，根据本发明的实施方式的用于校正3D图像中的误差的设备100可以通过检测深度图信息中的误差以创建3D效果来向观看者提供更加改进的3D图像。3D效果对应于根据观看者的年龄、标准等显著改变的主观判断，但是感知3D效果中的差异可通过以下客观项来确定。即，当在一个图像中同时存在深度图信息具有大的差异的多个对象时，当从人眼的角度左图像和右图像具有大的差异时，当自然存在的3D效果和应用于图像的3D效果在特定对象或特定区域中被不同地感知时，或者当有意增加3D效果以强调3D效果时，差异是明显的。如上所述，一个图像中同时存在深度图信息具有大的差异的多个对象的情况，或者从人眼的角度左图像和右图像具有大的差异的情况主要是通过3D相机拍摄图像时导致的，这主要取决于摄影师的技术。此外，可通过利用作为接收对应图像的接收单元的用于校正3D图像中的误差的设备100检测深度图信息中的误差并校正所述误差来将自然存在的3D效果和应用于图像的3D效果在特定对象或特定区域中被不同地感知的情况或者有意增加3D效果以强调3D效果的情况减轻到一定程度。具体地，当作为接收单元的用于校正3D图像中的误差的设备100从2D图像数据估计深度图信息，并基于所估计出的深度图信息将2D图像数据转换成用于3D图像的左眼图像和右眼图像时，执行诸如图像的识别和分析、对象的分离、对象的距离透视的确定等的各种处理。因此，在3D图像转换期间出现误差，进而在深度图信息中可能包括该误差。由于该误差，导致3D图像的观看者感觉眩晕。S卩，当从图像内容供应方接收单独的深度图信息或者从2D图像数据估计深度图信息时，用于校正3D图像中的误差的设备100可从深度图信息检测误差。例如，当位于短距离的对象被示出远离位于长距离的对象时，无法将其恢复为其原始形式，但是可以利用用于校正3D图像中的误差的设备100来检测深度图信息中包含的误差并校正该误差。此外，可通过基于深度图像的渲染(DIBR)来显示3D图像。基于深度图像的渲染是指利用具有与各个相关像素中的深度、角度差等有关的信息的基准图像在不同的视点创建帧的方法。基于深度图像的渲染能够容易地渲染3D模型的难以描述且复杂的形状，并使得能够应用诸如普通图像滤波的信号处理，从而产生高质量的3D图像。基于深度图像的渲染使用由深度相机和多视点相机拍摄的深度图像和纹理图像。此外，深度图像是以黑和白为单位显示位于3D空间中的对象与拍摄该对象的相机之间的距离的图像。通过深度图信息和相机参数在3D恢复或3D折叠变换(warping)中使用深度图像。此外，深度图像被应用于自由视点TV或3D TV。自由视点TV是指使得用户能够根据用户的选择不是从预定视点而是从任何视点观看图像的TV。3D TV提供通过将深度图像与2D图像相加所获得的图像。针对自由视点TV和3D TV中的平稳视点转换，必须生成中间图像，因此必须估计准确的深度图信息。此外，在本发明中，稍后将参照深度图估计单元114来详细描述用于估计深度图信息的方法。图像接收单元112确定是否单独输入了与输入图像数据相关的深度图信息，如果确定单独输入了深度图信息，则将深度图信息发送到深度图接收单元120。如果没有单独输入与输入图像数据相关的深度图信息，则深度图估计单元114针对输入图像数据的各个帧估计深度图信息，并将所估计出的深度图信息发送到深度图接收单元120。即，深度图估计单元114针对输入图像数据的各个帧中存在的各个像素估计深度图信息。这里，各个像素可包括R、G和B子像素。此外，输入图像数据是指2D图像数据。此外，深度图估计单元114可使用立体匹配算法作为用于估计深度图信息的通常方法。立体匹配算法仅在水平方向上搜索周围图像，以获得变化值，并且仅输入利用平行相机构造拍摄的图像或经过了校正的图像。本发明中描述的深度图信息是指指示深度感知的信息，并可称为Z缓冲器。此外，深度图估计单元114利用与画面的倾斜、对象的阴影、画面的焦点和对象图案相关的多个信息中的至少一个来分析各个帧，以估计深度图信息。例如，深度图估计单元114可通过基于帧中的倾斜确定在帧中位于画面的底部的对象在近处并且位于顶部的对象在远处来估计深度图信息。此外，深度图估计单元114可通过基于对象的阴影确定帧中的对象的暗色部分在远处并且该对象的亮色部分在近处来估计深度图信息。即，该方法使用阴影总在对象后面的原理。此外，深度图估计单元114可通过基于画面的焦点确定清晰对象在前面并且模糊对象在后面来估计深度图信息。此外，如果存在同一类型的多个连续图案，则深度图估计单元114可通过基于对象图案确定大尺寸图案在小尺寸图案的前面来估计深度图信息。深度图接收单元120从图像接收单元112或深度图估计单元114接收与输入的图像数据相关的深度图信息。即，当从图像内容供应方独立于图像数据接收深度图信息时，除了图像数据之外，深度图接收单元120通过图像接收单元112单独接收深度图信息。此外，当除了深度图信息之外还从图像内容供应方接收图像数据时，深度图接收单元120从输入图像数据接收由深度图估计单元114估计的深度图信息。空间直方图生成单元122利用与输入图像数据相关的深度图信息来生成空间直方图信息。空间直方图生成单元122通过针对输入图像数据的各个帧中的根据深度图信息分类的各个对象在横轴(X)和纵轴(Y)上对深度图信息进行直方图分析(histogramming)来生成空间直方图信息。空间直方图生成单元122通过针对各个对象对深度图信息进行直方图分析来生成空间直方图表。即，本发明中描述的空间直方图信息是指通过在横轴(X)和纵轴(Y)上对根据深度图信息分类的对象进行直方图分析所获得的信息。2D图像接收单元130接收从图像接收单元112或深度图估计单元114输入的图像数据的2D图像数据。即，当从图像内容供应方独立于图像数据接收深度图信息时，除了深度图信息之外，2D图像接收单元130通过图像接收单元112接收2D图像数据。此外，当除了深度图信息之外，还从图像内容供应方接收图像数据时，2D图像接收单元130通过深度图估计单元114仅接收2D图像数据。峰值频率生成单元132利用输入图像数据的2D图像数据生成峰值频率。峰值频率生成单元132通过按照预定宏块为单位对输入图像数据的各个帧进行扫描来将所述帧划分成多个区域，并利用所划分的多个区域中的每一个的像素值来计算峰值频率。为了计算峰值频率，峰值频率生成单元132利用快速傅里叶变换(FFT)将各个帧的频率分量划分成高频分量和低频分量，并将高频分量的系数的比确定为峰值频率。峰值频率生成单元132基于针对各个区域计算出的峰值频率生成峰值频率表。本发明中描述的宏块可具有诸如8X8、16X16、32X32、8X16、16X8、16X32、32X16等的各种尺寸，并可具有根据对应帧中的对象的各种尺寸。然而，可按照具有子块的宏块为单位对帧进行扫描。对象分析单元140基于从空间直方图生成单元122接收的空间直方图和从峰值频率生成单元132接收的峰值频率来检测输入图像数据的各个帧中的误差。如果对象中包括的空间直方图信息超过第一阈值，则对象分析单元140将该对象的对应区域分类为误差倾向区域410。然而，如果超出对象中包括的空间直方图信息的标准差的特定值在第一阈值的纵(Y)轴的正(+ )方向或负(_)方向上超过第一阈值，则对象分析单元140将与所述特定值对应的区域分类为误差倾向区域410。此外，对象分析单元140从通过按照预定宏块为单位对输入图像数据的各个帧进行扫描所划分的多个区域中选择与误差倾向区域410对应的区域，并且如果所选择的区域的峰值频率超出第二阈值，则确定误差倾向区域410的深度图信息中存在误差，从而将误差倾向区域410识别为误差包含区域。此外，如果与误差倾向区域410对应的峰值频率在所述正(+ )方向或负(-)方向上超出第二阈值，并且如果峰值频率超出第一阈值的正(+ )方向或负(_)方向的结果与峰值频率超出第二阈值的正(+ )方向或负(_)方向的结果彼此不一致，则对象分析单元140确定误差倾向区域410的深度图信息中存在误差，从而将误差倾向区域410识别为误差包含区域。当确定帧中存在误差时，深度图误差校正单元150对深度图信息进行校正，使得所述误差被校正。此外，深度图误差校正单元150对误差包含区域的深度图信息中的误差进行校正。例如，在深度图误差校正单元150可被实现为对整个帧的深度图信息中的误差进行校正的同时，如果由对象分析单元140确定了误差包含区域，则深度图误差校正单元150可被实现为对误差包含区域的深度图像信息进行校正。此外，如果超出与误差包含区域相关的空间直方图信息的标准差的特定值在第一阈值的纵(Y)轴的正(+)方向上超出第一阈值，则深度图误差校正单元150用于将在正(+)方向上超出第一阈值的所述特定值减小到空间直方图信息的标准差。此外，如果超出与误差包含区域相关的空间直方图信息的标准差的特定值在第一阈值的纵(Y)轴的负(_)方向上超出第一阈值，则深度图误差校正单元150用于将在负(_)方向上超出第一阈值的所述特定值增加到空间直方图信息的标准差。现在将描述图1中示出的用于校正3D图像中的误差的设备100的另一实施方式。空间直方图生成单元122缺省生成与一个帧相关的整个空间直方图信息，并且如果所生成的空间直方图大于特定区域，则创建空间直方图表。这里，所创建的空间直方图表的各个元素可作为一个对象被分开 。对象分析单元140通过针对由峰值频率生成单元132分开的各个对象对2D图像数据的对应区域 中的峰值频率进行分析来计算对应对象的峰值频率。即，对象分析单元140通过空间直方图生成单元122和峰值频率生成单元132而具有针对各个对象的空间直方图信息和峰值频率。这里，在下表I中示出了对象分析单元140获得的空间直方图表和峰值频率表。[表 I]
权利要求
1.一种用于校正三维3D图像中的误差的设备，该设备包括: 空间直方图生成单元，其利用与输入图像数据相关的深度图信息生成空间直方图信息； 峰值频率生成单元，其利用所述输入图像数据的二维2D图像数据生成峰值频率； 对象分析单元，其基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个帧中的误差； 深度图误差校正单元，如果确定所述帧中存在误差，则该深度图误差校正单元校正所述深度图信息，使得所述误差被校正；以及 渲染处理单元，其利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。
2.根据权利要求1所述的设备，其中，所述空间直方图生成单元通过针对所述输入图像数据的各个帧中的根据所述深度图信息分类的各个对象在横(X)轴和纵(Y)轴上对所述深度图信息进行直方图分析来生成所述空间直方图信息。
3.根据权利要求2所述的设备，其中，所述空间直方图生成单元通过针对各个对象对所述深度图信息进行直方图分析来生成空间直方图表。
4.根据权利要求1所述的设备，其中，所述峰值频率生成单元通过按照预定宏块为单位对所述输入图像数据的各个帧进行扫描来将所述帧划分成多个区域，并利用所划分的多个区域中的每一个的像素值来计算所述峰值频率。
5.根据权利要求4所述的设备`，其中，所述峰值频率生成单元利用快速傅里叶变换FFT将各个帧的频率分量划分成高频分量和低频分量，并将所述高频分量的系数的比确定为所述峰值频率。
6.根据权利要求5所述的设备，其中，所述峰值频率生成单元基于针对各个区域计算出的所述峰值频率来生成峰值频率表。
7.根据权利要求2所述的设备，其中，如果所述对象中包括的所述空间直方图信息超出第一阈值，则所述对象分析单元将所述对象的对应区域分类为误差倾向区域。
8.根据权利要求7所述的设备，其中，如果超出所述对象中包括的所述空间直方图信息的标准差的特定值在所述第一阈值的纵(Y)轴的正(+)方向或负(_)方向上超出所述第一阈值，则所述对象分析单元将与所述特定值对应的区域分类为所述误差倾向区域。
9.根据权利要求7所述的设备，其中，所述对象分析单元从通过按照预定宏块为单位对所述输入图像数据的各个帧进行扫描所划分的所述多个区域中选择与所述误差倾向区域对应的区域，如果所选择的区域的所述峰值频率超出第二阈值，则所述对象分析单元确定所述误差倾向区域的所述深度图信息中存在误差，从而将所述误差倾向区域识别为误差包含区域。
10.根据权利要求9所述的设备，其中，如果与所述误差倾向区域对应的所述峰值频率在所述正(+ )方向或负(_)方向上超出所述第二阈值，并且如果所述峰值频率超出所述第一阈值的所述正(+ )方向或负(_)方向的结果与所述峰值频率超出所述第二阈值的所述正(+ )方向或负(_)方向的结果彼此不一致，则所述对象分析单元确定所述误差倾向区域的所述深度图信息中存在误差，从而将所述误差倾向区域识别为所述误差包含区域。
11.根据权利要求9所述的设备，其中，所述深度图误差校正单元校正所述误差包含区域的所述深度图信息中的所述误差。
12.根据权利要求9所述的设备，其中，如果超出与所述误差包含区域相关的所述空间直方图信息的所述标准差的特定值在所述第一阈值的纵(Y)轴的所述正(+)方向上超出所述第一阈值，则所述深度图误差校正单元将在所述正(+)方向上超出所述第一阈值的所述特定值减小到所述空间直方图信息的所述标准差。
13.根据权利要求9所述的设备，其中，如果超出与所述误差包含区域相关的所述空间直方图信息的所述标准差的特定值在所述第一阈值的所述纵(Y)轴的所述负(_)方向上超出所述第一阈值，则所述深度图误差校正单元将在所述负(_)方向上超出所述第一阈值的所述特定值增加到所述空间直方图信息的所述标准差。
14.根据权利要求1所述的设备，该设备还包括: 深度图接收单元，其接收与所述图像数据相关的所述深度图信息；以及 2D图像接收单元，其接收所述输入图像数据的2D图像数据。
15.根据权利要 求14所述的设备，该设备还包括: 图像接收单元，其确定与所述输入图像数据相关的所述深度图信息是否被单独输入，如果确定所述深度图信息被单独输入，则该图像接收单元将所述深度图信息发送到所述深度图接收单元；以及 深度图估计单元，如果与所述输入图像数据相关的所述深度图信息没有被单独输入，则该深度图估计单元针对所述输入图像数据的各个帧估计所述深度图信息，并且将所估计出的深度图信息发送到所述深度图信息接收单元。
16.根据权利要求15所述的设备，其中，所述深度图估计单元利用与画面的倾斜、对象的阴影、画面的焦点和对象图案相关的多个信息中的至少一个来分析各个帧，以估计所述深度图信息。
17.一种用于校正3D图像中的误差的方法，该方法包括以下步骤: 空间直方图生成步骤，利用与输入图像数据相关的深度图信息生成空间直方图信息； 峰值频率生成步骤，利用所述输入图像数据的2D图像数据生成峰值频率； 对象分析步骤，基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个中贞中的误差； 深度图误差校正步骤，如果确定所述帧中存在误差，则校正所述深度图信息，使得所述误差被校正；以及 渲染处理步骤，利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。
18.根据权利要求17所述的方法，其中，所述空间直方图生成步骤包括以下步骤:通过针对所述输入图像数据的各个帧中的根据所述深度图信息分类的各个对象在横(X)轴和纵(Y)轴上对所述深度图信息进行直方图分析来生成所述空间直方图信息。
19.根据权利要求17所述的方法，其中，所述峰值频率生成步骤包括以下步骤: 通过按照预定宏块为单位对所述输入图像数据的各个帧进行扫描来将所述帧划分成多个区域； 利用快速傅里叶变换FFT将所划分的多个区域中的每一个区域中存在的像素的频率分量划分成高频分量和低频分量；以及将所述高频分量的系数的比确定为所述峰值频率。
20.根据权利要求17所述的方法，其中，所述对象分析步骤包括以下步骤: 如果所述对象中包括的所述空间直方图信息超出第一阈值，则将所述对象的对应区域分类为误差倾向区域； 从通过按照预定宏块为单位对所述输入图像数据的各个帧进行扫描所划分的所述多个区域中选择与所述误差倾向区域对应的区域；以及 如果所选择的区域的所述峰值频率超出第二阈值，则确定所述误差倾向区域的所述深度图信息中存在误差，从而将所述误差倾向区域识别为误差包含区域。
21.一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中检测所述深度图信息中的误差，该方法包括以下步骤: 确定超出针对所述2D图像数据的各个帧中的根据所述深度图信息分类的各个对象生成的空间直方图信息的标准差的特定值； 如果所述特定值在第一阈值的纵(Y)轴的正(+ )方向或负(_)方向上超出所述第一阈值，则将与所述特定值对应的区域分类为误差倾向区域； 如果所述误差倾向区域的峰值频率在所述正(+ )方向或负(_)方向上超出第二阈值，则确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果是否彼此一致；以及 如果确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果彼此不一致，`则确定所述深度图信息中存在误差。
22.一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中校正所述深度图信息中的误差，该方法包括以下步骤: 确定超出被确定为所述深度图信息中具有误差的误差包含区域的空间直方图信息的标准差的特定值； 确定所述特定值是否在纵(Y)轴的正(+ )方向或负(_)方向上超出第一阈值；以及如果确定所述特定值超出所述第一阈值，则通过基于所述特定值超出所述第一阈值的方向将所述特定值增加或减小到所述空间直方图信息的所述标准差来校正所述误差。
23.根据权利要求22所述的方法，其中，所述校正所述误差的步骤包括以下步骤:如果确定所述特定值在所述纵(Y)轴的所述正(+)方向上超出所述第一阈值，则将所述特定值减小到所述空间直方图信息的所述标准差，如果确定所述特定值在所述纵(Y)轴的所述负(_)方向上超出所述第一阈值，则将所述特定值增加到所述空间直方图信息的所述标准差。
24.一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中检测所述深度图信息中的误差并校正所述误差，该方法包括以下步骤: 确定超出针对所述2D图像数据的各个帧中的根据所述深度图信息分类的各个对象生成的空间直方图信息的标准差的特定值； 如果所述特定值超出第一阈值，则将与所述特定值对应的区域分类为误差倾向区域； 如果所述误差倾向区域的峰值频率超出第二阈值，则确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果是否彼此一致； 如果确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果彼此不一致，则确定所述深度图信息中存在误差；以及 通过基于所述特定值超出所述第一阈值的方向将所述特定值增加或减小到所述空间直方图信息的所述标准差来校正所述误 差。
全文摘要
本发明的实施方式涉及用于校正立体图像中的误差的方法和设备。根据本发明的实施方式的用于校正立体图像中的误差的设备包括空间直方图生成单元，其利用与输入图像数据相关的深度图信息生成空间直方图信息；峰值频率生成单元，其利用所述输入图像数据的2D图像数据生成峰值频率；对象分析单元，其基于所述空间直方图和所述峰值频率来确定所述输入图像数据的各个帧中的误差；深度图误差校正单元，其校正所述深度图信息，以减小误差；以及渲染处理单元，其利用经校正的深度图信息来生成作为立体图像的左眼图像和右眼图像。根据本发明的实施方式，可以确定并减小深度图信息中的误差，从而从提供深度图信息被应用于输入2D图像内容的立体图像内容的处理中减小由于深度图信息中的误差所导致的立体感知。
文档编号H04N13/00GK103119947SQ201180028346
公开日2013年5月22日 申请日期2011年4月8日 优先权日2010年6月8日
发明者禹大植, 全柄玑, 金娥烂, 李洪雨, 金钟大, 郑元晳 申请人:Sk 普兰尼特有限公司