专利名称：三维影像的深度加强系统及方法
技术领域：
本发明涉及数字影像处理，特别是涉及一种三维(3D)影像的深度加强系统及方法。
背景技术：
当三维物体藉由照相机或摄影机而投影映射至二维影像平面时，会失去许多的信息，特别是三维深度信息。三维成像系统可藉由录制三维视觉信息或创造深度幻觉而传达三维信息给观者。虽然三维成像技术已有一世纪以上的历史，然而由于近来高解析度及低价格显示器(例如液晶显示器)的发展，使得三维显示器变得更为实际及普遍。图IA显示传统三维成像系统的方块图，其中，深度产生器10根据二维输入影像而产生深度信息。该深度信息经由深度影像成像器(d印th-image-based rendering,DIBR) 12 的处理而产生左(L)影像14A及右(R)影像14B，其经显示而让观者观看。图IB显示另一种传统三维成像系统的方块图，其中，三维记录器(例如蓝光数字影音光盘)16或电视广播信号记录左影像18A及右影像18B，其可使用图ID所例示方法加以编码，例如肩并肩编码(side-by-side)、上下编码(top-bottom、over-under 或 above-below)、线交错编码 (line-by-line 或 line interlace)或棋盘式编码(checkerboard)。图 IC 显示又一种传统三维成像系统的方块图，其中，三维记录器16或电视广播信号记录深度图(cbpth map) 20 以及左影像18A和右影像18B其中之一，此一般称为二维+深度型态。深度影像成像器 (DIBR) 12根据深度图20及左影像18A以产生右影像18B，其经显示而让观者观看。传统三维成像系统具有一些缺点，例如有限的深度范围。因此，经常使得观者无法分辨原本应具有不同深度的不同物件。鉴于传统三维成像系统无法有效显示三维影像或视讯，因此亟需提出一种新颖的三维成像系统及方法，其具有改良的深度特性。
发明内容
鉴于上述现有技术的缺陷，本发明实施例的目的之一在于提出一种三维影像的深度加强系统及方法，用以提高三维影像或视讯的品质，使得观者得以感知更多的深度层级。根据本发明实施例，深度产生器产生相关于一影像的至少一深度图。深度加强器藉由伸展该深度图所相关的一深度直方图，以加强深度图，其中该深度直方图为影像像素的深度层级的分布。根据本发明另一实施例，接收相关于一影像的至少一深度图，且分割深度图使成为多个分割的深度图。接着，根据这些分割深度图，以产生多个区域深度直方图。最后，改变影像的深度特征，以分别加强该些分割的深度图。
图IA显示传统三维成像系统的方块图。
图IB显示另一种传统三维成像系统的方块图。
图IC显示又一种传统三维成像系统的方块图。
图ID显示三维记录器或广播信号的三维格式。
图2显示本发明实施例的三维影像的深度加强系统的方块图。
图3显示本发明实施例的三维影像的深度加强方法的流程图。
图4A例示原始深度图的深度直方图。
图4B显示进行深度直方图伸展后的加强深度直方图。
图5显示对深度直方图的深度层级施以S曲线转换。
图6显示本发明另一实施例的三维影像的深度加强方法的流程图
图7例示根据分割的深度图以产生多个相应的区域深度直方图。
附图符号说明
10深度产生器
12深度影像成像器(DIBR)
14A左影像
14B右影像
16三维记录器(电视广播信号)
18A左影像
18B右影像
18A'‘左影像
18B'‘右影像
21A左影像
21B右影像
22深度产生器
23深度加强器
24深度影像成像(DIBR)单元
25A加强左影像
25B加强右影像
31-34 步骤
61-64B步骤
具体实施例方式图2显示本发明实施例的三维影像的深度加强系统的方块图。图3显示本发明实施例的三维影像的深度加强方法的流程图。三维影像又称为立体(stereoscopic)影像。于步骤31，接收可显示于三维成像系统的左(L)影像21A及右(R)影像21B。接着，以深度产生器22产生至少一深度图(步骤32)。例如，深度产生器22产生左深度图及右深度图，其分别对应至原始左影像及右影像。于另一例子中，深度产生器22产生单一深度图。于深度图中，每一像素或区块具有相应的深度值。例如，靠近观者物件的深度值比远离观者物件的深度值来得大。因此，于深度图影像中，靠近观者物件的亮度会比远离观者物件的亮度来得大。在另一实施例中，可由深度产生器(例如图IA的10)来提供，或者由三维成像系统的三维记录器(例如图IC的16)来提供。 接下来，于步骤33，以深度加强器23对深度产生器22所产生的一个或多个深度图进行加强，以更改或改进影像的深度特性。在本实施例中，对深度产生器22所产生的深度图进行深度直方图(histogram)的伸展(stretching)。深度直方图为像素的深度层级的分布(其通常绘制为图表)，其中，每一深度层级具有相应的像素计数值。当直方图被绘制为图表时，则水平轴代表深度层级，而垂直轴则代表相应的像素数目。图4A例示原始深度图的深度直方图，而图4B显示进行深度直方图伸展后的加强深度直方图。于此例子中，原始深度图所对应的影像，其像素的深度层级皆小于100 ；然而，加强深度图所对应的加强影像，其像素的深度层级则伸展于整个深度层级范围。在一实施例中，前述深度直方图伸展(cbpth histogram stretching)的执行是对每一深度层级施以一增益。在另一实施例中，深度直方图伸展的执行是对深度直方图的深度层级施以特征曲线(例如伽玛(Gamma)曲线)的转换或映射。图5显示对深度直方图的深度层级施以S曲线转换。如图所示，S曲线的最大斜率通过最大像素数目的深度层级。 一般来说，深度直方图伸展的执行可对深度直方图的每一深度层级施以加、减、乘或除一数值，用以均衡(equalize)每一深度层级。接着，于步骤34，来自深度加强器23的加强深度图被馈至深度影像成像(DIBR) 单元M，其根据加强深度图及原始左影像及右影像，用以产生(或合成)加强左(L’)影像 25A及加强右(R，)影像25B。所产生的加强左影像及加强右影像则可由三维成像系统所显示。深度影像成像(DIBR)单元M的实施可使用传统技术，例如Christoph i^ehn所揭示的，，A 3D-TVApproach Using Depth-Image-Based Rendering(DIBR)，，。图6显示本发明另一实施例的三维影像的深度加强方法的流程图。于步骤61，自深度产生器22(图幻接收深度图。接着，于步骤62，决定接下来的深度加强究竟是要全域地执行抑或区域地执行。如果为全域地执行深度加强，则根据整个深度图以产生全域深度直方图(步骤 63A)。接着，于步骤64A，对全域深度直方图的深度层级进行加强，例如使用图5所例示的S 曲线转换(或映射)。如果为区域地执行深度加强，则根据分割的深度图以产生多个区域深度直方图 (步骤63B)。图7例示根据分割的深度图以产生多个相应的区域深度直方图。在此例子中， 整个深度图被分割为2x2或4个分割的深度图。接着，于步骤64B，对各个区域深度直方图的深度层级分别进行加强，例如使用S曲线对区域深度直方图进行转换(或映射)。每一区域深度直方图可施以不同的转换，而一些区域深度直方图也可不进行转换。以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的权利要求的范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在本申请的权利要求内。
权利要求
1.一种三维影像的深度加强系统，包含一深度产生器，用以产生相关于一影像的至少一深度图；以及一深度加强器，其藉由伸展该深度图相关的一深度直方图，以加强该深度图，其中该深度直方图为该影像的像素的深度层级的分布。
2.如权利要求1所述三维影像的深度加强系统，其中该深度直方图的深度层级被施以特征曲线的转换。
3.如权利要求1所述三维影像的深度加强系统，其中该深度直方图的每一深度层级被施以加、减、乘或除一数值，用以均衡每一该深度层级。
4.如权利要求1所述三维影像的深度加强系统，其中该深度产生器根据一左影像以产生一左深度图，且根据一右影像以产生一右深度图。
5.如权利要求1所述三维影像的深度加强系统，还包含一深度影像成像单元，其接收该加强深度图，藉以产生一加强左影像及一加强右影像。
6.一种三维影像的深度加强方法，包含 接收相关于一影像的至少一深度图；产生相关于该深度图的一深度直方图，其中该深度直方图为该影像的像素的深度层级的分布；以及藉由伸展该深度直方图，以加强该深度图。
7.如权利要求6所述三维影像的深度加强方法，其中该深度直方图的伸展步骤包含 对该深度直方图的每一深度层级施以一增益。
8.如权利要求7所述三维影像的深度加强方法，其中该深度直方图的伸展步骤包含 对该深度直方图的深度层级施以特征曲线的转换。
9.如权利要求7所述三维影像的深度加强方法，其中该深度直方图的伸展步骤包含 对该深度直方图的每一深度层级施以加、减、乘或除一数值，用以均衡每一该深度层级。
10.如权利要求7所述三维影像的深度加强方法，其中该至少一深度图包含对应于一左影像的一左深度图，及对应于一右影像的一右深度图。
11.如权利要求7所述三维影像的深度加强方法，还包含 接收该加强深度图，藉以产生一加强左影像及一加强右影像。
12.—种三维影像的深度加强方法，包含 接收相关于一影像的至少一深度图； 分割该深度图使成为多个分割的深度图；根据该些分割深度图，以产生多个区域深度直方图；以及改变该影像的深度特征，以分别加强该分割的深度图；其中每一该区域深度直方图为该相应分割深度图的该影像像素的深度层级的分布。
13.如权利要求12所述三维影像的深度加强方法，其中该分割深度图的加强步骤包含伸展该区域深度直方图。
全文摘要
一种三维影像的深度加强系统及方法。该三维影像的深度加强系统包括一深度产生器和一深度加强器。该深度产生器产生相关于一影像的至少一深度图。该深度加强器藉由伸展深度图所相关的一深度直方图，以加强深度图，其中深度直方图为影像像素的深度层级的分布。
文档编号H04N13/00GK102404583SQ20101028109
公开日2012年4月4日 申请日期2010年9月9日 优先权日2010年9月9日
发明者钮圣君, 黄铃琇 申请人:承景科技股份有限公司