一种可减缓死角的裸眼立体图像合成系统及其合成方法
【专利摘要】本发明公开一种可减缓死角的裸眼立体图像合成系统，其包括深度图生成单元、基于深度图像的绘制单元和存储器，其还包括反视差图像装置、裸眼屏像素合成器和显示屏，所述反视差图像装置的输入端分别与深度图生成单元、基于深度图像的绘制单元的输出端连接，反视差图像装置一输出端与裸眼屏像素合成器的输入端连接，裸眼屏像素合成器的输出端与显示屏连接。本发明采用反视差图像装置生成反视差图像，替换或插入基于深度图像的绘制单元生成的多视角图像中，填补多视角图像的空洞，使其合成的最终多视角视差变小，使人产生连续感，得到更舒服的多视图,且生成的图像空洞变少，空洞范围变小，从而减少修补的工作量和时间，得到更接近实际图像的多视图。
【专利说明】一种可减缓死角的裸眼立体图像合成系统及其合成方法
【技术领域】
[0001 ] 本发明涉及多视角与三维图像合成【技术领域】，尤其涉及一种可减缓死角的裸眼立体图像合成系统及其合成方法。
【背景技术】
[0002]继高清晰度电视以后，立体电视(3DTV)将成为下一代电视技术的发展方向。传统的立体视频是将左右两台摄像机固定在场景中模拟人的双眼从两个不同角度拍摄得到的。这就造成在传输节目时需要传输两路视频。为了减少数据的传输，联合视频小组JVT和欧洲的ATTEST项目都建议采用“视频+深度”的数据格式。这样，左右视频可以由中间视频及其对应的深度图像(depth iamge)来合成,这便是3DTV中的基于深度图形的绘制(DepthImage BasedRendering, DIBR)技术。DIBR能利用参考图像及其对应的深度图合成任意视点的视图，是一种比较有前途的方法。
[0003]如图1所示，目前多视角图像的合成方式是利用由两张二维图像合成出一张深度图，再利用其中一张二维图像与合成的深度图配合采用基于深度图形的绘制技术(DIBR)生成多张不同视角的图像。
[0004]现有技术使用一张二维图像与合成的深度图来生成不同视角的图像，且每一视角之间的视差均为固定方向。如图2所示，通过原始二维图影像I和一张深度图，通过基于深度图形的绘制技术(DIBR)生成六张不同视角的影像，分别为影像1-1，影像1-2、影像1-3、影像1-4、影像1_5、影像1-6,其中，以原始二维图影像I为中心,影像1-1、影像1-3和影像1-5处于同一侧，相邻影像的视差角度分别为a，b，c ；a, b，c均为同一性质的数值，a若为正值，b, c必定也为正值，a为负值，b, c必定也为负值。影像1-2、影像1_4和影像1_6处于原始二维图影像I的另外一侧，相邻影像的视差角度分别为d，e，f，而a与d的性质必定相反，a为正数的话，d必定为负数，反之亦然，而d，e, f则为同一性质的数值。这样需要生成的次数多、角度大(例如图2中，影像1-1的视差角度为a，但影像1-5的视差角度为a+b+c)，生成的视图产生的角度随之变大，这就需要花费更多的时间与成本做图像生成与修补工作，且当修补的部位越多，修补出来的图像偏离原始图像的情况就越严重。
[0005]图3为现有DIBR技术所生成的视差图与裸眼显示屏之间的对应图，所生成的影像数为6，对应到7个视角的裸眼显示屏，当用户在观看时，若是站在视差最大的相邻两视角的交界处(如图4所示)会有明显的不舒服感。
【发明内容】
[0006]为了克服现有技术的不足，本发明的目的在于提供一种可改善死角所造成的不舒服感，且生成出的影像失真较小的可减缓死角的裸眼立体图像合成系统及其合成方法。
[0007]本发明的技术方案为:一种可减缓死角的裸眼立体图像合成系统，其包括深度图生成单元、基于深度图像的绘制单元和存储器，深度图生成单元的输出端与基于深度图像的绘制单元的输入端连接，基于深度图像的绘制单元的输出端与存储器连接，其还包括反视差图像装置、裸眼屏像素合成器和显示屏，所述反视差图像装置的输入端分别与深度图生成单元、基于深度图像的绘制单元的输出端连接，反视差图像装置一输出端与裸眼屏像素合成器的输入端连接，另一端与存储器连接，裸眼屏像素合成器的输出端与显示屏连接。
[0008]进一步，所述反视差图像装置包括反视差图像视差角度计算单元、图像替代单元和内插图像计算单元，
[0009]所述反视差图像视差角度计算单元:计算出反视差图像的视差角度；
[0010]所述图像替代单元:根据反视差图像视差角度计算单元所计算出的视差角度，若反视差图像与最接近的基于深度图像的绘制单元产生的图像的视差角度差在视觉容忍角度范围内，以最接近的基于深度图像的绘制单元产生的图像作为反视差图像，并插入到基于深度图像的绘制单元产生的图像中；
[0011]所述内插图像计算单元:根据反视差图像视差角度计算单元所计算出的视差角度，若反视差图像与最接近的基于深度图像的绘制单元产生的图像的视差角度差超出视觉容忍角度范围，则生成反视差图像，并将生成的反视差图像插入基于深度图像的绘制单元产生的图像中。
[0012]本发明所述的可减缓死角的裸眼立体图像合成系统的合成方法包括以下步骤:
[0013]1)深度图生成单元根据输入的两张二维图像，生成一张深度图；
[0014]2)基于深度图像的绘制单元根据其中一张二维图像和步骤I生成的深度图生成N张多视角图像，其中，往左生成的第一张图像与中心线的视差角度为α，第W张图像与中心线的视差角度为W* α，往右方生成M张图像，往右生成的第一张图像与中心线的视视差角
度为α，第M张图像与中心线的视差角度为Μ*α，其中，W小于或等于M，
【权利要求】
1.一种可减缓死角的裸眼立体图像合成系统，其包括深度图生成单元、基于深度图像的绘制单元和存储器，深度图生成单元的输出端与基于深度图像的绘制单元的输入端连接，基于深度图像的绘制单元的输出端与存储器连接，其特征在于:其还包括反视差图像装置、裸眼屏像素合成器和显示屏，所述反视差图像装置的输入端分别与深度图生成单元、基于深度图像的绘制单元的输出端连接，反视差图像装置一输出端与裸眼屏像素合成器的输入端连接，另一端与存储器连接，裸眼屏像素合成器的输出端与显示屏连接。
2.根据权利要求1所述的可减缓死角的裸眼立体图像合成系统，其特征在于:所述反视差图像装置包括反视差图像视差角度计算单元、图像替代单元和内插图像计算单元， 所述反视差图像视差角度计算单元:计算出反视差图像的视差角度； 所述图像替代单元:根据反视差图像视差角度计算单元所计算出的视差角度，若反视差图像与最接近的基于深度图像的绘制单元产生的图像的视差角度差在视觉容忍角度范围内，以最接近的基于深度图像的绘制单元产生的图像作为反视差图像，并插入到基于深度图像的绘制单元产生的图像中； 所述内插图像计算单元:根据反视差图像视差角度计算单元所计算出的视差角度，若反视差图像与最接近的基于深度图像的绘制单元产生的图像的视差角度差超出视觉容忍角度范围，则生成反视差图像，并将生成的反视差图像插入基于深度图像的绘制单元产生的图像中。
3.根据权利要求1或2所述的可减缓死角的裸眼立体图像合成系统的合成方法，其特征在于:其包括以下步骤: 1)深度图生成单元根据输入的两张二维图像，生成一张深度图； 2)基于深度图像的绘制单元根据其中一张二维图像和步骤I生成的深度图生成N张多视角图像，其中，往左生成的第一张图像与中心线的视差角度为α，第W张图像与中心线的视差角度为W* α，往右方生成M张图像，往右生成的第一张图像与中心线的视视差角度为α，第M张图像与中心线的视差角度为Μ* α，其中，W小于或等于MK，M≤；同时，将原始的二维图像放中心线位置；并将生成的多视角图像及原始的二维图像发送给反视差图像装置和存储器； 3)所述反视差图像装置接收基于深度图像的绘制单元发送的多视角图像及原始的二维图像，并分别存入图像替代单元和内插图像计算单元； 设定要生成的反视差图像张数为X，所述反视差图像视差角度计算单元计算反视差图像的视差角度β=，设定视差容忍角度为Y ;反视差图像的视差角度β与最接近的基于深度图像的绘制单元生成的图像的视差角度Wa或Ma的差为或； 若=O或=O或≤Y或≤Y，视差角度为Wa或Ma的图像为与反视差图像最接近的图像，将视差角度为Wa或Ma的图像作为反视差图像并插入到反视差图像的位置，然后将插入了反视差图像的多视角图像及原始的二维图像发送给裸眼屏像素合成器和存储器； 若或≥Y，内插图像计算单元生成反视差图像，并将生成的反视差图像插入基于深度图像的绘制单元发送的图像中，然后将插入反视差图像后的多视角图像及原始的二维图发送给裸眼屏像素合成器和存储器； 4)裸眼屏像素合成器根据接收的图像，按照裸眼屏的参数将多张视角图合并成一张分辨率与裸眼显示屏相同的影像，并发送到显示屏上显示。
4.根据权利要求3所述的可减缓死角的裸眼立体图像合成系统的合成方法，其特征在于:所述基于深度图像的绘制单元要生成的多视角图像总数NS 5时，反视差图像生成单元生成一张反视差图像；当要生成的图像总数N> 5时，反视差图像生成单元生成两张以上反视差图像。
5.根据权利要求4所述的可减缓死角的裸眼立体图像合成系统的合成方法，其特征在于:所述插入的反视差图像为一张时，其插入的方向与基于深度图像的绘制单元要生成的第N张视角图方向相反；若插入的反视差图像为两张时，第一张反视差图像插入的方向与基于深度图像的绘制单元要生成的第N张视角图方向相反，第二张反视差图像插入的方向与基于深度图像的绘制单元要生成的第N张视角图方向相同，三张以上的反视差图像的方向则根据前两张生成图像的方向的周期不断重复。
6.根据权利要求3所述的可减缓死角的裸眼立体图像合成系统的合成方法，其特征在于:所述反视差图像生成单元采用DIBR技术或MEMC技术生成反视差图像。
7.根据权利要求3所述的可减缓死角的裸眼立体图像合成系统的合成方法，其特征在于:所述基于深度图像的绘 制单元采用深度图像绘制技术生成多视角图像。
【文档编号】H04N13/00GK103747228SQ201410033385
【公开日】2014年4月23日 申请日期:2014年1月24日 优先权日:2014年1月24日
【发明者】吕昭宏, 许胜允, 王孝艳 申请人:冠捷显示科技（厦门）有限公司