面向裸眼3d显示的实拍双视点3d视频优化方法及系统的制作方法
【专利摘要】本发明揭示了一种面向裸眼3D显示的实拍双视点3D视频优化方法及系统，所述方法包括如下步骤：输入实拍双视点3D视频；选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；将第一视点图像分割成基本计算单元；基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视差场；使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视差场；将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及深度3D视频格式输出。本发明可避免复杂的后期处理以消除实拍双视点3D视频左右画面的差异；利用半自动视差计算方法可有效提取实拍双视点3D视频的深度信息或视差信息，保持实拍双视点3D视频的3D效果。
【专利说明】
面向裸眼3D显示的实拍双视点3D视频优化方法及系统
技术领域
[0001]本发明属于3D视频优化技术领域，涉及一种3D视频优化方法，尤其涉及一种面向 裸眼3D显示的实拍双视点3D视频优化方法；同时，本发明还涉及一种面向裸眼3D显示的实 拍双视点3D视频优化系统。
【背景技术】
[0002] 双视点3D视频是通用3D视频格式，是3D影视内容的主要形式。双视点3D视频可以 通过双摄像头3D摄像机拍摄，是3D影视内容获取的主要方式。但是，双摄像头3D摄像机使用 双摄像头分别拍摄左右画面，导致实拍双视点3D视频的左右画面通常存在差异，如亮度不 一致、颜色不一致、垂直视差等，会显著影响实拍双视点3D视频的3D显示效果，因此实拍双 视点3D影视内容通常需要复杂的后期处理与优化以获得好的3D视觉效果。
[0003] -种裸眼3D显示设备，由显示装置与光栅装置组成，可让观看者无需任何辅助设 备就可以感觉到3D效果。为解决多人多角度同时观看的问题，通常采用多视点显示方式，多 视点立体图像经过合成后可以在该裸眼3D显示设备上观看到3D效果。这样双视点3D视频要 在该裸眼3D显示设备上显示就需要实时提取双视点3D视频的深度信息或视差信息并实时 渲染成多视点立体视频，实时提取深度信息或视差信息是个巨大的难题，尤其是实拍双视 点3D视频，亮度不一致、颜色不一致、垂直视差等都是影响深度信息或视差信息实时提取的 重要因素。
[0004] 播放3D影视类等经过良好后期处理的双视点3D视频的裸眼3D显示设备已经出现 并规模应用，但是直接播放实拍双视点3D视频在该裸眼3D显示设备上面临诸多问题：（1)实 拍双视点3D视频左右画面存在亮度不一致、颜色不一致和垂直视差等显著影响3D效果的问 题；（2)亮度不一致、颜色不一致和垂直视差等问题也是影响实时多视点转换的重要因素， 使深度提取或视差提取不准确，导致3D图像扯动等严重问题。
[0005] 随着多视点裸眼3D显示设备的普及，迫切需要一种面向裸眼3D显示的简单快速的 实拍双视点3D视频优化方法与系统以优化其裸眼3D显示效果。
【发明内容】
[0006] 本发明所要解决的技术问题是:提供一种面向裸眼3D显示的实拍双视点3D视频优 化方法，避免实拍双视点3D视频左右画面不一致并保持深度信息或视差信息，提升3D显示 效果。
[0007] 此外，本发明还提供一种面向裸眼3D显示的实拍双视点3D视频优化系统，避免实 拍双视点3D视频左右画面不一致并保持深度信息或视差信息，提升3D显示效果。
[0008] 为解决上述技术问题，本发明采用如下技术方案：
[0009] 一种面向裸眼3D显示的实拍双视点3D视频优化方法，所述方法包括如下步骤：
[0010] 步骤S1.输入实拍双视点3D视频；
[0011] 步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；
[0012] 步骤S3.将第一视点图像分割成基本计算单元;所述基本计算单元按照块的形式 进行划分，优选块的大小为4x4或8x8或16x16;
[0013] 步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计 算视差场；
[0014] 所述搜索匹配单元采用半自动方法;边缘块及其相邻块采用人工方式进行视差赋 值，非边缘块根据空间相关性自动搜索匹配单元获取视差；
[0015] 所述非边缘块的自动搜索方法中：
其中Dm,n为基本计算单元视差，IU2分别为第一视点图像和第二视点图像，argmin为参数极 小值计算；
[0016] 步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素 的视差场；
[0017] 所述边缘指导的插值方法中，垂直方向插值采用如下方式进行：
[0018] Si,n=((M-v)*Dm,n + v*Dm + i,n)/M，M为基本计算单元垂直方向大小，
如果当前像素属于边缘块且位于边缘上方，
[0019] 水平方向插值采用如下方式进行：
[0020] di, j = ((N-h)*Si,n+h*Si,n+i)/N，di, j为像素视差，N为基本计算单元水平方向大小，
如果当前像素属于边缘块且位于边缘左边
[0021] 步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图 像及深度3D视频格式输出；
[0022] 其中，视差场归一化采用如下方式:Xi, j = _k*di, j+b，k与b为常数，且最大负视差对 应最大值，最大正视差对应零；
[0023] 所述步骤S6中，将第一视点图像放在左边，对应的视差场放在右边形成图像及深 度3D视频格式。
[0024] 一种面向裸眼3D显示的实拍双视点3D视频优化方法，所述方法包括如下步骤：
[0025]步骤S1.输入实拍双视点3D视频；
[0026] 步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；
[0027] 步骤S3.将第一视点图像分割成基本计算单元；
[0028]步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计 算视差场；
[0029] 步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素 的视差场；
[0030] 步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图 像及深度3D视频格式输出。
[0031] 作为本发明的一种优选方案，所述基本计算单元按照块的形式进行划分，优选块 的大小为4x4或8x8或16x16。
[0032] 作为本发明的一种优选方案，所述搜索匹配单元采用半自动方法。
[0033] 作为本发明的一种优选方案，所述搜索匹配单元采用的半自动方法中，边缘块及 其相邻块采用人工方式进行视差赋值，非边缘块根据空间相关性自动搜索匹配单元获取视 差。
[0034] 作为本发明的一种优选方案，所述非边缘块的自动搜索方法中，
，其中Dm,η为基本计算单兀视差，II、 12分别为第一视点图像和第二视点图像，argmin为参数极小值计算。
[0035] 作为本发明的一种优选方案，所述边缘指导的插值方法中，垂直方向插值采用如 下方式进行：
[0036] Si, n = ( (M_V)*Dm,n + V*Dm + l,n)/M，M为基本计算单元垂直方向大小，
如果当前像素属于边缘块且位于边缘上方：
[0037] 水平方向插值采用如下方式进行：
[0038] 为像素视差，N为基本计算单元水平方向大小，
:如果当前像素属于边缘块且位于边缘左边，
[0039] 作为本发明的一种优选方案，所述步骤S6中，视差场归一化采用如下方式:Xlu = _ k*di, j+b，k与b为常数，且最大负视差对应最大值，最大正视差对应零。
[0040] 作为本发明的一种优选方案，所述步骤S6中，将第一视点图像放在左边，对应的视 差场放在右边形成图像及深度3D视频格式。
[0041] 一种面向裸眼3D显示的实拍双视点3D视频优化系统，所述系统包括：
[0042]实拍双视点3D视频输入模块，用以输入实拍双视点3D视频；
[0043]视点图像选择模块，用以选择左图或右图为第一视点图像，则相应的右图或左图 为第二视点图像；
[0044] 第一视点图像分割模块，用以将第一视点图像分割成基本计算单元；
[0045] 视差场计算模块，用以基于第一视点图像的基本计算单元在第二视点图像中搜索 匹配单元，计算视差场；
[0046] 视差场转换模块，用以使用边缘指导的插值方法将基于基本计算单元的视差场转 换为基于像素的视差场；
[0047] 3D视频格式输出模块，用以将基于像素的视差场归一化，将第一视点图像与基于 像素的视差场按图像及深度3D视频格式输出。
[0048]本发明的有益效果在于:本发明提出的面向裸眼3D显示的实拍双视点3D视频优化 方法及系统，可避免实拍双视点3D视频左右画面不一致，同时克服由于实时深度提取或视 差提取不准确导致的3D视觉效果问题。
[0049]本发明将实拍双视点3D视频转换为图像及深度3D视频，可避免复杂的后期处理以 消除实拍双视点3D视频左右画面的差异，如亮度差异、颜色差异和垂直视差等;利用半自动 视差计算方法可有效提取实拍双视点3D视频的深度信息或视差信息，保持实拍双视点3D视 频的3D效果。
【附图说明】
[0050]图1实拍双视点3D视频示例。
[0051 ]图2边缘基本计算单元示意图。
[0052]图3本发明技术方案流程图。
[0053]图4图像+深度3D视频示例。
【具体实施方式】
[0054]下面结合附图详细说明本发明的优选实施例。
[0055] 实施例一
[0056]请参阅图3,本发明揭示了一种面向裸眼3D显示的实拍双视点3D视频优化方法，所 述方法包括如下步骤：
[0057] 步骤S1.输入实拍双视点3D视频，可参见图1;
[0058]步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像；
[0059] 步骤S3.将第一视点图像分割成基本计算单元;所述基本计算单元按照块的形式 进行划分(如图2所示），优选块的大小为4x4或8x8或16x16;
[0060] 步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计 算视差场；
[0061] 所述搜索匹配单元采用半自动方法;边缘块及其相邻块采用人工方式进行视差赋 值，非边缘块根据空间相关性自动搜索匹配单元获取视差；
[0062] 所述非边缘块的自动搜索方法中
其中Dm,n为基本计算单元视差，IU2分别为第一视点图像和第二视点图像，argmin为参数极 小值计算；
[0063] 步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素 的视差场；
[0064] 所述边缘指导的插值方法中，垂直方向插值采用如下方式进行：
[0065]Si, n = ( (M-v)*Dm,n + v*Dm + i,n)/M，M为基本计算单元垂直方向大小，
如果当前像素属于边缘块且位于边缘上方，
，否则
[0066] 水平方向插值采用如下方式进行：
[0067] di,j = ((N_h)*Si,n+h*Si,n+i)/N，di, j为像素视差，N为基本计算单元水平方向大小，
;如果当前像素属于边缘块且位于边缘左边
，否则
[0068] 步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图 像及深度3D视频格式输出（可参阅图4);
[0069] 其中，视差场归一化采用如下方式:Xi, j = -k*di, j+b，k与b为常数，且最大负视差对 应最大值，最大正视差对应零；
[0070] 所述步骤S6中，将第一视点图像放在左边，对应的视差场放在右边形成图像及深 度3D视频格式。
[0071] 本发明还揭示一种面向裸眼3D显示的实拍双视点3D视频优化系统，所述系统包 括:实拍双视点3D视频输入模块、视点图像选择模块、第一视点图像分割模块、视差场计算 模块、视差场转换模块、3D视频格式输出模块。
[0072]实拍双视点3D视频输入模块用以输入实拍双视点3D视频；
[0073]视点图像选择模块用以选择左图或右图为第一视点图像，则相应的右图或左图为 第二视点图像；
[0074]第一视点图像分割模块用以将第一视点图像分割成基本计算单元；
[0075]视差场计算模块用以基于第一视点图像的基本计算单元在第二视点图像中搜索 匹配单元，计算视差场；
[0076]视差场转换模块用以使用边缘指导的插值方法将基于基本计算单元的视差场转 换为基于像素的视差场；
[0077] 3D视频格式输出模块用以将基于像素的视差场归一化，将第一视点图像与基于像 素的视差场按图像及深度3D视频格式输出。
[0078] 上述各个模块的具体功能可以参见上述方法的描述，这里不做赘述。
[0079] 实施例二
[0080] 一种面向裸眼3D显示的实拍双视点3D视频优化方法，所述方法包括如下步骤：
[0081 ]步骤S1.输入实拍双视点3D视频；
[0082]步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像； [0083]步骤S3.将第一视点图像分割成基本计算单元；
[0084] 步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计 算视差场；
[0085] 步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素 的视差场；
[0086] 步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图 像及深度3D视频格式输出。
[0087]综上所述，本发明提出的面向裸眼3D显示的实拍双视点3D视频优化方法及系统， 可避免实拍双视点3D视频左右画面不一致，同时克服由于实时深度提取或视差提取不准确 导致的3D视觉效果问题。
[0088]本发明将实拍双视点3D视频转换为图像及深度3D视频，可避免复杂的后期处理以 消除实拍双视点3D视频左右画面的差异，如亮度差异、颜色差异和垂直视差等;利用半自动 视差计算方法可有效提取实拍双视点3D视频的深度信息或视差信息，保持实拍双视点3D视 频的3D效果。
[0089]这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例 中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实 施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明 的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、 材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进 行其它变形和改变。
【主权项】
1. 一种面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于，所述方法包括如 下步骤： 步骤Sl.输入实拍双视点3D视频； 步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像； 步骤S3.将第一视点图像分割成基本计算单元;所述基本计算单元按照块的形式进行 划分，优选块的大小为4x4或8x8或16x16; 步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视 差场； 所述搜索匹配单元采用半自动方法;边缘块及其相邻块采用人工方式进行视差赋值， 非边缘块根据空间相关性自动搜索匹配单元获取视差； 所述非边缘块的自动搜索方法中其中Dm,n为基本计算单元视差，I1J2分别为第一视点图像和第二视点图像，argmin为参数极 小值计算； 步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视 差场； 所述边缘指导的插值方法中，垂直方向插值采用如下方式进行： 31,11=((1-￥)*0111,11+￥*0111+1, 11)/]\1，]\1为基本计算单元垂直方向大小，_=#：^ = ；[%1;如果当前像素属于边缘块且位于边缘上方，！ 水平方向插值采用如下方式进行： di.jiUN-hhSi.n+l^Si.n+O/Hj为像素视差，N为基本计算单元水平方向大小， 数=^ h = j % N ;如果当前像素属于边缘块且位于边缘左边，则綠=I 一 I h = 0，否则 这=I + .Ui = O; 步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及 深度3D视频格式输出； 其中，视差场归一化采用如下方式:Xi, j = _k*di, j+b，k与b为常数，且最大负视差对应最 大值，最大正视差对应零； 所述步骤S6中，将第一视点图像放在左边，对应的视差场放在右边形成图像及深度3D 视频格式。2. -种面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于，所述方法包括如 下步骤： 步骤Sl.输入实拍双视点3D视频； 步骤S2.选择左图或右图为第一视点图像，则相应的右图或左图为第二视点图像； 步骤S3.将第一视点图像分割成基本计算单元； 步骤S4.基于第一视点图像的基本计算单元在第二视点图像中搜索匹配单元，计算视 差场； 步骤S5.使用边缘指导的插值方法将基于基本计算单元的视差场转换为基于像素的视 差场； 步骤S6.将基于像素的视差场归一化，将第一视点图像与基于像素的视差场按图像及 深度3D视频格式输出。3. 根据权利要求2所述的面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于： 所述基本计算单元按照块的形式进行划分，优选块的大小为4x4或8x8或16x16。4. 根据权利要求2所述的面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于： 所述搜索匹配单元采用半自动方法。5. 根据权利要求4所述的面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于： 所述搜索匹配单元采用的半自动方法中，边缘块及其相邻块采用人工方式进行视差赋 值，非边缘块根据空间相关性自动搜索匹配单元获取视差。6. 根据权利要求5所述的面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于： 所述非边缘块的自动搜索方法=其中Dm,n为基本计算单元视差，I1J2分别为第一视点图像和第二视点图像，argmin为参数极 小值计算。7. 根据权利要求2所述的面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于： 所述边缘指导的插值方法中，垂直方向插值采用如下方式进行： Si, n = ( ( M-V ) *Dm, n+V*Dm+l, n ) /M，M为基本计算单元垂直方向大/J? M ;如果 当前像素属于边缘块且位于边缘上方，卩，否！ ^水平方向插值采用如下方式进行：di.jiUN-hhSi.n+l^Si.n+O/Hj为像素视差，N为基本计算单元水平方向大小， 数= I^h = j %N;如果当前像素属于边缘块且位于边缘左边，则-Ih = O，否则8. 根据权利要求2所述的面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于： 所述步骤S6中，视差场归一化采用如下方式 :Xlu = -k*dlu+b，k与b为常数，且最大负视 差对应最大值，最大正视差对应零。9. 根据权利要求2所述的面向裸眼3D显示的实拍双视点3D视频优化方法，其特征在于： 所述步骤S6中，将第一视点图像放在左边，对应的视差场放在右边形成图像及深度3D 视频格式。10. -种面向裸眼3D显示的实拍双视点3D视频优化系统，其特征在于，所述系统包括： 实拍双视点3D视频输入模块，用以输入实拍双视点3D视频； 视点图像选择模块，用以选择左图或右图为第一视点图像，则相应的右图或左图为第 二视点图像； 第一视点图像分割模块，用以将第一视点图像分割成基本计算单元； 视差场计算模块，用以基于第一视点图像的基本计算单元在第二视点图像中搜索匹配 单元，计算视差场； 视差场转换模块，用以使用边缘指导的插值方法将基于基本计算单元的视差场转换为 基于像素的视差场； 3D视频格式输出模块，用以将基于像素的视差场归一化，将第一视点图像与基于像素 的视差场按图像及深度3D视频格式输出。
【文档编号】H04N13/00GK106028018SQ201610375463
【公开日】2016年10月12日
【申请日】2016年5月31日
【发明人】方勇, 石岩
【申请人】上海易维视科技股份有限公司