景深图校正方法及系统的制作方法
【技术领域】
[0001] 本申请一般而言涉及一景深图校正方法及系统。
【背景技术】
[000引根据动态图像专家组（MovingPicUireExpertsGroup,简称MPEG)组织目前制定 的立体视频压缩标准（3DVideoCoding,简称3DVC)，希望能在达到符合现今数字传输环境 的流量限制下，呈现多视角（multi-view)的立体视觉效果。3DVC与之前的多视角编码方法 (multi-viewvideocoding，MVC)相比，其不用纪录数量鹿大的视角信息，而是W视角合成 的方式去建立该些视角，可W节省大量的数据量。
[0003] 3DVC整体的架构主要希望能在多张纹理图像（tex化reimage)中，仅运用其中 少数几张图框（化ame)的纹理图像（实际视角图像）配合它们对应的场景深度图（景深图、 depthmap),W视角合成（viewsynthesis)的方式来合成出多张虚拟视角（virtualview) 图像。举例来说，景深图像为基础撞染（D巧thImageBasedRendering,简称DIBR)的算 法，可使用H张实际视角图像加上对应的景深图该H组信息，产生出九张不同视角图像(包 括了实际视角图像及虚拟视角图像)，无论观众从哪个角度位置观看，只要让左右眼接收到 对应的视角图像，就能观赏到3D的立体图像。
[0004] 纹理图像为摄影机拍摄场景的实际图像，而景深图可视为对应实际图像的一 8位 灰阶图像，景深图的像素值(介于0~255之间)代表场景中物体距离摄影机的远近，亦即景 深图展现的是物体间在空间坐标的相对应关系，而与物体本身的实际纹理信息无关。
[000引举例来说，如果定义纹理图像中；像素点对应的深度值比较大(颜色较亮）将 之归属于前景物件，而深度值比较小(颜色较暗）将之归属于背景。可简化来解释，视角 合成（viewsynthesis)的过程可W看成是实际视角图像里面的像素点视角位移（view wa巧ing) 了多少距离，跑到虚拟视角图像上，而每个纹理图像像素点（pixel)要位移多少距 离则是由景深图上与该像素点相对应坐标的景深图像素值（pixelvalue),简称为深度值 (depthvalue)决定，按照视角合成的理论，纹理图像像素点所对应的景深图上的深度值越 大，那么此像素点的位移量也会越大。
[0006] 进行视角合成过程中，深度值比较大的像素点，位移（warp) 了比较多的距离，而深 度值比较小的像素点，位移了比较少的距离。因为位移的距离不等，所W虚拟视角图像上面 可能有些像素点没有值，该些空着的像素点称为"洞"（hole)。一般而言譬如说，洞信息可 标注在所谓的洞遮罩（holemask)在对应的像素点坐标位置，而供后续程序中参考，W洞填 补化olefilling)算法来填补洞。
[0007] 一般而言，如果景深图和纹理图像的前景背景相吻合，合成的图像就不会产生噪 声；但如果不吻合，则合成的图像会形成些许的碎噪声（noise)。
【发明内容】
[0008] 依据本掲露的一实施范例，提供一种景深图校正方法。此方法包括W下步骤。将 一实际视角图像的一左视角图像、一右视角图像依据各自对应的景深图进行一视角位移，W取得一左虚拟视角图像、一右虚拟视角图像、一左侧洞信息及一右侧洞信息。点对点地将 不是洞的至少一像素点的左、右虚拟视角图像坐标的像素值相减，W取得前述像素点的兀 余差值。如果取得的兀余差值大于第一阔值，则进行一位移反推，W得到前述像素点位于所 对应的实际视角图像的一坐标，并W所得的此坐标邻近范围的深度值来校正前述像素点的 深度值，W进行一景深校正。
[0009] 依据本掲露的一实施范例，提供一种景深图校正系统。景深图校正系统包括一视 角位移单元、一兀余差值计算单元、一第一判断单元、一位移反推单元及一景深校正单元。 视角位移单元用W将一实际视角图像的一左视角图像跟一右视角图像依据各自对应的景 深图进行一视角位移，W取得一左虚拟视角图像、一右虚拟视角图像、一左侧洞信息及一右 侧洞信息。兀余差值计算单元用W点对点地将不是洞的至少一像素点的左、右虚拟视角图 像坐标的像素值相减，W取得前述至少一像素点的一兀余差值。第一判断单元用W判断如 果取得的兀余差值大于一第一阔值，则进行一位移反推。位移反推单元用W进行该位移反 推，W得到前述至少一像素点位于所对应的实际视角图像的一坐标。景深校正单元用W进 行一景深校正，W所得坐标的邻近范围一或多个像素点的深度值来校正前述至少一像素点 的深度值。为了对本发明的上述及其他方面有更佳的了解，下文特举若干实施范例，并配合 附图，作详细说明如下：
【附图说明】
[0010] 所述图式说明本申请的示范性实施例，且与描述一起用W解释本申请的原理。
[0011] 图1A、图1B、图1C绘示图像前景物件与背景交界的边缘处产生噪声的例示图。
[0012] 图2绘示一景深图校正方法实施范例的流程图。
[0013] 图3绘示图2的景深图校正方法实施范例的细部流程图。
[0014] 图4绘示W图3方法检查左侧洞实施例图解示意图。
[0015] 图5绘示W图3方法检查右侧洞实施例图解示意图。
[0016] 图6绘不经由景深图校正系统实施范例不意图。
[0017]为了对本申请的上述及其他特征与优点更了解，下文特举实施例并配合附图，作 进一步说明。应理解，W上一般描述和W下详细描述都是示范性的，且希望提供对如所主张 的本申请的详细解释。
[0018]【符号说明】
[0019] 301;左虚拟视角图像
[0020] 302;右虚拟视角图像
[0021] 303;兀余差值
[0022] 304 ;左侧洞
[0023] 305 ;左视角景深图
[0024] 306 ;校正后左视角景深图 [00巧]401 ;左虚拟视角图像
[0026] 402;右虚拟视角图像
[0027] 403 ;兀余差值
[002引 404 ;右侧洞
[0029] 405;右视角景深图
[0030] 406;校正后右视角景深图
[003。 500;景深图校正系统
[0032] 510;视角位移单元
[0033] 520;兀余差值计算单元
[0034] 530;第一判断单元
[00对 540 ;第二判断单元
[0036] 550;位移反推单元
[0037] 560 :第立判断单元
[0038] 570;景深校正单元
[0039]BI;背景
[0040]FI;前景物件
[0041]NS;噪声
[0042] S210、S220、S230、S240、S250、S260、S270;流程步骤
【具体实施方式】
[0043] 立体视频压缩标准（3DVideoCoding,简称3DVC)该样的图像压缩方法，在画质呈 现上某种程度取决于景深图的正确性。当在景深图里，如果图像物件的深度信息不是那样 准确，依据观察，譬如说，如果原本应该属于前景部分的像素点，因为景深图不准确的关系， 可能让它的深度值变成背景的深度值。该么一来，此像素点就不会位移到它原本该去的位 置，而变成了背景的一部分。请参照图1A、图1B、图1C，图1A、图1B、图1C绘示图像前景物 件FI与背景BI交界的边缘处产生噪声NS的例示图。反应在合成出来的虚拟视角画面上， 而该便可能使合成出来的虚拟图像，譬如在前景物件FI与背景BI交界的边缘处，产生如图 1A、或图1B、或图1C的例示噪声NS。
[0044] 因此，本申请提出一景深图校正方法、系统，本申请技术可相容目前视频压缩标准 比264/AVC与H. 265/肥VC组织要求。
[0045] 请参照图2及图3,图2绘示一景深图校正方法实施范例的流程图。图3绘示图 2的景深图校正方法实施范例的细部流程图。经由校正景深图消除虚拟视角图像噪声。在 步骤S210中，将一实际视角图像的一左视角图像(实际视角图像)、一右视角图像（实际视 角图像）（S211)依其对应