视频2d转3d的深度图跟踪生成方法及装置的制造方法
【专利摘要】本发明公开一种视频2d转3d的深度图跟踪生成方法及装置，能够利用视频的前后延续性，从而提高生产效率。所述方法包括：S1、获取第一图像的第一深度图，确定出所述第一图像的跟踪点；S2、利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；S3、利用所述跟踪点和第一深度图确定出所述其它图像的深度图。
【专利说明】
视频2d转3d的深度图跟踪生成方法及装置
技术领域
[0001] 本发明设及2D转3D技术领域，具体设及一种视频2d转3d的深度图跟踪生成方法及 装置。
【背景技术】
[0002] 2D转3D软件的深度图可W分为位图和矢量两种形式，在使用中主要应用位图深度 图，因为位图深度图精度高，生产成本低，可W使用好的涂抹工具。但是现有技术是手动逐 帖对图像进行处理，得到深度图的，运样没有利用视频的前后延续性，导致生产效率不够 局。
【发明内容】
[0003] 有鉴于此，本发明实施例提供一种视频2d转3d的深度图跟踪生成方法及装置，能 够利用视频的前后延续性，从而提高生产效率。
[0004] 一方面，本发明实施例提出一种视频2d转3d的深度图跟踪生成方法，包括：
[0005] S1、获取第一图像的第一深度图，确定出所述第一图像的跟踪点；
[0006] S2、利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；
[0007] S3、利用所述跟踪点和第一深度图确定出所述其它图像的深度图。
[000引另一方面，本发明实施例提出一种视频2d转3d的深度图跟踪生成装置，包括：
[0009] 跟踪点确定单元，用于获取第一图像的第一深度图，确定出所述第一图像的跟踪 占 . '?、、，
[0010] 跟踪点跟踪单元，用于利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；
[0011] 深度图确定单元，用于利用所述跟踪点和第一深度图确定出所述其它图像的深度 图。
[0012] 本发明实施例提供的视频2d转3d的深度图跟踪生成方法及装置，利用视频的前后 延续性，根据第一图像的跟踪点跟踪出其它图像的跟踪点，并利用第一图像的跟踪点、第一 图像的第一深度图W及其它图像的跟踪点确定出其它图像的深度图，相较于逐帖手动进行 处理的现有技术，能够提高生产效率。
【附图说明】
[0013] 图1为本发明一种视频2d转3d的深度图跟踪生成方法一实施例的流程示意图；
[0014] 图2为本发明另一实施例中第一帖图像的深度图；
[0015] 图3为对图2中深度图对应的第一帖图像进行网格划分的网格划分结果示意图； [0016]图4为图3中所不的网格的跟踪点不意图；
[0017] 图5为利用图4所示的跟踪点跟踪得到的第Ξ帖图像的跟踪点示意图；
[0018] 图6为第Ξ帖图像的深度图；
[0019] 图7为利用图4所示的跟踪点跟踪得到的第二帖图像的跟踪点示意图；
[0020] 图8为第二帖图像的深度图；
[0021] 图9为本发明一种视频2d转3d的深度图跟踪生成装置一实施例的结构示意图。
【具体实施方式】
[0022] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明 一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有 做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0023] 参看图1，本实施例公开一种视频2d转3d的深度图跟踪生成方法，包括：
[0024] S1、获取第一图像的第一深度图，确定出所述第一图像的跟踪点；
[0025] S2、利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；
[0026] S3、利用所述跟踪点和第一深度图确定出所述其它图像的深度图。
[0027] 本实施例提供的视频2d转3d的深度图跟踪生成方法，利用视频的前后延续性，根 据第一图像的跟踪点跟踪出其它图像的跟踪点，并利用第一图像的跟踪点、第一图像的第 一深度图W及其它图像的跟踪点确定出其它图像的深度图，相较于逐帖手动进行处理的现 有技术，能够提高生产效率。
[00%]可选地，在本发明视频2d转3d的深度图跟踪生成方法的另一实施例中，所述确定 出所述第一图像的跟踪点，包括：
[0029] 对所述第一图像进行网格划分，得到多个网格；
[0030] 对于每一个网格，基于化rris角点检测从该网格中提取一个跟踪点。
[0031] 本发明实施例中，跟踪点必须包含两个特征：
[0032] (1)首先跟踪点在原始二维图像中是易于跟踪的特征点。
[0033] (2)其次跟踪点在深度图中离深度边缘不能太近，防止由于遮挡而导致跟踪精度 降低甚至跟踪失败。
[0034] 也就是说特征点由原始二维图像和深度图共同确定。对每一个网格G，将对应的原 始二维图像块经滤波器滤波得到的图像定义为二维特征空间，设为Is(G);将对应的深度图 像经滤波器滤波得到的图像定义为深度特征空间，设为Id(G)。所述滤波器可W为化rris算 子和SURF算子，也可W为其它滤波器，本发明对此不作限定。对网格G中每个坐标为(x，y)的 像素 P(x，y)，其对应两个特征空间Is(G)和Id(G)的特征响应分别表示为Rs(Is(G)，p(x，y)) 和尺3(。(6)，9^，7))，那么联合特征响应函数可^表示如下：
[003引 Rj0int(G,p(x,y))=Ws*Rs(Is(G) ,p(x,y))+wd*Rd(Id(G) ,p(x,y))，式中，Ws和wd为给 定的常数，ws和wd取值可W为0.5。
[00%]对于1?3(13(6)，口山7))，可^通过对网格6对应的原始二维图像块进行化1'1'13角点 检测，计算像素 P(x，y)的角点响应函数得到，此为现有技术，本发明实施例不再寶述。
[0037] 对于1?3(13(6)，口^，7))的计算，可^先对网格6对应的深度图像进行梯度处理，得 到梯度函数。然后计算与像素 P(x，y))距离最近且梯度不为0的像素与像素 P(x，y))之间的 距离，并将该距离作为Rd(Id(G)，p(x，y))的值。
[0038] 在计算出网格G中每个像素的联合特征响应函数后，选出联合特征响应函数最大 的像素作为跟踪点。
[0039] 可选地，在本发明视频2d转3d的深度图跟踪生成方法的另一实施例中，所述对所 述第一图像进行网格划分，包括：
[0040] S10、将上级网格划分为2X2的网格，并计算每个网格的边缘幅度之和Ag，
[0041 ] 计算公式3
，其中，G表示上级网 格，dx,y为G中坐标为(x，y)的像素点的深度值，第一次进行划分的上级网格为所述第一深度 图；
[0042] S11、判断边缘幅度之和是否大于一个设定好的值Uthres，若大于所述Uthres，则确定 出对应的网格为待划分的网格；
[0043] S12、重复执行步骤S10和S11，直到所有的网格的边缘幅度之和都不大于所述 Uthres ；
[0044] S13、将所述第一图像按照所述第一深度图的网格划分方式进行划分。
[0045] 本发明实施例中，如果某一坐标为（xs，ys)的像素点的相邻像素点（包括坐标为 相+1，73)、佔，73+1)和相+1，73+1)的像素点）中任一像素点不在该像素点所属的网格中，则在 计算该像素点所属的网格的A g时，可W不考虑该像素点。如果某一网格的边缘幅度之和大 于Uthres,那么可W认为运个网格包含的灰度边缘信息太多，所W需要被进一步的分为2X2 的子网格，而如果运个网格的边缘幅度之和不大于&hres，那么可W认为运个网格包含的灰 度信息很少无需被进一步分。
[0046] 可选地，在本发明视频2d转3d的深度图跟踪生成方法的另一实施例中，所述S3，包 括：
[0047] S30、确定出第二图像的第二深度图，其中，所述第二图像的跟踪点的深度值与所 述第一图像中对应的跟踪点的深度值相等，所述第二图像中除跟踪点外坐标为(X2，y2)的像 素点的深度值屯,&的计算公式为&=4,,y,，dx,,y,为所述第一图像中坐标为(xi，yi)的像素 点的深度值，
[0050] (Xii，yii)为所述第一图像中的第i个跟踪点的坐标，巧（1，2，。'，10^为所述第一 图像中的跟踪点的数量，（Xi2，yi2)为所述第二图像中对应(Xil，yil)的跟踪点；
[0051] S31、根据所述第一深度图和第二深度图确定出其它图像的深度图。
[0052] 可选地，在本发明视频2d转3d的深度图跟踪生成方法的另一实施例中，所述S31， 包括：
[0053] 根据所述第一深度图和第二深度图确定出第Ξ图像的第Ξ深度图，其中，所述第 Ξ图像的像素点Μ的深度值dt的计算公式为
，所述第一图像和 第二图像中一图像为所有图像中按照时间顺序排列的第i帖图像，另一图像为所有图像中 按照时间顺序排列的第j帖图像，所述第Ξ图像为所有图像中按照时间顺序排列的第t帖图 像，d功第i帖图像中对应像素点Μ的像素点的深度值，d功第j帖图像中对应像素点Μ的像素 点的深度值；
[0054] 根据所述第一深度图、第二深度图和第Ξ深度图确定出其它图像的深度图。
[0055] 本发明实施例中，在确定第Ξ深度图的过程中所述的第i帖图像中对应像素点Μ的 像素点的确定方法与前述实施例步骤S30中根据坐标为（X2，y2)的像素点确定坐标为(XI， yi)的像素点的过程一致，此处不再寶述。在确定出第Ξ深度图后，可W根据第一深度图、第 二深度图和第Ξ深度图确定出第一图像、第二图像和第Ξ图像中任两图像之间的图像的深 度图，具体方法与本实施例中确定第Ξ深度图的方法一致，此处不再寶述。
[0056] 下面W-具体应用实施例对本发明待分割的视频的前Ξ帖图像的深度图的求解 过程进行说明。
[0057] 先取待分割的视频的第一帖图像进行深度运算，得到第一帖图像的深度图，如图2 所示。接着通过对第一帖图像的深度图进行网格划分，并对第一帖图像进行同样的网格划 分处理，得到第一帖图像的网格划分结果，如图3所示。然后基于化rris角点检测确定出第 一帖图像的跟踪点，如图4(图4中包含第一帖图像的跟踪点及跟踪点所属的网格)所示。之 后利用第一帖图像的跟踪点跟踪出第Ξ帖图像的跟踪点，如图5所示。接下来，利用第一帖 图像的深度图确定出第Ξ帖图像的深度图，如图6所示。利用第一帖图像的跟踪点跟踪出第 二帖图像的跟踪点，如图7所示。利用第一帖图像的深度图和第Ξ帖图像的深度图得到第二 帖图像的深度图，如图8所示。
[005引参看图9,本实施例公开一种视频2d转3d的深度图跟踪生成装置，包括：
[0059] 跟踪点确定单元1，用于获取第一图像的第一深度图，确定出所述第一图像的跟踪 点' ；
[0060] 跟踪点跟踪单元2，用于利用所述第一图像的跟踪点跟踪出其它图像的跟踪点；
[0061] 深度图确定单元3,用于利用所述跟踪点和第一深度图确定出所述其它图像的深 度图。
[0062] 本实施例提供的视频2d转3d的深度图跟踪生成装置，利用视频的前后延续性，根 据第一图像的跟踪点跟踪出其它图像的跟踪点，并利用第一图像的跟踪点、第一图像的第 一深度图W及其它图像的跟踪点确定出其它图像的深度图，相较于逐帖手动进行处理的现 有技术，能够提高生产效率。
[0063] 虽然结合附图描述了本发明的实施方式，但是本领域技术人员可W在不脱离本发 明的精神和范围的情况下做出各种修改和变型，运样的修改和变型均落入由所附权利要求 所限定的范围之内。
【主权项】
1. 一种视频2d转3d的深度图跟踪生成方法，其特征在于，包括： 51、 获取第一图像的第一深度图，确定出所述第一图像的跟踪点； 52、 利用所述第一图像的跟踪点跟踪出其它图像的跟踪点； 53、 利用所述跟踪点和第一深度图确定出所述其它图像的深度图。2. 根据权利要求1所述的方法，其特征在于，所述确定出所述第一图像的跟踪点，包括： 对所述第一图像进行网格划分，得到多个网格； 对于每一个网格，基于Harris角点检测从该网格中提取一个跟踪点。3. 根据权利要求2所述的方法，其特征在于，所述对所述第一图像进行网格划分，包括： 510、 将上级网格划分为2X2的网格，并计算每个网格的边缘幅度之和，，其中，G表示上级网格， dx,y为G中坐标为(x，y)的像素点的深度值，第一次进行划分的上级网格为所述第一深度图； 511、 判断边缘幅度之和是否大于一个设定好的值Uthres，若大于所述Uthres，则确定出对 应的网格为待划分的网格； 512、 重复执行步骤S10和S11，直到所有的网格的边缘幅度之和都不大于所述Uthm; 513、 将所述第一图像按照所述第一深度图的网格划分方式进行划分。4. 根据权利要求1所述的方法，其特征在于，所述S3，包括： 530、 确定出第二图像的第二深度图，其中，所述第二图像的跟踪点的深度值与所述第 一图像中对应的跟踪点的深度值相等，所述第二图像中除跟踪点外坐标为( X2，y2)的像素点 的深度值七^的计算公式为dX2,y2=d X|,yi，d.、,、为所述第一图像中坐标为(Xl，yi)的像素点的 深度值，(Xll，yu)为所述第一图像中的第i个跟踪点的坐标，1^(1，2，一，1〇沽为所述第一图像 中的跟踪点的数量，（Xl2，yl2)为所述第二图像中对应(Xll，yn)的跟踪点； 531、 根据所述第一深度图和第二深度图确定出其它图像的深度图。5. 根据权利要求4所述的方法，其特征在于，所述S31，包括： 根据所述第一深度图和第二深度图确定出第三图像的第三深度图，其中，所述第三图 像的像素点Μ的深度值dt的计算公式为，所述第一图像和第二 图像中一图像为所有图像中按照时间顺序排列的第i帧图像，另一图像为所有图像中按照 时间顺序排列的第j帧图像，所述第三图像为所有图像中按照时间顺序排列的第t帧图像， di为第i帧图像中对应像素点Μ的像素点的深度值，dj为第j帧图像中对应像素点Μ的像素点 的深度值； 根据所述第一深度图、第二深度图和第三深度图确定出其它图像的深度图。6. -种视频2d转3d的深度图跟踪生成装置，其特征在于，包括： 跟踪点确定单元，用于获取第一图像的第一深度图，确定出所述第一图像的跟踪点； 跟踪点跟踪单元，用于利用所述第一图像的跟踪点跟踪出其它图像的跟踪点； 深度图确定单元，用于利用所述跟踪点和第一深度图确定出所述其它图像的深度图。
【文档编号】H04N13/04GK106060529SQ201610383766
【公开日】2016年10月26日
【申请日】2016年6月1日
【发明人】赵天奇, 渠源, 李桂楠
【申请人】十二维度（北京）科技有限公司