一种深度图创建方法、系统以及图像虚化方法、系统与流程
本发明涉及图像处理技术领域，特别涉及一种深度图创建方法、系统以及图像虚化方法、系统。
背景技术：
当前，随着图像处理技术的快速发展，越来越多的智能手机、平板电脑等设备逐渐增加了能够利用场景深度信息对图像进行虚化处理的功能，由此为用户带来了诸多有趣的拍照体验。
在现有的图像虚化过程中，深度图的质量直接影响了后续的图像虚化效果。如何创建高质量的深度图是目前还有待进一步解决的问题。
技术实现要素：
有鉴于此，本发明的目的在于提供一种深度图创建方法、系统以及图像虚化方法、系统，能够得到高质量的深度图，从而有利于提升图像虚化效果。其具体方案如下：
一种深度图创建方法，包括：
获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像；
分别确定所述第一图像和所述第二图像对应的特征点，得到第一组特征点和第二组特征点；
分别利用所述第一组特征点和所述第二组特征点，相应地确定出所述第一图像和所述第二图像对应的支撑点，得到第一组支撑点和第二组支撑点；
基于所述第一组支撑点和所述第二组支撑点，对所述第一图像和所述第二图像进行稠密立体匹配，以确定所述第一图像和所述第二图像之间的视差；
利用所述视差确定出与所述目标场景对应的深度图。
可选的，任一图像的特征点的确定过程，包括：
从该图像中确定出候选点；
统计所述候选点周围满足预设条件的像素点的总数量；
判断所述总数量是否大于预设数量阈值，如果是，则判定所述候选点为该图像的特征点，如果否，则判定所述候选点不是该图像的特征点。
可选的，所述统计所述候选点周围满足预设条件的像素点的总数量的过程，包括：
利用预设像素点数量统计公式，统计所述候选点周围满足预设条件的像素点的总数量；其中，所述预设像素点数量统计公式为：
式中，n表示所述总数量，p表示所述候选点，circle(p)表示以所述候选点p为圆心、以预设数值为半径的圆周，x表示所述圆周circle(p)上的任一像素点，i(x)表示像素点x的灰度值，i(p)表示所述候选点p的灰度值，εd表示预设灰度差阈值。
可选的，所述基于所述第一组支撑点和所述第二组支撑点，对所述第一图像和所述第二图像进行稠密立体匹配的过程，包括
根据所述第一组支撑点在所述第一图像上构建相应的delaunay三角网格；
计算位于所述delaunay三角网格内的像素点对应的视差，得到相应的视差数据；
利用所述视差数据以及视差概率模型，对所述第一图像和所述第二图像进行稠密立体匹配，以从所述第二组支撑点中找出与所述第一组支撑点相匹配的支撑点。
可选的，所述计算位于所述delaunay三角网格内的像素点对应的视差的过程，包括：
利用预设视差计算公式，计算位于所述delaunay三角网格内的像素点对应的视差；其中，所述预设视差计算公式为：
式中，dp表示所述delaunay三角网格内的像素点p对应的视差，(up，vp)表示像素点p的坐标，a、b、c为通过对像素点p所在delaunay三角形区域的支撑点平面进行拟合后得到的系数，h表示像素点p与相邻三个支撑点的最小支撑距离，
本发明还进一步公开了一种图像虚化方法，包括：
获取通过前述方法得到的深度图；
利用所述深度图进行图像虚化处理，得到虚化图像。
可选的，所述利用所述深度图进行图像虚化处理的过程，包括：
在所述深度图上确定出聚焦区域；
利用所述深度图上的深度信息，并结合预设函数，得到所述深度图中每个像素点的虚化系数；其中，所述预设函数为：
其中，ci表示第i个像素点的虚化系数，zi表示第i个像素点的深度值，f表示焦距，
利用预设虚化公式，对目标像素点集进行图像虚化处理，得到所述虚化图像；其中，所述目标像素点集为深度值在[znear，zfar，]范围内的像素点的集合，所述预设虚化公式为：
式中，m×n表示以目标像素点的坐标(x，y)为圆心、以所述目标像素点的虚化系数为半径的圆内的像素点的数量，所述目标像素点为所述目标像素点集的任一像素点，
本发明还相应公开了一种深度图创建系统，包括：
图像获取模块，用于获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像；
特征点确定模块，用于分别确定所述第一图像和所述第二图像对应的特征点，得到第一组特征点和第二组特征点；
支撑点确定模块，用于分别利用所述第一组特征点和所述第二组特征点，相应地确定出所述第一图像和所述第二图像对应的支撑点，得到第一组支撑点和第二组支撑点；
匹配模块，用于基于所述第一组支撑点和所述第二组支撑点，对所述第一图像和所述第二图像进行稠密立体匹配，以确定所述第一图像和所述第二图像之间的视差；
深度图确定模块，用于利用所述视差确定出与所述目标场景对应的深度图。
本发明还相应公开了种图像虚化系统，包括：
深度图获取模块，用于获取通过前述深度图创建系统创建得到的深度图；
图像虚化模块，用于利用所述深度图进行图像虚化处理，得到虚化图像。
可选的，所述图像虚化模块，包括：
聚焦区域确定单元，用于在所述深度图上确定出聚焦区域；
虚化系数计算单元，用于利用所述深度图上的深度信息，并结合预设函数，得到所述深度图中每个像素点的虚化系数；其中，所述预设函数为：
其中，ci表示第i个像素点的虚化系数，zi表示第i个像素点的深度值，f表示焦距，
虚化处理单元，用于利用预设虚化公式，对目标像素点集进行图像虚化处理，得到所述虚化图像；其中，所述目标像素点集为深度值在[znear，zfar]范围内的像素点的集合，所述预设虚化公式为：
式中，m×n表示以目标像素点的坐标(x，y)为圆心、以所述目标像素点的虚化系数为半径的圆内的像素点的数量，所述目标像素点为所述目标像素点集的任一像素点，
本发明中，深度图创建方法，包括：获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像；分别确定第一图像和第二图像对应的特征点，得到第一组特征点和第二组特征点；分别利用第一组特征点和第二组特征点，相应地确定出第一图像和第二图像对应的支撑点，得到第一组支撑点和第二组支撑点；基于第一组支撑点和第二组支撑点，对第一图像和第二图像进行稠密立体匹配，以确定第一图像和第二图像之间的视差；利用视差确定出与目标场景对应的深度图。
可见，本发明在获取到第一图像和第二图像之后，先确定出图像对应的特征点，然后利用图像的特征点确定出图像对应的支撑点，后续便可基于上述第一图像和第二图像各自对应的支撑点进行稠密立体匹配，这样能够大幅提升第一图像和第二图像之间的立体匹配精度，从而得到第一图像和第二图像之间更加准确的视差，基于该视差得到的深度图将具备较高的质量，从而有利于提升后续的图像虚化效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种深度图创建方法流程图；
图2为本发明实施例公开的一种深度图创建系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种深度图创建方法，参见图1所示，该方法包括：
步骤s11：获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像。
步骤s12：分别确定第一图像和第二图像对应的特征点，得到第一组特征点和第二组特征点。
步骤s13：分别利用第一组特征点和第二组特征点，相应地确定出第一图像和第二图像对应的支撑点，得到第一组支撑点和第二组支撑点。
本发明实施例中，可以利用极线约束以及特征点描述子来快速进行特征点之间的匹配处理，具体的，可以使用wta策略(wta，即winnertakesall)，在视差空间内选择匹配代价最小的点作为匹配成功的特征点，然后将匹配成功的特征点确定为支撑点，并剔除不匹配的特征点，由此可分别得到上述第一组支撑点和第二组支撑点。
步骤s14：基于第一组支撑点和第二组支撑点，对第一图像和第二图像进行稠密立体匹配，以确定第一图像和第二图像之间的视差。
步骤s15：利用视差确定出与目标场景对应的深度图。
可见，本发明实施例在获取到第一图像和第二图像之后，先确定出图像对应的特征点，然后利用图像的特征点确定出图像对应的支撑点，后续便可基于上述第一图像和第二图像各自对应的支撑点进行稠密立体匹配，这样能够大幅提升第一图像和第二图像之间的立体匹配精度，从而得到第一图像和第二图像之间更加准确的视差，基于该视差得到的深度图将具备较高的质量，从而有利于提升后续的图像虚化效果。
本发明实施例公开了一种具体的深度图创建方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
上一实施例步骤s12中，需要分别确定第一图像和第二图像对应的特征点。本实施例中，任一图像的特征点的确定过程，具体可以包括下面步骤s121至s123：
步骤s121：从该图像中确定出候选点；
步骤s122：统计候选点周围满足预设条件的像素点的总数量；
步骤s123：判断总数量是否大于预设数量阈值，如果是，则判定候选点为该图像的特征点，如果否，则判定候选点不是该图像的特征点。
其中，上述步骤s122中，统计候选点周围满足预设条件的像素点的总数量的过程，具体可以包括：
利用预设像素点数量统计公式，统计候选点周围满足预设条件的像素点的总数量；其中，上述预设像素点数量统计公式为：
式中，n表示上述总数量，p表示候选点，circle(p)表示以候选点p为圆心、以预设数值为半径的圆周，x表示圆周circle(p)上的任一像素点，i(x)表示像素点x的灰度值，i(p)表示候选点p的灰度值，εd表示预设灰度差阈值。需要说明的是，上述预设数值可以根据实际需要进行具体设置，在此不对其进行具体限定。
进一步的，上一实施例步骤s14中，基于第一组支撑点和第二组支撑点，对第一图像和第二图像进行稠密立体匹配的过程，具体可以包括下面步骤s141至s143：
步骤s141：根据第一组支撑点在第一图像上构建相应的delaunay三角网格；
步骤s142：计算位于delaunay三角网格内的像素点对应的视差，得到相应的视差数据；
步骤s143：利用视差数据以及视差概率模型，对第一图像和第二图像进行稠密立体匹配，以从第二组支撑点中找出与第一组支撑点相匹配的支撑点。
其中，上述步骤s142中，计算位于delaunay三角网格内的像素点对应的视差的过程，具体可以包括：
利用预设视差计算公式，计算位于delaunay三角网格内的像素点对应的视差；其中，预设视差计算公式为：
式中，dp表示delaunay三角网格内的像素点p对应的视差，(up，vp)表示像素点p的坐标，a、b、c为通过对像素点p所在delaunay三角形区域的支撑点平面进行拟合后得到的系数，h表示像素点p与相邻三个支撑点的最小支撑距离，
进一步的，本发明实施例还公开了一种图像虚化方法，包括下面步骤s21知s22：
步骤s21：获取通过前述实施例中公开的深度图创建方法得到的深度图；
步骤s22：利用深度图进行图像虚化处理，得到虚化图像。
具体的，上述步骤s22中，利用深度图进行图像虚化处理的过程，具体可以包括下面步骤s221至s223：
步骤s221：在深度图上确定出聚焦区域。
步骤s222：利用深度图上的深度信息，并结合预设函数，得到深度图中每个像素点的虚化系数；其中，预设函数为：
其中，ci表示第i个像素点的虚化系数，zi表示第i个像素点的深度值，f表示焦距，
步骤s223：利用预设虚化公式，对目标像素点集进行图像虚化处理，得到虚化图像；其中，目标像素点集为深度值在[znear，zfar]范围内的像素点的集合，预设虚化公式为：
式中，m×n表示以目标像素点的坐标(x，y)为圆心、以目标像素点的虚化系数为半径的圆内的像素点的数量，目标像素点为目标像素点集的任一像素点，
基于上述技术方案可知，本发明实施例通过抑制聚焦层对离焦层的泄漏以及逐像素确定虚化系数的方式，可以更好地提升虚化图像的整体虚化效果，
相应的，本发明实施例还公开了一种深度图创建系统，参见图2所示，该系统包括：
图像获取模块11，用于获取双目拍摄系统对目标场景进行拍摄后得到的第一图像和第二图像；
特征点确定模块12，用于分别确定第一图像和第二图像对应的特征点，得到第一组特征点和第二组特征点；
支撑点确定模块13，用于分别利用第一组特征点和第二组特征点，相应地确定出第一图像和第二图像对应的支撑点，得到第一组支撑点和第二组支撑点；
匹配模块14，用于基于第一组支撑点和第二组支撑点，对第一图像和第二图像进行稠密立体匹配，以确定第一图像和第二图像之间的视差；
深度图确定模块15，用于利用视差确定出与目标场景对应的深度图。
关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本发明实施例在获取到第一图像和第二图像之后，先确定出图像对应的特征点，然后利用图像的特征点确定出图像对应的支撑点，后续便可基于上述第一图像和第二图像各自对应的支撑点进行稠密立体匹配，这样能够大幅提升第一图像和第二图像之间的立体匹配精度，从而得到第一图像和第二图像之间更加准确的视差，基于该视差得到的深度图将具备较高的质量，从而有利于提升后续的图像虚化效果。
进一步的，本发明还公开了一种图像虚化系统，包括深度图获取模块以及图像虚化模块；其中，
深度图获取模块，用于获取通过前述实施例公开的深度图创建系统创建得到的深度图；
图像虚化模块，用于利用深度图进行图像虚化处理，得到虚化图像。
具体的，上述图像虚化模块，可以包括聚焦区域确定单元、虚化系数计算单元以及虚化处理单元；其中，
聚焦区域确定单元，用于在深度图上确定出聚焦区域；
虚化系数计算单元，用于利用深度图上的深度信息，并结合预设函数，得到深度图中每个像素点的虚化系数；其中，预设函数为：
其中，ci表示第i个像素点的虚化系数，zi表示第i个像素点的深度值，f表示焦距，
虚化处理单元，用于利用预设虚化公式，对目标像素点集进行图像虚化处理，得到虚化图像；其中，目标像素点集为深度值在[znear，zfar]范围内的像素点的集合，预设虚化公式为：
式中，m×n表示以目标像素点的坐标(x，y)为圆心、以目标像素点的虚化系数为半径的圆内的像素点的数量，目标像素点为目标像素点集的任一像素点，
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种深度图创建方法、系统以及图像虚化方法、系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
- 还没有人留言评论。精彩留言会获得点赞！