基于深度边缘点与彩色图像的深度图像上采样方法及系统与流程

本公开涉及图像处理
技术领域：
，特别是涉及基于深度边缘点与彩色图像的深度图像上采样方法及系统。
背景技术：
：本部分的陈述仅仅是提到了与本公开相关的
背景技术：
，并不必然构成现有技术。随着3dtv，3d电影越来越广泛地进入到人类的生活，高质量的视觉感受可为消费者提供充分的精神给养，因此人们对图像和视频的视觉质量要求越来越高。3dtv系统需要同时输入来自同一个场景的2d彩色视频和2d深度数据。其中，深度数据可说明场景的位置，借助立体显示技术可为消费者提供3d立体的视觉感。因此深度数据是3dtv系统的重要基础，并且高质量深度信息的获取受到广泛关注。深度信息可通过直接方式和间接方式获取。其中，由于在直接方式中用来捕捉深度信息的硬件设备存在较大限制，例如无法有效抑制噪声干扰、价格昂贵等，无法满足消费者直接获取深度信息的需求。由此间接获取深度信息的方法，即深度上采样算法作为一种有效的解决方案，日益成为研究的热点。在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：近年来，深度上采样算法受到国内外学者的广泛关注。其中，kopf等提出了基于双边滤波的联合双边深度上采样(jointbilateraldepthupsampling,jbu)算法，此方法忽略了两个图像对之间不匹配的问题。yang等提出了具有深度假设的联合双边滤波，以完善其高分辨率深度图的输出。liu等提出在滤波核中利用测地距离代替欧式距离来获得精确的深度边缘，但由于彩色图像具有颜色或结构不连续性，此方法仍可能导致错误的深度信息输出，因此如何抑制纹理复制伪影仍然是一个具有挑战性的问题。gu等提出用于引导深度图像增强的加权分析表示模型，采用动态调整指导以更新深度图像。yang等提出自适应高分辨率彩色图像引导的自回归(autogressive,ar)模型。diebel等用马尔可夫随机场(markovrandomfields,mrf)解决了多标记优化问题，该问题将深度分辨率之间的一致性确定为数据项，而平滑项则使具有相似颜色的相邻像素产生相似的深度值。park利用非局部均值正则化、半局部邻域信息以及强制执行精化颜色细节的边缘加权方案，扩展了平滑度的成本。除了mrf，其他基于学习优化的策略，例如ferstl提出利用广义变分(totalgeneralizedvariation,tgv)模型实现深度上采样，将其视为具有高阶正则化的凸优化问题。在图像的超分辨重建中，yang等首次引入稀疏表示的原理。ren等提出角点和梯度辅助深度上采样算法(edge-guidedwithgradient-assiteddepthupsampling,egdu)，只利用高分辨率与低分辨率空间中上下方向的信息完成深度图像对的结构一致性判断，并完成深度重新分配，但是该方法没有有效利用像素间的相关性，计算获得的深度数据在深度图像与彩色图像的结构一致性判断以及深度分配方面产生较大误差。技术实现要素：为了解决现有技术的不足，本公开提供了基于深度边缘点与彩色图像的深度图像上采样方法及系统；获得深度不连续区域增强、边缘结构清晰的高分辨率深度图像。第一方面，本公开提供了基于深度边缘点与彩色图像的深度图像上采样方法；基于深度边缘点与彩色图像引导的深度图像上采样方法，包括：获取同一场景下的低分辨率深度图和高分辨率彩色图；对低分辨率深度图进行边缘检测，得到低分辨率深度边缘图；根据低分辨率深度边缘图，将低分辨率深度图的像素区域划分为平坦区域和边缘区域；基于平坦区域和边缘区域，对低分辨率深度图的不可靠像素点进行标记；对低分辨率深度图的不可靠像素点进行修正，得到边缘增强的低分辨率深度图；对边缘增强的低分辨率深度图进行初始化，得到初始化深度图；对初始化深度图与高分辨率彩色图进行结构一致性判断，完成对初始化深度图中像素点的分类，得到深度可靠像素区域和深度不可靠像素区域；根据高分辨率彩色图像对应的高分辨率梯度矩阵，从初始化深度图中，寻找深度可靠像素区域的真实边缘像素点；将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中，对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子；基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正；完成初始化深度图的深度不可靠像素区域的深度值修正；得到修正后的高分辨率深度图。第二方面，本公开还提供了基于深度边缘点与彩色图像的深度图像上采样系统；基于深度边缘点与彩色图像引导的深度图像上采样系统，包括：获取模块，其被配置为：获取同一场景下的低分辨率深度图和高分辨率彩色图；对低分辨率深度图进行边缘检测，得到低分辨率深度边缘图；根据低分辨率深度边缘图，将低分辨率深度图的像素区域划分为平坦区域和边缘区域；基于平坦区域和边缘区域，对低分辨率深度图的不可靠像素点进行标记；对低分辨率深度图的不可靠像素点进行修正，得到边缘增强的低分辨率深度图；判断模块，其被配置为：对边缘增强的低分辨率深度图进行初始化，得到初始化深度图；对初始化深度图与高分辨率彩色图进行结构一致性判断，完成对初始化深度图中像素点的分类，得到深度可靠像素区域和深度不可靠像素区域；设置模块，其被配置为：根据高分辨率彩色图像对应的高分辨率梯度矩阵，从初始化深度图中，寻找深度可靠像素区域的真实边缘像素点；将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中，对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子；修正模块，其被配置为：基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正；完成初始化深度图的深度不可靠像素区域的深度值修正；得到修正后的高分辨率深度图。第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。与现有技术相比，本公开的有益效果是：1.由于低分辨率深度图可能存在低质量的问题，存在错误深度的像素点以及空洞，若直接用于深度上采样，会导致在高分辨率深度图中产生更多深度错误的像素点，因此本公开通过对低分辨率深度图像标记不可靠像素点，完成对不可靠像素点的修正，以确保低分辨率深度图中深度的准确性。2.人的双眼看到的景物有远近之分，左眼和右眼看到的景象有很大差别，这种前后方向上的距离感以及左右方向上的景象差异体现在深度图中任意像素点的8领域中，其中像素点深度值之间的较大变化可体现出对象所处位置的不同，因此本公开提出选择以3×3像素块为单位，结合高分辨率深度图中的边缘点分布，低分辨率深度图以及彩色图像的梯度图，对深度空间与颜色空间边缘区域的结构进行一致性判断,并将边缘区域的像素点分为两类，分别为有效像素点与不可靠像素点，其区域分为深度有效和深度不可靠区域，可有效避免因深度图与彩色图结构不一致导致在输出深度图中产生伪像的现象发生。3.因考虑到像素间的相关性以及像素点所处位置的差异会对其它像素产生的影响不同，可利用以某一像素点为中心的8个方向的邻域像素对中心像素点进行约束，因此本公开提出为像素间的影响设置空间位置约束的影响因子。本公开提出利用3×3像素空间位置约束产生的影响因子完成深度有效区域的深度修正，可有效提高深度的准确性。4.由于像素间存在一定的相关性，若只采用上下方向上的像素深度，导致所用于深度修正的有效深度存在唯一性，容易忽略像素点所处位置具有不同区域特性的特点，因此本公开提出扩大可用有效像素点的范围，利用以某一像素点为中心的8邻域像素的相互影响完成深度值的修正，可有效提高深度的准确性。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1是本公开的实现总流程图；图2是本公开中用于判断深度图与彩色图结构一致性时不同图像间像素点的关系；图3(a)是art图像的高分辨彩色图；图3(b)是art图像的高分辨深度图；图3(c)是reindeer图像的高分辨彩色图；图3(d)是reindeer图像的高分辨深度图；图4(a)是通过bicubic方法进行4倍上采样得到的高分辨深度图像；图4(b)是通过jbu方法进行4倍上采样得到的高分辨深度图像；图4(c)是通过tgv方法进行4倍上采样得到的高分辨深度图像；图4(d)是通过egdu方法进行4倍上采样得到的高分辨深度图像；图4(e)是通过本公开方法进行4倍上采样得到的高分辨深度图像；图5(a)是通过bicubic方法进行4倍上采样得到的高分辨深度图像；图5(b)是通过jbu方法进行4倍上采样得到的高分辨深度图像；图5(c)是通过tgv方法进行4倍上采样得到的高分辨深度图像；图5(d)是通过egdu方法进行4倍上采样得到的高分辨深度图像；图5(e)是通过本公开方法进行4倍上采样得到的高分辨深度图像。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
技术领域：
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例一，本实施例提供了基于深度边缘点与彩色图像的深度图像上采样方法；如图1所示，基于深度边缘点与彩色图像引导的深度图像上采样方法，包括：s100：获取同一场景下的低分辨率深度图和高分辨率彩色图；s101：对低分辨率深度图进行边缘检测，得到低分辨率深度边缘图；s102：根据低分辨率深度边缘图，将低分辨率深度图的像素区域划分为平坦区域和边缘区域；s103：基于平坦区域和边缘区域，对低分辨率深度图的不可靠像素点进行标记；s104：对低分辨率深度图的不可靠像素点进行修正，得到边缘增强的低分辨率深度图；s105：对边缘增强的低分辨率深度图进行初始化，得到初始化深度图；s106：对初始化深度图与高分辨率彩色图进行结构一致性判断，完成对初始化深度图中像素点的分类，得到深度可靠像素区域和深度不可靠像素区域；s107：根据高分辨率彩色图像对应的高分辨率梯度矩阵，从初始化深度图中，寻找深度可靠像素区域的真实边缘像素点；s108：将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中，对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子；s109：基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正；完成初始化深度图的深度不可靠像素区域的深度值修正；得到修正后的高分辨率深度图。作为一个或多个实施例，s100中，所述低分辨率深度图，是指：低分辨率深度图是由真实高分辨率深度图1110×1370经采样因子为2、4或8等下采样获得。所述高分辨率彩色图，是指：与真实高分辨率深度图相对应的高分辨率彩色图像，大小为1110×1370。作为一个或多个实施例，所述s101中，对低分辨率深度图进行边缘检测，得到低分辨率深度边缘图；具体步骤包括：对低分辨率深度图，利用sobel算子进行边缘点提取，得到低分辨率深度边缘图。应理解的，对低分辨率深度图dl，利用sobel算子进行边缘点提取，得到低分辨率深度边缘图作为一个或多个实施例，所述s102中，将低分辨率深度边缘图，划分为平坦区域和边缘区域；具体步骤包括：将低分辨率深度图经sobel边缘点提取，提取出的边缘点是边缘区域，未提取出的点即为平坦区域。作为一个或多个实施例，所述s103中，基于平坦区域和边缘区域，对低分辨率深度图的不可靠像素点进行标记；具体步骤包括：首先，将深度值为0的像素点标记为不可靠像素点；其次，在低分辨率深度图dl中取3×3的图像块，当图像块在平坦区域中，若出现中心像素点与其邻域像素点深度值差值不小于3的次数超过t1，置t1为3，则将中心像素点标记为不可靠像素点；当图像块在边缘区域，则若出现中心像素点与其邻域像素点深度值差值不小于3的次数超过t1，置t1为3，则将中心像素点标记为不可靠像素点；当图像块同时处于平坦区域和边缘区域，则利用低分辨率深度边缘图与图像块中边缘区域一一对应，并将图像块中处于边缘区域的像素点与边缘区域相邻的像素点比较，若出现深度值差值不小于3的次数大于t2，置t2为2，则标记为不可靠像素点；将图像块中处于平坦区域的像素点，则利用平坦区域与其相邻的像素点进行比较，若出现深度值差值不小于3的次数大于t2，置t2为2，则标记为不可靠像素点。按照上述方式，依次完成对整个低分辨率深度图dl的不可靠像素点的标记。应理解的，深度图像dl中存在深度值缺失或具有错误深度值的像素点，在插值的过程中，会导致产生更多的错误像素点，从而导致插值后的图像边缘模糊，锯齿效应明显。因此，首先要标记不可靠像素。作为一个或多个实施例，所述s104中，对低分辨率深度图的不可靠像素点进行修正，得到边缘增强的低分辨率深度图；具体步骤包括：对处于平坦区域或边缘区域的不可靠像素点，根据低分辨率深度边缘图的边缘分布，利用8邻域可靠像素点的双三次插值来完成深度值的填充；对于8邻域不同时处于平坦区域或边缘区域的像素点，则利用其对应区域相邻可靠像素点深度值的均值进行填充，得到边缘增强的低分辨率深度图。应理解的，边缘增强且深度信息完整的低分辨率深度图为作为一个或多个实施例，所述s105中，对边缘增强的低分辨率深度图进行初始化，得到初始化深度图；具体步骤包括：对边缘增强的低分辨率深度图进行双三次插值，得到初始化深度图。应理解的，由于基于深度边缘点与彩色图像引导的深度图像上采样方法针对伪深度矩阵进行矫正，所以首先实现低分辨率深度图的初始化。作为一个或多个实施例，所述s106中，对初始化深度图与高分辨率彩色图进行结构一致性判断，完成对初始化深度图中像素点的分类，得到深度可靠像素区域和深度不可靠像素区域；具体步骤包括：首先，在高分辨率深度空间中选取以某一个像素点o为中心的3×3的像素块a，分别确定像素块a中每个像素点的所属区域，其中所属区域包括：边缘区域和平坦区域；其次，在高分辨率梯度空间中找到像素块a对应的像素块b，同样确定像素块b的9个像素点所处的区域，对两个像素块中像素点的区域特性进行一致性判断，若两个像素块中像素点的区域特性相同，则判定为深度可靠像素点；否则，则将在两个像素块中区域特性不一致的像素点投影在低分辨率深度图中，再进行判断。再进行判断的标准包括：假设像素块a是以像素点(xh,j)为中心的3×3的像素块，满足公式(1)中的8个条件即为可靠像素点，不满足条件的则为深度不可靠像素点。其中，t＝{ti,1≤i≤8}均为实验设定的阈值，q＝{qi,1≤i≤8}表示所需满足的8个条件，表示像素块a的中心像素点(xh,j)映射到已完成深度修正的低分辨率深度图的像素点的深度，分别表示处于像素点的8邻域像素点的深度值。经过初始化深度图与高分辨率彩色图的结构一致性判断，完成初始化深度图d0中像素点的分类，同时初始化深度图d0中像素点所属区域也被分为深度可靠像素区域和深度不可靠像素区域。应理解的，在高分辨率空间中，选取图像中的一部分用于举例，如图2所示，假设所取像素点的位置处于x1到xm行，j-1列到j+1列，其中，任意像素点用公式表示为：p＝{(x,y)|x1≤x≤xm,j-1≤y≤j+1}(2)其中，像素点(xh,j)和(xm-1,j+1)具有在第j列和j+1列中最大的梯度值，这些像素点投影于低分辨率深度空间的和应理解的，一致性判断是以3×3像素块为单位。初始化深度图为d0。作为一个或多个实施例，所述s107中，根据高分辨率彩色图像对应的高分辨率梯度矩阵，从初始化深度图中，寻找深度可靠像素区域的真实边缘像素点；具体步骤包括：在初始化深度图d0的结构一致边缘区域中通常至少存在两个有效的深度值，利用高分辨率彩色图像对应的高分辨率梯度矩阵g来确定真实的边缘像素点；在高分辨率梯度空间中，假设像素点(xh,y)具有最大的梯度值，是真实的边缘点或真实边缘点邻域内的像素点；有效深度边缘像素点的集合为：ωg＝{(x,y)||g(x,y)-g(xh,y)|<tg,(x,y)∈p}(3)其中，p表示满足公式(2)的像素点的集合，g(x,y)表示彩色图的梯度矩阵在坐标(x,y)处的梯度值，g(xh,y)表示在坐标(xh,y)处的梯度。tg表示在集合p中任一像素点与g(xh,y)的差异绝对值的阈值。计算在此集合中像素点(x,y)与其邻域像素点像素值的差异，假设在集合中与像素点(x,y)的像素值差异最大的像素点的横坐标为xe，公式如下：其中，真实边缘像素点的横坐标定义为xf，真实边缘像素点的横坐标为xe与xh的平均值，真实边缘像素点的纵坐标为y；x，y的取值范围由公式(3)所提供的集合ωg决定，i(x,y)表示在高分辨率彩色图中坐标(x,y)处的像素值。作为一个或多个实施例，所述s108中，将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中，对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子；具体步骤包括：首先，将真实边缘像素点(xf,y)映射到低分辨率深度空间，映射后的坐标为选择以像素点为中心的3×3像素块；其次，利用像素间的相关性，对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子；其中，影响因子的设定如下：假设低分辨率深度图像大小为l×n，放大k倍后的初始化深度图d0的大小为l×n，即其中，低分辨率深度图像中任意像素点的坐标(xl,yl)与初始化深度图d0中任意像素点的坐标(x,y)之间的坐标映射公式如下：将低分辨率深度图像中像素点(xl,yl)，以及距离点(xl,yl)最近的8个像素点的深度值用作计算初始化深度图d0中(x,y)处深度值的参数，利用空间约束函数获得3×3像素块中9个像素点的影响因子α，获得初始化深度图d0的(x,y)处的深度值，根据像素点的二维特性，将空间位置约束函数按照像素点的行与列分开计算，在x方向上的空间约束函数如下：其中，ci表示在x方向上产生的影响因子，m1的取值为3或4，m2的取值为1或2，i＝1,2,3，r2表示在x方向上的纵向距离差异。得到cj，公式如下：其中，cj表示在y方向上产生的影响因子，j＝1,2,3，m1的取值为3，4，m2的取值为1，2，r1表示在y方向上的纵向距离差异。在x方向上的横向距离为r2，在y方向上的纵向距离为r1，公式分别如下：其中，x和y表示在初始化深度图中像素点的横纵坐标，xl，yl分别表示将x和y映射到已完成深度修正的低分辨率深度图中像素点的横纵坐标。l，n分别表示已完成深度修正的低分辨率深度图的大小，k为实现深度上采样的采样因子。在3×3的窗口区域中，某个像素点的影响因子α为：αi,j＝ci(r2)cj(r1),i＝1,2,3,j＝1,2,3(11)其中，αi,j表示综合x和y方向上所处位置不同设置的影响因子，ci表示在x方向上产生的影响因子，cj表示在y方向上产生的影响因子。i和j用于表示9个像素点在3×3窗口区域中的位置坐标，与xl，yl的大小呈正相关，用i＝1，j＝1表示坐标(xl-1,yl-1)的位置，用i＝2，j＝2表示坐标(xl,yl)的位置。作为一个或多个实施例，所述s109中，基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正；具体步骤包括：利用真实边缘点以及映射到低分辨率空间的有效深度完成深度可靠像素区域深度修正的公式如下：其中，dh(x,y)表示在最终输出的高分辨率深度图中(x,y)处的深度值，αi,j表示综合x和y方向上所处于坐标(i,j)时设置的影响因子，i与j均为1，2，3。s1，t1，s2，t2均取整数，分别表示在已完成深度修正的低分辨率深度图中处的深度值。x1，xm，xf分别表示某一列中第一个像素点和最后一个像素点的横坐标以及真实边缘点的横坐标，ε1，εm分别表示为真实边缘点与某一列中第一个像素点、最后一个像素点的梯度差异。作为一个或多个实施例，所述s109中，完成初始化深度图的深度不可靠像素区域的深度值修正；具体步骤包括：假设初始化深度图中的错误像素点以及在低分辨率空间的投影点分别为(x,y)，(xl,yl)，其中，像素点(xl,yl)的8邻域中属于有效深度值的像素的集合为：其中，ω是有效深度的集合，s，t均取整数，用于表示在像素点(xl,yl)的8邻域处像素点的深度值。修正不可靠像素点：其中，dh(x,y)表示在最终输出的高分辨率深度图中(x,y)处的深度值，选择与初始化深度图d0中像素点(x,y)的深度值差异最小的深度值作为最终输出高分辨率深度图dh(x,y)处的最终深度值，d为集合ω中的深度值。首先，对低分辨率深度图的不可靠像素进行修正。利用sobel边缘检测算子获得低分辨率深度图像的边缘图以及高分辨率彩色图像的梯度图g，并利用低分辨率与高分辨率图的映射关系获得高分辨率深度边缘图其次，利用像素间的相关性，以3×3像素块为单位，对初始化深度图与彩色图边缘区域的结构一致性进行判断，将像素深度分为深度可靠像素点区域与深度不可靠像素点区域，完成像素点分类。最后，对边缘结构一致的像素区域，利用空间位置约束对存在的有效深度设置影响因子完成深度修正；对边缘结构不一致的像素区域，利用低分辨率深度空间的像素特性寻找有效深度，最终输出高质量的高分辨率深度图dh。在输出高分辨率深度图像dh的平坦区域的深度值等同于初始化深度图d0。完成对初始化深度图d0的修正，输出边缘结构清晰、高质量的高分辨率深度图像。实验说明1.仿真条件：在intel(r)core(tm)i7-8700cpu@3.20ghz，windows10系统，matlabr2018a平台上进行了仿真。本公开选择两幅测试图像进行仿真如图3(a)-图3(d)所示，其中图3(a)是art图像的高分辨彩色图，图3(b)是art图像的高分辨深度图，图3(c)是reindeer图像的高分辨彩色图，图3(d)是reindeer图像的高分辨深度图。实验开始前，对测试集中提供的高分辨深度图，分别进行2倍，4倍，8倍的降采样处理，得到待上采样的低分辨深度图像。2.仿真方法：①双三次插值②kopf提出的联合双边滤波上采样jbu方法③ferstl提出的利用各向异性扩散张量实现深度上采样tgv方法④ren提出的基于角点与梯度辅助的深度上采样egdu方法⑤本公开基于深度边缘与彩色图像引导的深度上采样方法3.仿真内容：仿真1，对图3(a)-图3(d)中的art、reindeer图像分别用上述bicubic，jbu，tgv、egdu和本公开方法进行4倍的深度图上采样，结果如图4(a)-图4(e)和图5(a)-图5(e)所示，其中：图4(a)是通过bicubic方法进行4倍上采样得到的高分辨深度图像；图4(b)是通过jbu方法进行4倍上采样得到的高分辨深度图像；图4(c)是通过tgv方法进行4倍上采样得到的高分辨深度图像；图4(d)是通过egdu方法进行4倍上采样得到的高分辨深度图像；图4(e)是通过本公开方法进行4倍上采样得到的高分辨深度图像；图5(a)是通过bicubic方法进行4倍上采样得到的高分辨深度图像；图5(b)是通过jbu方法进行4倍上采样得到的高分辨深度图像；图5(c)是通过tgv方法进行4倍上采样得到的高分辨深度图像；图5(d)是通过egdu方法进行4倍上采样得到的高分辨深度图像；图5(e)是通过本公开方法进行4倍上采样得到的高分辨深度图像；结果比较：由bicubic、jbu两种算法输出的高分辨率深度图像，存在图像模糊，深度值缺失区域扩大，局部边缘缺失等问题，tgv和edgu的实验输出图像表明，这两种算法不能有效增强细节边缘区域，无法实现深度缺失区域的有效重建。通过图4(e)和图5(e)可以看出，图像清晰，细节丰富，该方法不仅能增强边缘细节，还可以修复低分辨率深度图中深度黑洞，输出深度信息完整的准确的高分辨率深度图像。通过5种方法输出的深度图的比较，前4种方法获得的图像，存在模糊和伪像的问题，其中也存在边缘混杂的现象。从主观效果而言，本公开产生的深度图像，更清晰，可有效增强细节边缘区域，并完成深度缺失部分的重建，从主观上来说，本公开所提出算法的性能较好。仿真2，对图3(a)所示的art测试集图分别利用bicubic，jbu，tgv、edgu和本公开方法进行2倍，4倍，8倍的深度图上采样，并针对一个评价指标对实验结果进行数据分析。1)bpr坏点率针对所述三个评价指标进行数据分析，结果如表1。从表1可以看出，从上采样因子2到8，文中所提出算法一直获得最小的bpr数值，意味着该算法的性能比较稳定，获得的实验结果比其他算法更可靠。图像质量评价指标bpr的数值越小，表明该算法的输出图像与真实高分辨率深度图的差别越小，通过表1中的数据可知，该算法具有更高的有效性。本公开方法不仅能在主观上给人以良好的视觉效果，在bpr客观评价指标上也具有非常明显的优势。表1对测试图像art，用现有的5种典型方法与本公开将低分辨率深度图像进行上采样的结果的数据分析art2×4×8×bilinear0.19110.33730.5282bicubic0.18700.32550.5276jbu0.16770.31170.6113tgv0.15770.12470.3096egdu0.02790.03140.0606本文算法0.01640.02990.0411实施例二，本实施例还提供了基于深度边缘点与彩色图像的深度图像上采样系统；基于深度边缘点与彩色图像引导的深度图像上采样系统，包括：获取模块，其被配置为：获取同一场景下的低分辨率深度图和高分辨率彩色图；对低分辨率深度图进行边缘检测，得到低分辨率深度边缘图；根据低分辨率深度边缘图，将低分辨率深度图的像素区域划分为平坦区域和边缘区域；基于平坦区域和边缘区域，对低分辨率深度图的不可靠像素点进行标记；对低分辨率深度图的不可靠像素点进行修正，得到边缘增强的低分辨率深度图；判断模块，其被配置为：对边缘增强的低分辨率深度图进行初始化，得到初始化深度图；对初始化深度图与高分辨率彩色图进行结构一致性判断，完成对初始化深度图中像素点的分类，得到深度可靠像素区域和深度不可靠像素区域；设置模块，其被配置为：根据高分辨率彩色图像对应的高分辨率梯度矩阵，从初始化深度图中，寻找深度可靠像素区域的真实边缘像素点；将初始化深度图中真实边缘像素点映射到边缘增强的低分辨率深度图中，对处于像素块中不同位置的像素点设置因空间位置约束产生的影响因子；修正模块，其被配置为：基于影响因子完成初始化深度图的深度可靠像素区域的深度值修正；完成初始化深度图的深度不可靠像素区域的深度值修正；得到修正后的高分辨率深度图。实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。当前第1页12