一种手机端2D转3D自适应云卸载方法和系统与流程

本发明涉及计算机视觉与数字图像处理领域，特别涉及一种手机端2D转3D自适应云卸载的方法和系统。

背景技术：

近些年来，随着移动设备技术的不断改进以及手机的逐渐普及，人们已经进入智能手机的时代，用户越来越习惯于使用移动设备端代替传统设备来观看图片与视频。智能手机多核处理器记忆GPU等硬件处理设备的发展，使得手机的功能越来越强大，手机相关应用也不断的升级，手机3D-TV便是其主要方向之一。但是3D视频的拍摄复杂，后期制作周期长等因素导致了其资源比较缺乏，严重制约着移动终端3D视频的发展。将原有的大量的2D资源转化成3D是解决此问题的有效途径。

2D转3D技术中的两个关键步骤是深度估计和虚拟视点合成。深度估计是从一幅或多幅图像中有效地提取深度信息，重建的深度图可以用于3D建模、虚拟视角渲染、视频编辑等多个方面。高质量的深度图不仅要体现图像中每个点在空间对应点的正确深度，还要能准确的处理图像噪声、低纹理区域的深度以及区域遮挡问题。作为众多应用的基础，深度估计的效果在立体视觉中也起到至关重要的作用。

目前已有的2D图像的深度估计算法适应场景有限，立体效果不好，而且复杂度高。基于手机端的2D转3D的技术的发展更加不成熟，其限制的主要因素有:2D转3D需要相当大的储存资源，这对储存容量非常有限的手机端来说无疑是巨大的挑战；其次是手机的处理速度非常有限，很难满足2D转3D的实时性需求；而且，无论是视频转换还是视频的播放都会消耗大量的电量，即使很多手机支持闪充技术，但是还是会对用户造成不便。

技术实现要素：

本发明的主要目的在于，克服现有技术的不足，提供一种手机端2D转3D自适应云卸载的方法和系统，将手机端复杂的计算卸载到云端，从而释放手机端的存储资源，提高手机的处理速度，降低手机的功耗。

本发明提供了一种手机端2D转3D自适应云卸载的方法，其特征在于，包括如下步骤：

A1.输入一帧2D单目图像，将图像等分成N个图像块；

A2.将图像块进行分类，分类为远景视图、线性视图和普通视图；

A3.根据已划分视图的类别，分别计算每个图像块深度估计的算法复杂度；

A4.将A3计算得到的每个图像块的算法复杂度，代入云端卸载动态资源分配模型，最优化得到分配结果；

A5.按照A4最优化得到的分配结果，分别在手机端和云端进行深度估计，生成深度图。

优选地，所述步骤A2图像块分类包括如下步骤：

A201.将每个图像块由RGB空间转化为HSI空间，计算HSI空间的像素值，根据设定的阈值分类出远景视图和非远景视图；

A202.对非远景视图进行灭点检测，如能够检测到灭点，则为线性视图，否则为普通视图。

进一步地优选，所述步骤A201远景视图和非远景视图的分类方法为：计算图像坐标（x,y）处的HSI空间像素值H(x,y)，S(x,y)，I(x,y)，若100<H(x,y)<180且100<S(x,y)<255，则Sky(x,y)=1；若50<H(x,y)<100且100<S(x,y)<255，则Ground(x,y)=1；设若Amount大于设定的阈值，则为远景视图，否则为非远景视图。

进一步地优选，所述步骤A202灭点检测为：利用Canny算子计算出图像的边缘，利用Hough进行边缘直线检测，根据直线的交点检测灭点。

更进一步地优选，所述灭点检测的检测公式为：

其中，(x₀,y₀)为图像块在像平面的灭点，(ρ_i,θ_i)为图像块对应于像平面的点(x_i,y_i)在极坐标的坐标，W_i为对应的权重。

优选地，所述步骤A3中计算算法复杂度包括如下：

A301.对于远景视图，用k-means算法分割图像块，用k-means算法的执行时间来近似深度估计的算法复杂度；

A302.对于普通视图，用graph cut算法对图像块进行检测，能检测到的区域为前景，否则为背景，分别对前景和背景计算graph cut算法的执行时间，用graph cut算法的执行时间来近似深度估计的算法复杂度；

A303.对于线性视图，同时用k-means算法分割和灭点检测图像块，分别计算其算法的执行时间，取较大的执行时间来近似深度估计的算法复杂度。

深度估计的算法复杂度取决于各算法的复杂度，而算法的复杂度与算法的执行时间呈正相关的关系，故可以用该算法的执行时间来近似深度估计的算法复杂度。

进一步地优选，所述远景视图图像块的算法复杂度表示为如下的公式：

C₁≈(8+12α_i)WH/S, 公式（2）

普通视图图像块的算法复杂度表示为如下的公式：

C₃≈β_iWH/S, 公式（3）

线性视图图像块的算法复杂度表示为如下的公式：

C₂≈max(γ,8+12α_i)WH/S, 公式（4）

其中，

β_i为graph cut算法的迭代次数；C₁、C₂、C₃分别为远景视图、线性视图、普通视图图像块的算法复杂度；W和H分别为当前图像块的宽度和高度；S为用来归一化图像块的面积，S=87296；α_i为k-means算法中划分的簇数，O_i为图像中闭合的轮廓数，γ为对S大小的图像进行灭点检测的时间。

优选地，所述步骤A4云端卸载动态资源分配模型通过最小化手机端的功耗，最优化得到分配结果。

首先，当没有云端卸载时，手机端的功耗可以定义为：

其中，P_c和P_tr分别为手机在计算和数据传送时的功耗，C_all所需的算法的指令数。f为手机端的处理速度，单位为每秒的指令数。D是云端和手机端传输的数据的大小，B为带宽。

当有云端卸载时，手机端的功耗为：

其中，P_i为手机闲置时的功耗，S为云端的计算速度，C_c和C_m分别为分配到云端和手机端的算法复杂度。

为最小化手机端的功耗，考虑手机端和云端的计算能力以及手机和云端之间的计算速率，根据深度估计的算法复杂度，提出一个针对手机端2D转3D的基于云端卸载的动态资源分配模型。

进一步地优选，所述云端卸载动态资源分配模型的表达式为：

其中，

n_c1,n_c2和n_c3分别为卸载到云端的远景视图、线性视图和普通视图的个数。

n_all1,n_all2和n_all3分别为远景视图、线性视图和普通视图的总个数。

与的关系表达如：约束条件表示卸载到云端的块的数量应该小于块的总数以及使用云卸载的手机的功耗应该低于没有使用云卸载时的功耗。

云端和手机端的总算法复杂度分别为上面分配的不同类别各图像块的算法复杂度之和：

C_c＝(n_c1,n_c2,n_c3)×(C₁,C₂,C₃)^T, 公式（12）

C_m＝(n_m1,n_m2,n_m3)×(C₁,C₂,C₃)^T, 公式（13）

n_m1,n_m2和n_m3分别为卸载到手机端的远景视图、线性视图和普通视图的块的个数；

C₁,C₂和C₃分别为对应的远景视图、线性视图和普通视图的图像进行深度估计时的计算复杂度。

通过最优化式（9），可以得到中的各个变量的值，即对应着分别卸载到云端的远景视图、线性视图和普通视图的图像块的个数。

本发明还提供一种手机端2D转3D自适应云卸载的系统，该系统包括图像划分模块、图像块分类模块、复杂度计算模块、动态资源分配模型模块、深度估计模块；图像划分模块用于将2D单目图像的划分；图像块分类模块用于图像块的分类，将图像块分类为远景视图、线性视图和普通视图；复杂度计算模块用于计算每个图像块的算法复杂度；动态资源分配模型模块用于最优化云端卸载动态资源的分配；深度估计模块用于手机端或云端的图像块深度估计，生成深度图。

本发明的有益效果为：通过建立云端卸载动态资源分配模型，形成基于云计算的手机端2D转3D的自适应卸载方法和系统，将手机端复杂的计算卸载到云端，从而释放手机端的存储资源，提高手机的处理速度，降低手机的功耗。通过此深度估计方法和系统能够获得深度估计合理，运行速度高效的高质量深度图。

本发明的实施例还具有如下的有益效果：通过HIS空间像素值的计算与灭点检测，能更精确地将图像块进行分类；不同类别图像块，通过分别用k-means算法、graph cut算法、灭点检测对图像块进行检测，能提高算法的效率；通过考虑手机端和云端的计算能力以及手机和云端之间的传输速率，提出最小化手机端功耗的云端卸载的动态资源分配模型，能将手机的功耗降到最低。

附图说明

图1为本发明实施例手机端2D转3D自适应云卸载的方法示意图。

图2为本发明实施例的输入图像，图2a为平原，图2b为高山，图2c为高速公路，图2d为火车，图2e为沙滩，图2f为蝴蝶。

图3为本发明实施例在不同网络宽带情况下节约的功耗示意图。

图4为生成的深度图，图4a为平原，图4b为高山，图4c为高速公路，图4d为火车，图4e为沙滩，图4f为蝴蝶。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本实施例的手机端2D转3D自适应云卸载的方法流程图如图1所示。

A1.输入一帧2D单目图像，将图像等分成N个图像块；

A2.将每个图像块由RGB空间转化为HSI空间，计算HSI空间的像素值，根据设定的阈值分类出远景视图和非远景视图；对非远景视图进行灭点检测，利用Canny算子计算出图像的边缘，利用Hough进行边缘直线检测，根据直线的交点检测灭点如能够检测到灭点，则为线性视图，否则为普通视图；

A3.根据已划分视图的类别，分别计算每个图像块深度估计的算法复杂度|：对于远景视图，用k-means算法分割图像块，用k-means算法的执行时间来近似深度估计的算法复杂度；对于普通视图，用graph cut算法对图像块进行检测，能检测到的区域为前景，否则为背景，分别对前景和背景计算graph cut算法的执行时间，用graph cut算法的执行时间来近似深度估计的算法复杂度；对于线性视图，同时用k-means算法分割和灭点检测图像块，分别计算其算法的执行时间，取较大的执行时间来近似深度估计的算法复杂度。

A4.将A3计算得到的每个图像块的算法复杂度，代入云端卸载动态资源分配模型：

通过最小化手机端的功耗最优化得到分配结果；

A5.按照A4最优化得到的分配结果，分别在手机端或云端进行深度估计，生成深度图。

将手机端和云端分别生成的深度图进行深度融合，合成3D视点并显示3D视图。

本实验的测试平台数据HP iPAQ PDA，各数据参数为P_c为0.9W，P_i为0.3W，P_tr为1.3W。

原来测试图像如图2所示，图2a为平原，图2b为高山，图2c为高速公路，图2d为火车，图2e为沙滩，图2f为蝴蝶。等分成9块后，每幅图对应的各类视图图像块个数如表1所示，n_all1,n_all2和n_all3分别为远景视图、线性视图和普通视图的总个数。

表1各类视图图像块的个数

当测试网络带宽分别为0.5Mbps、1.5Mbps、2.5Mbps、3.5Mbps和4.5Mbps时，云端卸载的各数据参数和节省的能量如下表2所示。表2对应的曲线图如图3所示。实验生成的深度图如图4所示，图4a为平原，图4b为高山，图4c为高速公路，图4d为火车，图4e为沙滩，图4f为蝴蝶。

表2云端卸载动态资源分配结果和节省的能量

表2中，n_c1,n_c2和n_c3分别对应该传输带宽下卸载到云端上的不同块的个数，saved energy为与没有云卸载时相比，系统有云卸载时节省的功耗百分比。