本发明涉及图像处理技术领域，具体涉及一种双摄像头终端及其图像处理方法和系统。
背景技术：
随着计算机视觉技术的发展，双摄像头移动终端已经流行，现阶段，移动终端双摄像头设备主要是为了满足用户的拍照需求。然而，由于摄像设备的价格昂贵，以及因为设备体积、重量和移动终端体积的市场要求的冲突，要制造出能够与专业摄像机拍摄效果媲美的移动终端是非常困难的，一是成本高，二是制造工艺有限。为了能够以较低的成本得到较好的照片，人们利用数字图像处理技术模仿专业摄像机的拍摄效果，对拍摄得到的图像进行增强、滤波、虚化模糊等操作。
目前已经提出一些数字图像虚化处理方法，例如基于物体空间的景深渲染方法、基于图像空间的景深渲染方法等，基于物体空间的方法其计算作用于三维场景表示，并且直接在渲染管线中计算景深效果。基于图像空间的方法，也称之为后处理方法，是作用图像上，利用场景深度图的信息对清晰场景图像做模糊处理。
但是这些方法在处理图像的时候存在操作繁琐、计算量大，且都是基于双摄像头的其中一幅图像进行处理，最终输出的也只是一个摄像头拍摄出的图像，这会造成输出的图像不能够完全呈现相机的实际视场，没有好好的发挥双摄像头的作用，在一定程度上浪费资源。
技术实现要素：
为解决上述技术问题，本发明提供一种双摄像头终端、还提出了基于双摄像头终端的图像处理方法和系统，本发明能够兼顾图像虚化效果与计算量问题，且能够将相机视场内的视觉信息完全输出，充分利用双摄像机的功能和作用。
方案一
本发明提供的一种基于双摄像头终端的图像处理方法，主要包括以下步骤：
采集图像：通过双摄像头终端的两个摄像头分别采集第一图像和第二图像；
获取初始深度图：对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；
图像拼接：将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；
深度图扩张：根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；
图像虚化：根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。
方案二
本发明还一种双摄像头终端，所述终端包括第一图像采集器、第二图像采集器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
所述第一图像采集器用于采集第一图像；
所述第二图像采集器用于采集第二图像；
所述处理器执行所述程序时实现以下步骤：通过双摄像头终端的两个摄像头分别采集第一图像和第二图像；
对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；
将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；
根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；
根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。
方案三
本发明还提出了一种基于双摄像头终端的图像处理系统，所述系统包括：
第一图像采集模块，用于采集第一图像；
第二图像采集模块，用于采集第二图像；
深度提取模块，用于对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；
图像拼接模块，将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；
深度扩展模块，根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；
图像虚化模块，根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。
本发明的有益效果是：
1.利用一种半密集的立体匹配算法，能够得到精确度高的深度图，同时，对于图像拼接也有好的拼接精度。
2.将深度图的获取和图像拼接同时进行，大大减少了运行时间，节约内存。
3.对图像进行分层，进行虚化处理，通过自适应修改虚化参数，能够有很好的虚化效果，且计算量小。
4.本发明输出的拼接图像，能够将双目相机视场内的信息输出，充分利用双摄像机的功能和作用。
5.根据拼接图像扩张深度图，能够获得相机整个视场深度信息。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1本发明流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
方案一：一种基于双摄像头终端的图像处理方法
如图1所示，本发明公开了一种适用于具备双摄像头的移动终端的图像处理方法，主要包括以下步骤：
s100，采集图像：通过双摄像头终端的两个摄像头分别采集第一图像和第二图像；
s200，获取初始深度图：对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；
s300，图像拼接：将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；
s400，深度图扩张：根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；
s500，图像虚化：根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。
本发明中，上述的获取初始深度图步骤s200和图像拼接步骤s300的执行顺序可以根据实际需求而定，例如，执行采集图像步骤s100后，可先进行获取初始深度图步骤s200，然后再进行图像拼接步骤s300；还可以在执行采集图像步骤s100后，先进行图像拼接步骤s300，然后再进行获取初始深度图步骤s200；当然，在执行采集图像步骤s100后，还可以同时进行获取初始深度图步骤s200和图像拼接步骤s300。
进一步的，本发明中采集图像步骤s100，还可包括图像预处理步骤，分别对第一图像和第二图像进行增强、去噪等预处理。
进一步的，本发明中所述的立体匹配包括稀疏匹配和稠密匹配，所述获取初始深度图步骤s200包括以下子步骤：
s201，稀疏匹配：分别提取第一图像和第二图像的特征点，并对第一图像的特征点和第二图像的特征点进行稀疏匹配，将第一图像中稀疏匹配成功的特征点作为第一稀疏匹配同名点，第二图像中稀疏匹配成功的特征点作为第二稀疏匹配同名点，且相互匹配的第一稀疏匹配同名点和第二稀疏匹配同名点组成稀疏匹配同名点对。
s202，稠密匹配：根据稀疏匹配同名点对对第一图像和第二图像的像素点进行稠密匹配，将第一图像中稠密匹配成功的像素点作为第一稠密匹配同名点，将第二图像中稠密匹配成功的像素点作为第二稠密匹配同名点，且相互匹配的第一稠密匹配同名点和第二稠密匹配同名点组成稠密匹配同名点对。
s203，计算初始深度图：根据稠密匹配同名点对计算第一图像与第二图像之间包含的深度信息，得到初始深度图。
在步骤s201中提取第一图像和第二图像的特征点时，可利用sift算法(尺度不变特征点提取算法)分别对第一图像和第二图像进行特征点提取。可先使用高斯滤波器对第一图像/第二图像进行若干次连续滤波建立第一个尺度组。再把第一图像/第二图像减小到原来的一半进行同样的高斯滤波形成第二个尺度组之后，重复操作直到第一图像/第二图像小于某一给定阈值为止；接下来对每个尺度组中的高斯图像进行差分形成高斯差分尺度组。然后取这些高斯差分第一图像/第二图像中的局部极值便得到了尺度空间域上第一图像/第二图像的特征点。
在对第一图像的特征点和第二图像的特征点进行稀疏匹配时，可通过计算两个特征点之间的欧氏距离来刻画两个特征点之间的匹配特性，即找出与第一图像中特征点pi的欧氏距离最近和次近的在第二图像中两个邻近特征点描述符q′i和q″i，计算q′i与pi以及q″i与pi两组特征点之间欧氏距离的比值r，如果比值r小于规定阈值则将该组特征点视为匹配成功，否则将该组特征点视为匹配失败，匹配失败的点不再是特征点。将匹配成功的两个特征点作为稀疏匹配同名点对，分别将稀疏匹配同名点对的两个特征点作为第一稀疏匹配同名点和第二稀疏匹配同名点。
进一步的，在对第一图像和第二图像进行稠密匹配时，可通过以下方式实现：
s2021：以第一稀疏匹配同名点为支撑点，对第一图像进行三角剖分，得到若干个第一图像三角形；以第二稀疏匹配同名点为支撑点，对第二图像进行三角剖分，得到若干个第二图像三角形；可优选delaunay三角剖分进行处理。
s2022：根据第一图像三角形和第二图像三角形的稀疏匹配关系，估计图像视差，得到估计视差图。
如在采用delaunay三角剖分进行处理时，delaunay三角形中任何像素点p的估计视差d，估计视差dp由该像素点的坐标和该像素点在delaunay三角形平面的拟合参数估计得到，具体如下数学表达式所示：
dp＝aup+bvp+c
其中，a,b,c为参数，其值通过拟合该像素点所在delaunay三角形平面获得；(up,vp)为该像素点p在图像中的坐标。
s2023：以第一图像作为参考图像，利用估计视差图，将第一图像中的像素点与第二图像中的像素点进行匹配，相互匹配成功的像素点作为第一稠密匹配同名点和第二稠密匹配同名点。
由于稀疏匹配不能够得到稠密的视差图，对于图像拼接而言，也是不能够得到精准的图像配准。因此，需要对第一图像和第二图像进行稠密匹配。本发明通过跟据已完成匹配的点，构建delaunay三角形，其他所有非匹配点的视差根据视差delaunay三角形进行估计，从而完成匹配。
在计算初始深度图时，根据稠密匹配同名点对计算第一图像与第二图像之间包含的深度信息，得到初始深度图。具体的：根据第一稠密匹配同名点和第二稠密匹配同名点xl,xr，利用视差求取公式d＝|xl-xr|求得视差d，再根据深度图计算公式：
进一步的，本发明在进行图像拼接时，主要包括以下子步骤：
s301，建立一张空图像，空图像i的长为第一图像和第二图像的长之和，空图像i的宽为第一图像的宽；
s302，利用第一初始投影变换矩阵将第一图像的像素点坐标信息投影到空图像中；利用第二初始投影变换矩阵将第二图像的像素点坐标信息投影到空图像中，得到第一像素点坐标图像；
s303，根据像素点坐标中相互匹配的第一稠密匹配同名点和第二稠密匹配同名点的坐标信息，对第一初始投影变换矩阵和第二初始投影变换矩阵进行优化校准，以使第一稠密匹配同名点和第二稠密匹配同名点重合和/或其之间的间距在预设的误差范围内，得到第一投影变换矩阵hl和第二投影变换矩阵hr；
s304，通过第一投影变换矩阵hl将第一图像的像素点坐标信息重新投影到空图像中，同时根据该空图像中的第一稠密匹配同名点的坐标信息，过第二投影变换矩阵hr将第二图像的像素点坐标信息投影到空图像中，得到第二像素点坐标图像；
s305，根据第一稠密匹配同名点的像素点坐标信息，将第一图像中没有立体匹配成功的像素点的像素点坐标信息匹配投影到空图像中；根据第二稠密匹配同名点的像素点坐标信息，将第二图像中没有立体匹配成功的像素点的像素点坐标信息匹配投影到空图像中；
s306，根据第一图像和第二图像在空图像中各个像素点的像素点坐标信息，将第一图像和第二图像的像素点值赋值在空图像的相应位置处，得到拼接图像。
具体为：计算第一投影变换矩阵hl和第二投影变换矩阵hr时，对于第一图像上的像素点(xl,yl)与拼接图像上像素点(x,y)的转换关系，如下：
利用超过4组的同名匹配点代入上式，即可求得图像变换矩阵hl。但是，为了得到精确的第一投影变换矩阵hl，本发明通过重复n次，对随机采样的稠密匹配同名点进行计算，得到n个第一投影变换矩阵hli,i＝1,2,...n，可将计算n个第一投影变换矩阵的均值作为最终的第一投影变换矩阵
由于上述求得的深度图只是对应于一个摄像头拍摄的图像，它不能够将相机的整个视场的深度信息呈现出来。但是深度图仅仅能够呈现出左、右图像能够匹配的点的信息，对于始终都无匹配的点，特别是一些边缘点，他们的深度信息在深度图上没有呈现出来。为了得到能够与拼接后的图像相对应的深度图，本发明利用深度图扩充的方法，得到一张能够呈现相机整个视场的深度的估计深度图。
进一步的，所述深度图扩张步骤s400主要包括以下子步骤：
s401：生成与拼接图像的尺寸相同的空深度图，将初始深度图的深度信息投影到空深度图中，得到第二深度图；
s402：如果第二深度图中的某像素点p的深度信息为空，则将距离该像素点p最近的且深度信息不为空的像素点q的深度信息赋值给该像素点q，得到扩张深度图。
进一步的，本发明所述图像虚化步骤主要包括以下子步骤：
s501，采集目标深度值z；
s502，根据深度值z、扩张深度图的深度信息及预设的聚焦层深度下限值th1和聚焦层深度上限值th2，对拼接图像进行分层处理，其中th1＝z-a,th2＝z-b，a，b分别为两个常数系数；将拼接图像中对应的深度值zi∈[th1,th2]的像素点作为聚焦层，其余像素点作为离焦层；
s503，对聚焦层进行对比度均衡化处理；
s504，对离焦层中不同深度值的区域，自适应匹配不同的虚化系数以进行虚化处理。
本发明通过利用虚化系数以及图像深度值来完成整张拼接图像的虚化。图像虚化表达式为：
其中，zi为像素点i的深度值，均值
本发明根据均衡化系数α对拼接图像进行均衡化处理。拼接图像中聚焦层点i的新的像素值
方案二：一种双摄像头终端
本发明还提出了一种双摄像头终端，所述终端包括第一图像采集器、第二图像采集器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
所述第一图像采集器用于采集第一图像；
所述第二图像采集器用于采集第二图像；
所述处理器执行所述程序时实现以下步骤：通过双摄像头终端的两个摄像头分别采集第一图像和第二图像；
对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图；
将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像；
根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图；
根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。
特别的，本发明中双摄像头移动终端的处理器能执行所述程序时，能够实现方案一所述方法中各个实施方式所记载的步骤及子步骤。
本发明中所述双摄像头终端可以为相机、手机、平板、移动电脑等双摄像头移动设备。
方案三：一种基于双摄像头终端的图像处理系统
一种基于双摄像头终端的图像处理系统，所述系统主要包括第一图像采集模块、第二图像采集模块、深度提取模块、图像拼接模块、深度扩展模块和图像虚化模块。
所述第一图像采集模块，用于采集第一图像。
所述第二图像采集模块，用于采集第二图像。
所述深度提取模块，用于对所述第一图像和所述第二图像进行立体匹配，得到所述第一图像与所述第二图像之间的初始深度图。
所述图像拼接模块，将所述第一图像和所述第二图像投影到预设的空图像中，并将所述第一图像和所述第二图像的像素赋值到所述空图像中，得到拼接图像。
所述深度扩展模块，根据拼接图像的尺寸，对初始深度图进行匹配扩张，并补充扩张区域的深度值，得到扩张深度图。
所述图像虚化模块，根据所述扩张深度图的深度信息，对所述拼接图像进行虚化处理。
进一步的，所述深度提取模块包括稀疏匹配模块、稠密匹配模块和深度图生成模块。
所述稀疏匹配模块用于对第一图像的特征点和第二图像的特征点进行稀疏匹配，将第一图像中稀疏匹配成功的特征点作为第一稀疏匹配同名点，第二图像中稀疏匹配成功的特征点作为第二稀疏匹配同名点，且相互匹配的第一稀疏匹配同名点和第二稀疏匹配同名点组成稀疏匹配同名点对。
所述稠密匹配模块用于根据稀疏匹配同名点对对第一图像和第二图像的像素点进行稠密匹配，将第一图像中稠密匹配成功的像素点作为第一稠密匹配同名点，将第二图像中稠密匹配成功的像素点作为第二稠密匹配同名点，且相互匹配的第一稠密匹配同名点和第二稠密匹配同名点组成稠密匹配同名点对。
所述深度图生成模块用于根据稠密匹配同名点对计算第一图像与第二图像之间包含的深度信息，得到初始深度图。
特别的，本发明中所述第一图像采集模块还可以用于执行步骤s100及其子步骤，所述第二图像采集模块还可以用于执行步骤s100及其子步骤，所述深度提取模块还可以用于执行步骤s200及其子步骤，所述图像拼接模块还可以用于执行步骤s300及其子步骤，所述深度扩展模块还可以用于执行步骤s400及其子步骤，所述图像虚化模块还可以用于执行步骤s500及其子步骤。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。