三维三目摄像装置及深度融合方法与流程

本发明涉及图像处理技术领域，尤其涉及的是一种三维三目摄像装置及深度融合方法。

背景技术：

目前，摄相机的二维(以下简称2d)成像技术都日趋成熟，高清、智能、多维成为未来摄像机的发展趋势。目前无论是芯片商还是设备商，都将未来的发展方向瞄准了三维(以下简称3d)成像与智能分析两个方面，并推出了多种解决方案，解决了一些应用问题。

在3d成像方面，有结构光、tof与双目可见光视差计算深度三种方案，在手势识别、3d摄影及工业检测等取得一些应用。在智能分析方面，2d图像的智能分析在智能交通、人脸识别与智能机器视觉等领域全面推广。但3d图像的智能分析稍显滞后，如主流应用中的3d摄影、智能汽车、人的识别与行为分析等，都是研究多实际应用少，究其原因，就是目前各种主流方案，都存在着无法解决的缺陷，不能形成优质的解决方案，各个方案的缺陷如下：

1.结构光方案，在强光下，结构光核心技术激光散斑会被淹没，因此，不合适室外；同时，在长时间监控方面，激光发射设备容易坏，重新换设备后，需要重新标定；

2.双目可见光视差计算方案，实现算法需要很高的计算资源，导致实时性很差，而且分辨率越高，要求精度越高，则计算越复杂，同时，双目方案受光照，物体纹理性质影响；

3.tof(飞行时间)方案，分辨率较低，但检测角度最宽，实时性高，不需要额外增加计算资源，几乎无算法开发工作量。

技术实现要素：

本发明所要解决的技术问题是提供一种三维三目摄像装置及深度融合方法，能够获得优质的3d图像。

为解决上述问题，本发明提出一种三维三目摄像装置，包括：

左右可见光图像传感器，针对拍摄对象采集左右两路可见光图像数据；

深度传感器，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系；

及图像处理模块，连接所述左右可见光图像传感器和深度传感器，用以将所述左右两路可见光图像数据及一路深度图像数据进行深度融合，以得到对应到左路可见光图像数据或右路可见光图像数据的各个像素区域的融合深度信息，从而能够根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据确定三维图像。

根据本发明的一个实施例，所述图像处理模块包括处理器及存储器，存储器和处理器以及存储在存储器上并可被处理器调用的计算机程序，所述处理器执行所述计算机程序时，实现以下步骤：

a1：根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，执行完成；否则继续执行；

a2：利用左右可见光图像传感器计算的深度信息，确定左右可见光图像传感器与拍摄对象的最大距离，当最大距离小于设定的距离阈值时，根据深度传感器传入的深度信息确定融合深度信息，执行完成；否则继续执行；

其中，步骤a1和步骤a2可调换；

a3：根据左右可见光图像传感器通过视差法计算的深度信息和深度传感器采集的深度信息进行逐像素区域融合，得到各个像素区域的融合深度信息。

根据本发明的一个实施例，所述步骤a3包括对深度传感器采集的深度图像数据的每个像素区域进行反射光强度判别：

a31：当反射光强度大于等于设定的强度高值时，根据深度传感器传入的深度信息确定对应像素区域的融合深度信息；

a32：当反射光强度小于等于设定的强度低值时，根据所述左右可见光图像传感器计算的深度信息确定对应像素区域的融合深度信息；

a33：当反射光强度大于强度低值时并且小于强度高值时，根据反射光强度确定所述深度传感器传入的深度信息的置信度α(i，j)，根据左右两路可见光图像数据的匹配度确定所述左右可见光图像传感器计算的深度信息的置信度β(x，y)，根据置信度α(i，j)及其对应深度信息、和置信度β(x，y)及其对应深度信息，最终确定对应像素区域的融合深度信息。

根据本发明的一个实施例，所述步骤a31中和/或所述步骤a2中，以第一路可见光图像数据为基准图，第二路可见光图像数据为匹配图，基准图上的像素点(x，y)的融合深度信息按照如下步骤确定：

a311：找到基准图上的像素点(x，y)对应的深度传感器上的像素坐标信息(i，j)，并取该像素坐标信息(i，j)的八个邻域点，共九个点用(i+δi，j+δj)表示；

其中，

δi∈[-1，+1]

δj∈[-1，+1]

展开即：

(i-1，j-1)、(i，j-1)、(i+1，j-1)、

(i-1，j)、(i，j)、(i+1，j)、

(i-1，j+1)、(i，j+1)、(i+1，j+1)

a312：根据匹配图和所述深度图像数据的像素对应关系，确定该九个点对应所述深度图像数据上的九个大小m*n像素块，每个像素块对应的深度信息为td(i+δi，j+δj)，反射光强度为ri(i+δi，j+δj)；m和n为正整数；

a313：以基准图上的像素点(x，y)为中心，在基准图上取大小m*n的像素块，分别与匹配图上的9个像素块做匹配，找到最佳匹配的像素块，基准图上的像素点(x，y)的融合深度信息d(x，y)即取该像素块对应的深度值td，即

d(x，y)＝td(i+δi，j+δj)。

根据本发明的一个实施例，所述步骤a33包括以下步骤：

a331：针对所述深度图像数据，对各个像素点的反射光强度ri(i，j)进行归一化，作为所述深度传感器传入的深度信息的置信度α(i，j)，归一化方法为：

α(i，j)＝(ri(i，j)-minri)/(maxri-minri)

其中，α(i，j)为像素点(i，j)的深度信息置信度；ri(i，j)为像素点(i，j)的反射光强度；minri为反射光强度ri(i，j)的最小值；maxri为反射光强度ri(i，j)的最大值；

a332：左右可见光图像传感器的左右两路可见光图像数据进行双目视差计算中，对各个像素点匹配度进行归一化，作为所述左右可见光图像传感器计算的深度信息的置信度β(x，y)，归一化方法为：

β(x，y)＝(mi(x，y)-minmi)/(maxmi-minmi)

其中，β(x，y)为像素点(x，y)的深度信息置信度；mi(x，y)为左右两路可见光图像数据在像素点(x，y)的匹配度；minmi为匹配度mi(x，y)的最小值；maxmi为匹配度mi(x，y)的最大值；

a333：根据所述步骤a311和a312找到一路可见光图像数据的像素点(x，y)对应的深度图像数据的深度信息td(i+δi，j+δj)；

a334：根据左右可见光图像传感器的左右两路可见光图像数据进行双目视差计算，得到该像素点(x，y)的深度dd(x，y)；

a335：根据置信度α(i，j)及其对应深度信息、和置信度β(x，y)及其对应深度信息，最终确定对应像素区域的融合深度信息：

d(x，y)＝α(i+δi，j+δj)*td(i+δi，j+δj)/(α(i，j)+β(x，y))+β(x，y)*dd(x，y)/(α(i，j)+β(x，y))。

根据本发明的一个实施例，所述步骤a1中，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，计算公式如下：

d(x，y)＝dd(x，y)

其中，d(x，y)为左路可见光图像数据或右路可见光图像数据的像素点(x，y)的融合深度信息；dd(x，y)为通过所述左右可见光图像传感器计算的像素点(x，y)的深度值。

根据本发明的一个实施例，所述左右可见光图像传感器的分辨率相同且高于所述深度传感器的分辨率。

根据本发明的一个实施例，所述深度传感器设于左可见光图像传感器和右可见光图像传感器之间且三者共线设置，在所述左可见光图像传感器和右可见光图像传感器的两侧还分别设置有朝向所述拍摄对象的左光源和右光源。

根据本发明的一个实施例，还包括应用模块，用以调取所述图像处理模块的数据；根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据建立三维图像，或者，将所述融合深度信息及左路可见光图像数据或右路可见光图像数据。

本发明还提供一种三维三目摄像装置的深度融合方法，包括以下步骤：

s1：通过左右可见光图像传感器，针对拍摄对象采集左右两路可见光图像数据；同时通过深度传感器，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系；

s2：根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，执行完成；否则继续执行；

s3：利用左右可见光图像传感器计算的深度信息，确定左右可见光图像传感器与拍摄对象的最大距离，当最大距离小于设定的距离阈值时，根据深度传感器传入的深度信息确定融合深度信息，执行完成；否则继续执行；

其中，步骤s2和步骤s3可调换；

s4：根据左右可见光图像传感器通过视差法计算的深度信息和深度传感器采集的深度信息进行逐像素区域融合，得到各个像素区域的融合深度信息；

s5：根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据建立三维图像。

采用上述技术方案后，本发明相比现有技术具有以下有益效果：

由于深度信息是根据两路可见光图像数据及一路深度图像数据融合得到的，将两路可见光图像数据中的一个二维图像作为图像基础，在此图像基础上根据深度信息构建三维图像，一方面深度信息更准确，另一方面可见光图像相比tof图像分辨率更高，从而获得的三维图像更为优质；使得在拍摄距离、检测精度、分辨率、检测角度、检测速度，抗环境干扰能力六个衡量3d成像效果的关键指标上，都有了显著提高，另外在安装要求、成本与功耗方面也没有明显劣势，是一种性价比超优的解决方案。

附图说明

图1为本发明一实施例的三维三目摄像装置的结构框图；

图2为本发明一实施例的左右两路可见光图像数据与深度图像数据的像素区域之间的对应关系示意图；

图3为本发明一实施例的可见光图像数据与深度图像数据的坐标映射关系

图4为本发明一实施例的三维三目摄像装置的深度融合方法的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

参看图1，在一个实施例中，三维三目摄像装置，包括：左可见光图像传感器1，右可见光图像传感器3，深度传感器2。图像处理模块4可以通过fpga(field-programmablegatearray，现场可编程门阵列)实现。深度传感器2可以为tof传感器。

左可见光图像传感器1和右可见光图像传感器3左右设置，构成双目视觉拍摄装置。优选的，深度传感器2设于左可见光图像传感器1和右可见光图像传感器3之间且三者共线设置，尽可能保证深度的一致性，在左可见光图像传感器1和右可见光图像传感器3的两侧还分别设置有朝向拍摄对象的左光源7和右光源8，可以进行补光。

左右可见光图像传感器针对拍摄对象进行拍摄，采集到左右两路可见光图像数据，得到的左可见光图像数据和右可见光图像数据可以采用双目视觉技术而确定相应的深度信息，双目视觉技术确定左右图像的深度信息是较为成熟的技术，在此不再赘述。

深度传感器2针对同样的拍摄对象进行拍摄，采集一路深度图像数据。其中，针对所拍摄的拍摄对象，左右两路可见光图像数据的像素区域与一路深度图像数据的像素区域之间有既定的对应关系，可以为此对应关系建立像素坐标映射表，来快速对应查找。

图像处理模块4连接左可见光图像传感器1、右可见光图像传感器3和深度传感器2，接收左右两路可见光图像数据及一路深度图像数据。图像处理模块4将左右两路可见光图像数据及一路深度图像数据进行深度融合，以得到对应到左路可见光图像数据或右路可见光图像数据的各个像素区域的融合深度信息，从而能够根据融合深度信息及左路可见光图像数据或右路可见光图像数据确定三维图像。

由于深度信息是根据两路可见光图像数据及一路深度图像数据融合得到的，将两路可见光图像数据中的一个二维图像作为图像基础，在此图像基础上根据深度信息构建三维图像，一方面深度信息更准确，另一方面可见光图像相比tof图像分辨率更高，从而获得的三维图像更为优质；使得在拍摄距离、检测精度、分辨率、检测角度、检测速度，抗环境干扰能力六个衡量3d成像效果的关键指标上，都有了显著提高，另外在安装要求、成本与功耗方面也没有明显劣势，是一种性价比超优的解决方案。

在一个实施例中，图像处理模块4可以包括处理器及存储器，存储器和处理器以及存储在存储器上并可被处理器调用的计算机程序，所述处理器执行所述计算机程序时，实现以下步骤：

a1：根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，执行完成；否则继续执行；

a2：利用左右可见光图像传感器计算的深度信息，确定左右可见光图像传感器与拍摄对象的最大距离，当最大距离小于设定的距离阈值时，根据深度传感器传入的深度信息确定融合深度信息，执行完成；否则继续执行；

其中，步骤a1和步骤a2可调换；

a3：根据左右可见光图像传感器通过视差法计算的深度信息和深度传感器采集的深度信息进行逐像素区域融合，得到各个像素区域的融合深度信息。

下面对上述步骤a1-a3进行更具体的描述，但不应以此为限。

优选的，在该三目三维摄像装置中，左右可见光图像传感器的分辨率相同且高于深度传感器2的分辨率。左右可见光图像传感器的分辨率相同可以便于像素点的对应，而深度传感器通常分辨率较低，为了保证获得的三维图像更高清，以更高分辨率的可见光图像传感器作为二维图像。

步骤a1-a3中出现的像素区域，可以为一像素点或一像素块，具体根据几者之间的分辨率大小关系确定，只要最终能够实现图像之间的像素区域一一对应即可。

例如，深度传感器2为低分辨率的tof传感器，分辨率为i*j，对于tof图像上的每个像素点(i，j)，皆有对应的深度信息td(i，j)，及反射光强度ri(i，j)。而左路可见光图像数据和右路可见光图像数据为高分辨率图像，分辨率为x*y，通过视差计算可以得到任意像素点(x，y)的深度信息dd(x，y)，及进行匹配计算时，会得到匹配度mi(x，y)。这些信息都是根据图像本身可确定的，也是后续融合需要使用的。各传感器的图像分辨率具体不限，可以选为尽可能的高。

在步骤a1中，根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，执行完成；否则继续执行。也即在光强较强情况下，将双目视觉技术计算出的深度信息直接作为其中一可见光图像的深度信息。

优选的，步骤a1中，根据左右可见光图像传感器计算的深度信息确定融合深度信息，计算公式如下：

d(x，y)＝dd(x，y)

其中，d(x，y)为左路可见光图像数据或右路可见光图像数据的像素点(x，y)的融合深度信息；dd(x，y)为通过所述左右可见光图像传感器计算的像素点(x，y)的深度值。

根据可见光传感器传入的图像，进行环境光强度检测，例如可以根据图像的亮度信息来判定环境光强度。当环境光强度ai大于设定的环境光强度阈值thi时，可见光对深度传感器的影响较大，此种情况下，以两路可见光图像数据计算的深度信息dd(x，y)为准，抛去深度传感器的深度信息。

在步骤a2中，利用左右可见光图像传感器计算的深度信息，确定左右可见光图像传感器与拍摄对象的最大距离，当最大距离小于设定的距离阈值时，根据深度传感器2传入的深度信息确定融合深度信息，执行完成；否则继续执行。也即在距离较近的情况下，选用深度传感器2传入的深度信息，深度信息更精准，该深度信息可以是深度图像数据本身，也可是该深度图像数据进行处理后的深度数据。

当然，步骤a1和a2的先后顺序是可以调换的，也即可以进行步骤a2的判断执行，而后如果不满足可以执行步骤a1，满足则结束。

优选的，利用双目深度信息，估算最大距离od，当最大距离od小于设定的距离阈值thd时，以深度传感器传入的深度信息td为准，并进行高清插值计算，高清插值可以使得分辨率与二维图像相对应，也可提高画面清晰度。计算公式如下：

d(x，y)＝td(i+δi，j+δj)

其中：

d(x，y)为左路可见光图像数据或右路可见光图像数据的像素点(x，y)的融合深度信息，也就是待构成三维图像的二维图像中的像素点的深度值；td(i+δi，j+δj)为深度传感器的深度图映射坐标并经过匹配计算的像素点(x，y)的最佳深度值。

步骤a2更具体的计算方法如下：

所述步骤a2中，以第一路可见光图像数据为基准图，第二路可见光图像数据为匹配图，基准图上的像素点(x，y)的融合深度信息按照如下步骤确定：

找到基准图上的像素点(x，y)对应的深度传感器上的像素坐标信息(i，j)，并取该像素坐标信息(i，j)的八个邻域点，共九个点用(i+δi，j+δj)表示；

其中，

δi∈[-1，+1]

δj∈[-1，+1]

展开即：

(i-1，j-1)、(i，j-1)、(i+1，j-1)、

(i-1，j)、(i，j)、(i+1，j)、

(i-1，j+1)、(i，j+1)、(i+1，j+1)

根据匹配图和所述深度图像数据的像素对应关系，确定该九个点对应所述深度图像数据上的九个大小m*n像素块，每个像素块对应的深度信息为td(i+δi，j+δj)，反射光强度为ri(i+δi，j+δj)；m和n为正整数；

以基准图上的像素点(x，y)为中心，在基准图上取大小m*n的像素块，分别与匹配图上的9个像素块做匹配，找到最佳匹配的像素块，基准图上的像素点(x，y)的融合深度信息d(x，y)即取该像素块对应的深度值td，即

d(x，y)＝td(i+δi，j+δj)。

在步骤a3中，根据左右可见光图像传感器通过视差法计算的深度信息和深度传感器采集的深度信息进行逐像素区域融合，得到各个像素区域的融合深度信息。也即除a1和a2外的其它情况，采取两路可见光图像传感器通过视差法计算的深度信息和深度传感器2采集的深度信息进行逐像素融合。

在一个实施例中，步骤a3包括对深度传感器2采集的深度图像数据的每个像素区域进行反射光强度判别：

a31：当反射光强度大于等于设定的强度高值时，根据深度传感器传入的深度信息确定对应像素区域的融合深度信息；

a32：当反射光强度小于等于设定的强度低值时，根据所述左右可见光图像传感器计算的深度信息确定对应像素区域的融合深度信息；

a33：当反射光强度大于强度低值时并且小于强度高值时，根据反射光强度确定所述深度传感器传入的深度信息的置信度α(i，j)，根据左右两路可见光图像数据的匹配度确定所述左右可见光图像传感器计算的深度信息的置信度β(x，y)，根据置信度α(i，j)及其对应深度信息、和置信度β(x，y)及其对应深度信息，最终确定对应像素区域的融合深度信息。

由于深度传感器2容易受环境强光(如太阳光)干扰，在白天效果不好，而根据左右可见光图像传感器通过视差法计算的深度信息却需要较强的环境光才能获得可靠的深度信息，在夜晚环境光弱时效果不好，因此根据环境光强度适应性地调整深度信息的来源，可获得全天候可靠的深度信息。

参看图2，可以在出厂时分别进行标定，从而预先确定深度传感器2采集的深度图像数据与左右可见光图像传感器采集的左右两路可见光图像数据在真实世界的像素对应关系。左可见光图像与右可见光图像皆为高分辨率图像，而深度传感器的深度图像为低分辨率图像，因此深度传感器2的图像每个像素点将对应左可见光图像与右可见光图像中包含m*n个像素的块，优选的，m、n为奇数。

在步骤a31中，对深度传感器2的每一个像素，根据深度传感器2反馈的该像素点的反射光强度判别，当反射光强度大于等于设定的强度高值thh时，以深度传感器2的深度图的深度信息为准。

优选的，所述步骤a31中以第一路可见光图像数据(例如左路可见光图像数据)为基准图，第二路可见光图像数据(相应为右路可见光图像数据)为匹配图，基准图上的像素点(x，y)的融合深度信息按照如下步骤a311-a313确定：

a311：找到基准图上的像素点(x，y)对应的深度传感器上的像素坐标信息(i，j)，并取该像素坐标信息(i，j)的八个邻域点，共九个点用(i+δi，j+δj)表示；

其中，

δi∈[-1，+1]

δj∈[-1，+1]

展开即：

(i-1，j-1)、(i，j-1)、(i+1，j-1)、

(i-1，j)、(i，j)、(i+1，j)、

(i-1，j+1)、(i，j+1)、(i+1，j+1)

a312：根据匹配图和所述深度图像数据的像素对应关系，参看图3，即根据右可见光图像和深度传感器2的深度图的映射表，确定该九个点对应所述深度图像数据上的九个大小m*n像素块，每个像素块对应的深度信息为td(i+δi，j+δj)，反射光强度为ri(i+δi，j+δj)；m和n为正整数。

a313：以基准图上的像素点(x，y)为中心，在基准图上取大小m*n的像素块，分别与匹配图上的9个像素块做匹配，找到匹配图上的最佳匹配的像素块，基准图上的像素点(x，y)的融合深度信息d(x，y)即取该像素块对应的深度值td，即

d(x，y)＝td(i+δi，j+δj)。后续根据基准图及其对应各像素点的深度值即可确定三维图像。

简单来说，以像素点(x，y)为中心，在左可见光图像数据上取m*n的块，分别与右可见光图像数据上的9个块做匹配，找到最佳匹配的块，像素点(x，y)即取该块对应的深度值td。

因为深度传感器需要发射红外光线然后再接受反射光，在距离较远的情况下，感知的深度会产生较大偏差，而根据左右可见光图像传感器通过视差法计算的深度信息则没有距离限制，但其感知的精度有限，通过在近距离选择深度传感器的深度信息、在远距离用双目视差的深度信息这一协调配合的方案，可获得感知范围大且精度高的深度信息。

在步骤a32中，当反射光强度小于等于设定的强度低值时，根据所述左右可见光图像传感器计算的深度信息确定对应像素区域的融合深度信息。

也即，对深度传感器2的每一个像素点，根据深度传感器2反馈的该像素点的反射光强度判别，当反射光强度ri小于等于强度低值thl时，以两路可见光图像计算的深度信息为准，计算公式如下：

d(x，y)＝dd(x，y)。

在步骤a33中，对深度传感器2的每一个像素点，根据深度传感器2反馈的该像素点的反射光强度判别，当反射光强度大于强度低值时并且小于强度高值时，根据反射光强度确定所述深度传感器传入的深度信息的置信度α(i，j)，根据左右两路可见光图像数据的匹配度确定所述左右可见光图像传感器计算的深度信息的置信度β(x，y)，根据置信度α(i，j)及其对应深度信息、和置信度β(x，y)及其对应深度信息，最终确定对应像素区域的融合深度信息。

优选的，步骤a33包括以下步骤：

a331：针对所述深度图像数据，对各个像素点的反射光强度ri(i，j)进行归一化，作为所述深度传感器传入的深度信息的置信度α(i，j)，归一化方法为：

α(i，j)＝(ri(i，j)-minri)/(maxri-minri)

其中，α(i，j)为像素点(i，j)的深度信息置信度；ri(i，j)为像素点(i，j)的反射光强度；minri为反射光强度ri(i，j)的最小值；maxri为反射光强度ri(i，j)的最大值；

a332：左右可见光图像传感器的左右两路可见光图像数据进行双目视差计算中，对各个像素点匹配度进行归一化，作为所述左右可见光图像传感器计算的深度信息的置信度β(x，y)，归一化方法为：

β(x，y)＝(mi(x，y)-minmi)/(maxmi-minmi)

其中，β(x，y)为像素点(x，y)的深度信息置信度；mi(x，y)为左右两路可见光图像数据在像素点(x，y)的匹配度；minmi为匹配度mi(x，y)的最小值；maxmi为匹配度mi(x，y)的最大值；

a333：根据所述步骤a311和a312找到一路可见光图像数据的像素点(x，y)对应的深度图像数据的深度信息td(i+δi，j+δj)；

a334：根据左右可见光图像传感器的左右两路可见光图像数据进行双目视差计算，得到该像素点(x，y)的深度dd(x，y)；

a335：根据置信度α(i，j)及其对应深度信息、和置信度β(x，y)及其对应深度信息，最终确定对应像素区域的融合深度信息：

d(x，y)＝α(i+δi，j+δj)*td(i+δi，j+δj)/(α(i，j)+β(x，y))+β(x，y)*dd(x，y)/(α(i，j)+β(x，y))。α、β皆为越接近1，表明深度值越可靠。

步骤a1和a2中，对同一感知对象而言，只是根据环境光的强度和距离在两个深度信息中二选一。而本实施例通过逐像素的深度融合，可以将两者的优势完全融合，获得高分辨率高精度高可靠的深度信息。

在一个实施例中，三维三目摄像装置还可以包括应用模块5，用以调取所述图像处理模块4的融合深度信息及左路可见光图像数据或右路可见光图像数据。应用模块可以根据融合深度信息及左路可见光图像数据或右路可见光图像数据来实现顶层应用，可建立三维图像。或者，应用模块5将所述融合深度信息及左路可见光图像数据或右路可见光图像数据发送给输出模块6，2d图像数据可以编码后输出。输出模块6例如是网络模块、显示模块等。

本发明还提供一种三维三目摄像装置的深度融合方法，包括以下步骤：

s1：通过左右可见光图像传感器，针对拍摄对象采集左右两路可见光图像数据；同时通过深度传感器，针对所述拍摄对象采集一路深度图像数据；其中，针对所拍摄的拍摄对象，所述左右两路可见光图像数据的像素区域与所述一路深度图像数据的像素区域之间有既定的对应关系；

s2：根据至少一可见光图像数据，进行环境光强度检测，当环境光强度大于设定的环境光强度阈值时，根据所述左右可见光图像传感器计算的深度信息确定融合深度信息，执行完成；否则继续执行；

s3：利用左右可见光图像传感器计算的深度信息，确定左右可见光图像传感器与拍摄对象的最大距离，当最大距离小于设定的距离阈值时，根据深度传感器传入的深度信息确定融合深度信息，执行完成；否则继续执行；

其中，步骤s2和步骤s3可调换；

s4：根据左右可见光图像传感器通过视差法计算的深度信息和深度传感器采集的深度信息进行逐像素区域融合，得到各个像素区域的融合深度信息；

s5：根据所述融合深度信息及左路可见光图像数据或右路可见光图像数据建立三维图像。

关于本发明的三维三目摄像装置的深度融合方法的具体内容可以参看前述实施例中的三维三目摄像装置的具体描述，在此不再赘述。

本发明虽然以较佳实施例公开如上，但其并不是用来限定权利要求，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。