一种三维点云图像生成方法及设备与流程
本发明涉及图像处理技术领域，尤其涉及一种三维点云图像生成方法及设备。
背景技术：
现有技术中，有摄像功能的导航系统基于自动化生成地图系统能够实时的获取当前所在环境的地图，具体为利用相机获取二维图像，并且确定所述二维图像的图像深度，其中，图像深度表示从拍摄图像场景的相机到所述图像场景中各点的距离。将相机获取的二维图像传送到计算机，通过计算机对二维图像进行处理来获取拍二维图像的图像深度，由于所述二维图像的图像深度，能够反映拍摄该图像的相机与实际图像场景中各点的距离，因此根据所述二维图像和所述二维图像深度建立3d图像模型。
现有技术中可以利用双目相机或者三色深度rgbd(rgb-depth)相机拍摄二维图像，基于计算机通过所述二维图像的图像像素深度，基于3d图像模型建立技术，将获得的二维图像重建在三维坐标中得到三维点云图像。
但是，由于在计算机处理图像的过程中，对二维图像的像素坐标或图像像素深度的提取精度不够，存在一定的误差，影响拍摄该图像的相机与实际图像场景中各点之间的距离的精确度，从而导致获取的三维点云图像的精度较低，降低了用户使用三维点云图像的效果。
技术实现要素：
本发明提供一种三维点云图像生成方法及设备，利用区分远近点的方式对图像深度进行优化，提高图像深度的精确性，根据优化后的图像深度以及对应的二维图像生成三维点云图像，从而提高生成的三维点云图像的精确度。
第一方面，本发明提供一种三维点云图像生成方法，该方法包括：
获取相机拍摄的二维图像中各像素点的像素深度；
根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；
利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
第二方面，本发明提供一种三维点云图像生成设备，该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器用于执行如下步骤：
获取相机拍摄的二维图像中各像素点的像素深度；
根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；
利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
第三方面，本发明提供一种三维点云图像生成设备，该设备包括：
获取像素深度单元，用于获取相机拍摄的二维图像中各像素点的像素深度；
筛选深度单元，用于根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
优化深度单元，用于利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；
生成点云单元，用于利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
本发明提供的一种三维点云图像生成方法及设备，具有以下有益效果：
通过区分远近点的方式对图像深度进行区分，利用与远点像素点和近点像素点对应的不同的高斯混合模型对图像深度进行优化，提高图像深度的精确性，根据优化后的图像深度以及对应的二维图像，基于计算机建立的三维点云图像生成技术，将获得的二维图像与对应的优化后的图像深度重建在三维坐标中生成三维点云图像，有效提高了生成三维点云图像的精度，应用在实时生成3d地图时能够极大的提高用户使用3d地图的效果。
附图说明
图1为本发明提供的一种三维点云图像生成方法步骤图；
图2为第一高斯混合模型对远点像素点的像素深度进行优化的步骤图；
图3为第二高斯混合模型对近点像素点的像素深度进行优化的步骤图；
图4为基于远近点实现三维点云优化的具体流程；
图5为一种三维点云图像生成方法的设备单元图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供了一种三维点云图像生成方法及设备，应用于智能导航系统中实时生成3d地图，基于传统的根据高斯混合模型提取深度的方法，利用远点和近点的不同特点，对远点和近点进行不同的优化，极大的提高了获取的点云精度。
下面对本发明中的术语作如下解释：
1、本发明实施例中术语“深度”是指图像的深度或者像素的深度，基于深度图像或距离影像中的图像深度信息定义的，图像深度/像素深度是指从拍摄图像场景的相机到所述图像场景中各点的距离。
2、本发明实施例中术语“点云”是二维图像中的像素点在三维坐标中重建的点的集合，能够利用该点云构建该二维图像的三维模型。
3、本发明实施例中术语“相机”是指能够通过所述相机确定拍摄的二维图像的图像深度的相机，所述相机包括但不限于双目相机和三色深度rgbd相机。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例一
本发明提供了一种三维点云图像生成方法，如图1所示，具体实施步骤如下：
步骤101：获取相机拍摄的二维图像中各像素点的像素深度；
实施中，所述相机包括但不限于双目相机或者三色深度rgbd相机。
具体的，利用双目相机或者三色深度rgbd相机能够获取上述拍摄的二维图像中各像素点的像素深度，获取像素深度的方法根据拍摄二维图像的相机的不同而不同，其中，利用相机拍摄的二维图像获取图像中各像素点的像素深度的方法如下所示，具体实施中根据相机的不同进行选取：
方法一：利用双目相机获取像素深度。
具体的，双目相机是相对位置固定的两个相机，所述两个相机的类型/性能是一样的，基于双目相机本身的特点，通过双目相机分别拍摄二维图像，根据所述双目相机中两个相机同样的焦距、两个相机之间确定的基线长度及同一像素在两个相机拍摄的二维图像中的视差，确定所述二维图像中每个像素点的像素深度。
其中，所述双目相机的基线长度是指双目相机中的两个相对位置固定的两个相机之间的距离。
方法二：利用rgbd相机获取图像深度。
具体的，基于rgbd相机本身的特性，rgbd(rgb-depth)＝rgb+d，即通过rgbd相机拍摄图像后，能够得到拍摄图像的彩色图和深度图，通过彩色图获得图像的像素坐标即拍摄的二维图像，通过深度图获得图像的深度信息，深度信息中包含与所述二维图像中每个像素点配准的像素深度，并且彩色图和深度图之间存在一一对应关系，因此根据rgbd相机拍摄的深度图，能够直接获取像素深度。
通过上述实施步骤能够获取相机拍摄的二维图像中各像素点的像素深度，用于对所述像素深度进行优化，具体优化的实施步骤如下：
步骤102：根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
实施中，得到二维图像中各像素点的像素深度，对像素深度值进行提取之前，首先根据预先设定的深度标准将获得的所有像素点的像素深度进行分类，一类是远点像素点，另一类是近点像素点。
远点像素点和近点像素点的分类根据不同的相机定义了不同的分类规则，如下所示：
规则一：所述相机为双目相机时，根据双目相机的基线长度，设定远点像素点对应的深度及近点像素点对应的深度。
实施中，根据所述双目相机的基线长度确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度。
具体的，根据所述双目相机的基线长度确定标准深度的方法，包括：
确定预设倍数的双目相机的基线长度为标准深度，所述预设倍数的范围为35～45。
作为一种可选的实施方式，所述相机为双目相机时，标准深度为双目相机的基线长度的40倍。
作为一种可选的实施方式，所述相机为双目相机时，确定像素深度大于40倍的基线长度的像素点为远点像素点，像素深度不大于40倍的基线长度的像素点为近点像素点。
规则二：所述相机为rgbd相机时，根据rgbd相机的最大拍摄距离，设定远点像素点对应的深度及近点像素点对应的深度。
实施中，根据所述rgbd相机的最大拍摄距离确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度。
具体的，根据所述rgbd相机的最大拍摄距离确定标准深度的方法，包括：
确定预设倍数的rgbd相机的最大拍摄距离为标准深度，所述预设倍数的范围0.5～0.7。
作为一种可选的实施方式，所述相机为rgbd相机时，标准深度为rgbd相机的最大拍摄距离的三分之二。
作为一种可选的实施方式，所述相机为rgbd相机时，确定像素深度大于rgbd相机的最大拍摄距离的三分之二为远点像素点，确定像素深度不大于rgbd相机的最大拍摄距离的三分之二为近点像素点。
通过步骤102中任一种实施方式，都能够筛选出所述二维图像中远点像素点及近点像素点。
具体的，可以在筛选出所述二维图像中远点像素点及近点像素点之后，去除深度大于预设最大深度的远点像素点，即可以去除过远点，具体根据实际需求确定是否去除，本实施例只提供一种可能的实施方式，不作过多限定。
上述步骤筛选出所述二维图像中远点像素点及近点像素点之后，根据不同的高斯混合模型来评估周围点的像素深度对当前点的像素深度的影响，对远点像素点的深度和近点像素点的深度进行优化，具体步骤如下所示：
步骤103：利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化。
具体的，由于在计算机处理图像的过程中，对图像像素坐标或深度信息的提取精度不够，存在一定的误差，因此，本发明中的实施例利用高斯核采用平均周围像素点坐标的方法来提高图像像素坐标的提取精度，进而提高三维点云的精度。
实施中，所述第一高斯混合模型采用第一高斯核，所述第二高斯混合模型采用第二高斯核，通过第一高斯核确定的深度受周围点的影响比通过第二高斯核确定的深度受周围点的影响大。
作为一种可选的实施方式，所述第一高斯核为：
一方面，利用第一高斯混合模型对远点像素点的像素深度进行优化，步骤如图2所示：
步骤200：将确定的远点像素点的像素深度输入第一高斯核的高斯混合模型；
步骤201：利用第一高斯混合模型中的第一高斯核函数，对输入的远点像素点的像素深度进行处理；
其中，第一高斯核为：
上述矩阵中间值表示当前远点像素点在第一高斯核函数中的权重，该中间值周围的其余值分别表示周围点在第一高斯核函数中的权重，由上述wf可知，远点像素点的深度受周围点的影响较大，周围点的权重占比相对较大。
步骤202：输出确定每个远点像素点的深度与周围预设范围内像素点深度间的第一均值和第一方差；
具体公式如下：
第一均值：
第一方差：
其中，i，j表示第一高斯核矩阵中的位置编号，wi,j(uzij)表示远点像素点的输入第一高斯混合模型中的深度与第一高斯核中对应的权重相乘确定的深度，
步骤203：将上述第一均值作为上述远点像素点优化后的深度；
步骤204：确定上述第一均值/第一方差在超出对应的预设均值/预设方差时，去除对应的远点像素点。
具体的，去除第一均值超出对应的预设均值的远点像素点，能够保证去除优化后的远点像素点中的预设最大深度的远点像素点，相当于过远像素点，去除第一方差超出对应的预设方差的远点像素点，能够保证去除优化后的远点像素点中误差较大的远点像素点，能够更准确的筛选点云信息。
另一方面，利用第二高斯混合模型对近点像素点的像素深度进行优化，步骤如图3所示：
步骤300：将确定的近点像素点的像素深度输入第二高斯核的高斯混合模型；
步骤301：利用第二高斯混合模型中的第二高斯核函数，对输入的近点像素点的像素深度进行处理；
其中，第二高斯核为：
上述矩阵中间值表示当前近点像素点在第二高斯核函数中的权重，该中间值周围的其余值分别表示周围点在第二高斯核函数中的权重，由上述wn可知，近点像素点的深度受周围点的影响较小，周围点的权重占比相对较小。
步骤302：输出确定每个近点像素点的深度与周围预设范围内像素点深度间的第二均值和第二方差；
具体公式如下：
第二均值：
第二方差：
其中，i，j表示第二高斯核矩阵中的位置编号，wi,j(uzij)表示近点像素点的输入第二高斯混合模型中的深度与第二高斯核中对应的权重相乘确定的深度，
步骤303：将上述第二均值作为上述近点像素点优化后的深度；
步骤304：确定上述第二均值/第二方差在超出对应的预设均值/预设方差时，去除对应的近点像素点。
具体的，去除第二均值超出对应的预设均值的近点像素点，能够保证去除优化后的近点像素点中的预设最大深度的远点像素点，相当于过远像素点，去除第二方差超出对应的预设方差的近点像素点，能够保证去除优化后的近点像素点中误差较大的近点像素点，能够更准确的筛选点云信息。
经过上述步骤103中任一实施方式，能够对二维图像中远点像素点的像素深度及近点像素点的像素深度进行优化，用于利用优化后的像素深度构建精度较高的三维点云图像。
步骤104：利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
如图4所示，本实施例中提供的基于远近点实现三维点云优化的具体流程如下：
步骤400：获取相机拍摄的二维图像；
步骤401：判断所述二维图像是否是双目相机拍摄的二维图像，如果是执行步骤402，否则执行步骤403；
步骤402：根据双目相机本身的特点，获取拍摄的二维图像中各像素点的像素深度，执行步骤404；
步骤403：根据rgbd相机拍摄的深度图，直接获取像素深度，执行步骤405；
步骤404：定义像素深度大于40倍的基线长度的像素点为远点像素点，像素深度不大于40倍的基线长度的像素点为近点像素点；
步骤405：定义像素深度大于rgbd相机的最大拍摄距离的三分之二为远点像素点，确定像素深度不大于rgbd相机的最大拍摄距离的三分之二为近点像素点；
步骤406：确定是否是远点像素点，如果是执行步骤407，否则执行步骤408；
步骤407：使用第一高斯混合模型对远点像素点进行优化，执行步骤409；
步骤408：使用第二高斯混合模型对近点像素点进行优化，执行步骤410；
步骤409：根据第一高斯混合模型得到的第一均值/第一方差，确定第一均值/第一方差在超出对应的预设均值/预设方差时，对远点像素点进一步筛选，去除对应的远点像素点；
步骤410：根据第二高斯混合模型得到的第二均值/第二方差，确定第二均值/第二方差在超出对应的预设均值/预设方差时，对近点像素点进一步筛选，去除对应的近点像素点。
步骤411：利用筛选后的远点像素点和近点像素点构建三维点云。
实施例二
基于相同的发明构思，本发明实施例中还提供了一种三维点云图像生成设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器用于执行如下步骤：
获取相机拍摄的二维图像中各像素点的像素深度；
根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；
利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
作为一种可选的实施方式，所述相机为双目相机或者三色深度rgbd相机。
作为一种可选的实施方式，所述处理器还用于：
通过双目相机分别拍摄二维图像，根据所述双目相机中两个相机的焦距、两个相机的基线长度及同一像素在两个相机拍摄的二维图像中的视差，确定所述二维图像中每个像素点的像素深度。
作为一种可选的实施方式，所述相机为双目相机，所述处理器还用于：
根据所述双目相机的基线长度，设定远点像素点对应的深度及近点像素点对应的深度；或者
所述相机为rgbd相机，所述处理器还用于：
根据所述rgbd相机的最大拍摄距离，设定远点像素点对应的深度及近点像素点对应的深度。
作为一种可选的实施方式，所述处理器还用于：
根据所述双目相机的基线长度确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度；
作为一种可选的实施方式，所述处理器还用于：
根据所述rgbd相机的最大拍摄距离确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度。
作为一种可选的实施方式，根据所述双目相机的基线长度确定标准深度，所述处理器还用于：
确定预设倍数的双目相机的基线长度为标准深度，所述预设倍数的范围为35～45；
根据所述rgbd相机的最大拍摄距离确定标准深度，所述处理器还用于：
确定预设倍数的rgbd相机的最大拍摄距离为标准深度，所述预设倍数的范围0.5～0.7。
作为一种可选的实施方式，所述处理器还用于：
去除深度大于预设最大深度的远点像素点。
作为一种可选的实施方式，所述第一高斯混合模型和第二高斯混合模型采用不同的高斯核。
作为一种可选的实施方式，所述第一高斯混合模型采用第一高斯核，所述第二高斯混合模型采用第二高斯核，通过第一高斯核确定的深度受周围点的影响比通过第二高斯核确定的深度受周围点的影响大。
作为一种可选的实施方式，所述第一高斯核为：
作为一种可选的实施方式，所述处理器用于：
利用第一高斯混合模型确定每个远点像素点的深度与周围预设范围内像素点深度间的第一均值，为该远点像素点优化后的深度；
利用第二高斯混合模型确定每个近点像素点与周围预设范围内像素点间的第二均值，为该近点像素点优化后的深度。
作为一种可选的实施方式，所述处理器还用于：
利用第一高斯混合模型确定每个远点像素点的深度与周围预设范围内像素点深度间的第一方差，利用第二高斯混合模型确定每个近点像素点与周围预设范围内像素点间的第二方差；
确定第一均值/第一方差在超出对应的预设均值/预设方差时，去除对应的远点像素点，确定第二均值/第二方差在超出对应的预设均值/预设方差时，去除对应的近点像素点。
实施例三
基于相同的发明构思，本发明实施例中还提供了一种三维点云图像生成设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
如图5所示，该设备包括：
获取像素深度单元501，用于获取相机拍摄的二维图像中各像素点的像素深度；
筛选深度单元502，用于根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
优化深度单元503，用于利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；
生成点云单元504，用于利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
作为一种可选的实施方式，所述相机为双目相机或者三色深度rgbd相机。
作为一种可选的实施方式，所述获取像素深度单元501用于：
通过双目相机分别拍摄二维图像，根据所述双目相机中两个相机的焦距、两个相机的基线长度及同一像素在两个相机拍摄的二维图像中的视差，确定所述二维图像中每个像素点的像素深度。
作为一种可选的实施方式，所述相机为双目相机，还包括：
根据所述双目相机的基线长度，设定远点像素点对应的深度及近点像素点对应的深度；或者
所述相机为rgbd相机，还包括：
根据所述rgbd相机的最大拍摄距离，设定远点像素点对应的深度及近点像素点对应的深度。
作为一种可选的实施方式，所述筛选深度单元502用于：
根据所述双目相机的基线长度确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度。
作为一种可选的实施方式，所述筛选深度单元502用于：
根据所述rgbd相机的最大拍摄距离确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度。
作为一种可选的实施方式，根据所述双目相机的基线长度确定标准深度，包括：
确定预设倍数的双目相机的基线长度为标准深度，所述预设倍数的范围为35～45；
根据所述rgbd相机的最大拍摄距离确定标准深度，包括：
确定预设倍数的rgbd相机的最大拍摄距离为标准深度，所述预设倍数的范围0.5～0.7。
作为一种可选的实施方式，所述筛选深度单元还502用于：
去除深度大于预设最大深度的远点像素点。
作为一种可选的实施方式，所述第一高斯混合模型和第二高斯混合模型采用不同的高斯核。
作为一种可选的实施方式，所述第一高斯混合模型采用第一高斯核，所述第二高斯混合模型采用第二高斯核，通过第一高斯核确定的深度受周围点的影响比通过第二高斯核确定的深度受周围点的影响大。
作为一种可选的实施方式，所述第一高斯核为：
作为一种可选的实施方式，所述优化深度单元503用于：
利用第一高斯混合模型确定每个远点像素点的深度与周围预设范围内像素点深度间的第一均值，为该远点像素点优化后的深度；
利用第二高斯混合模型确定每个近点像素点与周围预设范围内像素点间的第二均值，为该近点像素点优化后的深度。
作为一种可选的实施方式，所述优化深度单元503还用于：
利用第一高斯混合模型确定每个远点像素点的深度与周围预设范围内像素点深度间的第一方差，利用第二高斯混合模型确定每个近点像素点与周围预设范围内像素点间的第二方差；
确定第一均值/第一方差在超出对应的预设均值/预设方差时，去除对应的远点像素点，确定第二均值/第二方差在超出对应的预设均值/预设方差时，去除对应的近点像素点。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
- 还没有人留言评论。精彩留言会获得点赞！