图像处理方法和设备与流程

本技术涉及图像处理，尤其涉及一种图像处理方法和设备。

背景技术：

1、三维重建技术是指利用计算机技术将现实世界场景或物体重建为计算机能够表达和处理的数据模型。基于图像的三维重建技术由于其对于图像采集设备的低要求以及重建过程的低成本特点，应用越来越广泛。

2、目前基于图像的三维重建技术主要包括：提取多视角图像中的特征点、完成特征点匹配、基于运动恢复结构技术进行稀疏点云重建以及基于多视图立体技术进行稠密重建。通常在稀疏点云重建后，取匹配特征点在不同视角下的图像中的颜色的均值作为对应的三维点颜色，为稀疏点云进行着色处理。基于着色后的稀疏点云，通过多视图立体技术进行稠密重建，来提高三维重建结果的精确性。

3、然而，由于目标对象的表面材质、采集目标对象的图像时的环境光位置或颜色，使不同视角下的图像可能出现目标对象纹理不清晰、颜色不真实、多视角下纹理不一致等现象，匹配特征点在不同视角下的图像中的颜色的均值并不代表目标对象的真实颜色，因此，上述方法的三维重建结果的精确性较差。

技术实现思路

1、本技术提供了一种图像处理方法和设备，能够考虑到环境光照对目标对象的影响，有利于提高三维重建结果的精确性。

2、第一方面，提供了一种图像处理方法，包括：获取目标对象的多张原始图像，多张原始图像分别是在不同视角下对所述目标对象进行拍摄得到的；基于多张原始图像得到多组匹配特征点，并基于多组匹配特征点在对应的原始图像中的像素坐标，确定多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿；基于多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿，确定每张原始图像上对应的匹配特征点的深度信息；基于每张原始图像上对应的匹配特征点的深度信息和多张原始图像，确定每张原始图像对应的环境光照图；基于每张原始图像对应的环境光照图和每张原始图像对应的相机相对位姿，确定虚拟光源三维坐标；基于虚拟光源三维坐标和每张原始图像对应的环境光照图，对每张原始图像进行光照补偿，得到多张光照补偿图像；基于多张光照补偿图像和多组匹配特征点的三维坐标，确定目标对象的三维模型。

3、本技术实施例的图像处理方法，通过考虑环境光照对目标对象的影响，在三维重建时，引入环境光照图，利用环境光照图，确定虚拟光源三维坐标，基于虚拟光源三维坐标和环境光照图对原始图像进行光照补偿，得到多张光照补偿图像，由于光照补偿图像包含了环境光照对目标对象的影响，利用多张光照补偿图像对目标对象进行三维重建，可以使得三维重建后得到的三维模型的颜色更接近于目标物体在实际环境光照场景下的真实颜色，有利于提高三维重建结果的精确性，从而提高用户体验。

4、应理解，深度信息为各组匹配特征点分别到对应的图像采集设备(例如相机)成像平面的垂直距离。

5、还应理解，环境光照图是用于表示原始图像中的每个像素点在环境光源影响下的亮度信息的图像。上述多张原始图像中的每张原始图像都存在一个对应的环境光照图，即该步骤可以得到多张原始光照图。

6、还应理解，虚拟光源的数量可以是一个，也可以是多个

7、结合第一方面，在第一方面的某些实现方式中，上述方法还包括：基于每张原始图像对应的相机相对位姿、虚拟光源三维坐标和多组匹配特征点的三维坐标，确定更新虚拟光源三维坐标和多组匹配特征点的更新三维坐标；基于虚拟光源三维坐标和每张原始图像对应的环境光照图，对每张原始图像进行光照补偿，包括：基于更新虚拟光源三维坐标和每张原始图像对应的环境光照图，对每张原始图像进行光照补偿；基于多张光照补偿图像和多组匹配特征点的三维坐标，确定目标对象的三维模型，包括：基于多张光照补偿图像和多组匹配特征点的更新三维坐标，确定目标对象的三维模型。

8、本技术实施例的图像处理方法，通过确定更新虚拟光源三维坐标和多组匹配特征点的更新三维坐标，对每张原始图像进行光照补偿，并基于光照补偿后的图像和多组匹配特征点的更新三维坐标，确定目标对象的三维模型，更新的虚拟光源三维坐标和多组匹配特征点的更新三维坐标使比未更新的虚拟光源三维坐标和多组匹配特征点的更新三维坐标误差更小，有利于提高三维重建结果的精确性。

9、结合第一方面，在第一方面的某些实现方式中，对每张原始图像进行光照补偿，得到多张光照补偿图像，包括：基于更新虚拟光源三维坐标，确定虚拟光源在每张原始图像中的更新像素坐标；基于虚拟光源在每张原始图像中的更新像素坐标与虚拟光源在每张原始图像中对应的像素坐标之间的差值，对每张原始图像对应的环境光照图中的像素点进行位移，得到每张原始图像对应的环境光照补偿图；基于每张原始图像对应的环境光照补偿图，分别对每张原始图像进行光照补偿，得到多张光照补偿图像。

10、示例性地，图像处理设备可以将每张原始图像对应的环境光照补偿图映射到对应的原始图像，通过反投影操作分别对每张原始图像进行光照补偿，得到多张光照补偿图像。

11、结合第一方面，在第一方面的某些实现方式中，基于多张光照补偿图像和多组匹配特征点的更新三维坐标，确定目标对象的三维模型，包括：将多组匹配特征点的更新三维坐标确定为无色稀疏三维点云；获取多组匹配特征点在对应的多张光照补偿图像中的像素坐标；利用多组匹配特征点在对应的多张光照补偿图像中的像素坐标，对无色稀疏三维点云进行着色，得到着色稀疏三维点云；基于着色稀疏三维点云和多张光照补偿图像，确定所述目标对象的三维模型。

12、示例性地，图像处理设备可以利用多组匹配特征点在对应的多张光照补偿图像中的像素坐标的均值，对无色稀疏三维点云进行着色，得到着色稀疏三维点云。

13、结合第一方面，在第一方面的某些实现方式中，基于多张原始图像得到多组匹配特征点，包括：提取多张原始图像中每张原始图像的特征点；对多张原始图像进行特征点匹配，获得多组匹配特征点。

14、应理解，图像处理设备可以通过特征提取算法，提取多张原始图像中每张原始图像的特征点。示例性地，特征提取算法可以是尺度不变特征转换算法(scale-invariantfeature transform，sift)、加速稳健特征算法(speeded up robust features，surf)、角点检测算法(features from accelerated segment test，fast)或快速特征点提取和描述算法(oriented fast and rotated brief，orb)算法等特征点提取算法提取多张原始图像中每张原始图像的特征点，本技术实施例对此不做限定。

15、还应理解，图像处理设备可以通过特征匹配策略对多张原始图像上分别提取多个特征点进行特征点匹配，获得多组匹配特征点。示例性地，特征匹配策略可以是暴力匹配策略、k最邻近法(k-nearest neighbor，knn)匹配策略等，本技术实施例对此不做限定。

16、通过合适的特征提取算法和特征匹配策略，图像处理设备可以更加准确地提取到特征点，且可以获得更加准确的特征匹配结果，即上述多组匹配特征点，这样，有利于提高后续三维重建结果的准确性。

17、结合第一方面，在第一方面的某些实现方式中，确定多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿，包括：基于多组匹配特征点在对应的原始图像中的像素坐标和多张原始图像对应的相机内参，利用三角化方法，确定每张原始图像对应的相机相对位姿；基于多组匹配特征点在对应的原始图像中的像素坐标和每张原始图像对应的相机相对位姿，利用三角化方法，确定多组匹配特征点的三维坐标。

18、结合第一方面，在第一方面的某些实现方式中，确定每张原始图像上对应的匹配特征点的深度信息，包括：将多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿输入至深度估计网络模型，得到每张原始图像上对应的匹配特征点的深度信息。

19、示例性地，深度估计网络模型可以是卷积神经网络(convolutional neuralnetworks，cnn)。

20、结合第一方面，在第一方面的某些实现方式中，确定每张原始图像对应的环境光照图，包括：将每张原始图像上对应的匹配特征点的深度信息和多张原始图像输入至光照估计网络模型，得到每张原始图像对应的环境光照图。

21、示例性地，光照估计网络模型可以是gardner’s光照估计网络模型。

22、结合第一方面，在第一方面的某些实现方式中，确定虚拟光源三维坐标，包括：将每张原始图像对应的环境光照图中像素幅值最小的像素坐标确定为虚拟光源在每张原始图像中对应的像素坐标；基于虚拟光源在每张原始图像对应的像素坐标和每张原始图像对应的相机相对位姿，确定虚拟光源三维坐标。

23、第二方面，提供了一种图像处理设备，包括：获取模块，用于获取目标对象的多张原始图像，多张原始图像分别是在不同视角下对所述目标对象进行拍摄得到的；处理模块，用于基于多张原始图像得到多组匹配特征点，并基于多组匹配特征点在对应的原始图像中的像素坐标，确定多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿；基于多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿，确定每张原始图像上对应的匹配特征点的深度信息；基于每张原始图像上对应的匹配特征点的深度信息和多张原始图像，确定每张原始图像对应的环境光照图；基于每张原始图像对应的环境光照图和每张原始图像对应的相机相对位姿，确定虚拟光源三维坐标；基于虚拟光源三维坐标和每张原始图像对应的环境光照图，对每张原始图像进行光照补偿，得到多张光照补偿图像；以及，基于多张光照补偿图像和多组匹配特征点的三维坐标，确定目标对象的三维模型。

24、结合第二方面，在第二方面的某些实现方式中，处理模块还用于：基于每张原始图像对应的相机相对位姿、虚拟光源三维坐标和多组匹配特征点的三维坐标，确定更新虚拟光源三维坐标和多组匹配特征点的更新三维坐标；基于更新虚拟光源三维坐标和每张原始图像对应的环境光照图，对每张原始图像进行光照补偿；以及，基于多张光照补偿图像和多组匹配特征点的更新三维坐标，确定所述目标对象的三维模型。

25、结合第二方面，在第二方面的某些实现方式中，处理模块还用于：基于更新虚拟光源三维坐标，确定虚拟光源在每张原始图像中的更新像素坐标；基于虚拟光源在每张原始图像中的更新像素坐标与虚拟光源在每张原始图像中对应的像素坐标之间的差值，对每张原始图像对应的环境光照图中的像素点进行位移，得到每张原始图像对应的环境光照补偿图；基于每张原始图像对应的环境光照补偿图，分别对每张原始图像进行光照补偿，得到多张光照补偿图像。

26、结合第二方面，在第二方面的某些实现方式中，处理模块还用于：将多组匹配特征点的更新三维坐标确定为无色稀疏三维点云；获取模块还用于：获取多组匹配特征点在对应的多张光照补偿图像中的像素坐标；处理模块还用于：利用多组匹配特征点在对应的多张光照补偿图像中的像素坐标，对无色稀疏三维点云进行着色，得到着色稀疏三维点云；基于着色稀疏三维点云和多张光照补偿图像，确定目标对象的三维模型。

27、结合第二方面，在第二方面的某些实现方式中，处理模块还用于：提取多张原始图像中每张原始图像的特征点；以及，对多张原始图像进行特征点匹配，获得多组匹配特征点。

28、结合第二方面，在第二方面的某些实现方式中，处理模块还用于：基于多组匹配特征点在对应的原始图像中的像素坐标和多张原始图像对应的相机内参，利用三角化方法，确定每张原始图像对应的相机相对位姿；以及，基于多组匹配特征点在对应的原始图像中的像素坐标和每张原始图像对应的相机相对位姿，利用三角化方法，确定多组匹配特征点的三维坐标。

29、结合第二方面，在第二方面的某些实现方式中，处理模块还用于：将多组匹配特征点的三维坐标和每张原始图像对应的相机相对位姿输入至深度估计网络模型，得到每张原始图像上对应的匹配特征点的深度信息。

30、结合第二方面，在第二方面的某些实现方式中，处理模块还用于：将每张原始图像上对应的匹配特征点的深度信息和多张原始图像输入至光照估计网络模型，得到每张原始图像对应的环境光照图。

31、结合第二方面，在第二方面的某些实现方式中，处理模块还用于：将每张原始图像对应的环境光照图中像素幅值最小的像素坐标确定为虚拟光源在每张原始图像中对应的像素坐标；以及，基于虚拟光源在每张原始图像对应的像素坐标和每张原始图像对应的相机相对位姿，确定虚拟光源三维坐标。

32、第三方面，提供了另一种图像处理设备，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过接收器接收信号，通过发射器发射信号，以执行上述第一方面中的任一种可能实现方式中的方法。

33、可选地，处理器为一个或多个，存储器为一个或多个。

34、可选地，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。

35、在具体实现过程中，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read only memory，rom)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本技术实施例对存储器的类型以及存储器与处理器的设置方式不做限定。

36、上述第三方面中的图像处理设备可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。

37、第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序(也可以称为代码，或指令)，当其在计算机上运行时，使得计算机执行上述第一方面中的任一种可能实现方式中的方法。

38、第五方面，提供了一种计算机程序产品，计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当计算机程序被运行时，使得计算机执行上述第一方面中的任一种可能实现方式中的方法。