三维热成像设备及方法与流程

本发明属于机器视觉，尤其涉及一种三维热成像设备及方法。

背景技术：

1、红外热成像技术已经广泛应用于军事领域与民用领域。目前，红外热成像技术只能得出二维的热成像图信息，无法直观表现物体的三维的热力分布。随着自动驾驶与机器人行业的发展，三维热成像将有更为广泛的应用。与此同时，现有的红外热成像技术通常存在分辨率低，帧率低的缺点，已不能满足复杂的应用场景。

技术实现思路

1、本发明的目的在于提供一种三维热成像设备及方法，旨在解决现有技术中的传统红外热成像技术缺少三维的热力分布、分辨率低和帧率低的技术问题。

2、为实现上述目的，本发明实施例提供的一种三维热成像设备，包括图像采集单元、图像处理单元和结果输出显示器。图像采集单元与图像处理单元连接，图像处理单元与结果输出显示器连接。图像采集单元包括rgb图像采集模块、热成像采集模块和数据发送模块。rgb图像采集模块和热成像采集模块均与数据发送模块连通，数据发送模块与图像处理单元连通。图像处理单元包括数据接收模块、三维重建模块、超分辨率模块、视频插帧模块和图像融合模块。数据接收模块与数据发送模块连接，数据接收模块依次和三维重建模块、超分辨率模块、视频插帧模块和图像融合模块连接，图像融合模块与结果输出显示器连接。

3、进一步，rgb图像采集模块包括两rgb相机和rgb镜头组成，rgb相机分辨率大于1080p且帧率大于20f/s，rgb镜头分辨率大于1080p。热成像模块包括一热成像相机和一红外热像仪镜头组成，热成像相机的分辨率小于1080p且分辨率小于10f/s。数据发送模块又串口模块组成。

4、本发明实施例提供的一种三维热成像方法，采用三维热成像设备，包括以下步骤：步骤一、图像采集单元收集图像数据传输至图像处理单元。步骤二、图像处理单元接收图像采集单元所传输的图像数据后，进行处理融合后将结果输出值结果输出显示器上。

5、进一步，步骤一具体包括采用rgb图像采集模块采集两张rgb图像数据，并将采集到的rgb图像数据传输至数据发送模块上。同时热成像采集模块获取场景温度分布数据，并将热成像图像数据传输至数据发送模块上。数据发送模块将采集到的rgb图像数据和热成像图像数据传输至图像处理单元内。

6、进一步，步骤二具体包括数据接收模块接收数据发送模块传输过来的rgb图像数据和热成像图像数据。数据接收模块接收rgb图像数据和热成像图像数据后将rgb图像数据和热成像图像数据发送至三维重建模块和超分辨率模块上，三维重建模块依据rgb图像数据通过三维重建算法重建三维场景，将重建后的三维场景发送至图像融合模块上。超分辨率模块依据rgb图像数据通过超分辨率算法来提高热成像图像的分辨率，提升分辨率后的热成像图像数据和rgb图像数据传输至视频插帧模块上。视频插帧模块依据rgb图像数据的时间信息通过视频插帧算法对经过超分辨率模块的热成像图像数据进行插帧处理，将插帧后的热成像图像数据发送至图像融合模块上。图像融合模块接收到三维重建模块发送的三维场景和视频插帧模块发送的热成像图像数据后将两者进行融合，将二维的热图像映射到三维场景并得到最终效果图，将效果图传输至结果输出显示器上展示输出效果图。

7、进一步，三维重建算法采用双目立体算法得到深度图。

8、进一步，超分辨率算法，提高热成像图像的分辨率使其与rgb图像分辨率一致。

9、进一步，视频插帧算法采用实时中间流估计算法，提高热成像图像的帧率与rgb图像的采样帧率一致。

10、进一步，图像融合算法采用2d-3d匹配算法，将二维的热成像图像投射到三维重建场景图上，之后将数据输送至结果输出显示器，输出结果。

11、本发明实施例提供的三维热成像设备及方法中的上述一个或多个技术方案至少具有如下技术效果之一：通过拍摄高分辨率、高帧率的rgb图像和热成像图像，利用算法合成三维热成像图像，并在结果输出显示器中显示，用较低的成本解决传统红外热成像技术缺少三维的热力分布、分辨率低和帧率低的问题。

技术特征：

1.一种三维热成像设备，包括图像采集单元、图像处理单元和结果输出显示器；所述图像采集单元与所述图像处理单元连接，所述图像处理单元与所述结果输出显示器连接；其特征在于：所述图像采集单元包括rgb图像采集模块、热成像采集模块和数据发送模块；所述rgb图像采集模块和所述热成像采集模块均与所述数据发送模块连通，所述数据发送模块与所述图像处理单元连通；所述图像处理单元包括数据接收模块、三维重建模块、超分辨率模块、视频插帧模块和图像融合模块；所述数据接收模块与所述数据发送模块连接，所述数据接收模块依次和所述三维重建模块、所述超分辨率模块、所述视频插帧模块和所述图像融合模块连接，所述图像融合模块与所述结果输出显示器连接。

2.根据权利要求1所述的三维热成像设备，其特征在于：所述rgb图像采集模块包括两rgb相机和rgb镜头组成，所述rgb相机分辨率大于1080p且帧率大于20f/s，所述rgb镜头分辨率大于1080p；所述热成像模块包括一热成像相机和一红外热像仪镜头组成，所述热成像相机的分辨率小于1080p且分辨率小于10f/s；所述数据发送模块又串口模块组成。

3.一种三维热成像方法，采用权利要求1～2任一项所述的三维热成像设备，其特征在于：包括以下步骤：步骤一、所述图像采集单元收集图像数据传输至所述图像处理单元；步骤二、所述图像处理单元接收所述图像采集单元所传输的图像数据后，进行处理融合后将结果输出值所述结果输出显示器上。

4.根据权利要求3所述的三维热成像方法，其特征在于：所述步骤一具体包括采用所述rgb图像采集模块采集两张rgb图像数据，并将采集到的rgb图像数据传输至所述数据发送模块上；同时所述热成像采集模块获取场景温度分布数据，并将热成像图像数据传输至所述数据发送模块上；所述数据发送模块将采集到的rgb图像数据和热成像图像数据传输至所述图像处理单元内。

5.根据权利要求4所述的三维热成像方法，其特征在于：所述步骤二具体包括所述数据接收模块接收所述数据发送模块传输过来的rgb图像数据和热成像图像数据；所述数据接收模块接收rgb图像数据和热成像图像数据后将rgb图像数据和热成像图像数据发送至所述三维重建模块和所述超分辨率模块上，所述三维重建模块依据rgb图像数据通过三维重建算法重建三维场景，将重建后的三维场景发送至所述图像融合模块上；所述超分辨率模块依据rgb图像数据通过超分辨率算法来提高热成像图像的分辨率，提升分辨率后的热成像图像数据和rgb图像数据传输至所述视频插帧模块上；所述视频插帧模块依据rgb图像数据的时间信息通过视频插帧算法对经过所述超分辨率模块的热成像图像数据进行插帧处理，将插帧后的热成像图像数据发送至所述图像融合模块上；所述图像融合模块接收到所述三维重建模块发送的三维场景和所述视频插帧模块发送的热成像图像数据后将两者进行融合，将二维的热图像映射到三维场景并得到最终效果图，将效果图传输至结果输出显示器上展示输出效果图。

6.根据权利要求5所述的三维热成像方法，其特征在于：所述三维重建算法采用双目立体算法得到深度图。

7.根据权利要求5所述的三维热成像方法，其特征在于：所述超分辨率算法，提高热成像图像的分辨率使其与rgb图像分辨率一致。

8.根据权利要求5所述的三维热成像方法，其特征在于：所述视频插帧算法采用实时中间流估计算法，提高热成像图像的帧率与rgb图像的采样帧率一致。

9.根据权利要求5所述的三维热成像方法，其特征在于：所述图像融合算法采用2d-3d匹配算法，将二维的热成像图像投射到三维重建场景图上，之后将数据输送至所述结果输出显示器，输出结果。

技术总结
本发明属于机器视觉技术领域，尤其涉及一种三维热成像设备及方法，本发明公开了一种三维热成像方法、装置及设备，通过两台低成本、高分辨率、高帧率的RGB相机组成双目视觉系统，结合一台普通分辨率、较低帧率的低成本热成像相机，拍摄场景的RGB图像对和热力图像，利用算法对RGB图像对和热力图像进行处理，在得到场景三维信息的同时，对热成像图像进行超分辨率和超帧率处理，并将得到的二维热成像映射回三维场景，将结果输出显示器中显示场景中的三维热力图像，高帧率、高分辨率地展现场景的三维热力分布。所提系统在有效降低成本的同时，可以有效避免空间信息丢失，保证三维热力图的准确性与实时性。

技术研发人员：曾一龙
受保护的技术使用者：四维传感技术（深圳）有限公司
技术研发日：
技术公布日：2024/3/12