重建三维模型方法、重建三维模型系统及计算机存储介质与流程

文档序号:21733668发布日期:2020-08-05 01:29阅读:209来源:国知局
重建三维模型方法、重建三维模型系统及计算机存储介质与流程

本发明涉及物体三维模型重建领域,尤其涉及一种重建三维模型方法、重建三维模型系统及计算机存储介质。



背景技术:

利用计算机技术对真实的物体建立模型在各个领域中都有着很重要的意义,具体地,利用三维重建技术对真实的物体建立模型,其中三维重建技术是指利用相机,传感器等设备直接或间接的获取待重建物体的特征点数据,再通过特征点拼接等技术来建立物体的三维模型。三维重建技术作为计算机视觉技术中一个重要的分支,在增强现实、文物保护、工业自动化以及机器人应用等方面都具有广泛的应用,然而由于相机,传感器等设备自身的误差及采集数据时产生的误差,导致待重建物体的特征点数据不够精确,从而影响最终重建的三维模型的精度。

上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。



技术实现要素:

本发明的主要目的在于提供一种重建三维模型方法、重建三维模型系统及计算机存储介质,旨在解决目前采集的待重建物体的特征点数据不够精确,从而影响最终重建的三维模型的精度的技术问题。

为实现上述目的,本发明提供一种重建三维模型方法,应用于重建三维模型系统,所述重建三维模型系统包括移动端与后处理端,所述移动端包括摄像头、惯性测量单元及移动端计算程序,所述后处理端包括后处理端计算程序,所述重建三维模型方法包括以下步骤:

摄像头采集连续影像帧及离散影像帧,其中,所述连续影像帧携带第一时间戳,所述离散影像帧携带第二时间戳;

惯性测量单元获取连续影像帧的第一旋转角速度及第一加速度,和/或所述惯性测量单元获取离散影像帧的第二旋转角速度及第二加速度;

根据所述第一旋转角速度及第一加速度,移动端计算程序和/或后处理端计算程序获取连续影像帧的第一特征点数据库,和/或根据所述第二旋转角速度及第二加速度,移动端计算程序和/或后处理端计算程序获取离散影像帧的第二特征点数据库;

根据所述第一特征点数据库和/或所述第二特征点数据库,所述后处理端计算程序重建三维表面模型。

优选地,根据第一预设算法,所述移动端计算程序和/或后处理端计算程序抽取所述连续影像帧的第一特征信息;

根据所述第一旋转角速度及第一加速度,所述移动端计算程序和/或后处理端计算程序获取所述连续影像帧的惯性测量单元的位置;

根据所述连续影像帧的惯性测量单元的位置,所述移动端计算程序和/或后处理端计算程序获取所述第一特征信息,并根据所述第一特征信息构建连续影像帧的特征点数据库。

优选地,所述所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的旋转矩阵,并根据所述旋转矩阵及所述惯性测量单元的位置,获取所述连续影像帧的位置;

所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的偏置参数及缩放参数;

根据所述连续影像帧的位置、所述偏置参数及缩放参数,所述移动端计算程序和/或后处理端计算程序获取所述第一特征信息。

优选地,根据第一预设算法,所述移动端计算程序和/或后处理端计算程序抽取所述离散影像帧的第二特征信息;

根据所述第二旋转角速度及第二加速度,所述移动端计算程序和/或后处理端计算程序获取所述离散影像帧的惯性测量单元的位置;

根据所述离散影像帧的惯性测量单元的位置,所述移动端计算程序和/或后处理端计算程序获取所述第二特征信息,并根据所述第二特征信息构建离散影像帧的特征点数据库。

优选地,所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的旋转矩阵,并根据所述旋转矩阵及所述惯性测量单元的位置,所述移动端计算程序和/或后处理端计算程序获取所述离散影像帧的位置;

所述所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的偏置参数及缩放参数;

根据所述离散影像帧的位置、所述偏置参数及缩放参数,所述移动端计算程序和/或后处理端计算程序获取所述第二特征信息。

优选地,根据第二预设算法,所述后处理端计算程序将所述第一特征点数据库和/或所述第二特征点数据库匹配并合并,以获取目标影像帧特征点数据库;

根据所述目标影像帧特征点数据库,所述后处理端计算程序重建三维表面模型。

优选地,若检测程序检测到所述三维表面模型缺失连续影像帧,则检测程序发送拍摄指令至摄像机,以供摄像机根据所述拍摄指令获取所述连续影像帧对应的目标离散影像帧;

所述摄像机将所述目标离散影像帧发送至后处理端计算程序,以供所述后处理端计算程序根据所述目标离散影像帧补正所述三维表面模型。

优选地,若摄像头采集的第二目标物体与所述三维表面模型对应的第一目标物体相似度在预设相似范围误差内,则所述移动端计算程序和/或后处理端计算程序根据所述目标影像帧特征点数据库,重建所述第二目标物体对应的三维表面模型。

此外,为实现上述目的,本发明还提供一种重建三维模型系统,所述重建三维模型系统包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的重建三维模型程序,所述重建三维模型程序被所述处理器执行时实现以上任一项所述的重建三维模型方法的步骤。

此外,为实现上述目的,本发明还提供一种计算机存储介质,所述计算机存储介质上存储有重建三维模型程序,所述重建三维模型程序被处理器执行时实现以上任一项所述的重建三维模型方法的步骤。

本发明提出的重建三维模型方法,通过摄像头采集连续影像帧及离散影像帧,其中,连续影像帧携带第一时间戳,离散影像帧携带第二时间戳,接着惯性测量单元获取连续影像帧的第一旋转角速度及第一加速度,和/或惯性测量单元获取离散影像帧的第二旋转角速度及第二加速度,然后根据第一旋转角速度及第一加速度,移动端计算程序和/或后处理端计算程序获取连续影像帧的第一特征点数据库,和/或根据第二旋转角速度及第二加速度,移动端计算程序和/或后处理端计算程序获取离散影像帧的第二特征点数据库,最后根据第一特征点数据库和/或第二特征点数据库,后处理端计算程序重建三维表面模型,即采集连续影像帧,又采集离散影像帧,且移动端计算程序和后处理端计算程序均计算获取第一特征点数据库和第二特征点数据库,最后根据预设算法匹配并合并第一特征点数据库和第二特征点数据库,以获取精准度更高的目标影像帧特征点数据库,最后根据目标影像帧特征点数据库重建精度更高的三维表面模型。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的重建三维模型系统结构示意图;

图2为本发明重建三维模型方法第一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

如图1所示,图1是本发明实施例方案涉及的硬件运行环境的重建三维模型系统结构示意图。

如图1所示,该重建三维模型系统可以包括:处理器1001,例如cpu,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地,重建三维模型系统还可以包括摄像头、rf(radiofrequency,射频)电路,传感器、音频电路、wifi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。

本领域技术人员可以理解,图1中示出的重建三维模型系统结构并不构成对重建三维模型系统的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及重建三维模型程序。

在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的重建三维模型程序。

在本实施例中,重建三维模型装置包括:存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的重建三维模型程序,其中,处理器1001调用存储器1005中存储的重建三维模型程序时,并执行以下操作:

摄像头采集连续影像帧及离散影像帧,其中,所述连续影像帧携带第一时间戳,所述离散影像帧携带第二时间戳;

惯性测量单元获取连续影像帧的第一旋转角速度及第一加速度,和/或所述惯性测量单元获取离散影像帧的第二旋转角速度及第二加速度;

根据所述第一旋转角速度及第一加速度,移动端计算程序和/或后处理端计算程序获取连续影像帧的第一特征点数据库,和/或根据所述第二旋转角速度及第二加速度,移动端计算程序和/或后处理端计算程序获取离散影像帧的第二特征点数据库;

根据所述第一特征点数据库和/或所述第二特征点数据库,所述后处理端计算程序重建三维表面模型。

进一步地,处理器1001可以调用存储器1005中存储的重建三维模型程序,还执行以下操作:

根据第一预设算法,所述移动端计算程序和/或后处理端计算程序抽取所述连续影像帧的第一特征信息;

根据所述第一旋转角速度及第一加速度,所述移动端计算程序和/或后处理端计算程序获取所述连续影像帧的惯性测量单元的位置;

根据所述连续影像帧的惯性测量单元的位置,所述移动端计算程序和/或后处理端计算程序获取所述第一特征信息,并根据所述第一特征信息构建连续影像帧的特征点数据库。

进一步地,处理器1001可以调用存储器1005中存储的重建三维模型程序,还执行以下操作:

所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的旋转矩阵,并根据所述旋转矩阵及所述惯性测量单元的位置,获取所述连续影像帧的位置;

所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的偏置参数及缩放参数;

根据所述连续影像帧的位置、所述偏置参数及缩放参数,所述移动端计算程序和/或后处理端计算程序获取所述第一特征信息。

进一步地,处理器1001可以调用存储器1005中存储的重建三维模型程序,还执行以下操作:

根据第一预设算法,所述移动端计算程序和/或后处理端计算程序抽取所述离散影像帧的第二特征信息;

根据所述第二旋转角速度及第二加速度,所述移动端计算程序和/或后处理端计算程序获取所述离散影像帧的惯性测量单元的位置;

根据所述离散影像帧的惯性测量单元的位置,所述移动端计算程序和/或后处理端计算程序获取所述第二特征信息,并根据所述第二特征信息构建离散影像帧的特征点数据库。

进一步地,处理器1001可以调用存储器1005中存储的重建三维模型程序,还执行以下操作:

所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的旋转矩阵,并根据所述旋转矩阵及所述惯性测量单元的位置,获取所述离散影像帧的位置;

所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的偏置参数及缩放参数;

根据所述离散影像帧的位置、所述偏置参数及缩放参数,所述移动端计算程序和/或后处理端计算程序获取所述第二特征信息。

进一步地,处理器1001可以调用存储器1005中存储的重建三维模型程序,还执行以下操作:

根据第二预设算法,所述后处理端计算程序将所述第一特征点数据库和/或所述第二特征点数据库匹配并合并,以获取目标影像帧特征点数据库;

根据所述目标影像帧特征点数据库,所述后处理端计算程序重建三维表面模型。

进一步地,处理器1001可以调用存储器1005中存储的重建三维模型程序,还执行以下操作:

若检测程序检测到所述三维表面模型缺失连续影像帧,则检测程序发送拍摄指令至摄像机,以供摄像机根据所述拍摄指令获取所述连续影像帧对应的目标离散影像帧;

所述摄像机将所述目标离散影像帧发送至后处理端计算程序,以供所述后处理端计算程序根据所述目标离散影像帧补正所述三维表面模型。

进一步地,处理器1001可以调用存储器1005中存储的重建三维模型程序,还执行以下操作:

若摄像头采集的第二目标物体与所述三维表面模型对应的第一目标物体相似度在预设相似范围误差内,则所述移动端计算程序和/或后处理端计算程序根据所述目标影像帧特征点数据库,重建所述第二目标物体对应的三维表面模型。

本发明还提供一种重建三维模型方法,参照图2,图2为本发明重建三维模型第一实施例的流程示意图。

步骤s10,摄像头采集连续影像帧及离散影像帧,其中,所述连续影像帧携带第一时间戳,所述离散影像帧携带第二时间戳;

该步骤中,可以理解地,三维重建技术是指利用摄像头,传感器等设备直接或间接的获取待重建物体的特征数据,再通过拼接等技术来建立物体的三维模型,具体地,本发明涉及的重建三维模型系统包括移动端与后处理端,其中,移动端包括摄像头、惯性测量单元及移动端计算程序,后处理端包括后处理端计算程序,进一步地,移动端的摄像头用于采集待重建物体的图像,惯性测量单元用于采集在对待重建物体采集图像时摄像头和/或待重建物体的旋转角速度和加速度,移动端计算程序及后处理端计算程序用于对采集的待重建物体进行处理,以获取待重建物体的特征点,进而根据待重建物体的特征点进行待重建物体的三维表面模型重建。

具体地,将传感器、摄像头和惯性测量单元固定连接同一平面,以摄像头的中心为原点、平面的水平方向为x轴,平面的竖直方向为y轴,垂直平面的方向为z轴,建立坐标系,接着启动重建三维模型系统,具体地,启动摄像头,并以固定周期采集待重建物体的连续影像帧及离散影像帧,其中,连续影像帧携带第一时间戳,离散影像帧携带第二时间戳。

步骤s20,惯性测量单元获取连续影像帧的第一旋转角速度及第一加速度,和/或所述惯性测量单元获取离散影像帧的第二旋转角速度及第二加速度;

该步骤中,采用惯性测量单元获取连续影像帧的第一旋转角速度及第一加速度,和/或惯性测量单元获取离散影像帧的第二旋转角速度及第二加速度,具体地,在启动摄像头并以固定周期采集待重建物体的连续影像帧及离散影像帧时,同时启动惯性测量单元采集旋转角速度及加速度,且惯性测量单元与摄像头的采集周期一致。

具体地,惯性测量单元以固定周期采集旋转角速度及加速度,其中,采集的旋转角速度及加速度均携带时间戳,接着根据连续影像帧携带的第一时间戳,惯性测量单元获取连续影像帧的第一旋转角速度及第一加速度,根据离散影像帧携带的第二时间戳,惯性测量单元获取离散影像帧的第二旋转角速度及第二加速度。

步骤s30,根据所述第一旋转角速度及第一加速度,移动端计算程序和/或后处理端计算程序获取连续影像帧的第一特征点数据库,和/或根据所述第二旋转角速度及第二加速度,移动端计算程序和/或后处理端计算程序获取离散影像帧的第二特征点数据库;

该步骤中,在惯性测量单元获取连续影像帧的第一旋转角速度及第一加速度之后,根据第一旋转角速度及第一加速度,移动端计算程序和/或后处理端计算程序获取连续影像帧的惯性测量单元位置及旋转角,其中,可以理解地,惯性测量单元获取的旋转角速度及加速度为惯性测量单元的旋转角速度及加速度,因此,为了获取连续影像帧的位置及旋转角,即需获取摄像机的位置及旋转角,具体地,获取惯性测量单元的旋转矩阵,接着将惯性测量单元位置及旋转角乘以惯性测量单元的旋转矩阵,以获取连续影像帧的位置及旋转角,然后根据预设算法抽取连续影像帧的特帧点,异步计算并获取连续影像帧的第一特征点数据库。

进一步地,在惯性测量单元获取离散影像帧的第二旋转角速度及第二加速度之后,根据第二旋转角速度及第二加速度,移动端计算程序和/或后处理端计算程序获取离散影像帧的惯性测量单元位置及旋转角,其中,可以理解地,惯性测量单元获取的旋转角速度及加速度为惯性测量单元的旋转角速度及加速度,因此,为了获取离散影像帧的位置及旋转角,即需获取摄像机的位置及旋转角,具体地,获取惯性测量单元的旋转矩阵,接着将惯性测量单元位置及旋转角乘以惯性测量单元的旋转矩阵,以获取离散影像帧的位置及旋转角,然后根据预设算法抽取离散影像帧的特帧点,异步计算并获取离散影像帧的第二特征点数据库。

步骤s40,根据所述第一特征点数据库和/或所述第二特征点数据库,所述后处理端计算程序重建三维表面模型。

该步骤中,移动端计算程序和/或后处理端计算程序在获取第一特征点数据库及第二特征点数据库之后,根据第一特征点数据库和/或第二特征点数据库,后处理端计算程序重建三维表面模型。

具体地,步骤s40包括:

步骤s41,根据第二预设算法,所述后处理端计算程序将所述第一特征点数据库和/或所述第二特征点数据库匹配并合并,以获取目标影像帧特征点数据库;

步骤s42,根据所述目标影像帧特征点数据库,所述后处理端计算程序重建三维表面模型。

该步骤中,根据第二预设算法,后处理端计算程序将第一特征点数据库和第二特征点数据库匹配并合并,具体地,将同一位置和/或同一区域的连续影像帧的特征信息与离散影像帧的特征信息匹配,以获取目标影像帧特征点数据库,具体地,后处理端计算程序基于bow(bagofword)词袋算法将第一特征点数据库和第二特征点数据库进行粗略匹配并合并,接着后处理端计算程序基于ann(approximatenearestneighbor)算法将进行粗略匹配并合并的特征点数据库进行匹配并合并,以获取目标影像帧特征点数据库。

本实施例提出的重建三维模型方法,通过摄像头采集连续影像帧及离散影像帧,其中,连续影像帧携带第一时间戳,离散影像帧携带第二时间戳,接着惯性测量单元获取连续影像帧的第一旋转角速度及第一加速度,和/或惯性测量单元获取离散影像帧的第二旋转角速度及第二加速度,然后根据第一旋转角速度及第一加速度,移动端计算程序和/或后处理端计算程序获取连续影像帧的第一特征点数据库,和/或根据第二旋转角速度及第二加速度,移动端计算程序和/或后处理端计算程序获取离散影像帧的第二特征点数据库,最后根据第一特征点数据库和/或第二特征点数据库,后处理端计算程序重建三维表面模型,即采集连续影像帧,又采集离散影像帧,且移动端计算程序和后处理端计算程序均计算获取第一特征点数据库和第二特征点数据库,最后根据预设算法匹配并合并第一特征点数据库和第二特征点数据库,以获取精准度更高的目标影像帧特征点数据库,最后根据目标影像帧特征点数据库重建精度更高的三维表面模型。

基于第一实施例,提出本发明方法的第二实施例,在本实施例中,步骤s30包括,

步骤s31,根据第一预设算法,所述移动端计算程序和/或后处理端计算程序抽取所述连续影像帧的第一特征信息;

步骤s32,根据所述第一旋转角速度及第一加速度,所述移动端计算程序和/或后处理端计算程序获取所述连续影像帧的惯性测量单元的位置;

步骤s33,根据所述连续影像帧的惯性测量单元的位置,所述移动端计算程序和/或后处理端计算程序获取所述第一特征信息,并根据所述第一特征信息构建连续影像帧的特征点数据库。

该步骤中,根据第一预设算法,移动端计算程序和/或后处理端计算程序抽取连续影像帧的第一特征信息,其中,第一特征信息包括连续影像帧的二维坐标及连续影像帧的高维特征向量,接着根据第一旋转角速度及第一加速度,移动端计算程序和/或后处理端计算程序获取连续影像帧的惯性测量单元的位置,以根据连续影像帧的惯性测量单元的位置获取第一特征信息,具体地,为了解压移动端计算程序和/或后处理端计算程序,即提高移动端计算程序和/或后处理端计算程序的工作效率,在移动端计算程序和/或后处理端计算程序一处理线程获取连续影像帧的惯性测量单元的位置之后,将惯性测量单元的位置信息及第一特征信息发送至移动端计算程序和/或后处理端计算程序的另一线程进行后处理,具体地,根据惯性测量单元的位置信息获取连续影像帧的位置,并根据连续影像帧的位置,获取连续影像帧的二维坐标,并对连续影像帧进行特征抽取,以获取连续影像帧的高维特征向量,最后根据第一特征信息建连续影像帧的特征点数据库。

具体地,步骤s33包括,

步骤s331,所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的旋转矩阵,并根据所述旋转矩阵及所述惯性测量单元的位置,获取所述连续影像帧的位置;

步骤s332,所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的偏置参数及缩放参数;

步骤s333,根据所述连续影像帧的位置、所述偏置参数及缩放参数,所述移动端计算程序和/或后处理端计算程序获取所述第一特征信息。

该步骤中,移动端计算程序和/或后处理端计算程序在获取惯性测量单元的位置信息及第一特征信息之后,移动端计算程序和/或后处理端计算程序获取惯性测量单元的旋转矩阵,接着计算程序将惯性测量单元的位置乘以惯性测量单元的旋转矩阵,以获取连续影像帧的位置。接着移动端计算程序和/或后处理端计算程序获取惯性测量单元的偏置参数及缩放参数,根据连续影像帧的位置、偏置参数及缩放参数,移动端计算程序和/或后处理端计算程序获取连续影像帧的二维坐标,可选地,移动端计算程序和/或后处理端计算程序根据连续影像帧的位置,获取连续影像帧的二维初始坐标,接着通过偏置参数及缩放参数校订连续影像帧的初始坐标,以获取精度更高连续影像帧的二维坐标,可选地,移动端计算程序和/或后处理端计算程序根据偏置参数及缩放参数校订连续影像帧的位置,以获取精度更高第一特征信息。

进一步地,步骤s30还包括,

步骤s34,根据第一预设算法,所述移动端计算程序和/或后处理端计算程序抽取所述离散影像帧的第二特征信息;

步骤s35,根据所述第二旋转角速度及第二加速度,所述移动端计算程序和/或后处理端计算程序获取所述离散影像帧的惯性测量单元的位置;

步骤s36,根据所述离散影像帧的惯性测量单元的位置,所述移动端计算程序和/或后处理端计算程序获取所述第二特征信息,并根据所述第二特征信息构建离散影像帧的特征点数据库。

该步骤中,根据第一预设算法,移动端计算程序和/或后处理端计算程序抽取离散影像帧的第二特征信息,其中,第二特征信息包括离散影像帧的二维坐标及离散影像帧的高维特征向量,接着根据第二旋转角速度及第二加速度,移动端计算程序和/或后处理端计算程序获取离散影像帧的惯性测量单元的位置,以供移动端计算程序和/或后处理端计算程序根据离散影像帧的惯性测量单元的位置获取第二特征信息,具体地,为了解压移动端计算程序和/或后处理端计算程序,即提高移动端计算程序和/或后处理端计算程序的工作效率,在移动端计算程序和/或后处理端计算程序一处理线程获取离散影像帧的惯性测量单元的位置之后,将惯性测量单元的位置信息及第二特征信息发送至移动端计算程序和/或后处理端计算程序的另一线程进行后处理,具体地,根据惯性测量单元的位置信息获取离散影像帧的位置,并根据离散影像帧的位置,获取离散影像帧的二维坐标,,并对离散影像帧进行特征抽取,以获取离散影像帧的高维特征向量,最后移动端计算程序和/或后处理端计算程序根据第二特征信息的坐标构建离散影像帧的特征点数据库。

具体地,步骤s36还包括,

步骤s361,所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的旋转矩阵,并根据所述旋转矩阵及所述惯性测量单元的位置,获取所述离散影像帧的位置;

步骤s362,所述移动端计算程序和/或后处理端计算程序获取所述惯性测量单元的偏置参数及缩放参数;

步骤s343,根据所述离散影像帧的位置、所述偏置参数及缩放参数,所述移动端计算程序和/或后处理端计算程序获取所述第二特征信息。

该步骤中,移动端计算程序和/或后处理端计算程序在获取惯性测量单元的位置信息及第二特征信息之后,移动端计算程序和/或后处理端计算程序获取惯性测量单元的旋转矩阵,接着计算程序将惯性测量单元的位置乘以惯性测量单元的旋转矩阵,以获取离散影像帧的位置。接着移动端计算程序和/或后处理端计算程序获取惯性测量单元的偏置参数及缩放参数,根据离散影像帧的位置、偏置参数及缩放参数,移动端计算程序和/或后处理端计算程序获取第二特征信息的坐标,可选地,移动端计算程序和/或后处理端计算程序根据离散影像帧的位置,获取第二特征信息的初始坐标,接着通过偏置参数及缩放参数校订第二特征信息的初始坐标,以获取精度更高第二特征信息的坐标,可选地,移动端计算程序和/或后处理端计算程序根据偏置参数及缩放参数校订离散影像帧的位置,以获取精度更高第二特征信息的坐标,进一步地,可基于离散影像帧的数据,对偏置参数及缩放参数进行校订,从而使得参数更精确。

本实施例提出的重建三维模型方法,通过根据第一旋转角速度及第一加速度,移动端计算程序和/或后处理端计算程序获取连续影像帧的第一特征点数据库,和/或根据第二旋转角速度及第二加速度,移动端计算程序和/或后处理端计算程序获取离散影像帧的第二特征点数据库,以获取精度更高的目标影像帧特征点数据库,最后根据目标影像帧特征点数据库重建精度更高的三维表面模型。

基于第一实施例,提出本发明方法的第三实施例,在本实施例中,步骤s40之后,还包括,

步骤s50,若检测程序检测到所述三维表面模型缺失连续影像帧,则检测程序发送拍摄指令至摄像机,以供摄像机根据所述拍摄指令获取所述连续影像帧对应的目标离散影像帧;

步骤s60,所述摄像机将所述目标离散影像帧发送至后处理端计算程序,以供所述后处理端计算程序根据所述目标离散影像帧补正所述三维表面模型。

该步骤中,在后处理端根据目标影像帧特征点数据库重建三维表面模型之后,基于检测程序检测三维表面模型是否完整,若检测程序检测到三维表面模型缺失连续影像帧,即检测到三维表面模型不完整,则检测程序发送拍摄指令至摄像机,以供摄像机根据拍摄指令获取连续影像帧对应的目标离散影像帧,接着摄像机将目标离散影像帧发送至后处理端计算程序,以供后处理端计算程序根据目标离散影像帧补正三维表面模型,具体地,后处理端计算程序获取该离散影像帧的第三特征点数据库,并根据第三特征点数据库补正三维表面模型。

进一步地,步骤s40之后,还包括,

步骤s70,若摄像头采集的第二目标物体与所述三维表面模型对应的第一目标物体相似度在预设相似范围误差内,则所述移动端计算程序和/或后处理端计算程序根据所述目标影像帧特征点数据库,重建所述第二目标物体对应的三维表面模型。

该步骤中,可以理解地,移动端计算程序和/或后处理端计算程序在获取目标影像帧特征点数据库之后,存储目标影像帧特征点数据库,以备在待重建物体需再次重建时,直接根据存储的目标影像帧特征点数据库再次重建待重建物体的三维表面模型,具体地,若摄像头采集的第二目标物体与三维表面模型对应的第一目标物体相似度在预设相似范围误差内,则移动端计算程序和/或后处理端计算程序根据目标影像帧特征点数据库,重建第二目标物体对应的三维表面模型。

本实施例提出的重建三维模型方法,通过若检测程序检测到三维表面模型缺失连续影像帧,则检测程序发送拍摄指令至摄像机,以供摄像机根据拍摄指令获取连续影像帧对应的目标离散影像帧,摄像机将目标离散影像帧发送至后处理端计算程序,以供后处理端计算程序根据目标离散影像帧补正三维表面模型,以获取精度更高的三维表面模型。

此外,本发明实施例还提出一种计算机存储介质,所述计算机存储介质上存储有重建三维模型程序,所述重建三维模型程序被处理器执行时实现以上所述的重建三维模型方法各个实施例的步骤。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1