一种目标跟踪的自动初始化方法与流程

文档序号:14348323阅读:198来源:国知局

本发明属于ar相关技术设计开发领域或属于海上风电场可视化运维决策系统领域,尤其是涉及一种目标跟踪的自动初始化方法。



背景技术:

风电场一般采用预防性维护与纠错性维护相结合的运维策略,海上风电的工况复杂性、交通运输的可达性与安全性、故障处理可完成性等都会成为影响运维质量的重要因素。本发明针对海上风电运维体系所存在的管理经验欠缺,人员素质参差不齐,海上风电场天气及作业环境复杂,人员、设备和船只在海上作业危险性高等问题,基于ar(augmentedreality增强现实)相关技术设计开发海上风电场可视化运维决策系统,利用图像识别、智能检测和数据挖掘技术等技术,帮助操作人员及时准确的定位并排除问题,根据现场情况制定相应的运维策略。ar技术依据实际现场环境与设备状态设计触发点,将实时运行数据嵌入ar显示界面中,实现集控数据与现实场景并存,从而获得人机交互的体感。在基于ar的可视化运维决策系统中现场维护人员通过所佩戴的ar设备对所要维修的对象进行识别,将相关的结构信息和实时运行数据附加在真实场景之上,制造出虚拟数据与现实场景共存的场景,帮助维护人员在现场进行运维问题决策与操作。

有鉴于此,特提出本发明。



技术实现要素:

本发明要解决的技术问题在于克服现有技术的不足,提供一种目标跟踪的自动初始化方法,实现了采用slam算法优化基于模型的跟踪方法的自动初始化,提高了目标跟踪过程的智能化水平。

为解决上述技术问题,本发明采用技术方案的基本构思是:

一种目标跟踪的自动初始化方法,包括:根据已知目标物的模型,预先建立其点云数据库,然后确定目标物在相机采集的图像中的位置,提取目标物在图像中的点云数据,最后将得到的点云数据与所建立的点云数据库进行点云匹配,得到点云集间的精确变换关系。

优选的,所述的目标物的模型为3d模型,通过选择该3d模型的不同视角,生成多视角点云数据库,并记录各视角下目标物的位姿。

优选的,将相机采集的图像与预先准备好的目标物的图像做orb匹配,得到目标物在图像中的大致位置。

优选的,对预先准备好的目标物的图像进行orb特征点提取并与相机采集的图像进行匹配,包括:分别获取该两图像的特征点,得到特征描述子,并判断两图像的特征描述子之间的欧式距离是否小于设定阈值,若判断结果为是,则判断两图像相匹配,否则判断两图像不匹配;

所述的orb特征点提取包括以下步骤:

s1、将预先准备好的目标物的图像生成图像高斯金字塔;

s2、根据步骤s1中得到的图像生成dog金字塔;

s3、对步骤s2得到的图像进行空间极值点检测,得到在尺度空间和二维图像空间上都是局部极值点的若干关键点;

s4、在步骤s3中得到的关键点中,以每一个关键点像素p为中心,半径为3做圆,圆形上有16个像素点分别为:p1、p2、...p16;

s5、定义一个阈值,计算p1、p9与中心p的像素差,若它们绝对值都小于设定阈值,则判断p点不可能是特征点,除去,否则,p点为候选点,需进一步判断;

s6、若p是候选点,则计算p1、p9、p5、p13与中心p的像素差,若它们的绝对值有至少3个超过阈值,则当做候选点,再进行下一步考察;

s7、计算p1到p16这16个点与中心p的像素差,若它们有至少9个超过阈值,则p为特征点;

s8、对图像进行非极大值抑制:计算特征点处的得分值,判断以特征点p为中心的一个邻域内,若有多个特征点,则判断每个特征点的s值,若p是邻域所有特征点中响应值最大的,则保留;

其中得分计算公式为:

其中p表示中心点的像素值,value表示以p为中心的领域内的特征点的像素值,s表示得分,t表示阈值;所述的特征点的s值为16个点与中心差值的绝对值总和;

s9、以步骤s8中所保留的特征点为中心,取sxs的邻域窗口,在窗口内随机选取一对点,比较二者像素的大小,进行如下二进制赋值;

其中,p(x),p(y)分别是随机点x=(u1,v1),y=(u2,v2)的像素值;

s10、在窗口中随机选取n对随机点,重复二进制赋值,得到特征描述子;

s11、对步骤s8中筛选后的每一特征点,均得到一个256bit的二进制编码。

优选的,步骤s1包括以下步骤:

s101、将预先准备好的目标物的图像扩大一倍,作为高斯金字塔的第一组第一层,将第一组第一层图像经高斯卷积得到第一组第二层,高斯卷积的公式为:

其中,(x,y)为像素点的坐标,σ为正态分布的标准偏差,优选设定为1.6;

s102、将σ乘以一个比例系数k,得到新的σ,用它来平滑第一组第二层的图像,重复该步骤,最后得到l层图像,在同一组中,每一层图像的尺寸都是一样的,只是平滑系数不一样;

s103、将第一组倒数第三层图像作比例因子为2的降采样,得到的图像作为第二组第一层,然后进行步骤s102和s103,得到第二组的l层图像;

s104、根据上述过程,反复执行,得到一共o组,每组l层,共计o*l个图像;

在步骤s2中,由步骤s1中,得到的图像高斯金字塔中的第一组第二层减第一组第一层得到dog金字塔第一组第一层,高斯金字塔中的第一组第三层减第一组第二层得到dog金字塔第一组第二层,以此类推,逐组逐层生成每一个差分图像,所有的差分图像构成差分dog金字塔,即dog金字塔的第o组第i层图像是高斯金字塔的第o组i+1层减第o组i层得到的;

步骤s3中,还包括以下步骤:

s301、在dog金字塔图像中,所有像素点与它3*3邻域内的8个点做比较;

s302、各像素点再和上下相邻两层图像中相同位置的像素点的3*3领域内的2*9个点做比较;

s303、保证关键点在尺度空间和二维图像空间上都是局部极值点。

优选的,所述的提取目标物在图像中的点云数据,包括在确定目标物在图像中的位置后,使用slam算法提取物体点云;

所述的slam算法采用lsd-slam算法、orb-slam算法、rgbd-slam2算法、elasticfusion算法中的任意一种算法;

优选的,slam算法选用orb-slam算法。

优选的,当采用单目slam算法时,单目slam提取的特征点开始为二维点,需要使用三角化的方法求取特征点的深度信息,得到特征点的深度信息后,从而得到点云数据。

优选的,所述将得到的点云数据与所建立的点云数据库进行点云匹配,得到点云集间的精确变换关系包括采用点云匹配的算法,得到精确的物体位姿信息:

该点云匹配的算法包括以下步骤:

s401、点云特征点选取过程:

s402、计算特征描述子过程;

s403、匹配特征点,对点云进行粗匹配,得到粗匹配的坐标变化t和尺度变换s;

s404、迭代优化过程。

优选的,步骤s401还包括以下步骤:

s411、查询一次点云获取得到的数据中每一个点pi半径ri内所有点,并计算权值:

wij为三维点pi领域内任一点pj的权值,公式中pi,pj分别代表两点的三维坐标向量;

s412、根据权值计算方差矩阵

其中,t为求转值;

s413、计算方差矩阵的特征值特征值按照从大到小顺序排列;

s414、设置阈值ε1和ε2保留满足的点为关键点;

步骤s402还包括以下步骤:

s421、寻找满足步骤s414的关键点pi的r半径范围内所有点,假设点的个数为ni;

s422、计算ni个点的法向量;

s423、根据ni个点计算关键点pi的特征描述子;

其中,计算任意两点ds和dt以及它们对应的法线ns和nt之间的特征如下:

α=v·nt;

θ=arctan(w·ns,u·nt);

d=||dt-ds||;

其中,u,v,w分别代表三维直角坐标系中的三个坐标轴的单位向量,其中ns与u方向相同,φ为u方向和ds与dt连线方向间的夹角,α为nt与v方向的夹角,θ为nt在u‐v平面上的投影与u方向的夹角,d为ds与dt两点间的欧氏距离,计算关键点pi的r半径领域内的任意两点间的α、φ、θ、d为作为关键点pi的特征。

优选的,步骤s404包括以下步骤:

s441、设pi=(xi,yi,zi),qj=(xj,yj,zj)为三维空间中两个3d点,他们的欧氏距离为:

为求解任意两个点云集p和q的旋转矩阵r和坐标变换t,对于点云p中的任一特征点pi,和q中与pi所对应的特征点qj,有qj=rpi+t,利用最小二乘法求最优解得误差e为:

其中n代表两个点云中匹配的特征点总量,使用最小二乘法求解使误差e最小的r与t;

s442、平行移动和旋转分离:先对坐标变换t进行初始估算,分别得到点集p和q的中心:

s443、构造点集p和q的协方差矩阵:

其中μp代表点云中心化矩阵,qit为向量的转置;

s444、由协方差矩阵构造4x4对称矩阵:

其中,i3是3x3单位矩阵;

其中,δ为指代符号,代表q(∑p,q);

s445、计算q(∑p,q)的特征值和特征向量,其最大特征值对应的特征向量即为最佳旋转向量qr=[q0q1q2q3]t

s446、计算最佳平移向量:

s447、将旋转矩阵和平移向量叠加在点云q上,之后再带入式:

其中,若误差小于设定阈值,则迭代结束,否则继续重复以上步骤;迭代结束之后,所得到的旋转矩阵与平移向量即是目标的初始位置,初始化过程结束。

采用上述技术方案,本发明具有以下有益效果:

本发明的自动初始化方法,实现了采用slam算法优化基于模型的跟踪方法的自动初始化,提高了目标跟踪过程的智能化水平。风电场一般采用预防性维护与纠错性维护相结合的运维策略,海上风电的工况复杂性、交通运输的可达性与安全性、故障处理可完成性等都会成为影响运维质量的重要因素。本发明针对海上风电运维体系所存在的管理经验欠缺,人员素质参差不齐,海上风电场天气及作业环境复杂,人员、设备和船只在海上作业危险性高等问题,基于ar(augmentedreality增强现实)相关技术设计开发海上风电场可视化运维决策系统,利用图像识别、智能检测和数据挖掘技术等技术,帮助操作人员及时准确的定位并排除问题,根据现场情况制定相应的运维策略。ar技术依据实际现场环境与设备状态设计触发点,将实时运行数据嵌入ar显示界面中,实现集控数据与现实场景并存,从而获得人机交互的体感。在基于ar的可视化运维决策系统中现场维护人员通过所佩戴的ar设备对所要维修的对象进行识别,将相关的结构信息和实时运行数据附加在真实场景之上,制造出虚拟数据与现实场景共存的场景,帮助维护人员在现场进行运维问题决策与操作。

下面结合附图对本发明的具体实施方式作进一步详细的描述。

附图说明

附图作为本发明的一部分,用来提供对本发明的进一步的理解,本发明的示意性实施例及其说明用于解释本发明,但不构成对本发明的不当限定。显然,下面描述中的附图仅仅是一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。在附图中:

图1是本发明的目标跟踪的自动初始化方法的步骤图。

需要说明的是,这些附图和文字描述并不旨在以任何方式限制本发明的构思范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对实施例中的技术方案进行清楚、完整地描述,以下实施例用于说明本发明,但不用来限制本发明的范围。

参见图1所示,本发明提供一种目标跟踪的自动初始化方法,包括以下步骤:

s1001、根据已知目标物的模型,预先建立其点云数据库;

s1002、确定目标物在相机采集的图像中的位置,提取目标物在图像中的点云数据;

s1003、将得到的点云数据与所建立的点云数据库进行点云匹配,得到点云集间的精确变换关系。

优选的,所述的目标物的模型为3d模型,通过选择该3d模型的不同视角,生成多视角点云数据库,并记录各视角下目标物的位姿。可以采用slam软件库或pcl等实现。

优选的,将相机采集的图像与预先准备好的目标物的图像做orb匹配,得到目标物在图像中的大致位置。

优选的,对预先准备好的目标物的图像进行orb特征点提取并与相机采集的图像进行匹配,包括:分别获取该两图像的特征点,得到特征描述子,并判断两图像的特征描述子之间的欧式距离是否小于设定阈值,若判断结果为是,则判断两图像相匹配,否则判断两图像不匹配;

所述的orb特征点提取包括以下步骤:

s1、将预先准备好的目标物的图像生成图像高斯金字塔;

s2、根据步骤s1中得到的图像生成dog金字塔;

s3、对步骤s2得到的图像进行空间极值点检测,得到在尺度空间和二维图像空间上都是局部极值点的若干关键点;

s4、在步骤s3中得到的关键点中,以每一个关键点像素p为中心,半径为3做圆,圆形上有16个像素点分别为:p1、p2、...p16;

s5、定义一个阈值,计算p1、p9与中心p的像素差,若它们绝对值都小于设定阈值,则判断p点不可能是特征点,除去,否则,p点为候选点,需进一步判断;

s6、若p是候选点,则计算p1、p9、p5、p13与中心p的像素差,若它们的绝对值有至少3个超过阈值,则当做候选点,再进行下一步考察;

s7、计算p1到p16这16个点与中心p的像素差,若它们有至少9个超过阈值,则p为特征点;

s8、对图像进行非极大值抑制:计算特征点处的得分值,判断以特征点p为中心的一个邻域内,若有多个特征点,则判断每个特征点的s值,若p是邻域所有特征点中响应值最大的,则保留;

其中得分计算公式为:

其中p表示中心点的像素值,value表示以p为中心的领域内的特征点的像素值,s表示得分,t表示阈值;所述的特征点的s值为16个点与中心差值的绝对值总和;

s9、以步骤s8中所保留的特征点为中心,取sxs的邻域窗口,在窗口内随机选取一对点,比较二者像素的大小,进行如下二进制赋值;

其中,p(x),p(y)分别是随机点x=(u1,v1),y=(u2,v2)的像素值;

s10、在窗口中随机选取n对随机点,重复二进制赋值,得到特征描述子;

s11、对步骤s8中筛选后的每一特征点,均得到一个256bit的二进制编码。

优选的,步骤s1包括以下步骤:

s101、将预先准备好的目标物的图像扩大一倍,作为高斯金字塔的第一组第一层,将第一组第一层图像经高斯卷积得到第一组第二层,高斯卷积的公式为:

其中,(x,y)为像素点的坐标,σ为正态分布的标准偏差,优选设定为1.6;

s102、将σ乘以一个比例系数k,得到新的σ,用它来平滑第一组第二层的图像,重复该步骤,最后得到l层图像,在同一组中,每一层图像的尺寸都是一样的,只是平滑系数不一样;

s103、将第一组倒数第三层图像作比例因子为2的降采样,得到的图像作为第二组第一层,然后进行步骤s102和s103,得到第二组的l层图像;

s104、根据上述过程,反复执行,得到一共o组,每组l层,共计o*l个图像;

在步骤s2中,由步骤s1中,得到的图像高斯金字塔中的第一组第二层减第一组第一层得到dog金字塔第一组第一层,高斯金字塔中的第一组第三层减第一组第二层得到dog金字塔第一组第二层,以此类推,逐组逐层生成每一个差分图像,所有的差分图像构成差分dog金字塔,即dog金字塔的第o组第i层图像是高斯金字塔的第o组i+1层减第o组i层得到的;

步骤s3中,还包括以下步骤:

s301、在dog金字塔图像中,所有像素点与它3*3邻域内的8个点做比较;

s302、各像素点再和上下相邻两层图像中相同位置的像素点的3*3领域内的2*9个点做比较;

s303、保证关键点在尺度空间和二维图像空间上都是局部极值点。

优选的,所述的提取目标物在图像中的点云数据,包括在确定目标物在图像中的位置后,使用slam算法提取物体点云;

所述的slam算法采用lsd-slam算法、orb-slam算法、rgbd-slam2算法、elasticfusion算法中的任意一种算法;

优选的,slam算法选用orb-slam算法。

优选的,当采用单目slam算法时,单目slam提取的特征点开始为二维点,需要使用三角化的方法求取特征点的深度信息,得到特征点的深度信息后,从而得到点云数据。

优选的,所述将得到的点云数据与所建立的点云数据库进行点云匹配,得到点云集间的精确变换关系包括采用点云匹配的算法,得到精确的物体位姿信息:

该点云匹配的算法包括以下步骤:

s401、点云特征点选取过程:

s402、计算特征描述子过程;

s403、匹配特征点,对点云进行粗匹配,得到粗匹配的坐标变化t和尺度变换s;

s404、迭代优化过程。

优选的,步骤s401还包括以下步骤:

s411、查询一次点云获取得到的数据中每一个点pi半径ri内所有点,并计算权值:

wij为三维点pi领域内任一点pj的权值,公式中pi,pj分别代表两点的三维坐标向量;

s412、根据权值计算方差矩阵

其中,t为求转值;

s413、计算方差矩阵的特征值特征值按照从大到小顺序排列;

s414、设置阈值ε1和ε2保留满足的点为关键点;

步骤s402还包括以下步骤:

s421、寻找满足步骤s414的关键点pi的r半径范围内所有点,假设点的个数为ni;

s422、计算ni个点的法向量;

s423、根据ni个点计算关键点pi的特征描述子;

其中,计算任意两点ds和dt以及它们对应的法线ns和nt之间的特征如下:

α=v·nt;

θ=arctan(w,ns,u·nt);

d=||dt-ds||;

其中,u,v,w分别代表三维直角坐标系中的三个坐标轴的单位向量,其中ns与u方向相同,φ为u方向和ds与dt连线方向间的夹角,α为nt与v方向的夹角,θ为nt在u‐v平面上的投影与u方向的夹角,d为ds与dt两点间的欧氏距离,计算关键点pi的r半径领域内的任意两点间的α、φ、θ、d为作为关键点pi的特征。

优选的,步骤s404包括以下步骤:

s441、设pi=(xi,yi,zi),qj=(xj,yj,zj)为三维空间中两个3d点,他们的欧氏距离为:

为求解任意两个点云集p和q的旋转矩阵r和坐标变换t,对于点云p中的任一特征点pi,和q中与pi所对应的特征点qj,有qj=rpi+t,利用最小二乘法求最优解得误差e为:

其中n代表两个点云中匹配的特征点总量,使用最小二乘法求解使误差e最小的r与t;

s442、平行移动和旋转分离:先对坐标变换t进行初始估算,分别得到点集p和q的中心:

s443、构造点集p和q的协方差矩阵:

其中μp代表点云中心化矩阵,qit为向量的转置;

s444、由协方差矩阵构造4x4对称矩阵:

其中,i3是3x3单位矩阵;

其中,δ为指代符号,代表q(∑p,q);

s445、计算q(∑p,q)的特征值和特征向量,其最大特征值对应的特征向量即为最佳旋转向量qr=[q0q1q2q3]t

s446、计算最佳平移向量:

s447、将旋转矩阵和平移向量叠加在点云q上,之后再带入式:

其中,若误差小于设定阈值,则迭代结束,否则继续重复以上步骤;迭代结束之后,所得到的旋转矩阵与平移向量即是目标的初始位置,初始化过程结束。

本发明的目标是将增强现实技术引入到海上风电运维管理中,解决ar在海上风电场合所面临的新问题,针对运维对象和运维任务设计不同的ar交互响应过程,提高运维效率降低运维成本,获取将ar技术应用到海上风电运维场合所产生的自主知识产权,形成基于ar的海上风电可视化决策示范系统。

以上所述仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专利的技术人员在不脱离本发明技术方案范围内,当可利用上述提示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明方案的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1