一种结构化场景表达的认知导航方法及系统与流程

文档序号:21369529发布日期:2020-07-04 04:46阅读:来源:国知局

技术特征:

1.一种结构化场景表达的认知导航方法,其特征在于,包括:

利用图像获取设备获取目标场景图像,得到相应的图像序列,所述图像包括深度图像及彩色图像,所述图像序列包括深度图像序列及彩色图像序列;

利用目标场景图像、图像序列及图像获取设备的参数,得到每帧图像中每个目标的二维信息和三维信息;

根据每帧图像中每个目标二维信息、三维信息及目标先验常识信息,得到最优场景图信息;

对预设数量的待优化帧构成的场景图进行处理,生成局部场景图,并对局部场景图进行合并更新,生成全局场景图;

根据全局场景图中的目标信息,获取目标坐标,根据目标坐标规划路径并进行导航。

2.根据权利要求1所述的结构化场景表达的认知导航方法,其特征在于,所述目标先验常识信息在获取目标场景图像之前获取,获取目标先验常识信息的过程包括:

对预设目标数据集进行筛选清洗处理,根据预设场景图像分类方法,对筛选清洗后的预设目标数据集进行分类,生成各种类型的场景图像;

统计每种类型的场景图像中目标出现的概率、目标属性的概率和关系的概率;

根据目标的属性及目标之间的关系,构建与或图结构;

将每种类型的场景图像中目标出现的概率、目标属性的概率和关系的概率填充到与或图结构中,生成目标先验常识信息。

3.根据权利要求1所述的结构化场景表达的认知导航方法,其特征在于,所述利用目标场景图像、图像序列及图像获取设备的参数,得到每帧图像中每个目标的二维信息和三维信息的步骤,包括:

利用图像序列及slam方法对图像获取设备的位姿进行估计,获取以第一帧图像位置为坐标原点的图像获取设备的位姿;

利用彩色图像及目标检测方法检测每帧图像中的所有目标,获取每帧图像中每个目标的二维信息;

根据深度图像、图像获取设备的位姿、图像获取设备的参数及每个目标的二维信息,获取每帧图像中目标的三维信息,所述三维信息包括目标的三维坐标信息及三维边界框信息。

4.根据权利要求1所述的结构化场景表达的认知导航方法,其特征在于,所述根据每帧图像中每个目标二维信息、三维信息及目标先验常识信息,得到最优场景图信息的步骤,包括:

根据每帧图像中每个目标的三维信息,估计目标之间的关系及其概率,所述概率包括在每帧图像中目标出现的概率、目标属性的概率和目标关系的概率;

根据每帧图像中对应的目标间的关系、目标的二维信息,生成每帧图像场景图;

根据目标先验常识信息、目标之间的关系及其概率,对每帧图像进行优化,得到最优场景图信息。

5.根据权利要求1所述的结构化场景表达的认知导航方法,其特征在于,所述对预设数量的待优化帧构成的场景图进行处理,生成局部场景图,并对局部场景图进行合并更新,生成全局场景图的步骤,包括:

将预设数量的待优化帧的初始场景图信息存储到待优化组中;

当待优化组初始场景图中任一目标出现的次数小于预设出现次数阈值时,将该目标从初始场景图中滤除,生成滤波后的场景图集合;

重新计算滤波后的场景图集合中所有目标的三维信息的平均值,根据再次计算得到的目标三维信息平均值,生成局部场景图;

根据目标坐标信息、目标类别信息及已生成的全局场景图中的目标信息,对多个局部场景图进行合并及更新,生成全局场景图。

6.根据权利要求1所述的结构化场景表达的认知导航方法,其特征在于,所述对预设数量的待优化帧构成的场景图进行处理,生成局部场景图,并对局部场景图进行合并更新,生成全局场景图的步骤,还包括:

当待优化组中帧的数量超出预设数量的待优化帧时,对关键帧组场景图进行滤波优化,生成局部场景图。

7.根据权利要求1所述的结构化场景表达的认知导航方法,其特征在于,对多个局部场景图进行更新的步骤,包括:

利用已生成的全局场景图中的目标重新进行目标关系计算,并生成目标关系计算结果;

根据目标关系计算结果,在未生成的全局场景图中添加新目标、新目标关系或更新目标旧关系。

8.一种结构化场景表达的认知导航系统,其特征在于,包括:

图像及图像序列获取模块,用于利用图像获取设备获取目标场景图像,得到相应的图像序列,所述图像包括深度图像及彩色图像,所述图像序列包括深度图像序列及彩色图像序列;

二维信息及三维信息获取模块,用于利用目标场景图像、图像序列及图像获取设备的参数,得到每帧图像中每个目标的二维信息和三维信息;

最优场景图像信息获取模块,用于根据每帧图像中每个目标二维信息、三维信息及目标先验常识信息,得到最优场景图信息;

全局场景图生成模块,用于对预设数量的待优化帧构成的场景图进行处理,生成局部场景图,并对局部场景图进行合并更新,生成全局场景图;

路径规划及导航模块,用于根据全局场景图中的目标信息,获取目标坐标,根据目标坐标规划路径并进行导航。

9.一种终端设备,其特征在于,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-8中任一所述的结构化场景表达的认知导航方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-8中任一所述的结构化场景表达的认知导航方法。


技术总结
本发明公开了一种结构化场景表达的认知导航方法及系统,方法包括:利用获取的目标场景图像序列及图像获取设备的参数,得到每帧图像中目标二维信息、三维信息;根据目标二维信息、三维信息及目标先验常识信息得到最优场景图信息;对连续多帧图像构成的场景图进行处理生成局部场景图,并对局部场景图进行合并更新生成全局场景图;根据全局场景图中的目标信息,获取目标坐标,根据目标坐标规划路径并进行导航。本发明将目标场景图像序列及目标先验常识结合,得到局部场景图,对局部场景图进行合并及更新得到全局场景图,可以对多场景及含有更细粒度的场景进行三维场景图构建,提高了三维场景图中目标的有序性及导航的精准度。

技术研发人员:陈崇雨;于帮国
受保护的技术使用者:暗物智能科技(广州)有限公司
技术研发日:2020.03.11
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1