定位过程中的数据处理方法、装置、电子设备和存储介质与流程

文档序号:17237076发布日期:2019-03-30 08:24阅读:155来源:国知局
定位过程中的数据处理方法、装置、电子设备和存储介质与流程
本发明实施例涉及计算机视觉领域,特别涉及一种定位过程中的数据处理方法、装置、电子设备和存储介质。
背景技术
:定位和分割是机器人运动和感应的两项最基本的任务。前者使机器人了解其当前位置和方向,后者有助于感知机器人视野内的感兴趣对象的分布和边界。这两种技术在许多机器人应用中都是必不可少的,例如,自动驾驶、无人驾驶飞行器(unmannedaerialvehicle,uav)、机器人巡逻和物流等。对于定位任务,由于视觉即时定位和建图(visualsimultaneouslocalizationandmapping,vslam)技术的硬件和计算成本相对较低,vslam技术成为机器人定位中最有前途的定位技术之一。它利用图像序列和一些辅助传感器数据,如深度图、惯性测量单元(inertialmeasurementunit,imu)数据等,来创建环境地图并返回当前位置信息。vslam技术的一大挑战是机器人所处的环境通常是多变的。对于分割任务,使用深度神经网络的基于2d图像的语义分割已被证明是有效的,并且已经在许多系统中被广泛使用。它能够输出一系列分段区域及其类别的边界。然而,发明人在研究现有技术过程中发现,使用vslam技术时,建图过程中某些对象的瞬时移动会影响地图的精度。并且,某些对象在建图完成后移动,创建的地图将不再与环境一致,导致后续定位不准确。语义分割时,由于深度学习方法依赖于训练数据,不精确的手动标记和缺乏类似的训练数据通常会导致不准确的分割结果。同时,视频图像中的单帧图像可能出现模糊等问题,这会导致分割结果不准。需要说明的是,在上述
背景技术
部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。技术实现要素:本发明实施方式的目的在于提供定位过程中的数据处理方法、装置、电子设备和存储介质,使得定位结果和/或分割结果更为准确。为解决上述技术问题,本发明的实施方式提供了一种定位过程中的数据处理方法,包括以下步骤:获取环境当前的图像数据;根据当前的图像数据中的特征点和跟踪地图进行定位,确定第一定位结果;对当前的图像数据进行分割,确定当前的图像数据的第一分割结果;根据第一分割结果、第一定位结果和跟踪地图,从当前的图像数据中的特征点中选择用于二次定位的特征点;根据用于二次定位的特征点和跟踪地图,确定第二定位结果;和/或,获取上一图像数据的分割结果和上一图像数据的定位结果;根据第一定位结果、上一图像数据的定位结果和上一图像数据的分割结果,调整第一分割结果,得到第二分割结果。本发明的实施方式还提供了一种定位过程中的数据处理装置,包括:获取模块、第一定位模块、第一分割模块,以及第二定位模块,和/或,第二分割模块;获取模块用于获取环境当前的图像数据;第一定位模块用于根据当前的图像数据中的特征点和跟踪地图进行定位,确定第一定位结果;第一分割模块用于对当前的图像数据进行分割,确定当前的图像数据的第一分割结果;第二定位模块用于根据第一分割结果、第一定位结果和跟踪地图,从当前的图像数据中的特征点中选择用于二次定位的特征点;根据用于二次定位的特征点和跟踪地图,确定第二定位结果;第二分割模块用于获取上一图像数据的分割结果和上一图像数据的定位结果;根据第一定位结果、上一图像数据的定位结果和上一图像数据的分割结果,调整第一分割结果,得到第二分割结果。本发明的实施方式还提供了一种电子设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施方式提及的定位过程中的数据处理方法。本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述实施方式提及的定位过程中的数据处理方法。本发明实施方式相对于现有技术而言,电子设备可以根据定位结果优化分割结果,也可以根据分割结果优化定位结果。电子设备根据分割结果,对当前的图像数据中的特征点进行选择,并根据选择的特征点进行二次定位,相对于直接使用当前的图像数据中的特征点进行定位的方法,降低了当前的图像数据中不符合要求的特征点(如移动的对象的特征点)对定位结果的影响,提高了定位结果的准确性。电子设备利用当前的图像数据的定位结果和上一图像数据的定位结果,使得能够根据上一图像的分割结果调整当前的图像数据的分割结果,提高当前的图像数据的分割结果的准确性。另外,根据第一分割结果、第一定位结果和跟踪地图,从当前的图像数据中的特征点中选择用于二次定位的特征点,具体包括:根据第一分割结果,对当前的图像数据中的特征点进行分类;根据第一定位结果和跟踪地图,确定每个类别的特征点的总体状态;其中,类别的特征点的总体状态为静止状态或运动状态;根据类别的特征点的总体状态,确定用于二次定位的特征点。该实现中,对当前的图像数据中的特征点进行筛选,剔除移动的对象的特征点,避免了移动的对象的特征点对定位结果的影响,提高了定位结果的准确性。另外,根据第一分割结果、第一定位结果和跟踪地图,从当前的图像数据中的特征点中选择用于二次定位的特征点,具体包括:获取上一图像数据的分割结果和上一图像数据的定位结果;根据第一定位结果、上一图像数据的定位结果和上一图像数据的分割结果,调整第一分割结果,得到第二分割结果;根据第二分割结果,对当前的图像数据中的特征点进行分类;根据第一定位结果和跟踪地图,确定每个类别的特征点的总体状态;其中,类别的特征点的总体状态为静止状态或运动状态;根据类别的特征点的总体状态,确定用于二次定位的特征点。该实现中,电子设备根据更为准确的分割结果对特征点进行分类,减少了将不同对象的特征点归于同一类别的情况,进而减少了选择的用于二次定位的特征点中处于运动状态的特征点的数量。另外,根据第一定位结果和跟踪地图,确定每个类别的特征点的总体状态,具体包括:针对每个类别,分别进行以下操作:根据第一定位结果和跟踪地图,确定类别中每个特征点的状态信息,特征点的状态信息指示特征点处于静止状态或运动状态;根据类别中每个特征点的状态信息,确定类别的特征点的总体状态。另外,第一定位结果中包括第一平移信息和第一旋转信息;根据第一定位结果和跟踪地图,确定类别中每个特征点的状态信息,具体包括:根据第一平移信息和第一旋转信息,将跟踪地图中的特征点投影至当前的图像数据中;确定投影得到的特征点与类别中的特征点的对应关系;针对类别中的每个特征点,分别进行以下操作:确定特征点和与特征点对应的投影得到的特征点之间的位置关系;根据位置关系,确定特征点的状态信息。另外,根据类别中每个特征点的状态信息,确定类别的特征点的总体状态,具体包括:根据类别中每个特征点的状态信息,判断该类别中处于静止状态的特征点的个数是否大于第一阈值;若确定是,确定该类别的特征点的总体状态为静止状态;否则,确定该类别的特征点的总体状态为运动状态。另外,在根据第一定位结果和跟踪地图,确定每个类别的特征点的总体状态之后,数据处理方法还包括:根据每个类别的特征点的总体状态,更新跟踪地图和长期地图。该实现中,电子设备将不可移动的类别的特征点添加到跟踪地图中,提高了电子设备的定位结果的准确性,进而提高了电子设备的跟踪稳定性和轨迹精度。除此之外,电子设备为每个区域创建长期地图,避免了电子设备在访问相同区域时进行重复的映射计算。另外,根据第一定位结果、上一图像数据的定位结果和上一图像数据的分割结果,调整第一分割结果,得到第二分割结果,具体包括:根据上一图像数据的定位结果和第一定位结果,将上一图像数据的分割结果中的分割区域投影至当前的图像数据,得到投影区域;根据投影区域,调整第一分割结果,得到第二分割结果。另外,根据第一定位结果、上一图像数据的定位结果和上一图像数据的分割结果,调整第一分割结果,得到第二分割结果,具体包括:根据第一分割结果、第一定位结果和跟踪地图,从当前的图像数据中的特征点中选择用于二次定位的特征点;根据用于二次定位的特征点和跟踪地图,确定第二定位结果;根据上一图像数据的定位结果和第二定位结果,将上一图像数据的分割结果中的分割区域投影至当前的图像数据,得到投影区域;根据投影区域,调整第一分割结果,得到第二分割结果。该实现中,电子设备根据更准确的第二定位结果投影上一图像数据的分割结果,可以降低投影误差。另外,根据投影区域,调整第一分割结果,得到第二分割结果,具体包括:确定投影区域和当前的图像数据的第一分割结果中的初始分割区域的对应关系;针对每个投影区域,分别进行以下操作:判断是否存在与投影区域对应的初始分割区域;若确定存在,确定投影区域和投影区域对应的初始分割区域的交集区域,确定交集区域在对应的初始分割区域中的第一占比,以及交集区域在投影区域中的第二占比,判断第一占比是否小于第二占比,若确定是,将投影区域作为当前的图像数据的最终分割区域,否则,将对应的初始分割区域作为当前的图像数据的最终分割区域;若确定不存在,根据投影区域的个数,确定是否将投影区域作为当前的图像数据的最终分割区域;根据当前的图像数据的所有的最终分割区域,确定第二分割结果。另外,确定投影区域和当前的图像数据的第一分割结果中的初始分割区域的对应关系,具体包括:针对每个投影区域,分别进行以下操作:确定投影区域与每个初始分割区域的相似参数;根据最小的相似参数对应的初始分割区域,确定投影区域对应的初始分割区域。另外,根据最小的相似参数对应的初始分割区域,确定投影区域对应的初始分割区域,具体包括:判断最小的相似参数是否小于第二阈值;若确定是,确定最小的相似参数对应的初始分割区域为投影区域对应的初始分割区域;否则,确定投影区域与所有的初始分割区域不存在对应关系。另外,根据投影区域的个数,确定是否将投影区域作为当前的图像数据的最终分割区域,具体包括:判断投影区域的总个数是否大于初始分割区域的总个数;若确定是,将不存在对应关系的投影区域,作为第二分割结果中的一个最终分割区域。另外,确定投影区域与每个初始分割区域的相似参数,具体包括:针对每个初始分割区域,分别进行以下操作:确定初始分割区域的中心点和投影区域的中心点的欧氏距离;根据欧氏距离、初始分割区域和投影区域,确定相似参数。另外,根据欧氏距离、初始分割区域和投影区域,确定相似参数,具体包括:按照公式a:计算相似参数;其中,scp为相似参数,dist(rec,rep)表示初始分割区域的中心点和投影区域的中心点的欧氏距离,w1表示欧氏距离的权重,rec表示初始分割区域,rep表示投影区域,area(rec-rep∪rep-rec表示初始分割区域中与投影区域不相交的区域和投影区域中与初始分割区域不相交的区域的并集中的总像素数,area(rec)表示初始分割区域中的像素数,area(rep)表示投影区域中的像素数,w2表示的权重。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。图1是本发明的第一实施方式的数据处理方法的流程图;图2是本发明的第二实施方式的数据处理过程的示意图;图3是本发明的第二实施方式的数据处理方法的流程图;图4是本发明的第三实施方式的数据处理方法的流程图;图5是本发明的第四实施方式的数据处理装置的结构示意图;图6是本发明的第五实施方式的电子设备的结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。本发明的第一实施方式涉及一种定位过程中的数据处理方法,应用于电子设备,例如,机器人、盲人导航装置等。如图1所示,该数据处理方法包括以下步骤:步骤101:获取环境当前的图像数据。具体地说,当前的图像数据可以是电子设备通过双目摄像头拍摄的环境当前的两幅rgb图像,也可以是电子设备通过单目摄像头获得的环境当前的红绿蓝(redgreenblue,rgb)图像,以及通过深度相机,例如,基于飞行时间测距法(timeofflight,tof)的相机获取的环境当前的深度图,还可以是电子设备通过深度相机拍摄的包含有深度信息的红绿蓝-深度(redgreenblue-depth,rgb-d)图像,该rgb-d图像包括rgb图像和深度图,本实施方式不限制获取环境当前的图像数据的方法以及当前的图像数据的具体内容。步骤102:根据当前的图像数据中的特征点和跟踪地图进行定位,确定第一定位结果。具体地说,电子设备可以根据当前的图像数据,使用基于快速而鲁棒的二进制描述子的即时定位和建图技术(orientedfastandrotatedbrief_simultaneouslocalizationandmapping,orb_slam)算法或其他的定位算法,确定第一定位结果。具体实现中,当前的图像数据包括rgb图像和深度图。电子设备提取rgb图像中的特征点,并将它们与深度图对齐,以获得rgb图像中的每个特征点的三维坐标。获得每个特征点的三维坐标后,电子设备根据当前的图像数据中的特征点的三维坐标和跟踪地图中的特征点的三维坐标,使用最小化重投影误差的方法,得到第一定位结果。其中,第一定位结果中包括第一旋转信息和第一平移信息。步骤103:对当前的图像数据进行分割,确定当前的图像数据的第一分割结果。具体实现中,电子设备在图像数据集(mscoco数据集)上训练用于分类的神经网络。电子设备使用完全卷积实例感知的语义分割(fullyconvolutionalinstance-awaresemanticsegmentation,fcis)算法,以及用于分类的神经网络,对获取的每一帧rgb图像进行分割,确定rgb图像中每个对象的边界框。针对每个对象的边界框,如果该边界框中的像素值大于预先设置的像素阈值,则认为该边界框是对象的一部分,否则,将该边界框标记为背景。通过重复上述操作,得到rgb图像的第一分割结果。需要说明的是,本领域技术人员可以理解,实际应用中,本领域技术人员可以使用其他数据集训练神经网络,也可以通过其他语义分割算法对当前的图像数据进行分割,本实施方式不限制训练神经网络的方法和分割当前的图像数据的方法。步骤104:根据第一分割结果、第一定位结果和跟踪地图,从当前的图像数据中的特征点中选择用于二次定位的特征点;根据用于二次定位的特征点和跟踪地图,确定第二定位结果。具体地说,由于当前的图像数据中可能包含发生移动的对象的特征点,移动的对象的特征点将影响定位结果的准确性,电子设备需要根据第一分割结果、第一定位结果和跟踪地图,从当前的图像数据中的特征点中选择未发生移动的对象的特征点,作为用于二次定位的特征点,并基于选择的用于二次定位的特征点和跟踪地图,重新进行定位,确定第二定位结果,将第二定位结果作为当前的图像数据最终的定位结果。以下对电子设备确定用于二次定位的特征点的方法进行举例说明。具体实现中,电子设备根据第一分割结果,对当前的图像数据中的特征点进行分类;根据第一定位结果和跟踪地图,确定每个类别的特征点的总体状态;其中,类别的特征点的总体状态为静止状态或运动状态;根据类别的特征点的总体状态,确定用于二次定位的特征点。值得一提的是,对当前的图像数据中的特征点进行筛选,剔除移动的对象的特征点,避免了移动的对象的特征点对定位结果的影响,提高了定位结果的准确性。另一具体实现中,电子设备中预先存储有不同的对象的属性,对象的属性指示该对象可以移动或不可以移动,例如,当对象为背景时,其属性为不可以移动。电子设备根据第一分割结果或第二分割结果,对当前的图像数据中的特征点进行分类,确定每个类别的特征点对应的对象;针对每个类别,分别进行以下操作:确定该类别的特征点对应的对象的属性;若确定该类别的特征点对应的对象的属性指示该类别的特征点对应的对象不可以移动,则确定该类别的特征点的总体状态指示该类别总体上静止状态;若确定该类别的特征点对应的对象的属性指示该类别的特征点对应的对象可以移动,根据第一定位结果和跟踪地图,确定该类别的特征点的总体状态。电子设备根据每个类别的特征点的总体状态,确定用于二次定位的特征点。其中,电子设备根据类别的特征点的总体状态,确定用于二次定位的特征点的方法包括但不限于以下两种:方法1:电子设备将总体状态为运动状态的类别的特征点删除,将剩下的类别的特征点作为用于二次定位的特征点。方法2:电子设备将总体状态为运动状态的类别所对应的分割区域的图像丢弃,即去除该分割区域的图像,根据剩下的图像确定用于二次定位的特征点。需要说明的是,特征点的状态信息指示特征点处于运动状态表示该特征点在当前的图像数据中的位置相对于上一图像数据中的位置发生了变化,类别的特征点总体状态为运动状态表示该类别对应的对象在当前的图像数据中的位置相对于上一图像数据中的位置发生了变化。值得一提的是,相对于根据类别对应的对象的属性直接确定该类别的特征点的总体状态的方法,本实施方式中,电子设备根据跟踪地图和第一定位结果,确定实际发生移动的类别的特征点,避免电子设备将当前的图像数据中可以移动但未发生移动的类别的特征点删除,保证了用于二次定位的特征点的有效数量,进一步提高了定位结果的准确性。以下对电子设备根据第一定位结果和跟踪地图,确定每个类别的特征点的总体状态的方法进行举例说明。电子设备针对每个类别,分别进行以下操作:电子设备根据第一定位结果和跟踪地图,确定类别中每个特征点的状态信息,特征点的状态信息指示特征点处于静止状态或运动状态。电子设备根据该类别中每个特征点的状态信息,确定该类别的特征点的总体状态。具体实现中,电子设备根据第一定位结果中的第一平移信息和第一旋转信息,将跟踪地图中的特征点投影至当前的图像数据中;确定投影得到的特征点与类别中的特征点的对应关系;针对类别中的每个特征点,分别进行以下操作:确定特征点和与特征点对应的投影得到的特征点之间的位置关系;根据位置关系,确定特征点的状态信息。例如,电子设备计算特征点与该特征点对应的投影得到的特征点之间的欧几里德距离,若确定计算得到的欧几里德距离小于第三阈值,则确定该特征点处于静止状态,否则,确定该特征点处于运动状态。电子设备根据该类别中每个特征点的状态信息,判断该类别中处于静止状态的特征点的个数是否大于第一阈值;若确定是,确定该类别的特征点的总体状态为静止状态;否则,确定该类别的特征点的总体状态为运动状态。其中,第一阈值和第三阈值可以根据需要设置。具体实现中,电子设备在确定每个类别的特征点的总体状态之后,可以根据每个类别的特征点的总体状态,更新跟踪地图和长期地图。具体地说,电子设备在定位过程中,创建和维护了两种地图,即跟踪地图和长期地图。其中,跟踪地图用于电子设备的实时定位。电子设备在定位过程中,确定每个类别的特征点对应的对象,根据每个对象的属性,确定可以移动的对象和不可以移动的对象;针对每个不可以移动的对象,分别进行以下操作:将该对象的特征点投影到跟踪地图上;判断跟踪地图上是否存在该对象的特征点;若不存在,将该对象的特征点添加至跟踪地图中;若存在,确定投影到跟踪地图中的该对象的特征点与跟踪地图中该对象的特征点的对应关系,如果投影到跟踪地图中的对象的特征点中,存在没有找到对应的跟踪地图中的特征点,将没有找到对应的跟踪地图中的特征点添加至跟踪地图。针对每个可以移动的对象,分别进行以下操作:将该对象的特征点投影到跟踪地图上;判断跟踪地图上是否存在该对象的特征点;若确定存在且该对象对应的类别的特征点的总体状态为运动状态,将跟踪地图中该对象的特征点删除;如果不存在,或存在且对象对应的类别的特征点的总体状态为静止状态,不进行操作。长期地图专为长期使用而设计,电子设备可以在进入新区域中,进行第一次导航的过程中创建长期地图,并且在以后重复使用,以避免在访问相同区域时进行重复的映射计算。由于长期地图需要在后期反复使用,电子设备将位置随时间保持固定的特征点,即属性为不可移动的对象对应的类别的特征点(如背景)添加至该长期地图,以提供稳定的环境信息。值得一提的是,由于不可以移动的对象的特征点有助于电子设备计算定位结果,将不可以移动的对象的特征点添加到跟踪地图中,提高了电子设备的定位结果的准确性,进而提高了电子设备的跟踪稳定性和轨迹精度。值得一提的是,电子设备为每个区域创建长期地图,避免了电子设备在访问相同区域时进行重复的映射计算。步骤105:获取上一图像数据的分割结果和上一图像数据的定位结果;根据第一定位结果、上一图像数据的定位结果和上一图像数据的分割结果,调整第一分割结果,得到第二分割结果。具体地说,正常情况下,电子设备的上一图像数据中和当前的图像数据之间没有很大的变化,因此,电子设备对上一图像数据的分割结果应当与当前的图像数据的分割结果相似,甚至相同。当电子设备发现上一图像数据的分割结果与当前的图像数据的分割结果存在较大出入时,及时调整第一分割结果,得到第二分割结果,将第二分割结果作为最终的分割结果,提高了电子设备分割过程的准确性。具体实现中,电子设备根据上一图像数据的定位结果和第一定位结果,将上一图像数据的分割结果中的分割区域投影至当前的图像数据,得到投影区域;根据投影区域,调整第一分割结果,得到第二分割结果。需要说明的是,本领域技术人员可以理解,实际应用中,当前的图像数据为定位过程中获取的第一帧的图像数据时,由于不存在上一图像数据,无法根据上一图像的分割结果调整当前的图像数据的第一分割结果,因此,电子设备在获得当前的图像数据的第一分割结果后,直接将当前的图像数据的第一分割结果作为当前的图像数据的最终的分割结果。具体实现中,上一图像数据的定位结果是上一图像数据的最终的定位结果,上一图像数据的分割结果是上一图像数据的最终的分割结果。以下对电子设备得到投影区域的方法进行举例说明。电子设备在得到当前的图像数据的定位结果,即当前的图像数据的旋转信息和平移信息后,获取上一图像数据的定位结果,即上一图像数据的旋转信息和平移信息,按照公式b将上一图像数据中的分割区域中的每一个特征点投影到当前的图像数据中。公式b:公式b中,p′u为投影得到的特征点的横坐标,p′v为投影得到的特征点的纵坐标,fx、fy、cx、cy为相机的内部参数,其中,为rc的逆矩阵,rc为当前的图像数据的旋转信息,rf为上一图像数据的旋转信息,t=tf-tc,其中,tf为上一图像数据的平移信息,tc为当前的图像数据的平移信息,pz=d(pu-cx)/df,其中,d(pu-cx)是投影前的特征点(pu,cx)的深度数据,pu是投影前的特征点的横坐标,pv是投影后的特征点的纵坐标,df是深度因子,px=(pu-cx)*pz/fx,py=(pv-cy)*pz/fy。以下对电子设备根据投影区域调整第一分割结果,得到第二分割结果的方法进行举例说明。电子设备确定投影区域和当前的图像数据的第一分割结果中的初始分割区域的对应关系;针对每个投影区域,分别进行以下操作:判断是否存在与投影区域对应的初始分割区域;若确定存在,确定投影区域和该投影区域对应的初始分割区域的交集区域,确定交集区域在对应的初始分割区域中的第一占比,以及交集区域在该投影区域中的第二占比,判断第一占比是否小于第二占比,若确定是,将投影区域作为当前的图像数据的最终分割区域,否则,将投影区域对应的初始分割区域作为当前的图像数据的最终分割区域;若确定不存在,根据投影区域的个数,确定是否将投影区域作为当前的图像数据的最终分割区域。电子设备对所有投影区域完成以上操作后,根据当前的图像数据的所有的最终分割区域,确定第二分割结果。具体实现中,电子设备确定投影区域和初始分割区域的对应关系的方法如下:电子设备针对每个投影区域,分别进行以下操作:确定投影区域与每个初始分割区域的相似参数;根据最小的相似参数对应的初始分割区域,确定投影区域对应的初始分割区域。具体地说,电子设备在确定最小的相似参数后,判断最小的相似参数是否小于第二阈值;若确定是,确定最小的相似参数对应的初始分割区域为投影区域对应的初始分割区域;否则,确定投影区域与所有的初始分割区域不存在对应关系。具体实现中,电子设备在确定不存在与投影区域对应的初始分割区域之后,判断投影区域的总个数是否大于初始分割区域的总个数;若确定是,将不存在对应关系的投影区域,作为第二分割结果中的一个最终分割区域。以下对电子设备确定投影区域与初始分割区域的相似参数的方法进行说明。电子设备针对每个初始分割区域,分别进行以下操作:确定初始分割区域的中心点和投影区域的中心点的欧氏距离;根据欧氏距离、初始分割区域和投影区域,确定相似参数。具体实现中,电子设备按照公式a计算相似参数,公式a如下:公式a:其中,scp为相似参数,dist(rec,rep)表示初始分割区域的中心点和投影区域的中心点的欧氏距离,w1表示欧氏距离的权重,rec表示初始分割区域,rep表示投影区域,area(rec-rep∪rep-rec表示初始分割区域中与投影区域不相交的区域和投影区域中与初始分割区域不相交的区域的并集中的总像素数,area(rec)表示初始分割区域中的像素数,area(rep)表示投影区域中的像素数,w2表示的权重。其中,w1、w2的具体数值可以根据需要设置为任意值,第二阈值可以根据w1和w2的取值进行设置。需要说明的是,本领域技术人员可以理解,步骤104和步骤105不是必须要执行的步骤,可以有选择性的执行步骤104和步骤105,或执行步骤104和步骤105中的任意一种。当电子设备执行步骤104时,可以提高电子设备定位的准确性,当电子设备执行步骤105时,可以提高电子设备语义分割的准确性。需要说明的是,以上仅为举例说明,并不对本发明的技术方案构成限定。与现有技术相比,本实施方式中提供的定位过程中的数据处理方法,电子设备可以根据定位结果优化分割结果,也可以根据分割结果优化定位结果。电子设备根据分割结果,对当前的图像数据中的特征点进行选择,并根据选择的特征点进行二次定位,相对于直接使用当前的图像数据中的特征点进行定位的方法,降低了当前的图像数据中不符合要求的特征点(如移动的对象的特征点)对定位结果的影响,提高了定位结果的准确性。另外,本实施方式中,充分考虑了物体或电子设备的运动造成的运动模糊对分割准确度的影响,利用更多的有效信息(当前的图像数据的定位结果、上一图像数据的定位结果和上一图像的分割结果),调整当前的图像数据的分割结果,提高当前的图像数据的分割结果的准确性。本发明的第二实施方式涉及一种定位过程中的数据处理方法,第二实施方式与第一实施方式大致相同,主要区别之处在于:在第一实施方式中,在执行步骤104之后执行步骤105,并且,以电子设备利用第一分割结果来进行第二次定位为例对步骤104进行说明。而在本发明的第二实施方式中,在执行步骤105执行步骤104,并且,在步骤104中,利用步骤105得到的第二分割结果,确定第二定位结果。定位过程中,数据处理过程的示意图如图2所示,其中,粗定位即第一次定位,细定位即第二次定位,粗分割即第一次分割,细分割即第二次分割。具体的说,如图3所示,在本实施方式中,数据处理方法包括步骤201至步骤207,其中,步骤201至步骤203、步骤204分别于第一实施方式的步骤101至步骤103、步骤105大致相同,下面主要介绍不同之处:步骤201:获取环境当前的图像数据。步骤202:根据当前的图像数据中的特征点和跟踪地图进行定位,确定第一定位结果。步骤203:对当前的图像数据进行分割,确定当前的图像数据的第一分割结果。步骤204:获取上一图像数据的分割结果和上一图像数据的定位结果;根据第一定位结果、上一图像数据的定位结果和上一图像数据的分割结果,调整第一分割结果,得到第二分割结果。具体地说,电子设备根据上一图像数据的定位结果和第一定位结果,将上一图像数据的分割结果中的分割区域投影至当前的图像数据,得到投影区域;根据投影区域,调整第一分割结果,得到第二分割结果。需要说明的是,本领域技术人员可以理解,当前的图像数据为定位过程中获取的第一帧的图像数据时,电子设备无法执行步骤204,该情况下,电子设备可以根据第一分割结果,对当前的图像数据中的特征点进行分类。步骤205:根据第二分割结果,对当前的图像数据中的特征点进行分类。以下结合实际情况对根据第二分割结果,对当前的图像数据中的特征点进行分类的方法进行举例说明。假设当前的图像数据中包括特征点a、特征点b和特征点c,第二分割结果将当前的图像数据分割为区域1和区域2。特征点a和特征点b位于区域1中,将特征点a和特征点b分为类别1。特征点c不位于区域1中,位于区域2中,将特征点c分为类别2。步骤206:根据第一定位结果和跟踪地图,确定每个类别的特征点的总体状态。具体地说,类别的特征点的总体状态为静止状态或运动状态。其中,电子设备确定每个类别的特征点的总体状态的方法与第一实施方式中电子设备确定每个类别的特征点的总体状态的方法大致相同,此处不再赘述,本领域技术人员可以参考第一实施方式中电子设备确定每个类别的特征点的总体状态的方法的相关内容执行步骤206。步骤207:根据类别的特征点的总体状态,确定用于二次定位的特征点。具体地说,电子设备根据类别的特征点的总体状态,将总体上处于静止状态的类别的特征点,作为用于二次定位的特征点。值得一提的是,由于第二分割结果的准确度比第一分割结果的准确度高,根据第二分割结果确定用于二次定位的特征点更为准确,进一步提高了电子设备的定位结果的准确性。步骤208:根据用于二次定位的特征点和跟踪地图,确定第二定位结果。以上对数据处理方法进行了说明,以下结合实验数据将本发明的实施方式提供的数据处理方法与其他定位算法和分割算法进行对比。实验中,两个人在环境中移动,分别使用本实施方式提供的数据处理方法、orb-slam2算法和定位算法dynaslam进行定位,其定位结果的绝对轨迹误差值如表1所示。对于大规模3d数据集(scannet数据集)中的所有图像,计算使用本实施方式提供的数据处理方法和fcis算法生成的分割结果的平均精度(meanaveragepreci-sion,map)和均交并比(meanintersectionoverunion,miou),结果如表2所示。从表1可以看出,我们的定位方法对步行数据集性能的改善是显而易见的。本实施方式的数据处理方法相对于orb-slam2算法和dynaslam算法,对会产生动态特征点的运动物体进行了分割和丢弃,进而去除了动态特征点,从而达到了更高的精度,这就是本实施方式的数据处理方法优于dynslam算法的原因。从表2可以看出,与fcis算法相比,本实施方式提供的数据处理方法的分割精度有了很大的提高。表1表2fcis本实施方式提供的数据处理方法map0.63140.6504miou0.56200.5751需要说明的是,以上仅为举例说明,并不对本发明的技术方案构成限定。与现有技术相比,本实施方式中提供的定位过程中的数据处理方法,电子设备可以根据定位结果优化分割结果,也可以根据分割结果优化定位结果。电子设备根据分割结果,对当前的图像数据中的特征点进行选择,并根据选择的特征点进行二次定位,相对于直接使用当前的图像数据中的特征点进行定位的方法,降低了当前的图像数据中不符合要求的特征点(如移动的对象的特征点)对定位结果的影响,提高了定位结果的准确性。另外,本实施方式中,充分考虑了物体或电子设备的运动造成的运动模糊对分割准确度的影响,利用更多的有效信息(当前的图像数据的定位结果、上一图像数据的定位结果和上一图像的分割结果),调整当前的图像数据的分割结果,提高当前的图像数据的分割结果的准确性。除此之外,电子设备根据更为准确的分割结果对特征点进行分类,减少了将不同对象的特征点归于同一类别的情况,进而减少了选择的用于二次定位的特征点中处于运动状态的特征点的数量。本发明的第三实施方式涉及一种定位过程中的数据处理方法,第二实施方式与第一实施方式大致相同,主要区别之处在于:在第一实施方式中,以电子设备利用第一定位结果来调整第一分割结果为例对步骤105进行说明。而在本发明的第二实施方式中,以利用步骤104得到的第二定位结果来调整第一分割结果。具体的说,如图4所示,在本实施方式中,数据处理方法包括步骤301至步骤307,其中,步骤301至步骤304分别于第一实施方式的步骤101至步骤104大致相同,下面主要介绍不同之处:步骤301:获取环境当前的图像数据。步骤302:根据当前的图像数据中的特征点和跟踪地图进行定位,确定第一定位结果。步骤303:对当前的图像数据进行分割,确定当前的图像数据的第一分割结果。步骤304:根据第一分割结果、第一定位结果和跟踪地图,从当前的图像数据中的特征点中选择用于二次定位的特征点;根据用于二次定位的特征点和跟踪地图,确定第二定位结果。步骤305:获取上一图像数据的分割结果和上一图像数据的定位结果。步骤306:根据上一图像数据的定位结果和第二定位结果,将上一图像数据的分割结果中的分割区域投影至当前的图像数据,得到投影区域。具体地说,电子设备得到投影区域的过程与第一实施方式中电子设备得到投影区域的过程大致相同,本领域技术人员可以参考第一实施方式中的相关描述,此处不再赘述。步骤307:根据投影区域,调整第一分割结果,得到第二分割结果。具体地说,电子设备根据投影区域调整第一分割结果的过程与第一实施方式中电子设备根据投影区域调整第一分割结果的过程大致相同,本领域技术人员可以参考第一实施方式中的相关描述,此处不再赘述。需要说明的是,以上仅为举例说明,并不对本发明的技术方案构成限定。与现有技术相比,本实施方式中提供的定位过程中的数据处理方法,电子设备可以根据定位结果优化分割结果,也可以根据分割结果优化定位结果。电子设备根据分割结果,对当前的图像数据中的特征点进行选择,并根据选择的特征点进行二次定位,相对于直接使用当前的图像数据中的特征点进行定位的方法,降低了当前的图像数据中不符合要求的特征点(如移动的对象的特征点)对定位结果的影响,提高了定位结果的准确性。电子设备利用当前的图像数据的定位结果和上一图像数据的定位结果,使得能够根据上一图像的分割结果调整当前的图像数据的分割结果,提高当前的图像数据的分割结果的准确性。除此之外,电子设备根据更准确的第二定位结果投影上一图像数据的分割结果,可以降低投影误差。上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。本发明的第四实施方式涉及一种定位过程中的数据处理装置,如图5所示,包括:获取模块401、第一定位模块402、第一分割模块403,以及第二定位模块404,和/或,第二分割模块405。获取模块401用于获取环境当前的图像数据。第一定位模块402用于根据当前的图像数据中的特征点和跟踪地图进行定位,确定第一定位结果。第一分割模块403用于对当前的图像数据进行分割,确定当前的图像数据的第一分割结果。第二定位模块404用于根据第一分割结果、第一定位结果和跟踪地图,从当前的图像数据中的特征点中选择用于二次定位的特征点;根据用于二次定位的特征点和跟踪地图,确定第二定位结果。第二分割模块405用于获取上一图像数据的分割结果和上一图像数据的定位结果;根据第一定位结果、上一图像数据的定位结果和上一图像数据的分割结果,调整第一分割结果,得到第二分割结果。需要说明的是,图4中以数据处理装置包括第二定位模块404和第二分割模块405为例,本领域技术人员可以理解,实际应用中,数据处理装置也可以设置第二定位模块404或第二分割模块405中的任意一个模块。不难发现,本实施方式为与第一实施方式、第二实施方式和第三实施方式相对应的装置实施例,本实施方式可与第一实施方式、第二实施方式和第三实施方式互相配合实施。第一实施方式、第二实施方式和第三实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式、第二实施方式和第三实施方式中。值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。本发明的第五实施方式涉及一种电子设备,如图6所示,包括:至少一个处理器501;以及,与至少一个处理器501通信连接的存储器502;其中,存储器502存储有可被至少一个处理器501执行的指令,指令被至少一个处理器501执行,以使至少一个处理器501能够执行上述实施方式提及的定位过程中的数据处理方法。该电子设备包括:一个或多个处理器501以及存储器502,图6中以一个处理器501为例。处理器501、存储器502可以通过总线或者其他方式连接,图6中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述定位过程中的数据处理方法。存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。一个或者多个模块存储在存储器502中,当被一个或者多个处理器501执行时,执行上述任意方法实施方式中的定位过程中的数据处理方法。上述产品可执行本申请实施方式所提供的方法,具备执行方法相应的功能模块和有益效果,未在本实施方式中详尽描述的技术细节,可参见本申请实施方式所提供的方法。本发明的第六实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例提供的方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1