一种基于知识库推理的通用视点规划方法

1.本发明涉及主动感知领域，具体的说是涉及一种基于知识库推理的通用视点规划方法。


背景技术：

2.在执行视觉任务的过程中，单一视点获取的数据可能并不足以完成任务目标，因此需要在多个视点对目标进行探测。主动感知是通过有目的地调整视觉传感器的位姿，消除模型空间的不确定性，从而提升视觉任务的效率并降低传感器依附平台的能耗。下一最佳视点的选择是主动感知任务的核心目标，它决定了下一视点获取到的感知数据对任务目标的贡献度，目前已有一些针对具体任务的视点规划方法。
3.针对目标识别任务，主要存在基于形态图的方法与基于深度学习的方法。前者采用形态图对目标进行表征，以不同视角下二维视图中提取的目标形态作为目标特征，结合图的方式描述特征间的位置依赖关系，并用贝叶斯方法计算不同特征的区分性，进而确定下一最佳视点。后者采用端对端的方式，以传感器在当前视点的探测图像作为网络输入，训练后的网络可以直接输出下一最佳视点。
4.针对目标建模任务，主要存在基于表面预测的方法和基于信息增益的方法。前者根据目标的已知表面，利用平滑物体的表面延展性，对未知表面做出预测，然后根据预测表面决定下一最佳视点。后者使用体素模型，将对信息获取有较大价值的体素，比如未知体素，靠近表面的体素等，赋予较大信息增益，在体素空间内对候选视点的体素信息增益做统计，选择信息增益较大的视点作为下一最佳视点。
5.但是，上述方法的应用任务场景都存在一定局限性，目前尚不存在一种通用的视点规划方法，既适用于目标建模任务中的视点规划，又适用于目标识别任务中的下一视点确定。


技术实现要素：

6.为了克服现有方法的局限性，本发明提出了一种适用于不同场景的基于物体部分先验信息的通用视点规划方法。
7.本发明为实现上述目的所采用的技术方案是：
8.一种基于知识库推理的通用视点规划方法，包括：视觉任务与先验信息的描述方法，各状态的实时更新方法与未知区域的预测方法，以及基于形式化描述的通用视点规划方法，其中：
9.视觉任务与先验信息的描述方法：对视觉任务的任务状态，被测物体的候选状态空间、感知状态与先验信息进行形式化表达，将不同视觉任务通过统一的形式化表达，作为视点规划方法的输入；
10.各状态的实时更新方法与未知特征的预测方法：指导实际探测过程中被测物体的候选状态与感知状态的实时更新：根据视觉传感器获取的被测物体的点云和图像在内的感
知数据，对被测物体所在的体素模型空间进行实时更新，随着被测物体的候选状态以及感知状态的迁移，视觉任务逐步趋近于其目标状态，当目标状态未到达时，根据被测物体的当前感知状态，结合其先验信息库，对模型空间的未知区域做出预测；
11.基于形式化描述的通用视点规划方法：预测视觉传感器的下一最佳视点：首先使用条件熵来度量各个特征的区分性，用以表述视点特征体素增益的对应权重；然后使用加权信息增益的视点评价方法计算候选视点的评价函数值，选出评价函数值最大的视点作为下一最佳视点。
12.所述被测物体感知状态perc_s
t
的描述方法为：
13.perc_s
t
:(f
t1
,f
t2
..f
tn
...f
tn
)
14.f
tn
为t时刻特征n的感知状态，fn是定义被测物体的第n个特征，视觉任务中共包含n个待探测特征。
15.所述被测物体的候选状态空间candi_s为各特征状态的可能组合，其描述方法为：
16.candi_s:{o1,...oj,...oj}
17.其中，oj指被测物体的第j种可能所属类型的各特征状态，描述方法如下式：
18.oj:(f
j1
,f
j2
,...f
jn
...f
jn
)
19.其中，f
jn
表示被测物体j中特征n的对应特征状态，若特征存在，则置1，否则置为0，特征状态空间包括-1，0，2，1，其中，-1表示特征的初始状态，尚未探测到特征的相关信息；0表示特征不存在；1表示特征存在且已被探测；2表示特征存在但尚未被探测。
20.所述任务状态task_s
t
的描述方法为(cfd
t
,mapig
t
)，cfd
t
表示t时刻目标的置信度，计算公式如下：
21.cfd
t
＝1/j
22.其中，j指候选状态空间中的候选状态个数，mapig
t
表示t时刻体素模型空间的信息熵状态，计算公式如下：
[0023][0024]
其中，pi表示体素i的占据概率。
[0025]
其特征在于，对所述先验信息的描述采用规则的形式，每条规则rulek中包含特征的验证方法、特征属性计算方法，以及特征间推导方法，形式如下：
[0026]
rulek：{(an1,...anm)
→
consk,testk(),calk(),prek()}
[0027]
所述规则用特征an1～anm推导特征consk的相关信息，testk()用来验证特征consk是否能被验证存在，calk()计算特征consk的属性，prek()是根据已知特征an1～anm预测特征consk对应点云的函数。
[0028]
被测物体的感知状态perc_s
t
的实时更新方法，各特征的感知状态f
tn
由视觉传感器的探测信息或对候选状态空间的推导进行更新，更新方法如下：
[0029]
[0030]
num_crtn指特征fn的现存预测体素数，num_ttn指特征fn的预测点云对应体素总数，thresh是人工设定的阈值。
[0031]
候选状态空间的实时更新方法，当特征的感知状态根据体素模型空间的信息进行更新时，候选状态空间根据特征的更新进行更新，被筛选出候选状态空间的条件如下：
[0032][0033]
未知区域的预测方法为，根据特征状态，筛选出用于预测未知特征的规则，由规则中描述特征预测的函数prek()，推导出未知特征的点云分布，将点云对应的距离已知体素距离超过阈值的未知体素置为预测体素，并标记其特征类别及特征子区域序号，特征子区域表示能够推导出特征完全属性即对特征完整描述的区域之一。
[0034]
所述视点特征体素增益的对应权重，即各个特征的区分性，使用条件熵来度量，条件熵公式如下
[0035][0036]
其中，p(oj,fn)指特征状态为fn，被测物体为oj的联合概率，p(oj|fn)指当特征状态为fn时，目标属于第j类被测物体的条件概率，对于感知状态为-1的特征，权重wi根据条件熵进行归一化计算；状态为2的特征，权重取最小归一化权重的0.01。
[0037]
所述候选视点的评价方法，使用加权信息增益的表达方式，评价函数g(v)公式如下：
[0038][0039]
其中，g_overlapv指视点v的重叠信息增益，当前后帧重叠比例大于设定阈值时，该信息增益置1，否则，此项置0；w1和w2分别是预测特征体素信息增益的权重和未知体素的权重，指特征当前视点可探测的特征i体素数占特征i的预测总数之比例，指当前视点的未知体素数占全部未知体素的比例。本发明具有以下优点及有益效果：
[0040]
1.本发明充分利用了被测目标的先验信息；
[0041]
2.本发明适用于不同的视觉任务；
[0042]
3.本发明对视觉任务进行形式化描述后，算法可以自动计算下一视点的位姿，无需人为干预，提高了视觉任务的主动性与效率。
附图说明
[0043]
图1是本发明的通用视点规划算法框图。
具体实施方式
[0044]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0045]
提出一种通用的视点规划方法，面向三维目标建模或者三维目标识别等各类视觉任务，根据已探测数据与目标已知信息，确定传感器的下一最佳视点。例如，当视觉任务为
目标识别时，任务的目标状态为(1,0)，若被测目标属于两类物体中的一种，这些物体可以用3种特征描述，分别为1处是否存在圆，2处是否存在三角形，3处是否存在正方形，类别一中特征状态为(1,1,1),类别二中特征状态为(1,0,1),物体的候选状态空间表示为(1,1,1)、(1,0,1)；初始各个特征均未被探测，则初始的感知状态为(-1，-1，-1)，先验信息库中存储特征的验证方法和特征间的推理预测方法。循环下面的过程，直到任务达到目标状态：视觉传感器移动到指定视点，获取目标的图像或点云数据，由原始数据更新体素模型空间后，根据先验信息库中规则验证各特征是否存在，假设特征1被验证存在，特征2,3无法验证，则当前感知状态更新为(1，-1，-1)。根据先验信息库中相关规则，预测2,3的点云，标记体素模型空间对应的预测体素，并计算特征2,3对应的权重。最后使用视点评价函数评价各候选视点对视觉任务的贡献大小，选择贡献最大的视点作为下一最佳视点。
[0046]
本发明采用的方案包括：视觉任务与先验信息的形式化描述方法；各状态的更新方法与未知特征的预测方法；基于形式化描述的下一视点确定方法。
[0047]
视觉任务与先验信息的描述方法，对视觉任务的任务状态，被测物体的候选状态空间、感知状态与先验信息进行形式化表达，将不同视觉任务通过统一的形式化表达输入视点规划系统。
[0048]
各状态的实时更新方法与未知特征的预测方法，用于指导实际探测过程中被测物体的候选状态与感知状态的更新，随着各状态的迁移，视觉任务逐步趋近于其目标状态。当目标状态未到达时，根据被测物体的当前感知状态，结合其先验信息库，对模型空间的未知区域做出预测。
[0049]
基于形式化描述的通用视点规划方法，用于预测传感器的下一最佳视点。首先使用条件熵来度量各个特征的区分性，用以表述视点特征体素增益的对应权重。然后用一种加权信息增益的视点评价方法计算候选视点的评价函数值，选出下一最佳视点。
[0050]
其中，特征状态指的是各个特征的状态；
[0051]
候选状态指该被测物体可能属于几类物体中的一种，每种物体中，各特征的状态是不同的，每种特征状态的组合构成了物体的候选状态；
[0052]
任务状态是指视觉任务的当前状态；
[0053]
感知状态是指根据探测数据分析出的各特征的实时状态。
[0054]
所述被测物体感知状态perc_s
t
的描述方法为：
[0055]
perc_s
t
:(f
t1
,f
t2
..f
tn
...f
tn
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0056]ftn
指的是t时刻特征n的状态，fn是定义被测物体的第n个特征，视觉任务中共包含n个待探测特征。特征的状态空间包括-1，0，2，1。-1表示特征的初始状态，尚未探测到特征的相关信息；0表示特征不存在；1表示特征存在且已被探测；2表示特征存在但尚未被探测。
[0057]
所述被测物体的候选状态空间candi_s为各特征状态的可能组合，其描述方法为：
[0058]
candi_s:{o1,...oj,...oj}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0059]
其中，oj指被探测物体的第j种可能所属类型的各特征状态，描述方法如下式：
[0060]
oj:(f
j1
,f
j2
,...f
jn
...f
jn
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0061]
上式中，f
jn
表示目标j中特征n的对应状态，若特征存在，则置1，否则置为0。
[0062]
所述任务状态task_s
t
的描述方法为(cfd
t
,mapig
t
)，cfd
t
表示t时刻目标的置信度，计算公式如下：
[0063]
cfd
t
＝1/j
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0064]
其中，j指候选状态集中的状态个数，mapig
t
表示t时刻体素模型空间的信息熵状态，计算公式如下：
[0065][0066]
其中，pi表示体素i的占据概率。
[0067]
所述对先验信息的描述采用规则的形式，每条规则rulek中包含特征的验证方法，特征属性计算方法，以及特征间推导方法，形式如下：
[0068]
rulek：{(an1,...anm)
→
consk,testk(),calk(),prek()}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0069]
这条规则用特征an1～anm推导特征consk的相关信息，testk()用来验证特征consk是否能被验证存在，calk()计算特征consk的属性，prek()是预测特征consk对应点云的函数。
[0070]
所述被测物体的感知状态perc_s
t
的实时更新方法，各特征位的状态f
tn
由探测信息或对候选状态集的推导进行更新，更新方法如下：
[0071][0072]
num_crtn指特征fn的现存预测体素数，num_ttn指特征fn的预测点云对应体素总数，thresh是人工设定的阈值。
[0073]
所述候选状态集的实时更新方法，当特征的状态根据模型空间的信息进行更新时，候选状态集根据特征位的更新进行更新，被筛选出候选状态集的条件如下：
[0074][0075]
所述未知区域的预测方法，根据特征状态，筛选出可用于预测未知特征的规则，由规则中描述特征预测的函数prek()，推导出未知特征的点云分布，将点云对应的距离已知体素距离超过阈值的未知体素置为预测体素，并标记其特征类别及特征子区域序号，特征子区域表示能够推导出特征完全属性的区域之一。
[0076]
所述视点特征体素增益的对应权重，即各个特征的区分性，使用条件熵来度量，条件熵公式如下
[0077][0078]
对于感知状态为-1的特征，权重wi根据条件熵进行归一化计算。状态为2的特征，权重取最小归一化权重的0.01。
[0079]
所述候选视点的评价方法，使用加权信息增益的表达方式，公式如下。
[0080][0081]
其中，g_overlapv指视点v的重叠信息增益，当前后帧重叠比例大于设定阈值时，
该信息增益置1，否则，此项置0。w1和w2分别是预测特征体素信息增益的权重和未知体素的权重，指特征当前视点可探测的特征i体素数占特征i的预测总数之比例，指当前视点的未知体素数占全部未知体素的比例。其中，预测特征体素是指预测到分布有点云的未知体素。
[0082]
根据图1所示，通用视点规划算法主要包括四个阶段：视点规划系统的输入、感知状态与候选状态的更新、未知区域的预测与下一视点的选择。
[0083]
视点规划模块的输入阶段，依据本发明提出的对视觉任务的任务状态，被测物体的候选状态、感知状态与先验信息的形式化表达方法，将当前视觉任务相关状态的初始状态或目标状态和先验信息以特定形式输入视点规划系统，作为整个视点规划系统运行的基础。
[0084]
感知状态与候选状态的更新阶段，依据本发明提出的特征状态的更新方法，根据模型空间的感知和预测信息对任务的感知状态进行更新，当特征的状态根据模型空间的信息发生改变后，依据本发明提出的候选状态的更新方法，对候选状态集进行更新。候选状态集被更新后，根据候选状态集的特征对应状态，再次对任务的感知状态进行更新。
[0085]
未知区域的预测阶段，当某特征不确定且未被预测时，利用视觉任务的先验信息，由与之相关的已知特征推导出其对应点云分布。依据本发明提出的未知体素的状态更新方法，使用预测点云更新体素模型中的未知体素状态。
[0086]
下一视点的选择阶段，依据本发明提出的加权信息增益的视点评价方法，首先将各个特征的区分性用对应条件熵进行描述。然后对每一个候选视点，依据本发明提出的未知特征信息增益统计方法，计算每个未知特征的可视比例，对其进行特征加权，得到视点的最大加权可视比例值作为该视点的评价函数值，最后选择评价函数值最大的视点作为下一最佳视点。