多源传感器目标综合识别系统性能评估方法
【专利摘要】本发明提出的一种多源传感器目标综合识别系统性能评估方法，旨在提供能够对多源异类传感器综合识别系统的识别性能有效、合理、全面评估的方法。并通过如下技术方案予以实现：性能评估计算机接收目标想定计算机、多源传感器系统与综合识别系统分别发送目标想定数据、目标多源传感器数据和目标综合识别数据，将这些数据存储到接收数据缓存队列中，选择综合识别系统性能评估指标集库中相应评估需求所需的评估指标，从接收数据缓存队列中取出接收的数据，按照评估指标定义与计算流程计算指标值，针对不同评估需求选择评估指标，对目标态势目标信息的冗余程度进行对比评估，将综合识别系统数据融合的关联结果、识别结果和识别态势在显示界面上进行显示。
【专利说明】多源传感器目标综合识别系统性能评估方法
【技术领域】
[0001]本发明涉及多源传感器目标综合识别系统性能评估方法。
【背景技术】
[0002]近年来，多传感器数据融合技术受到了广泛的关注，它是对多源信息进行处理的一门综合性学科。异类多传感器系统是一个由不同类型的传感器组成的网络。异类多传感器数据融合系统由多源异类信息所构成的目标特征空间结构，异类多传感器所获信息在形式上具有多样性和复杂性。综合利用多源异类传感器对目标进行探测识别是目标识别系统的一种发展趋势。通过对多种类型传感器的集成，最大化利用了各传感器对目标的识别优势，扬长补短，从而提升对目标的识别能力。综合识别系统能力评估是评价综合识别系统的识别能力是否达到预期设计要求的有效方式，是开展新任务论证、项目评价、能力展示等任务的重要途径。为解决由测向测时差无源被动传感器与主动传感器组网探测时异类多传感器系统误差估计问题，《西南交通大学学报》2011年04期，宋强、何友、熊伟提出了一种异类多传感器系统误差融合估计算法。该方法通过对主被动传感器进行组合并构建异类传感器系统误差量测模型，实现各组合传感器系统误差的实时估计；通过建立多传感器融合估计结构，对多传感器系统误差的组合估计信息进行融合并反馈，获得了各传感器系统误差的全局融合估计。
[0003]目前对综合识别系统性能评估的方法，可以概括为三类:识别算法评估、目标属性识别评估。识别算法评估主要通过利用算法的ROC曲线，对不同算法进行比较；目标属性识别评估方法主要利用目标正确识别概率、目标错误识别概率、目标未识率指标进行评估，并且也主要对某单一识别源进行评估。由于这些方法所用指标较少，不同的识别源的评估方式不统一造成的评估结果不具有可比性等因素，这些评估方法均不能满足综合识别系统的能力论证需求，需要建立一种针对综合识别系统的完整的评估体系。
【发明内容】
[0004]本发明的任务是提供一种可对多源传感器目标综合识别系统进行全面评估，可将数据融合的关联结果、识别结果以及识别态势进行同时显示的多源传感器目标综合识别系统性能评估方法，以实现对多源异类传感器综合识别系统的识别性能进行有效、合理、全面地评估。
[0005]本发明解决现有技术问题所采用的方案是:一种多源传感器目标综合识别系统性能评估方法，具有如下技术特征:在目标想定计算机、多源传感器系统、综合识别系统性能评估计算机和多源传感器系统构成的多源传感器目标综合识别系统中，多源传感器系统通过网络交换机与性能评估计算机交互数据；安装有性能评估软件的性能评估计算机在目标想定计算机、多源传感器系统的配合下，按照性能评估工作流程对多源传感器目标综合识别系统的处理性能进行评估；性能评估计算机接收目标想定计算机、多源传感器系统与综合识别系统分别发送的目标想定数据、目标多源传感器数据和目标综合识别数据，将这些数据存储到接收数据缓存队列中，并在性能评估软件的基本指标集中设置“态势相关度”指标和“绝对识别概率”指标；选择综合识别系统性能评估指标集库中相应评估需求所需的评估指标，从接收数据缓存队列中取出接收的数据，根据选择出的评估指标，按照评估指标定义与计算流程计算指标值，性能评估软件在多源传感器系统或综合识别系统给定的目标观测集合、关联率指标和绝对识别率指标中，针对不同评估需求选择评估指标，对同一识别对象集合下的多源传感器系统与综合识别系统的评估需求和目标识别能力，以及分别形成的目标态势目标信息的冗余程度进行对比评估，将综合识别系统数据融合的关联率指标计算出的关联结果、识别率指标的评估计算识别结果以及识别态势在显示界面上进行显示。
[0006]本发明相比于现有技术具有如下有益效果。
[0007]本发明通过在性能评估软件所涉及的基本指标集中设置“态势相关度”指标，实现了可对综合识别系统的数据融合必要性与处理效果进行论证；通过在性能评估软件所涉及的基本指标集中设置“绝对识别概率”指标，实现了针对同一识别对象集合下的多源传感器系统与综合识别系统分别形成的目标态势的识别概率评估，从而可以对多源传感器系统与综合识别系统的目标识别能力进行对比；在性能评估软件所涉及的派生指标集，由于增加了目标对象、作用距离等不同的、更加细化的约束条件，使得各种指标的描述更加具体，从而对综合识别系统的处理性能评估会更加细致与全面；在性能评估软件中采用一体化图形可视化显示方法对综合识别系统的目标关联与识别评估数据进行显示，可将综合识别系统数据融合的关联结果、识别结果以及识别态势在显示界面上进行同时显示，从而在有限大小的显示界面中最大化地显示了目标处理数据。
【专利附图】
【附图说明】
[0008]为了更清楚地理解本发明，现将通过本发明实施例，同时参照附图，来描述本发明，其中:
图1是本发明多源传感器目标综合识别系统性能评估系统工作原理图。
[0009]图2是本发明多源传感器综合识别系统性能评估软件的工作流程图。
[0010]图3是本发明性能评估软件所涉及的综合识别系统数据融合关联率指标计算流程图。
[0011]图4是本发明性能评估软件所涉及的综合识别系统数据融合关联处理中，确定融合关联是否正确的流程图。
[0012]图5是本发明性能评估软件所涉及的综合识别系统识别率指标计算流程图。
[0013]图6是本发明性能评估软件所涉及的综合识别系统识别率指标计算方法中，确定目标识别属性是否正确的流程图。
【具体实施方式】
[0014]参阅图1、图2。在以下描述的实施例中，图1所示的整个流程完成了对多源传感器综合目标识别系统的性能评估，图2所示的整个流程完成了对多源传感器综合目标识别系统的性能评估软件的实现方法。多源传感器目标综合识别系统性能评估系统包括:性能评估计算机相连的目标想定计算机、多源传感器系统、综合识别系统。性能评估计算机中的性能评估软件汇集实时接入目标想定计算机、多源传感器系统、综合识别系统分别发送的目标想定数据、目标多源传感器数据、目标综合识别数据等数据，根据多源传感器综合识别系统性能评估流程对综合识别系统性能进行评估。安装有性能评估软件的性能评估计算机在目标想定计算机、多源传感器系统的配合下，按照性能评估工作流程对多源传感器目标综合识别系统的处理性能进行评估；性能评估计算机接收目标想定计算机、多源传感器系统与综合识别系统分别发送的目标想定数据、目标多源传感器数据和目标综合识别数据，将这些数据存储到接收数据缓存队列中，并在性能评估软件的基本指标集中设置“态势相关度”指标和“绝对识别概率”指标；选择综合识别系统性能评估指标集库中相应评估需求所需的评估指标，从接收数据缓存队列中取出接收的数据，根据选择出的评估指标，按照评估指标定义与计算流程计算指标值，性能评估软件在多源传感器系统或综合识别系统给定的目标观测集合、关联率指标和绝对识别率指标中，针对不同评估需求选择评估指标，对同一识别对象集合下的多源传感器系统与综合识别系统的评估需求和目标识别能力，以及分别形成的目标态势目标信息的冗余程度进行对比评估，将综合识别系统数据融合的关联率指标计算出的关联结果、识别率指标的评估计算识别结果以及识别态势在显示界面上进行显不O
[0015]多源传感器目标综合识别系统性能评估系统包括:目标想定计算机、综合识别系统、性能评估计算机和多源传感器系统，其中，目标想定计算机、多源传感器系统、综合识别系统相连于性能评估计算机，多源传感器系统相连在目标想定计算机与综合识别系统之间，并通过网络交换机与性能评估计算机交互数据。性能评估计算机安装有性能评估软件，性能评估软件含有综合识别系统性能评估指标集，所述性能评估指标集包括基本指标集与派生指标集两部分。基本指标集由目标态势信息质量类指标和融合处理能力类指标构成，其中，目标态势信息质量类指标包括态势相关度、目标探测率、目标虚警率、目标漏警率、目标探测周期、目标探测距离、相对正确识别率、相对错误识别率、相对未识别率、绝对正确识别率、绝对错误识别率、绝对未识别率、识别准确度等指标；融合处理能力类指标包括正确关联率、错误关联率、漏关联率、融合处理时间、融合处理目标数等指标；派生指标集是通过对基本指标集中的指标实施不冋的条件约束派生的，派生指标集的派生条件包括:传感器组合约束条件、识别目标对象约束条件、时空约束条件、识别属性约束条件、置信度约束条件等。
[0016]性能评估软件所涉及的基本指标集中的态势相关度、关联率、绝对识别率指标的定义如下，其它基本指标的定义参见相关文献，这里不再赘述。
[0017]性能评估软件针对不同评估需求所选择的评估指标为综合识别系统的评估需求，主要包括:融合处理前后态势相关度对比评估需要的指标、融合处理能力评估需要的指标、与现役识别装备识别能力对比评估需求的指标与目标识别准确度评估需要的指标，其中，融合处理前后态势相关度对比评估需要的指标包括目标冗余度指标；融合处理能力评估需要的指标包括不同传感器组合约束条件下的融合处理能力类指标；与现役识别装备识别能力对比评估需求的指标包括由不同的传感器组合约束条件、识别目标对象约束条件、时空约束条件下的目标态势信息质量类指标以及由不同的识别属性约束条件、置信度约束条件下的绝对正确识别率、绝对错误识别率、绝对未识别率指标；目标识别准确度评估需要的指标包括不同的传感器组合约束条件、识别目标对象约束条件、识别属性约束条件下的识别准确度指标。[0018]I)态势相关度定义
在多源传感器系统或综合识别系统给定的目标观测集合中，衡量不同目标观测来源于同一真实目标的重复程度。假设由N个目标观测构成的目标观测集合S={Sl，S2，…，ss}，其所有目标观测对应的真实目标所构成的集合为T=It1, t2，...，tM}，即:对于
￥1 € [I,K] V) 6 集合S与T均满足【条件I】与【条件2】:
【条件I】对于ES，Si对应的真实目标为tj，则^^丁；
【条件2】对于外€Τ,则日Si e S，使得Si对应的真实目标为tj。
[0019]假设每个真实目标h e T在集合S中对应的目标观测数为ηρ则集合S的态势相关度为1:
【权利要求】
1.一种多源传感器目标综合识别系统性能评估方法，具有如下技术特征:在目标想定计算机、多源传感器系统、综合识别系统性能评估计算机和多源传感器系统构成的多源传感器目标综合识别系统中，多源传感器系统通过网络交换机与性能评估计算机交互数据；安装有性能评估软件的性能评估计算机在目标想定计算机、多源传感器系统的配合下，按照性能评估工作流程对多源传感器目标综合识别系统的处理性能进行评估；性能评估计算机接收目标想定计算机、多源传感器系统与综合识别系统分别发送的目标想定数据、目标多源传感器数据和目标综合识别数据，将这些数据存储到接收数据缓存队列中，并在性能评估软件的基本指标集中设置“态势相关度”指标和“绝对识别概率”指标；选择综合识别系统性能评估指标集库中相应评估需求所需的评估指标，从接收数据缓存队列中取出接收的数据，根据选择出的评估指标，按照评估指标定义与计算流程计算指标值，性能评估软件在多源传感器系统或综合识别系统给定的目标观测集合、关联率指标和绝对识别率指标中，针对不同评估需求选择评估指标，对同一识别对象集合下的多源传感器系统与综合识别系统的评估需求和目标识别能力，以及分别形成的目标态势目标信息的冗余程度进行对比评估，将综合识别系统数据融合的关联率指标计算出的关联结果、识别率指标的评估计算识别结果以及识别态势在显示界面上进行显示。
2.如权利要求1所述的多源传感器目标综合识别系统性能评估方法，其特征在于:所述性能评估指标集包括基本指标集与派生指标集两部分，基本指标集由目标态势信息质量类指标和融合处理能力类指标构成，其中，目标态势信息质量类指标包括态势相关度、目标探测率、目标虚警率、目标漏警率、目标探测周期、目标探测距离、相对正确识别率、相对错误识别率、相对未识别率、绝对正确识别率、绝对错误识别率、绝对未识别率和识别准确度指标；融合处理能力类指标包括正确关联率、错误关联率、漏关联率、融合处理时间和融合处理目标数指标；派生指标集是通过对基本指标集中的指标实施不同的条件约束派生的，派生指标集的派生条件包括:传感器组合约束条件、识别目标对象约束条件、时空约束条件、识别属性约束条件和置信度约束条件。
3.如权利要求1所述的多源传感器目标综合识别系统性能评估方法，其特征在于:综合识别系统的评估需求包括:融合处理前后态势相关度对比评估、融合处理能力评估、与现役识别装备识别能力对比评估和目标识别准确度评估，其中，融合处理前后态势相关度对比评估需要的指标包括目标冗余度指标；融合处理能力评估需要的指标包括不同传感器组合约束条件下的融合处理能力类指标；与现役识别装备识别能力对比评估需求的指标包括由不同的传感器组合约束条件、识别目标对象约束条件、时空约束条件下的目标态势信息质量类指标以及由不同的识别属性约束条件、置信度约束条件下的绝对正确识别率、绝对错误识别率、绝对未识别率指标；目标识别准确度评估需要的指标包括不同的传感器组合约束条件、识别目标对象约束条件、识别属性约束条件下的识别准确度指标。
4.如权利要求1所述的多源传感器目标综合识别系统性能评估方法，其特征在于:性能评估软件针对不同评估需求所选择的评估指标为:融合处理前后态势相关度对比评估需要的指标、融合处理能力评估需要的指标、与现役识别装备识别能力对比评估需求的指标与目标识别准确度评估需要的指标。
5.如权利要求1所述的多源传感器目标综合识别系统性能评估方法，其特征在于:在多源传感器系统或综合识别系统给定的目标观测集合中，衡量不同目标观测来源于同一真实目标的重复程度，若设N个目标观测构成的目标观测集合S=Is1 -S2,…，sN}，其所有目标观测对应的真实目标所构成的集合为T=It1, t2，…，tM}，若设每个真实目标& e T在集合S中对应的目标观测数为r^_则集合S的态势相关度为:
6.如权利要求1所述的多源传感器目标综合识别系统性能评估方法，其特征在于--关联率指标包括正确关联率、错误关联率和漏关联率；关联率指标反映了综合识别系统中所涉及的数据融合处理能力，在被考察的综合识别系统输出的融合目标集合中，被综合识别系统正确关联的融合目标所占的比率称为正确关联率；相应地，被综合识别系统漏关联的融合目标所占的百分比称为漏关联率；被综合识别系统错误关联的融合目标所占的百分比称为错误关联率。
7.如权利要求6所述的多源传感器目标综合识别系统性能评估方法，其特征在于:正确关联率、漏关联率Pf与错误关联率Pas的计算公式分别是:
8.如权利要求1所述的多源传感器目标综合识别系统性能评估方法，其特征在于:绝对识别率指标包括绝对正确识别率、绝对错误识别率和绝对未识别率；绝对识别率指标反映了传感器系统及综合识别系统等识别源对被考察的目标集合的识别能力；识别源S的绝对正确识别率Pca（s）、绝对错误识别率PeaS)、绝对未识别率I#is)的计算公式是:.ViiSl
9.如权利要求1所述的多源传感器目标综合识别系统性能评估方法，其特征在于:在所涉及的关联率指标计算中，性能评估软件对综合识别系统融合目标关联评估方法，在综合识别系统的数据融合中，性能评估软件选择最近N拍的最新更新目标或最近时间段T内的最新更新目标作为关联统计的参考目标，N或T值可事先设置；在所涉及的识别率指标计算时，采用加权方法对目标航迹与真实目标的对应关系进行量化。
10.如权利要求1所述的多源传感器目标综合识别系统性能评估方法，其特征在于:在识别率指标的评估计算中，性能评估软件将时刻t存在It个真实目标记为:
【文档编号】G06F19/00GK103793606SQ201410040712
【公开日】2014年5月14日 申请日期:2014年1月27日 优先权日:2014年1月27日
【发明者】王连亮 申请人:中国电子科技集团公司第十研究所