专利名称：列控系统车载设备互联互通测试结果自动判定及分析方法
技术领域：
本发明涉及铁路列控设备测试，特别是涉及一种列控系统车载设备互联互通测试结果自动判定及分析方法。
背景技术：
车载设备作为列控系统的关键部件之一和控制对象，其功能的完备和是否具备跨线运行的能力是目前列控系统发展中必须关心的问题，要验证车载设备是否能够在不同技术平台下的地面线路上正确运行，即具备互联互通性，就必须在上线运行之前对其进行互联互通测试。互联互通测试的依据是根据列控系统需求规范制定的测试规范和测试案例，用测试案例库来指导实际的测试工作，见图1。由于采用的是第三方互联互通测试平台，因此需要在对被测设备的内部状态不可见的情况下，只根据其可见接口的数据的收集和分析，最终得出测试结论。对于被测车载设备是否具备互联互通特性的判断，是依靠执行测试过后的结果分析，目前大多数列控系统关键部件的测试中，无论是实验室测试或现场测试，基本是采用人工手段对测试中出现的现象进行分析，最终基本依靠专家经验做出被测设备是否具备互联互通特性的测试结论。车载设备的互联互通特性是列控系统发展中面临的一个新问题，因此对于系统中影响互联互通的因素没有统一的标准进行说明，导致对于互联互通测试的结论也没有标准进行衡量，仍然主要依靠有经验的人员进行判断和分析。这种情况导致互联互通测试的执行已经能够做到自动化进行，但是测试现象分析依靠人工进行，影响了整个测试的自动化程度，并且使得测试结果没有严格的测试依据对应，显得不够严谨。
发明内容
(一)要解决的技术问题本发明的目的是提出一种能够自动分析列控系统车载设备实验室互联互通测试现象的方法。( 二 )技术方案为了解决上述技术问题，本发明提供一种列控系统车载设备互联互通测试结果自动判定及分析方法，包括步骤Sl 对测试案例进行分类及对应，得到与互联互通相关的测试案例集合；S2 对步骤Sl得到的测试案例按照特定方法串联形成测试序列，并生成测试序列期望结果数据库；S3 使用步骤S2得到的测试序列，利用测试平台对被测设备进行测试，对测试中传输的全部数据进行记录，生成测试序列执行结果数据库；
S4 将测试序列执行结果与期望结果进行比对分析；S5 根据步骤S4的比对分析生成缺陷数据库。优选地，所述步骤Sl进一步包括使用基于故障树的分析方法得出可能影响互联互通的全部底事件集合，将这些底事件一一对应到系统功能需求规范(FRS)中，即可筛选出与互联互通相关的系统功能需求规范集合，再根据功能需求规范与系统设计需求规范 (SRS)的一对多的对应关系，得出系统设计需求规范中所有对互联互通提出的要求；进一步由系统设计需求规范与测试案例集的关联关系，将测试案例集进行分类，即得到与互联互通相关的测试案例集合。优选地，所述步骤S2中期望结果数据库中的期望结果数据表的内容包括但不限于从如下内容中所选的序列号、关键步骤、对应接口、对应案例、结果属性、消息方向、信息编号、信息内容以及相应的比较策略。优选地，所述步骤S2中测试序列是以关键步骤的形式将全部的测试案例索引起来；关键步骤为该条测试序列所重点关注的测试步骤。优选地，所述步骤S2中期望结果分为两大类通用规则和测试案例执行结果；通用规则是指，测试被测设备的一部分通用功能，包括但不限于发送特定消息的循环周期是否正确、某个全局的变量是否一直正确；测试案例执行结果分为三种正确通过、错误通过和阻塞；阻塞是指被测设备在执行该测试案例时，由于某些故障导致该测试案例无法继续执行，导致了测试的中止；错误通过是指虽然被测设备执行完该测试案例而继续下面的测试案例，但是由于某些故障在执行该测试案例时与预期产生的现象、传输的数据不符；正确通过是指被测设备顺利执行完该测试案例，并且与期望现象和数据相符。优选地，所述步骤S4中比对分析包括步骤S41 读取测试序列执行结果数据库，并且将数据库中的记录数据按照发生的先后次序进行排序，其中包含了关键步骤以及非关键步骤的数据，一并按照发生时间顺序排列；S42 开始检查通用规则是否满足；S43:开始检查关键步骤记录，依次、逐条读取执行结果数据库中标记为关键步骤的记录，根据关键步骤的值与期望结果数据库中的关键步骤进行匹配，接着匹配发生接口、 传输方向和信息编号，均匹配成功后，开始判断结果属性；S44 判断测试序列是否执行完毕，当执行结果数据库中的关键步骤已比较完毕， 查看期望结果中是否仍然存在未比对的期望结果，若存在则说明测试序列未被执行完毕， 开始查看最后一条关键步骤的比较结果，若为阻塞，则输出测试序列比较结果为阻塞到该关键步骤，若最后一条关键步骤的比较结果非阻塞或者正确，则输出测试序列比较结果为阻塞到该关键步骤后的非关键步骤，不再给出具体的非关键步骤；S45 统计全部的比较结果。优选地，所述步骤S42进一步包括S421 检查所有消息中包含的设备号，取最多的相同的设备号作为实际值，标出所有不一样的值，给出设备号是否一致的结论；S422 检查所有要求被应答的消息是否应答正确，筛选出被特定变量标记为要求被应答的消息，判断其后是否有应答帧且标记正确，统计全部未被回复的应答式消息；S423 检查错误报告，统计被测设备发送的错误报告数量即错误类型；S424:检查循环消息的发送时间周期，统计全部循环消息的时间间隔，并取平均值及标出坏点。优选地，所述步骤S43中判断结果属性若结果属性为关心是否阻塞，即只要信息编号对应上就算该条结果正确，则该条关键步骤比较结束，结果为正确通过，输出比较结果；若结果属性为关心具体内容是否正确，则需要将结果数据库中所记录的消息内容与期望内容进行比对，在比对中，根据每一变量设定的比对策略最终得出结果是否与期望值一致，逐条输出比较结果。优选地，所述步骤S4M中统计结果包括该测试序列是否执行完毕，导致阻塞的原因；该测试序列违反的通用规则；该测试序列共执行的案例数，正确通过的案例数、错误通过的案例数、阻塞式的案例数；图形化显示错误消息，并能够详细查看错误消息。优选地，所述缺陷数据库包含但不限于问题ID、问题描述、问题状态、检测/修正版本、优先级、严重程度、缺陷影响。(三)有益效果本发明包括首先对测试判定依据的确定，判定依据的量化，以及分析被测设备在互联互通测试平台上执行测试后的记录数据的转化，采用自动工具对测试结果进行自动查找和比对，对测试中出现的缺陷进行分析，并给出测试结论和统计数据。具有以下有益效果(1)首次提出针对列控车载设备互联互通测试结果的自动分析方法，使得互联互通测试的自动化程度得到了提升和完善；(2)数据库存储方式的引入，使得对测试结果的管理具备独立性和灵活性，同时测试结果比对也不对测试平台提出具体的要求；(3)自动分析方法从测试依据一直到测试结果成系统化、一体化，使得测试结论有据可查，判断严谨，降低了人工分析可能造成判定错误的概率。(4)以统计结果给出被测设备的故障和缺陷，使得测试结果一目了然，有数据支持，也便于对被测设备的缺陷跟踪和管理。
图1为列控系统车载设备互联互通测试规范体系；图2为本发明测试结果自动判定及分析方法示例图；图3为本发明方法中测试结果比对分析流程图。
具体实施例方式下面结合附图和实施例，对本发明的具体实施方式
作进一步详细描述。以下实施例用于说明本发明，但不是限制本发明的范围。本发明所述的列控系统车载设备互联互通测试结果自动判定及分析方法共分为五大步骤，整个过程见图2。第一步测试案例分类及对应互联互通测试的基本手段是通过执行测试案例，而由于测试目的是验证被测设备是否满足系统互联互通的需求，因此测试判定依据的最终来源是系统功能需求规范。需要首先分析提炼出互联互通相关的需求规范，使得互联互通测试结果有据可查，同时通过对测试案例的分类实现自动判定。首先使用基于故障树的分析方法得出可能影响互联互通的全部底事件集合(分析方法不在本专利描述范围内)，将这些底事件一一对应到系统功能需求规范(FRS)中，即可筛选出与互联互通相关的系统功能需求规范集合，再根据功能需求规范与系统设计需求规范(SRS)的一对多的对应关系，得出系统设计需求规范中所有对互联互通提出的要求。 进一步由系统设计需求规范与测试案例集的关联关系，能够将测试案例集进行分类，即得到与互联互通相关的测试案例集合。这些测试案例，就是测试结果判定的依据，即通过对与互联互通测试案例通过与否的判断，得出系统是否满足互联互通的需求，能够做到跨线运行。第二步生成测试序列期望结果数据库测试案例是不能够进行单独测试的，在测试时需要对测试案例进行串联形成测试序列，即将已经分类确定的互联互通相关测试案例按照特定方法串联形成互联互通测试序列，使测试能够自动进行。测试序列设计和执行都是按照步骤进行的，并且包含该条测试序列所终点关注的测试步骤，称为关键步骤，测试序列是以关键步骤的形式将全部的测试案例索引起来。在设计测试序列的过程中，必然涵盖了对其中测试案例的期望结果，期望结果的处理方式决定了测试结果自动比对的准确性和可用性。期望结果分为两大类通用规则和测试案例执行结果。通用规则是指，测试被测设备的一部分通用功能，如发送特定消息的循环周期是否正确，某个全局的变量是否一直正确等等。通用规则的数量不多，因此可以对于每一条通用规则，均设置其期望结果，保存在结果数据库中，不与关键步骤关联，独立存放。第二大类期望结果，即对某个测试案例的执行结果分为三种正确通过、错误通过和阻塞。阻塞是指被测设备在执行该测试案例时，由于某些故障导致该测试案例无法继续执行，导致了测试的中止；错误通过是指虽然被测设备执行完该测试案例而继续下面的测试案例，但是由于某些故障在执行该测试案例时与预期产生的现象、传输的数据不符；正确通过是指被测设备顺利执行完该测试案例，并且与期望现象和数据相符。而自动判定就是为了实现对上述三种现象的自动比对和分析，因此首先需要确定每个测试案例的期望结果，并且将期望结果以特定的形式存储在数据库中。互联互通测试平台的设计为对被测设备可见接口进行数据传输，达到执行测试序列的目的，可见接口上传输的信息包含数据信息、开关量信息、速度距离信息等多种形式， 因此期望结果均可归结为被测设备是否正确的发送/接收到特定的信息。根据这个特点， 期望结果数据表的设计由序列号、关键步骤、对应接口、对应案例、结果属性、消息方向、信息号(含义)、信息内容以及相应的比较策略等主要元素组成。
测试关键步骤应作为期望结果的索引，按照发生的先后顺序进行排列； 对应接口是指该期望消息或产生的期望现象应检查的被测设备接口(如无线接口，地面设备接口，列车接口等等)，由于测试平台的执行测试时对被测设备的各个接口分别进行数据交换，因此需要对期望结果的接口进行标记； 对应案例是将关键步骤执行是否成功与测试案例对应起来，能够使步骤的结果对应到案例的结果； 结果属性是标记该步骤更为关注是否阻塞，或是是否正确，对比时采取不同的策略； 消息方向是区分结果为测试平台的输出或输入； 信息号(含义)和信息内容均为期望结果所传输信息的期望值， 比较策略，是对应于信息内容中每一个具体变量的，分为必须完全一致、允许误差范围以及不关心这三种比较策略。由于被测设备传输的信息包含特定的时间信息、距离信息这样与当时测试环境相关的变量，对于这些变量的比较策略可进行允许误差的规定， 或根本不比较，提高比对的智能性；这样每一个关键步骤的期望结果就限定了发生的次序、应检查的接口、所关注的特点、对应的测试案例、输入或输出，传输消息的编号/含义，以及传输消息的具体内容及其比较策略，这样将一条测试序列量化为多个关键步骤，每个关键步骤又将期望结果进行条件限定，满足了自动执行比对的要求。第三步生成测试序列执行结果数据库在生成了期望结果数据库后，还需要有测试的真实执行结果，才能够进行测试结果的分析。被测设备在测试平台上进行测试时，测试平台本身对测试中传输的全部数据进行了记录，记录时，要求测试平台采用与期望结果数据库类似的结构进行记录到数据库中， 即生成测试序列执行结果数据库，记录格式也包含执行的测试关键步骤、发生接口、输入或输出，传输消息编号(含义)，以及传输消息的具体内容。第四步测试结果比对分析测试结果比对分析工具，分为测试数据读取排序模块，通用规则检查模块，案例期望结果比对模块，结果统计模块四大部分。首先，读取测试结果数据库，并且将数据库中的记录数据按照发生的先后次序进行排序，其中包含了关键步骤以及非关键步骤的数据，一并按照发生时间顺序排列；其次，开始检查通用规则是否满足，包括 检查所有消息中包含的设备号，取最多的相同的设备号作为实际值，标出所有不一样的值，给出设备号是否一致的结论； 检查所有要求被应答的消息是否应答正确，筛选出被特定变量标记为要求被应答的消息，判断其后是否有应答帧且标记正确，统计全部未被回复的应答式消息； 检查错误报告，统计被测设备发送的错误报告数量即错误类型； 检查循环消息的发送时间周期，统计全部循环消息的时间间隔，并取平均值及标出坏点。第三，开始检查关键步骤记录，依次、逐条读取执行结果数据库中标记为关键步骤的记录，根据关键步骤的值与期望结果数据库中的关键步骤进行匹配，接着匹配发生接口、传输方向和信息编号(含义)，均匹配成功后，开始判断结果属性 若结果属性为关心是否阻塞，即只要信息编号对应上就算该条结果正确，则该条关键步骤比较结束，结果为正确通过，输出比较结果； 若结果属性为关心具体内容是否正确，则需要将结果数据库中所记录的消息内容与期望内容进行比对，在比对中，根据每一变量设定的比对策略最终得出结果是否与期望值一致，逐条输出比较结果；第四，判断测试序列是否执行完毕，当执行结果数据库中的关键步骤已比较完毕， 查看期望结果中是否仍然存在未比对的期望结果，若存在则说明测试序列为被执行完毕， 开始查看最后一条关键步骤的比较结果，若为阻塞，则输出测试序列比较结果为阻塞到该关键步骤，若最后一条关键步骤的比较结果非阻塞或者正确，则输出测试序列比较结果为阻塞到该关键步骤后的非关键步骤，不再给出具体的非关键步骤。最后，统计全部的比较结果，统计结果包括 该测试序列是否执行完毕，导致阻塞的原因(关键或非关键步骤)； 该测试序列违反的通用规则； 该测试序列共执行的案例数，正确通过的案例数、错误通过的案例数、阻塞式的案例数； 图形化显示错误消息，并能够详细查看错误消息。测试结果比对分析的整体流程如图3所示。第五步生成缺陷及缺陷影响数据库经过测试结果比对分析工具的处理，及其得到的统计结果，均记录至数据库中，其中违反通用规则、错误通过某案例和阻塞式错误，被认为是该被测设备在执行该测试序列时的缺陷结合，由于在测试判定依据分析时，已经将全部互联互通相关的案例与对应的需求规范关联上，因此能够根据具体的缺陷，分析出其影响的功能需求，即对缺陷进行了影响分析。缺陷数据库包含问题ID、问题描述、问题状态、检测/修正版本、优先级、严重程度、缺陷影响等主要元素。其中，对于阻塞式的缺陷直接判定为影响互联互通，而错误通过式的缺陷由于其不会导致列车无法运行，因此被判定为影响功能，通过这样的分析，不仅判定了该被测设备是否影响互联互通，并且最终生成了该被测设备的缺陷数据库，便于对被测设备的缺陷进行追踪和管理。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。
权利要求
1.一种列控系统车载设备互联互通测试结果自动判定及分析方法，其特征在于，包括步骤51对测试案例进行分类及对应，得到与互联互通相关的测试案例集合；52对步骤Sl得到的测试案例按照特定方法串联形成测试序列，并生成测试序列期望结果数据库；53使用步骤S2得到的测试序列，利用测试平台对被测设备进行测试，对测试中传输的全部数据进行记录，生成测试序列执行结果数据库；54将测试序列执行结果与期望结果进行比对分析；55根据步骤S4的比对分析生成缺陷数据库。
2.如权利要求1所述的方法，其特征在于，所述步骤Sl进一步包括使用基于故障树的分析方法得出可能影响互联互通的全部底事件集合，将这些底事件一一对应到系统功能需求规范(FRS)中，即可筛选出与互联互通相关的系统功能需求规范集合，再根据功能需求规范与系统设计需求规范(SRS)的一对多的对应关系，得出系统设计需求规范中所有对互联互通提出的要求；进一步由系统设计需求规范与测试案例集的关联关系，将测试案例集进行分类，即得到与互联互通相关的测试案例集合。
3.如权利要求1所述的方法，其特征在于，所述步骤S2中期望结果数据库中的期望结果数据表的内容包括但不限于从如下内容中所选的序列号、关键步骤、对应接口、对应案例、结果属性、消息方向、信息编号、信息内容以及相应的比较策略。
4.如权利要求3所述的方法，其特征在于，所述步骤S2中测试序列是以关键步骤的形式将全部的测试案例索引起来；关键步骤为该条测试序列所重点关注的测试步骤。
5.如权利要求4所述的方法，其特征在于，所述步骤S2中期望结果分为两大类通用规则和测试案例执行结果；通用规则是指，测试被测设备的一部分通用功能，包括但不限于发送特定消息的循环周期是否正确、某个全局的变量是否一直正确；测试案例执行结果分为三种正确通过、错误通过和阻塞；阻塞是指被测设备在执行该测试案例时，由于某些故障导致该测试案例无法继续执行，导致了测试的中止；错误通过是指虽然被测设备执行完该测试案例而继续下面的测试案例，但是由于某些故障在执行该测试案例时与预期产生的现象、传输的数据不符；正确通过是指被测设备顺利执行完该测试案例，并且与期望现象和数据相符。
6.如权利要求5所述的方法，其特征在于，所述步骤S4中比对分析包括步骤541读取测试序列执行结果数据库，并且将数据库中的记录数据按照发生的先后次序进行排序，其中包含了关键步骤以及非关键步骤的数据，一并按照发生时间顺序排列；542开始检查通用规则是否满足；543开始检查关键步骤记录，依次、逐条读取执行结果数据库中标记为关键步骤的记录，根据关键步骤的值与期望结果数据库中的关键步骤进行匹配，接着匹配发生接口、传输方向和信息编号，均匹配成功后，开始判断结果属性；S44:判断测试序列是否执行完毕，当执行结果数据库中的关键步骤已比较完毕，查看期望结果中是否仍然存在未比对的期望结果，若存在则说明测试序列未被执行完毕，开始查看最后一条关键步骤的比较结果，若为阻塞，则输出测试序列比较结果为阻塞到该关键步骤，若最后一条关键步骤的比较结果非阻塞或者正确，则输出测试序列比较结果为阻塞到该关键步骤后的非关键步骤，不再给出具体的非关键步骤； S45:统计全部的比较结果。
7.如权利要求6所述的方法，其特征在于，所述步骤S42进一步包括5421检查所有消息中包含的设备号，取最多的相同的设备号作为实际值，标出所有不一样的值，给出设备号是否一致的结论；5422检查所有要求被应答的消息是否应答正确，筛选出被特定变量标记为要求被应答的消息，判断其后是否有应答帧且标记正确，统计全部未被回复的应答式消息；5423检查错误报告，统计被测设备发送的错误报告数量即错误类型；S424:检查循环消息的发送时间周期，统计全部循环消息的时间间隔，并取平均值及标出坏点。
8.如权利要求6所述的方法，其特征在于，所述步骤S43中判断结果属性若结果属性为关心是否阻塞，即只要信息编号对应上就算该条结果正确，则该条关键步骤比较结束，结果为正确通过，输出比较结果；若结果属性为关心具体内容是否正确，则需要将结果数据库中所记录的消息内容与期望内容进行比对，在比对中，根据每一变量设定的比对策略最终得出结果是否与期望值一致，逐条输出比较结果。
9.如权利要求6所述的方法，其特征在于，所述步骤S4M中统计结果包括 该测试序列是否执行完毕，导致阻塞的原因；该测试序列违反的通用规则；该测试序列共执行的案例数，正确通过的案例数、错误通过的案例数、阻塞式的案例数；图形化显示错误消息，并能够详细查看错误消息。
10.如权利要求1所述的方法，其特征在于，所述缺陷数据库包含但不限于问题ID、问题描述、问题状态、检测/修正版本、优先级、严重程度以及缺陷影响。
全文摘要
本发明是一种列控系统车载设备互联互通测试结果自动判定及分析方法，包括步骤S1对测试案例进行分类及对应，得到与互联互通相关的测试案例集合；S2对步骤S1得到的测试案例按照特定方法串联形成测试序列，并生成测试序列期望结果数据库；S3使用步骤S2得到的测试序列，利用测试平台对被测设备进行测试，对测试中传输的全部数据进行记录，生成测试序列执行结果数据库；S4将测试序列执行结果与期望结果进行比对分析；S5根据步骤S4的比对分析生成缺陷数据库。通过本发明能够自动判定及分析列控系统车载设备互联互通测试结果。
文档编号G05B23/02GK102445941SQ201110369480
公开日2012年5月9日 申请日期2011年11月18日 优先权日2011年11月18日
发明者付强, 刘雨, 袁磊, 魏国栋 申请人:北京交通大学