用于利用测试图案来检验CNN参数的完整性的方法及装置与流程

本发明涉及一种用于与自动驾驶车辆一同使用的方法和计算装置，更详细而言，涉及一种用于利用测试图案来检验cnn(卷积神经网络，convolutionalneuralnetwork)参数的完整性(integrity)的方法及计算装置。

背景技术：

深度卷积神经网络(deepconvolutionalneuralnetwork或deepcnn)是在深度学习领域中发生的辉煌发展的核心。虽然为了解决文字识别问题而在90年代已经使用了cnns，但因近年来的研究结果而目前广泛使用cnns。这种cnn在2012年imagenet图像识别挑战赛中击败其他竞争对手获得冠军。之后，卷积神经网络已成为在机械学习(machinelearning)领域中非常有用的工具。

cnn在车辆自动驾驶领域中也被广泛使用，主要通过分析经由附着于车辆的照相机获取到的影像来检测障碍物，并且通过执行检测自由空间(freespace)等的功能而实现车辆安全驾驶。

在将自动驾驶用cnn实际投入到自动驾驶中时，非常重要的是自动驾驶用cnn的安全性。这是因为自动驾驶车辆高速行驶且具有较大的质量而错误驾驶时危险性较大。具体而言，这是因为如果有不良意图的黑客入侵自动驾驶用cnn而变更自动驾驶用cnn中包含的参数，则有可能会将自动驾驶用车辆故意用于恐怖活动。

因此，需要在测试过程中检验cnn参数是否维持与完成学习过程时的参数相同的状态的方法。但现实是迄今为止的研究主要集中在自动驾驶用cnn如何才能很好地移动车辆，而对如何维持这种安全性的方法的研究很少。

技术实现要素：

技术问题

本发明的目的是解决上述问题。

本发明的另一目的是通过提供一种利用至少一个测试图案来检验cnn(convolutionalneuralnetwork，卷积神经网络)的一个以上的参数的完整性的方法来使自动驾驶车辆免受黑客的威胁而实现安全驾驶。

技术方案

为了达到如上所述的本发明的目的并实现后述的本发明的特征效果，本发明的特征结构如下所述。

根据本发明的一方面，提供一种用于利用待添加到至少一个原始输入(input)中的至少一个测试图案来检验cnn(convolutionalneuralnetwork)的至少一个参数的完整性(integrity)的方法，包括以下步骤：(a)在获取到所述测试图案时，计算装置通过使至少一个添加单元(addingunit)对所述原始输入添加所述测试图案而生成至少一个扩展输入(extendedinput)；(b)所述计算装置通过使所述cnn对所述扩展输入执行至少一次卷积运算而生成至少一个检验用输出(output)；以及(c)所述计算装置通过使至少一个比较单元(comparingunit)以至少一个基准用输出作为基准来判断所述检验用输出的有效性(validity)而检验所述cnn的所述参数的所述完整性。

在一实施例中，在所述(a)步骤中，所述计算装置使所述添加单元在对所述原始输入添加至少一个零图案(zeropattern)之后添加所述测试图案，使得所述零图案位于所述测试图案与所述原始输入之间。

在一实施例中，在所述(c)步骤中，所述计算装置使所述比较单元将包含在所述基准用输出中的一个或多个第一值与包含在所述检验用输出的整个区域当中与所述测试图案对应的至少一个特定区域中的与所述一个或多个第一值对应的第二值分别进行比较，当包含在所述基准用输出中的至少一个第一值和包含在所述特定区域中的与所述至少一个第一值对应的第二值不同时，所述计算装置使所述比较单元确定所述检验用输出有误，并且确定所述参数中的至少一部分存在至少一个错误。

在一实施例中，在所述(c)步骤中，所述计算装置使所述比较单元(i)生成与包含在所述检验用输出的整个区域当中与所述测试图案对应的至少一个特定区域的每个通道中的一个或多个值分别对应的一个或多个检验用代表值，(ii)将所述基准用输出的每个通道的一个或多个基准用代表值与所述特定区域的相应通道的所述检验用代表值分别进行比较，(iii)当至少一个基准用代表值不同于所述检验用代表值中与该至少一个基准用代表值对应的代表值时，确定所述检验用输出有误，并且确定所述参数中的至少一部分存在错误。

在一实施例中，在所述(a)步骤之前，当所述cnn的安全级别为临界级别以上时，所述计算装置通过使所述cnn对所述测试图案执行卷积运算而生成所述基准用输出。

根据本发明的另一方面，提供一种用于利用待添加到至少一个原始输入(input)中的至少一个子测试图案(sub-testpattern)来检验cnn(convolutionalneuralnetwork)的至少一个参数的完整性的方法，包括以下步骤：(a)在获取到具有与包含在计算装置中的所述cnn的卷积核(convolutionkernel)相同的大小的所述子测试图案时，计算装置通过使添加单元(addingunit)对所述原始输入反复进行添加所述子测试图案的操作而生成至少一个扩展输入(extendedinput)；(b)所述计算装置通过使所述cnn对所述扩展输入执行至少一次卷积运算而生成至少一个检验用输出(output)；以及(c)所述计算装置通过使至少一个比较单元(comparingunit)以包含在所述检验用输出中的与所述子测试图案分别对应的至少一个检验用子输出(sub-output)作为基准来判断所述检验用输出的有效性(validity)而检验所述cnn的所述参数的完整性。

在一实施例中，每个检验用子输出包括至少一个检验区域(verifyingregion)和非检验区域(non-verifyingregion)，在所述(c)步骤中，所述计算装置使所述比较单元将位于包含在所述检验用子输出中的检验区域上的相同的相对位置上的检验值(verifyingvalues)彼此比较，在所述检验值中的至少一个检验值与其他值不同时，所述计算装置使所述比较单元确定所述检验用输出有误，并且确定所述参数中的至少一部分存在至少一个错误。

在一实施例中，根据所述扩展输入上的所述子测试图案的位置来确定每个所述检验用子输出上的所述检验区域的位置和非检验区域的位置。

根据本发明的又一方面，提供一种计算装置，所述计算装置用于利用待添加到至少一个原始输入(input)中的至少一个测试图案来检验cnn(convolutionalneuralnetwork)的至少一个参数的完整性(integrity)，且包括：至少一个存储器，用于存储指令；和至少一个处理器，配置成运行用于执行以下过程的所述指令，(i)通过使至少一个添加单元(addingunit)对所述原始输入添加所述测试图案而生成至少一个扩展输入(extendedinput)；(ii)通过使所述cnn对所述扩展输入执行至少一次卷积运算而生成至少一个检验用输出(output)；以及(iii)通过使至少一个比较单元(comparingunit)以至少一个基准用输出作为基准来判断所述检验用输出的有效性(validity)而检验所述cnn的所述参数的所述完整性。

在一实施例中，在所述(i)过程中，所述处理器使所述添加单元在对所述原始输入添加至少一个零图案(zeropattern)之后添加所述测试图案，使得所述零图案位于所述测试图案与所述原始输入之间。

在一实施例中，在所述(iii)过程中，所述处理器使所述比较单元将包含在所述基准用输出中的一个或多个第一值与包含在所述检验用输出的整个区域当中与所述测试图案对应的至少一个特定区域中的与所述一个或多个第一值对应的第二值分别进行比较，当包含在所述基准用输出中的至少一个第一值和包含在所述特定区域中的与该至少一个第一值对应的第二值不同时，所述计算装置使所述比较单元确定所述检验用输出有误，并且确定所述参数中的至少一部分存在至少一个错误。

在一实施例中，在所述(iii)过程中，所述处理器使比较单元(i)生成与包含在所述检验用输出的整个区域当中与所述测试图案对应的至少一个特定区域的每个通道中的一个或多个值分别对应的一个或多个检验用代表值(representativevalue)，(ii)将所述基准用输出的每个通道的一个或多个基准用代表值与所述特定区域的相应通道的所述检验用代表值分别进行比较，(iii)当至少一个基准用代表值不同于所述检验用代表值中与该至少一个基准用代表值对应的代表值时，确定所述检验用输出有误，并且确定所述参数中的至少一部分存在错误。

在一实施例中，在所述(i)过程之前，当所述cnn的安全级别为临界级别以上时，所述计算装置通过使所述cnn对所述测试图案执行卷积运算而生成所述基准用输出。

根据本发明的又一方面，提供一种计算装置，所述计算装置用于利用待添加到至少一个原始输入(input)中的至少一个子测试图案(sub-testpattern)来检验cnn(convolutionalneuralnetwork)的至少一个参数的完整性(integrity)，且包括：至少一个存储器，用于存储指令；以及至少一个处理器，配置成运行用于执行以下过程的指令，(i)在获取到具有与包含在所述计算装置中的所述cnn的卷积核(convolutionkernel)相同的大小的所述子测试图案时，通过使添加单元(addingunit)对所述原始输入反复进行添加所述子测试图案的操作而生成至少一个扩展输入(extendedinput)；(ii)通过使所述cnn对所述扩展输入执行至少一次卷积运算而生成至少一个检验用输出(output)；以及(iii)通过使至少一个比较单元(comparingunit)以包含在所述检验用输出中的与所述子测试图案分别对应的至少一个检验用子输出(sub-output)作为基准来判断所述检验用输出的有效性(validity)而检验所述cnn的所述参数的完整性。

在一实施例中，每个检验用子输出包括至少一个检验区域(verifyingregion)和非检验区域(non-verifyingregion)，在所述(iii)过程中，所述处理器使所述比较单元将位于包含在所述检验用子输出中的检验区域上的相同的相对位置上的检验值(verifyingvalues)彼此比较，在所述检验值中的至少一个检验值与其他值不同时，所述处理器使所述比较单元确定所述检验用输出有误，并且确定所述参数中的至少一部分存在至少一个错误。

在一实施例中，根据所述扩展输入上的所述子测试图案的位置来确定每个所述检验用子输出上的所述检验区域的位置和非检验区域的位置。

除此之外，还提供一种用于存储运行本发明的方法的计算机程序的计算机可读存储介质。

发明效果

本发明提供一种用于利用测试图案来检验cnn的参数的完整性的方法，从而具有能够安全地保护自动驾驶车辆免受黑客攻击的效果。

附图说明

为了说明本发明的实施例而所附的以下图只是本发明的实施例中的一部分，本发明所属技术领域的具有普通知识的人员(以下，称为“普通技术人员”)在未付出创造性劳动的情况下可以以该图为基础得到其他图。

图1是示意性地示出本发明的一实施例所涉及的用于执行利用至少一个测试图案来检验cnn(convolutionalneuralnetwork)的至少一个参数的完整性(integrity)的方法的计算装置结构的图。

图2是示意性地示出本发明的一实施例所涉及的用于利用测试图案来检验cnn的参数的完整性的方法的流程图。

图3是示意性地示出本发明的一实施例所涉及的为了使用利用测试图案来检验cnn的参数的完整性的方法而生成的至少一个扩展输入(extendedinput)及至少一个检验用输出(output)的图。

图4是示意性地示出本发明的另一实施例所涉及的为了使用利用至少一个子测试图案(sub-testpattern)来检验cnn的参数的完整性的方法而生成的至少一个扩展输入及包含至少一个检验用子输出(sub-output)的检验用输出的图。

具体实施方式

关于本发明的后述详细说明将参照示例性地图示出本发明能够实施的特定实施例的附图。对这些实施例进行详细说明，使得本领域技术人员能够充分实施本发明。应理解为本发明的各种实施例虽然彼此不同但不必相互排斥。例如，在此记载的特定形状、结构及特性与一实施例相关联，在不脱离本发明的思想及范围的情况下也可以以其他实施例实现。此外，应理解为在不脱离本发明的思想及范围的情况下，能够变更所公开的各个实施例内的个别组成部分的位置或配置。因此，后述的详细说明不应视为限定性的，如果适当说明，则本发明的范围仅由与该权利要求所主张的内容均等的所有范围和所附的权利要求来限定。在附图中，相似的附图标记是指在各方面相同或相似的功能。

此外，在本发明的详细说明及权利要求中，“包括”这一词语及其变形并非用来去除其他技术特征、添加物、组成部分或步骤。本领域技术人员能够从本发明的说明书以及本发明的实施中显然可知本发明的其他目的、优点及特性的一部分。以下示例及附图作为实例提供，并不是用来限定本发明。

本发明中提到的各种图像可包括与铺装或未铺装的道路相关的图像，在该情况下能够假定出现在道路环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机或无人机等的飞行器以及其他障碍物)，但本发明并不一定限定于此，本发明中提到的各种图像还可以是与道路无关的图像(例如，与非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空或室内相关联的图像)，在该情况下能够假定有可能出现在非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空或室内环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机和无人机等的飞行器以及其他障碍物)，但并不一定限定于此。

下面，参照附图对本发明的优选实施例进行详细说明，使得本发明所属技术领域的普通技术人员能够容易实施本发明。

图1是示意性地示出本发明的一实施例所涉及的用于执行利用至少一个测试图案来检验cnn(convolutionalneuralnetwork)的至少一个参数的完整性(integrity)的方法的计算装置结构的图。

参照图1，计算装置100可包括添加单元210、比较单元220和cnn300，其中，该添加单元210及比较单元220包含在作为后面详细说明的组成部分的完整性检验模块200中。添加单元210、比较单元220及cnn300的输入输出及运算过程可分别由通信部110及处理器120实现。但是，在图1中省略通信部110及处理器120的具体连接关系。此时，至少一个存储器115可以处于存储有后述的各种指令的状态，处理器120配置成执行存储在存储器115中的指令，处理器120能够通过执行后面说明的过程而执行本发明。即便如此描述计算装置100，也不排除计算装置100包括集成处理器(integratedprocessor)的情况，其中，该集成处理器包括用于实施本发明的处理器、存储器、介质或其他计算装置的所有组合的情况。

以上，对计算装置100的整体结构进行了说明。以下，对本发明的一实施例所涉及的用于利用测试图案来检验cnn的参数的完整性的方法进行说明。

图2是示意性地示出本发明的一实施例所涉及的用于利用测试图案来检验cnn的参数的完整性的方法的流程图。

参照图2，在添加单元210利用至少一个原始输入和测试图案来生成至少一个扩展输入，并且cnn300利用扩展输入(extendedinput)来生成至少一个检验用输出(output)之后，比较单元220能够利用检验用输出和至少一个基准用输出来判断cnn的参数的完整性。

具体而言，在获取到测试图案及原始输入时，计算装置100能够通过使添加单元210对原始输入添加测试图案而生成扩展输入。

此时，添加单元210和比较单元220可包含在用于检验cnn300的完整性的完整性检验模块200中。如前述，添加单元210能够发挥对原始输入添加测试图案的作用。如果进行详细说明，则如上面提到的那样，添加单元210首先能够对原始输入添加至少一个零图案，使得零图案位于测试图案与原始输入之间。

这是因为，当在没有零图案的情况下对原始输入直接添加测试图案而生成扩展输入，并且在没有零图案的情况下cnn对扩展输入图像执行至少一次卷积运算时，从利用n×n尺寸的卷积核(convolutionkernel)来一同运算关于各种像素的值的卷积运算的特性来看，测试图案有可能会影响对原始输入的卷积结果。这就是添加零图案的理由。零图案的厚度可设定为测试图案不会影响对原始输入的卷积结果的程度。作为一实施例，可以通过将卷积核尺寸除以2后舍弃小数点以下后来获得的值设为厚度。

在经由如上所述的过程生成扩展输入时，计算装置100能够通过使cnn300对扩展输入执行至少一次卷积运算而生成检验用输出。cnn300的参数可以是已学习状态。此时，至于在检验用输出的整个区域当中与作为扩展输入的一部分的测试图案对应的至少一个特定区域而言，在整个区域中的其剩余区域与原始输入对应并且根据cnn300的主要目的(例如，分析获取到的图像)使用所述剩余区域的期间，该至少一个特定区域能够用于判断参数是否被篡改。后述的比较单元220能够计算出与测试图案对应的特定区域。为了查看这种检验用输出，参照图3。

图3是示意性地示出本发明的一实施例所涉及的为了使用利用测试图案来检验cnn的参数的完整性的方法而生成的扩展输入及检验用输出的图。

参照图3，能够确认到通过对原始输入添加测试图案和零图案而生成扩展输入。此外，能够确认到通过对扩展输入执行cnn300的卷积运算而生成检验用输出。

然后，计算装置100能够通过使比较单元200以基准用输出作为基准来判断所述检测用输出的有效性(validity)而检验cnn300的参数的完整性。

此时，在执行使用完整性检验模块200来检验参数的完整性的过程之前，当cnn300的安全级别为临界级别以上时，通过对测试图案执行卷积运算而预先生成基准用输出。

由于本发明的一实施例所涉及的方法用于判断参数是否因包含黑客攻击在内的任意因素而被篡改，因此基准用输出应当是在确保参数的完整性的时刻生成的输出。因此，在所述安全级别为临界级别以上时，能够通过cnn300来生成基准用输出。

如此能够通过将基准用输出与在检验用输出的整个区域中与测试图案对应的特定区域比较而判断cnn的参数的完整性。即，计算装置100能够使比较单元20将包含在基准用输出中的一个或多个第一值与包含在检验用输出的整个区域当中与测试图案对应的特定区域中的与该一个或多个第一值对应的第二值分别进行比较。并且，当包含在基准用输出中的至少一个第一值和包含在特定区域中的与该至少一个第一值对应的第二值不同时，可确定检验用输出有误，并且可确定参数中的至少一部分存在至少一个错误。

基准用输出为在确保参数的完整性的状态下cnn300对所述测试图案执行卷积运算的结果。因此，在至少一个第一值和与该至少一个第一值对应的第二值不一致时，可确定至少一个参数被篡改。

以上，对本发明的一实施例所涉及的利用测试图案来检验参数的完整性的方法进行了说明。以下，对能够优化计算资源消耗的方法进行说明。

首先，对优化用于存储测试图案及基准用输出的空间的方法进行说明。测试图案需要具有与原始输入的通道个数相同的个数的通道。在对测试图案的所有通道设定彼此不同的值时，要求更多的数据存储空间。但是，如果目的是用于检验cnn的参数的完整性，则无需使关于测试图案的所有通道的值彼此不同，当然关于所有通道的值也可以相同。因此，在生成并存储关于测试图案的一个通道的图案值之后，能够将图案值用于测试图案的每个通道。在该情况下，包含在基准用输出中的通道也可以具有与利用其中包含的任一通道的值来确定的值相同的值。通过这种方法，能够优化用于存储测试图案及基准用输出的空间。

此外，对优化用于存储基准用输出的空间的方法进行说明。基准用输出基本上应具有与对测试图案执行卷积运算的结果相同的大小。能够通过只存储利用包含在基准用输出中的至少一部分第一值来获取到的至少一个基准用代表值(representativevalue)而优化用于存储基准用输出的空间。即，按基准用输出的通道事先存储每个基准用代表值。此外，在完整性检验过程中，计算装置在使比较单元220生成与包含在检验用输出的整个区域当中与测试图案对应的特定区域的每个通道中的第二值分别对应的一个或多个检验用代表值，通过将特定区域的每个通道的检验用代表值与基准用输出的相应通道的与该检验用代表值对应的基准用代表值分别进行比较而检验完整性。例如，可使用crc或三列(hash)来生成基准用代表值及检验用代表值，但并不限定于此。

与此不同地，还存在以未使用基准用输出而优化存储空间的状态检验完整性的实施例。

在本实施例中，能够获取具有与cnn300的卷积核相同的大小的至少一个子测试图案(sub-testpattern)。关于子测试图案具有与卷积核相同的大小的情况发挥何种作用，将在后面详细说明。

计算装置100能够通过使添加单元210反复进行对原始输入添加子测试图案的过程而生成至少一个扩展输入。然后，通过使cnn300对扩展输入执行至少一次卷积运算而生成至少一个检验用输出。并且，通过使比较单元220以包含在检验用输出中的与子测试图案对应的至少一个每个检验用子输出(sub-output)作为基准来判断检验用输出的有效性来检验cnn300的参数的完整性。

此时，每个检验用子输出可包括检验区域及非检验区域中的至少一部分区域。生成这种区域是起因于在卷积运算中同时计算各种值的特性。即，当利用包含在扩展输入的边界部分(boundaryarea)上的像素值来执行卷积运算时，由于使用哑值(dummyvalue)代替有效值，因此生成非检验区域。为了查看该内容，参照图4。

图4是示意性地示出本发明的另一实施例所涉及的包含为了使用执行利用一个子测试图案(sub-testpattern)来检验cnn的参数的完整性的方法而生成的扩展输入及检验用子输出的检验用输出的图。

参照图4，能够通过在原始输入与重复的子测试图案之间的位置上添加零图案而生成扩展输入，并且能够通过对扩展输入执行cnn300的卷积运算而生成检验用输出。然后，通过参照利用包含在子测试图案中的特定值对子测试图案执行卷积运算的过程，来查看关于所述非检验区域的问题。

在卷积核的尺寸为3×3的情况下，如图4中能够确认的那样，能够利用位于包含特定值的特定像素的周边的像素的各种值来执行卷积运算。在特定值的上端不存在扩展输入中包含的值，因此假设在包含特定值的特定像素上端具有0值并执行卷积运算。因此，由于包含在扩展输入的边界区域的像素值在卷积运算时使用作为0的哑值，因此有可能会生成能够由图4的检验用输出确认的非检验区域。

可根据扩展输入上的子测试图案的位置来确定每个检验用子输出上的检验区域及非检验区域的位置。

如果生成这种检验用输出，则计算装置100使比较单元220将位于包含在检验用子输出中的检验区域上的相同的相对位置上的检验值(verifyingvalues)彼此比较，在检验值中的至少一个检验值与其他值不同时，计算装置能够使比较单元220确定检验用输出有误，并且确定参数中的至少一部分存在至少一个错误。

再次参照图4，在检验用子输出中用点表示的检验值可视为每个检验值位于每个检验用子输出的中央且彼此对应。这是因为，每个检验值为关于相同的测试图案的卷积运算的结果值，因此检验值应彼此相同。在检验值中的至少一个检验值与其他值不同时，可确定cnn的参数被篡改。因此，能够通过这种过程来检验参数的完整性。

关于这种新实施例的结构，除图2的结构中的获取基准用输出的部分以外，与前述的实施例的结构相同。

通过执行这种本发明所涉及的利用测试图案或子测试图案来检验cnn的参数的完整性的方法，从而在自动驾驶中使用cnn时，能够保证安全。

此外，当为了cnn上的功能安全性而在基端状况下提供容错性(faulttolerance)及波动稳健性(fluctuationrobustness)时能够使用本发明的一实施例所涉及的方法，并且在缩减标注(annotation)成本时也能够使用使用本发明的一实施例所涉及的方法。

如本发明技术领域的普通技术人员所能够理解的那样，像上面说明的图像例如原始图像、原始标签及添加标签等的图像数据的收发能够由学习装置及测试装置的通信部来实现，用于执行特征图和运算的数据能够被学习装置及测试装置的处理器(和/或存储器)保持/维持，并且卷积运算、深度卷积运算及损失值运算过程主要能够由学习装置及测试装置的处理器执行，但本发明并不限定于此。

以上说明的本发明所涉及的实施例可以以能够通过各种计算机组成部分执行的计算机命令的形态实现，并且存储在计算机可读存储介质中。所述计算机可读存储介质可以单独或组合包含程序命令、数据文件、数据结构等。存储在所述计算机可读存储介质中的计算机命令是为本发明而特别设计并构成的，但也可以是计算机软件领域的技术人员公知而能够使用的计算机命令。计算机可读存储介质的例子包含如硬盘、软盘及磁带等的磁介质、如cd-rom、dvd等的光存储介质、如光盘(flopticaldisk)等的磁光介质(magneto-opticalmedia)、以及如只读存储器(rom)、随机存取存储器(ram)、快闪存储器等的为了存储及执行程序命令而特别构成的硬件装置。作为程序命令的例子不仅包含如由编译器生成的机器代码，还包含使用解释器等能够由计算机运行的高级语言代码。为了执行本发明所涉及的处理，所述硬件装置可配置成以一个以上的软件模块实现操作，反之也同样。

以上，通过如具体组成部分等的特定事项和限定的实施例及附图对本发明进行了说明，但这只是为了有助于本发明的更全面的理解而提供的，本发明并不限定于上述实施例，本发明所属技术领域的技术人员基于这种记载可进行各种修改及变形。

因此，本发明的思想并非由上述说明的实施例限定，权利要求书及与该权利要求书均等或等价变形的所有内容属于本发明的思想范畴。