防止捕获AI模块的方法及其AI系统与流程

本公开涉及训练ai系统中的模块的方法和防止捕获ai系统中的ai模块的方法。

背景技术：

1、如今，大多数数据处理和决策系统是使用人工智能模块实现的。人工智能模块使用不同的技术，如机器学习、神经网络、深度学习等。

2、大多数基于ai的系统接收大量数据，并处理数据以训练ai模型。经训练的ai模型基于用户请求的用例生成输出。通常，ai系统用于计算机视觉、语音识别、自然语言处理、音频识别、医疗保健、自主驾驶、制造、机器人等领域中，在这些领域中它们处理数据以基于通过训练获取的某些规则/智能而生成所需的输出。

3、为了处理输入，ai系统使用各种模型/算法，这些模型/算法使用训练数据进行训练。一旦使用训练数据训练了ai系统，ai系统就使用模型来分析实时数据并生成适当的结果。可以基于结果实时微调模型。

4、ai系统中的模型形成系统的核心。大量的努力、资源（有形的和无形的）和知识投入到开发这些模型中。

5、有可能的是，某个对手可能试图从ai系统中捕获/复制/提取模型。对手可能使用不同的技术从ai系统中捕获模型。对手使用的一种简单技术是其中对手使用其自己的测试数据迭代地向ai系统发送不同的查询。测试数据可以以提取关于ai系统中模型工作的内部信息的方式来设计。对手使用生成的结果来训练其自己的模型。通过迭代地进行这些步骤，有可能的是捕获模型的内部，并且可以使用类似的逻辑构建并行模型。这将给ai系统的最初开发者造成困难。困难可能是以商业劣势、机密信息的损失、开发花费的准备时间的损失、知识产权的损失、未来收入的损失等的形式。

6、现有技术中有已知的方法来标识对手的这样的攻击，并保护ai系统中使用的模型。现有技术us 2019/0095629 a1公开了一种这样的方法。

7、上述现有技术中公开的方法接收输入，通过将经训练的模型应用于输入数据来处理输入数据，以生成具有多个预定义类中的每个类的值的输出向量。查询引擎通过在与生成输出向量相关联的函数中插入查询来修改输出向量，从而生成修改的输出向量。然后输出修改的输出向量。查询引擎修改一个或多个值来伪装经训练的模型逻辑的经训练的配置，同时维持输入数据的分类准确性。

技术实现思路

技术特征：

1.一种防止捕获ai系统（10）中的ai模块（18）的方法（50），所述方法包括以下步骤：

2.如权利要求1所述的方法（50），其中所述无效输入数据被定义为与存储在ai系统（10）的数据集模块（16）中的数据集不相关的输入数据。

3.如权利要求2所述的方法（50），其中所述无效输入数据是攻击输入数据。

4.如权利要求1所述的方法（50），其中所述类交换技术涉及基于随机化的类交换。

5.如权利要求1所述的方法（50），其中所述类交换技术涉及基于规则的逻辑类交换。

6.如权利要求1所述的方法（50），其中所述在所述阻断模块（14）中检测（54）到作为无效输入数据的输入数据时，阻断通知模块（20）向ai系统（10）的所有者传输无效输入数据的通知。

7.一种ai系统（10），至少包括：

8.如权利要求7所述的ai系统（10），其中所述阻断模块（14）包括攻击检测模块（24）和输出生成模块（26）。

9.如权利要求7和8所述的ai系统（10），其中所述ai系统（10）的所述攻击检测模块（24）与所述ai系统（10）的所述数据集模块（16）通信。

10.如权利要求8所述的ai系统（10），其中所述输出生成模块（26）以如下方式生成对应于所述输入数据的输出数据，所述方式使得如果在所述阻断模块（14）中接收输入数据被检测为无效，则类交换技术生成输出数据。

技术总结
公开了一种AI系统和一种防止捕获AI系统中的AI模块的方法。AI系统10至少包括：输入接口12，用于从至少一个用户接收输入数据；阻断模块14，用于检测接收到的输入数据的有效性，并使用类交换技术生成与作为输入数据接收的无效数据相对应的输出数据；数据集模块16，用于存储有效输入数据集；AI模块18，用于处理所述输入数据并生成对应于输入数据的输出数据；阻断通知模块20，用于在检测到无效输入数据时向AI系统10的所有者传输通知；以及输出接口22，用于将生成的输出数据发送给所述至少一个用户。

技术研发人员：S·A·达比,M·T·亚施,M·S·帕尔玛
受保护的技术使用者：罗伯特·博世有限公司
技术研发日：
技术公布日：2024/1/13