一种安全风险管控方法、装置、电子设备及存储介质与流程

本技术涉及计算机，具体涉及一种安全风险管控方法。本技术同时涉及一种安全风险管控装置、电子设备及存储介质。

背景技术：

1、大模型通常指的是具有巨大规模参数和计算能力的人工智能模型，这些模型能够处理大规模的数据集和复杂的任务，因此得到广泛的应用。目前，在程序代码开发过程中，也会利用大模型获得相应的服务，例如，利用大模型进行程序代码检测等。

2、在程序代码提交至大模型以获得大模型服务的场景下，由于大模型可能由第二方或第三方等机构提供，就会存在信息泄露等风险，因此，需在程序代码提交至大模型之前进行安全风险管控，以确保信息安全。

技术实现思路

1、本技术提供一种安全风险管控方法，以解决程序代码提交至大模型时存在信息泄露等风险的问题。本技术另外提供一种安全风险管控装置、电子设备及存储介质。

2、本技术提供一种安全风险管控方法，包括：获得待提交数据，所述待提交数据为待提交给大模型以获得大模型服务的数据；根据安全风险管控策略，对所述待提交数据进行安全风险检测处理，获得安全风险检测结果；如果所述安全风险检测结果表示未发现安全风险，则将所述待提交数据提交至所述大模型；如果所述安全风险检测结果表示存在安全风险，则对所述待提交数据进行安全风险管控处理。

3、可选地，所述根据安全风险管控策略，对所述待提交数据进行安全风险检测处理，获得安全风险检测结果，包括：根据管控类文件风险管控策略，判断所述待提交数据是否为管控类文件；如果所述待提交数据为管控类文件，则确定存在安全风险。

4、可选地，所述管控类文件包括环境变量配置文件。

5、可选地，所述管控类文件的文件名后缀为指定文件名后缀。

6、可选地，所述如果所述安全风险检测结果表示存在安全风险，则对所述待提交数据进行安全风险管控处理，包括：如果所述安全风险检测结果表示存在安全风险，则禁止将所述待提交数据提交至大模型。

7、可选地，还包括：输出用于提示所述待提交数据为管控类文件的提示信息。

8、可选地，所述根据安全风险管控策略，对所述待提交数据进行安全风险检测处理，获得安全风险检测结果，包括：根据信息风险管控策略，判断所述待提交数据是否包括预设信息；如果所述待提交数据包括预设信息，则确定存在安全风险。

9、可选地，所述预设信息包括密钥信息和/或用户信息。

10、可选地，所述密钥信息包括以下至少一种信息：数据库连接标识，数据库账号信息，数据库密码信息，用户标识信息，用户验证密钥信息，加密密钥信息，解密密钥信息。

11、可选地，所述用户信息包括以下至少一种信息：用户移动通信号码信息，用户身份信息。

12、可选地，如果所述安全风险检测结果表示存在安全风险，则对所述待提交数据进行安全风险管控处理，包括：如果所述安全风险检测结果表示存在安全风险，则对所述待提交数据包括的预设信息进行脱敏处理，将脱敏处理后的数据提交至所述大模型。

13、可选地，所述根据安全风险管控策略，对所述待提交数据进行安全风险检测处理，获得安全风险检测结果，包括：根据管控类终端应用和/或管控类服务单元风险管控策略，判断所述待提交数据是否为应用于管控类终端应用和/或管控类服务单元的数据；如果所述待提交数据为应用于管控类终端应用和/或管控类服务单元的数据，则确定存在安全风险。

14、可选地，所述如果所述安全风险检测结果表示存在安全风险，则对所述待提交数据进行安全风险管控处理，包括：如果所述安全风险检测结果表示存在安全风险，则禁止将所述待提交数据提交至大模型。

15、可选地，还包括：输出用于提示所述待提交数据所应用的终端应用和/或服务单元为管控类终端应用和/或管控类服务单元的提示信息。

16、可选地，所述根据安全风险管控策略，对所述待提交数据进行安全风险检测处理，获得安全风险检测结果，包括：如果所述待提交数据未命中任意一个安全风险管控策略，则确定未发现安全风险。

17、可选地，所述获得待提交数据，包括：获得提交者终端发送的待提交数据；所述方法还包括：获得策略配置端发送的所述安全风险管控策略。

18、可选地，还包括：获得所述提交者终端发送的提交者身份信息；对所述提交者终端发送的提交者身份信息进行验证处理，获得用于表示是否可将所述提交者身份信息对应的待提交数据提交至大模型的验证结果；所述根据安全风险管控策略，对所述待提交数据进行安全风险检测处理，获得安全风险检测结果，包括：如果所述验证结果表示可将所述提交者身份信息对应的待提交数据提交至大模型，则根据安全风险管控策略，对所述待提交数据进行安全风险检测处理，获得安全风险检测结果；如果所述验证结果表示不可将所述提交者身份信息对应的待提交数据提交至大模型，则向所述提交者终端返回用于提示不可将所述提交者身份信息对应的待提交数据提交至大模型的提示信息。

19、可选地，所述获得待提交数据，包括：获得提交者输入的待提交数据；所述方法还包括：获得数据服务端发送的所述安全风险管控策略，所述数据服务端是通过策略配置端获得所述安全风险管控策略的，所述数据服务端是为提交者输入待提交数据提供服务的服务端；所述将所述待提交数据提交至所述大模型，包括：将所述待提交数据通过所述数据服务端提交至所述大模型。

20、可选地，所述待提交数据为程序代码开发人员开发的程序代码，所述以获得大模型服务包括以获得所述大模型提供的程序代码检测服务。

21、可选地，还包括：将所述程序代码输入到与所述大模型对应的风险管控策略生成模型中，获得针对所述程序代码的安全风险管控策略，所述风险管控策略生成模型用于根据程序代码生成安全风险管控策略；所述根据安全风险管控策略，对所述待提交数据进行安全风险检测处理，获得安全风险检测结果，包括：根据针对所述程序代码的安全风险管控策略，对所述程序代码进行安全风险检测处理，获得安全风险检测结果。

22、可选地，所述风险管控策略生成模型是按照下述方式训练获得的：获得程序代码样本；将所述程序代码样本提交至所述大模型；获得所述大模型针对所述程序代码样本的程序代码检测结果；分析所述程序代码检测结果，获得所述大模型针对所述程序代码样本的关注数据；根据所述关注数据，生成针对所述程序代码样本的安全风险管控策略，作为基准安全风险管控策略；将所述程序代码样本输入到初始风险管控策略生成模型中，获得针对所述程序代码样本的预测安全风险管控策略；获得所述预测安全风险管控策略与所述基准安全风险管控策略之间的预测损失数据；如果所述预测损失数据满足预设的第一预测损失可接受条件，则将所述初始风险管控策略生成模型确定为所述风险管控策略生成模型，否则，调整所述初始风险管控策略生成模型中的模型参数，直至调整后的风险管控策略生成模型所输出的预测安全风险管控策略与所述基准安全风险管控策略之间的预测损失数据满足预设的第一预测损失可接受条件为止，将满足所述第一预测损失可接受条件所对应的调整后的风险管控策略生成模型确定为所述风险管控策略生成模型。

23、可选地，所述关注数据包括所述大模型针对所述程序代码样本指出存在问题的代码片段，作为问题代码片段；所述根据所述关注数据，生成针对所述程序代码样本的安全风险管控策略，包括：从所述问题代码片段中提取可设定真实值的代码参数，作为管控代码参数；生成具有所述管控代码参数的信息风险管控策略；所述具有所述管控代码参数的信息风险管控策略用于表示：如果任意一个程序代码中具有所述管控代码参数，则对所述任意一个程序代码中的所述管控代码参数的真实值进行脱敏处理，将脱敏处理后的所述任意一个程序代码提交至所述大模型。

24、可选地，所述风险管控策略生成模型包括用于确定程序代码所属终端应用和/或服务单元的程序代码分类子模型和用于生成安全风险管控策略的风险管控策略生成子模型；所述将所述程序代码输入到与所述大模型对应的风险管控策略生成模型中，获得针对所述程序代码的安全风险管控策略，包括：将所述程序代码输入到所述程序代码分类子模型中，以确定所述程序代码所属的终端应用和/或服务单元；获得所述程序代码所属的终端应用的特征信息和/或服务单元的特征信息；将所述程序代码所属的终端应用的特征信息和/或服务单元的特征信息输入到所述风险管控策略生成子模型中，获得针对所述程序代码的安全风险管控策略。

25、可选地，所述程序代码分类子模型是按照下述方式训练获得的：获得程序代码样本；确定所述程序代码样本所属的终端应用和/或服务单元，作为基准终端应用和/或服务单元；将程序代码样本输入到初始程序代码分类子模型中，确定所述程序代码样本所属的预测终端应用和/或服务单元；如果所述预测终端应用和/或服务单元与所述基准终端应用和/或服务单元之间的预测损失数据满足预设的第二预测损失可接受条件，则将所述初始程序代码分类子模型确定为所述程序代码分类子模型，否则，调整所述初始程序代码分类子模型中的模型参数，直至通过调整后的程序代码分类子模型所确定的预测基准终端应用和/或服务单元与所述基准终端应用和/或服务单元之间的预测损失数据满足所述第二预测损失可接受条件为止，将满足所述第二预测损失可接受条件所对应的调整后的程序代码分类子模型确定为所述程序代码分类子模型。

26、可选地，所述风险管控策略生成子模型是按照下述方式训练获得的：获得终端应用样本的特征信息样本和/或服务单元样本的特征信息样本；获得所述大模型针对所述终端应用样本的已提交数据和/或所述服务单元样本的已提交数据的反馈结果；从所述反馈结果中提取所述大模型针对所述终端应用样本和/或所述服务单元样本的关注数据；根据所述关注数据，生成针对所述终端应用样本和/或所述服务单元样本的安全风险管控策略，作为基准安全风险管控策略；将所述终端应用样本的特征信息样本和/或所述服务单元样本的特征信息样本输入到初始风险管控策略生成子模型中，获得针对所述终端应用样本和/或所述服务单元样本的预测安全风险管控策略；获得所述预测安全风险管控策略与所述基准安全风险管控策略之间的预测损失数据；如果所述预测损失数据满足预设的第三预测损失可接受条件，则将所述初始风险管控策略生成子模型确定为所述风险管控策略生成子模型，否则，调整所述初始风险管控策略生成子模型中的模型参数，直至调整后的风险管控策略生成子模型所输出的预测安全风险管控策略与所述基准安全风险管控策略之间的预测损失数据满足预设的第三预测损失可接受条件为止，将满足所述第三预测损失可接受条件所对应的调整后的风险管控策略生成子模型确定为所述风险管控策略生成子模型。

27、可选地，所述从所述反馈结果中提取所述大模型针对所述终端应用样本和/或所述服务单元样本的关注数据，包括：从所述反馈结果中提取可设定真实数据的信息参数，作为管控信息参数，将所述管控信息参数确定为所述大模型针对所述终端应用样本和/或所述服务单元样本的关注数据；所述根据所述关注数据，生成针对所述终端应用样本和/或所述服务单元样本的安全风险管控策略，包括：生成具有所述管控信息参数的安全风险管控策略，所述具有所述管控信息参数的安全风险管控策略用于表示：如果待提交至所述大模型的任意一个程序代码属于所述终端应用样本和/或所述服务单元样本，并且所述任意一个程序代码具有与所述管控信息参数对应的代码参数，则对所述任意一个程序代码具有的与所述管控信息参数对应的代码参数的真实值进行脱敏处理，将脱敏处理后的所述任意一个程序代码提交至所述大模型。

28、可选地，如果所述反馈结果包括文本反馈结果，则所述管控信息参数包括文本类管控信息参数，所述任意一个程序代码具有的与所述管控信息参数对应的代码参数是指所述任意一个程序代码中通过代码参数与文本信息参数之间的对应关系可确定文本信息参数、并且确定的文本信息参数为所述文本类管控信息参数的代码参数；如果所述反馈结果包括音频反馈结果和/或视频反馈结果，则将所述音频反馈结果和/或所述视频反馈结果转换为文本反馈结果，所述管控信息参数包括文本类管控信息参数，所述任意一个程序代码具有的与所述管控信息参数对应的代码参数是指所述任意一个程序代码中通过代码参数与文本信息参数之间的对应关系可确定文本信息参数、并且确定的文本信息参数为所述文本类管控信息参数的代码参数；如果所述反馈结果包括程序代码反馈结果，则所述管控信息参数包括管控代码参数，所述任意一个程序代码具有的与所述管控信息参数对应的代码参数是指所述任意一个程序代码中具有的所述管控代码参数。

29、可选地，所述终端应用样本的已提交数据和/或所述服务单元样本的已提交数据包括以下至少一种数据：为获得所述大模型针对所述终端应用样本和/或所述服务单元样本的关注数据向所述大模型提交的针对所述终端应用样本的测试数据和/或针对所述服务单元样本的测试数据；期望获得所述大模型提供的大模型服务的并且所述大模型已输出反馈结果的针对所述终端应用样本的已提交数据和/或针对所述服务单元样本的已提交数据。

30、可选地，还包括：获得所述程序代码的程序代码开发人员的开发人员信息；查询与所述开发人员信息对应的安全风险管控策略；所述根据安全风险管控策略，对所述待提交数据进行安全风险检测处理，获得安全风险检测结果，包括：根据与所述开发人员信息对应的安全风险管控策略，对所述程序代码进行安全风险检测处理，获得安全风险检测结果。

31、可选地，所述与所述开发人员信息对应的安全风险管控策略是按照下述方式获得的：获得所述大模型针对所述程序代码开发人员已向所述大模型提交的历史程序代码的历史程序代码检测结果；从所述历史程序代码检测结果中提取所述大模型针对所述历史程序代码的关注数据；根据所述关注数据生成与所述开发人员信息对应的安全风险管控策略。

32、可选地，所述从所述历史程序代码检测结果中提取所述大模型针对所述历史程序代码的关注数据，包括：从所述历史程序代码检测结果中提取可设定真实值的代码参数，作为管控代码参数，将所述管控代码参数确定为所述大模型针对所述历史程序代码的关注数据；所述根据所述关注数据生成与所述开发人员信息对应的安全风险管控策略，包括：生成具有所述管控代码参数的安全风险管控策略，所述具有所述管控代码参数的安全风险管控策略用于表示：如果所述程序代码开发人员待提交至所述大模型的任意一个程序代码中具有所述管控代码参数，则对所述任意一个程序代码中的所述管控代码参数的真实值进行脱敏处理，将脱敏处理后的所述任意一个程序代码提交至所述大模型。

33、本技术还提供一种安全风险管控装置，包括：获得单元，用于获得待提交数据，所述待提交数据为待提交给大模型以获得大模型服务的数据；检测单元，用于根据安全风险管控策略，对所述待提交数据进行安全风险检测处理，获得安全风险检测结果；提交单元，用于在所述安全风险检测结果表示未发现安全风险时，将所述待提交数据提交至所述大模型；管控单元，用于在所述安全风险检测结果表示存在安全风险时，对所述待提交数据进行安全风险管控处理。

34、本技术还提供一种电子设备，包括处理器和存储器；所述存储器用于存储程序和数据，所述处理器调用存储器存储的程序，以执行上述安全风险管控方法。

35、本技术还提供一种存储介质，所述存储介质存储有程序和数据，所述程序被处理器执行，用于实现上述安全风险管控方法。

36、与现有技术相比，本技术具有以下优点:

37、本技术通过在待提交数据提交至大模型之前，对所述待提交数据进行安全风险管控，包括根据安全风险管控策略，对所述待提交数据进行安全风险检测处理，获得安全风险检测结果，如果所述安全风险检测结果表示未发现安全风险，则将所述待提交数据提交至所述大模型；如果所述安全风险检测结果表示存在安全风险，则对所述待提交数据进行安全风险管控处理。通过该方法可及时发现存在安全风险的待提交数据并进行风险排除，避免出现信息泄露等风险。