图像识别方法、装置、电子设备和可读存储介质与流程

1.本技术涉及图像识别技术领域，具体而言，涉及图像识别方法、装置、电子设备和可读存储介质。


背景技术：

2.随着科技的不断发展，图像日益成为各行各业重要的信息载体，比如，在司法领域，需要提供承载有诸如起诉意见书、鉴定报告等信息的司法卷宗图像，在智能理赔领域，需要提供承载有理赔金额等信息的医疗发票图像。然而，在实际应用中，不法分子可能会对图像进行篡改，进而非法利用被篡改的图像。因此，需要针对图像是否被篡改进行识别。


技术实现要素：

3.本技术实施例的目的在于提供一种图像识别方法、装置、电子设备和可读存储介质，用以解决现有技术中的问题。
4.本技术实施例第一方面提供了一种图像识别方法，包括：
5.获取待识别图像；
6.通过预设图像识别模型识别所述待识别图像中的篡改区域；其中，所述预设图像识别模型包括篡改区域识别主干网络、全局噪声提取分支网络和关键区域噪声提取分支网络，所述全局噪声提取分支网络用于提取所述待识别图像的全局噪声，所述关键区域噪声提取分支网络用于提取所述待识别图像的关键区域噪声，所述篡改区域识别主干网络用于根据所述全局噪声和所述关键区域噪声，识别所述待识别图像中的篡改区域。
7.于一实施例中，篡改区域识别主干网络具体包括特征图提取层、疑似篡改区域推荐层、池化层和输出层；以及，
8.所述篡改区域识别主干网络用于根据所述全局噪声和所述关键区域噪声，识别所述待识别图像中的篡改区域，具体包括：
9.所述特征图提取层，用于提取所述待识别图像的特征图；
10.所述疑似篡改区域推荐层，用于根据所述特征图确定多个疑似篡改区域；
11.所述池化层，用于对所述特征图、各个疑似篡改区域、所述全局噪声和所述关键区域噪声进行池化处理；
12.所述输出层，用于根据池化处理的结果，输出对所述待识别图像中的篡改区域的识别结果。
13.于一实施例中，所述篡改区域识别主干网络具体包括faster r-cnn网络；
14.所述特征图提取层具体包括卷积层；
15.所述疑似篡改区域推荐层具体包括区域推荐网络rpn；以及，
16.所述池化层具体包括roi池化层。
17.于一实施例中，所述全局噪声提取分支网络具体包括：滤波器层和全局噪声提取层；以及，
18.所述全局噪声提取分支网络用于提取所述待识别图像的全局噪声，具体包括：
19.所述滤波器层，用于根据所述待识别图像生成固有模式噪声特征图；
20.所述全局噪声提取层，用于根据所述固有模式噪声特征图，提取所述待识别图像的全局噪声。
21.于一实施例中，所述关键区域噪声提取分支网络具体包括：图像分割层、色彩空间转换层、关键区域识别层和关键区域噪声提取层；以及，
22.所述关键区域噪声提取分支网络用于提取所述待识别图像的关键区域噪声，具体包括：
23.所述图像分割层用于通过对所述待识别图像进行分割，得到多个区块图像；
24.所述色彩空间转换层用于对各个区块图像的色彩空间进行转换，对应得到多个第二区块图像；
25.所述关键区域识别层，用于通过将各个区块图像分别与对应的第二区块图像进行对比，以识别出关键区块；
26.所述噪声提取层，用于提取所述关键区块的关键区域噪声。
27.于一实施例中，通过将各个区块图像分别与对应的第二区块图像进行对比，以识别出关键区块，具体包括：
28.针对各个区块图像，根据所述区块图像的像素值的方差，与对应第二区块图像像素值的方差的差值，识别出关键区块。
29.于一实施例中，所述方法还包括：预先训练得到所述预设图像识别模型。
30.本技术实施例第二方面提供了一种图像识别装置，包括：
31.获取单元，用于获取待识别图像；
32.篡改区域识别单元，用于通过预设图像识别模型识别所述待识别图像中的篡改区域；其中，所述预设图像识别模型包括篡改区域识别主干网络、全局噪声提取分支网络和关键区域噪声提取分支网络，所述全局噪声提取分支网络用于提取所述待识别图像的全局噪声，所述关键区域噪声提取分支网络用于提取所述待识别图像的关键区域噪声，所述篡改区域识别主干网络用于根据所述全局噪声和所述关键区域噪声，识别所述待识别图像中的篡改区域
33.本技术实施例第三方面提供了一种电子设备，包括：
34.存储器，用以存储计算机程序；
35.处理器，用以执行本技术实施例第一方面及其任一实施例的方法。
36.本技术实施例第四方面提供了一种可读存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行本技术任意一实施例中的方法。
37.采用本技术实施例所提供的图像方法，在获取到待识别图像之后，可以通过预设图像识别模型中的全局噪声提取分支网络提取出待识别图像的全局噪声，并且通过预设图像识别模型中的关键区域噪声提取分支网络提取出待识别图像的关键区域噪声，然后该预设图像识别模型中的篡改区域识别主干网络根据该全局噪声和该关键区域噪声，识别出待识别图像中的篡改区域，从而能够用于对图像是否被篡改进行识别。
附图说明
38.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
39.图1为本技术一实施例所提供的，电子设备的具体结构示意图；
40.图2为本技术一实施例所提供的，图像识别方法的具体流程示意图；
41.图3为本技术一实施例所提供的，预设图像识别模型的模型结构的具体结构示意图；
42.图4为本技术一实施例所提供的，图像识别装置的具体结构示意图。
具体实施方式
43.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
44.如前所述，图像日益成为各行各业重要的信息载体，比如，在司法领域，需要提供承载有诸如起诉意见书、鉴定报告等信息的司法卷宗图像，在智能理赔领域，需要提供承载有理赔金额等信息的医疗发票图像。然而，在实际应用中，不法分子可能会对图像进行篡改，进而非法利用被篡改的图像。因此，需要针对图像是否被篡改进行识别。
45.基于此，本技术实施例提供一种电子设备。如图1所示为该电子设备1的具体结构示意图。该电子设备1包括：至少一个处理器11和存储器12，图1中以一个处理器为例。处理器11和存储器12可以通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。
46.在实际应用中，该电子设备1可以是手机、平板电脑、笔记本电脑、台式电脑或其组成的大型服务器或服务器集群等。
47.如图2所示为本技术一实施例所提供的图像识别方法，能够通过该方法识别图像中的篡改区域，该方法部分或全部步骤可由图1所示的电子设备1来执行。该方法包括如下步骤：
48.步骤s21：获取待识别图像。
49.其中，该待识别图像可以是司法卷宗图像，也可以是医疗发票图像，也可以是景物或人物图像，也可以是商品图像或其他类型的图像，这里对此并不限定。比如，当需要识别某张图像是否被篡改时，可以将该图像作为待识别图像，从而通过本技术实施例所提供的该方法识别该图像中的篡改区域，当识别出篡改区域时，说明该图像被篡改，或者当未识别出篡改区域时，说明该图像没有被篡改。
50.在实际应用中，获取待识别图像的方式可以有多种，比如当需要识别图像库中所存储的各张是否被篡改时，可以从该图像库中随机获取图像作为该待识别图像，或按照预设顺序(比如，图像的文件大小顺序、图像的生成时间顺序等)从图像库中获取图像作为该待识别图像。
51.另外，为了便于识别图像库中的各张是否被篡改，还可以针对各张图像分别构建
定时任务，该定时任务包括对应的图像标识，该图像标识可以是图像的名称或其他能够唯一标识某种图像的信息。这样，当某个定时任务被触发时，可以根据该定时任务中的图像标识，从图像库中获取对应的图像，作为该待识别图像。
52.步骤s22：通过预设图像识别模型识别该待识别图像中的篡改区域。
53.在该步骤s22中，可以将该待识别图像输入至预设图像识别模型，从而通过该预设图像识别模型，是被出待识别图像中的篡改区域。
54.在实际应用中，该预设图像识别模型可以是深度神经网络模型，也可以是卷积神经网络模型，也可以是其他类型的模型。
55.于一实施例中，该预设图像识别模型可以包括篡改区域识别主干网络、全局噪声提取分支网络和关键区域噪声提取分支网络，其中，该全局噪声提取分支网络能够用于提取待识别图像的全局噪声，该关键区域噪声提取分支网络能够用于提取待识别图像的关键区域噪声，该篡改区域识别主干网络能够用于根据该全局噪声和该关键区域噪声，识别待识别图像中的篡改区域。
56.这样，在通过预设图像识别模型识别待识别图像中的篡改区域的过程中，可以通过全局噪声提取分支网络提取出待识别图像的全局噪声，并且通过关键区域噪声提取分支网络提取出待识别图像的关键区域噪声，然后篡改区域识别主干网络根据该全局噪声和该关键区域噪声，识别待识别图像中的篡改区域，从而能够用于对图像是否被篡改进行识别。
57.在实际应用中，图像中通常会存在图像噪声，即存在于该图像中的不必要的或多余的干扰信息。这样，当某张图像被篡改之后，篡改区域的噪声与未篡改区域的噪声会出现不一致的情况。本技术结合全局噪声和关键区域噪声两个角度，对待识别图像中的噪声进行衡量，从而用于识别该待识别图像是否被篡改。其中，该全局噪声从图像整体的角度，反应出该待识别图像整体的干扰信息；关键区域噪声从图像关键区域的角度，反应出该待识别图像关键区域的干扰信息。
58.如图3所示为实际应用中预设图像识别模型的结构示意图，在该预设图像识别模型中包括：篡改区域识别主干网络31、全局噪声提取分支网络32和关键区域噪声提取分支网络33，并且篡改区域识别主干网络31包括特征图提取层311、疑似篡改区域推荐层312、池化层313和输出层314。
59.在该图3所示的预设图像识别模型中，该特征图提取层311与疑似篡改区域推荐层312和池化层313连接，疑似篡改区域推荐层312也与池化层313连接，池化层313与输出层314连接，并且全局噪声提取分支网络32和关键区域噪声提取分支网络33均连接池化层313。这样，待识别图像输入至全局噪声提取分支网络32、关键区域噪声提取分支网络33和特征图提取层311之后，特征图提取层311的输出结果输入至疑似篡改区域推荐层312和池化层313，疑似篡改区域推荐层312的输出结果也输入至池化层313，并且全局噪声提取分支网络32和关键区域噪声提取分支网络33的输出结果也输入至池化层313，池化层313的输出结果输入至输出层314，并通过该输出层314输出最终的识别结果，即识别出待识别图像中的篡改区域。
60.其中，该特征图提取层311，能够用于提取待识别图像的特征图(feature map)；疑似篡改区域推荐层312，能够用于根据该特征图确定多个疑似篡改区域；池化层313，用于对该特征图、各个疑似篡改区域、全局噪声和关键区域噪声进行池化处理；输出层314，用于根
据池化层313池化处理的结果，输出对待识别图像中的篡改区域的识别结果。
61.在实际应用中，该篡改区域识别主干网络31具体可以是faster r-cnn网络；这样，该特征图提取层311可以为该faster r-cnn网络中的卷积层(conv layers)；该疑似篡改区域推荐层312可以具体为该faster r-cnn网络中的区域推荐网络rpn(region proposal network)；池化层313可以为该faster r-cnn网络中的roi池化层(region of interest pooling)。
62.其中，该卷积层可以包括多个卷积核(conv)、多个激活层(relu)和多个池化层(pooling)。比如，卷积层可以包括13个conv、13个relu和4个池化层pooling，通过这些conv、relu和pooling之间的编排组合，构成该卷积层。
63.区域推荐网络rpn，能够根据卷积层所提取的特征图，确定出多个疑似篡改区域。具体来说，区域推荐网络rpn先将特征图映射生成概率值和多个(比如可以是4个)坐标值，该概率值反应待识别图像中存在疑似篡改区域的概率，各个坐标值用于回归定义疑似篡改区域在待识别图像中的位置；然后，利用该概率值和坐标值确定多个疑似篡改区域。
64.当然，在确定出多个疑似篡改区域之后，还可以在各个疑似篡改区域的边缘设置检测框，从而标注出各个疑似篡改区域。
65.在本技术实施例所提供的预设图像识别模型中，全局噪声提取分支网络32可以具体包括滤波器层321和全局噪声提取层322。该滤波器层321，能够用于根据待识别图像生成固有模式噪声特征图，比如将该待识别图像转换成固有模式噪声特征图；其中，固有模式噪声特征图，是包含待识别图像中的固有模式噪声的图像。固有模式噪声，是由于图像采集设备(待识别图像通过该图像采集设备采集)传感器的生产工艺的固有缺陷所导致的图像中产生的噪声。固有模式噪声中的主要成分是光响应非均匀性(prnu，photo response non-uniformity)特征。
66.该全局噪声提取层322连接该滤波器层321，能够用于根据该固有模式噪声特征图，提取待识别图像的全局噪声，并将该全局噪声作为全局噪声提取分支网络32的输出结果，输入至池化层313。在实际应用中，该全局噪声提取层322可以为深度神经网络模型，比如将该固有模式噪声特征图输入至该深度神经网络模型，从而得到该深度神经网络模型的输出，即待识别图像的全局噪声。
67.需要说明的是，在预设图像识别模型中，关键区域噪声提取分支网络33可以包括图像分割层331、色彩空间转换层332、关键区域识别层333和关键区域噪声提取层334。其中，图像分割层331能够用于通过对待识别图像进行分割，从而得到多个区块图像。比如，可以将待识别图像按照3*3或4*4等方式进行分割，从而得到9个或16个区块图像，当然也可以采用其他的方式对该待识别图像进行分割；图像分割层331在分割得到多个区块图像之后，将各个区块图像作为输出结果，输入至色彩空间转换层332和关键区域识别层333。
68.该色彩空间转换层332能够用于对各个区块图像的色彩空间进行转换，比如将各个区块图像从当前色彩空间转换为目标色彩空间，该当前色彩空间可以为rgb色彩空间，目标色彩空间可以为灰度色彩空间。该色彩空间转换层332对各个区块图像的色彩空间进行转换之后，得到色彩空间转换后的各个区块图像，并将其作为该色彩空间转换层332的输出结果，输入至关键区域识别层333。
69.关键区域识别层333在获取到图像分割层331和色彩空间转换层332的输出结果之
后，能够通过将各个区块图像分别与对应的色彩空间转换后的区块图像(简称为第二区块图像)进行对比，从而识别出关键区块。
70.比如，图像分割层331将待识别图像按照3*3的方式进行分割，得到9个区块图像，将该9个区块图像输入至色彩空间转换层332和关键区域识别层333；然后，色彩空间转换层332将该9个区块图像的色彩空间进行转换，从而对应得到色彩空间转换后的9个第二区块图像；关键区域识别层333将9个区块图像分别与对应的第二区块图像进行对比，从而识别出关键区块。
71.对比具体的对比方式，比如针对各个区块图像中的每个区块图像，可以统计该区块图像中各个像素点的像素值(可以是亮度值、rgb值或灰度值等)，然后计算出该区块图像的像素值的方差；相应的，针对与该区块图像对应的第二区块图像，也可以统计该第二区块图像中各个像素点的像素值，然后计算出该第二区块图像的像素值的方差；然后计算该区块图像的像素值的方差与该第二区块图像的像素值的方差的差值，该差值的绝对值越大，说明色彩空间转换对该区块图像的影响越大，也反映出该区块图像越可能被篡改。
72.这样对于图像分割层331所分割得到的多个区块图像，可以根据区块图像的像素值的方差，与对应的第二区块图像的像素值的方差的差值，识别出差值的绝对值最大的一个或多个区块图像，作为该关键区块，或者也可以识别出差值的绝对值大于预设阈值的一个或多个区块图像，作为该关键区块。
73.关键区域识别层333在识别出关键区域之后，关键区域噪声提取层334能够用于提取该关键区域的噪声，即关键区域噪声。其中，该关键区域噪声提取层334提取该关键区域的噪声的具体方式可以是，将先获取该关键区域所对应的各个区块图像，然后针对每个区块图像，计算该区块图像的像素值与对应第二区块图像的像素值的差值，从而得到该关键区域的噪声。
74.需要进一步说明的是，上述提到池化层313能够用于对特征图、各个疑似篡改区域、全局噪声和关键区域噪声进行池化处理，然后输出层314，用于根据池化层313池化处理的结果，输出对待识别图像中的篡改区域的识别结果。在实际应用中，为了提高识别结果的准确性，可以进一步在该预设图像识别模型中引入关注机制，比如以动态加权的方式强化全局噪声和关键区域噪声(增大全局噪声和关键区域噪声的权重)，然后池化层313可以对整张图的特征做池化后得到特征向量。该特征向量是带有空间位置信息的，通过交叉熵来作为分类的损失函数。
75.在实际应用中，本技术实施例所提供的方法还可以包括：预先训练得到该预设图像识别模型，从而能够利用该预设图像识别模型，来识别待识别图像中的篡改区域。
76.其中，对于该预设图像识别模型的具体训练方式，可以为：先利用待训练图像识别模型对目标样本进行处理，以得到识别结果，然后将该识别结果与目标样本中的标注进行对比，从而确定损失函数，然后利用该损失函数的反向传播，对该待训练图像识别模型进行训练，直至识别结果收敛，从而得到最终的图像识别模型，作为该预设图像识别模型。
77.其中，该目标样本可以从训练集中获取，通常从训练集中获取该目标样本后，可以输入至待训练图像识别模型，从而利用待训练图像识别模型对该目标样本进行处理，进而得到识别结果和损失函数。训练集中可以包括多个样本，这些样本中可以包括篡改区域，也可以不包括篡改区域，对于包括篡改区域的样本，还可以对篡改区域在样本中的位置等信
息进行标注。
78.当从训练集中获取目标样本，然后输入至待训练图像识别模型时，可以从训练集的多个样本中随机获取其中的一个样本作为目标样本，然后输入至待训练图像识别模型，也可以按照某种预设的获取规则从训练集中获取样本作为该目标样本，并输入至待训练图像识别模型，比如在正负样本不平衡的情况下，需要适当提高比例较少的样本的获取次数。
79.另外，为了提高模型的训练效率，通常可以采用batch(批次)的形式从训练集中获取多个样本，从而将所获取的这些样本作为一个批次，然后输入至待训练图像识别模型中，此时的目标样本可以是该批次中的某一个或多个样本。
80.基于与本技术实施例所提供的图像识别方法相同的发明构思，本技术实施例还提供了一种图像识别装置，对于该装置实施例中的具体内容，如有不清楚之处，可以参考上述的方法实施例。如图4所示，该装置40包括获取单元401和篡改区域识别单元402，其中：
81.获取单元401，用于获取待识别图像；
82.篡改区域识别单元402，用于通过预设图像识别模型识别所述待识别图像中的篡改区域；其中，所述预设图像识别模型包括篡改区域识别主干网络、全局噪声提取分支网络和关键区域噪声提取分支网络，所述全局噪声提取分支网络用于提取所述待识别图像的全局噪声，所述关键区域噪声提取分支网络用于提取所述待识别图像的关键区域噪声，所述篡改区域识别主干网络用于根据所述全局噪声和所述关键区域噪声，识别所述待识别图像中的篡改区域。
83.采用本技术实施例所提供的装置40，由于该装置40采用与本技术实施例所提供的图像识别方法相同的发明构思，在该图像识别方法能够解决技术问题的前提下，该装置40也能够解决技术问题，这里对此不再赘述。
84.另外，在实际应用中，通过将该装置40与具体硬件设备相结合所取得的技术效果，也在本技术的保护范围之内，比如采用分布式集群的方式将该装置40中的不同单元布设于分布式集群中的不同服务器中，从而提高模型训练效率等。
85.在实际应用中，篡改区域识别主干网络具体包括特征图提取层、疑似篡改区域推荐层、池化层和输出层；以及，所述篡改区域识别主干网络用于根据所述全局噪声和所述关键区域噪声，识别所述待识别图像中的篡改区域，可以具体包括：所述特征图提取层，用于提取所述待识别图像的特征图；所述疑似篡改区域推荐层，用于根据所述特征图确定多个疑似篡改区域；所述池化层，用于对所述特征图、各个疑似篡改区域、所述全局噪声和所述关键区域噪声进行池化处理；所述输出层，用于根据池化处理的结果，输出对所述待识别图像中的篡改区域的识别结果。
86.所述篡改区域识别主干网络具体包括faster r-cnn网络；所述特征图提取层具体包括卷积层；所述疑似篡改区域推荐层具体包括区域推荐网络rpn；以及，所述池化层具体包括roi池化层。
87.所述全局噪声提取分支网络具体包括：滤波器层和全局噪声提取层；以及，所述全局噪声提取分支网络用于提取所述待识别图像的全局噪声，可以具体包括：所述滤波器层，用于根据所述待识别图像生成固有模式噪声特征图；所述全局噪声提取层，用于根据所述固有模式噪声特征图，提取所述待识别图像的全局噪声。
88.关键区域噪声提取分支网络用于提取所述待识别图像的关键区域噪声，可以具体
包括：图像分割层、色彩空间转换层、关键区域识别层和关键区域噪声提取层；以及，所述关键区域噪声提取分支网络用于提取所述待识别图像的关键区域噪声，具体包括：所述图像分割层用于通过对所述待识别图像进行分割，得到多个区块图像；所述色彩空间转换层用于对各个区块图像的色彩空间进行转换，对应得到多个第二区块图像；
89.所述关键区域识别层，用于通过将各个区块图像分别与对应的第二区块图像进行对比，以识别出关键区块；所述噪声提取层，用于提取所述关键区块的关键区域噪声。
90.通过将各个区块图像分别与对应的第二区块图像进行对比，以识别出关键区块，可以具体包括：针对各个区块图像，根据所述区块图像的像素值的方差，与对应第二区块图像像素值的方差的差值，识别出关键区块。
91.该装置40还包括模型训练单元，用于预先训练得到所述预设图像识别模型。
92.本技术实施例还提供了一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现本技术实施例所提供的训练方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
93.本发明实施例还提供了一种非暂态电子设备可读存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等。存储介质还可以包括上述种类的存储器的组合。
94.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。