视觉优化方法、优化系统、计算机设备和可读存储介质与流程
本发明涉及视觉优化技术领域，具体而言，涉及一种空视觉优化方法、视觉优化系统、计算机设备、计算机可读存储介质。
背景技术：
在视觉优化中，j.johnson等人提出的感知损失函数是一种描述两张图片是否语义上相似的好方法。这种方法通过选取一个预训练好的网络(以vgg网络为例)，比较训练集中生成去雨图片和真正去雨图片在vgg(现有预训练好的卷积神经网络的一种)网络某一层上的均方误差。但是，由于到底选取vgg的哪一层对结果的影响非常大。
satoshiiizuka等人通过在生成式对抗网络中构造局部分辨器和全局分辨器的方式，从局部和整体两个角度判断两张图片是否相似。这种优化相比于采用预训练好的网络，会更倾向于过拟合训练集，从而影响泛化能力。
yijunli等人通过强调两张相同的图片语义分割结果应该相似，构造出了语义正则化函数。这个方法虽然利用了预训练好的网络，但是相同的语义分割结果是有可能对应不同的语义信息，所以可能无法细微地指导两张图片的相似性。
技术实现要素：
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明第一个方面在于提出一种视觉优化方法。
本发明的第二个方面在于提出一种视觉优化系统。
本发明的第三个方面在于提出一种计算机设备。
本发明的第四个方面在于提出一种计算机可读存储介质。
有鉴于此，根据本发明的一个方面，提出了一种视觉优化方法，包括：获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型；根据预设指标评估多个模型；根据评估结果和预设指数权重规则获得多个模型中每个模型的权重；根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数。
本发明提供的视觉优化方法，获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
根据本发明的上述视觉优化方法，还可以具有以下技术特征：
在上述技术方案中，优选地，根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型的步骤，具体包括：根据第一预设公式获取预设层数的感知损失函数：
根据第二预设公式获得多个模型的感知损失函数：
pi′＝l+pi
其中，pi为预设卷积神经网络第i层对应的感知损失函数，vi(·)为从预设卷积神经网络的输入到预设卷积神经网络的第i层的变换，训练集rainingset为(xj,yj)，size(vi(xj))为vi(xj)的大小,#(·)为训练集的大小，pi′为第i个模型的感知损失函数，l为预设问题的感知损失函数。
在该技术方案中，选取预设的某个训练好的网络中的预设层数，可以是该预训练好的网络中一部分层数，也可以是该预训练好的网络中全部的卷积层，根据在训练集训练选取的层数，根据第一预设公式和第二预设公式得出每个模型的损失函数，利用损失函数训练出多个模型。
在上述任一技术方案中，优选地，根据预设指标评估多个模型的步骤，具体包括：根据第三预设公式获得oi(xj)与yj的相似性：
其中，oi(xj)为第i个模型的输出，e(·,·)为预设指标，训练集rainingset为(xj,yj)，
在该技术方案中，选取特定的评价指标e(·,·)来评估每个模型，利用第三预设公式得出每个模型的输出与yj的相似性，实现对训练得出的每个模型的评估。
在上述任一技术方案中，优选地，根据评估结果和预设指数权重规则获得多个模型中每个模型的权重的步骤，具体包括：根据第四预设公式获得每个模型的权重：
其中，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该技术方案中，基于利用第四预设公式得出的每个模型的评估结果
在上述任一技术方案中，优选地，根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数的步骤，具体包括：根据第五预设公式获得优化的感知损失函数：
其中，l'为优化的感知损失函数，l为预设问题的感知损失函数，vgg为预设卷积神经网络，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该技术方案中，通过每个模型的权重对预训练好的网络的各个层对应的模型的损失函数做加权平均，用l'＝∑i∈vggwi(l+pi)＝l+∑i∈vggwipi作为经过指数权重算法的视觉优化的损失函数。该视觉优化的损失函数是根据具体问题的感知损失函数与基于指数权重算法规则得到的，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
根据本发明的第二个方面，提出了一种视觉优化系统，包括：获取单元，用于获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；训练单元，用于根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型；评估单元，用于根据预设指标评估多个模型；权重单元，用于根据评估结果和预设指数权重规则获得多个模型中每个模型的权重；优化单元，用于根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数。
本发明提供的视觉优化系统，获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
根据本发明的上述视觉优化系统，还可以具有以下技术特征：
在上述技术方案中，优选地，训练单元具体包括：第一计算单元，用于根据第一预设公式获取预设层数的感知损失函数：
第二计算单元，用于根据第二预设公式获得多个模型的感知损失函数：
pi′＝l+pi
其中，pi为预设卷积神经网络第i层对应的感知损失函数，vi(·)为从预设卷积神经网络的输入到预设卷积神经网络的第i层的变换，训练集rainingset为(xj,yj)，size(vi(xj))为vi(xj)的大小,#(·)为训练集的大小，pi′为第i个模型的感知损失函数，l为预设问题的感知损失函数。
在该技术方案中，选取预设的某个训练好的网络中的预设层数，可以是该预训练好的网络中一部分层数，也可以是该预训练好的网络中全部的卷积层，根据在训练集训练选取的层数，根据第一预设公式和第二预设公式得出每个模型的损失函数，利用损失函数训练出多个模型。
在上述任一技术方案中，优选地，评估单元具体包括：第三计算单元，用于根据第三预设公式获得oi(xj)与yj的相似性：
其中，oi(xj)为第i个模型的输出，e(·,·)为预设指标，训练集rainingset为(xj,yj)，
在该技术方案中，选取特定的评价指标e(·,·)来评估每个模型，利用第三预设公式得出每个模型的输出与yj的相似性，实现对训练得出的每个模型的评估。
在上述任一技术方案中，优选地，权重单元具体包括：第四计算单元，用于根据第四预设公式获得每个模型的权重：
其中，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该技术方案中，基于利用第四预设公式得出的每个模型的评估结果
在上述任一技术方案中，优选地，优化单元具体包括：第五计算单元，用于根据第五预设公式获得优化的感知损失函数：
其中，l'为优化的感知损失函数，l为预设问题的感知损失函数，vgg为预设卷积神经网络，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该技术方案中，通过每个模型的权重对预训练好的网络的各个层对应的模型的损失函数做加权平均，用l'＝∑i∈vggwi(l+pi)＝l+∑i∈vggwipi作为经过指数权重算法的视觉优化的损失函数。该视觉优化的损失函数是根据具体问题的感知损失函数与基于指数权重算法规则得到的，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
根据本发明的第三个方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一项的视觉优化方法的步骤。
本发明提供的一种计算机设备，处理器执行计算机程序时实现：获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
根据本发明的第四个方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的视觉优化方法的步骤。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明的一个实施例的视觉优化方法的流程示意图；
图2示出了本发明的一个具体实施例的视觉优化方法应用在具体问题的流程示意图；
图3示出了本发明的一个实施例的视觉优化系统的示意框图；
图4示出了本发明的另一个实施例的视觉优化系统的示意框图；
图5示出了本发明的一个实施例的计算机设备的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述方面、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
本发明第一方面的实施例，提出一种视觉优化方法，图1示出了本发明的一个实施例的视觉优化方法的流程示意图：
步骤102，获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；
步骤104，根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型；
步骤106，根据预设指标评估多个模型；
步骤108，根据评估结果和预设指数权重规则获得多个模型中每个模型的权重；
步骤110，根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数。
本发明提供的视觉优化方法，获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
在上述实施例中，优选地，根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型的步骤，具体包括：根据第一预设公式获取预设层数的感知损失函数：
根据第二预设公式获得多个模型的感知损失函数：
pi′＝l+pi
其中，pi为预设卷积神经网络第i层对应的感知损失函数，vi(·)为从预设卷积神经网络的输入到预设卷积神经网络的第i层的变换，训练集rainingset为(xj,yj)，size(vi(xj))为vi(xj)的大小,#(·)为训练集的大小，pi′为第i个模型的感知损失函数，l为预设问题的感知损失函数。
在该实施例中，选取预设的某个训练好的网络中的预设层数，可以是该预训练好的网络中一部分层数，也可以是该预训练好的网络中全部的卷积层，预设卷积神经网络可以根据情况选定，比如选取vgg(现有预训练好的卷积神经网络的一种)。根据在训练集训练选取的层数，根据第一预设公式和第二预设公式得出每个模型的损失函数，利用损失函数训练出多个模型。
在上述任一实施例中，优选地，根据预设指标评估多个模型的步骤，具体包括：根据第三预设公式获得oi(xj)与yj的相似性：
其中，oi(xj)为第i个模型的输出，e(·,·)为预设指标，训练集rainingset为(xj,yj)，
在该实施例中，选取特定的评价指标e(·,·)来评估每个模型，利用第三预设公式得出每个模型的输出与yj的相似性，实现对训练得出的每个模型的评估。
在上述任一实施例中，优选地，根据评估结果和预设指数权重规则获得多个模型中每个模型的权重的步骤，具体包括：根据第四预设公式获得每个模型的权重：
其中，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该实施例中，基于利用第四预设公式得出的每个模型的评估结果
在上述任一实施例中，优选地，根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数的步骤，具体包括：根据第五预设公式获得优化的感知损失函数：
其中，l'为优化的感知损失函数，l为预设问题的感知损失函数，vgg为预设卷积神经网络，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该实施例中，通过每个模型的权重对预训练好的网络的各个层对应的模型的损失函数做加权平均，用l'＝∑i∈vggwi(l+pi)＝l+∑i∈vggwipi作为经过指数权重算法的视觉优化的损失函数。该视觉优化的损失函数是根据具体问题的感知损失函数与基于指数权重算法规则得到的，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
图2示出了本发明的一个具体实施例的视觉优化方法应用在具体问题的流程示意图。在这个具体问题中，l为均方误差损失函数和对抗损失函数。如图2所示，将视觉优化方法用于具体问题的流程先通过l+p1，l+p2训练出两个模型model1，model2，然后用指数权重算法得到权重w1,w2，最终得到基于指数权重的视觉优化损失函数l+w1p1+w2p2。该具体实施例的主要优点在于充分利用并整合了从低层到高层，从局部到整体的语义信息，同时有一定的理论保障。
本发明第二方面的实施例，提出一种视觉优化系统300，图3示出了本发明的一个实施例的视觉优化系统300的示意框图。如图3所示，视觉优化系统300包括：获取单元302、训练单元304、评估单元306、权重单元308和优化单元310。其中，获取单元302用于获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；训练单元304用于根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型；评估单元306用于根据预设指标评估多个模型；权重单元308用于根据评估结果和预设指数权重规则获得多个模型中每个模型的权重；优化单元310用于根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数。
本发明提供的视觉优化系统中，获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
图4示出了本发明的另一个实施例的视觉优化系统400的示意框图。其中，视觉优化系统400包括：获取单元402、训练单元404、评估单元406、权重单元408和优化单元410。其中，获取单元402用于获取完成预训练的预设卷积神经网络以及预设问题的感知损失函数；训练单元404用于根据预设问题的感知损失函数和预设卷积神经网络中预设层数对应的感知损失函数训练得出与预设层数对应的多个模型；评估单元406用于根据预设指标评估多个模型；权重单元408用于根据评估结果和预设指数权重规则获得多个模型中每个模型的权重；优化单元410用于根据每个模型的权重和预设层数对应的感知损失函数获取优化的感知损失函数。
在上述实施例中，优选地，训练单元404具体包括：第一计算单元442和第二计算单元444。第一计算单元442用于根据第一预设公式获取预设层数的感知损失函数：
第二计算单元444用于根据第二预设公式获得多个模型的感知损失函数：
pi′＝l+pi
其中，pi为预设卷积神经网络第i层对应的感知损失函数，vi(·)为从预设卷积神经网络的输入到预设卷积神经网络的第i层的变换，训练集rainingset为(xj,yj)，size(vi(xj))为vi(xj)的大小,#(·)为训练集的大小，pi′为第i个模型的感知损失函数，l为预设问题的感知损失函数。
在该实施例中，选取预设的某个训练好的网络中的预设层数，可以是该预训练好的网络中一部分层数，也可以是该预训练好的网络中全部的卷积层，根据在训练集训练选取的层数，根据第一预设公式和第二预设公式得出每个模型的损失函数，利用损失函数训练出多个模型。
在上述任一实施例中，优选地，评估单元406具体包括第三计算单元462。第三计算单元462。用于根据第三预设公式获得oi(xj)与yj的相似性：
其中，oi(xj)为第i个模型的输出，e(·,·)为预设指标，训练集rainingset为(xj,yj)，
在该实施例中，选取特定的评价指标e(·,·)来评估每个模型，利用第三预设公式得出每个模型的输出与yj的相似性，实现对训练得出的每个模型的评估。
在上述任一实施例中，优选地，权重单元408具体包括第四计算单元482。第四计算单元482用于根据第四预设公式获得每个模型的权重：
其中，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该实施例中，基于利用第四预设公式得出的每个模型的评估结果
在上述任一实施例中，优选地，优化单元410具体包括第五计算单元412。第五计算单元412用于根据第五预设公式获得优化的感知损失函数：
其中，l'为优化的感知损失函数，l为预设问题的感知损失函数，vgg为预设卷积神经网络，wi为第i个模型的权重，vgg为预设卷积神经网络。
在该实施例中，通过每个模型的权重对预训练好的网络的各个层对应的模型的损失函数做加权平均，用l'＝∑i∈vggwi(l+pi)＝l+∑i∈vggwipi作为经过指数权重算法的视觉优化的损失函数。该视觉优化的损失函数是根据具体问题的感知损失函数与基于指数权重算法规则得到的，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
本发明第三方面的实施例，提出一种计算机设备，图5示出了本发明的一个实施例的计算机设备500的示意框图。其中，该计算机设备500包括：
存储器502、处理器504及存储在存储器502上并可在处理器504上运行的计算机程序，处理器504执行计算机程序时实现如上述任一项的视觉优化方法的步骤。
本发明提供的一种计算机设备500，处理器504执行计算机程序时实现：获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
本发明第四方面的实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的视觉优化方法的步骤。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：获取某个预训练好的卷积神经网络，和某个预设的具体问题的感知损失函数，在训练集上通过具体问题的感知损失函数与基于预训练好的网络的预设层数的感知损失函数训练出多个模型，选取某个预设判别评估指标评估多个模型，再利用评估得到的结果和指数权重算法规则得到每个模型的权重，用该权重对预设层数对应的感知损失函数进行预算，得到具体问题的感知损失函数与基于指数权重算法规则的优化感知损失函数，在得出最终的优化的感知损失函数的过程充分利用并整合了预训练好的网络从低层到高层，从局部到整体的语义信息，同时具有理论保障，实现了准确细微地指导两张图片的相似性。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！