本发明属于3d模型图像的构建技术领域，特别是涉及到一种基于迁移学习的3d模型图像的构建方法。
背景技术：
所谓图像风格迁移，是指利用算法学习著名画作的风格，然后再把这种风格应用到另外一张图片上的技术。
传统的平面风格迁移与图像识别技术恰恰相反，图像识别技术首先输入图片，提取特征，最终输出图像类别，而风格迁移则是首先输入特征，最终输出对应这种特征的图片。具体来说，风格迁移使用卷积层的中间特征还原出对应这种特征的原始图像。现有技术中的立体风格迁移存在迁移效果单一，风格图片的产生需要手动寻找，且最终迁移出来的风格图像不够立体且清晰度不高，很容易造成视觉疲劳等问题。
最近首个实现的立体神经风格转换，以应对3d电影或ar/vr的新需求。它是将现有的风格迁移分别应用于立体图像的左视图和右视图的单目风格转换方法，表明在最终的风格化结果中不能很好地保持原始的视差一致性，这给观看者造成了3d疲劳。
因此现有技术当中亟需要一种新型的技术方案来解决这一问题。
技术实现要素：
本发明所要解决的技术问题是：提供一种基于迁移学习的3d模型图像的构建方法用于解决目前立体风格迁移存在迁移效果单一，风格图片的产生需要手动寻找，且最终迁移出来的风格图像不够立体且清晰度不高，很容易造成视觉疲劳的技术问题。
基于迁移学习的3d模型图像的构建方法，包括以下步骤，并且以下步骤顺次进行，
步骤一、从摄像机中拍摄或在网络中获取一张现实生活中的图片作为原始图像，在网络中获取抽象风格图像，建立风格图像集；
步骤二、建立机制转移块，并在机制转移块中设定图像运算机制，所述图像运算机制包括点运算、代数运算、逻辑运算以及几何运算；
步骤三、从步骤一中获得的风格图像集中随机选取指定张数的抽象风格图像，设定机制转移块中风格图像的融合顺序，机制转移块按照融合顺序分别对选取的抽象风格图像进行运算，获得一张以上运算后的抽象风格图像以及相应的图像矩阵；
步骤四、将步骤一中获得的原始图像通过人体像素实时映射到3d模型的技术densepose，获得实物的3d模型图以及该3d模型图的图像矩阵；
步骤五、通过res_net50卷积神经网络分别对步骤三中获得的抽象风格图像的图像矩阵以及步骤四中获得的实物的3d模型图的图像矩阵进行卷积，提取相应的featuremap特征映射，
从res_net50卷积网络模型的实物的3d模型图的图像所有卷积层中随机选取一层卷积层，将该层的featuremap特征映射选定为实物的3d模型图的图像内容，
从res_net50卷积网络模型的抽象风格图像所有卷积层中随机选取一层卷积层，将该卷积层中所有的featuremap特征映射两两作内积并用所得的结果建立gram矩阵，获得的gram矩阵为抽象风格图像的图像风格；
步骤六、利用总体损失函数，根据获得的实物的3d模型图的图像的内容和抽象风格图像的图像风格生成风格转移图像，所述的风格转移图像中同时包括了实物的3d模型图的图像的内容和抽象风格图像的图像风格，
所述总体损失函数为：
ltotal(p,a,x)＝αlcontent(p,x)+βlstyle(a,x)，
其中，α代表内容损失的权重，β代表风格损失的权重，α与β之和为1,p为实物的3d模型图的图像的内容，a为抽象风格图像的图像风格，x为待生成的图像，
通过图像内容差别公式，获得风格转移图像与实物的3d模型图的图像的内容p的差别lcontent(p,x)，
通过图像风格差别公式，获得风格转移图像与抽象风格图像的图像风格a的差别lstyle(a,x)；
步骤七、将步骤六中计算并获得的总体损失函数，用梯度下降法修正x的像素值,逐步修正合成图像x的像素值，使之损失变到最小，获得最终的风格迁移后的图像。
所述步骤二中的图像点运算函数表示为：b(i,j)＝f[a(i,j)]，其中b(i,j)为生成的图像像素点，f为映射函数，a(i,j)为原始的图像像素点。
所述步骤二中的图像代数运算是对两幅或两幅以上的输入图像的对应像元逐个地进行和、差、积、商的四则运算，以产生有增强效果的图像。
所述步骤二中图像的逻辑运算是将两幅图像的对应像素进行逻辑运算，逻辑运算主要包括与(and)、或(or)以及补运算。
所述步骤二中图像几何运算函数为：g(x,y)＝f(i',j')＝f[a(i,j),b(i,j)]其中，f(i,j)表示输入图象，g(x,y)表示输出图象，a(i,j)和b(i,j)均表示空间变换，a(i,j)和b(i,j)是连续的，则保持图象中的连通关系。
所述步骤六中图像内容差别公式为：
其中，pij为原始的内容图像的卷积特征，fij为待生成图像的卷积特征，i表示卷积的第i个通道，j表示卷积的第j个位置。
所述步骤六中图像风格差别公式为：
其中，gij为待生成图像的风格卷积特征，aij为原始风格图像的卷积特征，4n2m2是一个归一化项。
所述步骤七中梯度下降法公式为:
g(x,y)＝dx(i,j)+dy(i,j)
dx(i,j)＝i(i+1,j)-i(i,j)
dy(i,j)＝i(i,j+1)-i(i,j)
其中,g(x,y)表示图像总体梯度，dx(i,j)表示水平方向梯度，dy(i,j)表示垂直方向梯度，i是图像像素的值，(i,j)为像素的坐标。
通过上述设计方案，本发明可以带来如下有益效果：
本发明在原有的卷积神经网络前加入densepose技术，首先对原始图像3d模型化，再计算出它的卷积特征，同时随机初始化自动生成的图像，接着以内容损失为优化目标，通过梯度下降法逐步改变自动生成的图像，经过一定的步数后，得到的自动生成的图像是希望获得的最终的风格迁移后的图像。在这个过程中，内容损失越来越小，除了还原图像原本的“实物内容”之外，同时还原图像的“风格”。gram矩阵可以在一定程度上反映原始图像的“风格”。最终产生的图像既保留了内容有保留了风格，最终还原出来的图像立体化更明显。
本发明输入的风格图像可以由多张风格图像组成，风格图像之间进行图像运算，能够产生成倍数量的抽象的风格图像，最终的输出风格迁移后的图像不仅涵盖原风格图像，还有不同风格图像产生的新风格图像。
具体实施方式
基于迁移学习的3d模型图像的构建方法，包括以下步骤，并且以下步骤顺次进行：
步骤一:从摄像机中拍摄或在网络中获取现实生活中的一张图片，称为原始图像
步骤二：建立机制转移块，机制转移块中存在多种图像运算机制，点运算、代数运算和逻辑运算、几何运算；
其中，图像点运算函数表示为：b(i,j)＝f[a(i,j)]，其中b(i,j)为生成的图像像素点，f为映射函数，a(i,j)为原始的图像像素点,s＝f(r)＝a˙r+b,映射函数为线性函数，当a>1时，输出图象对比度增大；当a<1时，输出图象对比度降低；
图像代数运算是指对两幅或两幅以上的输入图像的对应像元逐个地进行和、差、积、商的四则运算，以产生有增强效果的图像；
图像的逻辑运算就是将两幅图像的对应像素进行逻辑运算。逻辑运算主要包括与(and)或(or)及补运算；
图像几何运算函数g(x,y)＝f(i',j')＝f[a(i,j),b(i,j)]其中，f(i,j)表示输入图象，g(i,j)表示输出图象，a(i,j)和b(i,j)表示空间变换，若它们是连续的，则将保持图象中的连通关系；
步骤三：通过机制转移块控制风格图像运算方式，通过不同机制，对输入的风格图像进行依次迭代，对迭代的风格图像依次进行机制运算，产生更多抽象风格图像；
步骤四：将原始图像通过densepose(人体像素实时映射到3d模型的技术)产生实物的3d模型图以及该3d模型图的图像矩阵。
步骤五：通过已经搭建好的res_net50卷积神经网络模型分别对步骤三中获得的抽象风格图像的图像矩阵以及步骤四中获得的实物的3d模型图的图像矩阵进行卷积，提取featuremap特征映射，卷积均算其实就是简单的点乘运算，一个图像矩阵经过一个卷积核的卷积操作后，得到了另一个矩阵，这个矩阵叫做特征映射(featuremap)，
从res_net50卷积网络模型的实物的3d模型图的图像所有卷积层中随机选取一层卷积层，将该层的featuremap特征映射选定为实物的3d模型图的图像内容，
从res_net50卷积网络模型的抽象风格图像所有卷积层中随机选取一层卷积层，将该卷积层中所有的featuremap特征映射两两作内积并用所得的结果建立gram矩阵，获得的gram矩阵为抽象风格图像的图像风格；
步骤六：根据总体损失函数生成同时包括了实物的3d模型图的图像的内容和抽象风格图像的图像风格的风格转移图像，
所述总体损失函数为：
ltotal(p,a,x)＝αlcontent(p,x)+βlstyle(a,x)，
其中α和β分别代表内容和风格损失的权重，其和为1,p为原始的内容图像，a为原始的风格图像，x为待生成的图像。如果需要在合成图像中突出内容图像，则给予α较大权值；如果需要突出风格图像，则给予β较大权值，
通过图像内容差别公式，获得风格转移图像与实物的3d模型图的图像的内容p的差别lcontent(p,x)，
所述图像内容差别公式为：
其中，pij为原始的内容图像的卷积特征，fij为待生成图像的卷积特征，i表示卷积的第i个通道，j表示卷积的第j个位置；
通过图像风格差别公式，获得风格转移图像与抽象风格图像的图像风格a的差别lstyle(a,x)；
所述图像风格差别公式为
其中，gij为待生成图像的风格卷积特征，aij为原始风格图像的卷积特征，4n2m2是一个归一化项；
步骤七：根据生成的图像用梯度下降法修正x的像素值,逐步修正合成图像x的像素值，使之损失变到最小，获得最终的风格迁移后的图像，
图像的梯度求解就是这个二维离散函数的求导。图像的求导就是水平方向或者垂直方向的，相邻两个像素之间的差值。
g(x,y)＝dx(i,j)+dy(i,j)
dx(i,j)＝i(i+1,j)-i(i,j)
dy(i,j)＝i(i,j+1)-i(i,j)
其中,g(x,y)表示图像总体梯度，dx(i,j)表示水平方向梯度，dy(i,j)表示垂直方向梯度，i是图像像素的值(如：rgb值)，(i,j)为像素的坐标。
图像模糊是因为图像中物体的轮廓不明显，轮廓边缘灰度变化不强烈，层次感不强造成的，那么反过来考虑，轮廓边缘灰度变化明显些，层次感强些图像就更清晰些。本发明提出在原有的网络前加入densepose技术，首先对原始图像3d模型化，然后在卷积网络所提取出来的图像特征中，与风格图像进行比对结合，在最终获取的3d立体图像中加入图像梯度，使还原出来的图像立体化更明显。
本发明的模型融合技术，输入模型图象不再是单一的风格图像和原始图像，输入的风格图像可以由多张风格图像组成，通过对风格图像，颜色，纹理，边界等的融合，风格图像之间像进行图像运算，能够产生成倍数量的抽象的风格图像，最终的输出风格迁移后的图像不仅涵盖原风格图像，还有融合后的图像。