一种图像处理方法和装置与流程

1.本发明涉及图像识别技术领域，尤其涉及一种图像处理方法和装置。


背景技术：

2.在相关的应用程序中需要用户按照某些固定姿态进行拍照，从而保证取像的有效性，所以会预设一些人体轮廓线帮助用户与自身的姿态进行对齐，但每个人的形态各异，这种粗略的轮廓线无法保证用户姿态与预设轮廓线完美地重合，且用户需要调整多次姿态与拍摄角度。
3.针对上述由于现有技术中无法保证用户姿态与预设轮廓线完美地重合，导致拍照效率低的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.为解决上述技术问题，本发明实施例期望提供一种图像处理方法和装置，以至少解决由由于现有技术中无法保证用户姿态与预设轮廓线完美地重合，导致拍照效率低的问题。
5.本发明的技术方案是这样实现的：第一方面，本发明实施例提供一种图像处理方法，包括：对获取到的图片进行目标区域分割，得到图片的目标区域；对图片进行目标细节纹理提取，得到目标区域的目标细节纹理；对目标区域和目标细节纹理进行叠加融合，得到融合后的图像；通过调节融合后的图像的透明度，得到拍照姿态模板。
6.可选的，对获取到的图片进行目标区域分割，得到图片的目标区域包括：在目标区域包括人体部位的情况下，获取用户终端中的图片；通过分割算法预测图片中每个像素是否为人体部位的概率；对满足人体部位的概率的像素所在区域进行提取，得到目标区域。
7.进一步地，可选的，对满足人体部位的概率的像素所在区域进行提取，得到目标区域包括：对满足人体部位的概率的像素所在区域进行提取，得到概率图；对概率图进行灰度转换，并将灰度转换后的概率图进行高斯处理，得到降噪后的灰度图；对降噪后的灰度图进行二值化阈值处理，得到目标区域。
8.可选的，对图片进行目标细节纹理提取，得到目标区域的目标细节纹理包括：将图片转换为灰度图；通过边缘检测算法对灰度图在x轴方向和y轴方向分别进行求导，得到x轴方向的求导图像和y轴方向的求导图像；对x轴方向的求导图像和y轴方向的求导图像进行叠加融合，得到融合后的图；通过预设算法对融合后的图进行处理，得到目标细节纹理。
9.进一步地，可选的，对目标区域和目标细节纹理进行叠加融合，得到融合后的图像包括：对目标区域、目标轮廓边缘线和目标细节纹理进行叠加融合，得到融合后的图像。
10.可选的，对目标区域、目标轮廓边缘线和目标细节纹理进行叠加融合，得到融合后的图像包括：将目标区域作为掩膜，从目标细节纹理中提取目标区域信息；对目标区域作二值化处理，得到目标轮廓线；将目标轮廓线和目标细节纹理进行叠加融合，得到融合后的图
像。
11.进一步地，可选的，通过调节融合后的图像的透明度，得到拍照姿态模板包括：将融合后的图像的前景部分像素设置为白色，图像透明度设置为全透明；将融合后的图像的背景部分像素置零，图像透明度设置为半透明；将调节透明度后的融合后的图像确定为拍照姿态模板。
12.可选的，该方法还包括：将融合后的图像的图片尺寸缩小至固定值，得到缩小后的融合后的图像；将融合后的图像的纹理图转换为第一通道数的图，并将第一通道数的图转换为第二通道数的图；对第二通道数的图进行遍历，其中，若第二通道数的图中的指定像素小于预设值，则将指定像素设置为第一值，透明度修改为第二值；若第二通道数的图中的指定像素大于预设值，则指定像素的像素值不变，透明度修改为第三值；将遍历后的第二通道数的图放大至融合后的图像的图片尺寸。
13.第二方面，本发明实施例提供一种图像处理装置，包括：分割模块，用于对获取到的图片进行目标区域分割，得到图片的目标区域；提取模块，用于对图片进行目标细节纹理提取，得到目标区域的目标细节纹理；融合模块，用于对目标区域和目标细节纹理进行叠加融合，得到融合后的图像；调节模块，用于通过调节融合后的图像的透明度，得到拍照姿态模板。
14.可选的，分割模块包括：获取单元，用于在目标区域包括人体部位的情况下，获取用户终端中的图片；预测单元，用于通过分割算法预测图片中每个像素是否为人体部位的概率；分割单元，用于对满足人体部位的概率的像素所在区域进行提取，得到目标区域。
15.本发明实施例提供了一种图像处理方法和装置。通过对获取到的图片进行目标区域分割，得到图片的目标区域；对图片进行目标细节纹理提取，得到目标区域的目标细节纹理；对目标区域和目标细节纹理进行叠加融合，得到融合后的图像；通过调节融合后的图像的透明度，得到拍照姿态模板，从而能够帮助用户准确、快速进行拍照取像的技术效果。
附图说明
16.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1为本发明实施例一提供的一种图像处理方法的流程示意图；图2为本发明实施例一提供的一种图像处理方法中叠加融合的示意图；图3为本发明实施例一提供的另一种图像处理方法的流程示意图；图4为本发明实施例二提供的一种图像处理装置的示意图。
具体实施方式
17.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
18.需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等
是用于区别不同对象，而不是用于限定特定顺序。
19.还需要说明是，本发明下述各个实施例可以单独执行，各个实施例之间也可以相互结合执行，本发明实施例对此不作具体限制。
20.实施例一第一方面，本发明实施例提供一种图像处理方法，图1为本发明实施例一提供的一种图像处理方法的流程示意图；如图1所示，本技术实施例提供的图像处理方法包括：步骤s102，对获取到的图片进行目标区域分割，得到图片的目标区域；可选的，步骤s102中对获取到的图片进行目标区域分割，得到图片的目标区域包括：在目标区域包括人体部位的情况下，获取用户终端中的图片；通过分割算法预测图片中每个像素是否为人体部位的概率；对满足人体部位的概率的像素所在区域进行提取，得到目标区域。
21.进一步地，可选的，对满足人体部位的概率的像素所在区域进行提取，得到目标区域包括：对满足人体部位的概率的像素所在区域进行提取，得到概率图；对概率图进行灰度转换，并将灰度转换后的概率图进行高斯处理，得到降噪后的灰度图；对降噪后的灰度图进行二值化阈值处理，得到目标区域。
22.具体的，本技术实施例中以拍人像为例进行说明，在本技术实施例中目标区域可以为人体区域，用户先拍摄一张包含人体部位的图片并上传，提取该图片中的人体区域作为前景，人体区域之外的部分作为背景。具体实施如下：（1）首先需要用户拍摄一张包含任意人体部位的图片，将这张图片作为原始图片上传后进行人体区域提取，具体是采用分割算法（deeplab v3+）预测每个像素是否为人体的概率（概率图分布范围在0-1之间，越接近于1的值表示该像素点为人体的概率越大，越接近于0的值表示该像素点为非人体的概率越大）（即，本技术实施例中的对满足人体部位的概率的像素所在区域进行提取，得到概率图）；（2），将概率图转换为0-255，并进行高斯模糊（高斯核尺寸设为5*5）处理（即，本技术实施例中对概率图进行灰度转换，并将灰度转换后的概率图进行高斯处理），以减少噪声的影响;（3），对经过去噪的灰度图进行二值化阈值处理，其阈值设置为125（对应步骤（1）中0.5概率值），经过二值化阈值的图像即分离了人和背景的区域；（4），图片中的人体区域作为前景被保留，非人体区域作为背景被过滤掉。
23.步骤s104，对图片进行目标细节纹理提取，得到目标区域的目标细节纹理；可选的，步骤s104中对图片进行目标细节纹理提取，得到目标区域的目标细节纹理包括：将图片转换为灰度图；通过边缘检测算法对灰度图在x轴方向和y轴方向分别进行求导，得到x轴方向的求导图像和y轴方向的求导图像；对x轴方向的求导图像和y轴方向的求导图像进行叠加融合，得到融合后的图；通过预设算法对融合后的图进行处理，得到目标细节纹理。
24.具体的，待将人体部位作为前景提取出来后，利用边缘检测算法（sobel）对前景部分进行边缘提取，作为人体的细节纹理（即，本技术实施例中的目标细节纹理）；具体实现如下：（1）首先将用户上传的原图转换为灰度图；
（2）利用边缘检测算法（sobel）对灰度图的x,y方向分别进行一阶求导；其中，分别对x和y方向进行一阶求导，所以可以得到两张一阶求导图；（3）然后将经过一阶求导的图像进行叠加融合；其中，将两张一阶求导图进行叠加融合；（4）融合后的图即为由sobel算法得到的细节纹理图，也就是说，此时的细节纹理包含有人体的细节纹理和背景的纹理。
25.步骤s106，对目标区域和目标细节纹理进行叠加融合，得到融合后的图像；可选的，步骤s106中对目标区域和目标细节纹理进行叠加融合，得到融合后的图像包括：对目标区域、目标轮廓边缘线和目标细节纹理进行叠加融合，得到融合后的图像。
26.可选的，对目标区域、目标轮廓边缘线和目标细节纹理进行叠加融合，得到融合后的图像包括：将目标区域作为掩膜，从目标细节纹理中提取目标区域信息；对目标区域作二值化处理，得到目标轮廓线；将目标轮廓线和目标细节纹理进行叠加融合，得到融合后的图像。
27.具体的，图2为本发明实施例一提供的一种图像处理方法中叠加融合的示意图，如图2所示，图2所用人像图片为已公开数据库的图像，该公开数据库的信息如表1所示：需要说明的是，本技术实施例提供的图2所示的人像图片，仅用以说明本技术实施例提供的图像处理方法中叠加融合的过程，以实现本技术实施例提供的图像处理方法为准，具体不做限定。
28.如图2所示，将由分割算法得到的人体区域、人体轮廓线（即，本技术实施例中的目标轮廓线）和由边缘检测算法得到的人体细节纹理（即，本技术实施例中的目标细节纹理）线进行叠加，使粗略的人体轮廓与精细的人体纹理融合为一个整体；具体实现如下：（1）依据获取的原图（该原图可以为彩色图片），以步骤s102中的二值化图片作为掩膜，从步骤s104中细节纹理图中提取人体区域信息（即，本技术实施例中的目标区域信息），经过此步骤后仅保留了人体区域的细节纹理，背景区域被过滤；（2）对步骤s102中的二值化图片再次进行二值化处理，得到了人体的轮廓（注意区分此处的人体轮廓和步骤s102中的人体区域不同——人体区域为人体占用图片的区域片，而人体轮廓仅为图像中人体的外部轮廓线）；（3）将人体轮廓线（粗略纹理）与人体纹理线（精细纹理）进行叠加，即可得到人体的整体纹理表示。
29.步骤s108，通过调节融合后的图像的透明度，得到拍照姿态模板。
30.可选的，步骤s108中通过调节融合后的图像的透明度，得到拍照姿态模板包括：将融合后的图像的前景部分像素设置为白色，图像透明度设置为全透明；将融合后的图像的背景部分像素置零，图像透明度设置为半透明；将调节透明度后的融合后的图像确定为拍
照姿态模板。
31.可选的，本技术实施例提供的图像处理方法还包括：将融合后的图像的图片尺寸缩小至固定值，得到缩小后的融合后的图像；将融合后的图像的纹理图转换为第一通道数的图，并将第一通道数的图转换为第二通道数的图；对第二通道数的图进行遍历，其中，若第二通道数的图中的指定像素小于预设值，则将指定像素设置为第一值，透明度修改为第二值；若第二通道数的图中的指定像素大于预设值，则指定像素的像素值不变，透明度修改为第三值；将遍历后的第二通道数的图放大至融合后的图像的图片尺寸。
32.具体的，将前景部分像素设为白色，图像透明度设置全透明，背景部分像素置零并设置为半透明，将这张图作为该用户的私人、定制化的人体轮廓，作为用户在后续拍照时的姿态模板。具体实现步骤如下：（1）将图片尺寸缩小到固定大小480*640（即，本技术实施例中的固定值），以减小后续像素遍历时间；（2）将步骤s106中融合后的纹理图（灰度图）转换为rgb 3通道的图（即，本技术实施例中的第一通道数的图），然后再将3通道图转换为包含透明度通道的4通道图（即，本技术实施例中的第二通道数的图）；其中，转换代码：image_edge.convert('rgba')；3通道为rgb通道，4通道为rgba通道，4通道相比较于3通道增加了透明度alpha通道，后续的图像融合也是基于alpha通道进行操作的。
33.（3）对转换后的图片进行遍历：a.若某像素值小于50（即，本技术实施例中的预设值），则将其像素设置为255（即，本技术实施例中的第一值），透明度修改为125（即，本技术实施例中的第二值）；b.若某像素值大于50，则保持像素值不变，透明度修改为255（即，本技术实施例中的第三值）；其中，在本技术实施例中遍历的目的是对每个像素的透明度值及像素值进行操作。
34.（4）遍历完成后，将透明度图重新放大为原尺寸，以保证透明度图和原图可以完全重合。其中，原尺寸为压缩至480*640之前的原尺寸。
35.如图2所示，拍照姿态模板最终可以在移动终端的照相功能（或拍照app）中使用。
36.综上，结合步骤s102至步骤s108，图3为本发明实施例一提供的另一种图像处理方法的流程示意图，如图3所示，本技术实施例提供的图像处理方法具体如下：s1，用户拍照并上传；其中，在本技术实施例中用于图像处理的图片可以是用户拍完上传后的图，也可以为用户实时拍摄的图。以用户拍完上传后的图为例进行说明，以实现本技术实施例提供的图像处理方法为准，具体不做赘述。
37.s2，基于深度学习算法（deeplab v3+）将人体区域分割出来；s3，基于边缘检测算法（sobel）将人体细节纹理提取出来；s4，将人体轮廓和细节纹理进行叠加融合；s5，将人体区域图像透明度设置为全透明，人体区域外的像素置零并设置为半透明；s6，将调整透明度后的图像作为后续拍照姿势模板。
38.本技术实施例提供的图像处理方法不仅在自然光下有效，且在特定光照下（如伍
德灯）也可以正确分割人体区域和提取人体细节纹理。与之前采用的预设人体轮廓框的方式不同，本技术实施例提供的图像处理方法得到的人体轮廓是用户私人的、定制化的轮廓框，所以利用该方法得到的轮廓框能够和用户姿态100%重合，且该轮廓中还包含了人体的细节纹理信息，使人体轮廓更加完整，方便用户更加容易对齐；由于每个用户的人体轮廓模板都是私人定制化的，所以可以快速和模板姿态进行对齐，无需多次调整姿态和拍摄角度；与相关技术中仅在自然光条件下进行辅助拍照不同，本技术实施例提供的图像处理方法可在任意光照条件下进行辅助拍照，可以同时分割人体轮廓和提取人体细节纹理，所以本技术实施例提供的图像处理方法在实用时更具通用性，不仅能够用于自然光条件，也能用于特殊光照（如伍德灯）条件下的辅助拍照。
39.本发明实施例提供了一种图像处理方法。通过对获取到的图片进行目标区域分割，得到图片的目标区域；对图片进行目标细节纹理提取，得到目标区域的目标细节纹理；对目标区域和目标细节纹理进行叠加融合，得到融合后的图像；通过调节融合后的图像的透明度，得到拍照姿态模板，从而能够帮助用户准确、快速进行拍照取像的技术效果。
40.实施例二第二方面，本发明实施例提供一种图像处理装置，图4为本发明实施例二提供的一种图像处理装置的示意图；如图4所示，本技术实施例提供的图像处理装置包括：分割模块42，用于对获取到的图片进行目标区域分割，得到图片的目标区域；提取模块44，用于对图片进行目标细节纹理提取，得到目标区域的目标细节纹理；融合模块46，用于对目标区域和目标细节纹理进行叠加融合，得到融合后的图像；调节模块48，用于通过调节融合后的图像的透明度，得到拍照姿态模板。
41.可选的，分割模块42包括：获取单元，用于在目标区域包括人体部位的情况下，获取用户终端中的图片；预测单元，用于通过分割算法预测图片中每个像素是否为人体部位的概率；分割单元，用于对满足人体部位的概率的像素所在区域进行提取，得到目标区域。
42.本发明实施例提供了一种图像处理装置。通过对获取到的图片进行目标区域分割，得到图片的目标区域；对图片进行目标细节纹理提取，得到目标区域的目标细节纹理；对目标区域和目标细节纹理进行叠加融合，得到融合后的图像；通过调节融合后的图像的透明度，得到拍照姿态模板，从而能够帮助用户准确、快速进行拍照取像的技术效果。
43.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
44.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
45.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
46.以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。