一种图像形状调节方法和调节装置与流程

本发明涉及计算机图形处理领域，特别涉及拟人图像的计算机图形处理。

背景技术：

现有技术中计算机对立体图形变化的处理主要是通过shader(渲染器，用于色彩、纹理、图案的渲染)完成。shader针对立体的图形对象具有较高的处理效率，但是对于平面图像的变形处理，直接通过shader处理存在不确定性。例如拟人图像的变形，渲染顶点存在一定的模糊度，直接进行shader使得处理过程难以调试，即使通过打断点，打印日志等手段也无法很好解决。而且针对不同类型GPU(图形处理器)实现的shader之间存在较大兼容性问题，简单的shader处理结果可以保持一致性，复杂的shader在不同GPU处理的结果存在一定的不确定性，会导致渲染误差。

而且GPU处理突出实时性缺乏有效的电源管理手段，对于移动终端而言功耗较大不利于续航时长。

技术实现要素：

有鉴于此，本发明实施例提供了一种图像形状调节方法和调节装置，用于解决在移动设备上图像形状处理存在复杂性和高能耗的技术问题。

本发明的图像形状调节方法，包括：

确定图像中的完整对象轮廓和对象属性；

基于完整对象轮廓和对象属性利用规律图形建立连续网格；

将局部对象与局部网格建立映射关系；

通过改变局部网格的属性，形成局部对象的变形数据；

将连续的网格属性作为渲染参数，利用GPU形成对完整对象的处理。

所述确定图像中的完整对象轮廓和对象属性包括：

确定脸部的轮廓；

确定五官的轮廓；

确定五官的关键特征位置。

所述基于完整对象轮廓和对象属性利用规律图形建立连续网格包括：

在脸部的轮廓位置设置关键特征点位；

在五官的关键特征位置设置关键特征点位；

在关键特征点位间结成连续网格。

所述将局部对象与局部网格建立映射关系包括：

将每一个网格与唯一对应的局部脸部形成对应关系；

将每一个网格与对应的局部脸部的纹理图案形成对应关系。

所述通过改变局部网格的属性，形成局部对象的变形数据包括：

记录被推拉的主动网格、主动网格的位移位置和顶点位置；

记录与推拉的网格相邻的被动网格、被动网格的位移位置和顶点位置；

更新连续网格中网格的形状和位置，形成渲染参数。

所述将连续的网格属性作为渲染参数，利用GPU形成对完整对象的处理包括：

将初始的连续网格、与网格对应的局部脸部的纹理图案和渲染参数通过图形处理接口传递至GPU。

本发明的图像形状调节装置，包括：

对象确定模块：用于确定图像中的完整对象轮廓和对象属性；

网格建立模块：用于基于完整对象轮廓和对象属性利用规律图形建立连续网格；

映射模块：用于将局部对象与局部网格建立映射关系；

网格调整模块：用于通过改变局部网格的属性，形成局部对象的变形数据；

输出模块：用于将连续的网格属性作为渲染参数，利用GPU形成对完整对象的处理。

所述对象确定模块包括：

主要轮廓确定子模块：用于确定脸部的轮廓；

次要轮廓确定子模块：用于确定五官的轮廓；

具体轮廓确定子模块：用于确定五官的关键特征位置。

所述网格建立模块包括：

轮廓特征定位子模块：用于在脸部的轮廓位置设置关键特征点位；

关键特征定位子模块：用于在五官的关键特征位置设置关键特征点位；

网格连接子模块：用于在关键特征点位间结成连续网格。

所述映射模块包括：

图像面积映射子模块：用于将每一个网格与唯一对应的局部脸部形成对应关系；

图像属性映射子模块：用于将每一个网格与对应的局部脸部的纹理图案形成对应关系；

所述网格调整模块包括：

主动调整子模块：用于记录被推拉的主动网格、主动网格的位移位置和顶点位置；

被动调整子模块：用于记录与推拉的网格相邻的被动网格、被动网格的位移位置和顶点位置；

更新子模块：用于更新连续网格中网格的形状和位置，形成渲染参数。

所述输出模块包括：

接口适配子模块：用于将初始的连续网格、与网格对应的局部脸部的纹理图案和渲染参数通过图形处理接口传递至GPU。

本发明的图像形状调节方法和调节装置，可以充分利用特定对象的特征属性确定在图像中特定对象的准确范围，同时确定特定对象中的关键特征位置。这些关键特征位置形成特定对象的基本坐标体系，用于建立关键特征间的准确位置关联，即连续的网格。通过主动调整局部关键特征的位置，就可以获得主动调整后的局部关键特征的变化位置坐标，即局部网格属性，以及受主动调整的局部关键特征的影响，其他被动调整的局部关键特征的变化位置坐标，即其他网格属性。这样就可以实现利用通用的识别算法在通用处理器上完成特定图像的渲染参数变换处理，形成的结果参数可以直接应用于具有渲染一致性的基本拉伸、扭曲或渲染过程，保证了不同类型GPU的渲染效果。完全满足在不同移动终端GPU上的通用性，避免了GPU高级数据处理的高能耗。

附图说明

图1为本发明图像形状调节方法一实施例的处理流程图。

图2为本发明图像形状调节方法另一实施例的处理流程图。

图3为本发明图像形状调节装置一实施例的处理流程图。

图4为本发明图像形状调节装置另一实施例的处理流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。

图1为本发明图像形状调节方法一实施例的处理流程图。如图1所示，本发明一实施例的图像形状调节方法，包括：

步骤01：确定图像中的完整对象轮廓和对象属性；

步骤02：基于完整对象轮廓和对象属性利用规律图形建立连续网格；

步骤03：将局部对象与局部网格建立映射关系；

步骤04：通过改变局部网格的属性，形成局部对象的变形数据；

步骤05：将连续的网格属性作为渲染参数，利用GPU形成对完整对象的处理。

本发明一实施例的图像形状调节方法，可以充分利用特定对象的特征属性确定在图像中特定对象的准确范围，同时确定特定对象中的关键特征位置。这些关键特征位置形成特定对象的基本坐标体系，用于建立关键特征间的准确位置关联，即连续的网格。通过主动调整局部关键特征的位置，就可以获得主动调整后的局部关键特征的变化位置坐标，即局部网格属性，以及受主动调整的局部关键特征的影响，其他被动调整的局部关键特征的变化位置坐标，即其他网格属性。这样就可以实现利用通用的识别算法在通用处理器上完成特定图像的渲染参数变换处理，形成的结果参数可以直接应用于具有渲染一致性的基本拉伸、扭曲或渲染过程，保证了不同类型GPU的渲染效果。完全满足在不同移动终端GPU上的通用性，避免了GPU高级数据处理的高能耗。

在本发明一实施例的图像形状调节方法中，上述步骤01中的完整对象轮廓为脸部轮廓或头部正面轮廓，对象属性为五官的属性，包括但不限于、颧骨最高点、眉骨最高点、内眼角、外眼角、嘴角、内侧眉尖、外侧眉尖、鼻准、鼻孔和瞳孔等具体关键特征位置。

上述步骤02中，完整对象轮廓中涵盖其他对象的最大对象可以作为连续网格的参考边界。当最大对象为脸部，立案的轮廓边缘可以作为连续网格的参考边界，参考边界外延可以形成随动的外延网格，用于适配脸部与周围环境的变化。

上述步骤04中，局部网格的属性包括形状属性，形状的顶点坐标属性。

上述步骤05中，渲染参数包括改变的网格顶点坐标。GPU利用OpenGL和Direct3D都支持的vertex shader来实时改变网格顶点坐标，即利用OpenGL和Direct3D都支持的纹理映射方法来改变渲染到屏幕上的结果。

图2为本发明图像形状调节方法另一实施例的处理流程图。如图2所示，在本发明一实施例的图像形状调节方法中，上述步骤01包括：

步骤11：确定脸部的轮廓。可以将彩色图像转换为灰度图像后，进行聚类处理以获得脸部的轮廓。

步骤12：确定五官的轮廓。可以将彩色图像转换为灰度图像后，进行聚类处理以获得五官的轮廓。

步骤13：确定五官的关键特征位置。可以五官的生理特点数据识别无关的关键特征位置。

在本发明一实施例的图像形状调节方法中，上述步骤02包括：

步骤21：在脸部的轮廓位置设置关键特征点位。轮廓的关键特征点位包括但不限于脸部的对称轴端点、连续虚线的最大偏移点和端点、离散的对称点等。

步骤22：在五官的关键特征位置设置关键特征点位。五官的关键特征点位包括但不限于上述的生理特点的点位。

步骤23：在关键特征点位间结成连续网格。连续网格的网格为三角形或以三角形为主，连续网格为二维网格，三角形的顶点分别为相邻的点位。

在本发明一实施例中，连续网格周边(即脸部轮廓)向外延伸形成随动连续网格的外延网格，外延网格作为连续网格的边界，以三角形成。

在本发明一实施例中，以包括连续网格的相应图像像素为中心，连续网格外延形成更大的被动随动网格。被动随动网格的边缘网格与中心网格的变化相关性随距离增加弱化。

在本发明一实施例的图像形状调节方法中，上述步骤03包括：

步骤31：将每一个网格与唯一对应的局部脸部形成对应关系。对应关系既包括每个网格与覆盖的相应局部脸部的面积对应关系，也包括与局部脸部的顶点位置的对应关系。在本发明一实施例中，每一个网格与唯一对应的局部脸部可以替换为唯一对应的脸型或五官对象与相应一组网格唯一对应，形成对应关系。

步骤32：将每一个网格与对应的局部脸部的纹理图案形成对应关系。包括每个网格与覆盖的相应局部脸部的面积内的图像属性，包括但不限于纹理、色彩、亮度等图像属性。

在本发明一实施例的图像形状调节方法中，上述步骤04包括：

步骤41：记录被推拉的主动网格、主动网格的位移位置和顶点位置。主动网格包括受控改变形状或/和发生位移改变位置的网格。

步骤42：记录与推拉的网格相邻的被动网格、被动网格的位移位置和顶点位置。被动网格包括传导主动网格变化，形成形状或/和发生位移改变位置的网格。

步骤43：更新连续网格中网格的形状和位置，形成渲染参数。这些形成的网格顶点的修改坐标放入Vertex Shader，就可以控制网格的形状。

在本发明一实施例的图像形状调节方法中，上述步骤05包括：

步骤51：将初始的连续网格、与网格对应的局部脸部的纹理图案和渲染参数通过图形处理接口传递至GPU。图形处理接口包括但不限于DirectX、OpenGLES等标准的接口或接口子集。

GPU在获得上述数据后根据渲染参数完成对原始脸部图像的变形和渲染，实现脸型调整。本发明一实施例的图像形状调节方法，充分利用CPU完成了精细对象脸部的主要变形参数的获得，大大缩短了GPU高负荷处理时长，降低了能耗。GPU获得参数仅需要完成简单的处理渲染过程，保持了对图像处理软件硬件的兼容性和输出一致性。

GPU的处理过程包括：

利用纹理映射的机理，来改变屏幕上脸部像素的位置；

先针对随动网格绘制原始全屏纹理；

再针对外延的人脸网格来绘制变形后的全屏纹理。

此种方法，可以保证脸型变化可以限制在外延网格的范围内，不会影响到屏幕远处不该随之一起产生变形之处。

图3为本发明图像形状调节装置一实施例的处理流程图。如图3所示，与本发明一实施例的图像形状调节方法相应，本发明一实施例的图像形状调节装置，包括：

对象确定模块100：用于确定图像中的完整对象轮廓和对象属性；

网格建立模块200：用于基于完整对象轮廓和对象属性利用规律图形建立连续网格；

映射模块300：用于将局部对象与局部网格建立映射关系；

网格调整模块400：用于通过改变局部网格的属性，形成局部对象的变形数据；

输出模块500：用于将连续的网格属性作为渲染参数，利用GPU形成对完整对象的处理。

图4为本发明图像形状调节装置另一实施例的处理流程图。如图4所示，在本发明一实施例的图像形状调节装置中，对象确定模块100包括：

主要轮廓确定子模块110：用于确定脸部的轮廓。可以将彩色图像转换为灰度图像后，进行聚类处理以获得脸部的轮廓。

次要轮廓确定子模块120：用于确定五官的轮廓。可以将彩色图像转换为灰度图像后，进行聚类处理以获得五官的轮廓。

具体轮廓确定子模块130：用于确定五官的关键特征位置。可以五官的生理特点数据识别无关的关键特征位置。

在本发明一实施例的图像形状调节装置中，网格建立模块200包括：

轮廓特征定位子模块210：用于在脸部的轮廓位置设置关键特征点位。轮廓的关键特征点位包括但不限于脸部的对称轴端点、连续虚线的最大偏移点和端点、离散的对称点等。

关键特征定位子模块220：用于在五官的关键特征位置设置关键特征点位。五官的关键特征点位包括但不限于上述的生理特点的点位。

网格连接子模块230：用于在关键特征点位间结成连续网格。连续网格的网格为三角形或以三角形为主，连续网格为二维网格，三角形的顶点分别为相邻的点位。

进一步，还用于连续网格周边(即脸部轮廓)向外延伸形成随动连续网格的外延网格，外延网格作为连续网格的边界，以三角形成。

进一步，还用于以包括连续网格的相应图像像素为中心，连续网格外延形成更大的被动随动网格。被动随动网格的边缘网格与中心网格的变化相关性随距离增加弱化。

在本发明一实施例的图像形状调节装置中，映射模块300包括：

图像面积映射子模块310：用于将每一个网格与唯一对应的局部脸部形成对应关系。对应关系既包括每个网格与覆盖的相应局部脸部的面积对应关系，也包括与局部脸部的顶点位置的对应关系。

图像属性映射子模块320：用于将每一个网格与对应的局部脸部的纹理图案形成对应关系。包括每个网格与覆盖的相应局部脸部的面积内的图像属性，包括但不限于纹理、色彩、亮度等图像属性。

在本发明一实施例的图像形状调节装置中，网格调整模块400包括：

主动调整子模块410：用于记录被推拉的主动网格、主动网格的位移位置和顶点位置。主动网格包括受控改变形状或/和发生位移改变位置的网格。

被动调整子模块420：用于记录与推拉的网格相邻的被动网格、被动网格的位移位置和顶点位置。被动网格包括传导主动网格变化，形成形状或/和发生位移改变位置的网格。

更新子模块430：用于更新连续网格中网格的形状和位置，形成渲染参数。

在本发明一实施例的图像形状调节装置中，输出模块500包括：

接口适配子模块510：用于将初始的连续网格、与网格对应的局部脸部的纹理图案和渲染参数通过图形处理接口传递至GPU。图形处理接口包括但不限于DirectX、OpenGLES等标准的接口或接口子集。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。