一种图片处理方法和装置与流程

本发明涉及一种图片处理方法和装置，尤其涉及一种替换指定对象的图片处理方法和装置。

背景技术：
在人们的日常生活中，随着照相机和摄像机的普及，相片或者视频的拍摄已经越来越广泛，伴随而来的用户对相片和视频的要求也越来越高，用户希望视频和相片的质量能越来越好的基础上，能够对照片和视频中一些不令人满意的地方进行处理，而在现有的处理方法中，针对视频的处理方式只能以视频帧为最小处理单元进行简单的分割和合成处理，无法精确到对视频画面中特定的物体进行跟踪和处理。由于视频中很多物体都是运动的，每一时刻物体所见的角度基本都不同，给物体跟踪和替换带来了很大困难。而针对图片的处理方式中只可以对单帧图像中的特定物体进行处理，无法对动态画面进行处理。而且静态图片中替换物体时必须要找一张与物体所见角度非常接近的一张图像作为替换素材，否则替换后的图片显得不伦不类。比如想替换照片中某个人正面照的头像，那么必须要拍摄一张同样是正面照的头像才可以替换，如果用某个侧面照的头像去替换，则人身体和脸部就会不协调，而且脸部和颈部很难进行无缝拼接。如果想要对一组图片中某个人的头像进行替换，而这一组图片中每张人脸的所见偏离角度都不同，则需要拍摄更多不同角度的照片与之相对应，然后通过手动完成替换操作。操作繁琐，用户体验差。所以如何在保证图片或视频指定对象替换的质量上，快速精确的进行替换是亟需解决的问题。

技术实现要素：
本发明提供一种图片处理方法和装置，解决了无法精确的快速替换图片或视频中指定对象的问题。为解决上述技术问题，本发明采用的技术方案如下：一种图片处理方法，包括以下步骤：采集物体的一张全景图片，或者该物体N个不同视角的成像或带有所述成像的图片，其中N≥2；获取待处理图片中待替换成像的空间信息，计算待替换成像的空间信息的变化量，根据该变化量在采集的所述成像或带有所述成像的图片中匹配对应的成像；用匹配到的所述物体的成像替换所述待处理图片中的待替换成像。进一步地，在采集物体的一张全景图片，或者该物体N个不同视角的成像或带有所述成像的图片步骤之后，还包括：获取所述物体各个成像的空间信息，将其中一个成像作为标准成像，将从所述标准成像中获取到的空间信息作为标准空间信息，计算从其他各个成像中获取到的空间信息与所述标准空间信息的变化量，将计算出的变化量与对应的成像或图片关联，并保存在数据库中；而所述计算待替换成像的空间信息的变化量，根据该变化量在采集的所述成像或带有所述成像的图片中匹配对应的成像步骤的具体处理方式为：计算待替换成像的空间信息与所述标准空间信息的变化量，根据该变化量在所述数据库中匹配对应的成像。更进一步地，所述获取物体各个成像的空间信息和所述获取待处理图片中待替换成像的空间信息的方法为：获取所述物体的各个成像上和所述待处理图片中待替换成像上同一识别区的空间信息；所述识别区包括：所述物体上选定的两个基准点在所述物体的成像上的连线。更进一步地，所述变化量的计算方法为：获取所述两个基准点在待计算变化量的成像上的第一连线和所述两个基准点在标准成像上的第二连线；将所述第一连线和第二连线中长度较长的一者作为直角三角形的斜边，另一者作为所述直角三角形的一个直角边；根据所述斜边和所述直角边的长度计算所述两个边的夹角。更进一步地，所述物体为人脸、人头、人身中的至少一种；若所述待替换成像为人头，则在采集同一N个不同视角的成像或带有所述成像的图片的步骤之后还包括：针对相同的所述成像的面部表情设置相同的表情参数；生成期望替换的成像的表情参数指令；而在根据该变化量在所述数据库中匹配对应的成像的步骤之前还包括：根据所述表情参数指令在数据库中选择与表情参数对应的成像；在选择的成像中，根据所述变化量匹配对应的成像。更进一步地，在计算待替换成像的空间信息与所述标准空间信息的变化量的步骤之前还包括：计算所述待替换成像与所述物体的成像的缩放比例，获得缩放因子；根据所述缩放因子计算待替换成像的空间信息与所述标准空间信息的变化量；此外，用匹配到的所述物体的成像替换所述待处理图片中的待替换成像的具体处理过程为：根据所述缩放因子将所述匹配到的所述物体的成像缩小或放大到待替换成像的大小；并用缩小或放大之后的所述物体的成像替换所述待处理图片中的待替换成像。本申请还提供一种图片处理装置，包括:采集模块、数据库、计算模块、匹配模块和替换模块；所述采集模块用于采集物体的一张全景图片，或者该物体N个不同视角的成像或带有所述成像的图片，其中N≥2；以及采集待处理图片中待替换成像的空间信息；所述计算模块用于计算待替换成像的空间信息的变化量；所述匹配模块用于根据该变化量在采集的所述成像或带有所述成像的图片中匹配对应的成像；所述替换模块用于用匹配到的所述物体的成像替换所述待处理图片中的待替换成像。进一步地，本申请的图片处理装置还包括数据库；所述获取模块还用于获取所述物体的各个成像的空间信息，将其中一个成像作为标准成像，将从所述标准成像中获取到的空间信息作为标准空间信息；所述计算模块具体用于计算从其他各个成像中获取到的空间信息与所述标准空间信息的变化量；以及计算待替换成像的空间信息与所述标准空间信息的变化量；所述数据库用于根据各个成像中获取到的空间信息与所述标准空间信息的变化量，将对应的成像或图片相关联，并保存所述成像或图片；所述匹配模块具体用于根据所述变化量在所述数据库中匹配对应的成像。进一步地，所述获取模块具体用于获取所述物体的各个成像上和所述待处理图片中待替换成像上同一识别区的空间信息；所述识别区包括：所述物体上选定的两个基准点在所述物体的成像上的连线；所述计算模块具体用于获取所述两个基准点在待计算变化量的成像上的第一连线和所述两个基准点在标准成像上的第二连线；将所述第一连线和第二连线中长度较长的一者作为直角三角形的斜边，另一者作为所述直角三角形的一个直角边，并根据所述斜边和所述直角边的长度计算所述两个边的夹角。更进一步地，所述物体为人脸、人头、人身中的至少一种；若所述待替换成像为人头，则所述数据库还用于针对相同的所述成像的面部表情设置相同的表情参数，并根据表情参数指令在数据库中选择与表情参数对应的成像，所述表情参数指令根据用户期望替换的成像的面部表情生成的指令；而所述匹配模块则具体用于在所述数据库选择的成像中，根据所述变化量匹配对应的成像。本发明的有益效果是：通过采集同一物体不同视角的多个成像或带有成像图片预先存储在数据库中，然后计算待替换成像的空间信息与标准成像的标准空间信息的变化量，匹配对应的成像来像替换待替换成像。使图片或视频中的指定对象能够快速的完成替换。此外，因为增加了对待替换成像空间信息变化量的计算，从而能够使替换的成像更贴近于待替换的成像，实现指定对象的精确替换。进一步的，通过自动计算变化量以及自动替换对象的过程，简化了用户的操作，提高了用户的体验度。同时，在本申请中还通过设置不同表情参数，实现用户以他种表情替换原始表情的要求，提高了对指定物体替换的多样性，进一步提高了用户的体验度，扩展了视频及图片处理的功能。附图说明图1为本发明一实施例中视频处理装置结构示意图；图2为本发明一实施例中图片处理装置结构示意图；图3为本发明一实施例中图片处理方法流程图；图4为本发明一实施例中标准成像的空间信息示意图；图5为本发明一实施例中物体的一个成像的空间信息示意图；图6为本发明一实施例中变化量计算方法示意图。具体实施方式本发明的总体构思为:采集同一物体多个不同视角的成像或者带有成像的图片存储在数据库中，并计算待处理图片中待替换成像的空间信息与标准空间信息的变化量，并根据该变化量在数据库中匹配对应的成像予以替换。在本实施例中，在数据库中存储的可以只是物体的不同视角的成像，也可以是将成像放置在图片等载体上，待替换时从图片中截取对应的成像对待替换成像进行替换操作。也就是说本申请中只需要在数据库中存储相应物体的成像信息，就能按照需求自动的检测和计算需要进行替换操作的视频或者图片中待替换成像的偏离角度，并在数据库中选择相应偏离角度的成像进行替换。为使本发明的技术方案和优点更加清楚，下面通过具体实施方式结合附图对本发明作进一步详细说明。请参考图1，在本申请中提供一种图片处理装置20，其可以包含在视频处理装置10中，即也可以通过抽取视频帧对视频中的成像进行替换，视频处理装置10还可以进一步包括标记模块30。其中，标记模块30主要用于对对组成视频的各帧图片中的待替换成像进行标记，而图片处理装置20则主要用于对被标记的待替换成像进行替换。请参考图2，在本实施例中，图片处理装置20的具体结构包括：采集模块201、数据库202、计算模块203、匹配模块204和替换模块205。其中，采集模块201主要用于采集物体的一张全景图片，或者该物体N个不同视角的成像或带有所述成像的图片，其中N≥2。此外为了计算带替换图片或者采集的成像上的变化量，获取模块还用于获取物体的各个成像的空间信息，将其中一个成像作为标准成像，将从标准成像中获取到的空间信息作为标准空间信息；以及采集待处理图片中待替换成像的空间信息，待替换成像可以为相同物体的成像，也可以为用户选择的其他物体的成像；在本实施例中，采集模块201获取的空间信息可以为多种，如该物体成像的方位信息等等，通过对比待替换成像与标准成像的方位信息就能得到两者之间的偏离参数，从而获得选择替换图片的对应参数。而较优的，获取模块具体可以获取物体的各个成像上和待处理图片中待替换成像上同一识别区的空间信息，该识别区可以包括物体成像上的识别信息，如能够对物体进行定位的基准点或基准面的信息，一种较优的设置方式可以将识别区设置为物体上选定的两个基准点在所述物体的成像上的连线。而通过在物体的各个成像上和待替换成像上相同位置的两个基准点的连线进行计算，从而获得待替换成像的变化量。计算模块203主要用于计算从其他各个成像中获取到的空间信息与标准空间信息的变化量；以及计算待替换成像的空间信息与标准空间信息的变化量；此外，根据获取模块获取的空间信息的不同，计算模块203可以对变化量进行多种计算方法，较优的，以物体上选定的两个基准点在所述物体的成像上的连线为识别区为例，进行简要说明，计算模块203具获取两个基准点在待计算变化量的成像上的第一连线和两个基准点在标准成像上的第二连线；将第一连线和第二连线中长度较长的一者作为直角三角形的斜边，另一者作为直角三角形的一个直角边，并根据斜边和直角边的长度计算两个边的夹角，而计算得到的该夹角的值就是对应成像的变化量的值。数据库202用于根据各个成像中获取到的空间信息与标准空间信息的变化量，将对应的成像或图片相关联，并保存成像或图片。而在实际生活中哦你哦个，人们大部分的视频或者图片对人像的处理占了大多数需求，而为了对待替换成像进行更为多样性的选择，本实施例中的数据库202还可以存储不同面部表情的物体成像。而为了方便调用，具体的，数据库202针对相同的成像的面部表情设置相同的表情参数，并根据用户的表情参数指令在数据库202中选择与表情参数对应的成像，并通知匹配模块204在选定的成像中匹配对应的成像。从而实现了用户以他种表情替换原始表情的需求。匹配模块204用于根据计算模块203计算出的待替换成像的空间信息与标准空间信息的变化量，在数据库202中匹配对应的成像。替换模块205用于将匹配到的物体的成像替换待处理图片中的待替换成像。此外，在一实施例中，计算模块203还包括：缩放因子计算单元2031和变化量计算单元2032；其中，缩放因子计算单元2031用于计算待替换成像与所述物体的成像的缩放比例，获得缩放因子；变化量计算单元2032用于根据缩放因子计算待替换成像的空间信息与标准空间信息的变化量；替换模块205还用于根据缩放因子将所述匹配到的物体的成像缩小或放大到待替换成像的大小，并用缩小或放大之后的物体的成像替换待处理图片中的待替换成像。因为在对待替换图片替换前后，图片中相应位置的光线可能会存在偏差，又或者在两者替换位置的拼接处位置会存在结合粗糙的点。所以在一实施例中，还包括有调整模块206，其用于根据待处理图片中的光线强度，对替换后的图片进行光线优化处理；或/和对替换后的图片的拼接边界进行平滑处理。以消除上述的缺陷。在本实施例中，除了可以将同一物体的不同视角的成像对待替换成像进行替换外，还可以指定不同物体的成像对待替换成像进行替换，例如可以选择使用他人的头像或者物品来对待替换图片中的成像进行替换，从而使用户能够根据自身需求对待替换成像的替换对象选择方式更为多样化。下面结合附图，对本申请中图片处理装置20各个组成模块的功能应用以及本申请提供的图片处理方法做详细说明。在本实施例中，提供一种图片处理方法，其具体包括以下步骤：步骤302：采集物体的一张全景图片，或者该物体N个不同视角的成像或带有所述成像的图片，其中N≥2；步骤304：获取待处理图片中待替换成像的空间信息；步骤306：计算待替换成像的空间信息的变化量，根据该变化量在采集的所述成像或带有成像的图片中匹配对应的成像；步骤308：用匹配到的物体的成像替换所述待处理图片中的待替换成像。请参考图3，而为了能使本申请中的图片处理方法得到更详细的说明，在本实施例中，将对图片处理的具体过程做详细展示，其具体可包括以下几个步骤：步骤402：采集物体的一张全景图片，或者该物体N个不同视角的成像或带有所述成像的图片；进入步骤404；在本步骤中，由采集模块201采集需要进行替换的物体不同视角的成像，或者采集带有该物体成像的图片。而采集的方式可以有很多中，一种较优的方式为，通过对所要替换的物体拍摄一张三维球形全景的照片为素材，也就是说本申请中关于物体成像的采集可以对物体进行360度的全景照片作为素材，也可以直接对物体N个不同视角的成像进行采集，组成图片组，以备提取使用。步骤404：获取物体各个成像的空间信息，并计算变化量；进入步骤306；在本步骤中，由采集模块201对采集来的物体的各个成像进行分析，获取各个成像的空间信息，并交由计算模块203进行计算，获得各个成像的变化量。其具体是通过将物体各个成像中的一个成像作为标准成像，将从该标准成像中获取到的空间信息作为标准空间信息。并以此为标准对各自的空间信息进行计算获取变化量。而在本实施例中，空间信息的获取位置主要来自于各个成像上的同一识别区，而该识别区的较优设置方式为物体上选定的两个基准点在所述物体的成像上的连线。此外，在本实施例中，所指定的物体可以为任意可存在于图片或视频中的物体，而在人们日常生活中，较常是对人头、人脸、人等部位进行编辑处理。所以为了更为清楚的对本申请中的变化量计算方法做详细说明，下面以人头为例，对本申请中变化量的计算方法选择其中较优的两种进行说明：第一种：以人头中的人脸正面照为标准成像，并选取两眼之间的连线为识别区，以水平参考线与两眼之间的连线的夹角或者连线的长度信息作为空间信息。请参考图4，此时，因为标准成像中两眼之间的连线L与水平参考线P重合，所以设其的水平长度X1=10cm，垂直长度Y1=0cm。同时获取物体的一个成像的同一识别区的空间信息，请参考图5，该成像的空间信息为：两眼之间的连线L’的长度为5cm，其水平长度X2=4cm，垂直长度Y2=3cm，其连线L’与水平参考线的夹角a约为37度。而该成像与标准成像的变化量可以采用角度来表示，用角a减去标准成像中连线L与水平参考线P的夹角，即37-0=37度；亦或者采用水平长度与垂直长度的变化值来表示该成像的变化量，即用X1-X2，Y1-Y2来表示，X=X1-X2=10-4=6cm，Y=Y1-Y2=0-3=-3。所以采用上述方法可以将该成像的变化量表示为角度差为37度，或者X=6,Y=-3。在本种方法中，X可以表示成像在第一维度上的长度变化值，而Y可以表示成像在第二维度上的长度变化值，而在第三维度上可以通过计算待替换成像与物体成像之间的缩放因子的方式来进行计算，从而通过三个维度上的变化量来确定物体成像与标准成像立体的变化趋势，获得更为精确的替换参数。第二种：获取成像上两眼之间的连线作为第一连线，获取标准成像上的两眼连线上为第二连线；将第一连线和第二连线中长度较长的一者作为直角三角形的斜边，另一者作为所述直角三角形的一个直角边；根据斜边和直角边的长度计算所述两个边的夹角。具体的请参考图6，可以从人头顶向下的俯视图，图中以左眼为圆心O，标准成像中两眼之间的距离r为半径作圆。右眼M在圆边界移动表示人脸偏离一定角度。人脸偏离后两眼之间的距离在水平的圆心轴线上映射的长度d为图像中实际测得的两眼中的距离。标准成像中两眼之间的距离r与成像中实测的两眼距离d满足余弦函数关系。本方案中，因选用正面人脸头像作为标准成像，所以两眼之间的实际距离和实测距离均为水平的圆心轴线的长度r，对应偏离角度为0。若右眼从M点移动到N点时，以r为直角三角形的斜边，d为一个直角边，从而计算两边之间的夹角b，b=arccos（d/r）。如，正面照的头像，图像中实测的两眼之间的距离d为r，则人脸偏离的角度b=arccos(1)=0°；侧面照的头像，一只眼睛刚好被另外一只眼睛遮挡，故两眼之间的实测距离d为0，则人脸偏离的角度b=arccos(0)=90°。以此类推，可以计算出任意成像中的变化值，而上述方法中只列举了一个维度上进行变化量计算的方法，其他维度上计算变化量的方式与上述方式相同，在此就不做赘述。通过以上两种方法，可以将获得的计算量与对应的物体成像相关联，并存储在数据库202中，以备查询和匹配。步骤406：获取待处理图片中待替换成像的空间信息，并计算变化量；进入步骤410；在本步骤中，通过获取待处理图片中的待替换成像的空间信息，并根据标准成像中的空间信息，计算变化量。而变化量的计算方法与步骤304中的计算方法类似，其中不同点在于，当待替换成像与标准成像的图片大小不相同时，还需要计算待替换成像与标准成像之间的缩放因子，并通过该缩放因子，使变化量的计算合理正确具体的，上述第二种方法中计算偏离角度的公式可以写为：b=arccos（d/Ar）（缩放因子为A）。在本实施例中，若所要替换的物体为人头时，在本步骤之后，步骤310之前还可以包括步骤308：选择需要替换的表情；进入步骤310；在步骤408中，首先由数据库202对采集模块201采集的物体的成像进行参数设置，具体为针对相同的所述成像的面部表情设置相同的表情参数；当用户有需求，需要指定表情尽情替换时，数据库202根据表情参数指令在其中选择与表情参数对应的成像，所述表情参数指令实根据用户期望替换的成像的面部表情生成的指令，并通知匹配模块204在选择出的成像中进行成像匹配。步骤410：为待替换成像匹配对应的成像；在本步骤中，由匹配模块204根据计算模块203计算出的待替换成像的变化量与数据库202中的物体成像的变化量进行比较，选择最为接近的成像作为替换成像。步骤412：用匹配成功的成像替换待替换成像。在本步骤中，替换模块205根据匹配模块204匹配成功的成像对待替换成像进行替换。而在替换之前，若待替换成像的大小与替换成像的大小不同，则利用计算单元计算出的缩放因子将替换成像缩放到与待替换成像相同的大小后进行替换。在本步骤之后还可以包括步骤414；步骤414：对替换后的图片进行调整；在本步骤中，因为在对待替换图片替换前后，图片中相应位置的光线可能会存在偏差，又或者在两者替换位置的拼接处位置会存在结合粗糙的点。所以通过调整模块206根据待处理图片中的光线强度，对替换后的图片进行光线优化处理；或/和对替换后的图片的拼接边界进行平滑处理。以消除上述的缺陷。在步骤412之后，若处理的为视频信息，则还包括以下步骤：步骤416：检测是否为最后一帧待替换图片，是则进入步骤304；否则结束。下面就以具体的实施方式对本申请中视频处理方法做简要说明：步骤502：拍摄一组三维球形全景的照片，拍摄照片时以人脸的正面作为拍摄起点，与人脸偏离角度检测模型相对应。如果用户想要更多丰富的表情，可以拍摄各种表情的全景照片各一张。步骤504：人脸ID和表情识别。人脸识别前需要先将视频或图片进行解码，得到原始的YUV或RGB色彩空间。识别视频或图片中指定的人脸，需要能准确识别人脸的正面头像和侧面头像，识别到人脸后需进行ID标识，该方案只替换视频或图片中指定的相同ID的人脸，不会替换没有指定的不同ID号的人脸；在人脸ID识别的基础上可以加入表情识别，这样可以使替换后的视频或图片表情更加丰富。步骤506：人脸偏离角度检测，利用步骤304中的人脸偏离角度检测模型计算人脸偏离的角度，同样只检测指定的ID号对应的人脸的偏离角度；步骤508：找到与当前画面中的人物表情相匹配的全景照片，然后根据计算的偏离角度截取全景照片中相匹配的人脸图片，然后合成到视频或图片中指定的人脸。合成时先要根据当前头像的大小和基准头像的大小的比例对截取的图片进行缩放处理然后再进行合成，同时需要进行边界的平滑处理，保证画面拼接的部分看起来是平滑过渡；步骤510：一幅画面处理完毕后再对当前处理后的数据帧进行视频或图片的压缩，直到所有的画面都处理完毕；通过本申请提供的视频或图片的处理方法，替换或美化视频或图片中某个指定的物体，例如将影片中主角换成自己的头像生成一部由自己主演的影片，或针对自己拍摄的视频进行美化，如用微笑时的人脸头像替换视频或图片中严肃时的人脸头像，用朝气蓬勃时的头像替换状态不佳时的人脸头像。娱乐性和实用性兼备。同时本发明只需要拍摄一张三维球形全景的照片作为替换素材就可以替换整部视频或图片中各种偏离角度的人脸头像，用户操作更加简便；此外，本发明可以自动检测视频或图片中人脸的偏离角度，然后自动匹配相对应角度的全景照片中的图片，完全自动化操作，不需要手动挑选合适角度的图片进行匹配和替换。从而实现精确的快速实现对指定对象的替换，极大的提高了用户的体验度。以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。