一种数据处理方法及装置与流程

本发明涉及数据处理，尤其涉及一种数据处理方法及装置。

背景技术：

1、现有技术在图像人脸替换领域已取得较多突破和应用，而视频人脸替换场景则面临更多的技术瓶颈。具体的，现有视频人脸替换技术通常是将视频拆解成一系列独立的帧，再分别基于图像人脸替换技术逐帧进行处理，帧与帧之间的处理相互独立，最后将完成图像换脸的帧序列进行编码，输出结果视频。也就是，现有视频换脸技术整体上仅仅为图像换脸技术的多帧化处理，而没有结合更多视频自身的时序特性。

2、基于以上，现有视频人脸替换技术方案通常存在以下问题：

3、当视频中存在人脸大幅度角度变化、大幅度表情变化或大幅度遮挡时，容易出现换脸目标误判或丢失，造成换脸错误；帧间相互独立处理，使得人脸替换过程中用到的人脸遮罩在边缘区域出现跨帧抖动，导致换脸后人脸区域图像抖动的问题。

技术实现思路

1、本发明的目的在于提供一种数据处理方法及装置，以解决现有技术中针对人脸替换的数据处理方案在人脸大幅度角度变化、大幅度表情变化或大幅度遮挡的情况下容易出现换脸目标误判或丢失的问题，以及人脸遮罩跨帧抖动的问题。

2、为了解决上述技术问题，本发明提供一种数据处理方法，包括：

3、基于复合跟踪目标，定位待处理视频中待替换人物的轨迹片段；所述复合跟踪目标包括：半身人体相关的跟踪目标和头部相关的跟踪目标；

4、对所述轨迹片段进行双向时序人脸分割，获取所述待替换人物的人脸遮罩；

5、根据所述人脸遮罩，将所述待处理视频中的待替换人物的人脸图像替换为目标人物的人脸图像。

6、可选的，所述基于复合跟踪目标，定位待处理视频中待替换人物的轨迹片段，包括：

7、获取待替换人物在待处理视频中的半身人体位置信息、半身人体特征编码、头部位置信息和头部特征编码；

8、根据所述半身人体位置信息、半身人体特征编码、头部位置信息和头部特征编码，得到复合跟踪目标。

9、可选的，所述基于复合跟踪目标，定位待处理视频中待替换人物的轨迹片段，包括：

10、针对待处理视频的每一个视频帧进行半身人体检测，并在每个半身人体区域进行头部检测，得到至少一个参考人物对应的复合跟踪目标；

11、根据各所述参考人物对应的复合跟踪目标，进行特征匹配，得到各所述参考人物对应的轨迹片段；

12、从各所述参考人物对应的轨迹片段中，定位待替换人物的轨迹片段。

13、可选的，所述从各所述参考人物对应的轨迹片段中，定位待替换人物的轨迹片段，包括：

14、根据所述参考人物对应的轨迹片段，得到所述轨迹片段中与所述参考人物的正脸图像之间特征差距最小的参考脸部图像；

15、根据所述参考脸部图像，从各所述参考人物对应的轨迹片段中确定待替换人物的轨迹片段。

16、可选的，所述基于复合跟踪目标，定位待处理视频中待替换人物的轨迹片段，包括：

17、根据待替换人物对应的复合跟踪目标进行特征匹配，确定满足约束条件的视频帧，得到所述待替换人物对应的轨迹片段；

18、其中，所述约束条件包括：复合特征约束条件；所述复合特征约束条件，包括：在复合特征空间中与所述待替换人物之间的特征距离小于第一阈值。

19、可选的，所述对所述轨迹片段进行双向时序人脸分割，获取所述待替换人物的人脸遮罩，包括：

20、从所述轨迹片段中获取所述待替换人物的第一脸部图像；

21、根据所述第一脸部图像，对所述轨迹片段进行双向时序人脸分割，得到所述待替换人物的人脸遮罩；

22、其中，所述第一脸部图像为所述轨迹片段中与所述待替换人物的正脸图像的特征差距最小的图像。

23、可选的，所述从所述轨迹片段中获取所述待替换人物的第一脸部图像，包括：

24、针对所述轨迹片段所包含的各视频帧中的待替换人物进行人脸姿态角估计，得到估计结果；

25、根据所述估计结果，得到所述待替换人物的第一脸部图像。

26、可选的，所述根据所述第一脸部图像，对所述轨迹片段进行双向时序人脸分割，得到所述待替换人物的人脸遮罩，包括：

27、根据所述第一脸部图像确定双向时序人脸分割的起始点，并基于所述起始点沿时间正序方向传递人脸遮罩，根据传递的人脸遮罩和后序帧的视觉信息获得所述后序帧的人脸遮罩；以及，基于所述起始点沿时间逆序方向传递人脸遮罩，根据传递的人脸遮罩和前序帧的视觉信息获得所述前序帧的人脸遮罩。

28、可选的，所述根据所述人脸遮罩，将所述待处理视频中的待替换人物的人脸图像替换为目标人物的人脸图像，包括：

29、根据目标人物的人脸图像，生成替换人脸融合图像；

30、根据所述人脸遮罩和替换人脸融合图像，对所述待处理视频中的待替换人物的人脸图像进行替换。

31、本发明还提供了一种数据处理装置，包括：

32、第一模块，用于基于复合跟踪目标，定位待处理视频中待替换人物的轨迹片段；所述复合跟踪目标包括：半身人体相关的跟踪目标和头部相关的跟踪目标；

33、第二模块，用于对所述轨迹片段进行双向时序人脸分割，获取所述待替换人物的人脸遮罩；

34、第三模块，用于根据所述人脸遮罩，将所述待处理视频中的待替换人物的人脸图像替换为目标人物的人脸图像。

35、可选的，所述基于复合跟踪目标，定位待处理视频中待替换人物的轨迹片段，包括：

36、获取待替换人物在待处理视频中的半身人体位置信息、半身人体特征编码、头部位置信息和头部特征编码；

37、根据所述半身人体位置信息、半身人体特征编码、头部位置信息和头部特征编码，得到复合跟踪目标。

38、可选的，所述基于复合跟踪目标，定位待处理视频中待替换人物的轨迹片段，包括：

39、针对待处理视频的每一个视频帧进行半身人体检测，并在每个半身人体区域进行头部检测，得到至少一个参考人物对应的复合跟踪目标；

40、根据各所述参考人物对应的复合跟踪目标，进行特征匹配，得到各所述参考人物对应的轨迹片段；

41、从各所述参考人物对应的轨迹片段中，定位待替换人物的轨迹片段。

42、可选的，所述从各所述参考人物对应的轨迹片段中，定位待替换人物的轨迹片段，包括：

43、根据所述参考人物对应的轨迹片段，得到所述轨迹片段中与所述参考人物的正脸图像之间特征差距最小的参考脸部图像；

44、根据所述参考脸部图像，从各所述参考人物对应的轨迹片段中确定待替换人物的轨迹片段。

45、可选的，所述基于复合跟踪目标，定位待处理视频中待替换人物的轨迹片段，包括：

46、根据待替换人物对应的复合跟踪目标进行特征匹配，确定满足约束条件的视频帧，得到所述待替换人物对应的轨迹片段；

47、其中，所述约束条件包括：复合特征约束条件；所述复合特征约束条件，包括：在复合特征空间中与所述待替换人物之间的特征距离小于第一阈值。

48、可选的，所述对所述轨迹片段进行双向时序人脸分割，获取所述待替换人物的人脸遮罩，包括：

49、从所述轨迹片段中获取所述待替换人物的第一脸部图像；

50、根据所述第一脸部图像，对所述轨迹片段进行双向时序人脸分割，得到所述待替换人物的人脸遮罩；

51、其中，所述第一脸部图像为所述轨迹片段中与所述待替换人物的正脸图像的特征差距最小的图像。

52、可选的，所述从所述轨迹片段中获取所述待替换人物的第一脸部图像，包括：

53、针对所述轨迹片段所包含的各视频帧中的待替换人物进行人脸姿态角估计，得到估计结果；

54、根据所述估计结果，得到所述待替换人物的第一脸部图像。

55、可选的，所述根据所述第一脸部图像，对所述轨迹片段进行双向时序人脸分割，得到所述待替换人物的人脸遮罩，包括：

56、根据所述第一脸部图像确定双向时序人脸分割的起始点，并基于所述起始点沿时间正序方向传递人脸遮罩，根据传递的人脸遮罩和后序帧的视觉信息获得所述后序帧的人脸遮罩；以及，基于所述起始点沿时间逆序方向传递人脸遮罩，根据传递的人脸遮罩和前序帧的视觉信息获得所述前序帧的人脸遮罩。

57、可选的，所述根据所述人脸遮罩，将所述待处理视频中的待替换人物的人脸图像替换为目标人物的人脸图像，包括：

58、根据目标人物的人脸图像，生成替换人脸融合图像；

59、根据所述人脸遮罩和替换人脸融合图像，对所述待处理视频中的待替换人物的人脸图像进行替换。

60、本发明还提供了一种数据处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器执行所述程序时实现上述的数据处理方法。

61、本发明还提供了一种可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的数据处理方法中的步骤。

62、本发明的上述技术方案的有益效果如下：

63、上述方案中，所述数据处理方法通过基于复合跟踪目标，定位待处理视频中待替换人物的轨迹片段；所述复合跟踪目标包括：半身人体相关的跟踪目标和头部相关的跟踪目标；对所述轨迹片段进行双向时序人脸分割，获取所述待替换人物的人脸遮罩；根据所述人脸遮罩，将所述待处理视频中的待替换人物的人脸图像替换为目标人物的人脸图像；能够实现利用复合跟踪目标对待替换人物进行识别和轨迹片段的定位，解决在人脸大幅度角度变化、大幅度表情变化或大幅度遮挡的情况下换脸目标误判或丢失的问题；并通过对待替换人物的轨迹片段进行双向时序人脸分割以利用视频天然的时序特性，减少人脸遮罩的跨帧抖动，提升人脸分割的跨帧连贯性，以提供更好的换脸效果。