一种图像处理方法及装置的制造方法
【专利摘要】本发明实施例提供了一种图像处理方法及装置，当系统接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部；对目标面部区域进行标记，生成多个目标标记点，并获得目标标记点对应的坐标；根据目标标记点坐标和标准面部的标准标记点坐标，计算出视角仿射变换矩阵；再根据视角仿射变换矩阵和标准虚拟道具素材及其对应坐标，计算出目标虚拟道具素材及其对应于目标面部的坐标；将目标虚拟道具素材映射到当前视频码流中，完成目标虚拟道具的映射。应用本发明实施例，能够提高对直播视频进行虚拟道具穿戴时的虚拟道具与对应部位的叠加准确性，进而提高用户体验。
【专利说明】
一种图像处理方法及装置
技术领域
[0001] 本发明涉及图像处理技术领域，特别涉及一种图像处理方法及装置。
【背景技术】
[0002] 随着互联网科技的飞速发展以及互联网网速的大幅提升，互联网视频直播随之兴 起。互联网视频直播与传统的广播电视视频直播不同，在互联网视频直播过程中，通过互联 网能接受到用户反馈的信息并加载到信息源中，提高了视频直播的观赏性和互动性，因此 互联网视频直播已被人们广泛的接受和喜爱。
[0003] 目前，互联网视频直播多采用虚拟道具作为视频直播互动的载体，在进行视频直 播时，通过客户端向服务器发送穿戴虚拟道具的指令，服务器接收到指令后，根据接收到的 指令将预设的标准虚拟道具直接通过图像合成的方式叠加到原始视频中，使观看者能够观 看到完成虚拟道具穿戴后的视频。但是，由于不同用户在进行视频直播时其特征部位也是 不同的，又由于在视频直播的过程中，视频拍摄的角度也是不断变化的，因此，在对直播视 频进行虚拟道具穿戴时，虚拟道具很难准确地与对应特征部位叠加，用户体验不高。
【发明内容】
[0004] 本发明实施例公开了一种图像处理方法及装置，以提高对直播视频进行虚拟道具 穿戴时的虚拟道具与对应部位的叠加准确性，进而提高用户体验。
[0005] 为例达到上述目的，本发明实施例提供了一种图像处理方法，应用于视频直播系 统，所述方法包括：
[0006] 接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域进行捕 捉，获得目标面部；
[0007] 对所述目标面部进行标记，生成预设数量的目标面部标记点，并确定所述目标面 部标记点所对应的目标标记点坐标；
[0008] 根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐标，对目标标记 点坐标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角仿射变换矩阵；
[0009] 根据所述视角仿射变换矩阵、所述虚拟道具素材映射指令所对应的标准虚拟道具 素材和所述标准虚拟道具素材所对应标准面部的坐标，确定所述虚拟道具素材映射指令所 对应的目标虚拟道具素材以及所述目标虚拟道具素材所对应目标面部的坐标；
[0010] 基于所述目标面部坐标，将所述目标虚拟道具素材映射到当前视频码流中，完成 所述目标虚拟道具素材的映射。
[0011]可选的，所述对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部，包 括：
[0012] 对当前视频码流中目标面部所处区域的像素点颜色特征进行识别，获得目标面 部。
[0013] 可选的，所述对所述目标面部进行标记，包括：
[0014] 对所述目标面部中特征部位上的像素点进行标记，所述特征部位包含与所述标准 虚拟道具素材对应的部位。
[0015] 可选的，所述根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐 标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角 仿射变换矩阵，包括：
[0016] 建立所述目标标记点坐标的齐次方程;所述目标标记点坐标的齐次方程表达式 为:qi= = 1，2,...，n)，式中，η为目标面部标记点的总个数；
[0017] 建立所述标准面部的标准标记点坐标的齐次方程;所述标准面部的标准标记点坐 标的齐次方程表达式为:Pi= [Xi，yi，l]T(i = l，2,.. .，η)，式中，η为标准面部的标准标记点 的总个数，且所述目标面部标记点的总个数与所述标准面部的标准标记点的总个数相同；
[0018] 对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的齐次方程之 间的变换关系进行计算，获得视角仿射变换矩阵。
[0019] 可选的，所述对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的 齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵，包括：
[0020] 令所述视角仿射变换矩阵
^ljHpi = qi(i = l，2, · · ·，η)，得
[0021] 对所述标准面部的标准标记点坐标的齐次方程表达式进行转化，得到标准面部的 标准标记点坐标转化矩阵
对所述目标标记点坐标的齐次方程表 达式进行转化，得到目标标记点坐标转化矩阵Βι?χ、，y、，...，Χ'η η] Τ;对视角仿射变换 矩阵进行转化，得到视角仿射变换矩阵的转化矩阵X = [3，13，0，(1，6，；^1';其中4乂=8;
[0022] 对所述标准面部的标准标记点坐标转化矩阵Α求伪逆矩阵Α+，得Χ = Α+Β，进而求得 视角仿射变换矩阵Η。
[0023]为了达到上述目的，本发明实施例还提供了一种图像处理装置，应用于视频直播 系统，所述装置包括：
[0024] 目标面部获得模块，用于在接收到虚拟道具素材映射指令后，对当前视频码流中 目标面部所处的区域进行捕捉，获得目标面部；
[0025] 目标标记点坐标获得模块，用于对所述目标面部进行标记，生成预设数量的目标 面部标记点，并确定所述目标面部标记点所对应的目标标记点坐标；
[0026] 视角仿射变换矩阵计算模块，用于根据所述目标标记点坐标和预设的关于标准面 部的标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关系进 行计算，获得视角仿射变换矩阵；
[0027] 目标虚拟道具素材确定模块，用于根据所述视角仿射变换矩阵、所述虚拟道具素 材映射指令所对应的标准虚拟道具素材和所述标准虚拟道具素材所对应标准面部的坐标， 确定所述虚拟道具素材映射指令所对应的目标虚拟道具素材以及所述目标虚拟道具素材 所对应目标面部的坐标；
[0028] 图像合成模块，用于将所述目标虚拟道具素材映射到当前视频码流中，完成所述 目标虚拟道具素材的映射。
[0029] 可选的，所述目标面部获得模块，包括：
[0030]目标面部获得子模块，用于在接收到虚拟道具素材映射指令后，对当前视频码流 中目标面部所处区域的像素点特征进行识别，获得目标面部。
[0031 ]可选的，所述目标标记点坐标获得模块，包括：
[0032] 特征部位标记点获得子模块，用于对所述目标面部中特征部位上的像素点进行标 记，所述特征部位包含与所述标准虚拟道具素材对应的部位。
[0033] 可选的，所述视角仿射变换矩阵计算模块，包括：
[0034] 第一齐次方程建立子模块，用于建立所述目标标记点坐标的齐次方程;所述目标 标记点坐标的齐次方程表达式为:qi=IV i，/ i，l]T(i = l，2, . . .，n)，式中，η为目标面部标 记点的总个数；
[0035] 第二齐次方程建立子模块，用于建立所述标准面部的标准标记点坐标的齐次方 程;所述标准面部的标准标记点坐标的齐次方程表达式为$1 = [11，71，1]1'(1 = 1，2，...， η)，式中，η为标准面部的标准标记点的总个数，且所述目标面部标记点的总个数与所述标 准面部的标准标记点的总个数相同；
[0036] 视角仿射变换矩阵计算子模块，用于对所述目标标记点坐标的齐次方程与标准面 部的标准标记点坐标的齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵。
[0037] 可选的，所述视角仿射变换矩阵计算子模块，包括：
[0038] 视觉仿射变换矩阵建立单元，用于建立视角仿射变换矩阵 ，则 Hpi = qi(i = l，2, · · ·，η)
[0039] 转化矩阵获得单元，用于对所述标准面部的标准标记点坐标的齐次方程表达式进 行转化，得到标准面部的标准标记点坐标转化矩阵
；对所述目标标 记点坐标的齐次方程表达式进行转化，得到目标标记点坐标转化矩阵Β= [X7 by' 1，...，χ 视角仿射变换矩阵进行转化，得到视角仿射变换矩阵的转化矩阵X=[a，b，c，d， e，f]T;其中 AX = B;
[0040] 视觉仿射变换矩阵计算单元，用于对所述标准面部的标准标记点坐标转化矩阵A 求伪逆矩阵A+，得X = A+B，进而求得视角仿射变换矩阵Η。
[0041] 本发明实施例提供了一种图像处理方法及装置，当系统接收到虚拟道具素材映射 指令后，对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部;对目标面部区域 进行标记，生成多个目标标记点，并获得目标标记点对应的坐标;根据目标标记点坐标和标 准面部的标准标记点坐标，计算出视角仿射变换矩阵;再根据视角仿射变换矩阵和标准虚 拟道具素材及其对应坐标，计算出目标虚拟道具素材及其对应于目标面部的坐标;将目标 虚拟道具素材映射到当前视频码流中，完成目标虚拟道具的映射。应用本发明实施例，由于 针对于视频码流中的目标面部来确定虚拟道具素材映射指令所对应的目标虚拟道具素材 以及该目标虚拟道具素材所对应目标面部的坐标，并非简单将虚拟道具素材映射指令所对 应的标准虚拟道具素材直接叠加到视频码流中，因此，能够提高对直播视频进行虚拟道具 穿戴时的虚拟道具与对应部位的叠加准确性，进而提高用户体验。
【附图说明】
[0042]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0043]图1为本发明实施例提供的一种图像处理方法的流程示意图；
[0044] 图2为本发明实施例提供的一种具体数量个目标标记点的参考图；
[0045] 图3为本发明实施例提供的四种具体的获得目标虚拟道具素材示意图；
[0046] 图4为本发明实施例提供的目标虚拟道具素材映射到直播者面部后的图像；
[0047]图5为本发明实施例提供的一种图像处理装置的结构示意图。
【具体实施方式】
[0048] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0049] 图1为本发明实施例提供的一种图像处理方法流程示意图，应用于视频直播系统， 方法可以包括步骤：
[0050] S100:接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域 进行捕捉，获得目标面部；
[0051] 可知的是，视频直播系统获得摄像头所采集的关于直播者的视频码流，并接收访 问用户对视频码流的访问。可以理解的是，在直播者进行视频直播的时候，直播画面的背景 一般都是不变或者说是静止的，在整个的视频码流中只有直播者的面部在变化，因此，可以 很容易的通过当前视频码流对直播者的面部进行识别。本领域技术人员可以理解的是，视 频码流实际上是动态的直播图像，一幅图像是由大量的像素点构成，且每个像素点都有对 应的颜色。
[0052] 当视频直播系统接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所 处区域的像素点特征进行识别，获得目标面部，例如:视频直播系统在接收到头冠、腮红、目艮 睛以及胡子所对应的虚拟道具素材映射指令后，由于人的面部区域的像素分布具有相对固 定的特征，即便直播者在视频流中所呈现的面部的姿态、大小、位置等都是不相同的，却依 旧可以通过识别这些特征来识别直播者的面部，也就是所说的目标面部，即虚拟道具素材 将要佩戴的面部。值得强调的是，本发明实施例中视频直播系统所接收到的虚拟道具素材 映射指令还可以有很多种，比如，眉毛、鼻子、耳机等所对应的虚拟道具素材映射指令，并且 视频直播系统所接收到的虚拟道具素材个数以及顺序也可以为多种形式，本发明实施例不 对视频直播系统所接收到的虚拟道具素材映射指令形式、个数以及顺序做进一步限定。
[0053]除此之外，视频直播系统在接收到虚拟道具素材映射指令后，对当前视频流中的 每一幅直播图像中的所有子图像块进行分析，进而识别出目标面部，可以理解的是，对于每 一幅直播图像而言，可以根据现有图像分割方法来将其划分多个子图像，进而基于子图像 来识别面部;其中，由于实际应用中对目标面部的识别方式多样，这里就不一一列举，因此， 本申请也不对目标面部获得的方式做明确限定。
[0054] S200:对所述目标面部进行标记，生成预设数量的目标面部标记点，并确定所述目 标面部标记点所对应的目标标记点坐标；
[0055] 实际中，当视频直播系统确定当前视频码流中的目标面部后，将根据目标面部的 特征进一步的对目标面部进行像素点提取，所提取的像素点将作为目标面部标记点，例如， 本实施例中，在视频直播系统确定当前视频码流中的目标面部后，对目标面部的轮廓及五 官进行像素点的提取，选取68个像素点，这68个被提取的像素点作为目标面部的标记点，如 图2中所示人脸面部标记点，为了更加准确的标记目标面部，选取的像素点在目标面部的分 布尽可能均匀，同时，为了缓解数据计算压力，通常情况下，在保证能够准确的标记目标面 部的情况下，选取的像素点个数越少越好，所以，本发明实施例对目标面部标记点的分布以 及目标面部标记点的个数不做具体的限定。
[0056] 对获得的68个目标面部标记点分别在当前直播图像中的坐标进行计算，得到关于 这68个目标面部标记点所对应的目标标记点坐标。
[0057] 本实施例所提供的方案还可以对目标面部中特征部位上的像素点进行标记，所述 特征部位包含与所述标准虚拟道具素材对应的部位，例如，系统对目标面部中特征部位，如 眼睛、脸颊、胡子以及额头对应的特征部位进行像素点的提取，当然，这里的特征部位仅为 本实施例的具体示例，除此外还可以是嘴巴、耳朵、鼻子等等，同时也可以是其中的一个或 多个组合，这里值得强调的是，在对目标面部的特征部位进行标记的时候需要系统预设的 有与所标记的特征部位对应的标准面部的标准标记点，所以本申请不对标准面部的特征部 位的形式及数量做明确限定。
[0058] S300:根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐标，对目 标标记点坐标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角仿射变换 矩阵；
[0059] 本领域技术人员可以理解的是，在同一平面内的预设的标准标记点与目标面部标 记点之间进行对应的时，有一种对应关系，通常情况下称这种对应关系为视角仿射变换，本 申请提出的方案可通过如下步骤求得视角仿射变换矩阵，具体如下：
[0060] a、建立所述目标标记点坐标的齐次方程;所述目标标记点坐标的齐次方程表达式 为:qi= = 1，2,...，n)，式中，η为目标面部标记点的总个数；
[0061 ]实际计算时，根据具体的目标面部标记点的数目来建立目标标记点坐标的齐次方 程，针对上述所选取的68个目标面部标记点为例，可建立这68个目标标记点坐标所对应的 齐次方程表达式为冲=1^/：1，7/：1，1]1'(1 = 1，2，...，68)。
[0062 ] b、建立所述标准面部的标准标记点坐标的齐次方程;所述标准面部的标准标记点 坐标的齐次方程表达式为:Pi= [xi，yi，l]T(i = l，2,. ..，n)，式中，η为标准面部的标准标记 点的总个数，且所述目标面部标记点的总个数与所述标准面部的标准标记点的总个数相 同；
[0063]与建立目标标记点坐标的齐次方程对应的，可建立标准面部的68个标准标记点坐 标对应的齐次方程表达式为:？1=[11，71，1]'1 = 1，2，...，68)，这里需要强调的是，标准面 部的标准标记点的数量需要与目标面部标记点的数量相等，这样是保证在寻找对应关系的 时候能够--对应，不会造成对应关系不明确的现象。
[0064] c、对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的齐次方程 之间的变换关系进行计算，获得视角仿射变换矩阵。
[0065]针对上述步骤a中所建立的目标标记点坐标的齐次方程表达式为:qi= [χ\，/ i， l]T(i = l，2,. . .，n)，以及步骤b中所建立的标准面部的标准标记点坐标的齐次方程表达式 为$1=[11，7 1，1]'1 = 1，2，...，11)，本发明实施例提出了一种具体的视角仿射变换矩阵的 求解过程，具体可以为：
[0066] 令所述视角仿射变换矩阵 ，则Hpi = qi(i = l，2, · · .，n)，得
[0067] 对所述标准面部的标准标记点坐标的齐次方程表达式进行转化，得到标准面部的 标准标记点坐标转化矩阵
；对所述目标标记点坐标的齐次方程表 达式进行转化，得到目标标记点坐标转化矩阵Βι?χ、，y、，...，Χ'η η] T;对视角仿射变换 矩阵进行转化，得到视角仿射变换矩阵的转化矩阵X = [3，13，0，(1，6，；^1';其中4乂=8;
[0068] 对所述标准面部的标准标记点坐标转化矩阵Α求伪逆矩阵Α+，得X = Α+Β，进而求得 视角仿射变换矩阵H。
[0069] S400:根据所述视角仿射变换矩阵、所述虚拟道具素材映射指令所对应的标准虚 拟道具素材和所述标准虚拟道具素材所对应标准面部的坐标，确定所述虚拟道具素材映射 指令所对应的目标虚拟道具素材以及所述目标虚拟道具素材所对应目标面部的坐标；
[0070] 不难理解的是，在同一视角仿射变换矩阵Η下，可通过该视角仿射变换矩阵Η和标 准虚拟道具素材计算出与标准虚拟道具素材所对应的目标虚拟道具素材，对于本实施例来 说，可以通过S300中所得到的视角仿射变换矩阵Η以及系统预设的标准虚拟道具素材，对应 求得标准虚拟道具素材对应的目标虚拟道具素材。
[0071] 如图3所示，为本发明实施例提供的几种具体的目标虚拟道具素材获得示意图，图 3中提供了4组对应与同一视角仿射变换矩阵Η的目标虚拟道具素材获得示意图，如:根据标 准虚拟道具素材1和视角仿射变换矩阵Η，对应获得目标虚拟道具素材1，具体的，根据在标 准面部上对应的标准虚拟道具素材1的大小，通过视角仿射变换矩阵Η的对应关系，确定对 应目标虚拟道具素材1的大小，并将获得的目标虚拟道具素材1提取出来。这样可以保证获 得的目标虚拟道具素材1的大小将匹配于目标面部对应特殊部位的大小；同样的，分别可以 根据其他几组对应关系，依次获得目标虚拟道具素材2-4，完成目标虚拟道具素材的获得。 图3中所示的几组对应关系仅为本发明实施例的具体表征，本申请并不对虚拟道具素材的 数量以及顺序做进一步的限定。
[0072]不仅如此，还可以通过该视角仿射变换矩阵Η和标准的虚拟道具素材1-4所对应标 准面部的坐标，获得对应目标虚拟道具素材所对应目标面部的坐标。
[0073] S500:基于所述目标面部坐标，将所述目标虚拟道具素材映射到当前视频码流中， 完成所述目标虚拟道具素材的映射。
[0074]可以理解的是，由步骤S400获得的标准虚拟道具素材对应的目标虚拟道具素材， 可确定对应目标虚拟道具素材的大小，再由步骤S400获得的目标虚拟道具素材的坐标，可 确定对应目标虚拟道具素材相对于直播图像中目标面部的位置;根据所确定的目标虚拟道 具素材的大小以及目标虚拟道具素材相对于直播图像中目标面部的位置，通过图像叠加技 术，可将该目标虚拟道具素材唯一的叠加在直播图像中，如图4所示，为本发明实施例提供 的目标虚拟道具素材映射到直播者面部后的图像。通过图像叠加技术将目标虚拟道具素材 映射到当前视频码流中，完成对目标虚拟道具素材的映射。
[0075] 应用本发明实施例，根据目标标记点坐标和标准面部的标准标记点坐标，计算出 视角仿射变换矩阵;再根据视角仿射变换矩阵和标准虚拟道具素材及其对应坐标，可唯一 获得目标虚拟道具素材及其对应于目标面部的坐标;再将目标虚拟道具素材映射到当前视 频码流中，完成目标虚拟道具的映射。应用本发明实施例，在对直播视频进行虚拟道具穿戴 时，虚拟道具能够准确地与对应特征部位叠加，进而提高用户体验。
[0076] 图5为本发明实施例提供的一种图像处理装置的结构示意图，装置可以包括：目标 面部获得模块1〇〇、目标标记点坐标获得模块200、视角仿射变换矩阵计算模块300、目标虚 拟道具素材确定模块400和图像合成模块500;
[0077] 其中，目标面部获得模块100,用于在接收到虚拟道具素材映射指令后，对当前视 频码流中目标面部所处的区域进行捕捉，获得目标面部；
[0078] 具体的，所述目标面部获得模块100，可以包括：
[0079] 目标面部获得子模块，用于接收到虚拟道具素材映射指令后，对当前视频码流中 目标面部所处区域的像素点特征进行识别，获得目标面部。
[0080] 目标标记点坐标获得模块200，用于对所述目标面部进行标记，生成预设数量的目 标面部标记点，并确定所述目标面部标记点所对应的目标标记点坐标。
[0081] 在本发明所提供的实施例中，目标标记点坐标获得模块200可以包括:特征部位标 记点获得子模块，具体用于对所述目标面部中特征部位上的像素点进行标记，所述特征部 位包含与所述标准虚拟道具素材对应的部位。
[0082] 视角仿射变换矩阵计算模块300，用于根据所述目标标记点坐标和预设的关于标 准面部的标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关 系进行计算，获得视角仿射变换矩阵；
[0083] 实际应用中，视角仿射变换矩阵计算模块300可以包括：
[0084] 第一齐次方程建立子模块，用于建立所述目标标记点坐标的齐次方程;所述目标 标记点坐标的齐次方程表达式为:qi=IV i，/ i，l]T(i = l，2, . . .，n)，式中，η为目标面部标 记点的总个数；
[0085] 第二齐次方程建立子模块，用于建立所述标准面部的标准标记点坐标的齐次方 程;所述标准面部的标准标记点坐标的齐次方程表达式为$1 = [11，71，1]1'(1 = 1，2，...， η)，式中，η为标准面部的标准标记点的总个数，且所述目标面部标记点的总个数与所述标 准面部的标准标记点的总个数相同；
[0086] 视角仿射变换矩阵计算子模块，用于对所述目标标记点坐标的齐次方程与标准面 部的标准标记点坐标的标准齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵。
[0087] 具体的，视角仿射变换矩阵计算子模块可以包括有：
[0088] 视觉仿射变换矩阵建立单元，用于建立视角仿射变换矩阵
，则 Hpi = qi(i = l，2，···，]!)，
[0089] 转化矩阵获得单元，用于对所述标准面部的标准标记点坐标的齐次方程表达式进 行转化，得到标准面部的标准标记点坐标转化矩阵
吋所述目标标 记点坐标的齐次方程表达式进行转化，得到目标标记点坐标转化矩阵B= [X7 by' 1，...，x 视角仿射变换矩阵进行转化，得到视角仿射变换矩阵的转化矩阵X=[a，b，c，d， e，f]T;其中 AX = B;
[0090] 视觉仿射变换矩阵计算单元，用于对所述标准面部的标准标记点坐标转化矩阵A 求伪逆矩阵A+，得X = A+B，进而求得视角仿射变换矩阵Η。
[0091] 目标虚拟道具素材确定模块400,用于根据所述视角仿射变换矩阵、所述虚拟道具 素材映射指令所对应的标准虚拟道具素材和所述标准虚拟道具素材所对应标准面部的坐 标，确定所述虚拟道具素材映射指令所对应的目标虚拟道具素材以及所述目标虚拟道具素 材所对应目标面部的坐标；
[0092] 图像合成模块500,用于将所述目标虚拟道具素材映射到当前视频码流中，完成所 述目标虚拟道具素材的映射。
[0093] 应用本发明实施例，根据目标标记点坐标和标准面部的标准标记点坐标，计算出 视角仿射变换矩阵;再根据视角仿射变换矩阵和标准虚拟道具素材及其对应坐标，可唯一 获得目标虚拟道具素材及其对应于目标面部的坐标;再将目标虚拟道具素材映射到当前视 频码流中，完成目标虚拟道具的映射。应用本发明实施例，在对直播视频进行虚拟道具穿戴 时，虚拟道具能够准确地与对应特征部位叠加，进而提高用户体验。
[0094] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实 体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存 在任何这种实际的关系或者顺序。而且，术语"包括"、"包含"或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要 素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备 所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在 包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0095] 本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部 分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实 施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例 的部分说明即可。
[0096]本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可 以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中， 这里所称得的存储介质，如:R0M/RAM、磁碟、光盘等。
[0097]以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在 本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围 内。
【主权项】
1. 一种图像处理方法，应用于视频直播系统，其特征在于，所述方法包括： 接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域进行捕捉， 获得目标面部； 对所述目标面部进行标记，生成预设数量的目标面部标记点，并确定所述目标面部标 记点所对应的目标标记点坐标； 根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐标，对目标标记点坐 标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角仿射变换矩阵； 根据所述视角仿射变换矩阵、所述虚拟道具素材映射指令所对应的标准虚拟道具素材 和所述标准虚拟道具素材所对应标准面部的坐标，确定所述虚拟道具素材映射指令所对应 的目标虚拟道具素材以及所述目标虚拟道具素材所对应目标面部的坐标； 基于所述目标面部坐标，将所述目标虚拟道具素材映射到当前视频码流中，完成所述 目标虚拟道具素材的映射。2. 根据权利要求1所述方法，其特征在于，所述对当前视频码流中目标面部所处的区域 进行捕捉，获得目标面部，包括： 对当前视频码流中目标面部所处区域的像素点颜色特征进行识别，获得目标面部。3. 根据权利要求1或2所述方法，其特征在于，所述对所述目标面部进行标记，包括： 对所述目标面部中特征部位上的像素点进行标记，所述特征部位包含与所述标准虚拟 道具素材对应的部位。4. 根据权利要求1所述方法，其特征在于，所述根据所述目标标记点坐标和预设的关于 标准面部的标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换 关系进行计算，获得视角仿射变换矩阵，包括： 建立所述目标标记点坐标的齐次方程;所述目标标记点坐标的齐次方程表达式为:= IV i，' i，I]T( i = 1，2，…，），式中，η为目标面部标记点的总个数； 建立所述标准面部的标准标记点坐标的齐次方程;所述标准面部的标准标记点坐标的 齐次方程表达式为$1=[11，71，1]1'(1 = 1，2，~，]1)，式中，11为标准面部的标准标记点的总 个数，且所述目标面部标记点的总个数与所述标准面部的标准标记点的总个数相同； 对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的齐次方程之间的 变换关系进行计算，获得视角仿射变换矩阵。5. 根据权利要求4所述方法，其特征在于，所述对所述目标标记点坐标的齐次方程与标 准面部的标准标记点坐标的齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵， 包括： 令所述视角仿射变换矩阵 则H ρ i = q i ( i = 1，2，…，η )，得对所述标准面部的标准标记点坐标的齐次方程表达式进行转化，得到标准面部的标准 标记点坐标转化矩阵对所述目标标记点坐标的齐次方程表达式 进行转化，得到目标标记点坐标转化矩阵B= IV 1，/ 1，…，x\，/n]T;对视角仿射变换矩阵 进行转化，得到视角仿射变换矩阵的转化矩阵X = [3，13，(3，(1，6彳]1';其中4乂 = 8; 对所述标准面部的标准标记点坐标转化矩阵A求伪逆矩阵A+，得X = A+B，进而求得视角 仿射变换矩阵Η。6. -种图像处理装置，应用于视频直播系统，其特征在于，所述装置包括： 目标面部获得模块，用于在接收到虚拟道具素材映射指令后，对当前视频码流中目标 面部所处的区域进行捕捉，获得目标面部； 目标标记点坐标获得模块，用于对所述目标面部进行标记，生成预设数量的目标面部 标记点，并确定所述目标面部标记点所对应的目标标记点坐标； 视角仿射变换矩阵计算模块，用于根据所述目标标记点坐标和预设的关于标准面部的 标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关系进行计 算，获得视角仿射变换矩阵； 目标虚拟道具素材确定模块，用于根据所述视角仿射变换矩阵、所述虚拟道具素材映 射指令所对应的标准虚拟道具素材和所述标准虚拟道具素材所对应标准面部的坐标，确定 所述虚拟道具素材映射指令所对应的目标虚拟道具素材以及所述目标虚拟道具素材所对 应目标面部的坐标； 图像合成模块，用于将所述目标虚拟道具素材映射到当前视频码流中，完成所述目标 虚拟道具素材的映射。7. 根据权利要求6所述装置，其特征在于，所述目标面部获得模块，包括： 目标面部获得子模块，用于在接收到虚拟道具素材映射指令后，对当前视频码流中目 标面部所处区域的像素点特征进行识别，获得目标面部。8. 根据权利要求6或7所述装置，其特征在于，所述目标标记点坐标获得模块，包括： 特征部位标记点获得子模块，用于对所述目标面部中特征部位上的像素点进行标记， 所述特征部位包含与所述标准虚拟道具素材对应的部位。9. 根据权利要求6所述装置，其特征在于，所述视角仿射变换矩阵计算模块，包括： 第一齐次方程建立子模块，用于建立所述目标标记点坐标的齐次方程;所述目标标记 点坐标的齐次方程表达式为Ni = Iix' i, l]T(i = l，2,…，η)，式中，η为目标面部标记点 的总个数； 第二齐次方程建立子模块，用于建立所述标准面部的标准标记点坐标的齐次方程;所 述标准面部的标准标记点坐标的齐次方程表达式为:Pi=[xi，yi，l]T(i = l，2，~，n)，S*， η为标准面部的标准标记点的总个数，且所述目标面部标记点的总个数与所述标准面部的 标准标记点的总个数相同； 视角仿射变换矩阵计算子模块，用于对所述目标标记点坐标的齐次方程与标准面部的 标准标记点坐标的齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵。10.根据权利要求9所述装置，其特征在于，所述视角仿射亦拖管，包括： 视觉仿射变换矩阵建立单元，用于建立视角仿射变换笼i'jHpi = qi，. 转化矩阵获得单元，用于对所述标准面部的标准标记点坐标的齐次方程表达式进行转 化，得到标准面部的标准标记点坐标转化矩阵对所述目标标记点 坐标的齐次方程表达式进行转化，得到目标标记点坐标转化矩阵B= [X71 ,y' 1，…，X7 n,y' η ]Τ;对视角仿射变换矩阵进行转化，得到视角仿射变换矩阵的转化矩阵X=[a，b，C，d，e，f] T; 其中AX = B; 视觉仿射变换矩阵计算单元，用于对所述标准面部的标准标记点坐标转化矩阵A求伪 逆矩阵A+，得X = A+B，进而求得视角仿射变换矩阵H。
【文档编号】H04N21/44GK106028136SQ201610371695
【公开日】2016年10月12日
【申请日】2016年5月30日
【发明人】李典
【申请人】北京奇艺世纪科技有限公司