图像风格化重建的方法和装置的制造方法

图像风格化重建的方法和装置的制造方法
【专利摘要】本发明提供了一种图像风格化重建的方法和装置。该方法包括：获取多对相同场景的源风格图像和目标风格图像；根据多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X；对源训练集Y和目标训练集X分别进行训练，确定源风格字典Dy，目标风格字典Dx以及源训练集Y对应的稀疏系数αy和目标训练集X对应的稀疏系数αx之间的映射关系根据源风格字典Dy，目标风格字典Dx以及映射关系M，采用稀疏表示的方法对待处理的源风格图像y′进行重建，获取与待处理的源风格图像y′对应的目标风格图像x′。实现了任意风格的源风格图像到任意风格的目标风格图像的重建，重建的准确性高。
【专利说明】
图像风格化重建的方法和装置
技术领域
[0001] 本发明实施例设及图像处理领域，尤其设及一种图像风格化重建的方法和装置。
【背景技术】
[0002] 在现实生活的应用中，为了不同的目的，存在许多不同的成像模式和相应的风格 图像，如为了光照不变的人脸识别使用的近红外图像；在执法过程或者娱乐设备中使用的 素描图像；在地震等特殊情况下为了检测生命使用的热红外图像等。
[0003] 但为了满足某些图像应用需求，需要将相同场景的不同风格图像转换为相同风格 图像。如在人脸识别中，不同风格的人脸图像间的匹配效果很差，将不同风格的人脸图像转 换为相同风格的人脸图像后，能够提升人脸识别的准确率。因此图像风格化重建技术应运 而生。
[0004] 现有的图像风格化重建技术主要为基于笔触的图像风格化重建方法，该图像风格 化重建方法只能将某种特定风格的图像重建为另一种特定风格的图像，图像重建的通用性 较差，并且重建出的风格图像轮廓模糊，图像风格化重建的准确性较差。

【发明内容】

[0005] 本发明实施例提供一种图像风格化重建的方法和装置。实现了任意风格的源风格 图像到任意风格的目标风格图像的重建，重建的准确性高。
[0006] 本发明实施例提供一种图像风格化重建的方法，包括：
[0007] 获取多对相同场景的源风格图像和目标风格图像；
[000引根据所述多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训 练集X ;
[0009] 对所述源训练集Y和所述目标训练集X分别进行训练，确定源风格字典护，目标风 格字典护^及所述源训练集Y对应的稀疏系数α y和所述目标训练集X对应的稀疏系数 曰X之间的映射关系Λ/=[(仿1仿1') 1沁仿、;
[0010] 根据所述源风格字典护，所述目标风格字典护^及所述映射关系Μ，采用稀疏表示 的方法对待处理的源风格图像y'进行重建，获取与所述待处理的源风格图像y'对应的 目标风格图像X'。
[0011] 本发明实施例提供一种图像风格化重建的装置，包括：
[0012] 获取模块，用于获取多对相同场景的源风格图像和目标风格图像；
[0013] 所述获取模块，还用于根据所述多对相同场景的源风格图像和目标风格图像，获 取源训练集Y和目标训练集X ;
[0014] 确定模块，用于对所述源训练集Y和所述目标训练集X分别进行训练，确定源风格 字典护，目标风格字典护^及所述源训练集Y对应的稀疏系数α y和所述目标训练集X对 应的稀疏系数α X之间的映射关系Μ =[(换换'c/f ;
[0015] 重建模块，用于根据所述源风格字典护，所述目标风格字典护^及所述映射关系 M，采用稀疏表示的方法对待处理的源风格图像y'进行重建，获取与所述待处理的源风格 图像y'对应的目标风格图像X'。
[0016] 本发明实施例提供一种图像风格化重建的方法和装置。通过获取多对相同场景的 源风格图像和目标风格图像；根据多对相同场景的源风格图像和目标风格图像，获取源训 练集Y和目标训练集X ;对源训练集Y和目标训练集X分别进行训练，确定源风格字典护， 目标风格字典及源训练集Y对应的稀疏系数α y和目标训练集X对应的稀疏系数α X 之间的映射关系Μ二[(沁沁'）|沁分''']'';根据源风格字典护，目标风格字典护^及映射关 系Μ，采用稀疏表示的方法对待处理的源风格图像y'进行重建，获取与待处理的源风格图 像y'对应的目标风格图像X'。实现了任意风格的源风格图像到任意风格的目标风格图 像的重建，重建的准确性高。
【附图说明】
[0017] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可W 根据运些附图获得其他的附图。
[001引图1为本发明图像风格化重建的方法实施例一的流程图；
[0019] 图2为本发明图像风格化重建的方法实施例二的第一流程图；
[0020] 图3为本发明图像风格化重建的方法实施例二的第二流程图；
[0021] 图4为本发明图像风格化重建的装置实施例一的结构示意图；
[0022] 图5为本发明图像风格化重建的装置实施例二的结构示意图。
【具体实施方式】
[0023] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024] 图1为本发明图像风格化重建的方法实施例一的流程图，如图1所示，本实施例的 执行主体为具有存储和处理功能的终端设备或服务器，如计算机，笔记本电脑等，具体可通 过软件、硬件或软硬件相结合的方式实现，该方法包括：
[0025] 步骤101，获取多对相同场景的源风格图像和目标风格图像。
[0026] 本实施例中，对源风格图像和目标风格图像的类型不做限定，如源风格图像为近 红外图像，目标风格图像为出于同一画家的素描图像，又如源风格图像为热红外图像，目标 风格图像为近红外图像等。
[0027] 本实施例中，相同场景的源风格图像和目标风格图像是指源风格图像和目标风格 图像所展示的场景相同，如源风格图像和目标风格图像所展示的都为人脸图像，又如源风 格图像和目标风格图像展示的都为指纹图像等。
[0028] 本实施例中，一对相同场景的源风格图像和目标风格图像是指该对源风格图像和 目标风格图像展示的为相同事物的图像，如在人脸图像中，一对相同场景的源风格图像和 目标风格图像展示的都为张 Ξ的人脸。
[0029] 本实施例中，W源风格图像为照片图像，目标风格图像为出于同一画家的素描图 像，场景为人脸图像为例，则本实施例中的获取多对相同场景的源风格图像和目标风格图 像是指获取多个人中每个人相对应的人脸照片图像和素描图像，其中对每个人相对应的照 片图像和素描图像的对数不做限定。
[0030] 本实施例中，多对相同场景的源风格图像和目标风格图像的大小相等。
[0031] 步骤102,根据多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目 柄训练集X。
[0032] 本实施例中，由多对相同场景的源风格图像和目标风格图像中的多幅源风格图像 经处理组成源训练集Y，由多对相同场景的源风格图像和目标风格图像中的多幅目标风格 图像经处理组成目标训练集X。
[003引步骤103,对源训练集Y和目标训练集X分别进行训练，确定源风格字典护，目标 风格字典护^及源训练集Y对应的稀疏系数α y和目标训练集X对应的稀疏系数α X之间 的映射关系1# =[(沁'沁'' )|沁抹、']'。
[0034] 本实施例中，对源训练集Υ和目标训练集X分别采用相同的方法进行训练，确定源 风格字典护，目标风格字典〇x。
[0035] 其中，源风格字典护和目标风格字典D X都为过完备字典。
[0036] 本实施例中，由于源训练集Y和目标训练集X分别采用的是成对的源风格图像和 目标风格图像经处理获取的，并且源风格字典护和目标风格字典D X分别是对源训练集Y和 目标训练集X采用相同的训练方法获得的，所W源训练集Y对应的稀疏系数α y和目标训 练集X对应的稀疏系数qX之间存在映射关系，该映射关系Μ =[(沁'沁'")ν'α'' j'。
[0037] 具体地，映射关系Μ可采用最小二乘法进行计算确定。
[0038] 步骤104,根据源风格字典护，目标风格字典护^及映射关系Μ，采用稀疏表示的 方法对待处理的源风格图像y'进行重建，获取与待处理的源风格图像y'对应的目标风 格图像X'。
[0039] 本实施例中，待处理的源风格图像y'与源训练集Y中的源风格图像为相同场景 的图像。
[0040] 具体地，本实施例中，在获取到待处理的源风格图像y'后，根据源风格字典DH十 算源风格字典护下待处理的源风格图像y'对应的稀疏系数α Y'，根据待处理的源风格图 像y'对应的稀疏系数αΥ'Κ及映射关系Μ，计算目标风格字典护下的目标风格图像X'对 应的稀疏系数qX'，根据目标风格字典护和目标风格图像X'对应的稀疏系数α X'获取与 待处理的源风格图像y'对应的目标风格图像X'。
[0041] 本实施例中，通过获取多对相同场景的源风格图像和目标风格图像；根据多对相 同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集X ;对源训练集Y和目 标训练集X分别进行训练，确定源风格字典DY，目标风格字典护^及源训练集Y对应的稀 疏系数和目标训练集X对应的稀疏系数α X之间的映射关系献=[(彷^/尸彷^/]『；根 据源风格字典护，目标风格字典护^及映射关系Μ，采用稀疏表示的方法对待处理的源风格 图像y'进行重建，获取与待处理的源风格图像y'对应的目标风格图像X'。实现了任意 风格的源风格图像到任意风格的目标风格图像的重建，重建的准确性高。
[0042] 图2为本发明图像风格化重建的方法实施例二的流程图，如图2所示，本实施例的 执行主体为具有存储和处理功能的终端设备或服务器，如计算机，笔记本电脑等，具体可通 过软件、硬件或软硬件相结合的方式实现，该方法包括：
[0043] 步骤201，获取多对相同场景的源风格图像和目标风格图像。
[0044] 本实施例中，步骤201和本发明图像风格化重建的方法实施例一中的步骤101相 同，在此不再一一寶述。
[0045] 步骤202,将多对相同场景的源风格图像和目标风格图像中的每幅源风格图像重 叠地划分为多个源风格图像块，并将多对相同场景的源风格图像和目标风格图像中的每幅 目标风格图像重叠地划分为多个目标风格图像块。
[0046] 本实施例中，将多对相同场景的源风格图像和目标风格图像中的每幅源风格图像 重叠地划分为多个源风格图像块，每个源风格图像块的大小相等。将多对相同场景的源风 格图像和目标风格图像中的每幅目标风格图像重叠地划分为多个目标风格图像块，每个目 标风格图像块的大小相等。并且源风格图像块与目标风格图像块的大小相等。
[0047] 本实施例中，对源风格图像块与目标风格图像块的大小不做限定，如源风格图像 块与目标风格图像块的大小都为8X8的表示图像块的矩阵或16X 16的表示图像块的矩阵 等。
[0048] 本实施例中，对源风格图像块之间重叠的行数或列数的数量不做限定，对目标风 格图像块之间重叠的行数或列数的数量不做限定，但源风格图像块之间、目标风格图像块 之间重叠的行数或列数的数量相等。
[0049] 步骤203,将各个源风格图像块组合，获取源训练集Y，将各个目标风格图像块组 合，获取目标训练集X。
[0050] 本实施例中，将多对相同场景的源风格图像和目标风格图像中的每幅源风格图像 重叠地划分为多个源风格图像块，每幅目标风格图像重叠地划分为多个目标风格图像块 后，对每个源风格图像块和目标风格图像块进行拉伸处理，形成列向量，具体地形成列向量 的方法为现有技术，本实施例中不再寶述。
[0051] 将拉伸处理后的每个源风格图像块y维合，形成源训练集Y = 扔，72,...，yi，...，yJ。
[0052] 其中，i表示源训练集Y中的第i个源风格图像块，η表示源训练集Y中源风格图 像块的个数。 W53] 将拉伸处理后的每个目标风格图像块组合，形成目标训练集X = {X^J ^2* * * * , Xi, * * * , X。} D
[0054] 其中，i表示目标训练集X中的第i个目标风格图像块，η表示目标训练集X中目 标风格图像块的个数。
[0055] 本实施例中，源训练集Υ中源风格图像块的个数和目标训练集X中目标风格图像 块的个数相等。
[0056] 步骤204,对源训练集Υ和目标训练集X分别进行训练，确定源风格字典护，目标 风格字典护^及源训练集Υ对应的稀疏系数α y和目标训练集X对应的稀疏系数α X之间 的映射关系姐二[你 α)於沁.r f。
[0057] 本实施例中，采用相同的训练方法分别对源训练集Υ和目标训练集X进行训练，确 定源风格字典护，目标风格字典护。
[00郎]具体地，源风格字典巧y =(叫'...... 〇1..... 。
[0059] 其中，k表示源风格字典护的第k个字典基，h表示源风格字典中字典基的个数。 W60] 其中，源风格字典护中h个字典基是由源训练集Y中随机抽取的拉伸后的源风格 图像块组成的。随机抽取的每个拉伸后的源风格图像块yi对应源风格字典D y中的一个字 典基巧'。
[oow]目标风格字典二（坏.0:'.....D；..…D,:)。
[0062] 其中，k表示目标风格字典护的第k个字典基，h表示目标风格字典中字典基的个 数。
[0063] 其中，目标风格字典护中h个字典基是由目标训练集X中随机抽取的拉伸后的目 标风格图像块组成的。随机抽取的每个拉伸后的目标风格图像块对应目标风格字典D X 中的一个字典基 W64] 其中，目标风格字典护对应的随机抽取的拉伸后的目标风格图像块与源风格字典 护对应的随机抽取的拉伸后的源风格图像块是一一对应的。
[0065] 本实施例中，本实施例中，源风格字典护和目标风格字典D X都为过完备字典。对 源风格字典护，目标风格字典中的字典基的个数h不做限定。
[0066] 举例说明为：源风格图像为人脸的照片图像，目标风格图像为人脸的素描图像，人 脸的照片图像为10个人的人脸图像，每个人的人脸照片图像的个数为5幅，每幅人脸照片 图像划分为50个人脸照片图像块，则该人脸的照片图像的图像块集合有2500个图像块，从 中随机抽取指定个数的图像块，每个图像块经拉伸后作为源风格字典的一个字典基，同理， 10个人的人脸素描图像，每个人的人脸素描图像的个数为5幅，每幅人脸素描图像划分为 50个人脸素描图像块，则该人脸的素描图像的图像块集合有2500个图像块，取出与上述随 机取出的指定个数的图像块对应的人脸素描图像块，每个人脸素描图像块经拉伸后作为目 标字典的一个字典基。
[0067] 所W，对于源训练集Y中的每个拉伸处理后的源风格图像块都可W表示为式 (1)所示： 阳0側
（1)
[0069] 其中，巧'表示源风格图像块对应的稀疏系数，努表示源风格图像块对应的重 建误差。
[0070] 对于目标训练集X中的每个目标风格图像块都可W表示为式似所示：
[0071]
巧)
[0072] 其中，< 表示目标风格图像块对应的稀疏系数，豁表示目标风格图像块对应 的重建误差。
[0073] 由于对于相对应的源风格图像块yi和目标风格图像块X1，源风格图像块yi对应的 稀疏系数心f和目标风格图像块对应的稀疏系数解具有相同的稀疏性，与各自字典中相 对应的字典基相关，所W，源风格图像块对应的稀疏系数 < 和目标风格图像块对应的 稀疏系数解之间的关系可表示为式（3)所示：
[0074]
掛 阳07引对于源训练集Y对应的稀疏系数《' =脚。。….<.·.·，的）和目标训练集X对应的 稀疏系数化'=(巧'.喊...，咯，…，嫁I，稀疏系数α邢目标训练集X对应的稀疏系数α义间 的关系可表示为式（4)所示：
[0076] ΜαΥ=曰 X (4) 阳077] 则稀疏系数α y和目标训练集X对应的稀疏系数α X之间的映射关系Μ可表示为 式妨所示： W7引
巧）
[00巧]其中，Μ可通过最小二乘法进行计算获得。
[0080] 本实施例中，将源训练集Υ对应的稀疏系数α y与目标训练集X对应的稀疏系数 α X分别表示为式（6)和式（7)所示：
[0081] 曰 y=z.sY (6) W82] α x= Z · S X (7)
[008引其中，sY表示源训练集Υ对应的稀疏系数数值，sx表示目标训练集X对应的稀疏 系数数值，Z表示源风格字典W及目标风格字典中的字典基标记数。
[0084] 本实施例中，由于对于相对应的源风格图像块和目标风格图像块X 1，源风格图 像块y对应的稀疏系数撕和目标风格图像块X拥应的稀疏系数締具有相同的稀疏性，与 各自字典中相对应的字典基相关，所W源风格字典W及目标风格字典中的字典基标记数相 同。
[00化]步骤205,获取待处理的源风格图像y'，并将待处理的源风格图像y'重叠地划 分为多个待处理的源风格图像块y'二柄'，y' 2，...，yi')。
[0086] 对每个待处理的源风格图像块yi'进行拉伸处理，形成列向量，具体地形成列向 量的方法为现有技术，本实施例中不再寶述。
[0087] 其中，i表示源训练集Y中的第i个源风格图像块，1为待处理的源风格图像y' 被重叠地划分的待处理的源风格图像块的个数。
[0088] 本实施例中，待处理的源风格图像y'被重叠地划分的待处理的源风格图像块之 间重叠的行数或列数的个数与源训练集Y中源风格图像块之间重叠的行数或列数的个数 相等。并且，待处理的源风格图像块大小与源训练集Y中的源风格图像块的大小相同。
[0089] 步骤206,对于每个待处理的源风格图像块'，采用稀疏表示的方法计算每个待 处理的源风格图像块'对应的稀疏系数株f。
[0090] 具体地，本实施例中，对于每个待处理的源风格图像块y/，采用式（8)计算每个 待处理的源风格图像块'对应的稀疏系数年'。
[0091]
(8)
[0092] 其中，运算符?Ι很"表示L2范数，运算符"Μ Μ 1"表示Li范数，λ为调节稀疏 表示解的精确度和稀疏度的权重，式（8)可采用正则化最小二乘的方法进行求解，也可采 用其它算法进行求解，本实施例不做限定。
[0093] 优选地，根据先验知识，可知本实施例中的源风格图像块yi'对应的稀疏系数 数值源风格字典及源风格图像块yi'对应的重建误差祭'服从正态分布，源风 格图像块yi'对应的稀疏系数数值皆及源风格图像块yi'对应的重建误差祭'的超参 数服从Gamma分布，所W，字典基标记数Zi'服从Beta-Bernoulli分布，其中Zi'服从 Beta-Bernoulli分布可表示为使（9)所示：
[0094]
(9)
[00巧]其中，π k为Beta-Bernoulli分布的中间参数，a, b, K为Beta-Bernoulli分布的 中间系数。
[0096] 所W，本实施例中，在稀疏表示方法计算每个待处理的源风格图像块yi'的稀疏 系数巧.'I时，在每个待处理的源风格图像块yi'对应的稀疏系数数值玲'服从正态分布，字典 基标记数Zi'服从Beta-Bernoulli分布的限制条件下，采用稀疏表示方法计算每个待处理 的源风格图像块y/的稀疏系数af，其中辟I可表示为式（10)所示： 阳097]
(10) 阳〇9引其中，运算符"II情"表示L2范数，运算符"II II 1"表示Li范数，λ为调节稀疏 表示解的精确度和稀疏度的权重，式（10)可采用正则化最小二乘的方法进行求解，也可采 用其他算法进行求解，本实施例不做限定。
[0099] 步骤207,根据每个待处理的源风格图像块'的稀疏系数峰，映射关系Μ，W及 字典基标记数Zi'，计算每个待处理的源风格图像块yi'对应的目标风格图像块Xi'对应 的稀疏系数:cf。
[0100] 本实施例中，每个待处理的源风格图像块y/对应的目标风格图像块Xi'对应的 稀疏系数表示为式（11)所示：
[0101]
(11) 阳102] 其中，Zi'为待处理的源风格图像块y/的稀疏系数《Τ'对应的字典基标记数。 [0103] 步骤208,根据每个目标风格图像块'对应的稀疏系数餐和目标风格字典护， 计算每个目标风格图像块Xi'。 阳104] 其中，每个目标风格图像块V表示为式所示：
[0105]
(12)
[0106] 步骤209,根据每个目标风格图像块Xi'，合成待处理的源风格图像y'对应的目 标风格图像X'。 阳107] 具体地，本实施例中，步骤209可分为W下Ξ个步骤进行，如图3所示。
[0108] 步骤209a，获取每个目标风格图像块Xi'之间的重叠区域。
[0109] 本实施例中，根据待处理的源风格图像y'重叠划分为多个源风格图像块时的待 处理的源风格图像块y/之间重叠的行数或列数，获取每个目标风格图像块Xi'之间的重 叠区域。
[0110] 步骤209b，对重叠区域进行加和取平均值运算，确定重建的重叠区域。 阳111] 步骤209c，根据每个目标风格图像块Xi'和重建的重叠区域，合成目标风格图像 X,。
[0112] 本实施例中，将每个目标风格图像块'和重建的重叠区域组合，合成重建后的 目标风格图像X'。 阳113] 本实施例中，将多对相同场景的源风格图像和目标风格图像划分为多个源风格图 像块和多个目标图像块，并确定过完备的源风格字典护和目标风格字典D X，根据源风格字 典护，目标风格字典护^及映射关系Μ，采用稀疏表示的方法对待处理的源风格图像y'进 行重建，并在采用稀疏表示的方法对待处理的源风格图像y'进行重建时，使字典基标记数 Zi'服从Beta-Bernoulli分布的限制条件，获取与待处理的源风格图像y'对应的目标风 格图像X'，能够使源风格图像采用稀疏表示的方法计算出的稀疏系数更精确，W实现重建 的与待处理的源风格图像y'对应的目标风格图像X'准确性更高。
[0114] 需要说明的是，本实施例中所有公式中的AB的形式表示A矩阵或向量、B矩阵或 向量之间的乘积。
[0115] 图4为本发明图像风格化重建的装置实施例一的结构示意图，如图4所示，该图像 风格化重建的装置包括：获取模块41、确定模块42和重建模块43。
[0116] 其中，获取模块41，用于获取多对相同场景的源风格图像和目标风格图像。获取 模块41，还用于根据多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标 训练集X。确定模块42,用于对源训练集Y和目标训练集X分别进行训练，确定源风格字典 护，目标风格字典护^及源训练集Y对应的稀疏系数α y和目标训练集X对应的稀疏系数 曰X之间的映射关系Μ二[(0'1'沁'')。重建模块43,用于根据源风格字典护，目标风 格字典护^及映射关系M，采用稀疏表示的方法对待处理的源风格图像y'进行重建，获取 与待处理的源风格图像y'对应的目标风格图像X'。
[0117] 本实施例的装置可W执行图1所示方法实施例的技术方案，其实现原理和技术效 果类似，此处不再寶述。
[0118] 图5为本发明图像风格化重建的装置实施例二的结构示意图，如图5所示，该图像 风格化重建的装置包括获取模块51、确定模块52、重建模块53、划分模块54、计算模块55。
[0119] 其中，获取模块51，用于获取多对相同场景的源风格图像和目标风格图像。获取 模块51，还用于根据多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标 训练集X。确定模块52,用于对源训练集Y和目标训练集X分别进行训练，确定源风格字典 护，目标风格字典irw及源训练集Y对应的稀疏系数α y和目标训练集X对应的稀疏系数 α义间的映射关系Μ 1沁妒Y。重建模块53,用于根据源风格字典护，目标风 格字典护^及映射关系Μ，采用稀疏表示的方法对待处理的源风格图像y'进行重建，获取 与待处理的源风格图像y'对应的目标风格图像X'。
[0120] 进一步地，获取模块51包括第一划分单元511、第二划分单元512、第一组合单元 513和第二组合单元514。 阳121] 其中，第一划分单元511 :用于将多对相同场景的源风格图像和目标风格图像中 的每幅源风格图像重叠地划分为多个源风格图像块。
[0122] 第二划分单元512 :用于将多对相同场景的源风格图像和目标风格图像中的每幅 目标风格图像重叠地划分为多个目标风格图像块。 阳123] 第一组合单元513 :用于将各个源风格图像块组合，获取源训练集Y。
[0124] 第二组合单元514 :用于将各个目标风格图像块组合，获取目标训练集X。
[01巧]进一步地，划分模块54,用于重建模块根据源风格字典护，目标风格字典护^及映 射关系M，采用稀疏表示的方法对待处理的源风格图像y'进行重建，获取与待处理的源风 格图像y'对应的目标风格图像X'之前，将待处理的源风格图像y'重叠地划分为多个待 处理的源风格图像块y' =(y/，y2')，待处理的源风格图像块大小 与源训练集Y中的源风格图像块的大小相同。
[01%] 计算模块55,用于对于每个待处理的源风格图像块y/，采用稀疏表示的方法计 算每个待处理的源风格图像块'对应的稀疏系数没f。
[0127] 优选地，计算模块55,具体用于：
[0128] 在每个待处理的源风格图像块yi'对应的稀疏系数数值sf服从正态分布，字典基 标记数Zi'服从Beta-Bernoulli分布的限制条件下，采用稀疏表示方法计算每个待处理的 源风格图像块y/的稀疏系勤
[0129] 进一步地，重建模块包括：第一计算单元531、第二计算单元532和合成单元533。
[0130] 其中，第一计算单元531 :用于根据每个待处理的源风格图像块yi'的稀疏系数 游％映射关系M，W及字典基标记数Zi'，计算每个待处理的源风格图像块y/对应的目标 风格图像块'对应的稀疏系数巧巧''。 阳131 ] 第二计算单元532,用于根据每个目标风格图像块'对应的稀疏系数货f和目标 风格字典护，计算每个目标风格图像块Λ;' = D'a/。
[0132] 合成单元533,用于根据每个目标风格图像块X' 1，合成待处理的源风格图像y' 对应的目标风格图像X'。
[0133] 进一步地，合成单元533具体用于： 阳134] 获取每个目标风格图像块Xi'之间的重叠区域；对重叠区域进行加和取平均值运 算，确定重建的重叠区域；根据每个目标风格图像块Xi'和重建的重叠区域，合成目标风格 图像X'。
[0135] 本实施例的装置可W执行图2和图3所示方法实施例的技术方案，其实现原理和 技术效果类似，此处不再寶述。 阳136] 本领域普通技术人员可W理解：实现上述各方法实施例的全部或部分步骤可W通 过程序指令相关的硬件来完成。前述的程序可W存储于一计算机可读取存储介质中。该程 序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟 或者光盘等各种可W存储程序代码的介质。
[0137] 最后应说明的是：W上各实施例仅用W说明本发明的技术方案，而非对其限制； 尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其 依然可W对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征 进行等同替换；而运些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技 术方案的范围。
【主权项】
1. 一种图像风格化重建的方法，其特征在于，包括： 获取多对相同场景的源风格图像和目标风格图像； 根据所述多对相同场景的源风格图像和目标风格图像，获取源训练集Y和目标训练集 X; 对所述源训练集Y和所述目标训练集X分别进行训练，确定源风格字典护，目标风格字 典护W及所述源训练集Y对应的稀疏系数a Y和所述目标训练集X对应的稀疏系数a X之 间的映射关系根据所述源风格字典护，所述目标风格字典护W及所述映射关系M，采用稀疏表示的方 法对待处理的源风格图像y'进行重建，获取与所述待处理的源风格图像y'对应的目标 风格图像X'。2. 根据权利要求1所述的方法，其特征在于，所述根据所述多对相同场景的源风格图 像和目标风格图像，获取源训练集Y和目标训练集X，具体包括： 将所述多对相同场景的源风格图像和目标风格图像中的每幅源风格图像重叠地划分 为多个源风格图像块； 将所述多对相同场景的源风格图像和目标风格图像中的每幅目标风格图像重叠地划 分为多个目标风格图像块； 将所述各个源风格图像块组合，获取源训练集Y ; 将所述各个目标风格图像块组合，获取目标训练集X。3. 根据权利要求2所述的方法，其特征在于，所述根据所述源风格字典D V，所述目标风 格字典护W及所述映射关系M，采用稀疏表示的方法对待处理的源风格图像y'进行重建， 获取与所述待处理的源风格图像y'对应的目标风格图像X'之前，还包括： 将所述待处理的源风格图像y'重叠地划分为多个待处理的源风格图像块y' =(y' i，y' 2，...，y' 1)，所述待处理的源风格图像块大小与所述源训练集Y中的源风格 图像块的大小相同； 对于每个待处理的源风格图像块y' 1，采用稀疏表示的方法计算每个待处理的源风格 图像块y' 1对应的稀疏系数鮮I。4. 根据权利要求3所述的方法，其特征在于，所述对于每个待处理的源风格图像块 y' 1，采用稀疏表示的方法计算每个待处理的源风格图像块y' 1对应的稀疏系数巧1''，具体 包括： 在每个待处理的源风格图像块y' 1对应的稀疏系数数值妓'服从正态分布，字典基标 记数Z' i服从Beta-Bernoulli分布的限制条件下，采用稀疏表示方法计算每个待处理的 源风格图像块y' 1的稀疏系数5. 根据权利要求4所述的方法，其特征在于，所述根据所述源风格字典D V，所述目标风 格字典护W及所述映射关系M，采用稀疏表示的方法对待处理的源风格图像y'进行重建， 获取与所述待处理的源风格图像y'对应的目标风格图像，具体包括： 根据所述每个待处理的源风格图像块y' 1的稀疏系数巧/，所述映射关系M，W及所述 字典基标记数Z' 1，计算每个待处理的源风格图像块y' I对应的目标风格图像块X' 1对 应的稀疏系数根据每个目标风格图像块X' 1对应的稀疏系数城'和所述目标风格字典护，计算每个 目标风格图像其根据所述每个目标风格图像块X' 1，合成待处理的源风格图像y'对应的目标风格图 像X'。6. 根据权利要求5所述的方法，所述根据所述每个目标风格图像块X' 1，合成待处理 的源风格图像y'对应的目标风格图像X'，具体包括： 获取所述每个目标风格图像块X' 1之间的重叠区域； 对所述重叠区域进行加和取平均值运算，确定重建的重叠区域； 根据所述每个目标风格图像块X' 1和重建的重叠区域，合成目标风格图像X'。7. -种图像风格化重建的装置，其特征在于，包括： 获取模块，用于获取多对相同场景的源风格图像和目标风格图像； 所述获取模块，还用于根据所述多对相同场景的源风格图像和目标风格图像，获取源 训练集Y和目柄；训练集X ; 确定模块，用于对所述源训练集Y和所述目标训练集X分别进行训练，确定源风格字典 护，目标风格字典ITW及所述源训练集Y对应的稀疏系数a Y和所述目标训练集X对应的 稀疏系数a X之间的映射关系重建模块，用于根据所述源风格字典护，所述目标风格字典护W及所述映射关系M，采 用稀疏表示的方法对待处理的源风格图像y'进行重建，获取与所述待处理的源风格图像 y'对应的目标风格图像X'。8. 根据权利要求7所述的装置，其特征在于，所述获取模块包括： 第一划分单元：用于将所述多对相同场景的源风格图像和目标风格图像中的每幅源风 格图像重叠地划分为多个源风格图像块； 第二划分单元：用于将所述多对相同场景的源风格图像和目标风格图像中的每幅目标 风格图像重叠地划分为多个目标风格图像块； 第一组合单元：用于将所述各个源风格图像块组合，获取源训练集Y ; 第二组合单元：用于将所述各个目标风格图像块组合，获取目标训练集X。9. 根据权利要求8所述的装置，其特征在于，还包括：划分模块和计算模块， 所述划分模块，用于所述重建模块根据所述源风格字典护，所述目标风格字典护W及 所述映射关系M，采用稀疏表示的方法对待处理的源风格图像y'进行重建，获取与所述待 处理的源风格图像y'对应的目标风格图像X'之前，将所述待处理的源风格图像y'重叠 地划分为多个待处理的源风格图像块y' =(y' i，y' 2，...，y' 1)，所述待处理 的源风格图像块大小与所述源训练集Y中的源风格图像块的大小相同； 所述计算模块，用于对于每个待处理的源风格图像块y' 1，采用稀疏表示的方法计算 每个待处理的源风格图像块y' 1对应的稀疏系数巧"'。10. 根据权利要求9所述的装置，其特征在于，所述计算模块，具体用于： 在每个待处理的源风格图像块y' I对应的稀疏系数数值sf服从正态分布，字典基标 记数Z' i服从Beta-Bernoulli分布的限制条件下，采用稀疏表示方法计算每个待处理的 源风格图像块y' 1的稀疏系数11. 根据权利要求10所述的装置，其特征在于，所述重建模块包括： 第一计算单元：用于根据所述每个待处理的源风格图像块y' 1的稀疏系数"，，所述 映射关系M，W及所述字典基标记数Z' 1，计算每个待处理的源风格图像块y' 1对应的目 标风格图像块X' 1对应的稀疏系数第二计算单元，用于根据每个目标风格图像块X' 1对应的稀疏系数城'和所述目标风 格字典D%计算每个目标风格图像吳合成单元：用于根据所述每个目标风格图像块X' 1，合成待处理的源风格图像y'对 应的目标风格图像X'。12. 根据权利要求11所述的装置，所述合成单元具体用于： 获取所述每个目标风格图像块X' 1之间的重叠区域；对所述重叠区域进行加和取平 均值运算，确定重建的重叠区域；根据所述每个目标风格图像块X' 1和重建的重叠区域， 合成目标风格图像X'。
【文档编号】G06T5/50GK105989584SQ201510045335
【公开日】2016年10月5日
【申请日】2015年1月29日
【发明人】杨撒博雅, 刘家瑛, 杨帅, 郭宗明
【申请人】北京大学, 北大方正集团有限公司, 北京北大方正电子有限公司