基于传播辅助KD树的地形特征区域合成方法和装置与流程

本发明涉及图像处理
技术领域：
，尤其是涉及一种基于传播辅助kd树的地形特征区域合成方法和装置。
背景技术：
现有的基于样本的地形合成技术的特征区域合成方法中，地形特征区域的合成都是在特征线(包括山脊线和山谷线)提取之后开始进行的。特征线提取完成之后，将分别得到用户草图和地形样本的特征树。地形特征区域合成就是要参照草图对应位置小块的特征，从地形样本中找到与之最匹配的小块复制并放置到结果地形图像中，并实现块之间的融合。现有的地形特征区域合成算法主要存在以下问题：第一，匹配代价计算只考察特征块中有特征线分布的部分，对于特征块中大量存在的不含有显著特征的部分未纳入匹配代价计算。第二，合成速度有待提高。地形特征区域合成算法的研究主要为了得到合成效果上的提升，而在合成速度上的提升主要是采用硬件加速的方式进行改进，在算法设计上还有待提出更优的加速方案。第三，融合效果有待进一步提升。尽管研究者对融合算法采取了诸多改进，但是现有的融合算法中依然会出现明显的人工痕迹。技术实现要素：有鉴于此，本发明的目的在于提供一种基于传播辅助kd树的地形特征区域合成方法和装置，可以提升地形特征区域合成的速度，提高地形特征块的匹配精准度，并优化融合效果。第一方面，本发明实施例提供了一种基于传播辅助kd树的地形特征区域合成方法，包括：获取地形样本图像和草图；分别提取该样本图像、该草图的特征线，得到地形样本特征树和草图特征树，根据该地形样本特征树切割地形样本图像得到地形样本块，根据该草图特征树切割草图得到草图特征块；根据该草图特征树生成合成顺序；由该样本块构建样本库，遍历地形样本库并计算各个地形样本块的匹配代价向量，根据该匹配代价向量创建地形样本块kd树；按照上述合成顺序，依次选取各个草图特征块为待合成块；根据地形样本块kd树查找待合成块的候选块集合，并根据与该待合成块相邻的已合成块得到相应的传播块集合；计算该候选块集合和该传播块集合中各个样本块的融合代价，选择融合代价最小的样本块为匹配块；将该匹配块融合到结果地形图像中，并输出该结果地形图像。结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述计算各个地形样本块的匹配代价向量的步骤，包括：利用沃尔什-哈达玛变换对各个地形样本块的高程值向量进行降维处理得到低维高程值向量；计算该地形样本块的偏角向量、特征向量、噪声向量；根据该偏角向量、特征向量、噪声向量和低维高程值向量生成匹配代价向量。结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述根据地形样本块kd树查找待合成块的候选块集合的步骤，包括：计算该待合成块的匹配代价向量；调用kd树搜索算法，以该待合成块的匹配代价向量为输入查找地形样本块kd树，得到与该待合成块距离最近的kd树叶子节点；由该kd树叶子节点中的样本块集合生成该待合成块的候选块集合。结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述根据与该待合成块相邻的已合成块得到相应的传播块集合的步骤，包括：搜索与该待合成块相邻的已合成块对应的kd树叶子节点，分别以该候选块集合kd树叶子节点中的各个样本候选块为起点，以该样本特征树的特征曲线为传播方向，得到该候选样本块在该传播方向上相邻的样本块为传播块。结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述将该匹配块融合到结果地形图像中的步骤，包括：依次采用非标量graphcut方法、shepard插值和泊松图像编辑将该匹配块融合到结果地形图像中。结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上述根据草图特征树生成合成顺序的步骤，包括：以所述草图特征树中度最高的节点为起始点，计算该草图特征树的广度优先遍历顺序；由该广度优先遍历顺序生成合成顺序。结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，上述由地形样本块构建地形样本库的步骤包括：对该地形样本块分别进行旋转、镜面翻转、轴对称处理，得到旋转样本块、镜面翻转地形样本块和轴对称地形样本块；由该地形样本块、旋转地形样本块、镜面翻转地形样本块和轴对称地形样本块共同构成样本库。结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，上述对地形样本块进行旋转处理的步骤包括：对该地形样本块每次逆时针旋转45°，连续旋转8次，得到不同旋转角度的各个旋转地形样本块。第二方面，本发明实施例还提供了一种基于传播辅助kd树的地形特征区域合成装置，包括：输入模块，用于获取地形样本图像和草图；提取切割模块，用于提取该地形样本图像和该草图的特征线分别得到地形样本特征树和草图特征树，根据该地形样本特征树切割样本图像得到地形样本块，根据该草图特征树切割草图得到草图特征块；合成顺序生成模块，用于根据该草图特征树生成合成顺序；kd树创建模块，用于由地形样本块构成地形样本库，遍历地形样本库并计算各个地形样本块的匹配代价向量，根据该匹配代价向量创建地形样本块kd树；待合成块选取模块，用于按照该合成顺序，依次选取各个草图特征块为待合成块；查找模块，用于根据地形样本块kd树查找待合成块的候选块集合，并根据与所述待合成块相邻的已合成块得到相应的传播块集合；匹配块模块，用于计算该候选块集合和该传播块集合中各个样本块的融合代价，选择融合代价最小的地形样本块为匹配块；融合输出模块，用于将该匹配块融合到结果地形图像中，并输出该结果地形图像。第三方面，本发明实施例还提供了一种基于传播辅助kd树的地形特征区域合成装置，该装置包括处理器，存储器，总线和通信接口，该处理器、通信接口和存储器通过该总线连接；该存储器用于存储程序；该处理器，用于通过该总线调用存储在该存储器中的程序，执行上述第一方面及其可能的实施方式之一提供的方法。本发明实施例带来了以下有益效果：本发明实施例提供的基于传播辅助kd树的地形特征区域合成方法和装置，该方法包括获取地形样本图像和草图；分别提取该地形样本图像、该草图的特征线，得到地形样本特征树和草图特征树，根据该地形样本特征树切割地形样本图像得到地形样本块，根据该草图特征树切割草图得到草图特征块；根据该草图特征树生成合成顺序；由该地形样本块构建地形样本库，遍历地形样本库并计算各个地形样本块的匹配代价向量，根据该匹配代价向量创建地形样本块kd树；按照上述合成顺序，依次选取各个特征块为待合成块；根据地形样本块kd树查找待合成块的候选块集合，并根据与所述待合成块相邻的已合成块得到相应的传播块集合；计算该候选块集合和该传播块集合中各个地形样本块的融合代价，选择融合代价最小的地形样本块为匹配块；将该匹配块融合到结果图像中，并输出该结果图像；可以提升地形特征区域合成的速度，提高地形特征块的匹配精准度，并优化融合效果。本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例提供的一种基于传播辅助kd树的地形特征区域合成方法的流程图；图2为本发明实施例提供的一种沃尔什-哈达玛变换的前16个变换核示意图；图3为本发明实施例提供的一种基于传播辅助kd树的特征块传播原理图；图4为本发明实施例提供的一种用于地形合成的草图及地形样本图；图5为本发明实施例提供的一种分别采用pakdt算法与tasse算法进行地形特征区域合成的效果对比图；图6为本发明实施例提供的另一种分别采用pakdt算法与tasse算法进行地形特征区域合成的效果对比图；图7为本发明实施例提供的一种基于传播辅助kd树的地形特征区域合成装置的结构示意图；图8为本发明实施例提供的另一种基于传播辅助kd树的地形特征区域合成装置的结构示意图。图标：71-输入模块；72-提取切割模块；73-合成顺序生成模块；74-kd树创建模块；75-待合成块选取模块；76-查找模块；77-匹配块模块；78-融合输出模块；80-处理器；81-存储器；82-总线；83-通信接口。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在地形合成中，将山脊、山谷、河流等显著的曲线地形属性作为特征，将含有这些特征属性的区域称为特征区域。对于地形，特征曲线是影响视觉体验的关键因素，含有特征曲线的地形特征区域是影响整个地形视觉效果的关键部分，所以，特征区域应该优先合成。现有的基于样本的地形合成技术中的地形特征区域合成方法中，地形特征区域的合成都是在特征线提取之后开始进行的。目前，现有地形特征区域合成算法主要存在的问题包括：大量存在的不含有显著特征的部分未纳入匹配代价计算，在算法设计上尚没有非常有效的速度提升方法，以及融合效果不佳等。基于此，本发明实施例提供的一种基于传播辅助kd树的地形特征区域合成方法和装置，可以提升地形特征区域合成的速度，提高特征块的匹配精准度，并优化融合效果。为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于传播辅助kd树的地形特征区域合成方法进行详细介绍。实施例一如图1所示，为本发明实施例提供的一种基于传播辅助kd树的地形特征区域合成方法的流程图，由图1可见，该合成方法包括以下步骤：步骤s101：获取地形样本图像和草图。地形样本图像用于提供可供合成的小块，以地形合成为例，地形样本图像具有真实的地形数据，提供用以图像合成的真实的特征信息。而草图可以是用户的手绘图，决定合成图像的整体的、大尺度的特征。步骤s102：分别提取该地形样本图像、该草图的特征线，得到地形样本特征树和草图特征树，根据该地形样本特征树切割样本图像得到地形样本块，根据该草图特征树切割草图得到草图特征块。由地形图像的特征点连成特征线，由特征线构成特征树。以地形合成为例，可以选取山脊作为地形图像的特征之一，地形样本图像和草图中的山脊线构成对应的特征树。按照地形样本特征树的分布特征切割样本图像得到许多独立的地形样本块，按照草图特征树切割草图得到相应的草图特征块。步骤s103：根据该草图特征树生成合成顺序。这里，首先以所述草图特征树中度最高的节点为起始点，计算草图特征树的广度优先遍历顺序，然后，再由该广度优先遍历顺序生成合成顺序。步骤s104：由上述地形样本块构建样本库，遍历地形样本库并计算各个地形样本块的匹配代价向量，根据该匹配代价向量创建地形样本块kd树。首先，对地形样本块分别进行旋转、镜面翻转、轴对称处理，得到旋转地形样本块、镜面翻转地形样本块和轴对称地形样本块；然后，再由上述地形样本块、旋转地形样本块、镜面翻转地形样本块和轴对地形称样本块共同构成地形样本库。这里，对地形样本块每次逆时针旋转45°，连续旋转8次，得到不同旋转角度的各个旋转地形样本块。为了提升地形样本块的匹配准确度，将整个地形样本块的高程值差异纳入匹配代价计算。首先，利用沃尔什-哈达玛变换对各个地形样本块的高程值向量进行降维处理得到低维高程值向量。其中，沃尔什-哈达玛变换是实现图像变换的重要方法之一，它是一种二维离散数值变换，可大大提高运算速度。沃尔什-哈达玛变换的变换核是值+1或-1的有序序列，这种变换只需要作加法或减法运算，不需要像傅里叶变换那样作复数乘法运算，所以能提高运算速度。如图2所示，为本发明实施例提供的一种沃尔什-哈达玛变换的前16个变换核示意图，其中，白色代表+1，黑色代表-1，通过沃尔什-哈达玛变换的前16个变换核运算，使各个地形样本块的高程值向量缩减至16维向量。其次，计算地形样本块的偏角向量、特征向量、噪声向量。然后，根据偏角向量、特征向量、噪声向量和低维高程值向量生成匹配代价向量。这里，通过调整匹配代价各组成部分的权重系数，可以在保证显著特征优先匹配的前提下，使得小块的非特征部分在匹配代价计算中也能发挥相应作用，从而帮助找到更好的匹配块。接着，由匹配代价向量创建地形样本块kd树，这里，kd树(k-dimensionaltree)是每个节点都由k维点构成的二叉树，是一种用于分割k维数据空间的数据结构，主要应用于高维关键字的相似性查找，主要包括范围查找和k近邻查找。在本发明实施例中，构建kd树的目的是用于查找待合成块的候选块集合并辅助实现匹配块的传播。自然图像具有一致性，即在自然图像中，在一个很小的视角范围下，图像的相邻小块之间具有相似性。基于这种一致性，可以利用图像中相邻小块的相互依赖关系，用于提高查找近似最近邻小块的效率。当一对合适的匹配关系对找到之后，根据图像的一致性原理，匹配双方的相邻小块也匹配的可能性极大。如图3所示，为本发明实施例提供的一种基于传播辅助kd树的特征块传播原理图，其中，在草图中找到了小块pa与样本图的pc匹配，那么他们各自的沿特征曲线走势方向相邻的小块pb与pd也匹配的可能性极大。根据图像的一致性特征，根据已经找到的好的匹配关系，在匹配双方的各自相邻小块中寻找构建匹配关系，实现传播。步骤s105：按照上述合成顺序，依次选取各个草图特征块为待合成块。以合成顺序依次完成各个特征块的合成，从合成顺序中的第一个特征块开始，完成该小块的合成后，继续下一个小块的合成，循环进行，直到合成顺序中的最后一个特征块的合成结束为止。步骤s106：根据样本块kd树查找待合成块的候选块集合，并根据与该待合成块相邻的已合成块得到相应的传播块集合。对于候选块集合的查找，首先需计算待合成块的匹配代价向量；其次，调用kd树搜索算法(无需回溯)，以该待合成块的匹配代价向量为输入查找样本块kd树，得到与该待合成块距离最近的kd树叶子节点；然后，再把kd树叶子节点中样本块集合作为该待合成块的候选块集合。在得到待合成块的候选块集合之后，搜索与该待合成块相邻的已合成块对应的kd树叶子节点，分别以该kd树叶子节点中的各个样本块为起点，以样本特征树的特征曲线为传播方向，得到该样本块在传播方向上相邻的地形样本块为传播块；最后，由传播块构建传播块集合。步骤s107：计算该候选块集合和该传播块集合中各个地形样本块的融合代价，选择融合代价最小的地形样本块为匹配块。融合代价是地形样本块置入结果图像后，为了使新置入的块与先前合成块之间不会出现明显的人工痕迹所耗费的代价。每个地形样本块的融合代价取决于这个地形样本块放置到结果图中与结果中已合成部分的重叠情况，这种重叠情况会随着合成的进行不断改变。步骤s108：将该匹配块融合到结果地形图像中，并输出该结果地形图像。这里，依次采用非标量graphcut方法、shepard插值和泊松图像编辑将各个匹配块融合到结果地形图像中。其中，非标量graphcut方法用于块与块的重叠部分寻求最优的切割路径。虽然通过graphcut可以得到一条曲折平滑的最优的切割路径，但是在接缝的地方依然会出现明显的人工痕迹，后续先后进行shepard插值和泊松图像编辑，对地形图像进一步融合。融合完成后，输出结果地形图像。本发明实施例提供的基于传播辅助kd树的地形特征区域合成方法，通过将特征小块的所有像素点高程值误差纳入代价匹配计算中，可以解决现有匹配代价算法中忽视大量不含有显著特征的像素点匹配误差的问题，可以进一步提高地形特征块匹配精准度；通过采用基于传播辅助的kd树的地形特征区域合成算法提高了运算速度；通过引入非标量的graphcut，替换传统的graphcut算法来避免走捷径现象，优化了融合效果。实施例二本发明实施例二针对基于传播辅助kd树的地形特征区域合成方法的实际应用进行举例说明，并对该方法的合成效果进行了检验。如图4所示，为本发明实施例提供的用于合成的草图和样本图，图4中，图a和图c是用户草图，两张图片的样式一样，但是图a的特征曲线表示山脊，图c的特征曲线表示的是山谷。图b是用户选取的样本图1，d为用户选取的样本图2。将两张用户草图与样本图交叉合成实验进行效果比对。合成参数为：结果图片大小为512*512，样本1的合成特征选取为山脊，样本2则选取为山谷，块大小为48。分别采用pakdt(featureregionsynthesisalgorithmbasedonpropagation-assistedkd-tree，基于传播辅助kd树的地形特征区域合成算法)算法与tasse算法进行地形特征区域合成，合成结果分别如图5、图6所示。在图5中展示的是以山脊为特征的合成结果，在图5中，图a和图b是针对输入中样本图1的一组结果对比，左侧的图a是传播辅助kd树算法合成所得，右侧的图b是tasse算法合成所得；图c和图d是针对输入中样本2的一组结果比对，左侧的图c是传播辅助kd树算法合成所得，右侧的图d是tasse算法合成所得。在图6中展示的是以山谷为特征的合成结果，在图6中，图a和图b是针对输入中样本图1的一组结果对比，左侧的图a是传播辅助kd树算法合成所得，右侧的图b是tasse算法合成所得；图c和图d是针对输入中样本2的一组结果比对，左侧的图c是传播辅助kd树算法合成所得，右侧的图d是tasse算法合成所得。针对图5、图6的合成结果进行用户调查和数据统计分析，发现传播辅助kd树算法的合成结果相比于tasse算法合成结果在与用户草图的匹配程度上更具优势。另外，在测试合成时间时，同时记录传播辅助kd树算法中传播得到的块并计算传播率以此考察传播对合成提速的贡献。其中，pakdt算法的特征区域传播得到的匹配块统计结果如表1所示，两种算法分别进行地形特征区域合成的时间测试结果如表2所示。表1pakdt算法传播率统计表样本大小传播得到的匹配块数传播率512＊5129635.42％1024＊10249735.79％1536＊15369535.05％2049＊20499735.79％表2地形特征区域合成时间比较(单位：秒)由表1可知，pakdt算法通过传播可以完成约35％的匹配，提高了合成效率；同时，在同一个草图下，传播率随样本大小的变化不大。由表2数据可知，地形特征区域合成的pakdt算法相比tasse算法在合成速度上提高了约一倍。实施例三本发明实施例还提供了一种基于传播辅助kd树的地形特征区域合成装置，参见图7，为本发明实施例提供的一种基于传播辅助kd树的地形特征区域合成装置的结构示意图，由图7可见，该装置包括依次连接的输入模块71、提取切割模块72、合成顺序生成模块73、待合成块选取模块75、查找模块76、匹配块模块77和融合输出模块78，还包括kd树创建模块74，该kd树创建模块74分别与提取切割模块72和查找模块76相连。其中，各个模块的功能如下：输入模块71，用于获取样本图像和草图；提取切割模块72，用于提取该样本图像和该草图的特征线分别得到样本特征树和草图特征树，根据该样本特征树切割样本图像得到样本块，根据该草图特征树切割草图得到草图特征块；合成顺序生成模块73，用于根据该草图特征树生成合成顺序；kd树创建模块74，用于由样本块构成样本库，遍历样本库并计算各个样本块的匹配代价向量，根据该匹配代价向量创建样本块kd树；待合成块选取模块75，用于按照该合成顺序，依次选取各个草图特征块为待合成块；查找模块76，用于根据样本块kd树查找待合成块的候选块集合，并根据与该待合成块相邻的已合成块得到相应的传播块集合；匹配块模块77，用于计算该候选块集合和该传播块集合中各个样本块的融合代价，选择融合代价最小的样本块为匹配块；融合输出模块78，用于将该匹配块融合到结果图像中，并输出该结果图像。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。实施例四参见图8，本发明实施例还提供了另一种基于传播辅助kd树的地形特征区域合成装置，包括：处理器80，存储器81，总线82和通信接口83，处理器80、通信接口83和存储器81通过总线82连接；处理器80用于执行存储器81中存储的可执行模块，例如计算机程序。其中，存储器81可能包含高速随机存取存储器(ram，randomaccessmemory)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线82可以是isa总线、pci总线或eisa总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。其中，存储器81用于存储程序，处理器80在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器80中，或者由处理器80实现。处理器80可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器80中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器80可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现成可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器81，处理器80读取存储器81中的信息，结合其硬件完成上述方法的步骤。本发明实施例提供的基于传播辅助kd树的地形特征区域合成装置，与上述实施例一提供的基于传播辅助kd树的特征区域合成方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本
技术领域：
的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。当前第1页12