一种三维虚拟场景的生成方法及装置的制造方法

一种三维虚拟场景的生成方法及装置的制造方法
【专利摘要】本发明提供了一种三维虚拟场景的生成方法及装置，其中，该方法包括：获取图像采集装置采集到的平面场景图像；对平面场景图像进行几何信息提取，得到平面场景图像中各个二维元素的几何信息；对平面场景图像进行内容信息提取，得到平面场景图像中各个二维元素的内容信息；根据各个二维元素的几何信息和内容信息分别确定与二维元素相对应的三维立体模型；在各个二维元素的几何形状对应的坐标处，分别绘制与二维元素相对应的三维立体模型并生成三维虚拟场景。在本发明实施例中无需使用专门的三维建模软件即可制作三维场景，可以实现快速将平面场景图片绘制成相应的三维场景。
【专利说明】
一种三维虚拟场景的生成方法及装置
技术领域
[0001] 本发明涉及图像处理技术领域，具体而言，涉及一种三维虚拟场景的生成方法及 装置。
【背景技术】
[0002] 目前，随着计算机图形图像处理技术的快速发展，由于三维虚拟场景可以将平面 场景图片以形象、生动的再现现实场景，给人们带来很好的视觉效果、以及视觉体验，从而 对三维可视化技术的需求呈现明显的增长趋势，因而，如何创建出所需的三维场景得到越 来越广泛的关注与研究，并且已在各种行业得到广泛的应用。
[0003] 当前，相关技术中提供了一种三维虚拟场景的制作方法，该方法包括:用户使用专 门的三维建模软件来创作三维场景，例如，3Dmax三维建模软件，在实现本发明的过程中，发 明人发现相关技术中至少存在以下问题：由于需要使用专门的三维建模软件来制作三维场 景，对制作者的专业性要求高，且制作流程复杂、效率低，只有专业的三维场景制作者才能 制作出所需三维场景，且相关技术中的创建三维虚拟场景的方式比较复杂、难度大、效率 低。

【发明内容】

[0004] 有鉴于此，本发明实施例的目的在于提供一种三维虚拟场景的生成方法及装置， 以实现无需使用专门的三维建模软件即可制作三维场景，快速将平面场景图片绘制成相应 的三维场景。
[0005] 第一方面，本发明实施例提供了一种三维虚拟场景的生成方法，该方法包括：
[0006] 获取图像采集装置采集到的平面场景图像，其中该图像采集装置包括:摄像装置、 扫描装置；
[0007] 对上述平面场景图像进行几何信息提取，得到上述平面场景图像中各个二维元素 的几何信息，其中，该几何信息包括:几何形状的类型、几何形状的图案和上述几何形状对 应的坐标；
[0008] 对上述平面场景图像进行内容信息提取，得到上述平面场景图像中各个二维元素 的内容信息，其中，该内容信息包括:颜色信息、纹理信息、文字信息；
[0009] 根据各个二维元素的上述几何信息和上述内容信息分别确定与上述二维元素相 对应的三维立体模型；
[0010] 在各个二维元素的几何形状对应的坐标处，分别绘制与上述二维元素相对应的三 维立体模型并生成三维虚拟场景。
[0011] 结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，对 上述平面场景图像进行几何信息提取，得到上述平面场景图像中各个二维元素的几何信息 包括：
[0012] 根据边缘提取算法对上述平面场景图像进行边缘图像提取，得到上述平面场景图 像中各个二维元素对应的多个边缘图像；
[0013] 在各个上述边缘图像中逐一选取一个边缘图像作为当前形状检测对象，从预设的 多种形状检测方式中依次选取一种形状检测方式对上述当前形状检测对象进行形状检测；
[0014] 当检测出上述当前形状检测对象的几何信息时，从未被选取的上述边缘图像中选 取下一个形状检测对象，直到检测出所有上述边缘图像的几何信息。
[0015] 结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种 可能的实施方式，其中，从预设的多种形状检测方式中依次选取一种形状检测方式对上述 当前形状检测对象进行形状检测包括：
[0016] 基于霍夫圆变换算法对上述当前形状检测对象进行圆形检测，识别上述边缘图像 中的圆形;确定识别出的各个圆形的圆心坐标及半径；
[0017] 或者，对上述当前形状检测对象进行多边形拟合，并识别拟合得到的各个多边形 的节点数;根据识别出的节点数确定各个多边形的边数;当所述多边形的边数为三条时，则 确定所述多边形为三角形，当上述多边形的边数为四条时，则确定上述多边形为四边形，当 上述多边形的边数大于四条时，则确定上述多边形为其它封闭形状的多边形;确定拟合出 的各个多边形的节点坐标。
[0018] 结合第一方面至第一方面的第二种可能的实施方式中的任一种实施方式，本发明 实施例提供了第一方面的第三种可能的实施方式，其中，对上述平面场景图像进行内容信 息提取，得到上述平面场景图像中各个二维元素的内容信息包括：
[0019] 逐一对各个二维元素内的图像进行图像预处理，其中，该预处理包括：二值化处 理、降噪处理，并对预处理后的上述图像进行颜色空间转换;计算各个颜色在HSV颜色空间 内各个通道的取值;利用HSV颜色直方图统计方法确定上述图像的主颜色;根据上述主颜色 的颜色类别在数据库中查找与上述颜色类别匹配的模板颜色;将上述模板颜色作为上述二 维元素的颜色信息；
[0020] 逐一对各个二维元素内的图像进行图像预处理，其中，该预处理包括：二值化处 理、降噪处理，并对预处理后的上述图像进行纹理特征提取;计算提取的上述图像的纹理特 征与预先建立的纹理数据库中各个模板纹理的纹理特征之间的距离;将距离最小的模板纹 理作为上述二维元素的纹理信息；
[0021] 逐一在各个二维元素内进行光学字符识别，得到各个二维元素内包含的数字或词 组;对识别得到的数字或词组进行语义分类，计算数字或词组与预先建立的文字数据库中 的模板语义集合的匹配度;将匹配度最高的模板语义作为上述二维元素的文字信息。
[0022] 结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上 述分别绘制与上述二维元素相对应的三维立体模型并生成三维虚拟场景之后，还包括：
[0023] 实时监听上述平面场景图像是否存在以下中的一种或者多种变化:移动、旋转、修 改；
[0024] 根据变化后的平面场景图像重新绘制并生成三维虚拟场景;或者根据监听到的变 化f目息调整上述二维虚拟场景。
[0025] 结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上 述获取图像采集装置采集到的平面场景图像之后，还包括：
[0026] 判断上述平面场景图像是否符合图像处理要求；
[0027] 如否，则对上述平面场景图像进行图像预处理，其中，该图像预处理方式包括：二 值化处理、降噪处理。
[0028] 结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，对 上述平面场景图像进行内容信息提取，得到上述平面场景图像中各个二维元素的内容信息 之后，还包括:获取用户终端选择的主题类型，其中，上述主题类型包括：中国古典、未来城 市、自然海岛；
[0029] 上述根据各个二维元素的上述几何信息和上述内容信息分别确定与上述二维元 素相对应的三维立体模型包括:根据获取的上述主题类型、各个二维元素的上述几何信息 和上述内容信息分别确定与上述二维元素相对应的三维立体模型；或者，上述分别绘制与 上述二维元素相对应的三维立体模型包括:根据获取的上述主题类型分别绘制与上述二维 元素相对应的三维立体模型。
[0030] 第二方面，本发明实施例还提供了一种三维虚拟场景的生成装置，该装置包括：
[0031] 图像获取模块，用于获取图像采集装置采集到的平面场景图像，其中该图像采集 装置包括:摄像装置、扫描装置；
[0032] 几何信息提取模块，用于对上述平面场景图像进行几何信息提取，得到上述平面 场景图像中各个二维元素的几何信息，其中，该几何信息包括:几何形状的类型、几何形状 的图案和上述几何形状对应的坐标；
[0033] 内容信息提取模块，用于对上述平面场景图像进行内容信息提取，得到上述平面 场景图像中各个二维元素的内容信息，其中，该内容信息包括:颜色信息、纹理信息、文字信 息；
[0034]三维模型确定模块，用于根据各个二维元素的上述几何信息和上述内容信息分别 确定与上述二维元素相对应的三维立体模型；
[0035] 三维虚拟场景生成模块，用于在各个二维元素的几何形状对应的坐标处，分别绘 制与上述二维元素相对应的三维立体模型并生成三维虚拟场景。
[0036] 结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上 述几何信息提取模块包括：
[0037] 边缘图像提取单元，用于根据边缘提取算法对上述平面场景图像进行边缘图像提 取，得到上述平面场景图像中各个二维元素对应的多个边缘图像；
[0038] 形状检测单元，用于在各个上述边缘图像中逐一选取一个边缘图像作为当前形状 检测对象，从预设的多种形状检测方式中依次选取一种形状检测方式对上述当前形状检测 对象进行形状检测；当检测出上述当前形状检测对象的几何信息时，从未被选取的上述边 缘图像中选取下一个形状检测对象，直到检测出所有上述边缘图像的几何信息。
[0039]结合第二方面或者第二方面的第一种可能的实施方式，本发明实施例提供了第二 方面的第一种可能的实施方式，其中，上述内容信息提取装置包括：
[0040]颜色信息提取单元，用于逐一对各个二维元素内的图像进行图像预处理，其中，上 述预处理包括:二值化处理、降噪处理，并对预处理后的上述图像进行颜色空间转换;计算 各个颜色在HSV颜色空间内各个通道的取值;利用HSV颜色直方图统计方法确定上述图像的 主颜色;根据上述主颜色的颜色类别在数据库中查找与上述颜色类别匹配的模板颜色;将 上述模板颜色作为上述二维元素的颜色信息；
[0041] 纹理信息提取单元，用于逐一对各个二维元素内的图像进行图像预处理，其中，上 述预处理包括:二值化处理、降噪处理，并对预处理后的上述图像进行纹理特征提取;计算 提取的上述图像的纹理特征与预先建立的纹理数据库中各个模板纹理的纹理特征之间的 距离;将距离最小的模板纹理作为上述二维元素的纹理信息；
[0042] 文字信息提取单元，用于逐一在各个二维元素内进行光学字符识别，得到各个二 维元素内包含的数字或词组;对识别得到的数字或词组进行语义分类，计算数字或词组与 预先建立的文字数据库中的模板语义集合的匹配度;将匹配度最高的模板语义作为上述二 维元素的文字信息。
[0043]在本发明实施例提供的三维虚拟场景的生成方法及装置中，该方法包括:获取图 像采集装置采集到的平面场景图像;对平面场景图像进行几何信息提取，得到平面场景图 像中各个二维元素的几何信息;对平面场景图像进行内容信息提取，得到平面场景图像中 各个二维元素的内容信息;根据各个二维元素的几何信息和内容信息分别确定与二维元素 相对应的三维立体模型；在各个二维元素的几何形状对应的坐标处，分别绘制与二维元素 相对应的三维立体模型并生成三维虚拟场景。本发明实施例通过自动提取平面场景图像中 各个二维元素的几何信息和内容信息，进而确定与各个二维元素对应的三维立体模型，无 需使用专门的三维建模软件即可制作三维场景，可以实现快速将平面场景图片绘制成相应 的三维场景，降低了三维场景的创建难度，提高了三维场景的创建效率。
[0044]为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合 所附附图，作详细说明如下。
【附图说明】
[0045] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附 图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对 范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这 些附图获得其他相关的附图。
[0046] 图1示出了本发明实施例所提供的三维虚拟场景的生成方法的流程图示意图；
[0047] 图2示出了本发明实施例所提供的一种三维虚拟场景的生成装置的结构示意图。
【具体实施方式】
[0048] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅 是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实 施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的 实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实 施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所 有其他实施例，都属于本发明保护的范围。
[0049]考虑到相关技术中需要使用专门的三维建模软件来制作三维场景，对制作者的专 业性要求高，且制作流程复杂、效率低，只有专业的三维场景制作者才能制作出所需的三维 场景，且相关技术中的创建三维虚拟场景的方式比较复杂、难度大、效率低。基于此，本发明 实施例提供了一种三维虚拟场景的生成方法和装置，下面通过实施例进行描述。
[0050]如图1所示，本发明实施例提供了一种三维虚拟场景的生成方法，该方法包括步骤 S102-S110,具体如下：
[0051]步骤S102:获取图像采集装置采集到的平面场景图像，其中该图像采集装置可以 是带有摄像头的摄像装置，也可以是具有扫描功能的扫描装置，还可以是其他具有图像采 集功能的装置；
[0052]需要说明的是，除使用带有摄像头的摄像装置或具有扫描功能的扫描装置(如，扫 描仪)识别视觉元素外，也可通过其它任意方式传感用户创作的元素性质和位置。例如，用 户通过在创作平面上放置各种RFID或磁性元件，由RFID读取器或磁性传感器获得其种类和 位置，均在本发明范围之内。
[0053]步骤S104:对上述平面场景图像进行几何信息提取，得到上述平面场景图像中各 个二维元素的几何信息，其中，该几何信息包括:几何形状的类型、几何形状的图案和上述 几何形状对应的坐标；
[0054]步骤S106:对上述平面场景图像进行内容信息提取，得到上述平面场景图像中各 个二维元素的内容信息，其中，该内容信息包括:颜色信息、纹理信息、文字信息；
[0055]步骤S108:根据各个二维元素的上述几何信息和上述内容信息分别确定与上述二 维元素相对应的三维立体模型；
[0056] 步骤S110:在各个二维元素的几何形状对应的坐标处，分别绘制与上述二维元素 相对应的三维立体模型并生成三维虚拟场景。
[0057] 在本发明提供的实施例中，通过自动提取平面场景图像中各个二维元素的几何信 息和内容信息，进而根据各个二维元素的几何信息和内容信息确定与各个二维元素对应的 三维立体模型，最后分别绘制与上述二维元素相对应的三维立体模型并生成三维虚拟场 景，整个过程无需使用专门的三维建模软件即可制作三维场景，可以实现快速将平面场景 图片绘制成相应的三维场景，降低了三维场景的创建难度，提高了三维场景的创建效率。 [0058]其中，上述根据各个二维元素的上述几何信息和上述内容信息分别确定与上述二 维元素相对应的三维立体模型具体包括：
[0059]首先，根据二维元素的某些信息选择与该二维元素对应的三维立体模型的类别 (例如树林、湖、房屋、山、路灯等等）；然后，根据该类别并结合二维元素的其它信息，确定三 维立体模型的具体形态、以及其它属性(例如颜色、纹理等等）。
[0060] 下述给出几种确定三维立体模型的具体规则，但并不排除其他任何可能的确定规 贝1J，且各个确定规则之间是相互独立的，可以根据实际需求进行任意组合，一种具体实施方 式可以选用其中一种或者多种生成规则，也可以根据实际需求增加其他的三维立体模型的 确定规则。
[0061] 当二维元素的几何信息本身构成数据库中预定义的特殊的图案时，可以根据该图 案选择对应的三维立体模型的类别(例如?图案代表路灯，灸图案代表人），另外，该类别 的三维立体模型的具体形态也可以是数据库中预先定义的。
[0062] 当二维元素的几何信息本身构成一个相对规则的形状时（比如矩形、圆形、特定边 数的多边形，但还保留一些自由参数，比如矩形的长宽），可以根据该形状选择对应的三维 立体模型的类别(例如:矩形代表房屋），另外，三维立体模型的具体形态的一部分可以是数 据库中预先定义的（例如房屋的总体结构），另一部分参数可以根据二维元素的形状的具体 参数确定(比如房屋的长宽与矩形的长宽相对应）；也可以根据二维元素的内容信息进一步 确定三维立体模型的具体形态(比如不同颜色信息代表不同结构的房屋，文字信息"2"字代 表房屋为二层）。
[0063]当二维元素的内容信息具有某种特定的颜色、纹理、或包含特定文字时(二维元素 的形状可以是任意封闭图形或开放线条），可以根据特定的内容信息来选择三维立体模型 的类别（例如蓝色代表湖、瓦片纹理代表房屋、"山"字代表山、特定标志代表农田）。通过预 设的算法，直接把二维元素的形状/轮廓转化成三维立体模型的具体形态，使三维立体模型 的俯视图与二维元素的形状/轮廓一致(例如用一组三维的树填满绿色区域的形状，或者把 山的二维轮廓作为等高线生成三维的山）。
[0064]当二维元素的几何信息和内容信息均不具有以上任何一种特定的属性时（比如任 意封闭图形或开放线条，其颜色/纹理也不符合数据库中预先定义的任意一种），可以选择 某种默认的三维立体模型的类别（比如开放线条代表道路)并让三维立体模型的具体形态 与二维元素的形状/轮廓一致(比如道路的走向），也可以将其忽略不转化为三维立体模型。 [0065]以上各种确定三维立体模型的规则，当对一个二维元素同时适用时，可以根据实 际情况设置各种优先级策略，比如一个蓝色的圆形，一种理解是塔（由圆形选择三维立体模 型的类别），一种理解是湖（由蓝色选择三维立体模型的类别），可以设置优先级策略，选择 优先根据形状选择三维立体模型的类别，或者选择优先根据颜色信息选择三维立体模型的 类别；也可以由其中一条规则选择三维立体模型的主类别（比如瓦片纹理代表房屋），再由 另一条规则选择三维立体模型的子类别（比如已知是房屋的前提下，矩形代表办公楼）。 [0066]进一步的，选择三维立体模型的类别并生成三维立体模型的具体形态生成之后， 可以根据二维元素的其它属性给三维立体模型添加细节属性，比如:把二维元素的颜色信 息/纹理信息直接映射为三维立体模型的颜色信息/纹理信息，或者:根据二维元素的颜色/ 纹理/文字从数据库中选择预定义的颜色/纹理/装饰风格，又或者:根据二维元素里包含的 其它信息给三维立体模型添加子结构（比如代表房屋的二维形状里面画/贴/摆两个表示烟 囱的特定图案，则房屋三维模型相应位置出现两个烟囱)"。
[0067] 具体的，对上述平面场景图像进行几何信息提取，得到上述平面场景图像中各个 二维元素的几何信息包括：
[0068] 根据边缘提取算法对上述平面场景图像进行边缘图像提取，得到上述平面场景图 像中各个二维元素对应的多个边缘图像；
[0069] 在各个上述边缘图像中逐一选取一个边缘图像作为当前形状检测对象，从预设的 多种形状检测方式中依次选取一种形状检测方式对上述当前形状检测对象进行形状检测；
[0070] 当检测出上述当前形状检测对象的几何信息时，从未被选取的上述边缘图像中选 取下一个形状检测对象，直到检测出所有上述边缘图像的几何信息。
[0071] 其中，从预设的多种形状检测方式中依次选取一种形状检测方式对上述当前形状 检测对象进行形状检测包括：
[0072] 基于霍夫圆变换算法对上述当前形状检测对象进行圆形检测，识别上述边缘图像 中的圆形;确定识别出的各个圆形的圆心坐标及半径；
[0073] 或者，对上述当前形状检测对象进行多边形拟合，并识别拟合得到的各个多边形 的节点数;根据识别出的节点数确定各个多边形的边数;当所述多边形的边数为三条时，则 确定所述多边形为三角形，当上述多边形的边数为四条时，则确定上述多边形为四边形，当 上述多边形的边数大于四条时，则确定上述多边形为其它封闭形状的多边形;确定拟合出 的各个多边形的节点坐标。
[0074]具体的，对上述平面场景图像进行内容信息提取，得到上述平面场景图像中各个 二维元素的内容信息包括：
[0075]逐一对各个二维元素内的图像进行图像预处理，其中，上述预处理包括:二值化处 理、降噪处理，并对预处理后的上述图像进行颜色空间转换;计算各个颜色在HSV颜色空间 内各个通道的取值;利用HSV颜色直方图统计方法确定上述图像的主颜色;根据上述主颜色 的颜色类别在数据库中查找与上述颜色类别匹配的模板颜色;将上述模板颜色作为上述二 维元素的颜色信息；
[0076]逐一对各个二维元素内的图像进行图像预处理，其中，上述预处理包括:二值化处 理、降噪处理，并对预处理后的上述图像进行纹理特征提取;计算提取的上述图像的纹理特 征与预先建立的纹理数据库中各个模板纹理的纹理特征之间的距离;将距离最小的模板纹 理作为上述二维元素的纹理信息；
[0077]逐一在各个二维元素内进行光学字符识别，得到各个二维元素内包含的数字或词 组;对识别得到的数字或词组进行语义分类，计算数字或词组与预先建立的文字数据库中 的模板语义集合的匹配度;将匹配度最高的模板语义作为上述二维元素的文字信息。
[0078]进一步的，上述分别绘制与二维元素相对应的三维立体模型并生成三维虚拟场景 之后，还包括：
[0079] 实时监听上述平面场景图像是否存在以下中的一种或者多种变化:移动、旋转、修 改；
[0080] 根据变化后的平面场景图像重新绘制并生成三维虚拟场景;或者根据监听到的变 化f目息调整上述二维虚拟场景。
[0081] 进一步的，上述获取图像采集装置采集到的平面场景图像之后，还包括：
[0082] 判断上述平面场景图像是否符合图像处理要求；
[0083] 如否，则对上述平面场景图像进行图像预处理，其中，上述图像预处理方式包括： 二值化处理、降噪处理。
[0084] 进一步的，对上述平面场景图像进行内容信息提取，得到上述平面场景图像中各 个二维元素的内容信息之后，还包括:获取用户终端选择的主题类型，其中，该主题类型包 括:中国古典、未来城市、自然海岛；
[0085] 上述根据各个二维元素的上述几何信息和上述内容信息分别确定与上述二维元 素相对应的三维立体模型包括:根据获取的上述主题类型、各个二维元素的上述几何信息 和上述内容信息分别确定与上述二维元素相对应的三维立体模型；或者，上述分别绘制与 上述二维元素相对应的三维立体模型包括:根据获取的上述主题类型分别绘制与上述二维 元素相对应的三维立体模型。
[0086] 其中，在数据库中每个主题类型均对应不同的规则集合和/或三维模型风格，因 此，同样的平面场景图像，在不同的主题类型下，生成的不同的三维虚拟场景。
[0087] 在本发明提供的实施例中，通过自动提取平面场景图像中各个二维元素的几何信 息和内容信息，进而根据各个二维元素的几何信息和内容信息确定与各个二维元素对应的 三维立体模型，最后分别绘制与上述二维元素相对应的三维立体模型并生成三维虚拟场 景，整个过程无需使用专门的三维建模软件即可制作三维场景，可以实现快速将平面场景 图片绘制成相应的三维场景，降低了三维场景的创建难度，提高了三维场景的创建效率。
[0088]对应于上述三维虚拟场景的生成方法，本发明实施例还提供了一种三维虚拟场景 的生成装置，如图2所示，该装置包括：
[0089]图像获取模块202,用于获取图像采集装置采集到的平面场景图像，其中该图像采 集装置包括:摄像装置、扫描装置；
[0090] 几何信息提取模块204,用于对上述平面场景图像进行几何信息提取，得到上述平 面场景图像中各个二维元素的几何信息，其中，该几何信息包括:几何形状的类型、几何形 状的图案和上述几何形状对应的坐标；
[0091] 内容信息提取模块206,用于对上述平面场景图像进行内容信息提取，得到上述平 面场景图像中各个二维元素的内容信息，其中，该内容信息包括:颜色信息、纹理信息、文字 信息；
[0092]三维模型确定模块208,用于根据各个二维元素的上述几何信息和上述内容信息 分别确定与上述二维元素相对应的三维立体模型；
[0093]三维虚拟场景生成模块210,用于在各个二维元素的几何形状对应的坐标处，分别 绘制与上述二维元素相对应的三维立体模型并生成三维虚拟场景。
[0094]进一步的，上述几何信息提取模块204包括：
[0095] 边缘图像提取单元，用于根据边缘提取算法对上述平面场景图像进行边缘图像提 取，得到上述平面场景图像中各个二维元素对应的多个边缘图像；
[0096] 形状检测单元，用于在各个上述边缘图像中逐一选取一个边缘图像作为当前形状 检测对象，从预设的多种形状检测方式中依次选取一种形状检测方式对上述当前形状检测 对象进行形状检测；当检测出上述当前形状检测对象的几何信息时，从未被选取的上述边 缘图像中选取下一个形状检测对象，直到检测出所有上述边缘图像的几何信息。
[0097]进一步的，上述内容信息提取装置206包括：
[0098]颜色信息提取单元，用于逐一对各个二维元素内的图像进行图像预处理，其中，上 述预处理包括:二值化处理、降噪处理，并对预处理后的上述图像进行颜色空间转换;计算 各个颜色在HSV颜色空间内各个通道的取值;利用HSV颜色直方图统计方法确定上述图像的 主颜色;根据上述主颜色的颜色类别在数据库中查找与上述颜色类别匹配的模板颜色;将 上述模板颜色作为上述二维元素的颜色信息；
[0099]纹理信息提取单元，用于逐一对各个二维元素内的图像进行图像预处理，其中，上 述预处理包括:二值化处理、降噪处理，并对预处理后的上述图像进行纹理特征提取;计算 提取的上述图像的纹理特征与预先建立的纹理数据库中各个模板纹理的纹理特征之间的 距离;将距离最小的模板纹理作为上述二维元素的纹理信息；
[0100]文字信息提取单元，用于逐一在各个二维元素内进行光学字符识别，得到各个二 维元素内包含的数字或词组;对识别得到的数字或词组进行语义分类，计算数字或词组与 预先建立的文字数据库中的模板语义集合的匹配度;将匹配度最高的模板语义作为上述二 维元素的文字信息。
[0101] 基于上述分析可知，与相关技术中的三维虚拟场景的生成装置相比，在本发明提 供的实施例中，通过自动提取平面场景图像中各个二维元素的几何信息和内容信息，进而 根据各个二维元素的几何信息和内容信息确定与各个二维元素对应的三维立体模型，最后 分别绘制与上述二维元素相对应的三维立体模型并生成三维虚拟场景，整个过程无需使用 专门的三维建模软件即可制作三维场景，可以实现快速将平面场景图片绘制成相应的三维 场景，降低了三维场景的创建难度，提高了三维场景的创建效率。
[0102] 本发明实施例所提供的三维虚拟场景的生成装置可以为设备上的特定硬件或者 安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效 果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施 例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的 系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘 述。
[0103] 在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方 式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻 辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可 以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连 接，可以是电性，机械或其它的形式。
[0104] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显 示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个 网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。
[0105] 另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可 以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0106] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以 存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计 算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个 人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。 而前述的存储介质包括:U盘、移动硬盘、只读存储器(R0M，Read-0nly Memory)、随机存取存 储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0107]应注意到:相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一 个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语"第 一"、"第二"、"第三"等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0108]最后应说明的是：以上所述实施例，仅为本发明的【具体实施方式】，用以说明本发明 的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发 明进行了详细的说明，本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员 在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻 易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使 相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护 范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
【主权项】
1. 一种三维虚拟场景的生成方法，其特征在于，所述方法包括： 获取图像采集装置采集到的平面场景图像，其中所述图像采集装置包括:摄像装置、扫 描装置； 对所述平面场景图像进行几何信息提取，得到所述平面场景图像中各个二维元素的几 何信息，其中，所述几何信息包括:几何形状的类型、几何形状的图案和所述几何形状对应 的坐标； 对所述平面场景图像进行内容信息提取，得到所述平面场景图像中各个二维元素的内 容信息，其中，所述内容信息包括:颜色信息、纹理信息、文字信息； 根据各个二维元素的所述几何信息和所述内容信息分别确定与所述二维元素相对应 的三维立体模型； 在各个二维元素的几何形状对应的坐标处，分别绘制与所述二维元素相对应的三维立 体模型并生成三维虚拟场景。2. 根据权利要求1所述的三维虚拟场景的生成方法，其特征在于，对所述平面场景图像 进行几何信息提取，得到所述平面场景图像中各个二维元素的几何信息包括： 根据边缘提取算法对所述平面场景图像进行边缘图像提取，得到所述平面场景图像中 各个二维元素对应的多个边缘图像； 在各个所述边缘图像中逐一选取一个边缘图像作为当前形状检测对象，从预设的多种 形状检测方式中依次选取一种形状检测方式对所述当前形状检测对象进行形状检测； 当检测出所述当前形状检测对象的几何信息时，从未被选取的所述边缘图像中选取下 一个形状检测对象，直到检测出所有所述边缘图像的几何信息。3. 根据权利要求2所述的三维虚拟场景的生成方法，其特征在于，从预设的多种形状检 测方式中依次选取一种形状检测方式对所述当前形状检测对象进行形状检测包括： 基于霍夫圆变换算法对所述当前形状检测对象进行圆形检测，识别所述边缘图像中的 圆形;确定识别出的各个圆形的圆心坐标及半径； 或者，对所述当前形状检测对象进行多边形拟合，并识别拟合得到的各个多边形的节 点数;根据识别出的节点数确定各个多边形的边数；当所述多边形的边数为三条时，则确定 所述多边形为三角形，当所述多边形的边数为四条时，则确定所述多边形为四边形，当所述 多边形的边数大于四条时，则确定所述多边形为其它封闭形状的多边形;确定拟合出的各 个多边形的节点坐标。4. 根据权利要求1-3任一项所述的三维虚拟场景的生成方法，其特征在于，对所述平面 场景图像进行内容信息提取，得到所述平面场景图像中各个二维元素的内容信息包括： 逐一对各个二维元素内的图像进行图像预处理，其中，所述预处理包括：二值化处理、 降噪处理，并对预处理后的所述图像进行颜色空间转换;计算各个颜色在HSV颜色空间内各 个通道的取值;利用HSV颜色直方图统计方法确定所述图像的主颜色;根据所述主颜色的颜 色类别在数据库中查找与所述颜色类别匹配的模板颜色;将所述模板颜色作为所述二维元 素的颜色信息； 逐一对各个二维元素内的图像进行图像预处理，其中，所述预处理包括：二值化处理、 降噪处理，并对预处理后的所述图像进行纹理特征提取;计算提取的所述图像的纹理特征 与预先建立的纹理数据库中各个模板纹理的纹理特征之间的距离;将距离最小的模板纹理 作为所述二维元素的纹理信息； 逐一在各个二维元素内进行光学字符识别，得到各个二维元素内包含的数字或词组； 对识别得到的数字或词组进行语义分类，计算数字或词组与预先建立的文字数据库中的模 板语义集合的匹配度;将匹配度最高的模板语义作为所述二维元素的文字信息。5. 根据权利要求1所述的三维虚拟场景的生成方法，其特征在于，所述分别绘制与所述 二维元素相对应的三维立体模型并生成三维虚拟场景之后，还包括： 实时监听所述平面场景图像是否存在以下中的一种或者多种变化:移动、旋转、修改； 根据变化后的平面场景图像重新绘制并生成三维虚拟场景;或者根据监听到的变化信 息调整所述三维虚拟场景。6. 根据权利要求1所述的三维虚拟场景的生成方法，其特征在于，所述获取图像采集装 置采集到的平面场景图像之后，还包括： 判断所述平面场景图像是否符合图像处理要求； 如否，则对所述平面场景图像进行图像预处理，其中，所述图像预处理方式包括:二值 化处理、降噪处理。7. 根据权利要求1所述的三维虚拟场景的生成方法，其特征在于，对所述平面场景图像 进行内容信息提取，得到所述平面场景图像中各个二维元素的内容信息之后，还包括:获取 用户终端选择的主题类型，其中，所述主题类型包括:中国古典、未来城市、自然海岛； 所述根据各个二维元素的所述几何信息和所述内容信息分别确定与所述二维元素相 对应的三维立体模型包括:根据获取的所述主题类型、各个二维元素的所述几何信息和所 述内容信息分别确定与所述二维元素相对应的三维立体模型；或者，所述分别绘制与所述 二维元素相对应的三维立体模型包括:根据获取的所述主题类型分别绘制与所述二维元素 相对应的三维立体模型。8. -种三维虚拟场景的生成装置，其特征在于，所述装置包括： 图像获取模块，用于获取图像采集装置采集到的平面场景图像，其中所述图像采集装 置包括:摄像装置、扫描装置； 几何信息提取模块，用于对所述平面场景图像进行几何信息提取，得到所述平面场景 图像中各个二维元素的几何信息，其中，所述几何信息包括:几何形状的类型、几何形状的 图案和所述几何形状对应的坐标； 内容信息提取模块，用于对所述平面场景图像进行内容信息提取，得到所述平面场景 图像中各个二维元素的内容信息，其中，所述内容信息包括:颜色信息、纹理信息、文字信 息； 三维模型确定模块，用于根据各个二维元素的所述几何信息和所述内容信息分别确定 与所述二维元素相对应的三维立体模型； 三维虚拟场景生成模块，用于在各个二维元素的几何形状对应的坐标处，分别绘制与 所述二维元素相对应的三维立体模型并生成三维虚拟场景。9. 根据权利要求8所述的三维虚拟场景的生成装置，其特征在于，所述几何信息提取模 块包括： 边缘图像提取单元，用于根据边缘提取算法对所述平面场景图像进行边缘图像提取， 得到所述平面场景图像中各个二维元素对应的多个边缘图像； 形状检测单元，用于在各个所述边缘图像中逐一选取一个边缘图像作为当前形状检测 对象，从预设的多种形状检测方式中依次选取一种形状检测方式对所述当前形状检测对象 进行形状检测；当检测出所述当前形状检测对象的几何信息时，从未被选取的所述边缘图 像中选取下一个形状检测对象，直到检测出所有所述边缘图像的几何信息。10.根据权利要求8或者9所述的三维虚拟场景的生成装置，其特征在于，所述内容信息 提取装置包括： 颜色信息提取单元，用于逐一对各个二维元素内的图像进行图像预处理，其中，所述预 处理包括:二值化处理、降噪处理，并对预处理后的所述图像进行颜色空间转换;计算各个 颜色在HSV颜色空间内各个通道的取值;利用HSV颜色直方图统计方法确定所述图像的主颜 色;根据所述主颜色的颜色类别在数据库中查找与所述颜色类别匹配的模板颜色;将所述 模板颜色作为所述二维元素的颜色信息； 纹理信息提取单元，用于逐一对各个二维元素内的图像进行图像预处理，其中，所述预 处理包括:二值化处理、降噪处理，并对预处理后的所述图像进行纹理特征提取;计算提取 的所述图像的纹理特征与预先建立的纹理数据库中各个模板纹理的纹理特征之间的距离； 将距离最小的模板纹理作为所述二维元素的纹理信息； 文字信息提取单元，用于逐一在各个二维元素内进行光学字符识别，得到各个二维元 素内包含的数字或词组;对识别得到的数字或词组进行语义分类，计算数字或词组与预先 建立的文字数据库中的模板语义集合的匹配度;将匹配度最高的模板语义作为所述二维元 素的文字信息。
【文档编号】G06T17/00GK105913485SQ201610207822
【公开日】2016年8月31日
【申请日】2016年4月6日
【发明人】曹翔
【申请人】北京小小牛创意科技有限公司