用于显示对象的方法与流程

本发明涉及图像数据的处理和生成、图像及其纹理的分析以及3d（三维）图像的呈现，包括3d图像的纹理显示。

背景技术：

最相近的技术本质是以实时尺度生成纹理的方式，包括以下步骤：获取观察者的位置；计算视场；确定用于可视化所要求的分辨率；获取主题对象的位置地图；获取主题对象的参数；形成主题对象掩模；从主题对象接收影像数据；制备主题对象的主题纹理；用掩模对主题对象进行纹理化；把纹理化的主体对象放置在纹理图上；获取3d对象的图像的位置地图；获取3d对象参数；确定对象的类型；形成3d对象模型；获取3d对象的纹理；对3d对象进行纹理化；对3d对象进行呈现；形成3d对象的图像的掩模；形成3d对象的点元素图像或助记图像；形成3d对象的点元素图像掩模或助记图像掩模；将3d对象图像放置在纹理图上，以及进行可视化（见ru2295772c1,cl.g06t11/60）。

已知方法能够被实施，用于地形的形貌图像的可视化，已知方法使用主题对象的参数数据以构成它们的图像的纹理。

已知方法的缺点在于有条件的纹理的有界集为每个特定对象而被提前限定。已知方法不提供输出图像的对象表面的真实图片的传送。

技术实现要素：

在此获得的技术结果在于提供显示输出图像的能力，该输出图像具有照片或视频图像的真实纹理，通过消除对存储对象的参考纹理的数据库的需要来简化实施方案，使在2d对象上不可视的3d模型区域纹理化。

所述结果由根据选项1的显示对象的方法来实现，该方法包括：形成3d模型，获取对象的照片或视频图像，可视化3d模型，将3d模型连同参考图像和纹理化片段的坐标一起存储在显示设备的存储器中，该纹理化片段的坐标对应于3d模型的多边形；基于参考图像接收对象的至少一个图像或图像视频帧，基于参考图像在帧上识别对象，如果有多于一个帧，则基于图像质量进行选择，形成变换矩阵，该变换矩阵适于将照片图像的坐标转换成它自己的坐标，通过形成正在被扫描的图像区域的纹理来给3d模型的元素绘制上相应的照片元素的颜色，进一步使用坐标变换矩阵和内插数据，然后设置3d模型的纹理，使得相应的多边形根据在纹理化阶段确定的坐标而被相应的纹理区域所覆盖，不存在于对象的照片图像上的3d模型的至少一些部分根据预先确定的顺序被纹理化，其中对象是二维的或被感知为二维图像，相对于该二维图像的至少部分形成3d模型，使用增强现实工具和/或计算机视觉算法在视频流上将3d模型可视化。

此外，形成由多边形表示的3d模型；

形成坐标变换矩阵，以将照片图像坐标转换成它自己的坐标，即笛卡尔（decart）坐标，该笛卡尔坐标以坐标轴的正交性为特征；

其中，不存在于对象的图像上的3d模型的片段是图像细节的背面的部分；

其中，根据预先确定的顺序对3d模型进行的纹理化包括生成纹理坐标，使得模型的背面的区域与正面的相应片段在纹理上具有相同的坐标；

其中，不存在于对象的图像上的3d模型的片段基于图像可视部分的数据外推而被纹理化；

其中，3d模型是动画式的；

其中，被感知为二维图像的对象是在曲面上被执行的图形图像。

技术结果提供在输出图像上显示对象照片或视频图像的真实纹理的能力，为儿童提供在绘图程序中的训练能力，通过消除对存储对象的参考纹理数据库的需要来简化实施方案，使在2d对象上不可视的3d模型纹理化，以及通过为未经训练的用户提供将通常技术用于绘制3d模型的可能来简化使用纹理化过程。

根据选项2来显示对象以实现所述结果，包括：形成3d模型，获取对象的照片或者视频图像，将3d模型连同参考图像和纹理化片段的坐标一起保存在显示设备的存储器中，该纹理化片段的坐标对应于3d模型的范围，获取对象的至少一个图像或视频图像帧，根据参考图像在帧上识别对象，如果有多于一个帧，则根据图像质量来进行选择，形成坐标变换矩阵，该坐标变换矩阵适用于将照片图像坐标转换成自己的图像坐标，使用坐标变换矩阵在预先确定的影像图像点进行颜色扫描，在此基础上通过确定3d模型材料的颜色来给3d模型的元素绘制上相应的照片元素，然后将颜色分配至相应的3d模型材料，从对象的照片图像消失的3d模型的至少一些部分根据预先确定的顺序而被纹理化。对象是二维的或被感知为二维图像，则相对于该二维图像的至少部分来形成3d模型，使用增强现实工具和/或计算机视觉算法在系列视频帧上呈现3d模型。

此外，形成由多边形表示的3d模型；

形成变换矩阵，该变换矩阵用于将照片图像的坐标转换成它自己的坐标，即笛卡尔（decart）坐标，该笛卡尔坐标以坐标轴的正交性为特征；

其中，不存在于对象的图像上的3d模型的片段是图像细节的背面的部分；

其中，根据预先确定的顺序对3d模型进行纹理化意为以这样的方式生成纹理坐标，该方式为模型的背面的区域与正面的相应片段在纹理上具有相同的坐标；

其中，不存在于对象的图像上的3d模型的片段基于图像的可视部分的数据外推而被纹理化；

其中，3d模型是动画式的；

其中，被感知为二维图像的对象是在曲面上执行的图形图像。

附图说明

图1描绘基于pc的显示设备和远程服务器的框图，远程服务器用于存储参考图像和在示例2中描述的3d模型。

图2示出原始对象的图像，该原始对象的图像为上色前的二维图形图像，对应于对象的参考图像。

图3是绘制好的原始图形图像，以及在显示设备的屏幕上呈现、在图片的屏幕上可视化的3d模型。

图4是显示设备的计算辅助工具的框图。

以下附图标记被用于附图中：1-视频摄像机或相机，2-计算机辅助工具，3-服务器，4-监视器，5-因特网，6-输入初始数据：3d模型、纹理坐标、参考图像、视频流，7-视频流分析，8-验证视频流包含参考图像的条件，9-帧分析，10-验证成帧条件，11-生成考虑到坐标变换矩阵的照片图像，12-在分配的片段中纹理扫描-纹理化片段，13-进入视频摄像机，检查在视频图像上的对象的识别条件，14-输出至监视器，在视频上可视化3d模型，15-程序结束，16-打印机，17-原始对象-二维图形图像，18-用户绘制的二维图形图像，19-显示设备（智能手机），20-在监视器显示设备上可视化的3d模型，21-可视化的3d模型背景部件。

具体实施方式

显示对象的方法，该对象包括根据选项1的二维图像，该方法包括按顺序进行以下操作：形成对象的参考图像并将该对象的参考图像存储在显示设备的存储器中，该对象的参考图像具有纹理化区域且由3d模型多边形表示，其中所述多边形的坐标对应于纹理化区域的坐标；接收对象的至少一个图像帧或视频帧；基于参考图像，在照片图像上识别对象；选择满足图像质量要求（如清晰度、细节、信噪比等）的帧；形成坐标变换矩阵，该坐标变换矩阵用于将照片图像的坐标转换成它自己的坐标，其系统正交地指向坐标轴；通过使用坐标变换矩阵和数据内插来形成图像扫描区域的图像纹理，给3d模型元素绘制上相应照片元素的颜色；接着用扫描区域的获取的图像来替换3d模型结构，使得相应的多边形根据在纹理化阶段预先形成的坐标而被各自的纹理化区域所覆盖。然后，呈现3d模型可视化。同时，3d模型的至少一些部分（如图案的背面的部分）根据预先确定的顺序被绘制，并且相对于该二维图像的至少部分形成3d模型，例如，相对于最重要的聚合多个图像。

识别之后，从扫描数据的角度，在捕捉到的帧中选择具有最多信息的帧。这样的帧能够是具有最清晰图像、最多细节等的帧。使用增强现实和/或计算机视觉算法在视频（视频流）上实现3d模型的可视化。

根据预先确定的顺序绘制3d模型包括以这样的方式生成纹理坐标，该方式为模型的背面的区域与正面的相应片段在纹理上具有相同的坐标；或者基于图像的可视部分的数据外推来对模型的背面的片段进行上色。

3d模型是动画式的。

根据选项1的显示对象的方法如下工作。用于显示的对象是图形的二维对象，如图画、图表、示意图、地图等等。该方法假设，通过显示设备的计算装置，在照片图像上识别图形对象的过程，该显示设备配置有录像机、相机或其他扫描设备，以及监视器。这样的设备能够是移动电话、智能手机、平板电脑、个人电脑等。

二维对象的圆（即标记）事先被创建，且与由多边形表示的、曲线相关（plot-related）的3d模型以及参考图像并置。每个二维图像与一个参考图像和一个3d模型关联，该一个参考图像和一个3d模型被存储在显示设备的存储器中。参考图像被用于对象的识别以及坐标变换矩阵的形成。3d模型被绘制后，该3d模型在特定的背景上被可视化，该特定的背景能够是视频摄像机输出时形成的视频流，或者是为对象拍照后接收到的照片图像，或者是其他背景。

3d模型的形成包括生成纹理坐标的过程。

通过将对象的照片图像与其参考图像比较来进行识别，其参考图像也被存储在显示设备的存储器中。当照片图像的相关系数的阈值以及其中一个参考图像的相关系数的阈值溢出时，认为图像被识别，或者使用其它已知的识别算法。

对象摄入能够在角度和距离的特定范围内进行，这样在照片图像上识别对象之后，形成照片图像坐标和自己的坐标的相关矩阵（即坐标变换矩阵），该相关矩阵以坐标轴正交性为特征。

纹理化、并置至相应的3d模型多边形的片段的坐标被储存在显示对象的设备的存储器中。

识别对象后，基于坐标变换矩阵的值和数据内插来形成图像扫描区域的纹理。然后，3d纹理图案被分配至被扫描区域的获取的图像，使得相应的范围根据在纹理化阶段预先形成的坐标而被相应的纹理区域所覆盖。

3d模型的纹理化假设将纹理分配至一个或多个3d模型材料。3d模型的材料包括根据被普遍接受的公约而被识别的信息集合，该信息集合与显示模型的碎片的方式有关且被分配至该模型。3d模型的材料可包括纹理、颜色等。

3d模型的纹理化过程还包括将颜色转移至在2d图形图像上不可视的3d模型的部分，例如，这样的“不可视”部分能够是图像元素的背面、其侧视图、俯视图或仰视图。将这样的“不可视”部分的颜色转移至3d模型的多边形，例如，基于在两侧的3d模型的对称构造化，或者给“不可视”区域绘制上更深的色调，或者基于其他算法（包括使用外推方法）。

3d模型纹理化后，即创建3d模型的纹理坐标后，3d模型立刻或者在用户的指令下被显示在显示设备的监视屏上。

输出图像包括视频图像，在该视频图像处，模型（包括动画模型）被画在背景上，该背景例如是从视频摄像机接收到的视频（视频流），使得其真实存在的设计被创建。

因此，显示对象的方法允许用户将纹理应用于虚拟对象，该纹理以照相机或视频摄像机的方式从真实空间中扫描得到。在可视化的过程中，用户被给予在空间中控制模型的机会，即旋转、移动、缩放等，包括通过移动显示设备的输入设备，或者通过在视频摄像机的焦距中使用手势。

显示设备的计算装置基于处理器而被制成，并且含有用于存储处理器的操作程序和必要数据的存储器，该必要数据包括参考图像和3d模型。

显示对象的方法，该对象是根据选项2的二维图像，该方法包括按顺序进行以下操作：形成对象的参考图像并将对象的参考图像存储在设备的存储器中，该对象的参考图像具有被纹理化的区域和由多边形表示的3d模型，其中所述多边形的坐标对应于被纹理化的区域的坐标；接收对象的至少一个图像帧或视频图像；基于参考图像在所述照片图像上识别对象；选择满足图像质量要求（如清晰度、细节、信噪比等）的帧；形成矩阵，该矩阵用于将照片图像的坐标转换成它自己的坐标，其中坐标轴正交；使用坐标变换矩阵在预先确定的影像图像点进行颜色扫描，基于该颜色扫描，通过确定3d模型的色材的颜色来给3d模型元素绘制上相应的照片元素的颜色；且然后将颜色分配至相应的3d模型材料。然后实施3d模型可视化。

同时，根据预先确定的顺序绘制3d模型的至少一些片段（如图片背面的片段），并且相对于该二维图像的至少部分形成3d模型，例如，相对于最重要的聚合多个图像。

识别之后，从扫描的角度，在捕捉到的帧中选择具有最多信息的帧。这样的帧能够是具有最清晰图像、最多细节的帧。

使用增强现实和/或计算机视觉算法在视频（视频流）上进行3d模型的可视化。

根据预先确定的顺序实施绘制3d模型，并作为以这样的方式生成纹理坐标，该方式为模型的背面的区域与正面的相应片段在纹理上具有相同的坐标，或者基于可视图像部分的数据外推对模型的背面的片段进行上色。

3d模型被实施为动画式的。

显示根据选项2的对象的方法如下工作。用于显示的对象是图形的二维对象，如图画、图表、示意图、地图等。该方法假设，通过显示设备的计算装置，在照片图像上识别图形对象的过程，该显示设备配置有录像机、相机或其他扫描设备，以及配置有监视器。这样的设备能够是移动电话、智能手机、平板电脑、个人电脑等。

以二维图像的形式的对象的圆（即标记）事先被创建，且与相应的三维模型（3d模型）以及参考图像并置，该三维模型由多边形表示。每个二维图像与一个参考图像和一个3d模型关联，该一个参考图像和一个3d模型被储存在显示设备的存储器中。参考图像被用于识别对象和形成坐标变换矩阵。绘制后，3d模型在特定的背景上被可视化，该特定的背景能够是在摄像机输出时形成的视频流，或者是为对象拍照后接收到的照片图像，或者是不同的背景。

3d模型的形成包括生成纹理坐标的过程。通过将对象的照片图像与其参考图像比较来进行识别，该参考图像也被存储在显示设备的存储器中，其中，当照片的照片图像相关系数的阈值以及其中一个参考图像的相关系数的阈值溢出时，应该认为照片图像被识别，或者使用其它已知的识别算法。

对象摄入能够在角度和距离的特定范围内进行，从而在照片图像上识别对象之后，形成照片图像坐标和自身坐标的比率矩阵（即坐标变换矩阵），该比率矩阵以坐标轴正交性为特征。

纹理化片段的坐标被存储在用于该对象的显示设备的存储器中，相应的3d模型范围被映射至该纹理化片段。

识别对象后，基于坐标变换矩阵的值和数据内插形成图像扫描区域的纹理。然后，特定区域的颜色在照片图像上被识别，而且由于这些片段和3d模型范围之间的刚性连接，3d模型的表面颜色的结构变得与被感应的对象的颜色相适应，所以未使用纹理而直接分配至模型的片段的材料被直接绘制出来。

3d模型纹理化包括将纹理分配至一个或多个3d模型材料。3d模型的材料包括根据普遍被接受的公约而被识别的信息集合，该被识别的信息集合与显示模型的碎片的方式有关且被分配至该模型。3d模型的材料可包括纹理、颜色等。

3d模型纹理化的过程包括将颜色转移至在2d图形图像上不可视的3d模型的部分，例如，这样的“不可视”部分能够是图像元素的背面、其侧视图、俯视图或仰视图。将给“不可视”部分所上的颜色转移到3d模型的范围，例如基于从两侧的3d模型的对称构造化，或者给“不可视”部分绘制上更深的色调，或者基于其他算法，包括使用外推方法。

3d模型纹理化后，即创建3d模型的纹理坐标后，3d模型立刻或者在用户的指令下被显示在显示设备的监视屏上。

输出图像为视频图像，在该视频图像上，模型（包括动画模型）被画在背景上（如从视频摄像机接收到的视频（视频流）），使得其真实存在的设计被创建。

因此，显示对象的方法允许用户将纹理应用于虚拟对象，该纹理以照相机或视频摄像机的方式从真实空间中被感应到。

在可视化的过程中，用户被给予在空间中控制模型（即旋转、移动、缩放等）的机会，包括通过移动显示设备的输入设备，或者通过在视频摄像机的焦距中使用手势。

用于实施根据选项1或2任一的方法的显示设备的计算装置为基于处理器的，并且含有用于存储处理器操作程序和必要数据的存储器，该必要数据包括参考图像和3d模型。

处理器操作程序的框图在图4示出并包括以下主要元素。存储于存储器中、用于程序的初始数据6包括预先形成的3d模型、纹理坐标、对象的参考图像以及在视频摄像机输出时形成的视频流。这里使用的术语“视频流”等同于术语“视频系列”。程序分析视频流，以便选择符合图像清晰度、成帧（framing）、曝光、焦距等要求的帧或多个帧。帧被分类和分析，直至符合特定要求的帧被找到，该分析在两个阶段中顺序地进行。首先，7、8：从视频序列中选择包含将要被显示的对象的帧，在该帧上对象被识别，然后9、10：从所选的帧组中选择符合精度和框架要求的帧。

接着，形成坐标变换矩阵11，将照片图像帧的坐标应用于对象的严格正视图的笛卡尔坐标。扫描在指定的纹理化区域中的纹理坐标。将材料分配至3d模型纹理坐标12。为了在帧中是否存在对象，分析来自摄像机输出的视频流，如果存在，该模型在视频流（视频序列）上被可视化，该视频流从摄像机输出中获得。

一旦不再在视频帧上识别对象，程序就被终止。

可选地，除了终止程序，能够进行以下操作：返回程序的开始，或者将设备切换到短暂待机模式以等待识别的事实，或者通知用户对象图像获取丢失，或者其他操作。

实施例1

对象包括来自儿童的轮廓着色图的显影组的图画，该图画为简笔画（图2），该简笔画包括画在标准图纸上的矩形轮廓线，具有用于着色的绘画元素。每张图画包括一个或多个主要元素和次要背景元素，作为准则，该一个或多个主要元素位于纸张的中心部位，次要背景元素位于边缘。

每一张图画与预先创建的参考图像、对象的颜色检测区域的坐标以及具有选择的范围的动画3d模型关联，该动画3d模型通过多边形对应于这些区域。3d模型反应图画的主要元素的立体视觉，该立体视觉与图像中的这些元素的坐标相关联。

显示设备为智能手机，该智能手机配备有视频摄像机、带有相应软件的计算装置、监视器等。

轮廓图画被用户着色后，智能手机被放置，使得整张图片适于帧，给图片拍照或录像。智能手机使用计算装置直接在所选的帧上识别图像，也就是说智能手机找到对应于图像的、预先创建的3d模型，并选择具有最多信息的帧，如果重复多次，也会形成在照片图像上图像元素的坐标矩阵，该坐标矩阵对应于在笛卡尔体系中它自己的坐标。结果，绘制好的图画的颜色识别区域的坐标与在照片图像上相应片段的坐标匹配。

在照片图像上扫描绘制好的区域的颜色，经过必要的分析后，匹配和颜色校正将片段的着色转移至相应的3d模型多边形，也就是说，获取的颜色被直接分配至模型材料。

下一步是3d模型的可视化（图3），该3d模型显示在背景上，通过图片的次要元素在照片图像上形成，或者通过智能手机的捕捉装置获取的视频序列形成。该3d模型能够被制成可移动的，并具有没有在图中显示的额外元素。

呈现的3d模型是互动的，能回应用户的操作。

实施例2

显示设备包括个人电脑和远程服务器，该个人电脑已经连接网络摄像头和监视器（图1）。监视器或显示器可以是任何可视化设备，包括投影仪或全息图形成设备。对象的参考图像和3d模型被存储在远程服务器上，在显示图形二维对象期间该远程服务器被访问。

在识别过程中的计算通过个人电脑的方式进行，在个人电脑的帮助下，3d模型的材料还被着色和呈现。

电脑通过因特网或其它网络（包括本地网络）被连接至服务器。

映射过程如下进行。用户通过因特网访问相应的网站，该网站包含用于打印和后续着色的主题图集。该网站被提供有合适的界面，该界面用于访问参考图像并储存这些图像和对应于图集中的图案的3d模型。

用户在打印机的帮助下在他的端口打印所选的图集，并给他喜欢的图画着色。用户还能够以不同的方式获取打印好的图画，例如通过时事通讯。进一步，在网站的界面中，用户以这样的方法指导网络摄像头，该方式为绘制好的图片的主要部分被包含在帧内。执行程序的合适指令的用户的电脑访问远程服务器，该用户的电脑从远程服务器中接收用于识别的图画的参考图像。图案的识别完成后，通过个人电脑的方式生成坐标变换矩阵，所述程序供给要被感应的图案的已绘制区域的颜色，以及供给要被分配的相应3d模型材料的颜色。

纹理化的3d模型的图像在视频序列的背景上被输出至监视器，该视频序列从网络摄像头输出中获取。显示对象的方法能够通过使用标准设备和部件而被实施，该标准设备和部件包括基于计算机的装置和它们之间的通信装置，该基于计算机的装置为基于处理器、照相机和/或视频摄像机、监视器或其它可视化设备。

因此，根据选项1或2任一的显示对象的方法提供在输出图像上显示照片或视频图像的真实纹理的能力，为儿童提供在绘图程序上的训练能力，通过消除存储任何参考对象纹理的基础的需要来简化实施方案，提供将2d对象上不可视的3d模型的区域纹理化的能力。该方法还通过为未经训练的用户提供将常见的技术应用于绘制3d模型的能力来简化纹理化过程的使用。