本发明涉及处理和生成图像数据、包括纹理的图像分析以及3D图像可视化。
背景技术：
最接近技术本质的原型是计算机实现的方法，其包括：使用用户装置接收位于用户附近的物理对象的传感数据，所述数据由与用户装置相关联的传感器生成；识别对象；响应于对象识别，生成与物理对象具有预定关系的虚拟对象；以及根据前述预定关系，将虚拟对象发送到与用户装置相关联的显示器以呈现给用户(参见RU 2013154098A，分类号G06F 15/16)。
可以使用已知方法来创建与真实物理对象相关的虚拟对象。
已知方法的缺点是由于使用传感器获得数据而仅检测到对传感器的影响，因此不能创建关于远程对象的增强现实环境。
已知方法的另一缺点是由于除了由传感器生成的数据之外缺少关于对象的其他数据，因此不能提供识别其特征相似的对象的高可靠性。
已知解决方案的另一缺点是它没有公开虚拟对象形成的细节。根据虚拟对象正被发送到与用户装置相关联的显示器的指示，可以得出的结论是：虚拟对象是远程生成的，这意味着在传送大量数据的通信速度方面，对于与远程生成模块(或装置)的通信有着高要求。
另外，已知方法的使用不能提供依据用户的特质(例如，根据专业或年龄标准)来区分对内容的访问的能力。
技术实现要素：
本文提出的技术目标是提供创建关于物理对象(包括使用物理对象的照片或视频图像的远程对象)的增强现实环境的能力，同时通过使用与特定对象相关联的唯一激活码来提高识别其特征相似的对象的可靠性，通过减少对通信模块的要求来简化实施，以及提供以某种标准限制用户对增强现实环境的形成进行访问的能力。
上述结果通过使用用户装置形成增强现实环境的方法来实现，所述方法包括：从用户装置的传感器获得与对象相关联的数据；识别对象并生成虚拟对象；对激活码进行验证，所述激活码标识了包含多个对象的图片集合；以包含对象的至少一个照片或视频图像帧的形式获得与对象相关联的数据；通过与存储在用户设备的存储器中的图像进行比较来对图片或视频帧进行对象识别；生成虚拟对象作为在接收到的照片或视频图像的帧上在用户装置的屏幕上实时显示的3D模型，其中，与3D模型的形成相关的对象是在关联于激活码的组合的图片集合中所描绘的至少一个对象的二维图像。
另外，
-激活码可以是包含字母和/或数字的序列的码字；
-激活码可以是可用照片或摄像机扫描的二维图像；
-如果接收到的照片或视频图像多于一帧，则根据可接受的图像质量从中对其进行选择；
-响应于对象识别，形成与对象相关的3D模型上下文；
-形成彩色3D模型，同时形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵形成扫描的图像区域的纹理并内插数据，随后将纹理分配给3D模型，来以照片图像的相应元素的颜色对3D模型的元素进行绘制，从而相应的多边形根据在先前步骤中确定的纹理坐标而被纹理的相应部分覆盖；
-形成彩色3D模型，同时形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，使用坐标变换矩阵在照片图像的预定点通过基于颜色读取来确定3D模型的材料的颜色，而以相应的照片元素的颜色对3D模型的元素进行着色，然后将颜色分配给3D模型的相应材料；
-形成彩色3D模型，同时形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵创建包括照片部分的纹理而以相应的照片元素的颜色对3D模型的元素进行着色，所述照片部分填充有在照片图像的预定点拍摄的纯色；
-通过用相邻像素的颜色绘制为了3D模型而创建的纹理上的以前已知的区域，以去除将在所得图像上进行绘制的对象的轮廓；
-阴影图也应用于为3D模型而创建的纹理。
使用附图解释了使用用户装置形成增强现实环境的方法，其中，图1示出了使用用户装置形成增强现实环境的示例，图2是增强现实环境形成模块的框图，图3是用于控制用户装置计算模块的处理器的算法。
在附图中做出以下指定：
1、来自图片集合的图片；2、创建增强现实环境相关的对象；3、用户装置(移动装置)；4、摄像机或相机；5、显示器；6、输入模块；7、与服务器通信的模块；8、用于识别激活码的模块；9、用于验证激活码的模块；10、用于识别对象的模块；11、用于生成3D模型的模块；12、存储模块；13、声音输出模块；14、用于生成最终图像的信号的模块；15、获取激活码数据；16、激活码的初步验证；17、将激活码传输到服务器且接收验证结果；18、对服务器上的激活码的验证结果进行评估；19、开始形成增强现实环境；20、从照相机或摄像机的输出接收图像信号；21、在图像上识别对象；22、生成用于显示的最终图像信号；23、包括激活码验证模块的服务器；24、因特网；25、用户装置的计算模块。
用于控制适于形成增强现实环境的装置的方法使用用户装置和激活服务器来提供增强现实环境的形成，所述方法包括以下步骤：与创建增强现实环境相关的对象是由图片(图1)表示的至少一个对象的二维图像。图片被组合成由若干图片组成的集合，该集合设置有激活码，激活码是包含字母和/或数字的序列的码字，或者是可以用照相机或摄像机扫描的二维图像。验证激活码的真实性，所述代码标识了包含要显示为3D模型的对象的图片集合。在验证结果成功的情况下，激活码开始渲染3D空间模型的过程，在该过程中，通过用户装置的照相机或摄像机获取对象的至少一个照片或视频图像帧。基于存储在包括增强现实形成模块的用户装置的存储器中的参考图像，在帧上识别对象，然后形成与对象具有语义连接的3D模型，通过显示模块在接收到的照片或视频图像的帧上实时再现其图像。在这种情况下，获取对象的照片或视频图像的至少一帧，其中如果获得照片或视频图像的多于一个的帧，则基于图片质量来选择帧。
形成彩色3D模型，其中用三种方法中的一种来执行着色。第一着色方法包括：形成用于使照片图像的坐标变换成其自己的变换矩阵，即以轴的正交性为特征的笛卡尔坐标，并且通过使用坐标变换矩阵来形成读取区域的图像的纹理并内插数据，随后分配给3D纹理模型，来将3D模型的元素着色为相应的照片图像元素的颜色，从而通过在纹理化阶段预先形成纹理坐标，相应的多边形被纹理的相应部分覆盖。
第二着色方法包括：形成用于使照片图像的坐标变换成其自己的变换矩阵，即以轴的正交性为特征的笛卡尔坐标，使用坐标变换矩阵在照片图像的预定点基于颜色读取来确定3D模型材料的颜色，然后将颜色分配给3D模型的相应材料，来以相应的照片元素的颜色对3D模型的元素进行着色。
第三着色方法包括：形成用于使照片图像的坐标转换成其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵创建由照片部分组成的纹理来以相应的照片元素的颜色对3D模型的元素进行着色，所述照片部分填充有在照片图像的预定点拍摄的纯色。
在为3D模型而生成的纹理上，通过用相邻像素的颜色进行填充来绘制预定的区域，以去除正在所得图像上进行绘制的对象的轮廓，并且还将环境光遮蔽图(ambient occlusion map)应用于为3D模型所创建的纹理。
如下使用了利用用户装置形成增强现实环境的方法。
增强现实效果是使用用户装置并且还使用向用户装置提供适当的接口的服务器硬件来创建的，用户装置是包括内置照相机或摄像机、计算模块、存储模块、用于显示图像的输入和显示模块的移动装置。移动装置被配置为使用因特网与服务器交换信号，并且设置有适当的无线通信模块。
与形成增强现实的效果相关的对象是二维图像，通常是图片集合(或一组图片)。为每个这样的图片来创建空间3D模型。所述3D模型可以以静态图像或视频序列(例如，动画图像)的形式显示在显示器上。
特定数量的图片(例如数量为20个)被组合成与激活码相关联的集合。激活码是码字或其他二维图像，其能够使用内置的照相机或摄像机进行扫描、打印在特殊区域上(例如封面上)，从而在打开图像集合之前其保持隐藏状态。
码字是包含由已知字体中的一种字体形成的字母和/或数字的字母数字序列。
激活码在批量模式下提前生成：数据包中有至少1000个单元。在批量形成期间，检查激活码与以前生成的激活码有关的唯一性。所形成的批量存储在激活服务器上，以提供用于处理激活码的接口。
因此，激活码对应于一组特定的对象，并且激活码的唯一性使得可以将其用作附加特征，该附加特征对其参数接近的对象集合进行划分，例如，其允许通过汽车的品牌分开同一类型的汽车的图片。
管理增强现实装置的过程主要涉及使用在激活服务器上实现的接口对与所使用的图片集合对应的激活码进行验证。为此，使用信息输入模块将码字输入到移动管理程序的初始页面之一的相应字段中，或者使用内置在用户装置中的摄像机或照相机读取激活码图像，然后识别其组成符号，并在由用户装置的计算模块进行初步检查之后，将其发送到服务器以获得激活形成增强现实环境的过程的准许。在测试结果为肯定的情况下，服务器对于形成增强现实环境的过程生成激活命令并将其发送到用户装置。
以这种方式激活的用户装置控制程序生成来自照相机或摄像机的输出的信号处理命令，借此，通过将用户装置的所述照相机或摄像机指向集合中的其中一张图片来捕捉对象的图像。利用相应图形的图像获得至少一帧，借助于计算模块在该帧上识别与该图片对应的对象。
使用存储在计算工具的存储器中的预先创建的图像进行识别。
来自照相机或摄像机输出的信号被应用于显示器的输入模块以显示所捕获的图像。
如果接收到的照片或视频图像多于一帧，则基于图像质量进行选择。
接下来，使用用户装置的计算模块，形成与所识别的对象对应的3D模型。
3D模型的图像以彩色呈现，而元素以包括以下选项的任何可接受的方式进行着色。用于着色的初始数据如下：
-包括多边形组的模型，其中将材料分配给所述组，
-一次或两次展开(unwrap)(纹理坐标)，
-标记图像，
-额外的照度、凸现(relief)等的图。
第一方法包括：形成将照片图像的坐标转换成其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵来形成图像读取区域的纹理并内插数据，随后将纹理分配给3D模型，来将3D模型多边形(元素)着色为相应照片或视频元素的颜色，从而相应的多边形被在纹理化阶段预先形成的纹理的相应部分覆盖，
在下文中，“材料”被分配给一组模型多边形并且具有多种设置。可以简单地通过指示颜色或通过分配纹理(图片+其沿模型扫描的坐标)来设置颜色。“纹理”是用于/计划用作3D模型的“颜色”的任何数字图像。“纹理的坐标”是指将3D模型多边形映射到纹理的区域的数据。纹理的一部分可以对应于若干多边形。纹理坐标的另一个名称是扫描或缠绕(wrap)/展开(unwrap)。
因此，第一方法的着色包括：获取图像帧，使用由识别模块提供的标记坐标来恢复“正交”标记图像，使用预先制作的正交展开将其叠加在模型上作为纹理。
第二方法包括：形成用于使照片图像的坐标转换成其自己的变换矩阵，即以轴的正交性为特征的笛卡尔坐标，使用坐标变换矩阵在预定的图像点基于颜色读取来确定3D模型材料的颜色，以将3D模型的元素着色成相应照片元素的颜色，然后将颜色分配给相应的3D模型材料。
因此，第二着色方法包括：获取图像帧，使用由识别模块提供的标记坐标读取帧中的给定点处的颜色，然后使用预先制作的正交扫描将其应用于模型作为纹理，将这些颜色分配给模型材料。标记上的点与某个模型区域预先对齐。
或者，基于预先创建的遮罩生成新的纹理。相应颜色的遮罩以给定的顺序叠加在新的纹理上，形成“正常”的展开的图像，并且进一步在所得纹理上应用附加的照度/阴影图等。
第三方法包括：形成用于使照片图像的坐标转换成其自己的变换矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵在照片图像的预定点创建由照片片段组成的纹理，来将3D模型的元素着色为相应照片元素的颜色。
因此，第三着色方法包括：获取图像帧，使用由识别模块提供的标记坐标来恢复“正交的”标记图像，使用整个图像的逐个元素的转移从标记生成“正常”展开的新纹理。通过关联两个展开的坐标(常规和平面)来进行转移。模型中的每个多边形都存在于两个展开中，由此使这些区域关联，然后在必要时将其他光线/阴影图等应用于所得的纹理。
在任一种方法中，另外可以通过用相邻像素的颜色替代特定像素的颜色来使用标记线的“擦除”。即，为了去除将在所创建的3D纹理模型上绘制的对象的轮廓，将预先建立的区域着色为相邻像素的颜色。
另外的纹理元素也被应用于为3D模型创建的纹理，特别是应用环境光遮蔽图。
接下来，生成最终图像信号，其中，3D模型图像被叠加在来自照相机或摄像机的输出的图像上并且被馈送到显示器输入，从而3D模型图像在实时图像、所拍摄的照片或摄像机上再现。
用于使用用户装置形成增强现实环境的方法是使用照相机或摄像机来实现的，这使得可以近距离地或远程地关于对象的视场中的任何对象形成增强现实环境。
用于使用用户装置形成增强现实环境的方法预先假定该过程的初步激活，激活码可以用作包含对象的详细的图形集合，从而有助于从存储器中仅选择用于对象识别的特定类别的图像，这提高了对象的正确识别的可靠性。
参与该方法实施的服务器用于验证激活码的有效性，因此与服务器的通信通道不需要使用强大且高速的通信设施，这简化了方法的硬件实施。
另外，由于激活码的验证，使用用户装置形成增强现实环境的方法允许将其限制为不能访问该方法的用户。这种限制的标准例如可以是用户的年龄，从而对这样的用户限制由该实施提供的内容。限制标准的另一示例可以是用户的影响允许他访问机密信息的程度的专业地位。限制可以由其他标准决定。
适于形成增强现实(图2)的装置包括用户装置，优选地为移动装置，其包括：连接到存储模块的输入/输出端的计算模块；照相机或摄像机；显示器；信息输入模块；音频输出模块；用于在Wi-Fi标准或GPRS标准或LTE等的框架内与作为无线数据传输节点的服务器进行通信的模块、用于与服务器通信的装置；配备有用于检查激活码的有效性的验证模块的激活服务器；用于存储激活码并通过因特网与用户装置连接的存储模块。计算模块包括用于识别激活码的模块、用于检查激活码的模块、对象识别模块、用于形成3D模型的模块、存储模块以及用于生成所得图像的信号的模块。
计算模块采取以下操作程序(图3)。
开始时，获取激活码数据，该激活码数据由用户使用输入模块或通过将照相机或摄像机指向其图像来手动输入。输入工具能够是控制按钮、触摸键盘的按钮、语音输入节点或照相机或摄像机。
然后，通过长度、和/或奇偶性和/或可允许的符号等与有效值进行比较，根据形式特征来验证激活码。
在本地检查之后，激活码数据由通信模块发送到服务器。服务器通过将代码与在其存储器中存储的代码进行比较来检查代码的有效性。
从服务器接收到验证结果之后，使用服务器命令来激活或解锁管理增强现实环境形成的过程。如果测试结果为否定的，则过程结束。
如果测试结果是肯定的，则开始形成增强现实环境的过程。
从由用户指向包括对象的图片的照相机或摄像机的输出来获得图像。
计算模块访问存储器，以通过将捕获对象与存储的对象图像进行比较来以定位和识别捕获图像上的对象。
一旦识别出对象，创建与所识别的对象相关联的3D模型。
在增强现实环境的形成的最后阶段，生成最终图像信号的输出。
除非明确指出，否则本发明的所描述的实施例以及在这些实施例中阐述的组件、数字表达式和数值的布置不限制本发明的范围。
示例
增强现实形成模块包括用户装置，用户装置包括移动通信装置和激活服务器本身，移动通信装置配备有内置摄像机、计算模块、存储模块、触摸按钮形式的输入模块、集成显示器和经由因特网与服务器通信的通信模块。
与正在形成增强现实相关的对象是印刷在收集于预先密封的相册中的纸张上的图片，在相册的封面的内部印有码字。
用户通过解封相册来访问所述相册的码字。通过启动移动通信装置中的相应的应用，用户在应用的对应字段中输入码字，码字以信号的形式被馈送到计算模块的输入端，其中，对形式特征进行检查，然后通过通信的方式将码字发送到服务器，以验证与存储在服务器上的码字之一的符合性。服务器计算模块使用在激活服务器上实现的接口来检查用户输入的码字的真实性。
在测试结果为否定的情况下，增强现实创建媒体的工作结束，并且相应的应用保持锁定。
在服务器检查的结果为肯定的情况下，生成信号以允许用户装置创建增强现实环境，该增强现实环境经由因特网发送到移动通信模块，因此解锁相应的应用。
在获得形成增强现实效果的能力之后，用户将移动通信装置的摄像机引导至相册图片中的一个，使得照相机能够捕获对象的图像，以及通过计算模块对其进行检测和识别。在这种情况下，计算模块访问移动装置的存储器，其中存储了包含在相册中的对象的图像。关于所识别的对象，形成空间模型并将其作为相应的视频序列在显示器上显示在所捕获的图像上。
音频输出模块用于再现与3D模型的再现图像相关联的声音效果。
可以使用标准组件和包括独立模块(诸如照相机、显示器、处理器等)的电子组件基座来实现用于使用用户装置生成增强现实环境的方法。
因此，使用用户装置形成增强现实环境的方法允许通过使用物理对象的照片或视频图像来创建关于对象(包括远程对象)的增强现实环境，通过使用与特定对象相关联的唯一激活码来提供识别其特征接近的对象的提高的可靠性，通过减少通信的要求而简化了实施，并且为特定用户提供限制访问形成增强现实环境的能力。