2D数字资源转化为可动态变化的3D数字资源的方法及系统与流程

文档序号:14475343阅读:334来源:国知局

本发明属于数字处理领域,涉及一种用于2d数字资源转化为可动态变化的3d数字资源的方法及系统。



背景技术:

vr(virtualreality,虚拟现实)技术可通过设备在用户眼前呈现出虚拟的场景,包括视觉、听觉、交互等等方面。其中视觉是目前形成虚拟感官的最重要因素,现有vr设备利用人体双目立体视觉,使用户的两只眼睛看到的不同图像,从而通过视差就产生立体感3d场景。这一特性可用于包括医疗用途在内的各种领域。

目前,vr设备的内容形成机制复杂,导致vr设备可展示的内容呈现数量不足、不可定制化等问题。

现有形成vr设备视觉内容的方法如下:

通过人工建模或编辑3d场景,再进行3d影像录制,来为vr设备提供特定的虚拟现实内容。即先通过人工3d建模,再利用计算机图形学计算形成固定的视差的双屏内容直接提供给vr设备。此方法,构建场景的人工成本很高,导致内容数量的规模无法进行有效地扩展。另一方面,由于形成的虚拟场景是事先录制的,该虚拟场景无法进行定制化的更改和更新。

通过引入2d多媒体资源(图像和视频),将2d资源与人工构建的3d场景进行结合,再利用计算以达到2d媒体可在固定的3d虚拟场景下展示的目的。即将2d资源固定于特定3d虚拟场景下,到达2d资源存在于3d虚拟场景中的伪3d视觉效果,通过计算机视差计算形成双屏内容可使用户调整不同的视角观看2d资源内容。该方法可以有效通过现有的大量2d多媒体资源来形成虚拟场景内容,但是2d资源在3d场景下的位置是固定不可动态调节,不能使2d资源内容在3d场景中动态变更。由此,内容展现也是无法进行定制化变更的,从而很大程度失去了vr内容的可配置、可互动的特性。

而现在现有技术中虽然有2d资源转换成3d资源,但是缺少治疗所需要的3d图像的变换功能,比如图像的平移、翻转、缩放等,因此在近视或弱视的治疗中无法很好的利用现有的其他领域的2d资源。



技术实现要素:

本发明的目的是提供将2d资源转化为3d场景中的3d实体,并通过计算机图形学的3d转换,使之可在3d场景中位置可动态变更(包括位移,旋转、缩放)。

为实现上述目的,本发明采取下述技术方案来实现:

2d数字资源转化为可动态变化的3d数字资源的方法为:对2d数字资源进行图像抽取,将抽取结果通过纹理贴图运算置于3d坐标系中,然后在3d坐标系中进行运动处理与渲染实现动态变化,再通过投影计算形成2d图像;通过实时计算视差,将2d数字资源的多媒体内容通过可运动平面的方式融入3d场景,使其可在3d虚拟场景中按照预定方式进行3d图像的动态变化

进一步,所述3d图像的动态变化为图像的平移、旋转、翻转或缩放中的一种或多种。

具体的,所述方法包括以下步骤:

步骤a,对2d图像进行图像抽取;

步骤b,选取所需的3d虚拟场景;

步骤c,在3d虚拟场景中构建2d资源平面,并为其构建所在坐标系的初始位置、夹角以及大小;

步骤d,构建2d资源平面的内部坐标系,通过解析2d资源图像的特征,进行坐标映射计算,将2d资源图像转化为2d资源平面的贴图;

步骤e,通过实时计算视差,将2d多媒体内容通过可运动平面的方式融入3d场景,使之可进行可配置的3d图形转换。

作为本发明一种实施方式,步骤e中,2d资源实体通过可配置的变化方式在3d场景中进行转换,其计算过程如下:

获取平面初始坐标矩阵,以及当前的坐标转换矩阵;

获取已配置的平面运动轨迹,并计算当前阶段的转换矩阵,并使之平滑化;

在3d场景下进行资源平面的坐标计算,以获得下一帧下资源平面的坐标,并重新计算光线的反射效果;

通过vr设备的运动传感器数据以及设备的配置数据计算当前双眼在虚拟场景中的位置和视角;

转换矩阵通过下一帧的资源平面位置与双眼的虚拟位置计算下一帧下包括2d内容在内的3d场景下所有物体的投影关系,形成具有视差效果的双屏本发明还提供上述的2d数字资源转化为可动态变化的3d数字资源的方法在治疗弱视或近视中的用途。

此外本发明还提供一种用于治疗弱视或近视的3d视频转换系统,包括图像抽取模块,计算模块,3d处理模块和vr设备;其中图像抽取模块对2d数字资源进行图像抽取,计算模块先进行3d坐标转换计算,通过实时计算视差,利用3d处理模块将2d数字资源的多媒体内容通过可运动平面的方式融入3d场景,使其可vr设备的3d虚拟场景中按照预定方式进行3d图像的动态变化。

与现有技术相比,本发明具有以下优点:

本发明将2d多媒体内容通过可运动平面的方式融入3d场景,来实现快速vr内容产生;

通过使用实时计算视差的方法,将2d多媒体内容通过可运动平面的方式融入3d场景,使之可进行可配置的3d图形学转换,即多媒体内容可在虚拟场景中按照预定方式进行平移、旋转、翻转、缩放等改变;

通过先进行3d坐标转换计算再进行2d投影的计算方法,在设备计算能力的支持下可进行虚拟场景的动态光计算,可使2d多媒体内容运动在虚拟场景下更为真实。

具体实施方式

下面结合具体实施例对本发明进行详细阐述。

本发明一个实施例中,将普通的2d资源转换为3d资源,具体步骤如下:

在vr软件系统中对2d资源(特别是视频)进行图像抽取;

vr软件系统导入选取3d虚拟场景;在3d虚拟场景中构建2d资源平面(一个大小适中的平面),并为其构建所在坐标系的初始位置、夹角以及大小;

构建2d资源平面的内部坐标系,通过解析2d资源图像的特征,进行坐标映射计算,将2d资源图像转化为2d资源平面的贴图;

2d资源实体可通过可配置的变化方式在3d场景中进行转换,其计算过程如下:

获取平面初始坐标矩阵,以及当前转化坐标矩阵;

平面初始坐标即为开始时间为0时候的坐标;

计算每个阶段的转换矩阵;

转换矩阵是从时间点0(定义的开始时间)到当前时间点这段时间内的位移、旋转等操作的总和,初始坐标*转换矩阵=目前的坐标。

就本发明一个实施例中如果视频有100帧,那如果每一帧进行一次位置更新的话,就会有99次位置更新,也就有99个转换矩阵。

获取已配置的平面运动轨迹,并计算当前阶段的转换矩阵,并使之平滑化;

比如,从左上匀速移动到右下”这样的意图变成99个转换矩阵(每一个都表示右移一点点,下移一点点)。

获取已配置的平面运动轨迹就是通过软件配置,可以预定义运动效果,比如平滑的从左到右,同时随机的上下,同时加速的自转等等,此处的运动轨迹指用户希望得到的效果。

在3d场景下进行资源平面的坐标计算,以获得下一帧下资源平面的坐标(涉及平移、旋转及缩放),并重新计算光线的反射效果;

此步就是将“当前坐标”*“下一阶段转换矩阵”,结果是下一帧它应该在的坐标,然后再根据新坐标进行光的计算。通过当前平面与光源的相对位置及夹角处理如点光源或者平行光源下的反光效果。

通过vr设备的运动传感器数据以及不同设备的配置数据(瞳距等)计算当前双眼在虚拟场景中的位置和视角;

vr设备的运动传感器获取的运动数据,主要表示用户转头的角度,抬头的角度等等。以用户视角为输入,考虑瞳距,计算得出左右眼在3d场景中的坐标及朝向,通过将3d场景进行左右眼的投影计算形成最终图像。

通过下一帧的资源平面位置与双眼的虚拟位置计算下一帧下包括2d内容在内的3d场景下所有物体的投影关系,形成具有视差效果的双屏。

本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的遮蔽装置和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1