一种LED三维成像系统及方法与流程

本发明涉及图像处理技术领域，具体涉及一种LED三维成像系统及方法。

背景技术：

目LED屏的显示方式一直是平面的被动的显示方式，无论怎么拼装编排都无法给人们呈现出精准三维立体的图像，显示图像不会跟随观看者的位置而实时变化，无法模拟出精准的三维空间环境。大型的LED屏一直只作为一种显示单元或介质来使用，相关主动的屏显技术在LED屏行业并没有出现。

现有技术中的三维成像技术主要有以下几种技术：

LED屏显示技术，LED屏的显示方式一直是平面的被动的显示方式，无论怎么拼装编排都无法给人们呈现出精准三维立体的图像，显示图像不会跟随观看者的位置而实时变化，无法模拟出精准的三维空间环境。大型的LED屏一直只作为一种显示单元或介质来使用，相关主动的屏显技术在LED屏行业并没有出现。

空间坐标拟合匹配技术，现在空间坐标拟合匹配技术应用主要集中于虚拟现实应用，而把虚拟世界坐标引用到真实环境的应用很少，而把虚拟世界坐标引用到真实环境多物品多视点的应用是没有的。

专利文献1，公开号：CN103941851A

专利文献2，公开号：CN103365572A

专利文献3，公开号：CN105159522A

专利文献4，公开号：CN102508546A

专利文献5，公开号：CN103744518A

专利文献1公开了一种实现虚拟触摸校准的方法以及系统，其公开了以下方案：

创建虚拟校准菜单；

以显示所述虚拟校准菜单所在的平面为x轴和y轴构成的平面，建立第一坐标系；

建立第二坐标系，将用户手势位置用所述第二坐标系坐标表示；

计算所述第一坐标系和所述第二坐标系的对应关系；

根据所述对应关系，将第二坐标系表示的用户手势位置坐标，用所述第一坐标系的坐标表示；

根据用所述第一坐标系的坐标表示的用户手势位置坐标，校正用户手势与虚拟校准菜单的对应关系。

现有技术中，3D虚拟投影及虚拟触摸的用户交互界面及实现方法，包括深度探测器、双眼图像视差计算模块、双眼图像处理模块、3D显示设备、手势识别模块、摄像头和虚拟触摸控制器。通过专利文献1取得了以下效果：当深度探测器的位置发生改变或者用户更换后人眼瞳孔的距离发生了改变时，采用了用户点击虚拟校准菜单的校准点的技术手段，重新将用户手势操作与虚拟投影画面进行校准，有效的解决了现有技术中当发生上述改变后，手势点击与响应不一致的错乱问题，实现了即便发生上述改变，也能保持交互的准确性。

专利文献2公开了一种电子设备的远程操控方法及电子设备，该方法应用于第一电子设备和第二电子设备之间，其中，第一电子设备与第二电子设备通过无线方式连接，第一电子设备包括图像获取装置和触控显示单元，第二电子设备包括一显示单元，该方法包括：

第一电子设备通过所述图像获取装置获取包含所述显示单元所显示的第一显示内容的实时图像，将所述实时图像显示在所述触控显示单元中；

建立所述实时图像对应显示坐标与所述第一显示内容对应显示坐标的第一显示坐标转换关系；

检测所述触控显示单元接收到的触控操作信息，根据所述触控操作信息确定该触控操作的触控点坐标是否对应所述实时图像中包含的第一显示内容，如果是，则根据所述第一显示坐标转换关系将所述触控操作对应的触控点坐标转换为所述显示单元中的第二坐标，并将所述触控操作信息中的触控命令发送到第二电子设备，使第二电子设备通过所述触控命令实现对所述第二坐标位置的操作。

专利文献2取得了以下效果：通过使用包括缩放摄像头和触摸屏的电子设置控制另一电子设备，当用户通过摄像头获取另一电子设备显示单元中显示的内容后，在触摸屏中显示。用户即可以通过触摸屏在一定距离范围内对所述另一电子设备的桌面进行操控。可以实现通过触控方式对非触控显示屏的电子 设备的控制。

专利文献3公开了一种虚拟现实显示设备响应外设设备操作的方法，具体包括：

所述虚拟现实显示设备包括两个显示屏，每一个所述显示屏与全部交互范围的一部分相对应，所述方法包括：

获取外设设备的当前位置坐标；

采用与预定条件对应的转换方式，对所述当前位置坐标进行转换，得到位于指定范 围内的响应位置坐标，其中，所述指定范围为所述两个显示屏中指定显示屏所述对应的交互范围；

根据所述响应位置坐标进行位置交互。

专利文献3通过将获取的外设设备的当前位置坐标进行坐标转换，得到位于指定范围内响应位置坐标，进而使虚拟现实显示设备能够响应外设设备操作，实现与外设设备的响应位置坐标相交互。并且，转换后的响应位置坐标被限制在交互范围中的指定范围内，能够防止当前位置坐标在与虚拟现实显示设备交互时，2D输入的响应位置坐标在显示设备的立体影像中发生跳跃，克服了2D输入的响应位置坐标发生跳跃给用户在虚拟现实体验时带来的不舒服的感受。

专利文献4公开了一种在显示设备中实现3D虚拟投影及虚拟触摸的用户交互界面及实现方法，其具体包括以下部件：

深度探测器：用于探测用户头部及手部与3D显示设备的距离信息；

双眼图像视差计算模块：根据接收的距离信息计算出将用户交互界面通过3D显示虚拟投影到距用户头部臂长范围的双眼图像视差；

双眼图像处理模块：将左右眼显示的图像处理达到双眼图像视差计算模块计算的双眼图像视差，再将处理后的图像发送给3D显示设备；

3D显示设备：把双眼图像处理模块进行处理过的双眼视差图像以3D显示，使用户交互界面以3D虚拟投影的方式显示在用户头部臂长范围内；

手势识别模块：使用摄像头摄取用户手部运动轨迹，并结合深度探测器得到的用户手部与3D显示设备的距离信息，识别手势；

摄像头：摄取用户手部的运动轨迹；

虚拟触摸控制器：接收手势识别模块的信息，并做出相应反应；

其中，所述深度探测器的输出端与双眼图像视差计算模块的输入端连接，双眼图像视差计算模块的输出端与双眼图像处理模块的输入端连接；双眼图像处理模块的输出端与3D显示设备连接；手势识别模块的输入端分别与深度探测器和摄像头连接，手势识别模块的输出端与虚拟触摸控制器连接。

通过专利文献4的技术方案，综合利用深度探测技术，3D显示技术以及手势识别技术，创造出一种全新的3D虚拟触摸交互方式，克服目前触摸不能离开屏幕，而手势不能与交互的对象距离较远的问题；用户不仅可以实现在虚拟屏幕上进行触摸操作，还可实现3D虚拟投影。本发明不仅可以实现增加一种带反馈的，虚拟投影、虚拟触摸的3D用户界面，而且带给用户使用方便和全新的交互体验。

专利文献5公开了一种立体交互方法及其显示装置和系统，该方法包括：包括：通过立体交互操作棒与立体显示设备的屏幕上立体显示的被操作对象进行立体交互；获取观看者的位置信息，并根据所述位置信息的变化情况，对所述立体交互的过程执行基于运动视差的立体调整显示。

专利文献5中，在通过立体交互操作棒与被操作对象进行立体交互的过程中，通过结合运动视差的显示技术，使得在发生如用户视线被立体交互操作棒或手部等遮挡的情况时，仅需要改变观看位置，即可基于视差变化来调整屏幕的显示效果，使得用户能够从其他角度观看到先前被遮挡的图像部分，方便用户在不中断操作的情况下，完成对被操作对象的立体交互操作。

可见，现有技术中LED屏的显示方式一直是平面被动的显示方式，无论怎么拼装编排都无法给人们呈现出精准三维立体的图像，显示图像不会跟随观看者的位置而实时变化，无法模拟出精准的三维空间。LED屏一直只作为一种显示单元或介质来使用，相关主动的屏显技术在LED屏行业并没有出现。另外一种虚拟空间的展现则需要佩戴VR眼镜，非常不方便而且看不到真实环境周边事物，使用不安全。

技术实现要素：

为解决上述技术问题，本发明提供了一种LED三维成像方法，该方法包括如下步骤：

1)在虚拟三维空间中对多个LED显示屏进行面片设置

2)获取用户在真实环境中的位置数据；

3)将所述位置数据转换为虚拟三维空间中的虚拟空间位置数据；

4)根据所述虚拟空间位置数据定位所述用户在所述虚拟三维空间中的位置；

5)根据所述用户在所述虚拟三维空间中的位置，使用正交相机在所述虚拟三维空间中取景；

6)将所述正交相机采集的虚拟空间内容匹配显示在所述多个LED显示屏上。

优选的，所述用户在真实环境中的位置数据为用户在人物位置坐标空间中的坐标，所述虚拟空间位置数据为用户在虚拟空间坐标空间中的坐标。

优选的，所述多个LED显示屏至少包括：面对用户的正面LED显示屏，位于用户左右两侧的左侧LED显示屏、右侧LED显示屏，位于用户顶部的上部LED显示屏和位于用户底面的底部LED显示屏。

优选的，根据所述LED显示屏的位置、面积及个数，将所述虚拟空间内容调整适配显示在所述多个LED显示屏上。

优选的，在步骤1）之前通过3DMAX制作虚拟三维空间模型，对所述多个LED显示屏的面积和坐标进行面片设置。

优选的，所述正交相机采集的虚拟空间内容包括图像和/或视频。

为解决上述技术问题，本发明提供了一种LED三维成像系统，该系统包括：服务器、定位系统、大屏拼接器、多个LED显示屏，其中服务器包括：跟踪模块，大屏显示模块，虚拟场景模块；

所述定位系统跟踪用户在真实环境中的位置，并将用户位置参数发送给所述服务器；所述服务器利用所述跟踪模块处理所述用户位置参数，获取用户在真实环境的坐标位置数据，并转换为虚拟三维空间中的虚拟空间位置数据；所述虚拟场景模块渲染和输出虚拟三维空间的模型；所述大屏显示模块根据所述虚拟空间位置数据输出需要显示的虚拟空间内容；所述大屏拼接器接收所述虚拟空间内容，将其匹配显示在多个LED显示屏。

优选的，所述定位系统包括：红外跟踪传感器、红外坐标跟踪器

优选的，所述虚拟场景模块包括一正交相机，正交相机根据所述虚拟空间位置数据对所述虚拟三维空间取景，将取景内容输出给所述大屏显示模块；所述正交相机利用正交相机成像原理，代替真实用户在三维模型的视觉，并正对LED面片设置。

优选的，所述红外坐标跟踪器采用头戴式形状。

通过本发明的技术方案取得了以下技术效果：

LED屏从一种被动显示方式变为可变化主动显示方式，跟随人物位置变化显现出不同角度的图像和视频，从而达到屏幕中显示的内容能实时跟随人物的坐标进行实时变化，使LED实现实时立体显示。这种虚拟空间立体显示方式对于VR眼镜来对比，就是客户不需要穿带笨重的头盔和烦人的线缆，便可以轻松的处于沉浸式的虚拟空间中。

附图说明

图1是LED三维成像系统框图

图2是本发明的空间区域图

图3是本发明的空间示意图

图4是本发明的系统位置示意图

图5是本发明的视角变化显示内容匹配示意图

具体实施方式

本发明通过真实环境中的定位系统，此处为红外定位系统，也可以通过GPS定位，视觉定位，激光定位，超声波定位等方式，匹配真实LED显示屏的坐标和面积，读取人物的真实位置坐标后引用到虚拟三维空间进行计算，通过对虚拟三维空间的计算后把虚拟三维空间的对应坐标的图像或视频映射到真实坐标的LED屏幕显示。从而达到屏幕中显示的内容能实时跟随人物的坐标进行变化，使LED实现实时立体显示。所述红外定位系统包括一红外发射器，用于向红外坐标跟踪传感器发送红外光，由红外坐标跟踪传感器获取被跟踪物体的坐标和面积，并发送给服务器进行处理。

参见图1，本发明的LED三维成像系统包括：服务器、跟踪传感器、坐标跟踪器、大屏拼接器，LED显示屏，其中服务器包括三大功能模块：跟踪模块，大屏显示模块，虚拟场景模块。其中跟踪模块用于处理人物在真实环境内的坐标位置数据，获取人物坐标后用于虚拟空间的定位使用，大屏显示模块用于显示虚拟空间内容，包括正面左右上下LED屏的内容显示，大屏拼接器用于匹配多块大屏的显示内容，虚拟场景模块用于渲染和输出三维虚拟空间的模型。

参见图2-5， 本发明包括三个大空间坐标，1虚拟空间坐标、2实景LED屏坐标、3人物位置坐标，三个空间坐标大小关系是虚拟空间大于实景LED屏空间，即整个LED屏空间位于虚拟空间坐标内，人物处于LED屏空间内，通过真实环境中的定位系统（由跟踪传感器和坐标跟踪器构成），读取LED屏幕和人物的真实坐标后映射到虚拟三维空间环境进行位置坐标匹配，再从虚拟三维空间的对应坐标的图像或视频映射到真实坐标的LED屏幕显示，从而达到LED屏幕中显示的内容能实时跟随人物的坐标进行实时变化，使LED屏幕实现实时立体空间显示。

以下仅作为示例，不对本发明的具体实施方式进行限定。一个头戴式的红外坐标跟踪器穿戴于用户身上，头戴式只是一种优选的方式，也可以为其他便于用户携带的各种方式，比如手腕式等等，在此不做限定。参见附图4-5，由固定在真实环境的红外跟踪传感器向红外坐标跟踪器发射红外光，红外坐标跟踪器以红外方式定位用户在真实环境中的位置坐标，之后将采集的真实环境中的用户坐标发送给服务器，其中红外坐标跟踪器和红外跟踪传感器构成对用户位置进行定位的定位系统。服务器中的跟踪模块处理接收到人物在真实环境内的坐标位置数据，对用户在虚拟空间的位置进行定位，用户在虚拟空间中的位置可以根据用户的需要进行调整，比如用户在虚拟空间中的初始位置位于虚拟空间的中央，左侧或右侧等，然后再根据用户在真实环境中位置的改变而实时更新用户在虚拟空间中的位置。大屏显示模块用于显示虚拟空间内容，包括映射到虚拟空间的人物，在正面、左右、上下LED显示屏的内容显示，大屏拼接器用于匹配多块大屏的显示内容。其中，由虚拟场景模块渲染和输出三维虚拟空间的全景模型，即包括从各个视角展示的三维虚拟空间场景，这个三维虚拟空间模型预先由用户通过3D设计软件（如3DMAX）设计完成导入到服务器中。虚拟场景模块包括利用正交相机成像原理设计的一个正交相机，模拟用户在真实环境位置的视觉，正交相机位于用户通过真实环境位置定位到三维虚拟空间的位置，使取景窗口正对相关方向的LED面片，以用户的视角获取三维虚拟空间的场景，此时正交相机在三维虚拟空间的位置与用户在真实环境的位置相对应，然后把所取的虚拟空间场景内容（包括图像和和/或视频）输出到大屏显示模块，大屏显示模块将虚拟空间场景内容输出给大屏拼接器，最终匹配输出到真实的多个LED显示屏，实现虚拟空间内容随真实用户位置的移动而更新。

具体实施例

系统实例所使用的服务器为惠普HP Z440，跟踪使用为HTCVIVE-Lighthouse红外频闪跟踪系统，其包括红外坐标跟踪器和红外跟踪传感器，LED大屏为利亚德P1.9间距，长为三米，高两米，大屏拼接器为利亚德MVC-2-203，虚拟实时渲染引擎为UNITY5.40。

具体实施流程，第一步把客户所需的三维模型在设计软件3DMAX里制作完成，把该模型导入到UNITY里进行二次的实时编辑，对应真实环境的大屏面积和坐标进行相应的面片设置，LED显示屏的面积和坐标预先由用户在软件中进行设置，即由三维模型中的面片代替真实的LED显示屏，使用正交相机成像原理使正交成像取景相机（在三维模型中由软件设计，代替真实用户在三维模型的视觉）正对相关方向的LED面片，把所取的虚拟空间图像输出到大屏拼接器，大屏拼接器对应不同分辨率多个LED大屏进行画面的调整适配最后发送到真实屏幕上显示。跟踪模块接收坐标跟踪器的位置参数，发送到服务器，服务器接收到数据后使虚拟场景进行相应数据的移动变化，正交相机把所拍到的画面实时输出给真实环境的LED大屏，模拟显示出逼真的虚拟空间感。

所述服务器可以设置于LED显示屏本身，即LED显示屏可以包括多个显示屏，而服务器功能设置于某个显示屏中，作为LED显示屏的主控制屏。具体来说，本发明提供一种三维成像的LED显示屏，该LED显示屏用于显示虚拟三维图像，该LED显示屏包括一个主控制屏和多个从显示屏，其中主控制屏包括：跟踪模块，大屏显示模块，虚拟场景模块、大屏拼接器；

该主控制屏分别与跟踪传感器、坐标跟踪器相连；

所述坐标跟踪器跟踪用户的位置，并将所述用户位置参数发送给所述主控制屏；

所述主控制屏利用所述跟踪模块处理所述用户位置参数，获取用户在真实环境的坐标位置数据，并转换为虚拟三维空间中的虚拟空间位置数据；所述虚拟场景模块渲染和输出虚拟三维空间的模型；所述大屏显示模块根据所述虚拟空间位置数据输出需要显示的虚拟空间内容；所述大屏拼接器接收所述虚拟空间内容，将其匹配显示在所述主控制屏和多个从显示屏。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应保护在本发明的保护范围之内。