一种立体显示系统及方法与流程

1.本发明涉及显示技术领域，尤其涉及一种立体显示系统及方法。


背景技术：

2.目前3d(立体)显示颇受关注，与普通2d画面显示相比，3d技术可以使画面变得立体逼真，图像不再局限于屏幕平面，仿佛能够走出屏幕外面，使观众有身临其境的感觉。
3.然而现有的立体显示系统，其交互系统要么仍采用2d方案，如使用键盘鼠标等外接设备进行交互，使用者的视觉需要频繁在2d与3d之间切换，产生眼睛疲劳；要么需要手持设备(如手柄)实现，未能完全解放双手，降低了3d显示的真实立体感。


技术实现要素：

4.基于上述现有技术中的不足，本发明的目的是提供一种立体显示系统及方法，无需外接设备或手持设备即可实现立体显示与虚拟交互。
5.为实现上述目的，本发明首先提供一种立体显示系统，至少包括：
6.信息收集单元，用于收集使用者的人眼信息与人体信息；
7.信息处理单元，用于构建虚拟空间，根据人眼信息和人体信息，在虚拟空间中构建使用者对应的人眼模型和人体模型，并通过人眼模型在虚拟空间中采集立体显示数据，及通过人体模型形成交互显示数据；
8.立体显示单元，用于根据立体显示数据和交互显示数据，展示立体显示画面。
9.可选地，信息处理单元还用于在虚拟空间中预设的虚拟物体模型，交互显示数据还包括人体模型与虚拟物体模型的交互数据。
10.可选地，信息收集单元还包括：
11.第一收集单元,用于收集使用者的人眼信息，人眼信息包括人眼坐标数据与瞳距数据；
12.第二收集单元，用于收集使用者的人体信息，人体信息包括人手坐标数据和手势信息。
13.可选地，信息收集单元还包括：
14.第一获取单元，用于获取使用者的人眼彩色图和人体彩色图；
15.第二获取单元，用于获取使用者的人眼深度图和人体深度图。
16.可选地，信息处理单元还包括：
17.第一构建单元，用于构建虚拟空间；
18.第二构建单元，用于根据人眼信息和人体信息，在虚拟空间中构建人眼模型和人体模型；
19.数据处理单元，用于通过人眼模型在虚拟空间中采集立体显示数据，并通过人体模型形成交互显示数据。
20.可选地，数据处理单元还包括：
21.格式转换单元，用于根据立体显示单元的参数，将立体显示数据的格式转化为与立体显示单元匹配的格式；
22.数据传输单元，用于将转化格式后的立体显示数据传输至立体显示单元。
23.本发明同时提供一种立体显示方法，应用于立体显示系统的信息处理单元，立体显示系统还包括信息收集单元和立体显示单元，立体显示方法至少包括：
24.构建虚拟空间；
25.接收信息收集单元发送的使用者的人眼信息和人体信息；
26.根据人眼信息和人体信息，在虚拟空间中构建使用者对应的人眼模型和人体模型；
27.将人眼模型在虚拟空间中采集到的立体显示数据，及人体模型的人体交互数据传输至立体显示单元，以使立体显示单元展示立体显示画面。
28.可选地，将人眼模型在虚拟空间中采集到的立体显示数据，及人体模型的人体交互数据传输至立体显示单元的步骤，还包括：
29.通过人体模型与在虚拟空间中预设的虚拟物体模型进行交互，形成人体交互数据。
30.可选地，人眼信息包括人眼坐标数据与瞳距数据，人体信息包括人手坐标数据与手势信息，接收信息收集单元发送的使用者的人眼信息和人体信息的步骤，还包括：
31.接收信息收集单元发送的使用者的人眼坐标数据与瞳距数据、人手坐标数据与手势信息。
32.可选地，将人眼模型在虚拟空间中采集到的立体显示数据，及人体模型的人体交互数据传输至立体显示单元的步骤，还包括：
33.根据立体显示单元的参数，将立体显示数据的格式转化为与立体显示单元匹配的格式。
34.与现有技术相比，本发明的有益效果包括：本发明的立体显示系统包括信息收集单元、信息处理单元及立体显示单元；其中，信息收集单元用于收集使用者的人眼信息与人体信息；信息处理单元用于构建虚拟空间，根据人眼信息和人体信息，在虚拟空间中构建使用者对应的人眼模型和人体模型，并通过人眼模型在虚拟空间中采集立体显示数据，及通过人体模型形成交互显示数据；立体显示单元，用于根据立体显示数据和交互显示数据，展示立体显示画面。本发明根据收集到的人眼信息和人体信息，将真实空间中的人眼和人体映射到虚拟空间中，形成人眼模型和人体模型。真实空间中的信息与虚拟空间中的信息是同步的，使观看者感受到虚拟空间与真实空间重合，可以看到逼真且具有运动视差的立体画面；并通过人体信息让人体模型实现使用者在虚拟空间中的交互操作，无需外接设备或手持设备即可实现虚拟交互。
附图说明
35.为了更清楚地说明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1是本发明实施例立体显示系统的框架图；
37.图2是本发明实施例信息收集单元的框架图一；
38.图3是本发明实施例信息收集单元的框架图二；
39.图4是本发明实施例信息处理单元的框架图；
40.图5是本发明实施例数据处理单元的框架图；
41.图6是本发明实施例立体显示方法的流程图。
具体实施方式
42.以下各实施例的说明是参考附加的图示，用以例示本发明可用以实施的特定实施例。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。同时，本发明中术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
43.本发明实施例提供一种立体显示系统，如图1所示，包括信息收集单元100、信息处理单元200及立体显示单元300；其中，信息收集单元100用于收集使用者的人眼信息与人体信息；信息处理单元200用于构建虚拟空间a，根据人眼信息和人体信息，在虚拟空间a中构建使用者对应的人眼模型a1和人体模型a2，并通过人眼模型a1在虚拟空间a中采集立体显示数据，及通过人体模型a2形成交互显示数据；立体显示单元300，用于根据立体显示数据和交互显示数据，展示立体显示画面。
44.本实施例的立体显示系统根据收集到的人眼信息和人体信息，将真实空间b中的人眼和人体映射到虚拟空间a中，形成人眼模型和人体模型。真实空间b中的信息与虚拟空间a中的信息是同步的，使观看者感受到虚拟空间a与真实空间b重合，可以看到逼真且具有运动视差的立体画面；并通过人体信息让人体模型a2实现使用者在虚拟空间a中的交互操作，无需外接设备或手持设备即可实现虚拟交互。
45.一种实施例中，信息处理单元200还用于在虚拟空间a中预设的虚拟物体模型a3，交互显示数据还包括人体模型a2与虚拟物体模型a3的交互数据。例如虚拟物体可以是虚拟钢琴，使用者演示弹钢琴的动作，人体模型a2则在虚拟空间a中对虚拟钢琴进行弹奏，实现使用者与虚拟空间a中的虚拟钢琴的无接触式交互。人体模型a2还可以与虚拟物体模型a3进行碰撞或接触，产生对应的特效。
46.一种实施例中，如图2所示，信息收集单元100还包括第一收集单元110和第二收集单元120，其中：
47.第一收集单元110用于收集使用者的人眼信息，人眼信息包括人眼坐标数据与瞳距数据；人眼坐标数据可以定位人眼模型a1在虚拟空间a中的具体位置，人眼模型a1的相对距离(也即瞳距)应当尽可能精确，以实现后续立体显示画面与现实重合的效果，提升立体
显示的逼真效果。
48.第二收集单元120用于收集使用者的人体信息，人体信息包括人手坐标数据和手势信息；人体模型a2可以包括人手模型，根据人手坐标数据可以定位人手模型在虚拟空间a中的具体位置以及人手模型的大小，根据手势信息可以让人手模型呈现对应的手部姿势，例如握拳，挥手等手部动作。
49.在本实施例中，人眼模型a1和人体模型a2的尺寸与真实空间中的人眼和人体尺寸的比例，是与立体显示画面的大小相关的。
50.一种实施例中，如图3所示，信息收集单元100还包括第一获取单元130和第二获取单元140，其中：
51.第一获取单元130，用于获取使用者的人眼彩色图和人体彩色图；
52.第二获取单元140，用于获取使用者的人眼深度图和人体深度图。
53.具体地，第一获取单元130包括彩色(rgb)相机。第二获取单元140可以为红外相机。这样可以提升信息收集单元100采集信息的精确度。
54.一种实施例中，如图4所示，信息处理单元200还包括第一构建单元210、第二构建单元220及数据处理单元230，其中：
55.第一构建单元210用于构建虚拟空间a；
56.第二构建单元220用于根据人眼信息和人体信息，在虚拟空间a中构建人眼模型a1和人体模型a2；
57.数据处理单元230用于通过人眼模型a1在虚拟空间a中采集立体显示数据，并通过人体模型a2形成交互显示数据。
58.一种实施例中，如图5所示，数据处理单元230还包括格式转换单元231和数据传输单元232，其中：
59.格式转换单元231用于根据立体显示单元300的参数，将立体显示数据的格式转化为与立体显示单元300匹配的格式；可以预先在数据处理单元230中输入立体显示单元300的参数，即可调整立体显示数据的播放格式。
60.数据传输单元232用于将转化格式后的立体显示数据传输至立体显示单元300。
61.在对人眼坐标及瞳距的精确捕捉以及建模的条件下，可实现人眼所看的到立体效果与真实空间b的感受一致。真实人手和人手模型在视野内重合，实现真实人手在虚拟空间a触发互动和特效。
62.一种实施例中，信息收集单元100可以是外接采集设备，也可集成在立体显示单元300上。信息收集单元100集成在立体显示单元300上时，要求信息收集单元100的拍摄范围至少可覆盖立体显示单元300屏幕前观看者通常可能所处的位置，范围越大越好。通过信息收集单元100获得彩色图和深度图，彩色图由rgb相机拍摄，深度图由红外相机拍摄。信息处理单元200是pc机(个人电脑)或者可完成上述信息处理内容的嵌入式系统。
63.一种实施例中，立体显示单元300采用双目视差式立体显示技术，立体显示单元300可以是裸眼3d显示器，也可以是助视式3d显示设备(包括3d眼镜和头戴式设备)，3d眼镜相比头戴式设备，使用更方便，本实施例中助视式3d显示设备优选为3d眼镜。其中裸眼3d显示器包括视差屏障3d显示器、柱透镜光栅3d显示器、指向光源3d显示器；助视式包括分色3d显示设备、偏振3d显示设备、快门3d显示设备。
64.一种实施例中，立体显示单元300为柱透镜式光栅3d显示器；信息收集单元100包括人眼追踪单元和手势悬浮触控单元，人眼跟踪单元为realsense(实感)深度相机，手势悬浮触控单元为leap motion(手势控制器)；信息处理单元200为pc机总控台，建立了硬件系统，算法部分由人眼追踪软件和基于unity(一种3d引擎)的插件完成。在unity中建立虚拟空间a，并在其中创建虚拟物体(方块)、虚拟人手(人手模型)、虚拟人眼(人眼模型a1，在unity中为摄像机)。虚拟人眼和人手与真实人眼人手对应且联动，使立体显示效果逼真，使用者虚拟交互的感觉跟真实。
65.利用本实施例的立体显示系统，使用者用手势操作，即可对立体显示单元300中的出屏画内容触控操作，加强了立体显示的交互效果，带来沉浸式体验。
66.一种实施例中，立体显示系统包括信息收集单元100、信息处理单元200及立体显示单元300。
67.信息收集单元100负责完成真实空间信息收集，真实空间信息包括人眼坐标与瞳距、人手坐标与姿势等，可以通过彩色相机加红外相机实现这些真实空间信息的采集，然后将这些真实空间信息发送到信息处理单元200。
68.信息处理单元200是pc机(个人电脑)或者可完成上述信息处理内容的嵌入式系统，可以实现两个功能：
69.其一，建立虚拟空间a并建模。虚拟空间a内可包含若干预设的虚拟物体。在收到真实空间信息后，信息处理单元200将在虚拟空间a内建立现实物体的模型，且坐标形态实时对应现实。模型尺寸与实际尺寸的比例，和显示画面大小相关。人手模型加入互动功能，例如与虚拟物体的碰撞或触发特效。人眼模型a1建立，其坐标以及相对距离(也即瞳距)，应当尽可能精确，以增强后续立体显示画面与现实重合的效果。
70.其二，将虚拟空间a人眼模型a1拍摄的视差画面转换为立体显示单元300可播放的格式。预先在信息处理单元200内输入立体显示单元300的参数，即可调整播放格式。在对人眼坐标及瞳距的精确捕捉以及建模的条件下，可实现人眼所看的到立体效果与真实空间b的感受一致。真实人手和人手模型在视野内重合，实现真实人手在虚拟空间a触发互动和特效。
71.立体显示单元300，采用双目视差式立体显示技术，可以是裸眼3d显示，也可以是助视式3d显示(但不包括头戴式)，其中裸眼3d显示器包括视差屏障3d显示器、柱透镜光栅3d显示器、指向光源3d显示器；助视式包括分色3d显示设备、偏振3d显示设备、快门3d显示设备。
72.信息收集单元100，可以是外接设备，也可集成在屏幕内部，要求拍摄范围至少可覆盖屏幕前观看者通常可能所处的位置，越大越好。通过相机获得彩色图和深度图，彩色图由rgb相机拍摄，深度图由红外相机拍摄。
73.本发明实施例提供一种立体显示方法，应用于立体显示系统的信息处理单元200，立体显示系统还包括信息收集单元100和立体显示单元300；如图6所示，立体显示方法至少包括步骤s1，步骤s2，步骤s3及步骤s4，具体地：
74.步骤s1，构建虚拟空间a。
75.步骤s2，接收信息收集单元100发送的使用者的人眼信息和人体信息。其中，人眼信息包括人眼坐标数据与瞳距数据，人体信息包括人手坐标数据与手势信息。
76.上述步骤具体包括，接收信息收集单元100发送的使用者的人眼坐标数据与瞳距数据、人手坐标数据与手势信息。
77.步骤s3，根据人眼信息和人体信息，在虚拟空间a中构建使用者对应的人眼模型a1和人体模型a2。即将真实空间b中的人眼和人体映射到虚拟空间a中。
78.步骤s4，将人眼模型a1在虚拟空间a中采集到的立体显示数据，及人体模型a2的人体交互数据传输至立体显示单元，以使立体显示单元300展示立体显示画面。
79.一种实施例中，步骤s4具体包括，根据立体显示单元300的参数，将立体显示数据的格式转化为与立体显示单元300匹配的格式。
80.一种实施例中，步骤s4还包括：
81.通过人体模型a2与在虚拟空间a中预设的虚拟物体模型a3进行交互，形成人体交互数据。
82.本实施例的立体显示方法应用于上述实施例提供的立体显示系统中，立体显示系统包括信息收集单元100、信息处理单元200及立体显示单元300；其中，信息收集单元100用于收集使用者的人眼信息与人体信息；信息处理单元200用于构建虚拟空间a，根据人眼信息和人体信息，在虚拟空间a中构建使用者对应的人眼模型a1和人体模型a2，并通过人眼模型a1在虚拟空间a中采集立体显示数据，及通过人体模型a2形成交互显示数据；立体显示单元300，用于根据立体显示数据和交互显示数据，展示立体显示画面。
83.本实施例的立体显示系统根据收集到的人眼信息和人体信息，将真实空间b中的人眼和人体映射到虚拟空间a中，形成人眼模型和人体模型。真实空间b中的信息与虚拟空间a中的信息是同步的，使观看者感受到虚拟空间a与真实空间b重合，可以看到逼真且具有运动视差的立体画面；并通过人体信息让人体模型a2实现使用者在虚拟空间a中的交互操作，无需外接设备或手持设备即可实现虚拟交互。
84.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。