一种信息展示系统和方法与流程

本发明涉及一种信息展示系统和方法。

背景技术：

目前，传统信息展示技术用于教学、展会、开幕式、演讲台、等需要展示信息的场合，主要是是将设计好的图形、文字、动画等元素组合起来，输出到显示设备上，通过投影或显示屏展示在观众眼前，但是信息展示方式单一、缺乏空间交互。

因此，需要提出一套可以实现空间交互功能、结合增强现实、全息显示等技术将信息更好的展现出来的系统。

技术实现要素：

有鉴于此，本发明的目的在于提供一种信息展示系统和方法，以力图解决或者至少缓解上面存在的问题。

第一方面，本发明实施例提供了一种信息展示系统，该系统包括：摄像设备、显示设备、智能设备和服务器，其中

所述摄像设备，用于获取该摄像设备所处场景的第一场景信息，将所述第一场景信息传输至所述服务器；

所述智能设备，用于显示三维虚拟展示信息，以及获取该智能设备所处场景的第二场景信息，将所述第二场景信息和所述三维虚拟展示信息传输至所述服务器；

所述服务器，用于根据接收到的所述第一场景信息和所述第二场景信息，对所述三维虚拟展示信息进行处理，得到三维场景展示信息，将所述三维场景展示信息传输至所述显示设备；

所述显示设备，用于显示所述三维场景展示信息。

可选地，在根据本发明的方法中，所述服务器还用于：

将接收的所述摄像设备传输的所述第一场景信息的坐标系标定为目标坐标系。

可选地，在根据本发明的方法中，所述服务器还用于：

在接收到所述三维虚拟展示信息后，将所述三维虚拟展示信息的坐标系转换到所述目标坐标系，得到三维目标虚拟展示信息；

对所述第一场景信息和所述三维目标虚拟展示信息进行处理，得到所述三维场景展示信息。

可选地，在根据本发明的方法中，所述服务器还用于：

根据所述第一场景信息和所述第二场景信息，利用迭代最近点算法，计算所述第二场景信息的坐标系和所述目标坐标系之间的转换信息；

根据所述转换信息，对所述三维虚拟展示信息进行转换处理，得到所述三维目标虚拟展示信息。

可选地，在根据本发明的方法中，其中，

所述智能设备还用于获取外部的操作信息，将所述操作信息传输至所述服务器；

所述服务器还用于根据所述三维场景展示信息和所述操作信息，调整所述三维场景展示信息的在所述显示设备中的显示位置。

第二方面，本发明的实施例提供了一种信息展示方法，采用如上的信息展示系统，该方法包括：

通过所述摄像设备获取该摄像设备所处场景的第一场景信息，将所述第一场景信息传输至所述服务器；

通过所述智能设备显示三维虚拟展示信息，以及获取该智能设备所处场景的第二场景信息，将所述第二场景信息和所述三维虚拟展示信息传输至所述服务器；

通过所述服务器根据接收到的所述第一场景信息和所述第二场景信息，对所述三维虚拟展示信息进行处理，得到三维场景展示信息，将所述三维场景展示信息传输至所述显示设备；

通过所述显示设备显示所述三维场景展示信息。

可选地，在根据本发明的装置中，所述通过所述服务器根据接收到的所述第一场景信息和所述第二场景信息，对所述三维虚拟展示信息进行处理，包括：

通过所述服务器将接收的所述摄像设备传输的所述第一场景信息的坐标系标定为目标坐标系。

可选地，在根据本发明的装置中，通过所述服务器根据接收到的所述第一场景信息和所述第二场景信息，对所述三维虚拟展示信息进行处理，还包括：

通过所述服务器在接收到所述三维虚拟展示信息后，将所述三维虚拟展示信息的坐标系转换到所述目标坐标系，得到三维目标虚拟展示信息；

通过所述服务器对所述第一场景信息和所述三维目标虚拟展示信息进行处理，得到所述三维场景展示信息。

可选地，在根据本发明的装置中，所述通过所述服务器在接收到所述三维虚拟展示信息后，将所述三维虚拟展示信息的坐标系转换到所述目标坐标系，得到三维目标虚拟展示信息，包括：

通过所述服务器根据所述第一场景信息和所述第二场景信息，利用迭代最近点算法，计算所述第二场景信息的坐标系和所述目标坐标系之间的转换信息；

通过所述服务器根据所述转换信息，对所述三维虚拟展示信息进行转换处理，得到所述三维目标虚拟展示信息。

可选地，在根据本发明的装置中，还包括：

通过所述智能设备获取外部的操作信息，将所述操作信息传输至所述服务器；

通过所述服务器根据所述三维场景展示信息和所述操作信息，调整所述三维场景展示信息的在所述显示设备中的显示位置。

在本发明的技术方案中，通过摄像设备和智能设备从不同角度获取同一场景中不同的场景信息，并对不同的场景信息和智能设备中预先设置的三维虚拟展示信息进行处理得到三维场景展示信息，增大了用户观看视角，提高了三维场景展示信息的准确度，提高了乐趣性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种信息展示系统的结构图；

图2示出了本发明实施例所提供的一种深度摄像头采集视野的示意图；

图3示出了本发明实施例所提供的一种智能设备中信息展示场景的示意图；

图4示出了本发明实施例所提供的一种信息展示方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了根据本发明的一个实施例的信息展示系统的结构图。如图1所示，该系统包括：摄像设备110、显示设备120、智能设备130和服务器140。

摄像设备110用于获取该摄像设备所处场景的第一场景信息，并将该第一场景信息发送到服务器140。第一场景信息一般包括第一场景的图像信息、深度信息和摄像设备中惯性测量单元(IMU)输出的数据(IMU数据)等。其中，第一场景一般指摄像设备视野中的场景，IMU数据一般包括设备的姿态角、加速度、速度等，深度信息是指通过三维重建功能得到的三维空间坐标信息，可以体现空间的轮廓。如，对于一幅图片而言只有两个维度，再得到垂直于图片方向上的深度信息，就组成了一个三维信息，大量的三维坐标点在宏观上看就是点云信息，体现了空间的轮廓。

摄像设备110包括但不限于摄像头、深度摄像头、能够获取深度信息的摄像头等，例如，HoloLens设备、Kinect摄像机等。该摄像设备具有三维重建功能和追踪功能。在一个实施例中，在某新品发布会，由于深度摄像机如Hololens、Kinect的视野有限(参考图2)，发布会会场可以设置多个深度摄像头，例如，设置在会场的各个角落，以便拍摄到会场全部画面。

智能设备130中包括显示屏、深度摄像头、光度传感器、环境感知摄像头、200万像素摄像头、存储单元等，存储单元中预先存储有三维虚拟展示信息，深度摄像头、光度传感器等用于探测、捕捉佩戴者的手势等，智能设备130中可用于显示三维虚拟展示信息如虚拟场景中的虚拟足球、球场等，并获取该智能设备所处场景的第二场景信息，并将第二场景信息和三维虚拟展示信息传输至服务器140。第二场景信息中包括第二场景的图像信息、深度信息和惯性测量单元(IMU)输出的数据(IMU数据)等，第二场景一般指智能设备视野中的场景，第一场景信息和第二场景信息一般是从不同角度获取的同一场景的信息，该IMU数据也包括设备的姿态角、加速度、速度等。智能设备130可以是但不限于可穿戴设备、智能眼镜、具有显示虚拟信息并获取场景信息的便携式设备等，例如，该智能设备可以是HoloLens眼镜，另外，该智能设备具有三维重建功能和追踪功能。

Hololens全息眼镜是融合CPU、GPU和全息处理器的特殊眼镜，通过图片影像和声音，让佩戴者在室内中就能进入增强现实世界，以周边环境为载体进行全息体验。佩戴者可以通过HoloLens以实际周围环境作为载体，在像上面添加各种虚拟信息。在室内可以查看火星表面、人体心脏模型、甚至数进入虚拟的知名景点，都可以通过HoloLens成为可能。例如，在授课者佩戴Hololens全息眼镜后，可以将授课内容，比如人体模型、水分子模型等教学内容以全息的方式呈现出来，并且佩戴者可以对教学内容进行移动、缩放、旋转等操作，为学生进行细致的教学讲解。

服务器140用于根据接收到的第一场景信息和第二场景信息，对三维虚拟展示信息进行处理，得到三维场景展示信息，将三维场景展示信息传输至显示设备120。显示设备120显示三维场景展示信息。其中，显示设备可以是但不限于投影仪、显示屏、LED屏、具有显示功能的屏幕等等。

在一种实施方式中，服务器140将接收的智能设备传输的第二场景信息的坐标系标定为目标坐标系，或者，服务器140将接收到的摄像设备110传输的第一场景信息的坐标系标定为目标坐标系，或者，服务器140可以直接以世界坐标系作为目标坐标系。其中，目标坐标系用于将服务器接收到的所有数据统一到同一个坐标系中，此处应当理解，目标坐标系的标定仅仅是示意性，所有可以将数据统一到同一坐标系的坐标系都在本发明的保护范围内。

本发明可使用以下任意一种方式得到需要展示的三维场景展示信息。

在服务器140将第一场景信息的坐标系标定为目标坐标系时，服务器140在接收到三维虚拟展示信息后，将三维虚拟展示信息的坐标系转换到目标坐标系，得到三维目标虚拟展示信息。对第一场景信息和三维目标虚拟展示信息进行处理，得到三维场景展示信息。

在服务器140将第二场景信息的坐标系标定为目标坐标系时，服务器140在接收到第一场景信息后，将第一场景信息的坐标系转换到目标坐标系，得到第一目标场景信息，接收到三维虚拟展示信息后，将三维虚拟展示信息的坐标系转换到目标坐标系，得到三维目标虚拟展示信息。对第一目标场景信息和三维目标虚拟展示信息进行处理，得到三维场景展示信息。

在服务器将获取的如第一场景信息、第二场景信息或三维虚拟展示信息的坐标系转换到目标坐标系时，采用相同的算法进行转换，以下以将第一场景信息标定为目标坐标系为例进行说明。

在一种实施方式中，服务器140根据第一场景信息和第二场景信息，利用迭代最近点算法，计算第二场景信息的坐标系和目标坐标系之间的转换信息。服务器140根据第一场景信息中的IMU数据和第二场景信息中的IMU数据得到第一场景信息的坐标系和第二场景信息的坐标系之间的旋转角度，将该旋转角度作为旋转初始值。服务器140在一个合理范围内随机选取一个平移距离作为第一场景信息的坐标系和第二场景信息的坐标系之间的平移初始值。服务器140结合旋转初始值和平移初始值利用迭代最近点算法，计算第二场景信息的坐标系和目标坐标系之间的转换信息，如果迭代结果小于预先设置的误差阈值，则得到的转换信息有效。服务器140根据得到的上述转换信息，对三维虚拟展示信息进行转换处理，得到三维目标虚拟展示信息。

在一个实施例中，摄像设备负责获取第一场景信息，第一场景信息包括第一场景的画面和深度信息。摄像设备具有智能设备、计算设备等的功能，如，具有三维重建和追踪功能，该摄像设备上可以设置高清摄像头，高清摄像头可以获取场景画面，该高清摄像头将拍摄到的高清画面传输到摄像设备。

用户提前在智能设备中放置了一个三维虚拟信息，同时，该智能设备可以获取第二场景信息，上述三维虚拟信息在第二场景信息的坐标系中具有位置和朝向数据，将三维虚拟信息和第二场景信息发送至服务器，服务器根据第一场景信息和第二场景信息计算转换信息，进一步，根据转换信息将三维虚拟信息转换到第一场景信息的坐标系下，得到此三维虚拟展示信息，即三维虚拟信息在第一场景信息的坐标系下的位置和朝向数据，服务器将上述三维虚拟展示信息输出为二维画面再将此画面和高清摄像头拍摄到的场景画面(如第一场景信息)进行合成，如，以第一场景的画面作为背景画面，将虚拟三维展示信息叠加在其上，得到最终画面即三维场景展示信息。输出到显示设备进行显示，或者输出到投影设备进行投影。

ICP算法在现有技术中已有详细的计算过程，以下进行简单叙述：

假设输入数据为第一场景点云数据集A＝{a_i}，第二场景点云数据集B＝{b_i}，A和B之间的转换关系为T，T是一个矩阵，包含旋转角度和平移距离。在迭代开始时，预先设置T一个初始值T₀。初始值中的旋转角度通过上文叙述的方式获得，平移距离值则只能在一个合理范围内随机选取，这两个值组成了初值。

步骤1：预先给定一个最大平移距离值D_max；

步骤2：判断是否达到最大迭代次数，如果达到最大迭代次数，结束迭代，否则从步骤3开始下一次迭代。随后，判断是否收敛，如果收敛，则结束，其中，判断是否收敛的标准是步骤4中f(x)是否接近最小值。

步骤3：遍历B集合中的点；

每次从B中选取一个点b_i，将b_i用T值进行一次转换得到转换点x_i＝T·b_i，接着从集合A中找到离x_i点最近的点m_i，判断x_i与m_i之间的距离是否小于预设的最大距离D_max，如果小于最大距离，则赋给这个点的权重值w_i为1，否则赋给权重值w_i为0。遍历结束时，得到了一组m_i，一组w_i。

步骤4：令f(x)＝∑_iw_i||T·b_i-m_i||^2，目标是得到使得f(x)最小的矩阵T。此处，使用梯度下降法，得到一个新的矩阵T'使得f(x)减小，再使用这个新的T'执行步骤2。

迭代结束后，如果达到最大迭代次数，说明本次迭代没有找到合适的矩阵T，如果因为收敛而结束迭代，则判断f(x)是否小于预定阈值，如果小于预定阈值，认为得到的有效的矩阵T，否则，矩阵T为无效矩阵。

多次迭代得到一个合适的矩阵T后，可以确定A与B之间的转换关系，也就确定了两个场景之间的转换信息。

不过此处应当理解，第二场景信息、三维虚拟展示信息的坐标系的转换过程与上述过程一致，不再一一进行叙述。上述ICP算法为现有技术，此处不再进行详细叙述。

在一种实施方式中，智能设备130还可以通过例如深度摄像头获取外部的操作信息如手势操作或语音信息，将操作信息传输至服务器140。服务器140根据三维场景展示信息和操作信息，调整三维场景展示信息的在显示设备中的显示位置。其中，操作信息可以智能设备佩戴者的手势操作信息或语音信息，也可以为该佩戴者利用键盘、可穿戴设备、手柄等设备进行的操作信息。例如，在智能设备为Hololens全息眼镜时，佩戴者可以通过全息眼镜中的显示屏显示全息内容如图表、图片等，当需要调整图表或图片时，佩戴者可以通过手势动作放大、移动、删除等操作对图表进行调整，或者通过声音调整图表如“请将图表放大一倍”等，显示设备中显示的相应的内容会进行相应的调整(场景可参考图3)，从而实现了用户与虚拟信息之间的交互。

应当注意，上文叙述的第一场景信息和第二场景信息为同一个场景、从不同角度获取的场景信息。摄像设备的数量可根据实际情况进行设置，本发明不做任何限制。

本发明所叙述的三维重建功能有多种实现方式，比如基于图像、基于飞行时间技术(Time of Flight，TOF)等，目的是建立空间三维点云数据，从而使如深度摄像机对周围空间具备感知能力。追踪功能是指对自身的移动和旋转的追踪，例如，用户佩戴具有三维重建和追踪功能的设备，当用户行走时，追踪技术可以准确追踪到用户的移动距离和旋转角度，进而同步调整虚拟三维信息的显示位置和角度，使得用户感觉虚拟三维信息是稳定在空间位置上的，而不会随着用户的行走发生偏移。

在本发明的技术方案中，通过摄像设备和智能设备从不同角度获取同一场景中不同的场景信息，并对不同的场景信息和智能设备中预先设置的三维虚拟展示信息进行处理得到三维场景展示信息，增大了用户观看视角，提高了三维场景展示信息的准确度，提高了乐趣性。另外，在本发明的技术方案中，智能设备可以识别用户的手势、语音等信息实现了用户与周围环境、虚拟信息的实时交互，也更加的人性化。

图4示出了根据本发明实施例提供的一种信息展示方法的流程图。如图4所示，该方法始于步骤S410。

在步骤S410中，通过摄像设备获取该摄像设备所处场景的第一场景信息，将第一场景信息传输至所述服务器。

在步骤S420中，通过智能设备显示三维虚拟展示信息，以及获取该智能设备所处场景的第二场景信息，将第二场景信息和三维虚拟展示信息传输至服务器。

在步骤S430中，通过服务器根据接收到的第一场景信息和第二场景信息，对三维虚拟展示信息进行处理，得到三维场景展示信息，将三维场景展示信息传输至显示设备。

在一种实施方式中，通过所述服务器将接收的所述摄像设备传输的所述第一场景信息的坐标系标定为目标坐标系。在通过所述服务器在接收到所述三维虚拟展示信息后，将所述三维虚拟展示信息的坐标系转换到所述目标坐标系，得到三维目标虚拟展示信息。通过所述服务器对所述第一场景信息和所述三维目标虚拟展示信息进行处理，得到所述三维场景展示信息。其中，通过所述服务器根据所述第一场景信息和所述第二场景信息，利用迭代最近点算法，计算所述第二场景信息的坐标系和所述目标坐标系之间的转换信息，通过所述服务器根据所述转换信息，对所述三维虚拟展示信息进行转换处理，得到所述三维目标虚拟展示信息。

其中，目标坐标系的标定方式已在上文进行详细描述，此处不再进行过多描述。

在步骤S440中，通过显示设备显示三维场景展示信息。

在一种实施方式中，通过所述智能设备获取外部的操作信息，将所述操作信息传输至所述服务器，通过所述服务器根据所述三维场景展示信息和所述操作信息，调整所述三维场景展示信息的在所述显示设备中的显示位置。

本发明实施例所提供的一种信息展示系统可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。