改进的沉浸式观看体验的制作方法

本公开的方面通常涉及头部显示单元上的立体图像。相关申请的交叉引用本技术要求于2021年4月8日提交的美国专利申请17/225,610的优先权。引言虚拟现实显示器向用户提供3d图像。

背景技术：

技术实现思路

1、本文中提到的所有实施例、方面和特征可以以任何技术上可以想到的方式组合。

2、本专利教导了通过实现一系列立体成像系统用于沉浸式观看体验的方法、软件和设备。

3、本专利的优选实施方案是从智能装置获取图像。智能装置可以包括笔记本电脑、电话、平板电脑、hdu、电视机或监视器。智能装置配有左摄像头和右摄像头。所述左摄像头和所述右摄像头相隔立体距离。优选实施方案具有等于普通成人的立体距离间隔。所述左摄像头在第一时间点获取区域的左视透视图像。所述右摄像头也在所述第一时间点获取所述区域的右视透视图像。所述左视透视图像和所述右视透视图像包括立体图像。接着，将所述立体图像经由无线连接从所述智能装置发送到头部显示单元(head display unit,hdu)。通常，这将通过蓝牙或互联网来完成。接着，将立体图像显示到头部显示单元(hdu)上，该头部显示单元可以包括虚拟现实显示器、增强现实显示器或混合现实显示器。hdu具有左眼显示器和右眼显示器。左眼显示器匹配在用户的左眼上。右眼显示器匹配在用户的右眼上。hdu由第一用户佩戴。hdu在接近实时的第二时间点(例如，在所述第一时间点的5秒内)向所述第一用户显示所述立体图像。左视透视图像显示在所述左眼显示器上，右视透视图像显示在所述右眼显示器上。

4、一些实施方式包括近实时立体图像的双向通信和显示。(注：随着这种发展，假设带宽随着5g通信的出现而增加。如果由于某种原因，5g不可用，那么摄像头分辨率可以调节到本地可用的带宽。)用户1将被立体摄像头实时观看，并且这些立体图像将通过互联网(或其他传输手段)传输给用户2，用户2将接收图像并在立体显示单元(例如，虚拟现实、混合现实头戴设备)上接近实时地显示这些图像。同时，用户2将被立体摄像头实时观看，并且这些立体图像将通过互联网(或其他传输手段)传输给用户1，用户1将接收图像并在立体显示单元(例如，虚拟现实、混合现实头戴设备)上接近实时地显示这些图像。

5、在一些实施方式中，多个用户将被立体摄像头同时实时观看，并且这些立体图像将通过互联网(或其他传输手段)传输给其他用户，其他用户将接收图像并在他们各自的立体显示单元(例如，虚拟现实、混合现实头戴设备)上接近实时地显示这些图像。

6、在一些实施方式中，用户可以选择将立体摄像头指向感兴趣的风景场景或对象，而不是被他们的立体摄像头观看。

7、在一些实施方式中，不会同时发送和显示，而是更像当前的电子邮件系统，其中，用户1写入电子邮件并发送它，并且在一段时间之后，用户2将检索电子邮件并随后回复它。在这种情况下，用户1将记录一系列立体图像；将这些立体图像发送给用户2，用户2在随后的某个时间检索立体图像并在立体显示单元上显示该立体图像。此时，用户2可以通过创建并发送他的/她的立体图像集来响应。在这些实施过程中，预计用户将提供音频以伴随立体图像。

8、一些实施方式包括近实时立体图像的单向通信和由独立用户显示。用户1将被立体摄像头实时观看，并且这些立体图像将通过互联网(或其他传输手段)传输给用户2，用户2将接收图像并在立体显示单元(例如，虚拟现实、混合现实头戴设备)上接近实时地显示这些图像。在该实施方式下，用户2将不配备立体摄像头，而用户1可以或可以不配备立体显示单元，但是在任一情况下，用户1将不接收用户2的立体图像。在该实施方式下，对仅接收的用户的数量没有限制。例如，教授可以采用立体摄像头进行讲座，课堂上的人员将接收立体图像。在其他实施方式中，用户1将记录一系列立体图像；将这些立体图像发送给用户2，用户2在随后的某个时间检索立体图像并在立体显示单元上显示该立体图像。在这些实施过程中，预计用户将提供音频以伴随立体图像。

9、一些实施方式包括以接近实时的方式实时记录并显示/回放立体图像。用户可以使用具有立体摄像头(在说明书的后面部分描述)和连接到立体摄像头的记录介质的混合现实头部显示单元。用户可以：选择将立体摄像头指向感兴趣的风景场景或对象；使用立体摄像头拍摄这些感兴趣的区域/对象；将立体图像记录并存储在记录介质中；并且可以选择显示正在混合现实头部显示单元上记录的内容。在拍摄阶段之后，用户可以选择将记录的立体图像转发给配备有立体显示单元的其他人。

10、一些实施方式包括实时记录由激光测距仪(laser range finder,lrf)(也称为激光雷达(lidar))获得的立体图像和相关距离。在一些实施方式中，用户可以：使用具有立体摄像头和激光测距仪的混合现实头部显示单元(在说明书的后面部分描述)；以及连接到头部显示单元的记录介质，以接收、记录并存储来自立体摄像头和激光测距仪的数据。在一些实施方式中，用户可以精确地绘制区域(例如，房间、房屋或建筑物)的地图，在此期间，快速激光扫描与立体摄像头和激光测距仪的转动相结合(例如，立体摄像头可以安装在头部显示单元三脚架和/或万向架等上)。用户还可以选择指向立体摄像头和激光测距仪以确定对象的距离。在一些实施方式中，可以在虚拟空间中重建正在被立体拍摄和测量的区域。

11、这个系统有若干个关键组件。可以结合双组摄像头。这些摄像头可以以类似于目前的单个摄像头的方式附加到笔记本电脑。双摄像头将相隔一个眼间距离，使得观看由这些摄像头收集的立体图像的人将为接收者提供3d效果。在一些实施方式中，可以提供可变的/可调节的眼间距离：对于儿童来说，间距很小；对于中等身材的人来说，间距适中；对于大个子来说，比正常间距要宽。可以提供定制的眼间距离。在一些实施方式中，摄像头将被设置在笔记本电脑的内部，俯瞰键盘并聚焦在用户的面部。在其他实施方式中，摄像头可以设置在笔记本电脑的外部，使得接收者可以观看用户的位置的周围环境/风景。可替代地，两组摄像头可以附加到笔记本电脑——一组在里面，一组在外面。可以通过键盘输入、下拉菜单和相关的光标输入以及音频输入等来控制摄像头。

12、在一些实施方式中，两个立体摄像头可以附加到智能手机。可以用与笔记本电脑相同的方式来处理眼间距离。摄像头可以位于前侧(即，具有交互图标的一侧)或后侧(即，与前侧相对的一侧)或两侧。

13、在一些实施方式中，两个立体摄像头可以附加到头部显示单元(hdu)。可以用与笔记本电脑相同的方式来处理眼间距离。在该实施方式中，hdu可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者通过hdu显示器观看；或者通过这些交互的组合观看。注意，hdu可以在混合现实模式下运行。

14、在一些实施方式中，两个立体摄像头可以附加到智能眼镜(例如，太阳镜)。可以用与笔记本电脑相同的方式来处理眼间距离。在该实施方式中，智能太阳镜可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者通过智能太阳镜显示器观看；或者通过这些交互的组合观看。注意，智能太阳镜可以在混合现实模式下运行。

15、在一些实施方式中，两个立体摄像头可以附加到智能平板电脑。可以用与笔记本电脑相同的方式来处理眼间距离。在该实施方式中，智能平板电脑可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者通过hdu观看；或者通过这些交互的组合观看。

16、在一些实施方式中，可以利用商业3d摄像头的两个立体摄像头。将根据商业3d摄像头的规格来处理眼间距离。在该实施方式中，商业3d摄像头可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者通过hdu观看；或者通过这些交互的组合观看。

17、在一些实施方式中，两个微型摄像头集群将安装在上述摄像头配置中的每一个中。将为每个摄像头指定不同的视角，从而以非常高的分辨率提供非常宽的同步视野。可以用与笔记本电脑相同的方式来处理眼间距离。在该实施方式中，微型摄像头集群可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者通过hdu观看；或者通过这些交互的组合观看。注意，在该实施方式中，非常宽的视野将名义上超过显示单元的视野，并且重要的是，用户(或观看者)可以选择视野的子集以在任何特定时间观看，并且根据他们的兴趣导向改变视野的选择。

18、在一些实施方式中，将指定微型摄像头对的单个球。将为每个摄像头对指定不同的视角，从而以非常高的分辨率提供非常宽的同步视野。基于球上的位置，不同的摄像头对将有助于非常宽的同步视野。球的表面可以是球形的和光滑的或刻面的，以为每个摄像头对提供平坦的表面。可以作为摄像头对的构件的标准分离或用于特殊目的的自定义分离来处理眼间距离。注意，具有适当间距的相邻摄像头可以在任何时间点有助于在不同时间点的立体图像对。在该实施方式中，微型摄像头对可以：通过无线或连接电缆连接到记录装置；如上所述连接到互联网进行交互式通信；或者连接到hdu。注意，在该实施方式中，非常宽的视野将名义上超过显示单元的视野，并且重要的是，用户(或观看者)可以选择视野的子集以在任何特定时间观看，并且根据他们的兴趣导向改变视野的选择。

19、在一些实施方式中，新的功能将被结合到hdu中，以与微型摄像头集群或单个球或微型摄像头对一起操作。hdu需要结合倾斜仪来实时监控头部位置的方向和倾斜度。hdu需要提供眼部跟踪能力。初始化过程将使hdu的初始视角和倾斜度与立体图像的视野的中心同步。然后，用户可以使用控制单元选择要在hdu上显示的子视野。(注：这可以通过多种选项来完成，包括但不限于：下拉菜单上可用的编号区域；圈出感兴趣的区域；语音命令等)然后，在显示该子区域并且结合眼部跟踪器之后，将眼部中心凹区域聚焦在感兴趣区域的特定区域上，所述感兴趣区域是由两个摄像头集群内的特定摄像头或球内的摄像头捕获的。注意，眼部跟踪器可以将每只眼部投射的视线映射到显示器上的点或网格，这又可以与特定的摄像头相关联。

20、在一些实施方式中，将应用图像处理来为用户提供虚拟背景，该虚拟背景可以附加到用户的显示器，该虚拟背景将是3d的。背景可以是二维的，但优选为3d的。可以从各种3d场景库中选择背景，如海滩场景、山地场景或办公室场景。在一些实施方案中，3d场景库可以是动态的，如瀑布或海洋中的波浪。

21、在一些实施方式中，将应用图像处理来向用户的身体提供图像增强(例如，去除丘疹、改善的发把(hair bulk)或发式)。

22、在一些实施方式中，将应用图像处理来为用户提供人工附属物，该附属物可以附加到用户的显示器，该附属物将是3d的。一个实施例是在商务会议中附加给用户的西装和领带，它会遮挡t恤。附属物将被注册到用户的特征，如面部和身体结构。

23、一些实施方案包括在所述智能装置附近使用麦克风。可以在智能装置上录制声音。声音可以在所述hdu附近的扬声器上播放，其中，所述播放所述声音与所述立体图像同步发生。

24、一些实施方案包括将智能装置移动得更远离所述区域内的对象。这将使对象看起来移动得远离观看hdu上的立体图像的用户。

25、一些实施方案包括将智能装置移动得更靠近所述区域内的对象。这将使对象看起来移动得更靠近观看hdu上的立体图像的用户。

26、一些对象包括在左摄像头和右摄像头上传感器随着时间推移的倾斜。具体地，在初始时间点，对应于所述左摄像头的传感器所面对的方向与对应于所述右摄像头的传感器所面对的方向是平行的。随后，对应于所述左摄像头的所述传感器所面对的方向与对应于所述右摄像头的所述传感器所面对的方向会聚。

27、一些实施方案包括一系列获取。例如，立体图像可以允许用户观看自己的立体图像。

28、一些实施方案包括使用立体摄像头集群和立体激光雷达获取。一些实施方案包括集成用于头部跟踪和眼部跟踪系统的惯性测量单元(inertial measurement unit,imu)，以引导显示在所述hdu上的立体图像的视野。

29、一些实施方案包括将立体成像装置放置在凸面(有或没有网格)或一组机械臂上。

30、本专利中的一些技术是通过利用以下描述的技术来实现的：美国专利申请#15/878,463，用于医学成像的交互式3d光标；美国专利申请#16/010,925，将手术装置或解剖特征的3d数字表示交互式放置到用于术前计划的3d放射性图像中；美国专利申请#15/904,092，处理3d医学影像以增强可视化；美国专利申请#15/949,202，配备有智能手术装置的智能手术室；美国专利#9,473,766，用于三维观看图像的方法和设备；美国专利#9,615,806，用于创建和显示来自双平面荧光图像获取的伪影校正的三维(3d)体积数据的方法和设备；美国专利#14/644,489，用于创建和显示来自双平面荧光图像获取的伪影校正的三维(3d)体积数据的方法和设备；美国专利#9,980,691，用于三维观看图像的方法和设备；美国专利#9,349,183，用于三维观看图像的方法和设备；美国专利申请#16/195,251，用于虚拟运动、可变形组织和虚拟放射性解剖的体积医学成像中的交互式体素操作：美国专利申请#16/509,592，辅助外科手术的可植入标记物；美国专利申请#16/524,275，使用地理注册工具操纵三维医学影像；pct/us19/478，放射科医生的虚拟工具包；美国专利申请#16/563,985，用于虚拟工具与地理注册工具的交互的方法和设备；美国专利申请#16/594,139，用于在不同配置下对结构进行3d成像检查并分析形态变化的方法和设备；美国专利申请#16/683,256，用于在不同配置下对结构进行3d成像检查并分析形态变化的方法和设备；美国专利申请#16/703,629，具有体积对向3d光标的放射科医生辅助的机器学习；pct/us19/239，具有交互式、体积对向3d光标的放射科医生辅助的机器学习；美国临时申请#62/843,612，一种创建计算机生成的患者特定图像的方法；美国临时申请#62/846,770，一种用于改善3d体积内优先项目的可视化的优先化体绘制的方法；美国临时申请#62/850,002，一种在医务人员分析和报告期间创建人工智能生成的鉴别诊断和管理建议工具箱的方法；美国专利申请#16/654,047，一种通过实施人工智能来实时修改成像协议的方法；美国临时申请#62/856/185，一种基于眼部跟踪的图像处理方法；美国专利申请#16/506,073，一种通过指针显示血流方向的方法；美国专利申请#62/906,125，一种用于移动流体的立体渲染的方法和装置；以及，美国专利申请#62/939,685，用于开发器官特定坐标系的方法和设备。