3d图像序列的处理的制作方法
【专利摘要】多种实现方式提供了防止将过度的视差、深度或差异传递给观看者的技术。在一种具体实现方式中，确定视频序列的立体图像对中的对象的深度指示符在目标范围之外。修改立体图像对的一个或多个图像，使得对象的深度指示符在目标范围内。在其他实现方式中，平滑对象与视频序列的另一部分之间的深度转变。在其他实现方式中，将立体图像对替换成包括对象的2D图像对。在其他实现方式中，产生的视频序列包括：(i)具有非零差异并且其深度指示符在针对整个图像对的目标范围内的一个或多个立体图像对；以及(ii)一个或多个2D图像对。
【专利说明】3D图像序列的处理
[0001] 相关申请的交叉引用
[0002] 本申请要求以下申请的权益：（i)2012年1月4日提交的题为"Method and Apparatus to Prevent Excessive Parallax Viewing，'的美国临时申请 No. 61/583, 105， (ii) 2012 年 1 月 5 日提交的题为"Method and Apparatus for Automatic Stereo Rendering Based on Viewing Conditions，' 的美国临时申请 No. 61/583, 462，以及 (iii) 2012年 1月 6 日提交的题为"Method and Apparatus for Proiding Assistance to Prevent Vergence Issues During the Capture of Images，' 的美国临时申请 No. 61/584, 123。这些申请中每个申请的全部内容通过引用合并于此。
【技术领域】
[0003] 描述的实现方式涉及立体视频序列。各种具体实现方式涉及调节立体视频序列的 一个或多个图像对中的视差、深度或差异。
【背景技术】
[0004] 当前的立体内容可以分为两类：预先呈现的内容，意味着将视差值构建到立体图 像中；以及实时呈现的内容，如同计算机生成的游戏和电影。对于实时呈现的内容，可以通 过呈现引擎上的限制来限制视差量。然而更困难的是提供一种针对预先呈现的内容的解决 方案，使得如果预先呈现的内容违反了舒适阈值则对观看者予以保护。
【发明内容】
[0005] 根据一个总体方面，确定视频序列的立体图像对中的对象的深度指示符在目标范 围之外。修改立体图像对的一个或多个图像，使得对象的深度指示符在目标范围内。
[0006] 根据另一总体方面，平滑对象与视频序列的另一部分之间的深度转变。
[0007] 根据另一总体方面，所述修改立体图像对的一个或多个图像包括：将立体图像对 替换成包括对象的2D图像对。
[0008] 根据另一总体方面，所述将立体图像对替换成包括对象的2D图像对产生的视频 序列包括：（i)具有非零差异并且其深度指示符在针对整个图像对的目标范围内的一个或 多个立体图像对；以及（ii) 一个或多个2D图像对。
[0009] 在附图和以下描述中阐述了一个或多个实现方式的细节。即使以一种特定的方式 来描述，也应当理解实现方式可以以多种方式来配置和体现。例如，实现方式可以以方法的 形式来执行，或者体现为装置（例如，配置为执行操作集合的装置或者存储用于执行操作 集合的指令的装置），或者体现为信号。结合附图和权利要求，通过以下详细描述，其他方面 和特征将变得清楚。
【专利附图】
【附图说明】
[0010] 图1提供了示出特定视差情形的示意图。
[0011] 图2提供了示出用于提供视频序列的系统的实现方式的框图。
[0012] 图3提供了示出提供视频序列的过程的实现方式的流程图。
[0013] 图4提供了示出用于对视频内容进行平滑的系统的实现方式的框图。
[0014] 图5提供了示出对深度转变进行平滑的过程的实现方式的流程图。
【具体实施方式】
[0015] 许多移动音频设备提供音量安全切断，以防止由于过于大声的源内容而破坏用户 的收听效果。在立体观看中，看似没有类似的设备，因此并未保护观看者免受观看过度视差 的不舒适体验。一种或多种实现方式提供了一种机制，限制观看过度视差。一种或多种实 现方式还提供了一种机制，在以过度视差拍摄的内容上调制深度、压缩深度或转变到2D，以 使所有内容回到对用户而言舒适的水平。
[0016] 在立体显现中涉及视差、差异和深度。视差是至对象的两条视线之间的角度差。在 立体显现的上下文中，视线起始于观看者的左眼和右眼中的每一个，进行到对象（或其一 部分）的对应左眼图像视图和右眼图像视图。
[0017] 差异是立体图像对的左眼图像和右眼图像中的每一个图像中对象（或其一部分） 的位置的线性差。差异可以表示为物理度量（例如，以厘米为单位）或以图像相关度量来 表示（例如，以像素为单位或者表示为图像宽度百分比）。当已知所显示的图像的尺寸时， 在这两种形式之间进行转换是可能的。
[0018] 可以根据视差来确定在立体显现中感知到的深度。然而深度与差异和视差三角相 关，而不是线性相关。如以下描述的，图1中以视距（D)示出了深度，并且深度可以在理论 上从零到无限。
[0019] 如上所述，视差、差异和深度这三种度量是相互可推导的。在广义上来说这三种度 量都可以被看作是"深度"的度量，在本申请中将这三种度量看作是"深度指示符"。除非另 外要求，否则在本申请中将这三种度量看作是可互换的。以下在下面的表1中提供了这三 种度量之间的对应关系的简要示例。
[0020]
【权利要求】
1. 一种方法，包括： 确定视频序列的立体图像对中的对象的深度指示符在目标范围之外；以及 修改所述立体图像对的一个或多个图像，使得对象的深度指示符在目标范围内。
2. 根据权利要求1所述的方法，还包括： 平滑对象与视频序列的另一部分之间的深度转变。
3. 根据权利要求1或2所述的方法，其中，所述修改立体图像对的一个或多个图像包 括：进行修改使得对象的深度指示符在〇与先前立体图像对中对应对象的深度指示符的值 之间。
4. 根据权利要求1或2所述的方法，其中，所述修改立体图像对的一个或多个图像包 括：将立体图像对替换成包括所述对象的2D图像对。
5. 根据权利要求4所述的方法，其中，所述将立体图像对替换成包括所述对象的2D图 像对产生的视频序列包括：（i)具有非零差异并且其深度指示符在针对整个图像对的目标 范围内的一个或多个立体图像对；以及（ii) 一个或多个2D图像对。
6. 根据权利要求4所述的方法，还包括： 确定深度指示符超出目标范围多于阈值；以及 基于确定超过了阈值，来确定将立体图像对替换成2D图像对。
7. 根据权利要求2所述的方法，其中，所述平滑包括：平滑对象与立体图像对中的区域 之间的深度转变。
8. 根据权利要求7所述的方法，其中，所述区域与所述对象相邻。
9. 根据权利要求2、7、8中的任一项权利要求所述的方法，其中，所述平滑包括平滑对 象与视频序列的单独图像对中的相应对象之间的深度转变。
10. 根据权利要求9所述的方法，其中，所述单独图像对在视频序列中出现在立体图像 对之前。
11. 根据权利要求9所述的方法，其中，所述单独图像对在视频序列中出现在立体图像 对之后。
12. 根据权利要求9-11中任一项权利要求所述的方法，其中，所述平滑是在立体图像 对中执行的。
13. 根据权利要求9-12中任一项权利要求所述的方法，其中，所述平滑是在单独图像 对中执行的。
14. 根据权利要求9-13中任一项权利要求所述的方法，其中，所述单独图像对包括立 体图像对。
15. 根据权利要求9-13中任一项权利要求所述的方法，其中，所述单独图像对包括2D 图像对。
16. 根据权利要求3所述的方法，其中，执行平滑，直到深度指示符的梯度在目标梯度 范围内。
17. 根据权利要求3所述的方法，其中，所述平滑包括：确定执行平滑的平滑处理区。
18. 根据权利要求17所述的方法，其中，所述平滑处理区包括立体图像对内的空间平 滑处理区，并且包括对象周围的指定像素宽度。
19. 根据权利要求18所述的方法，其中，所述空间平滑处理区是相对于立体图像对中 的图像之一而确定的。
20. 根据权利要求17-19中任一项权利要求所述的方法，其中，所述平滑处理区包括时 间平滑处理区，并且包括视频序列中的一个或多个立体图像对，所述一个或多个立体图像 对的对象的深度指示符相对于所述一个或多个立体图像对中的对应对象被平滑。
21. 根据权利要求17所述的方法，其中，所述平滑包括：贯穿平滑处理区线性地改变深 度指示符。
22. 根据权利要求1-21中任一项权利要求所述的方法，其中，确定对象的深度指示符 在目标范围之外包括：确定深度指示符在至少预定的时间量内超过阈值。
23. -种装置，配置为执行根据权利要求1-22所述的方法中的一个或多个。
24. 根据权利要求23所述的装置，包括共同配置为执行以下操作的一个或多个处理 器： 确定视频序列的立体图像对中的对象的深度指示符在目标范围之外；以及 修改立体图像对的一个或多个图像，使得对象的深度指示符在目标范围内。
25. 根据权利要求23所述的装置，包括： 用于确定视频序列的立体图像对中的对象的深度指示符在目标范围之外的装置；以及 用于修改立体图像对的一个或多个图像，使得对象的深度指示符在目标范围内的装 置。
26. 根据权利要求23所述的装置，其中，所述装置具有足够的等待时间以允许在视频 序列的回放期间对视频序列执行根据权利要求1-22所述的一个或多个方法。
27. -种处理器可读介质，其上存储有使一个或多个处理器共同执行权利要求1-22所 述的一个或多个方法。
【文档编号】H04N13/00GK104067612SQ201280066132
【公开日】2014年9月24日 申请日期:2012年12月20日 优先权日:2012年1月4日
【发明者】皮尔·休斯·鲁蒂埃, 威廉·吉本斯·雷德曼, 迪蒂尔·杜严 申请人:汤姆逊许可公司