通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立...的制作方法

专利名称：通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立 ...的制作方法
技术领域：
与本发明一致的方法和设备涉及对立体图像编码和解码。
背景技术：
当前，正在积极地对三维(3D)图像显示方法进行研究以更逼真地且更自然地显 示图像数据。在多种3D图像显示方法中，由于各种原因，这样的3D图像显示方法被认为是 具有潜力的，在所述3D图像显示方法中，左视图像和右视图像分开显示在传统显示器装置 的相应位置，从而不同的图像被形成以分别对应于观看者的左眼和右眼，从而利用人类视 觉的特性来提供3D效果。作为可采用3D图像显示方法的装置的例子的具有栅栏液晶显示 器(LCD)的便携式终端在再现立体内容的同时，可向用户提供更逼真的图像。

发明内容
本发明提供一种用于对立体图像编码和解码的方法和设备。根据本发明的一方面，提供一种立体图像数据流产生方法，该方法包括对立体图 像的图像数据编码；基于捕获了立体图像的一个或多个相机的每一个的各个特性确定相机 参数；将图像数据和相机参数插入数据流中。本申请要求于2008年5月27日提交到美国专利商标局的第61/056，174号美国 临时申请的权益以及于2008年7月23日提交到韩国知识产权局的第10-2008-0071897号 韩国专利申请的权益，该申请全部公开于此以资参考。有益效果根据本发明的实施例，照相机参数可以单个参数，并且可以包括下述参数中的至 少一个焦距参数、角度宽高比参数、主点参数、旋转角参数和平移参数。焦距参数、角度宽 高比参数和主点参数的每一个是用于单个相机的参数并且被定义为相机内参数，而旋转角 参数和平移参数是关于多个相机之间的相互关系的参数并且被定义为相机外参数。相机参 数可被应用到各种处理，例如核线约束处理和调整处理，从而提高3D图像的质量。


通过下面结合附图对示例性实施例进行的详细描述，本发明的上述和其他示例性 方面将会变得更加清楚，其中图1是根据本发明的示例性实施例的立体图像数据流产生设备的框图；图2是根据本发明的示例性实施例的立体图像恢复设备的框图；图3是显示世界坐标系统和相机坐标系统之间的相互关系的示图；图4是显示相机坐标系统上的坐标和图像上的相应坐标之间的相互关系的示图；图5是显示拍摄的图像上的坐标和再现图像上的坐标之间的相互关系的示图；图6是显示立体相机的平移信息和旋转角信息的表；5
图7是显示主视点相机坐标系统和次视点相机坐标系统；图8是示出基于国际标准化组织(ISO)的媒体文件格式的结构的示图；图9是示出基于ISO的媒体文件格式的各种框的列表的示图；图10是示出根据本发明的示例性实施例的实现关于立体图像的各种参数的语法 的示图；图11是示出根据本发明的示例性实施例的实现关于立体图像的相机焦距参数的 语法的示图；图12是示出根据本发明的另一示例性实施例的实现关于立体图像的相机焦距参 数的语法的示图；图13是示出根据本发明的另一示例性实施例的实现关于立体图像的相机焦距参 数的语法的示图；图14是示出根据本发明的另一示例性实施例的实现关于立体图像的相机焦距参 数的语法的示图；图15是示出根据本发明的另一示例性实施例的实现关于立体图像的相机焦距参 数的语法的示图；图16是示出根据本发明的示例性实施例的实现关于立体图像的相机主点参数的 语法的示图；图17是示出根据本发明的另一示例性实施例的实现关于立体图像的相机主点参 数的语法的示图；图18是示出根据本发明的示例性实施例的实现关于立体图像的相机旋转角参数 的语法的示图；图19是示出根据本发明的示例性实施例的使用立体图像数据流产生方法的立体 图像文件产生系统的框图；图20是示出根据本发明的示例性实施例的使用立体图像恢复方法的立体图像恢 复/再现系统的框图；图21是示出根据本发明的示例性实施例的立体图像数据流产生方法的流程图；图22是示出根据本发明的示例性实施例的立体图像恢复方法的流程图。最佳实施方式根据本发明的一方面，提供一种立体图像数据流产生方法，该方法包括对立体图 像的图像数据编码；基于捕获了立体图像的一个或多个相机的每一个的各个特性确定相机 参数；将图像数据和相机参数插入数据流中。确定相机参数的步骤可包括确定主焦距参数和次焦距参数，其中，主焦距参数表 示一个或多个相机的主视点相机的主焦距，次焦距参数表示一个或多个相机的次视点相机 的次焦距。确定相机参数的步骤可还包括确定焦距差别参数，其中，焦距差别参数指示一个 或多个相机的主视点相机的主焦距是否与一个或多个相机的次视点相机的次焦距不同。如果焦距差别参数指示主焦距与次焦距一致，则确定相机参数的步骤可还包括 确定主焦距参数和次焦距参数中的一个，其中，主焦距参数表述主焦距，次焦距参数表示次 焦距。
如果焦距差别参数指示主焦距与次焦距不同，则确定相机参数的步骤可还包括 确定主焦距参数和次焦距参数，其中，主焦距参数表述主焦距，次焦距参数表示次焦距。确定相机参数的步骤可还包括确定水平焦距参数和垂直焦距参数，其中，水平焦 距参数表示相机的焦距的水平分量，垂直焦距参数表示相机的焦距的垂直分量。确定相机参数的步骤可还包括确定焦距宽高比参数，其中，焦距宽高比参数表示 相机的焦距的水平分量和垂直分量之间的宽高比；确定水平焦距参数和垂直焦距参数中的 一个，其中，水平焦距参数表示焦距的水平分量，垂直焦距参数表示焦距的垂直分量。确定相机参数的步骤可还包括确定焦距宽高比使用参数，其中，焦距宽高比使用 参数指示是否基于焦距的水平分量和垂直分量之间的宽高比来设置关于相机的焦距的信 肩、ο如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比被使用， 则确定相机参数的步骤可还包括确定焦距宽高比参数，其中，焦距宽高比参数表示焦距的 水平分量和垂直分量之间的宽高比。如果焦距宽高比使用参数指示焦距宽高比使用参数指示焦距的水平分量和垂直 分量之间的宽高比没有被使用，则确定相机参数的步骤可还包括确定焦距的水平分量和 垂直分量之间的宽高比具有值‘1’。确定相机参数的步骤可还包括确定基本主点参数和次主点参数，其中，基本主点 参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点。确定相机参数的步骤可还包括对于χ分量和y分量确定基本主点参数和次主点 参数中的一个。确定相机参数的步骤可还包括确定主点信息设置参数，其中，主点信息设置参数 指示关于立体图像的主视点图像的主点和次视点图像的主点的每一个的信息是否被设置。如果主点信息设置参数指示关于主点的信息被设置，则确定相机参数的步骤可还 包括确定基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的 主点，次主点参数表示立体图像的次视点图像的主点，并且可对于χ分量和y分量确定基本 主点参数和次主点参数的每一个。如果主点信息设置参数指示关于主点的信息没有被设置，则确定相机参数的步骤 可还包括确定由一个或多个相机的预定视点相机拍摄的区域的中心点匹配立体图像的预 定视点图像的主点。确定相机参数的步骤可包括在相机的旋转角中确定χ轴旋转角参数、y轴旋转角 参数和ζ轴旋转角参数，其中，χ轴旋转角参数表示关于χ轴的旋转角，y轴旋转角参数表示 关于ι轴的旋转角，ζ轴旋转角参数表示关于ζ轴的旋转角。确定相机参数的步骤可还包括确定旋转角参数，其中，关于χ轴的旋转角、关于y 轴的旋转角和关于ζ轴的旋转角被表示为3X3矩阵和九位阵列之一。如果数据流是基于国际标准化组织(ISO)的媒体文件格式，则基于ISO的媒体文 件格式包括moov框、mdat框和第一 meta框，并且插入步骤可包括将相机参数插入下述框 中的至少一个中第一 meta框的子级框、moov框的第一子级框、作为moov框的第二子级框 的trak框的第一子级框以及作为trak框的第二子级框的第二 meta框的子级框。根据本发明的另一方面，提供一种立体图像恢复方法，包括将接收的数据流解析为立体图像的图像数据和关于立体图像的信息；提取表示捕获了立体图像的一个或多个相 机的每一个的各个特性的相机参数；解码并恢复立体图像的图像数据。解码和恢复的步骤可包括使用相机参数来再现立体图像的图像数据。提取相机参数的步骤可包括提取主焦距参数和次焦距参数，其中，主焦距参数表 示一个或多个相机的主视点相机的焦距，次焦距参数表示一个或多个相机的次视点相机的 焦距。提取相机参数的步骤还可包括提取焦距差别参数，其中，焦距差别参数指示一个 或多个相机的主视点相机的主焦距是否与一个或多个相机的次视点相机的次焦距不同。如果焦距差别参数指示主焦距与次焦距一致，则提取相机参数的步骤还可包括 提取主焦距参数和次焦距参数中的一个，其中，主焦距参数表示主焦距，次焦距参数表示次 焦距。如果焦距差别参数指示主焦距与次焦距不同，则提取相机参数的步骤还可包括 提取主焦距参数和次焦距参数，其中，主焦距参数表示主焦距，次焦距参数表示次焦距。提取相机参数的步骤可包括提取水平焦距参数和垂直焦距参数，其中，水平焦距 参数表示相机的焦距的水平分量，垂直焦距参数表示相机的焦距的垂直分量。提取相机参数的步骤还可包括提取焦距宽高比参数，其中，焦距宽高比参数表示 相机的焦距的水平分量和垂直分量之间的宽高比；提取水平焦距参数和垂直焦距参数中的 一个，其中，水平焦距参数表示焦距的水平分量，垂直焦距参数表示焦距的垂直分量。提取相机参数的步骤还可包括提取焦距宽高比使用参数，其中，焦距宽高比使用 参数指示是否通过使用焦距的水平分量和垂直分量之间的宽高比来设置关于相机的焦距 的信息。如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比被使用， 则提取相机参数的步骤可还包括提取焦距宽高比参数，其中，焦距宽高比参数表示焦距的 水平分量和垂直分量之间的宽高比。如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比没有被 使用，则提取相机参数的步骤可还包括确定焦距的水平分量和垂直分量之间的宽高比具 有值‘1’。提取相机参数的步骤可还包括提取基本主点参数和次主点参数，其中，基本主点 参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像的主点。提取相机参数的步骤可包括对于χ分量和y分量提取基本主点参数和次主点参 数的每一个。提取相机参数的步骤可包括提取主点信息设置参数，其中，主点信息设置参数指 示关于立体图像的主视点图像的主点和次视点图像的主点的每一个的信息是否被设置的 fn息ο如果主点信息设置参数指示关于主点的信息被设置，则提取相机参数的步骤可还 包括提取基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的 主点，次主点参数表示立体图像的次视点图像的主点，并且对于χ分量和y分量提取基本主 点参数和次主点参数的每一个。如果主点信息设置参数指示关于主点的信息没有被设置，则提取相机参数的步骤8可还包括确定由一个或多个相机的预定视点相机拍摄的区域的中心点匹配立体图像的预 定视点图像的主点。提取相机参数的步骤可包括在相机的旋转角中提取χ轴旋转角参数、y轴旋转角 参数和ζ轴旋转角参数，其中，χ轴旋转角参数表示关于χ轴的旋转角，y轴旋转角参数表示 关于y轴的旋转角，ζ轴旋转角参数表示关于ζ轴的旋转角。提取相机参数的步骤可包括提取旋转角参数，其中，基于χ轴的旋转角、基于y轴 的旋转角和基于ζ轴的旋转角被表示为3X3矩阵和九位阵列之如果数据流是基于国际标准化组织(ISO)的媒体文件格式，则基于ISO的媒体文 件格式包括moov框、mdat框和第一 meta框，并且解析步骤可包括从下述框中的至少一个 中提取相机参数第一 meta框的子级框、moov框的第一子级框、作为moov框的第二子级框 的trak框的第一子级框以及作为trak框的第二子级框的第二 meta框的子级框；从mdat 框中提取立体图像的图像数据。根据本发明的另一方面，提供一种记载有用于执行立体图像恢复方法的计算机程 序的计算机可读记录介质，该方法包括将接收的图像流解析为立体图像的图像数据和关 于立体图像的信息；提取表示捕获了立体图像的一个或多个相机的每一个的各个特性的相 机参数；解码并恢复立体图像的图像数据。根据本发明的另一方面，提供一种在其上记载有用于执行立体图像数据流产生方 法的计算机程序的计算机可读记录介质，该方法包括对立体图像的图像数据编码；基于 捕获了立体图像的一个或多个相机的每一个的各个特性来确定相机参数；将图像数据和相 机参数插入到数据流中。根据本发明的另一方面，提供一种立体图像数据流产生设备，包括图像数据编码 单元，对立体图像的图像数据编码；相机参数确定单元，基于捕获了立体图像的一个或多个 相机的每一相机的各个特性确定相机参数；和数据流插入单元，将图像数据和相机参数插 入到数据流中。相机参数确定单元可包括确定一个或多个相机的预定视点相机的焦距的焦距参 数确定单元，并且焦距参数确定单元可分离地确定主焦距参数和次焦距参数，其中，主焦距 参数表示一个或多个相机的主视点相机的焦距，次焦距参数表示一个或多个相机的次视点 相机的焦距。相机参数确定单元可还包括确定焦距差别参数的焦距差别参数确定单元，其中， 焦距参数差别指示一个或多个相机的主视点相机的焦距是否与表示一个或多个相机的次 视点相机的焦距的次焦距参数不同。如果焦距差别参数指示主焦距与次焦距一致，则焦距参数确定单元可确定表示主 焦距的主焦距参数和表示次焦距的次焦距参数中的一个。如果焦距差别参数指示主焦距与次焦距不同，则焦距参数确定单元可确定表示主 焦距的主焦距参数和表示次焦距的次焦距参数。相机参数确定单元可包括确定一个或多个相机的预定视点相机的焦距的焦距参 数确定单元，并且焦距参数确定单元可确定表示相机的主焦距的主焦距参数和表示相机的 次焦距的次焦距参数。相机参数确定单元可包括焦距参数确定单元，确定一个或多个相机的预定视点相机的焦距；和焦距宽高比参数确定单元，确定表示相机的水平分量和垂直分量之间的宽 高比的焦距宽高比参数，并且焦距参数确定单元可确定表示焦距的水平分量的水平焦距参 数和表示焦距的垂直分量的垂直焦距参数中的一个。相机参数确定单元可还包括焦距宽高比使用参数确定单元，确定焦距宽高比使 用参数，其中，焦距宽高比使用参数指示是否通过使用焦距的水平分量和垂直分量之间的 宽高比来设置相机的焦距。如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比被使用， 则焦距宽高比参数确定单元可确定表示焦距的水平分量和垂直分量之间的宽高比的焦距 宽高比参数。如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比没有被 使用，则焦距宽高比参数确定单元可确定焦距的水平分量和垂直分量之间的宽高比具有值 ‘1，。相机参数确定单元还可包括主点参数确定单元，确定关于立体图像的预定视点 图像的主点的信息，并且主点参数确定单元可分离地确定基本主点参数和次主点参数，其 中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点 图像的主点。主点参数确定单元可关于χ分量和y分量确定基本主点参数和次主点参数中的每一个。相机参数确定单元可包括主点信息设置参数确定单元，确定主点信息设置参数， 其中，主点信息设置参数指示关于立体图像的主视点图像的主点和次视点图像的主点的每 一个的信息是否被设置。相机参数确定单元可包括主点参数确定单元，基于主点信息设置参数来确定关 于立体图像的预定视点图像的主点的信息，并且如果主点信息设置参数指示关于主点的信 息被设置，则主点参数确定单元可分离地确定表示立体图像的主视点图像的主点的基本主 点参数以及表示立体图像的次视点图像的主点的次主点参数，并且可以关于χ分量和y分 量确定基本主点参数和次主点参数。相机参数确定单元可包括主点参数确定单元，基于主点信息设置参数来确定关 于立体图像的预定视点图像的主点的信息，并且如果主点信息设置参数指示关于主点的信 息没有被设置，则主点参数确定单元可由一个或多个相机的预定视点相机拍摄的区域的中 心点匹配立体图像的预定视点的主点。相机参数确定单元可包括旋转角参数确定单元，确定关于相机的旋转角的信息， 并且旋转角参数确定单元可在相机的旋转角中确定χ轴旋转角参数、y轴旋转角参数和ζ轴 旋转角参数，其中，χ轴旋转角参数表示关于χ轴的旋转角，y轴旋转角参数表示关于y轴的 旋转角，ζ轴旋转角参数表示关于ζ轴的旋转角。旋转角参数确定单元可确定旋转角参数，其中，关于χ轴的旋转角、关于y轴的旋 转角和关于ζ轴的旋转角被表示为3X3矩阵和九位阵列之一。如果数据流是基于国际标准化组织(ISO)的媒体文件格式，则基于ISO的媒体文 件格式可包括moov框、mdat框和第一 meta框，并且数据流插入单元可将相机参数插入下 述框中的至少一个中第一 meta框的子级框、moov框的第一子级框、作为moov框的第二子级框的trak框的第一子级框以及作为trak框的第二子级框的第二 meta框的子级框。根据本发明的另一方面，提供一种立体图像恢复设备，包括解析单元，从接收的 图像流解析立体图像的图像数据和关于立体图像的信息；相机参数提取单元，提取表示捕 获了立体图像的一个或多个相机的每一相机的各个特性的相机参数；图像数据解码单元， 解码并恢复立体图像的图像数据。立体图像恢复设备可还包括再现单元，通过使用相机参数来再现立体图像的图 像数据。立体图像恢复设备可包括焦距参数提取单元，提取关于一个或多个相机的预定 视点相机的焦距的信息，并且焦距参数提取单元可分离地提取主焦距参数和次焦距参数， 其中，主焦距参数表示一个或多个相机的主视点相机的焦距，次焦距参数表示一个或多个 相机的次视点相机的焦距。相机参数提取单元可还包括焦距差别参数提取单元，提取焦距差别参数，其中， 焦距差别参数指示一个或多个相机的主视点相机的主焦距是否与一个或多个相机的次视 点相机的次焦距不同。相机参数提取单元可包括焦距参数提取单元，提取关于一个或多个相机的预定 视点相机的焦距的信息，并且如果焦距差别参数指示主焦距与次焦距一致，则焦距参数提 取单元可提取主焦距参数和次焦距参数中的一个，其中，主焦距参数表示主焦距，次焦距参 数表示次焦距。相机参数提取单元可包括焦距参数提取单元，提取关于一个或多个相机的预定 视点相机的焦距的信息，并且如果焦距差别参数指示主焦距与次焦距不同，则焦距参数提 取单元可提取主焦距参数和次焦距参数，其中，主焦距参数表示主焦距，次焦距参数表示次 焦距。相机参数提取单元可包括焦距参数提取单元，提取关于一个或多个相机的预定 视点相机的焦距的信息，焦距参数提取单元可提取水平焦距参数和垂直焦距参数，其中，水 平焦距参数表示相机的焦距的水平分量，垂直焦距参数表示相机的焦距的垂直分量。相机参数提取单元可包括焦距参数提取单元，提取关于一个或多个相机的预定 视点相机的焦距的信息；焦距宽高比参数提取单元，提取焦距宽高比参数，其中，焦距宽高 比参数表示相机的焦距的水平分量和垂直分量之间的宽高比；并且焦距参数提取单元可提 取水平焦距参数和垂直焦距参数中的一个，其中，水平焦距参数表示焦距的水平分量，垂直 焦距参数表示焦距的垂直分量。相机参数提取单元可还包括焦距宽高比使用参数提取单元，提取焦距宽高比使 用参数，其中，焦距宽高比使用参数指示是否通过使用焦距的水平分量和垂直分量之间的 宽高比来设置关于相机的焦距的信息。如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比被使用， 则焦距宽高比参数提取单元可提取焦距宽高比参数，其中，焦距宽高比参数表示焦距的水 平分量和处置分量之间的宽高比。如果焦距宽高比使用参数指示焦距的水平分量和垂直分量之间的宽高比没有被 使用，则焦距宽高比参数提取单元可确定焦距的水平分量和垂直分量之间的宽高比具有值 ‘1，。11
相机参数提取单元可包括主点参数提取单元，提取关于立体图像的预定视点图 像的主点的信息，并且主点参数提取单元可分离地提取基本主点参数和次主点参数，其中， 基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点图像 的主点。主点参数提取单元可对于χ分量和y分量提取基本主点参数和次主点参数的每一 个。相机参数提取单元可包括主点信息设置参数提取单元，提取主点信息设置参数， 其中，主点信息设置参数指示关于立体图像的主视点图像的主点和次视点图像的主点的每 一个的信息是否被设置的信息。相机参数提取单元可包括主点参数提取单元，提取关于立体图像的预定视点图 像的主点的信息，并且如果主点信息设置参数指示关于主点的信息被设置，则主点参数提 取单元可分离地提取基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主 视点图像的主点，次主点参数表示立体图像的次视点图像的主点，并且对于X分量和y分量 提取基本主点参数和次主点参数的每一个。相机参数提取单元可包括主点参数提取单元，提取关于立体图像的预定视点图 像的主点的信息，并且如果主点信息设置参数指示关于主点的信息没有被设置，则主点参 数提取单元可确定由一个或多个相机的预定视点相机拍摄的区域的中心点匹配立体图像 的预定视点图像的主点。相机参数提取单元可包括旋转角参数提取单元，提取关于相机的旋转角的信息， 旋转角参数提取单元可在相机的旋转角中提取X轴旋转角参数、y轴旋转角参数和Z轴旋 转角参数，其中，χ轴旋转角参数表示关于χ轴的旋转角，y轴旋转角参数表示关于y轴的旋 转角，ζ轴旋转角参数表示关于ζ轴的旋转角。旋转角参数提取单元可提取旋转角参数，其中，关于χ轴的旋转角、关于y轴的旋 转角和关于ζ轴的旋转角被表示为3X3矩阵和九位阵列之一。如果数据流是基于国际标准化组织(ISO)的媒体文件格式，则基于ISO的媒体文 件格式可包括moov框、mdat框和第一 meta框，并且解析单元可从下述框中的至少一个中 提取相机参数第一 meta框的子级框、moov框的第一子级框、作为moov框的第二子级框的 trak框的第一子级框以及作为trak框的第二子级框的第二meta框的子级框；可从mdat框 中提取立体图像的图像数据。
具体实施例方式下面，将通过参照附图解释本发明的示例性实施例来描述本发明。图1是根据本发明实施例的立体图像数据流产生设备100的框图。参照图1，立体图像数据流产生设备100包括图像数据编码单元110、相机参数确 定单元120和数据流插入单元130。图像数据编码单元110对立体图像的图像数据编码并且将编码图像数据输出到 数据流插入单元130。当立体图像被编码时，主视点图像和次视点图像可被单独编码，或者 主视点图像和次视点图像的合成图像可被编码。另外，将被编码的输入到图像数据编码单 元110的立体图像可以是多视点图像或单视点图像。12
相机参数确定单元120确定关于将被编码的立体图像的相机参数，并且将相机参 数输出到数据流插入单元130。多个相机被需要以获得立体图像，并且每个相机具有不同视 点。由于不同的视点，相机与相机之间，相机信息可以不同，因此，对每一相机单独地设置相 机参数。根据本发明的实施例，相机参数确定单元120可将表示每一相机的焦距、主点和 旋转角/平移的信息确定为相机参数。尽管未在图1中显示，相机参数确定单元120可包 括焦距参数确定单元、主点参数确定单元和旋转角参数确定单元。焦距参数确定单元确定关于一个或多个相机的预定视角相机的焦距的信息(以 下，将此信息称为焦距参数)。相机参数确定单元120可包括单独的焦距参数确定单元，以确定主视点相机的焦 距是否与次视点相机的焦距不同(以下，将此信息称为焦距差别参数)。相机参数确定单元120可包括焦距宽高比参数确定单元，以通过使用垂直焦距与 水平焦距之间比例来确定焦距(以下，将该比例称为焦距宽高比)。此外，相机参数确定单元120可包括焦距宽高比使用参数确定单元，以确定指示 焦距宽高比是否被使用的信息(以下，将此信息称为焦距宽高比使用参数)。主点参数确定单元确定关于立体图像的预定视点图像的主点的信息(以下，将此 信息称为主点参数)。相机参数确定单元120可包括主点信息设置参数确定单元，以确定指 示主点信息是否被设置的信息(以下，将此信息称为主点信息设置参数)。旋转角参数确定单元确定关于一个或多个相机的预定视角相机的旋转角的信息 (以下，将此信息称为旋转角参数)。数据流插入单元130通过将从图像数据编码单元110接收的编码图像数据和从相 机参数确定单元120接收的相机参数插入数据流中来产生立体图像数据流。编码图像数据和相机参数的每一个被插入立体图像数据流中的合适位置。稍后将 参照图8和图9来描述插入有图像数据和相机参数的立体图像数据流。图2是根据本发明实施例的立体图像恢复设备的框图。参照图2，立体图像恢复设备200包括解析单元210、相机参数提取单元220、图像 数据解码单元230和再现单元M0。解析单元210解析接收的立体图像数据流以将立体图像的图像数据与关于该立 体图像的信息分离。解析单元210将图像数据输出到图像数据解码单元230，并且将关于立 体图像的信息输出到相机参数提取单元220。相机参数提取单元220从解析单元210接收的信息提取相机参数。关于立体图像 的相机参数取决于捕获了立体图像的一个或多个相机的每一相机的各个特性。提取的相机 参数可被输出到再现单元M0。根据本发明实施例，相机参数提取单元220可提取表示每一相机的焦距、主点和 旋转角/平移的信息，作为相机参数。尽管未在图2中显示，相机参数提取单元220可包括 焦距参数提取单元、主点参数提取单元和旋转角参数提取单元。焦距参数提取单元提取焦距参数。相机参数提取单元220可包括焦距差别参数提取单元。相机参数提取单元220可 基于由焦距差别参数提取单元提取的焦距差别参数，考虑每一视点相机的焦距是否与另一13视点相机的焦距相同，来确定是否提取每一视点相机的焦距。相机参数提取单元220可包括焦距宽高比参数提取单元。相机参数提取单元220 可基于由焦距宽高比参数提取单元提取的焦距宽高比参数来确定是否提取垂直焦距和水 平焦距的每一个。另外，相机参数提取单元220可包括焦距宽高比使用参数提取单元。相机参数提 取单元220可基于由焦距宽高比使用参数提取单元提取的焦距宽高比使用参数来确定是 否提取焦距宽高比参数。主点参数提取单元提取主点参数。相机参数提取单元220可包括主点信息设置参 数提取单元。相机参数提取单元220可基于由主点信息设置提取单元提取的主点信息设置 参数来确定是否提取主点参数。旋转角参数提取单元提取至少一个视点相机的旋转角参数。图像数据解码单元230对立体图像的图像数据解码和恢复，并将恢复的立体图像 输出到再现单元对0。使用当立体图像被编码使用使用的压缩方法来对立体图像解码。再现单元240使用图像参数来再现恢复的立体图像。由于再现单元240使用相 机参数并且考虑不同视点相机之间的相互关系来再现立体图像，立体图像可被更精确地再 现。根据本发明实施例，相机参数可以是单个参数，并且可包括以下参数中的至少一 个焦距参数、焦距宽高比参数、主点参数、旋转角参数和平移参数。焦距参数、焦距宽高比 参数和主点参数是用于单个相机的参数，并且被定义为相机内参数，旋转角参数和平移参 数的每一个是关于多个相机之间的相互关系的参数，并且被定义为相机外参数。相机参数可被应用到各种处理，例如核线约束处理和调整处理，从而提高3D图像 的质量。稍后将参照图10至18来描述相机参数的使用的特定示例。更详细地讲，稍后将 参照相应附图来描述下述参数的使用的示例焦距参数(图10至1 、焦距差别参数(图 11)、焦距宽高比参数(图14和15)、焦距宽高比使用参数(图15)、主点参数(图16和17)、 主点信息设置参数(图17)和旋转角参数(图18)。图3是显示世界坐标系统300和相机坐标系统350之间的相互关系的示图。参照图3，平移t 305是世界坐标系统300和相机坐标系统350之间的距离，并且 世界坐标系统300和相机坐标系统350之间旋转角R 355由X、Y和Z轴中的旋转角定义。平移t 305可被认为是世界坐标系统300的原点和相机坐标系统350的原点之间 的距离。旋转角R 355可通过下述旋转角来确定相机坐标系统350的X轴X。360关于世 界坐标系统300的X轴Xw 310的旋转角；相机坐标系统350的Y轴Y。370关于世界坐标系 统300的Y轴Yw 320的旋转角；相机坐标系统350的Z轴&380关于世界坐标系统300的 Z轴Zw 330的旋转角。旋转角R 350可表示为3X3矩阵。世界坐标系统300上的坐标MW与相机坐标系统350上的坐标Mc之间的对应关系由等式1定义。Mc = IT1 · Mw-IT1 · t ............(1)如果特定点302具有关于世界坐标系统300的坐标PW 340，则根据等式1，坐标PW340匹配关于相机坐标系统350的坐标Pc 390。图4是显示相机坐标系统400上的特定坐标(X，Y，Z)410和图像420上的坐标(X， y, f)430之间的相互关系的示图。在图4中，图像420与相机坐标系统400的Z轴τ。垂直 排列(与Χ。_Υ。面平行)。相机坐标系统400上的坐标(Χ，Υ，Ζ)410对应于图像420上的坐 标(χ，y, f)430o参照图4，坐标(X，Y，Z)410与坐标(x, y，f)430之间的相互关系可由比例表达式 450和从比例表达式450导出的关系表达式460表示。比例表达式450和关系表达式460 可简化为如下所示的等式2。s · m = A · Mc ............(2)在等式2中，s表示宽高比，m表示图像420上的坐标(x，y，f)430，A表示相机内 参数，Mc表示相机坐标系统400上的坐标(X，Y，Z)410。宽高比s可表示为s = (sx, sy)， 并且相机内参数A可表示为A = [_f/sx，0，0 ；0，-f/sy,0 ；0，0，1]。s · m = A · (IT1 · Mff-R-1 · t)............(3)世界坐标系统上的坐标和图像420上的坐标(X，y，f)430之间的相互关系被显示 在等式3中。主点是图像420和光轴的焦点。相机拍摄的区域应匹配图像420，因此拍摄的图像 的中心点应匹配图像420的中心点。然而，可发生失配。此外，拍摄的区域的中心点应该匹 配图像420的主点。然而，可再次发生失配。图5是显示拍摄的图像510上的特定坐标(x，y) 540和再现图像500上的坐标(xim， yim)570之间的相互关系的示图。参照图5，如果捕获的图像510对应于再现的图像500，则捕获的图像510的原点 530对应于再现的图像500的原点(ox，oy) 560，，并且捕获的图像510的坐标(x，y) 540对 应于再现的图像500的坐标(xim，yim)570。如果假设横向单元大小是并且纵向单元大小Sy 530，则基于相机的硬件特 性，坐标(X，y)540和坐标(xim，yim)570之间的相互关系可被定义为算术表达式505。关于 y分量，如果关系表达式460被代入算术表达式505，则关系表达式555被导出。关系表达 式555表示再现的图像500和相机坐标系统之间的相互关系。图6是显示立体相机的平移信息和旋转角信息的表。参照图6，通过使用两个坐标系统的平移信息和旋转角信息来确定立体相机的主 视角相机坐标系统和次视角相机系统之间的相互关系。现在将假设主视角相机坐标系统和 次视角相机系统具有相同的X轴，并且主视角相机坐标系统与世界坐标系统一致来描述主 视角相机坐标系统和次视角相机系统之间的相互关系。平移信息表示次视点相机坐标系统与主视点相机坐标系统的距离，因此，主视点 相机坐标系统的平移矩阵是(0，0，0)，次视点相机坐标系统的平移矩阵被表示为t = (tx， ty，tz)。因此，可仅通过使用次视点相机坐标系统的平移矩阵来表示平移信息。假设主视点相机系统是世界坐标系统来表示次视点相机坐标系统的旋转角。因 此，主视点相机坐标系统的旋转矩阵是I = [1,0,0 ；0,1,0 ；0，0，1]，次视点相机坐标系统的 旋转矩阵被表示为R = f(a, b，c)。因此，可仅使用次视点相机坐标系统来表示旋转信息。通常，旋转信息具有3X3矩阵结构。然而，另一方面，可通过使用关于x，y和ζ轴的角度来表示旋转信息。也就是，旋转信息可表示为W = R(<p^<py^) = R(<pJ·R(<Py)·R(<pz)”图7是显示主视点相机坐标系统700和次视点相机坐标系统750之间的相互关系 的示图。参照图7，通过使用两个坐标系统的平移信息和旋转角信息来表示主视点相机坐 标系统700和次视点相机坐标系统750之间的相互关系。更详细地讲，主视点相机坐标系统700的原点通过平移t710被平移到次视点相机 坐标系统750的原点，因此，平移信息被表示为t = (tx，ty，tz)。此外，主视点相机坐标系 统700通过旋转角R 760被旋转到次视点相机坐标系统750，因此旋转角信息被表示为R = f (a，b，c) ο因此，特定坐标720被定位在关于主视点相机坐标系统700的位置P1730，并且被 定位在关于次视点相机坐标系统750的位置P2740。另外由平移t710和旋转角R760来定 义位置P1730和位置P2740。图8是示出基于国际标准化组织(ISO)的媒体文件格式800的结构的示图.参照图8，基于ISO的媒体文件格式800包括moov框810和mdat框850。关于音频和视频(AV)数据的基本头信息被插入moov框810。moov框810包括各 种框，例如trak框820和825。trak框820和825包括关于mdat框850中的AV数据的存 储位置的信息。mdat框850包括基本流(ES)的格式的AV数据。基于ISO的媒体文件格式 800是根据运动图像专家组4(MPEG-4)和高级视频编码/H. 264(AVC/H. 264)标准广泛使用 的AV数据格式。图9是示出基于ISO的媒体文件格式的各种框的列表900的示图。参照图9，基于ISO的媒体文件格式的框的列表900具有分级结构。ftyp框910、 moov框920、mdat框930、meta框940和其他框950位于上层。ftyp框910包含关于文件类型和兼容性的信息。为了表示立体图像数据文件格 式，<major_brand,被设置为'ssav' moov框920是用于定时资源的所有元数据的空间。包括在moov框920中的trak 框960是用于各个轨道的信息或者识别主AV数据或辅助数据的流的空间。包括在trak框 960中的mdia框962是用于轨道中的所有媒体信息的空间。mdat框930是用于媒体数据的空间。meta框940是用于元数据的空间。根据本发明实施例，scdi框980被插入meta 框940的子层，并且立体相机信息和立体差异信息被插入scdi框980中。根据本发明的另一实施例，立体相机信息可被插入下述框中的至少一个中位于 上层的框950、包括在moov框920中的框970、包括在trak框960中的框966、包括在mdia 框962中的框964以及包括在meta框940中的框990。图10是示出根据本发明实施例的实现关于立体图像的各种参数的语法1000的示图。参照图10，语法1000使用表示立体图像的视点图像之间的差异信息的差异信息 参数、以及表示关于捕获了立体图像的立体相机的相机信息的相机信息参数1040。为了实 现根据本发明实施例的相机参数，定义在图9中示出的scdi框980中的语法1000可包括 以下参数。
‘item_COimt’参数表示代表立体数据的片段的项的数量。如果多个片段具有相同 的相机信息和差异信息，则‘item_COimt’参数可被设置为具有值‘1’。‘item_ID’参数表示记录在立体片段的iloc框中的项的标识(ID)信息。项的位 置信息被插入iIoc框中。‘is_item_ID_ref，参数表示当前项是否使用另一项的参数。‘is_item_ID_ref， 参数表示参考项的‘item_ID’参数。包括在scdi框中的参考项的相机信息和差异信息必 须可用。‘is_display_safety_info，参数表示差异信息是否被插入。‘expected_display_ width’参数和‘expectecLdisplayJieight’参数分别表示期望的显示宽度和高度。显示宽 度/高度或观看距离可以以毫米定义。‘min_of_display，参数和‘max_of_display，参数 分别表示主视点图像和次视点图像的最小差异和最大差异。'is.cam.params'参数表示相机信息是否被插入。‘baseline’参数表示两个 相机之间的距离。‘focaljength’参数表示从光心到图像平面的距离。‘convergence distance'参数表示从两个相机的中心点到聚焦点的距离。‘is_camera_cr0ss’参数表示 立体相机以平行方式排列还是交叉形式排列。立体图像的数据与相机信息以及关于立体图像的差异信息一起被提供，因此，如 果当恢复的立体图像被再现时相机信息和差异信息被使用，则立体图像的3D效果被提高， 并且观看者可较少地感受到由3D效果引起的疲劳。现在将参照图11至18来描述图10中示出的语法1000的相机信息参数1040可 被替换的各种类型的语法。图11是示出根据本发明实施例的实现关于立体图像的相机焦距参数的语法1100 的示图。参照图11，语法 1100 使用 ‘is_different_focal_length，参数 1110。‘is_ different.focal.length'参数1110是以上参照图1描述的焦距差别参数，并且表示主 视点相机的焦距(以下称为主焦距)是否与次视点相机的焦距(以下称为次焦距)不同。 'primary.focal.length'参数1120表示主焦距。也就是，主焦距被用作相机信息。如果if 条件 1130 确定 ‘is_different_focal_length，参数 1110 具有值 ‘1，，则 ‘SeCOndary_fOCal_length，参数1140被使用。也就是，如果焦距差别参数确定主焦距与次 焦距不同，则表示为‘seC0ndary_f0Cal_length，参数1140的次焦距也被使用。如果if 条件 1130 确定 ‘is_different_focal_length，参数 1110 具有值 ‘0，，则 ‘SeCOndary_fOCal_length，参数1140没有被使用。在这种情况下，焦距差别参数确定主焦 距与次焦距一致，因此，可仅通过使用主焦距来表示主视点相机的焦距和次视点相机的焦 距。尽管未在图11中显示，可仅通过使用次焦距来表示主视点相机的焦距和次视点相机的 焦距。图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括焦距 参数确定单元，并且焦距参数确定单元可确定‘primary_f0Cal_length’参数1120。焦距 参数确定单元可基于由焦距差别参数确定单元确定的‘is_different_f0Cal_length，参数 1110 来确定是否确定 ‘secondary_focal_length，参数 1140。此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括焦距17参数提取单元，并且焦距参数提取单元可提取‘primary_f0Cal_length’参数1120。焦距 参数提取单元可基于由焦距差别参数提取单元提取的‘iS_different_f0Cal_length，参数 1110 来确定是否提取 ‘secondary_focal_length，参数 1140。图12是示出根据本发明的另一实施例的实现关于立体图像的相机焦距参数的语 法1200的示图。参照图12，语法1200不使用在图11中示出的‘is_different_focal_length，参 数 1110,而使用 <primary_focal_length'参数 1220 禾口 <secondary_focal_length,参数 1240两者。也就是，主焦距和次焦距被单独使用。主视点和次视点可以分别是左视点和右 视点，或者与此相反。如果关于次焦距的信息没有被存储或传输，则次焦距被认为与主焦距一致。因此，图1中示出的立体图像数据流产生设备的相机参数确定单元120可包括焦 距参数确定单元，并且焦距参数确定单元可确定‘primary_f0Cal_length’参数1220和 <secondary_focal_length'参数 1240。此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括焦 距参数提取单元，并且焦距参数提取单元可提取‘primary_f0Cal_length，参数1220和 <secondary_focal_length'参数 1240。图13是示出根据本发明的另一实施例的实现关于立体图像的相机焦距参数的语 法1300的示图。可通过水平分量和垂直分量来表示焦距。参照图13，语法 130 使用 ‘hor_focal_length，参数 1320 和 ‘ver_focal_length， 参数 1340。‘hor_focal_length，参数 1320 表示焦距的水平分量，‘ver_focal_length，参 数1340表示焦距的垂直分量。图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括焦 距参数确定单元，并且焦距参数确定单元可确定‘h0r_f0Cal_length’参数1320和‘ver_ focal_length，参数 1340。此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括焦 距参数提取单元，并且焦距参数提取单元可提取‘h0r_f0Cal_length’参数1320和‘ver_ focal_length，参数 1340。图14是示出根据本发明的另一实施例的实现关于立体图像的相机焦距参数的语 法1400的示图。如果作为焦距的水平分量和垂直分量之间的宽高比的焦距宽高比被使用，则仅通 过使用水平分量和垂直分量中的一个来表示焦距。参照图14，语法 1400 使用 ‘hor_focal_length，参数 1420 和 ‘aspect_ratio，参 数 1440。‘hor_focal_length，参数 1420 表示焦距的水平分量，‘aspect_ratio，参数 1440 表示焦距的宽高比。根据本发明的另一实施例，可使用‘Ver_f0Cal_length’参数来代替使 用 ‘hor_focal_length，参数 1420。图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括焦距 参数确定单元和焦距宽高比参数确定单元。焦距参数确定单元可确定‘h0r_f0Cal_length’ 参数1420，并且焦距宽高比参数确定单元可确定‘aSpect_rati0，参数1440。
此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括焦距 参数提取单元和焦距宽高比参数提取单元。焦距参数提取单元可提取‘h0r_f0Cal_length’ 参数1420，并且焦距宽高比参数提取单元可提取‘aSpect_rati0，参数1440。图15是示出根据本发明的另一实施例的实现关于立体图像的相机焦距参数的语 法1500的示图。参照图15，语法 1500 使用 ‘is_aspect_ratio，参数 1510。‘is_aspect_ratio，参 数1510是以上参照图1描述的焦距宽高比使用参数，并且表示焦距宽高比是否被使用以表 示焦距。‘h0r_f0Cal_length，参数1520表示焦距的水平分量。如果if 条件 1530 确定 ‘is_aspect_ratio，参数 1510 具有值 ‘1，，则 ‘aspect_ ratio’参数1540被使用。也就是，如果确定焦距宽高比将被使用，则‘aspect^atio’参数 1540被声明和使用。如果if 条件 1530 确定 ‘is_aspect_ratio，参数 1510 具有值 ‘0，，贝丨J ‘aspect_ ratio'参数1540没有被单独定义。根据本发明的实施例，如果if条件1530确定‘is_ aspect_ratio，参数1510具有值‘0，，则‘aspect_ratio，参数1540没有被单独定义并且 被认为是具有值‘1’。也就是，如果确定焦距宽高比没有被使用，则焦距宽高比可被认为具 有值‘1’，因此，焦距的水平分量可被确定与焦距的垂直分量一致。图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括焦 距参数确定单元、焦距宽高比参数确定单元和焦距宽高比使用参数确定单元。焦距参数确 定单元可确定‘h0r_f0Cal_length’参数1520。焦距宽高比参数确定单元可基于由焦距 宽高比使用参数确定单元确定的‘is_aspect_rati0’参数1510来确定是否确定‘aspect_ ratio'参数 1540。此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括焦距 参数提取单元、焦距宽高比参数提取单元和焦距宽高比使用参数提取单元。焦距参数提取 单元可提取‘h0r_f0Cal_length’参数1520。焦距宽高比参数提取单元可基于由焦距宽 高比使用参数提取单元提取的‘is_aspect_rati0’参数1510来确定是否提取‘aspect_ ratio'参数 1540。图16是示出根据本发明的实施例的实现关于立体图像的相机主点参数的语法 1600的示图。主点是由相机捕获的图像的中心点。主点被单独表示在每一视点图像中，并且可 通过使用X分量和y分量来表示。根据本发明实施例，主视点图像和次视点图像可分别是 左视点图像和右视点图像。参照图16，语法 1600 使用 ‘primary_principal_x，参数 1640、'primary, principal_y'参数 1650、<secondary_principal_x'参数 1660 禾口 'secondary—principal— I'参数1670。‘primary_principal_X，参数1640表示主视点图像的主点的χ分量， ‘primary_principal_y，参数1650表示主视点图像的主点的y分量，'secondary, principal_x’参数1660表示次视点图像的主点的χ分量，‘secondary_principal_y’参数 1670表示次视点图像的主点的y分量。图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括主点 参数确定单元。主点参数确定单元可确定‘primary_principal_x’参数1640、'primary.19principal_y‘参数 1650、<secondary_principal_x'参数 1660 禾口 'secondary—principal— y，参数 1670。此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括主点 参数提取单元。主点参数提取单元可提取‘primary_principal_X’参数1640、'primary, principal_y'参数 1650、<secondary_principal_x'参数 1660 禾口 'secondary—principal— y，参数 1670。图17是示出根据本发明的另一实施例的实现关于立体图像的相机主点参数的语 法1700的示图。参照图17，语法 1700 使用 ‘is_principal_point，参数 1710。‘is_principal_ point'参数1710是以上参照图1描述的主点信息设置参数，表示主点信息是否被设置，并 且定义当图像的主点与相机的中心点不同的情况。如果if 条件 1730 确定 ‘ is_principal_point，参数 1710 具有值 ‘ 1，，贝丨J 'primary, principal_x'参数 1740、<primary_principal_y'参数 1750、<secondary_principal_x'参 数1760和‘secondary_principal_y’参数1770被使用。也就是，如果确定主点信息将被使 用，贝1J ‘primary—principal—x’参数 1740、‘primary—principal—y’ 参数 1750、‘secondary— principal_x'参数 1760 禾口 <secondary_principal_y,参数 1770 被声明禾口使用。如果if 条件 1730 确定 ‘is_principal_point，参数 1710 具有值 ‘0，，则 ‘primary_ principal_x'参数 1740、<primary_principal_y'参数 1750、<secondary_principal_x' 参数1760和‘secondary_principal_y，参数1770不被单独声明和定义。根据本发明实 施例，如果 if 条件 1730 确定 ‘is_principal_point，参数 1710 具有值 ‘0，，则'primary, principal_x'参数 1740、<primary_principal_y'参数 1750、<secondary_principal_x' 参数1760和‘secondary_principal_y’参数1770不被单独定义，并且没有视点相机的中 心点被认为匹配每一视点图像的主点。图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包括主 点参数确定单元和主点信息设置参数确定单元。主点参数确定单元可基于由主点信息设 置参数确定单元确定的‘is_principal_point’参数1710来确定‘primary_principal_x’ 参数 1740、<primary_principal_y'参数 1750、<secondary_principal_x'参数 1760 禾口 <secondary_principal_y' 1770。此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括主点 参数提取单元和主点信息设置参数提取单元。主点参数提取单元可基于由主点信息设置 参数提取单元提取的 ‘is_principal_point，参数 1710 来提取 ‘primary_principal_x’ 参数 1740、<primary_principal_y'参数 1750、<secondary_principal_x'参数 1760 禾口 <secondary_principal_y' 1770。图18是示出根据本发明的实施例的实现关于立体图像的相机旋转角参数的语法 1800的示图。参照图18，语法1800使用旋转参数。旋转参数表示旋转角信息，并且可由x、y和 ζ方向行的三个角度来表示。此外，旋转参数可被表示为3X3矩阵的‘rotation[3] [3]’， 或者可表示为九比特阵列的‘rotation[9]’。尽管未在图18中显示，语法1800还可使用平移参数。平移参数可表示‘translation^] ’形式的主视点相机坐标系统和次视点相机坐标系统之间的距离。因此，图1中示出的立体图像数据流产生设备100的相机参数确定单元120可包 括旋转角参数确定单元，并且旋转角参数确定单元可确定‘rotation[9]’ 1820。此外，图2中示出的立体图像恢复设备200的相机参数提取单元220可包括旋转 角参数提取单元，并且旋转角参数提取单元可提取‘rotation [9]’参数1820。图19是根据本发明的实施例的使用立体图像数据流产生方法的立体图像文件产 生系统的框图。参照图19，立体图像文件产生系统1900包括主视点相机1902、次视点相机1904、 立体/单视点图像相机1906、输入单元1910、图像信号处理单元1920、存储单元1930、编码 单元1940和文件产生单元1960。主视点相机1902和次视点相机1904在主视点和次视点拍摄预定对象，以便输出 不同的主视点图像和次视点图像。如果立体图像文件产生系统1900还捕获单视点图像，则 单视点图像从立体/单视点图像相机1906输出。从主视点相机1902和次视点相机1904 以及立体/单视点图像相机1906的每一个输出的图像被输入到输入单元1910。输入到输入单元1910的图像被图像信号处理单元1920预处理。例如，作为模拟 值的外部图像值被转换为数字值。这里，术语“外部图像值”表示由电荷耦合(CCD)型或互 补金属氧化物半导体(CM0Q型的传感器识别的光和色彩的分量。存储单元1930存储预处理图像的图像数据，并将图像数据提供给编码单元1940。 尽管存储单元1930被单独示出，则立体图像文件产生系统1900还可包括用于在立体图像 文件产生系统1900的其他部件之间进行缓冲的其他存储元件(而不是存储单元1930)。编码单元1940对从存储单元1930接收的图像数据编码。如果必要，可省略编码 单元1940对图像数据的编码。文件产生单元1960将图像相关性信息1950和从编码单元1940接收的(编码) 图像数据插入预定文件格式中，以便产生图像文件1970。图像相关性信息1950可包括用于 表示图像之间的相关性的轨迹框的参考信息、以及用于表示每一图像的媒体类型的处理器 fn息ο此外，图像相关性信息1950可包括二维QD)图像相关信息和3D图像相关信息。 3D图像相关信息表示主视点图像和次视点图像之间的相关性，并且可包括关于2D/3D数据 部分的信息、关于主视点图像和次视点图像的排列方法的信息、关于图像文件类型的信息、 相机参数、显示信息和差异信息。根据本发明的实施例，文件产生单元1960可将图像数据和图像相关性信息1950 分别存储在图像文件1970的媒体数据区域和头区域中。如果图像文件1970是基于ISO的 媒体文件格式，则图像数据可被存储在mdat框中的基本流的格式中，并且图像相关性信息 1950可被存储在trak框或trak框的子级框中。图像文件1970被输入或发送到3D图像文件再现设备。图20是示出根据本发明的实施例的使用立体图像恢复方法的立体图像恢复/再 现系统的框图。参照图20，立体图像恢复/再现系统2000包括文件解析单元2020、解码单元 2030、存储单元2040、再现单元2050和显示单元2060。
文件解析单元2020解析接收的图像文件2010。在存储在ftyp框、moov框、trak 框和meta框的每个中的信息被解析之后，存储在mdat框中的图像数据可被提取。主视点 图像数据2022、次视点图像数据20M和立体/单视点图像数据20 可被提取作为图像数 据。通过解析图像文件2010，图像数据相关信息20 也可被提取。图像数据相关信息20 可包括图像之间的相关性信息，例如关于相关轨迹的trak参考信息。解码单元2030接收包括从图像文件2010提取的主视点图像数据2022、次视点图 像数据20M和立体/单视点图像数据20 的图像数据，并对该图像数据解码。只有当图 像文件2010中的图像数据已经被编码时才执行解码。存储单元2040接收并存储从解码单 元2030输出的(解码)图像数据2035以及由文件解析单元2020提取的图像数据相关信 息 2(^8。再现单元2050从存储单元2040接收图像再现相关信息2048以及将被再现的图 像数据，以便再现图像。需要图像再现相关信息2048来从图像数据相关信息20 中再现 图像，并且图像再现相关信息2048包括图像相关性信息。
再现单元2050可通过使用图像再现相关信息2048以2D或3D图像再现方法来再 现图像数据2045。例如，再现单元2050可通过参照图像数据标识信息来组合和再现相关立 体图像。此外，再现单元2050可通过参照图像数据标识信息和2D/3D数据部分信息来一起 再现相关立体图像和单视点图像。显示单元2060可将由再现单元2050再现的图像显示在屏幕上。显示单元2060 可以是栅栏液晶显示器(IXD)。当栅栏IXD被关闭时单视点图像可被显示，并且当栅栏IXD 被打开时，立体图像的视点图像都可被同时显示。图21是示出根据本发明的实施例的立体图像数据流产生方法的流程图。参照图21，在操作2110，立体图像的图像数据被编码。在操作2120，基于捕获了立体图像的一个或多个相机的每一个的各个特性来确定 相机参数。相机参数可包括焦距相关参数、主点相关参数、平移参数、旋转角参数和宽高比 参数。焦距相关参数可包括焦距信息、指示视点相机的焦距彼此不同的信息、以及指示焦距 是否由宽高比表示的信息。除了相机的主点之外，主点相关参数可包括主点信息、以及指示 是否单独地设置图像的主点的信息。在操作2130，编码图像数据和相机参数被插入数据流中。例如，如果数据流具有 基于ISO的媒体文件格式，则图像数据可被插入mdat框，相机参数可被插入moov框的子级 框，trak框、trak框的子级框、meta框或者meta框的子级框。图22是示出根据本发明的实施例的立体图像恢复方法的流程图。参照图22，在操作2210，从接收的数据流中解析立体图像的图像数据和关于立体 图像的信息。例如，如果数据流具有基于ISO的媒体文件格式，可从mdat框中解析图像数 据，并且可从moov框的子级框，trak框、trak框的子级框、meta框或者meta框的子级框中 解析关于立体图像的信息。在操作2220，提取取决于捕获了立体图像的一个或多个相机的每一个的各个特性 的相机参数。相机参数可包括焦距相关参数、主点相关参数、平移参数、旋转角参数和宽高 比参数。此外，焦距宽高比使用参数、焦距差别参数以及主点信息设置参数可被提取。在操作2230，立体图像的图像数据被解码和恢复。
在操作2240，通过使用相机参数来再现立体图像的图像数据。通过使用相机参数 来将每一视点图像在合适的时间和位置再现和显示，因此可将更精确的2D或3D图像提供 给用户。本发明的实施例可被编写为计算机程序，并且可以使用计算机可读记录介质在执 行程序的通用数字计算机中被执行。计算机可读记录介质的示例包括磁存储介质(例如， ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)等。尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的普通技术 人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行 形式和细节上的各种改变。
权利要求
1.一种立体图像恢复方法，包括将接收的图像流解析为立体图像的图像数据和关于立体图像的信息；提取表示捕获了立体图像的一个或多个相机的每一个的各个特性的相机参数；解码并恢复立体图像的图像数据。
2.如权利要求1所述的立体图像恢复方法，其中，解码和恢复的步骤包括基于相机参 数来再现立体图像的图像数据。
3.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括提取主焦 距参数和次焦距参数，其中，主焦距参数表示一个或多个相机的主视点相机的焦距，次焦距 参数表示一个或多个相机的次视点相机的焦距。
4.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括提取焦距 差别参数，其中，焦距差别参数指示一个或多个相机的主视点相机的主焦距是否与一个或 多个相机的次视点相机的次焦距不同。
5.如权利要求4所述的立体图像恢复方法，其中，如果焦距差别参数指示主焦距与次 焦距一致，则提取相机参数的步骤还包括提取主焦距参数和次焦距参数中的一个，其中， 主焦距参数表示主焦距，次焦距参数表示次焦距。
6.如权利要求4所述的立体图像恢复方法，其中，如果焦距差别参数指示主焦距与次 焦距不同，则提取相机参数的步骤还包括提取主焦距参数和次焦距参数，其中，主焦距参 数表示主焦距，次焦距参数表示次焦距。
7.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括提取水平 焦距参数和垂直焦距参数，其中，水平焦距参数表示一个或多个相机的预定视点相机的焦 距的水平分量，垂直焦距参数表示预定视点相机的焦距的垂直分量。
8.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括提取焦距宽高比参数，其中，焦距宽高比参数表示一个或多个相机的预定视点相机的 焦距的水平分量和垂直分量之间的宽高比；提取水平焦距参数和垂直焦距参数中的一个，其中，水平焦距参数表示焦距的水平分 量，垂直焦距参数表示焦距的垂直分量。
9.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括提取焦距 宽高比使用参数，其中，焦距宽高比使用参数指示关于一个或多个相机的预定视点相机的 焦距的信息是否基于焦距的水平分量和垂直分量之间的宽高比设置。
10.如权利要求9所述的立体图像恢复方法，其中，如果焦距宽高比使用参数指示焦距 的水平分量和垂直分量之间的宽高比被使用，则提取相机参数的步骤还包括提取焦距宽 高比参数，其中，焦距宽高比参数表示焦距的水平分量和垂直分量之间的宽高比。
11.如权利要求9所述的立体图像恢复方法，其中，如果焦距宽高比使用参数指示焦距 的水平分量和垂直分量之间的宽高比没有被使用，则提取相机参数的步骤还包括确定焦 距的水平分量和垂直分量之间的宽高比具有值‘1’。
12.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括提取基 本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的主点，次主点 参数表示立体图像的次视点图像的主点。
13.如权利要求12所述的立体图像恢复方法，其中，提取相机参数的步骤包括对于χ分量和y分量提取基本主点参数和次主点参数的每一个。
14.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括提取主 点信息设置参数，其中，主点信息设置参数指示关于立体图像的主视点图像的主点和次视 点图像的主点的每一个的信息是否被设置的信息。
15.如权利要求14所述的立体图像恢复方法，其中，如果主点信息设置参数指示关于 主点的信息被设置，则提取相机参数的步骤还包括提取基本主点参数和次主点参数，其 中，基本主点参数表示立体图像的主视点图像的主点，次主点参数表示立体图像的次视点 图像的主点，其中，对于χ分量和y分量提取基本主点参数和次主点参数的每一个。
16.如权利要求14所述的立体图像恢复方法，其中，如果主点信息设置参数指示关于 主点的信息没有被设置，则提取相机参数的步骤还包括确定由一个或多个相机的预定视 点相机拍摄的区域的中心点匹配立体图像的预定视点图像的主点。
17.如权利要求1所述的立体图像恢复方法，其中，提取相机参数的步骤包括在一个 或多个相机的预定视点相机的旋转角中，提取χ轴旋转角参数、y轴旋转角参数和ζ轴旋转 角参数，其中，χ轴旋转角参数表示关于χ轴的旋转角，y轴旋转角参数表示关于y轴的旋转 角，ζ轴旋转角参数表示关于ζ轴的旋转角。
18.如权利要求17所述的立体图像恢复方法，其中，提取相机参数的步骤包括提取旋 转角参数，其中，关于χ轴的旋转角、关于y轴的旋转角和关于ζ轴的旋转角被表示为3X3 矩阵和九位阵列之一。
19.如权利要求1所述的立体图像恢复方法，其中，如果数据流是基于国际标准化组织 ISO的媒体文件格式，则基于ISO的媒体文件格式包括moov框、mdat框和第一 meta框，其中，解析步骤包括从下述框中的至少一个中提取相机参数第一 meta框的子级框、moov框的第一子级 框、作为moov框的第二子级框的trak框的第一子级框以及作为trak框的第二子级框的第 二 meta框的子级框；从mdat框中提取立体图像的图像数据。
20.—种立体图像数据流产生方法，包括 对立体图像的图像数据编码；基于捕获了立体图像的一个或多个相机的每一个的各个特性来确定相机参数； 将图像数据和相机参数插入到数据流中。
21.如权利要求20所述的立体图像数据流产生方法，其中，确定相机参数的步骤包括 确定焦距差别参数，其中，焦距差别参数指示一个或多个相机的主视点相机的主焦距是否与一个或多个相机的次视点相机的次焦距不同；基于焦距差别参数确定主焦距参数和次焦距参数中的至少一个，其中，主焦距参数表 示主焦距，次焦距参数表示次焦距。
22.如权利要求20所述的立体图像数据流产生方法，其中，确定相机参数的步骤包括 确定焦距宽高比参数，其中，焦距宽高比参数表示一个或多个相机的预定视点相机的焦距的水平分量和垂直分量之间的宽高比；确定水平焦距参数和垂直焦距参数中的一个，其中，水平焦距参数表示焦距的水平分量，垂直焦距参数表示焦距的垂直分量。
23.如权利要求22所述的立体图像数据流产生方法，其中，确定相机参数的步骤还包 括确定焦距宽高比使用参数，其中，焦距宽高比使用参数指示是否基于焦距的水平分量和 垂直分量之间的宽高比设置关于焦距的信息，其中，确定焦距宽高比参数的步骤包括如果焦距宽高比使用参数指示焦距的水平分 量和垂直分量之间的宽高比被使用，则确定表示焦距的水平分量和垂直分量之间的宽高比 的焦距宽高比参数。
24.如权利要求20所述的立体图像数据流产生方法，其中，确定相机参数的步骤包括 确定主点信息设置参数，其中，主点信息设置参数指示关于立体图像的主视点图像的主点和次视点图像的主点的每一个的信息是否被设置；确定基本主点参数和次主点参数，其中，基本主点参数表示立体图像的主视点图像的 主点，次主点参数表示立体图像的次视点图像的主点。
25.一种其上记载有用于执行立体图像恢复方法的计算机程序的计算机可读记录介 质，该方法包括将接收的图像流解析为立体图像的图像数据和关于立体图像的信息； 提取表示捕获了立体图像的一个或多个相机的每一个的各个特性的相机参数； 解码并恢复立体图像的图像数据。
26.一种在其上记载有用于执行立体图像数据流产生方法的计算机程序的计算机可读 记录介质，该方法包括对立体图像的图像数据编码；基于捕获了立体图像的一个或多个相机的每一个的各个特性来确定相机参数； 将图像数据和相机参数插入到数据流中。
全文摘要
提供了一种对立体图像和编码和解码的方法和设备。立体图像恢复方法包括将接收的图像流解析为立体图像的图像数据和关于立体图像的信息；提取表示捕获了立体图像的一个或多个相机的每一个的各个特性的相机参数；解码并恢复立体图像的图像数据。
文档编号H04N13/00GK102047668SQ200980119332
公开日2011年5月4日 申请日期2009年3月26日 优先权日2008年5月27日
发明者李健日, 金大式, 金容台 申请人:三星电子株式会社