数字相机3d适配器及相应处理方法

专利名称：：数字相机3d适配器及相应处理方法
技术领域：
：本发明涉及数字相机的
技术领域：
。更特别地，本发明涉及3D数字相机的
技术领域：
。另外特别地，本发明涉及将3D功能添加到2D数字相机中使得2D数字相机能够捕获、保存和传送3D立体数字图像的
技术领域：
。本发明中的“数字相机”指概略的
技术领域：
，包括数字式静态图片照相机、数字式活动视频摄相机和数字式视频摄录机。本发明中的“数字图像”指用以产生静态图像和活动视频的数字图像源。在本发明中，2D是“2(二)维”的缩写，3D是“3(三)维”的缩写，并且“3D数字图像”系指“三维立体左右数字图像对”。
背景技术：
：传统的3D数字图像拍摄产品如3D数字照相机、3D数字摄像机等通常是基于双数字相机系统或者双透镜和传感器数字相机系统。这些系统依赖于额外的机构以在捕获3D立体左右图像的同时保持光学和机械同步，由此使得产品复杂且昂贵。·关于使用带有单个透镜和传感器的单数字式照相机捕获3D数字图像也有一些构思。但是，全部这些构思都存在如下问题如左右图像捕获的不同步、左右视角间的不现实且固定的距离、非标准的纵横比、不可调节的会聚角、非常低的图像传感器面积利用率、或者光学适配器阻碍照相机上的检测器和闪光灯等等。因此，根据这些构思制作产品是不实际的。在现有技术1923年3月8日的美国专利No.I,454，218中描述了一种双镜头3D装置。该装置由于左右图像从上向下整合而仅能够输出非标准纵横比2.67:I。另外，该装置因非同轴地整合左右图像而产生光学形变。在另一现有技术1941年3月9日的美国专利No.2，313，561中描述了带有单3D镜头方案。其在用以制成消费产品时在光学方面过于庞大而难以安装于相机镜头之上，并且该方案也因非同轴地整合左右图像而难以避免光学形变。另外，在3D照相机中，保存和传送3D立体左右数字图像对的传统方法是通过水平地并排布置将左右图像格式化成一个图像然后作为单个2D图像保存和传送；或者将左右图像作为两个单独的图像独立地保存，并且一个在另一个之后地传送左右图像，例如，在富士(Fujifilm)Wl3D照相机中使用的MPO格式。第一种方法同样存在图像复杂性的问题并且与通过扫描水平像素线读取每个图像的标准2D数字图像处理不兼容。第二种方法不仅破坏了左右图像的关系使得3D数字图像处理和管理复杂化，而且在传送或者流式传输(stream)3D数字图像(例如，3D数字视频)时破坏了图像之间的相似性；当然，同样难以与标准2D图像处理兼容。
发明内容为了解决上述问题，本发明为数字相机提供了一个获取，保存和传送3D数字图像的实际的，有效的并且是低成本高性能的综合技术方案。本发明是一种用于安装和更新到传统2D数字相机的3D光学适配器及相应数字处理方法的组合以使2D数字相机兼有3D功能。本发明所述3D光学适配器由左右视镜从现实环境采集3D立体图像同时传给汇集镜以拼合并传给输出镜从而使本发明所述的光学处理方法得以执行因而输出2D相机适配的3D(2DCameraSuitable3D)光学图像，即“2见3”(2CS3)光学图像给与其适配的并更新有相应数字处理方法的2D数字相机；该2D数字相机执行本发明所述的相应数字处理方法，将捕获到的“2见3”(2CS3)数字图像进行剪裁并复原成3D数字图像。最终，所生成的3D数字图像能被格式化为本发明所展示的对称式竖直左右(SymmetricalVerticalLeft-Right)原格式，即“三维乐”(SVLR)原格式数字图像而保存和传送。本发明灵活地解决了全部其它获取3D图像的构思中存在的致命问题，为传统的2D数字相机提供完善的3D功能。以本发明制造或更新的数字相机产品不仅具有2D功能，还能以完全与2D兼容的方式捕获、存储和传送3D数字图像及视频。图I是本发明的3D光学适配器的基本实施方式与所产生的2D相机适配的3D(2DCameraSuitable3D)光学图像，即“2见3”(2CS3)光学图像的透视图2是利用本发明的3D光学适配器工作的传统2D数字相机的示意性透视图3是2D数字相机的传感器通过本发明的3D光学适配器捕获的2CS3图像示例的透视图4是由本发明中相应3D数字处理而再生成的3D左右图像对的不意图5是本发明中相应3D数字处理方法中的再生成方法示例的示意图6是本发明中相应3D数字处理方法中的左图像复原处理示例的流程图7是本发明中相应3D数字处理方法中的右图像复原处理示例的流程图8是采用传统的2D图像保存和传送格式的复原的3D左右图像对；图9是本发明中相应数字处理方法中的左取景/观察(finding/viewing)模式示例的示意性透视图10是本发明中相应数字处理方法中的右取景/观察模式示例的示意性透视图11是3D光学适配器与本发明的常规2D数字相机的物理关系的透视图12是将3D光学适配器与本发明的常规2D数字相机连接的支架的透视图13是本发明中相应数字处理方法中的对称式竖直左右(SymmetricalVerticalLeft-Right)原格式，即“三维乐”(SVLR)原格式的示意图14是本发明中相应数字处理方法中将“2见3”(2CS3)数字图像直接格式化为“三维乐”(SVLR)3D数字图像原格式的数字处理方法示例的示意图15和图16是本发明中相应数字处理方法中将“2见3”(2CS3)数字图像直接格式化为“三维乐”(SVLR)3D数字图像原格式的处理方法示例的流程图。具体实施例方式本发明的3D光学适配器的详细说明。现在更详细地参考本发明，在图I中示出了本发明的3D光学适配器的基本实施方式的透视图。其中示出了3D光学适配器10，该3D光学适配器具有作为左视镜12a和右视镜12b的两个视镜、具有垂直的镜面14a和14b的汇集镜14、及输出镜16。更详细地，仍参考本发明的图1，两个视镜12a和12b朝向前向方向和汇集镜14偏转。输出镜16朝向向后方向和汇集镜14倾斜。甚至更详细地，仍参考本发明的图1，从3D被摄体(图中未示出)发出的光作为具有左图像30a和右图像30b的3D左右图像对能够被人的左右眼观察到。左图像30a由左视镜12a接收，然后被左视镜12a反射向镜面14a，并且在镜面14a处被再次反射向输出镜16的左部区域。类似地，右图像30b也由右视镜12b接收，然后被右视镜12b反射向镜面14b，并且在镜面14b处被再次反射向输出镜16的右部区域。最后，从输出镜16以紧密地并排在一起的方式发送出3D左右图像对的左图像30a和右图像30b。结果，它们形成如图I所示的全像22。进一步详细地，仍参考本发明的图1，在左视镜12a和右视镜12b之间存在左右距离。所述左右距离作用为人的两只眼睛之间的距离，用于提供左图像和右图像之间的3D空间差。该距离能够是20mnT800mm。左视镜12a接收的图像30a是相对于左眼观察到的被摄体的图像。类似地，右视镜12b接收到的图像30b是相对于右眼观察到的被摄体的图像。图像22是来自左视镜12a和右视镜12b的左图像和右图像的组合，由此，其包括待由人的眼睛观察到的3D被摄体的全部3D信息。本发明的3D光学适配器的应用如图2所示。本发明的3D光学适配器10位于2D数字相机20的透镜的前方。2D数字相机20用于拍摄来自本发明图2所示的3D光学适配器10的输出图像。图像22是来自2D数字相机20内的数字式图像传感器的图像。再详细地参考图2和图3，由图2中的2D数字相机20的图像传感器捕获的图像22由左图像22a、右图像22b及位于图像22的中间区域的左右图像重叠区域22c构成，它们都示出在本发明的图3中。在本发明的图2和图3中的图像22的细节中，通过包括顺时针转动90°之后水平地翻转180°的光学图像处理，由3D光学适配器10从原始图像30a生成左图像22a;通过包括逆时针转动90°之后水平地翻转180°的类似的光学图像处理，由3D光学适配器10从原始图像30b生成右图像22b。现在参考本发明的图I至图3，左图像和右图像的90°图像转动对于提供2D数字图像传感器的显著的面积利用率是决定性的，因为该转动在形成如图3所示的最终图像22时保持了标准2D纵横比(B卩，16:9或者2:1)。左右图像的180°图像翻转对于提供直接向后的输出是决定性的，从而2D照相机能够如常地捕获它。两个视镜之间的角度也作用为人的眼睛的会聚。从而，调节任意侧视镜的角度将会调节会聚点。因此，图像22适于2D相机，并且其能够由2D相机以所设计的2D相机的方式有效地捕获。总结来说，图I中所示的图像22是2D相机适配的3D立体左右图像对(2DCameraSuitable3Dstereoscopicleft-rightimagepair)的示例,其在本发明中缩写为2CS3图像，中文简称为“2见3”图象。如先前所提到的，本发明的图2和图3中的、由2D数字相机20内的数字图像传感器捕获的图像22包括被摄体的全部3D信息。下面的说明将详细描述包括从图像22再生成左右3D数字图像对的相应数字处理方法。本发明中相应数字处理方法示例的详细说明。本发明中相应的数字处理通过2D数字相机中的微处理器的嵌入式固件/软件和/或ASIC/SoC来执行。现在更详细地参考本发明，在图4中存在数字图像22，由2D数字相机的数字图像传感器通过本发明的3D光学适配器捕获；左数字图像122a;和右数字图像122b。进一步更详细地参考图3至图4，3D数字左图像122a和右图像122b通过本发明的数字处理方法从数字图像22复原。数字图像22来自2D数字相机的数字图像传感器，由此，其总体上具有4:3的纵横比。图像22能够用以复原包括左图像122a和右图像122b的3D数字图像对。图3中所示的重叠区域22c被从复原的3D数字图像对中除去。并且复原的3D数字图像对被剪裁以使左图像或右图像均具有共同的纵横比(例如，16:9或者2:1)。在参考本发明的图5的又一细节中，示出了缓存在数字图像传感器或者缓冲存储器中的数字图像22。数字图像22包括三个数字图像区域；它们是左图像区域22a、右图像区域22b和重叠区域22c。剪裁数字处理通过所称的像素重定位(pixelrelocating)的方式数字化地剪裁图像。在进一步的细节中，现在参考图5，示出了剪裁数字图像处理方法的示例。左图像区域22a被剪裁为使得其全部的像素位于从图像22的左边缘(22ad-22ac)至竖直线(22ab-22aa)的区域中，使得左图像区域22a具有共同的纵横比(例如，16:9或者2:1)并且不会到达重叠区域22c;类似地，右图像区域22b被剪裁为使得其全部的像素位于从图像22的右边缘(22bc-22bd)至竖直线(22ba-22bb)的区域中，使得右图像区域22b具有共同的纵横比(例如，16:9或者2:1)并且不会到达重叠区域22c。该细节在图5中示出。在图5中，还存在两个数字图像存储区域用于复原数字图像，它们是复原图像区域122a和复原图像区域122b。更为详细地，图5示出了左数字图像复原处理方法使左图像逆时针转动90°，然后使图像水平地翻转180°;和右数字图像复原处理方法使右图像顺时针转动90°，然后使图像水平地翻转180°。复原数字图像处理方法通过所称的像素移动的方式进行数字化地图像转动和翻转。图5还示出了处理方法的示例细节，用以将左数字图像22a逐个像素地移动到122a和将右数字图像22b逐个像素地移动到122b，从而左图像被复原在122a中并且右图像被复原在122b中。在参考本发明的图5的更进一步的细节中，复原左图像的处理方法是将数字图像传感器或者缓冲存储器中的数字图像22的左数字图像区域22a中的全部像素值通过本发明的图5和图6中所示的数字图像处理移动到复原左数字图像存储区域122a。图6示出了示例性处理的流程图，其中使用本发明的3D光学适配器捕获的3D左数字图像22a被复原在复原左图像存储区域122a中。类似地，复原右图像的处理方法是将数字图像传感器或者缓冲存储器中的数字图像22的右数字图像区域22b中的全部像素值通过本发明的图5和图7中所示的数字图像处理移动到复原右数字图像存储区域122b。图7示出了示例性处理的流程图，其中使用本发明的3D光学适配器捕获的3D右数字图像被复原在复原左图像存储区域122b中。现在参考图8，存在复原3D数字左图像122a和右图像122b。传统的3D立体左右数字图像对被作为两个单独的传统2D数字图像保存和传送。左数字图像和右数字图像都以通常使用的2D格式并且以16:9(例如，1920X1080像素)或者2:1(1920X960像素)的纵横比被格式化。现在更为详细地参考本发明，在图9到图10中，2D数字相机传感器捕获的图像22中的图像22a和图像22b均来自2D数字相机20前方的同一个被摄体30(图中未示出)。关于2D数字相机20，图9至图10中的图像22a和图像22b在采光和距离方面具有相同的物理状态。所以在2D数字相机20中能够共享范围、焦距和曝光设定。参考本发明的图9，3D左取景/观察模式被引入到2D数字相机20中。在该模式中，IXD取景器/观察器24仅显示剪裁的左图像22a。并且3D数字图像对22将基于根据2D数字图像22a的范围、焦距和曝光设定来捕获。2D数字相机的当前内部处理如中心/多点自动对焦/曝光等是基于仅来自图像22a的信息。参考本发明的图10，3D右取景/观察模式也被引入到2D数字相机20中。在该模式中，IXD取景器/观察器24仅显示剪裁的右图像22b。并且3D数字图像对22将基于根据2D数字图像22b的范围、焦距和曝光设定来捕获。2D数字相机的当前内部处理如中心/多点自动对焦/曝光等是基于仅来自图像22b的信息。现在更详细地参考本发明，在图11中，其示出了2D数字式相机与本发明的3D光学适配器之间的物理关系。如果2D数字式相机的镜头足够大而具有标准的图片照相机滤·镜安装螺纹，例如是DSLR，则本发明的3D光学适配器10能够用螺纹接口直接安装在该镜头上。现在更详细地参考本发明，在图11中，其清楚地示出本发明的3D光学适配器10被设计成配合在2D数字式相机的前方而不阻碍在2D数字相机的主体上配置的检测器和闪光灯。这是因为本发明的3D光学适配器的主体位于2D数字相机的镜头下方的较低高度上。现在参考本发明的图12，其示出推荐的安装支架50被应用以将常用的小型2D数字式相机20与本发明的3D光学适配器连接。将3D光学适配器安装到2D照相机的方式并不是确定的，使得3D光学适配器的安装方法能够根据各个2D数字式相机的尺寸和形状而变化。现在更详细地参考本发明，在图13中，其揭示了对称式竖直左右3D数字图像原格式(SymmetricalVerticalLeft-Right3Ddigitalimagerawformat),该格式在本发明中被缩写为SVLR原格式，中文简称为“三维乐”原格式。在图13中是复原的3D左数字图像122a和复原的右数字图像122b。与传统的3D图像格式不同，本发明的图13中的“三维乐”原格式100和200通过将左图像122a定位于3D数字图像的上半部并且将右图像122b定位于3D数字图像的下半部而构成。另外，左图像122a还被上下颠倒，结果由于左图像和右图像的类似性而使“三维乐”格式化后的3D立体数字图像几乎竖直地对称，最终在“三维乐”格式化之后的输出3D数字图像如图13的100和200所示。本发明中的“三维乐”原格式是2D可兼容的原格式并且被设计用于存储和传送作为整幅2D图像的3D立体左右数字图像对。“三维乐”原格式将左图像和右图像中类似的顶部区域合并在一起，从而显著地提高基于离散余弦变换(DCT)(例如，JPEG)的算法的压缩率。并且“三维乐”原格式还提高了图像序列(例如，数字视频)的图像之间的相似性，由此还显著地降低了以常用的2D流技术编码(例如，MEPG)的数字视频流的比特率。现在参考图13，存在复原的3D数字左图像122a和右图像122b。3D立体左右数字图像对以本发明的“三维乐”原格式100和200被格式化。图13示出“三维乐”支持不同的纵横比。图13中的100是“三维乐”16:9格式，其由左图像和右图像构成，并且左图像和右图像均采用16:9(例如，1920X1080像素)的纵横比。图13中的200是“三维乐”2:1格式，其由左图像和右图像构成，并且左图像和右图像均采用2:1(例如，1920X960像素)的纵横比。在参考本发明的图14至图16的进一步的细节中，提供了“三维乐”格式化的示例性处理方法通过如本发明的图14至图16所述的数字图像处理方法，将数字图像传感器或缓冲存储器中的数字图像22的数字左图像区域22a和右图像22b中的全部像素值移动到“三维乐”数字图像存储区域100中。本发明的优点是清楚和显著的。基于本发明的产品将简便和低成本地提供3D功能，并且本发明巧妙的3D光学适配器和相应的复原数字图像处理方法的组合使得2D数字式相机能够以2D数字相机技术完全兼容的方式拍摄3D数字图像。本发明是实用的、不昂贵的并且易于安装到传统的2D数字相机。另外，本发明中展示的2D相机适配的3D图像，即“2见3”图像对于以2D相机捕获3D图像几乎是完美的；并且，本发明中展示的对称式竖直左右原格式，即“三维乐”原格式，使得2D数字图像处理技术如JEPG、MPEG等应用于3D立体数字图像成为高效可行。因此，基于本发明的产品易于迅速普及。虽然在特别的实施方式中已经说明了本发明，但本发明并不因此局限于上述的实施方式、方法和示例，而是限定于在本发明的根据如下权利要求的范围和精神内的全部实施方式和方法。权利要求1.一种数字相机的3D适配器及相应处理方法的组合装置，包括a.适配器装置，能够实现光学处理方法并生成2D相机适配的3D光学图像；b.2D数字相机装置，具有更新固件而能实现本发明的数字处理方法并实现附带的3D立体功能；c.所述适配器装置被附于所述2D数字相机装置之上并被用于附带的3D立体功能。2.一种同步光学处理方法能够将现实的3D立体左右图像对转换为2D相机适配的3D光学图像；该同步光学处理方法包括a.使左图像向其原始右方平移一个预定距离；b.使右图像向其原始左方平移一个预定距离；c.使左图像顺时针旋转一个预定角度；d.使右图像逆时针旋转一个预定角度；e.使左图像绕其原始竖直轴翻转一个预定角度；f.使右图像绕其原始竖直轴翻转一个预定角度；g.使左图像向其原始上方平移一个预定距离；h.使右图像向其原始上方平移一个预定距离；由此，3D立体左右光学图像对将被转换为特别的光学图像，并且这个特别的光学图像能够由一个2D数字相机作为通常的2D图像来直接捕获。3.一种数字图像处理方法能够将3D立体左右数字图像对格式化为对称式竖直左右原格式数字图像，该数字处理方法包括a.提供由上半部和下半部构成的对称式竖直左右原格式数字图像存储区域，以存储其处理结果；b.使3D立体左右数字图像对的任一左或右图像绕其水平轴线翻转以使其上下颠倒；c.将颠倒的图像存储在所述对称式竖直左右原格式数字图像存储区域的任一上或下半部中；d.将3D立体左右数字图像对中另一未颠倒的图像存储在所述对称式竖直左右原格式数字图像存储区域的另半部中；由此，所述对称式竖直左右3D立体数字图像对被形成为一个完整的单个原图像，并有利于使用通常的2D数字图像技术来进一步格式化从而保存、处理和传送。4.根据权利要求I所述一种数字相机的3D适配器及相应处理方法的组合装置，其中所述能够生成及格式化3D立体左右数字图像对的相应处理方法，该处理方法其特征是a.数字剪裁一个由所述的数字相机获取的2D相机适配的3D数字图像，并处理成具有预定的通常2D图像纵横比的一个左图像及一个右图像；由此，3D立体左右数字图像对将被处理成为具有通常的2D纵横比，并且存在于2D相机适配的3D数字图像中间的重叠区也在处理中被除去；b.数字复原剪裁后的左图像，包括将其逆时针旋转90度接水平翻转180度；数字复原剪裁后的右图像，包括将其顺时针旋转90度接水平翻转180度；由此，3D立体左右数字图像对的左右数字图像将被分别复原；c.格式化复原的3D立体左右数字图像对为一个数字原格式图像，如，权利要求3所述的对称式竖直左右原格式图像。5.根据权利要求I所述的数字相机装置，其中所述的适配器，进一步包括a.左视镜装置，其特征是获取3D立体左右光学图像对的左图像，并且向其右侧传送;b.右视镜装置，其特征是获取3D立体左右光学图像对的右图像，并且向其左侧传送；c.汇集镜装置，其特征是汇集来自左视镜装置和右视镜装置的左图像及右图像，然后将二者拼合并平行地向其原始上方传送；d.输出镜装置，其特征是接收来自所述汇集棱镜装置的图像，将其上下翻转，并且向其所来方向的反方向输出；由此，如权利要求2所述的同步光学处理方法得以实现，从而产生了2D相机适配的3D光学图像。6.根据权利要求5所述的适配器装置，其中所述汇集镜装置是直角镜装置，进一步包括a.左汇集镜面装置，其特征是其为所述直角镜装置的左垂直镜面装置，能够汇集来自所述左视镜装置的左图像，将其顺时针旋转90度左右，并且向其原始上方传送；b.右汇集镜面装置，其特征是其为所述直角镜装置的右垂直镜面装置，能够汇集来自所述右视镜装置的右图像，将其逆时针旋转90度左右，并且向其原始上方传送。7.根据权利要求5所述的适配器装置，其中所述左视镜装置和所述右视镜装置，其特征是被放置以形成两个视角，其一为位于左视镜装置与前方之间的左视角，而另一为位于右视镜装置与前方之间的右视角，此二视角可设置为a.二着均固定为一个在45度左右的预定角度，b.二着均为可调角度，用以调整左右视场的聚汇，或者，c.其一固定为一个在45度左右的预定角度，而另一为可调角度，从而实现了一个单侧调节会聚功能。8.根据权利要求5所述的适配器装置，其中所述左视镜装置和所述右视镜装置，其特征是被放置以形成一个左右距离，其为所述左视镜的光学中心和所述右视镜的光学中心之间的距离，该距离用于提供左右图像差，该距离可为a.一个固定在65mm左右的预定距离，或者，b.一个在预定范围可调的距离。全文摘要本发明是一种用于安装和更新到传统2D数字相机的3D光学适配器及相应处理方法的组合，以使2D数字相机兼有3D功能。其3D适配器是由视镜将现实3D左和右图象同时传给汇集镜以拼合并传给输出镜以输出本发明所揭示的“2见3”图像给其适配的更新有相应数字处理方法的2D数字相机；其相应处理方法包括剪裁、复原以及本发明所揭示的“三维乐”格式化。以本发明制造或更新的数字相机产品不仅具有2D功能，还能用完全与2D兼容的方式捕获、存储和传送3D数字图像及视频。文档编号G02B27/22GK102944967SQ20111040065公开日2013年2月27日申请日期2011年12月6日优先权日2010年12月16日发明者安文歌申请人:安文歌