专利名称：用于提供3d增强现实图像的设备和方法
技术领域：
以下描述涉及增强现实(AR)数据和用于提供三维(3D)AR图像的图像处理技术。
背景技术：
AR是将虚拟对象或信息叠加到实际环境以仿佛在其原始环境中显示虚拟对象等的计算机图形技术。与仅用于虚拟空间和对象的常规虚拟现实不同，AR将虚拟对象叠加到真实世界，由此额外提供从真实世界难以得到的补充信息。由于这种特点，与仅能应用于诸如视频游戏的有限领域的常规虚拟现实不同，AR能够被应用在各种真实环境中。特别地，AR已经采用聚光灯作为适用于普遍存在的环境的下一代显示技术。常规地，AR将使用标签或标记的虚拟对象叠加到从一个摄像机输入的图像，从而提供没有图像立体感或深度的二维OD)图像。
发明内容
本发明的示例性实施方式提供一种3D AR图像系统以及用于提供3DAR图像的方法。本发明的其他特征将在以下描述中提出，且通过该描述中，部分其他特征将显而易见，或通过本发明的实践了解这些特征。本发明的示例性实施方式提供了用于提供三维(3D)增强现实(AR)、图像的设备，其包括图像获取器，用于获得包含对象的图像；以及图像处理器，其用于计算关于所述对象的3D位置信息，获得对应于所述对象的AR数据，根据所计算的3D位置信息转换AR数据，并使用转换后的AR数据和所获得的图像来生成3D AR图像。本发明的示例性实施方式提供了用于提供3D AR图像的图像处理器，其包括3D位置信息计算器，用于计算关于包含在图像中的对象的3D位置信息AR数据转换器，用于获取对应于对象的AR数据，并根据所生成的3D位置信息转换AR数据；以及AR图像生成器，用于使用转换后的AR数据和所获得的图像来生成3D AR图像。本发明的示例性实施方式提供了用于提供3D AR图像的方法，该方法包括获得包含对象的图像；计算所述对象的3D位置信息；获得对应于所述对象的AR数据，根据所述3D位置信息转换AR数据，使用转换后的AR数据和所获得的图像来生成3D AR图像；以及显示所生成的3D AR图像。可以理解，以上概述以及以下的详细描述是示例性和解释性的并用于提供对所要求保护的发明的进一步解释。从以下详细描述、附图以及权利要求中可以明白其他特征和方面。
被包括以提供对本发明的进一步理解并被结合并构成说明书的一部分的附图示出了本发明的实施方式，且与文字描述一起用于解释本发明的原理。图1是示出根据本发明的示例性实施方式的用于提供3D AR图像的设备的框图；图2是示出根据本发明的示例性实施方式的图像处理器的框图；图3示出了根据本发明的示例性实施方式的用于计算3D位置信息的示意图；图4示出了根据本发明的示例性实施方式的用于生成3D AR图像的过程；图5是示出根据本发明的示例性实施方式的用于提供3D AR图像的方法的流程图；图6示出了根据本发明的示例性实施方式的用于获得对象的距离的原理。
具体实施例方式下面参照附图对本发明作更全面的描述，其中示出了本发明的示例性实施方式。但是本发明可以以多种不同形式体现并不应当理解为限于这里提出的实施方式。而是提供这些示例性实施方式以使得公开充分并向本领域技术人员充分表达本发明的范围。在整个附图和具体描述中，除非另有说明，相同的附图标记理解为指示相同的元件、特征和结构。为了清晰、图示以及方便，这些元件的相对尺寸和描绘可以被放大。图1是示出了根据本发明的示例性实施方式的用于提供3D AR图像的设备的框图。如图1所示，用于提供3D AR图像的设备100可以被应用于各种类型的能够显示3D图像的设备。作为示例，用于提供3D AR图像的设备100可以被应用于配备有摄像机模块和显示模块的智能电话。而且，如果以三维方式显示图像，则设备100可以将图像中的特定对象与该对象的AR数据一起显示。作为示例，当设备100拍摄树并显示该树时，包括该树的名称、主要产地、生态特性等的AR数据可以以三维的方式与该树的图像一起被显示。在3D图像显示方法中，可以使用任意的眼镜方法和非眼镜方法。在非眼镜方法中，可以使用视差屏障方法和两面凸动屏幕方法。在一个示例中，设备100包括图像获取器101、图像处理器102、图像显示器103、传感器104以及AR数据存储器105。图像获取器101获得包含对象的图像。图像获取器101可以是摄像机或图像传感器。图像处理器102处理从图像获取器101获得的图像并生成3DAR图像。更具体地，图像处理器102从该图像检测对象，计算该对象的3D位置信息，获得对应于该对象的AR数据，并将所获得的AR数据叠加到所获得的图像上以生成3D AR图像。图像处理器102可以是图像信号处理器(ISP)或在ISP中执行的软件模块。图像显示器103显示所生成的3D AR图像。传感器104测量图像的方向角、当前位置、当前时间等中的一者或多者。传感器104可以包括全球定位系统(GPQ传感器、加速度传感器和地磁传感器中的至少一者。最后，AR数据存储器105存储对应于对象的AR数据。该AR数据存储器105可以被包括在设备100中，或可以在设备100之外被建立以经由通信网络与设备100连接。
作为示例，图像获取器101可以包括用于拍摄左图像的第一摄像机和用于拍摄右图像的第二摄像机，以生成3D图像。图像处理器102将由第一摄像机获得的左图像与由第二摄像机获得的右图像进行结合并显示结合后的3D图像。在一个示例中，图像处理器102可以从图像检测对象。该对象可以是人、物或标记。图像处理器102可以基于对象检测算法来检测对象。此外，有可能使用传感器104所测量的图像的方向角、当前位置、当前时间等中的一者或多者来选择性地从图像检测对象。此外，图像处理器102可以计算关于包含在图像中的对象的3D位置信息。该3D位置信息可以包括关于对象与设备100之间的距离的信息。因此，当图像中存在两个对象且这两个对象位于不同的位置时，每个对象可以具有其自身的3D位置信息。诸如对象的距离的3D位置信息可以用各种方式来计算。在一个示例中，图像获取器101可以包括以预定间隔安装的第一摄像机和第二摄像机，用于获得3D图像。图像处理器102可以获得第一摄像机与第二摄像机之间的间隔以及第一摄像机和第二摄像机拍摄对象的角度。基于所获得的信息，图像处理器102可以使用基础三角函数来计算对象的距离。图6示出了根据本发明的示例性实施方式的用于获得对象的距离的方法。如图6所示，使用结合了左摄像机和右摄像机(就像人眼)的立体摄像机来计算对象的距离。作为示例，左摄像机位于点C，右摄像机位于点C'。可以从左摄像机获得第一图像601，可以从右摄像机获得第二图像602。一旦获得这两个图像，可以根据以下等式来计算第一图像601或第二图像602到特定点M的距离。ζ = (B/d) *F作为示例，ζ表示沿与第一轴垂直的第二轴测量的点M离第一轴(点C和点C'穿过该第一轴)的距离。B表示点C和点C'之间的距离，d表示在各自图像中的点M的坐标之间的偏差(即，&与)(2之间的偏差)，以及F表示摄像机镜头的焦距。B可以被给定为常数或可以被测量，可以使用差值平方和(SSD)方法来计算d，可以根据摄像机镜头来确定F。因此，可以使用两个图像来计算点M的距离ζ。在计算对象的距离的另一个示例中，图像获取器101可以包括以预定间隔安装的第一摄像机和第二摄像机。每个摄像机可以装配有自动对焦功能。图像处理器102可以使用在第一摄像机和第二摄像机自动调节其焦点时所获得的焦距和第一摄像机和第二摄像机之间的间隔来计算对象的距离。此外，图像处理器102可以根据对应的对象的3D位置信息来转换AR数据，并将转换后的AR数据叠加到所获得的图像上，以生成将在图像显示器103显示的3D AR图像。在一个示例中，存储在AR数据存储器105中的第一对象的AR数据和第二对象的AR数据可能没有距离或空间信息。因此，当图像处理器102将AR数据叠加到图像上时，第一对象和第二对象可以被显示，其中第一对象被显示得比第二对象近，但是第一对象和第二对象不可以以三维的方式被显示为具有xyz维度的对象。出于这个原因，图像处理器102可以根据对应的对象的3D位置信息来转换AR数据并将转换后的AR数据叠加到所获得的图像以生成3DAR图像，使得AR数据以三维方式与对象一起被显示。因此，设备100根据对应的对象的3D位置信息转换AR数据，然后将转换后的AR数据叠加到图像上，能够以三维方式向用户提供AR图像。
图2是示出了根据本发明的示例性实施方式的图像处理器的框图。在一个示例中，如图2所示的图像处理器102包括3D位置信息计算器201、AR数据转换器202、AR图像生成器203以及对象检测器204。对象检测器204在所获得的图像中检测感兴趣对象。对象检测器204可以以多种方式中的一种方式从图像中检测对象。例如，对象检测器204可以在感测信息(例如，当前位置、当前时间、拍摄方向中的一者或多者)的帮助下在图像中指定特定区域，并在指定的特定区域中检测对象。在一个示例中，存在第一对象和第二对象，其中在所获得的图像中，第二对象所处的位置比第一对象远。3D位置信息计算器201计算关于所检测的对象的3D位置信息。作为示例，3D位置信息计算器201可以使用获得对象的左图像的第一摄像机与获得对象的右图像的第二摄像机之间的间隔来计算对象的距离。3D位置信息计算器201还可以计算第一摄像机和第二摄像机的聚焦方向(focal direction) 0作为示例，3D位置信息计算器201可以使用所测量的第一摄像机和第二摄像机之间的间隔和摄像机的自动对焦功能来计算对象的距离。因此，3D位置信息计算器201可以通过获得第一对象和第二对象的距离来识别出第二对象比第一对象远。AR数据转换器202获得对应于第一对象的第一对象AR数据和对应于第二对象的第二对象AR数据。例如，AR数据转换器202可以通过从AR数据存储器105中提取出相关信息来获得AR数据。一旦获得AR数据，AR数据转换器202根据关于这两个对象的3D位置信息，对第一对象AR数据和第二对象AR数据进行转换。因此，在最终的3D图像中还可以三维显示AR数据。例如，如果第一对象比第二对象近，则AR数据转换器202可以转换图像，使得第一对象AR数据位于第二对象AR数据的前面。单独在第一对象的方面，可以分开生成将被叠加在第一摄像机的左图像上的第一对象的第一 AR数据和将被叠加在第二摄像机的右图像上的第一对象的第二 AR数据。AR图像生成器203将转换后的AR数据叠加在所获得的图像上，以生成3D AR图像。例如，AR图像生成器203可以将第一对象的第一 AR数据叠加在第一摄像机的左图像上并将第一对象的第二 AR数据叠加在第二摄像机的右图像上，以分别产生增强的左和右图像。然后增强的左图像和右图像被结合以生成最终的3D AR图像。图3示出了根据本发明的示例性实施方式的用于计算3D位置信息的示意图。图3所示的示意图描述了由第一摄像机301和第二摄像机302拍摄包含第一对象303和第二对象304的空间时获得关于第一对象303和第二对象304的3D位置信息的方法。参考图3，在一个示例中，图像获取器101包括第一摄像机301和第二摄像机302。第一摄像机301和第二摄像机302之间的间隔可以是固定的。为了生成3D图像，图像获取器101使用第一摄像机301采集第一对象303和第二对象304的左眼图像，使用第二摄像机302采集第一对象303和第二对象304的右眼图像。作为一个示例，第一摄像机301和第二摄像机302同时拍摄同一个对象(例如，第一对象30 ，从而第一摄像机301和第二摄像机302的拍摄方向可以被调整。换句话说，如果由两个摄像机拍摄第一对象303，则有可能获得第一摄像机301的拍摄方向θ 第二摄像机302的拍摄方向θ2。由于第一摄像机301与第二摄像机302之间的间隔d是固定的，因此可以使用θ ρ θ 2和d来计算第一对象303的距离Lm。
7
作为一个示例，如果第一摄像机301和第二摄像机302配备有自动对焦功能并拍摄同一个对象，则可以计算和f2的拍摄距离。更具体地，通过使用具有自动对焦功能的两个摄像机来拍摄同一个对象，可以计算出第一对象303与第一摄像机301之间的拍摄距离和第一对象303与第二摄像机302之间的拍摄距离f2。如上所述，由于第一摄像机301 与第二摄像机302之间的间隔可以是固定的，因此可以使用f\、f2以及d来计算第一对象 303的距离Lm0可以以与上述确定距离Lm的相同的方式来计算第二对象304的距离Ln。此外，第二对象304相对于的第一对象303的相对距离(即，第二对象304比第一对象近还是远) 可以在不用计算绝对距离Ln的情况下选择性地被获得。可通过将第一对象303和第二对象304相对于第一摄像机301和第二摄像机302 的聚焦距离和角度进行比较来确定第二对象304相对于第一对象303的相对距离。例如， 可通过将第一对象303与第一摄像机301之间的聚焦距离和角度θ工与第二对象304与第一摄像机301之间的聚焦距离和角度进行比较来确定第二对象304相对于第一对象303 的相对距离。在另一示例中，可通过将第一对象303与第二摄像机302之间的聚焦距离f2 和角度θ 2与第二对象304与第二摄像机302之间的聚焦距离和角度进行比较来确定第二对象304相对于第一对象303的相对距离。在图3中，为了方便，仅参照两个对象303和304进行公开。但是，本领域技术人员可以理解，相同的方法可以应用于仅一个对象，或两个以上的对象。例如，通过使用传感器104的感测信息，可以确定哪个对象是从所获得的图像提取的感兴趣对象。因此，图3中公开的方法可以应用于两个以上的多个对象。图4示出了根据本发明的示例性实施方式的用于生成3D AR图像的过程。参考图4，在一个示例中，左眼图像401和右眼图像402可以用于生成3D图像。可以由图像获取器101的第一摄像机301采集左眼图像401，由图像获取器101的第二摄像机 302采集右眼图像402。如图4所示，左眼图像401和右眼图像402都包含第一对象403和第二对象404。 在一个示例中，第一对象403是比由教堂表示的第二对象404要近的树。一旦获得左眼图像401和右眼图像402，图像处理器102可以通过使用如图3所示的方法来获得关于第一对象403和第二对象404的3D位置信息(例如距离或位置坐标)。使用图3中规定的方法， 可以计算第一对象403和第二对象404的绝对距离。可替换地，一个对象可以被设置为参考对象，且可以相对于该参考对象来计算另一个对象的相对距离。在一个示例中，如果第一对象403和第二对象404的3D位置信息被获得，则图像处理器102可以从AR数据存储器105中提取出AR信息。由此，与第一对象403有关的AR 数据405和与第二对象404有关的AR数据406可以从AR数据存储器105提取出来。一旦提取出AR数据405和406，图像处理器102根据对应的对象403和404的3D 位置信息，分别对AR数据405和406进行转换。由于第一对象403位于第二对象404前面， 因此对AR数据405和406转换，以使得第一对象403的AR数据405位于第二对象404的 AR数据406的前面。在一个示例中，就第一对象403的AR数据405而言，分开生成增强的图像407上的第一 AR数据405-1和增强的图像408上的第二 AR数据405-2。一旦转换了 AR数据405和406，图像处理器102将转换后的AR数据405-1、405-2、406-1和406-2叠加到各自的图像401和402上。更具体地，就第一对象403的AR数据405 而言，AR数据405-1被叠加到左眼图像401上，作为增强的图像407，而第二 AR数据405-2 被叠加到右眼图像402上，作为增强的图像408。类似地，就第二对象404的AR数据406而言，AR数据406-1被叠加到左眼图像401上，作为图像407，而第二 AR数据406-2被叠加到右图像402上，作为图像408。进一步地，在一个示例中，就第一对象403的AR数据405而言，第一 AR数据405-1和第二 AR数据405-2可以被分开生成。然后将增强的图像407和 408结合，以形成最终的3D图像409。在所生成的3D图像409中，第一对象403被显示在第二对象404的前面，且第一对象403的AR数据405被显示在第二对象404的AR数据406的前面。在3D图像409中， 均基于左眼图像401和右眼图像402来生成对象403和404以及AR数据405和406，由此这里的“前面”或“后面”不是表示二维远景，而是表示3D图像中的“前面”或“后面”。图5是示出根据本发明的示例性实施方式的用于提供3D AR图像的方法的流程图。该方法可以由如图1所示的用于提供3D AR的设备100来执行。将参考图1和图5来描述根据该示例性实施方式的方法。首先，获得包含对象的图像(操作501)。例如，图像获取器101可以获取对象的左图像和右图像。在获得图像之后，计算关于包含在图像中的对象的3D位置信息(操作502)。例如，图像处理器102可以使用图3所示的方法来测量对象的距离。在计算3D位置信息之后，对应于对象的AR数据被提取并根据所计算的3D位置信息而被转换(操作503)。一旦AR数据被转换，使用转换后的AR数据和所获得的图像来生成3DAR图像(操作504)。在一个示例中，图像处理器102可以将第一 AR数据叠加到左图像上并将第二 AR 数据叠加到右图像上，以产生增强的左图像和右图像。通过将增强的左图像和右图像进行结合，可以生成3D AR图像。在生成了 3DAR图像之后，显示所生成的3DAR图像(操作505)。在一个示例中，如果所生成的AR图像包含第一对象和第二对象，其中第二对象所处的位置比第一对象远，则图像显示器103可以显示3D AR图像，使得对应于第一对象的AR数据比对应于第二对象的 AR数据近。如上所述，所公开的设备和方法根据对象的3D位置信息提供AR数据，由此可以实施真实3D AR。同时，本发明的示例性实施方式可以被体现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质包括存储计算机系统可读的数据的各种记录装置。可以由具有处理器和存储器的计算机来执行计算机可读代码。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、(光盘)CD-ROM、磁带、软盘、光学数据存储装置以及载波(例如，通过因特网的数据传输)。计算机可读记录介质可以分布在网络连接的计算机系统上，由此可以以分布方式存储并执行计算机可读代码。本领域的计算机编程人员可以很容易地导出实现本发明所需的功能程序、 代码和代码段。本领域技术人员可以明白，在不偏离本发明的实质和范围的情况下，可以对本发明进行各种修改和变形。因此，本发明应当涵盖在所附权利要求及其等同的范围内所提供的本发明的修改和变形。
权利要求
1.一种用于提供三维(3D)增强现实(AR)图像的设备，该设备包括图像获取器，用于获得包含对象的图像；以及图像处理器，用于计算所述对象的3D位置信息、获得对应于所述对象的AR数据、根据所述3D位置信息转换所述AR数据、并使用转换后的AR数据和所述图像来生成3D AR图像。
2.根据权利要求1所述的设备，其中，所述图像获取器包括用于获得所述对象的第一图像的第一摄像机；以及用于获得所述对象的第二图像的第二摄像机。
3.根据权利要求2所述的设备，其中，所述图像处理器使用所述第一图像和所述第二图像来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用该距离信息来计算所述3D位置信息。
4.根据权利要求2所述的设备，其中，所述图像处理器使用所述第一摄像机或所述第二摄像机的自动对焦功能来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用该距离信息来计算所述3D位置信息。
5.根据权利要求2所述的设备，其中，所述图像处理器基于所述3D位置信息来生成将被叠加到所述第一图像上的第一 AR数据和将被叠加到所述第二图像上的第二 AR数据、将所生成的第一 AR数据叠加到所述第一图像上以形成增强的第一图像、并将所生成的第二AR数据叠加到所述第二图像上以形成增强的第二图像、然后通过结合所述增强的第一图像和所述增强的第二图像来生成所述3DAR图像。
6.根据权利要求5所述的设备，其中，所生成的3DAR图像包括第一对象和位于比该第一对象远的位置的第二对象。
7.根据权利要求6所述的设备，其中，对应于所述第二对象的AR数据位于比对应于所述第一对象的AR数据远的位置。
8.根据权利要求1所述的设备，该设备还包括传感器，该传感器包括全球定位系统(GPQ传感器、加速度传感器、或地磁传感器。
9.根据权利要求8所述的设备，其中，所述图像处理器使用所述传感器的感测信息来在所获得的图像中指定一区域，并在该指定的区域中检测所述对象。
10.根据权利要求1所述的设备，该设备还包括用于显示所述3DAR图像的图像显示ο
11.一种用于提供三维(3D)增强现实(AR)图像的图像处理器，该图像处理器包括3D位置信息计算器，用于计算包含在图像中的对象的3D位置信息；AR数据转换器，用于获得对应于所述对象的AR数据，并根据所述3D位置信息转换所述AR数据；以及AR图像生成器，用于使用转换后的AR数据和所获得的图像来生成3DAR图像。
12.根据权利要求11所述的图像处理器，其中，所述3D位置信息计算机使用由第一摄像机所获得的所述对象的第一图像和由第二摄像机所获得的所述对象的第二图像来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用所获得的距离信息来计算所述3D位置信息。
13.根据权利要求11所述的图像处理器，其中，所述3D位置信息计算器使用用于获得所述对象的第一图像和第二图像的摄像机的自动对焦功能来获得所述对象与所述摄像机之间的距离的距离信息，并使用所获得的距离信息来计算所述3D位置信息。
14.根据权利要求11所述的图像处理器，其中，所述AR数据转换器基于所述3D位置信息，生成将被叠加到所述对象的第一图像上的第一 AR数据，并生成将被叠加到所述对象的第二图像上的第二 AR数据。
15.根据权利要求14所述的图像处理器，其中，所述AR图像生成器将所述第一AR数据叠加到所述第一图像上、将所述第二 AR数据叠加到所述第二图像上、并使用增强的第一图像和第二图像来生成所述3D AR图像。
16.一种用于提供三维(3D)增强现实(AR)图像的方法，该方法包括获得包含对象的图像；计算所述对象的3D位置信息；获得对应于所述对象的AR数据；根据所述3D位置信息转换所述AR数据；使用转换后的AR数据和所获得的图像来生成3DAR图像；以及显示所生成的3D AR图像。
17.根据权利要求16所述的方法，其中，所述图像的获得包括获得所述对象的第一图像和第二图像。
18.根据权利要求17所述的方法，其中，计算所述3D位置信息包括使用由第一摄像机所获得的所述第一图像和由第二摄像机所获得的所述第二图像来获得关于所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用所获得的距离信息来计算所述3D位置信息。
19.根据权利要求17所述的方法，其中，计算所述3D位置信息包括使用用于获得所述第一图像和所述第二图像的摄像机的自动对焦功能来获得关于所述对象与所述摄像机之间的距离的距离信息，并使用所获得的距离信息来计算所述3D位置信息。
20.根据权利要求17所述的方法，其中，转换所述AR数据包括基于所述3D位置信息，生成将被叠加到所述第一图像上的第一 AR数据，并生成将被叠加到所述第二图像上的第二 AR数据。
21.根据权利要求20所述的方法，其中生成所述3DAR图像包括将所述第一AR数据叠加到所述第一图像上、将所述第二 AR数据叠加到所述第二图像上、并使用增强的第一图像和第二图像来生成所述3D AR图像。
22.根据权利要求16所述的方法，其中显示所述AR图像包括显示所述3DAR图像，以使得如果所生成的AR图像包括第一对象和第二对象，其中该第二对象位于比所述第一对象远的位置，则对应于所述第一对象的AR数据被显示得比对应于所述第二对象的AR数据近。
全文摘要
提供了用于提供三维(3D)增强现实(AR)图像的设备，其包括用于获得包含对象的图像的图像获取器；以及图像处理器，其用于计算关于所述对象的3D位置信息，获得对应于所述对象的AR数据，根据所计算的3D位置信息转换AR数据，并使用转换后的AR数据和所获得的图像来生成3DAR图像。另提供了一种用于提供3D AR图像的方法，该方法包括获得包含对象的图像；计算所述对象的3D位置信息；获得对应于所述对象的AR数据；根据所述3D位置信息转换所述AR数据；使用转换后的AR数据和所获得的图像来生成3DAR图像；以及显示所生成的3D AR图像。
文档编号H04N13/00GK102395036SQ201110175680
公开日2012年3月28日 申请日期2011年6月24日 优先权日2010年6月30日
发明者朴宣泂 申请人:株式会社泛泰