增强现实中的对象对准的制作方法
【专利摘要】增强现实中的对象对准。本发明大体上描述了用于在增强现实中对准对象的技术。在一些示例中，处理器可以适于：接收检测到的图像数据和虚拟对象数据。在一些示例中，所述处理器还可以适于：基于所述虚拟对象数据和检测到的图像数据来产生权重，并在强度和特征级别上，将权重应用于对数似然率函数。在一些示例中，所述处理器还可以适于：将强度级别上的加权对数似然率函数与特征级别上的加权对数似然率函数相加，以产生代价函数。在一些示例中，所述处理器还可以适于：基于所述代价函数，确定可以用于对准检测到的图像数据与虚拟对象数据的变换参数。
【专利说明】增强现实中的对象对准
[0001]本申请是申请号为201180004866.4、国际申请号为PCT/US2011/025040、申请日为2011年2月16日、发明名称为“增强现实中的对象对准”的发明专利申请的分案申请。
【技术领域】
[0002]本发明涉及增强现实中的对象对准。
【背景技术】
[0003]除非本文中另行指示，否则在本节中描述的材料对于本申请的权利要求不是现有技术，且并不通过将其包括在本节中而认可其是现有技术。
[0004]在增强现实系统中，使用由计算设备产生的附加信息来提升或增强用户对真实世界的视野。通过提供给用户的显示器，用户可以看到在关注场景中放在实际对象上的虚拟几何形状对象。此外，可以添加并在显示器上显示与实际对象有关的非几何形状虚拟信息。
【发明内容】
[0005]一种用于将第一图像数据与第二图像数据进行对准的方法，所述方法包括:接收第一图像数据，其中，所述第一图像数据涉及第一图像；接收第二图像数据，其中，所述第二图像数据涉及第二图像；基于所述第一图像数据和所述第二图像数据产生强度级别函数；基于所述第一图像数据和所述第二图像数据产生特征级别函数；对所述强度级别函数应用第一权重以产生加权强度级别函数；对所述特征级别函数应用第二权重以产生加权特征级别函数；将所述加权强度级别函数与所述加权特征级别函数进行组合以产生代价函数；以及基于所述代价函数确定针对所述第一图像数据的变换参数，其中，所述变换参数被实现为将所述第一图像数据与所述第二图像数据对准。
[0006]一种用于将第一图像数据与第二图像数据进行对准的装置，所述装置包括:用于接收第一图像数据的装置，其中，所述第一图像数据涉及第一图像；用于接收第二图像数据的装置，其中，所述第二图像数据涉及第二图像；用于基于所述第一图像数据和所述第二图像数据产生强度级别函数的装置；用于基于所述第一图像数据和所述第二图像数据产生特征级别函数的装置；用于对所述强度级别函数应用第一权重以产生加权强度级别函数的装置；用于对所述特征级别函数应用第二权重以产生加权特征级别函数的装置；用于将所述加权强度级别函数与所述加权特征级别函数进行组合以产生代价函数的装置；以及用于基于所述代价函数确定针对所述第一图像数据的变换参数的装置，其中，所述变换参数被实现为将所述第一图像数据与所述第二图像数据对准。
[0007]—种用于在增强现实中将第一图像数据与第二图像数据进行对准的系统，所述系统包括:用于检测第一图像数据并发送所述第一图像数据的装置，其中，所述第一图像数据涉及实际对象；用于接收所述第一图像数据的装置，其中，所述第一图像数据涉及第一图像；用于接收第二图像数据的装置，其中，所述第二图像数据涉及第二图像；用于基于所述第一图像数据和所述第二图像数据产生强度级别函数的装置；用于基于所述第一图像数据和所述第二图像数据产生特征级别函数的装置；用于对所述强度级别函数应用第一权重以产生加权强度级别函数的装置；用于对所述特征级别函数应用第二权重以产生加权特征级别函数的装置；用于将所述加权强度级别函数与所述加权特征级别函数进行组合以产生代价函数的装置；用于基于所述代价函数确定针对所述第一图像数据的变换参数的装置，其中，所述变换参数被实现为将所述第一图像数据与所述第二图像数据对准；用于使用所述变换参数将所述第一图像数据与所述第二图像数据对准以产生增强图像的装置；以及用于在显示器上显示所述增强图像的装置，其中，所述显示器上的所述增强图像表示增强现实系统中的虚拟对象。
[0008]一种用于将第一图像数据与第二图像数据进行对准的方法，所述方法包括:接收第一图像数据，其中，所述第一图像数据涉及第一图像；接收第二图像数据，其中，所述第二图像数据涉及第二图像；基于所述第一图像数据和所述第二图像数据产生强度级别函数，其中，所述强度级别函数基于所述第一图像的与一形式关联的第一强度，并且基于所述第二图像的第二强度，所述第二强度与所述形式关联；基于所述第一图像数据和所述第二图像数据产生特征级别函数，其中，所述特征级别函数基于所述第一图像中的第一控制点，并且基于所述第二图像中的第二控制点；将所述强度级别函数与所述特征级别函数进行组合以产生代价函数，其中，所述代价函数包括所述强度级别函数和所述特征级别函数的指示；以及基于所述代价函数确定针对所述第一图像数据的变换参数，其中，所述变换参数被实现为将所述第一图像数据与所述第二图像数据对准。
【专利附图】
【附图说明】
[0009]根据与附图结合的以下描述和所附权利要求，本公开的前述和其他特征将变得更加完全地明显。请理解这些附图仅示出了根据本公开的若干实施例，且因此不应被视为对其范围进行了限制，将通过使用附图的附加特征和细节来描述本公开，在附图中:
[0010]图1示出了可以用于实现在增强现实中对准对象的一些示例系统；
[0011]图2示出了可以用于实现在增强现实中对准对象的一些示例系统；
[0012]图3示出了用于在增强现实中对准对象的示例过程的流程图；
[0013]图4示出了用于在增强现实中对准对象的示例过程的流程图；
[0014]图5示出了用于在增强现实中对准对象的示例计算机程序产品；以及
[0015]图6是示出了适于执行在增强现实中对准对象的一些示例计算设备的框图；
[0016]所有附图都根据本文所呈现的至少一些实施例来布置。
【具体实施方式】
[0017]在以下详细说明中，参考了作为详细说明的一部分的附图。在附图中，类似符号通常表示类似部件，除非上下文另行指明。【具体实施方式】部分、附图和权利要求书中记载的示例性实施例并不是限制性的。在不脱离在此所呈现主题的精神或范围的情况下，可以利用其他实施例，且可以进行其他改变。应当理解，在此一般性记载以及附图中图示的本公开的各方案可以按照在此明确和隐含公开的多种不同配置来设置、替换、组合、分割和设计。
[0018]本公开大体上涉及与在增强现实中对准对象相关的方法、装置、系统、设备和计算机程序产品。
[0019]简而言之，大体上描述用于在增强现实中对准对象的技术。在一些示例中，处理器可以适于:接收检测到的图像数据和虚拟对象数据。在一些示例中，所述处理器还可以适于:基于所述虚拟对象数据和检测到的图像数据来产生权重，并将权重应用于强度级别和特征级别上的对数似然率函数。在一些示例中，所述处理器还可以适于:将强度级别上的加权对数似然率函数与特征级别上的加权对数似然率函数相加，以产生代价函数。在一些示例中，所述处理器还可以适于:基于所述代价函数，确定可以用于将检测到的图像数据与虚拟对象数据对准的变换参数。
[0020]图1示出了根据本文所呈现的至少一些实施例的可以用于实现在增强现实中对准对象的一些示例系统。系统100可以包括一个或多个传感器102、存储器104和显示器110，它们都被布置为与处理器108通信。处理器108可以被布置为通过例如网络106与传感器102和存储器104通信。如下面更详细讨论的，传感器102可以适于检测与关注场景118中的实际对象116有关的检测到的图像数据。传感器102还可以适于向处理器108发送检测到的图像数据。处理器108可以适于从存储器104中获取与要和实际对象116对准的虚拟对象有关的虚拟对象数据。处理器108还可以适于从存储器104中获取对准算法。使用该对准算法，处理器108可以适于将虚拟对象数据与检测到的图像数据对准，以产生对象116的增强图像。处理器108可以适于在显示器110上向用户112显示关注场景118的图像114中的增强图像。系统100的组件可以设置在关注场景118之内或之外的任何位置。
[0021]图2示出了根据本文所呈现的至少一些实施例的可以用于实现在增强现实中对准对象的某个示例系统。图2的系统实质上类似于图1的系统100，只是还具有附加细节。为了清楚，不再描述图2中的具有与图1的组件相同标记的这些组件。
[0022]存储器104可以适于存储对准算法128和虚拟对象数据126。处理器108可以适于从传感器102接收涉及对象116的检测到的图像数据130。在一些示例中，检测到的图像数据130可以包括具有像素和特征点形式的噪声和图像数据。特征点可以包括例如图像中的可以用于将实际图像与虚拟图像对准的特征。例如，如果检测到的图像数据130涉及脸，则特征可以是鼻子、眼睛等等。如上所述，处理器108可以适于接收虚拟对象数据126。处理器108可以适于:使用对准算法128将虚拟对象数据126与检测到的图像数据130对准，以产生增强图像132。处理器108可以适于向显示器110显示增强图像132。
[0023]一些示例增强现实应用可以受益于将要描述的准确的对准。如果虚拟对象数据添加了与对象有关的信息，则虚拟对象数据应当与实际数据的图像准确地对准，否则可能破坏增强现实的幻觉。在医疗领域的示例中，实际图像可以是器官，且虚拟对象数据可以指示哪里存在肿瘤。在这种情况下的虚拟和实际数据的对准是重要的。
[0024]图3示出了根据本公开的至少一些实施例的用于在增强现实中对准对象的示例过程的流程图。可以使用例如上述系统100来实现图3的过程。示例过程可以包括如块
S2、S4、S6、S8和/或SlO中一个或多个所示的一个或多个操作、动作或功能。尽管示出为离散的块，可以根据所需实现，将各种块分为附加块，结合为较少的块、或消除。处理可以开始于块S2。
[0025]在块S2，处理器可以适于从传感器接收与实际对象有关的检测到的图像数据。处理可以从块S2继续至块S4。
[0026]在块S4，处理器可以适于接收与实际对象有关的虚拟对象数据。处理可以从块S4继续至块S6。
[0027]在块S6，处理器可以适于确定变换参数。变换参数可以在变换(比如仿射变换)中使用，以将实际检测到的图像数据映射到虚拟对象数据。备选地，在其他示例中，变换参数可以用于将虚拟对象数据映射到检测到的图像数据。在其他示例中，变换参数可以用于将检测到的图像数据和虚拟对象数据都映射到现有的图像。处理可以从块S6继续至块S8。
[0028]在块S8，处理器可以适于使用变换参数来对准虚拟对象数据和检测到的图像数据，以产生增强图像。处理可以从块S8继续至块S10。
[0029]在块S10，处理器可以适于在显示器上显示增强图像。
[0030]图4示出了根据本公开的至少一些实施例的用于在增强现实中对准对象的示例过程的流程图。可以使用例如上述系统100来实现图4的过程，且图4的过程更详细地解释了图3的S6的示例操作。示例过程可以包括如块S22、S24、S30、S32、S34、S36、S38、S40、S42、S44、S46和/或S48中一个或多个所示的一个或多个操作、动作或功能。尽管示出为离散的块，可以根据所需实现，将各种块分为附加块，结合为较少的块、或消除。处理可以开始于块S22。
[0031]在块S22，传感器可以适于检测与实际对象有关的检测到的图像数据。处理可以从块S22继续至块S24。
[0032]在块S24，处理器可以适于接收检测到的图像数据和虚拟对象数据。例如，检测到的图像数据可以基于实际对象，并且可以包括图像数据和噪声数据。在一些示例中，虚拟对象数据可以是要添加到在显示器上的对象的图像的附加虚拟信息。处理可以从块S24继续至块S30和S32。
[0033]在块S30，处理器可以适于基于虚拟对象数据和检测到的图像数据来产生强度级别上的对数似然率函数。例如，检测到的图像数据和虚拟对象数据的强度级别可以基于针对相同形式(modality)的比较强度。形式的示例可以是可见或红外图像。在产生对数似然率函数时，可以使用图像变换模型和噪声变换模型。在一些示例中，图像变换模型可以包括仿射变换模型、刚性变换模型、分段仿射变换模型、非刚性或弹性变换模型等等。在一些示例中，噪声变换模型可以基于噪声的统计学属性，比如高斯模型、混合高斯模型等等。处理可以从块S30继续至块S34。
[0034]在块S32，处理器可以适于基于虚拟对象数据和检测到的图像数据来产生特征级别上的对数似然率函数。例如，可以使用在检测到的图像数据和虚拟对象数据中的所选控制点处的特征。可以通过例如使用边缘检测算法来选择控制点。控制点的其它示例可以是界标或交点。继续使用上述示例之一，可以使用边缘检测算法在图像中检测脸上的鼻子。然后可以将鼻子用作特征级别上的对数似然率函数的控制点。处理可以从块S32继续至块S36。
[0035]在块S34，处理器可以适于对强度级别上的对数似然率函数应用第一权重wl，以产生强度级别上的加权对数似然率函数。处理可以从块S34继续至块S38。
[0036]在块S36，处理器可以适于对特征级别上的对数似然率函数应用第二权重《2，以产生特征级别上的加权对数似然率函数。可以基于在检测到的图像数据中的可用像素和特征点的数目以及基于在检测到的图像数据中的噪声功率来分配权重wl和《2。例如，如果在检测到的图像数据中的可用像素的数目大于可用特征点的数目，则可以向强度级别数据的权重wl分配比特征级别数据的权重w2更大的值。类似地，特征级别上的大的噪声功率可以使得应用到特征级别数据的权重w2小于权重《I。因此，权重wl和《2可以与有多少信息可用(比如可用像素)和噪声功率的级别成比例。在一些示例中，如果可用像素和特征的数目为零，或噪声功率非常大，则可以将对应的权重wl、w2设置为零。处理可以从块S36继续至块S38。
[0037]在块S38，处理器可以适于将强度级别上的加权对数似然率函数与特征级别数据上的加权对数似然率函数相加，以产生代价函数。特别地，代价函数可以是以下参数的函数:1)变换参数，比如在仿射变换中的变换参数，2)特征坐标，以及3)噪声功率。如上所述，变换参数可以用于将虚拟对象数据126(图2)与检测到的图像数据130对准。备选地，检测到的图像数据130可以与虚拟对象数据126对准，或可以将检测到的图像数据和虚拟对象数据都与第三图像对准。特征坐标可以是特征在检测到的图像数据130中的位置。噪声功率可以是检测到的图像数据中的功率级别。处理可以从块S38继续至块S40。
[0038]在块S40，处理器可以适于通过最小化代价函数来估计用于将虚拟对象数据映射到检测到的图像数据的仿射变换参数。例如，可以调整所有参数以最小化代价函数，以获得仿射变换参数的第一估计。处理可以从块S40继续至块S42。
[0039]在块S42，可以定义循环，使得处理器可以适于执行接下来的3个操作，直到代价函数收敛。处理可以从块S42继续至块S44。
[0040]在块S44，处理器可以适于估计代价函数的特征坐标。可以在将代价函数的仿射变换参数和噪声功率参数保持固定时执行操作S42。处理可以从块S44继续至块S46。
[0041]在块S46，处理器可以适于使用特征坐标的当前估计来估计仿射变换参数。处理可以从块S46继续至块S48。
[0042]在块S48，处理器可以适于使用特征参数和仿射变换参数的当前估计来估计代价函数中的噪声功率。
[0043]可以由块S44、S46和/或S48中的一个或多个来定义更新的代价函数。块S42定义的循环可以继续，直到更新的代价函数收敛。例如，块S42中定义的循环可以继续，直到在操作S44、S46和S48中代价函数的改变低于阈值。在另一示例中，块S42中定义的循环可以继续，直到代价函数中的一个似然率函数的改变不超过阈值。
[0044]下面示出了用于确定代价函数的示例过程，其中，为了说明的目的，示出了高斯分布噪声模型以及仿射变换模型。
[0045]在示例中，系统100可以接收2个图像:参考图像126(例如，虚拟图像)和失真图像(例如，检测到的实际图像)130。在特征级别，令X1GO =XtlGO=[Χ(x0(k)，y0(k)]τ分别代表参考图像和失真图像中的第k个对应特征的真实坐标，k =1，2，…，N1，其中，N1是特征的总数。可以通过以下给出的仿射变换将这些特征加以关联:
[0046]X1 (k) = t+RX0 (k)
[0047]其中，t= [tx, ty]T表不X轴和y轴平移,R是在参考图像和失真图像之间的仿射变换矩阵，且由以下给出:
【权利要求】
1.一种用于将第一图像数据与第二图像数据进行对准的方法，所述方法包括: 接收第一图像数据，其中，所述第一图像数据涉及第一图像； 接收第二图像数据，其中，所述第二图像数据涉及第二图像； 基于所述第一图像数据和所述第二图像数据产生强度级别函数； 基于所述第一图像数据和所述第二图像数据产生特征级别函数； 对所述强度级别函数应用第一权重以产生加权强度级别函数； 对所述特征级别函数应用第二权重以产生加权特征级别函数； 将所述加权强度级别函数与所述加权特征级别函数进行组合以产生代价函数；以及基于所述代价函数确定针对所述第一图像数据的变换参数，其中，所述变换参数被实现为将所述第一图像数据与所述第二图像数据对准。
2.根据权利要求1所述的方法，其中: 所述第一图像数据涉及实际图像； 所述第二图像数据涉及虚拟图像。
3.根据权利要求1所述的方法，其中，所述第一权重和所述第二权重基于特征级别信息或强度级别信息或所述第一图像和所述第二图像中的至少一个图像中的噪声。
4.根据权利要求1所述的方法，其中，所述第一权重和所述第二权重基于所述第一图像数据中的像素数目。
5.根据权利要求1所述的方法，所述方法还包括:使用所述变换参数将所述第一图像数据与所述第二图像数据对准以产生增强图像。
6.根据权利要求5所述的方法，所述方法还包括:在显示器上显示所述增强图像，其中，所述显示器上的所述增强图像表示增强现实系统中的虚拟对象。
7.根据权利要求1所述的方法，其中，确定针对所检测的图像数据的变换参数包括最小化所述代价函数。
8.根据权利要求1所述的方法，其中，产生所述强度级别函数和产生所述特征级别函数包括使用图像变换模型，其中，所述图像变换模型是仿射变换模型、刚性变换模型或弹性变换模型中的至少一种。
9.一种用于将第一图像数据与第二图像数据进行对准的装置，所述装置包括: 用于接收第一图像数据的装置，其中，所述第一图像数据涉及第一图像； 用于接收第二图像数据的装置，其中，所述第二图像数据涉及第二图像； 用于基于所述第一图像数据和所述第二图像数据产生强度级别函数的装置； 用于基于所述第一图像数据和所述第二图像数据产生特征级别函数的装置； 用于对所述强度级别函数应用第一权重以产生加权强度级别函数的装置； 用于对所述特征级别函数应用第二权重以产生加权特征级别函数的装置； 用于将所述加权强度级别函数与所述加权特征级别函数进行组合以产生代价函数的装置；以及 用于基于所述代价函数确定针对所述第一图像数据的变换参数的装置，其中，所述变换参数被实现为将所述第一图像数据与所述第二图像数据对准。
10.根据权利要求9所述的装置，其中，所述第一权重和所述第二权重基于特征级别信息、强度级别信息或所述第一图像和所述第二图像中的至少一个图像中的噪声。
11.根据权利要求9所述的装置，其中，所述第一权重和所述第二权重基于所述第一图像数据中的像素数目。
12.根据权利要求9所述的装置，所述装置还包括: 用于使用所述变换参数将所述第一图像数据与所述第二图像数据对准以产生增强图像的装置；以及 用于在显示器上显示所述增强图像的装置，其中，所述显示器上的所述增强图像表示增强现实系统中的虚拟对象。
13.一种用于在增强现实中将第一图像数据与第二图像数据进行对准的系统，所述系统包括: 用于检测第一图像数据并发送所述第一图像数据的装置，其中，所述第一图像数据涉及实际对象； 用于接收所述第一图像数据的装置，其中，所述第一图像数据涉及第一图像； 用于接收第二图像数据的装置，其中，所述第二图像数据涉及第二图像； 用于基于所述第一图像数据和所述第二图像数据产生强度级别函数的装置； 用于基于所述第一图像数据和所述第二图像数据产生特征级别函数的装置； 用于对所述强度级别函数应用第一权重以产生加权强度级别函数的装置； 用于对所述特征级别函数应用第二权重以产生加权特征级别函数的装置； 用于将所述加权强度级别函数与所述加权特征级别函数进行组合以产生代价函数的装置； 用于基于所述代价函数确定针对所述第一图像数据的变换参数的装置，其中，所述变换参数被实现为将所述第一图像数据与所述第二图像数据对准； 用于使用所述变换参数将所述第一图像数据与所述第二图像数据对准以产生增强图像的装置；以及 用于在显示器上显示所述增强图像的装置，其中，所述显示器上的所述增强图像表示增强现实系统中的虚拟对象。
14.根据权利要求13所述的系统，其中，所述第一权重和所述第二权重基于特征级别信息、强度级别信息或所述第一图像和所述第二图像中的至少一个图像中的噪声。
15.一种用于将第一图像数据与第二图像数据进行对准的方法，所述方法包括: 接收第一图像数据，其中，所述第一图像数据涉及第一图像； 接收第二图像数据，其中，所述第二图像数据涉及第二图像； 基于所述第一图像数据和所述第二图像数据产生强度级别函数，其中，所述强度级别函数基于所述第一图像的与一形式关联的第一强度，并且基于所述第二图像的第二强度，所述第二强度与所述形式关联； 基于所述第一图像数据和所述第二图像数据产生特征级别函数，其中，所述特征级别函数基于所述第一图像中的第一控制点，并且基于所述第二图像中的第二控制点； 将所述强度级别函数与所述特征级别函数进行组合以产生代价函数，其中，所述代价函数包括所述强度级别函数和所述特征级别函数的指示；以及 基于所述代价函数确定针对所述第一图像数据的变换参数，其中，所述变换参数被实现为将所述第一图像数据与所述第二图像数据对准。
16.根据权利要求15所述的方法，所述方法还包括:在将所述强度级别函数与所述特征级别函数进行组合之前: 对所述强度级别函数应用第一权重以产生加权强度级别函数； 对所述特征级别函数应用第二权重以产生加权特征级别函数； 其中，组合包括将所述加权强度级别函数与所述加权特征级别函数进行组合。
17.根据权利要求16所述的方法，其中，所述第一权重和所述第二权重基于特征级别信息或强度级别信息或所述第一图像和所述第二图像中的至少一个图像中的噪声。
18.根据权利要求15所述的方法，所述方法还包括:使用所述变换参数将所述第一图像数据与所述第二图 像数据对准以产生增强图像。
【文档编号】G06K9/32GK104077587SQ201410305571
【公开日】2014年10月1日 申请日期:2011年2月16日 优先权日:2010年3月8日
【发明者】亨利·梁 申请人:英派尔科技开发有限公司