用于在电子显示器上叠加图像的透明度确定的制作方法
【专利摘要】根据在电子显示器上叠加两个图像的、由计算机实现的方法，并确定基础图像与叠加图像之间的重叠区域。确定基础图像的重叠区域中的特征点的数量，并且还确定叠加图像的重叠区域中的特征点的数量。将基础图像和叠加图像中的每个的重叠区域中的特征点的数量进行比较。基于该比较确定叠加图像的透明度值。在电子显示器上显示基础图像和叠加图像，使得叠加图像叠加在基础图像上，所述叠加图像的透明度基于所确定的透明度值。
【专利说明】
用于在电子显示器上叠加图像的透明度确定
技术领域
[0001] 本公开涉及叠加图像，并且更具体地涉及确定用于在基础图像的顶部叠加叠加图 像时使用的透明度值。
【背景技术】
[0002] 增强现实(AR)是指利用诸如声音、视频、图形或全球定位系统(GPS)数据的计算机 生成的感官输入来补充真实世界环境的实时画面。AR应用正变得越来越流行。一些AR应用 显示基础图像(例如，来自智能手机的直播摄像头馈送)并将基础图像与叠加图像叠加来为 用户提供附加信息。一个这种应用是"街道博物馆(Street Museum)"智能手机应用，其允许 伦敦的智能手机用户将其智能手机摄像头指向伦敦的给定部分的方向，在其智能手机的显 示器上观看来自其摄像头的摄像头馈送，并将伦敦的历史图片叠加在摄像头馈送图像上。
[0003] -些不提供实时画面的非增强现实应用提供了类似特征。例如，网站"What Was There'' (www.whatwasthere.com)允许用户上传历史照片，以及观看叠加在来自GOOGLE "街 景(street view)"的同一地理区域的近期图片顶部的照片。这些应用使用叠加图像的默认 透明度值，该默认透明度值并未将叠加图像和基础图像的内容考虑在内。
【发明内容】
[0004] 根据本公开的一方面，公开了一种在电子显示器上叠加两个图像的由计算机实现 的方法。确定基础图像与叠加图像之间的重叠区域。确定基础图像的重叠区域中的特征点 的数量，并也确定叠加图像的重叠区域中的特征点的数量。将基础图像和叠加图像中的每 个的重叠区域中的特征点的数量进行比较。基于该比较，确定叠加图像的透明度值。在电子 显示器上显示基础图像和叠加图像，使得叠加图像叠加在基础图像上，叠加图像的透明度 基于所确定的透明度值。
[0005] 根据本公开的另一方面，公开了一种可操作用于在电子显示器上叠加两个图像的 计算装置。该计算装置包括电子显示器和一个或更多个处理电路。该一个或更多个处理电 路被构造成确定基础图像与叠加图像之间的重叠区域、确定基础图像的重叠区域中的特征 点的数量、以及确定叠加图像的重叠区域中的特征点的数量。该一个或更多个处理电路被 构造成将基础图像和叠加图像中的每个的重叠区域中的特征点的数量进行比较，并且基于 该比较来确定叠加图像的透明度值。在电子显示器上显示基础图像和叠加图像，使得叠加 图像叠加在基础图像上，叠加图像的透明度基于所确定的透明度值。
[0006] 可用于确定特征点的数量的一些示例算法包括:尺度不变特征变换(SIFT)算法、 加速鲁棒特征(SURF)算法、快速视网膜关键点(FREAK)算法、以及二进制鲁棒不变的可扩展 的关键点(BRISK)算法。
[0007] 在一个或更多个实施方式中，透明度值基于基础图像的重叠区域中的特征点的数 量与叠加图像中的重叠区域中的特征点的数量之比。随着比值增加，透明度值接近于最大 允许透明度，并且随着比值减小，透明度值接近于最小允许透明度。
[0008] 在一个或更多个实施方式中，从直播摄像头馈送获得基础图像，并且叠加图像包 括要叠加在基础图像上的增强现实图像。
[0009] 当然，本公开并不限于上述特征和优点。实际上，本领域技术人员根据阅读以下详 细说明和观看附图将获知其它特征和优点。
【附图说明】
[0010]图1例示了包括电子显示器的示例移动计算装置。
[0011]图2例示了示例基础图像。
[0012]图3例示了示例叠加图像。
[0013]图4例示了在电子显示器上叠加两个图像的示例方法。
[0014]图5例示了在图2的图像中识别出的特征点的数量。
[0015] 图6例示了在图3的图像中识别出的特征点的数量。
[0016] 图7例示了叠加在图2的基础图像上的图3的叠加图像。
[0017]图8例示了图2-图3的图像的另一叠加。
[0018]图9例示了被构造成在电子显示器上叠加两个图像的示例计算装置。
【具体实施方式】
[0019] 本公开描述了一种用于确定用于在基础图像的顶部叠加叠加图像时（例如，在增 强现实应用中）使用的透明度值的方法和装置。基于基础图像中的特征点的数量和叠加图 像中的特征点的数量来确定透明度值。例如，可以使用诸如尺度不变特征变换(SIFT)算法、 加速鲁棒特征（SURF)算法、快速视网膜关键点(FREAK)算法、和/或二进制鲁棒不变的可扩 展的关键点(BRISK)算法的已知算法来计算各图像中的特征点的数量。
[0020] 现在参照图1，示出了移动计算装置10,其包括电子显示器12,在该电子显示器上 示出了图像20。在一示例中，所显示的图像20来自于嵌入到计算装置10中的摄像头（例如， 来自直播摄像头馈送的照片或图像）。图2示出了图1的图像20。如图2所示，图像的主要组成 元素是道路22、树24、以及两个建筑物26、28。对于下面的讨论，假设图像20是"基础图像"， 其上将会叠加有叠加图像。
[0021] 图3例示了第一图像20中示出的同一场景的另一示例图像30,但是其示出了不同 的组成元素。图像30中的主要组成元素是道路22、树24、以及另一棵树30。建筑物26、28均未 在图像30中示出。对于下面的讨论，假设图3在不同于图像20的时段获得(例如，相隔数月或 数年）。另外假设图3的图像30将被用作要叠加在图像20顶部上的"叠加图像"（例如，在增强 现实应用中）。
[0022] 考虑到这点，图4例示了示例在电子显示器(例如，移动计算装置10的显示器⑵上 叠加两个图像的、计算机实现的方法100。在基础图像20与叠加图像30之间确定重叠区域 (块102)。在一示例中，基础图像20和叠加图像30二者的尺寸相同，并且从相同的有利位置 获得，因此重叠区域可以是各图像20、30的整个区域。在其它实施方式中，块102包括图像 20、30的对齐和/或重新调整图像20、30中任一个的尺寸，使得图像相对于彼此大小合适。在 这样的实施方式中，重叠区域可以小于图像20、30中的任一个或二者。
[0023]确定基础图像20的重叠区域中的特征点的数量(块104)，并且还确定叠加图像30 的重叠区域中的特征点的数量(块106)。图5例示了在根据一示例的图2的图像20中识别出 的特征点的数量。在图5中，图像20及其特征点32被示出为图像20'。同样，图6例示了在根据 一示例的图3的图像30中识别出的特征点32的数量(示出为30'）。在图5-图6中的每一个中， 圆圈表示所识别出的特征点32。
[0024]在图5-图6的示例中，基础图像20被识别为具有24个特征点，并且叠加图像30被识 别为具有12个特征点。可以使用本领域技术人员熟知的各种算法(诸如尺度不变特征变换 (SIFT)算法、加速鲁棒特征（SURF)算法、快速视网膜关键点(FREAK)算法、或二进制鲁棒不 变的可扩展的关键点(BRISK)算法)来确定基础图像和叠加图像中的特征点的数量。当然， 这些仅是示例，并且应当理解的是，可以使用其他算法。因为使用这样的算法来识别特征点 是本领域技术人员所熟知的，所以本文将不详细描述这些算法的实现。
[0025]再次参照图4,将基础图像20和叠加图像30中的每个的重叠区域中的特征点的数 量进行比较(块108)。在上述示例中，这将包括将基础图像20的24个特征点与叠加图像30的 12个特征点进行比较。基于该比较，确定叠加图像30的透明度值(块110)。然后，在电子显示 器上显示基础图像20和叠加图像30(块112)，使得叠加图像30以基于所确定的透明度值的 叠加图像30的透明度叠加在基础图像20上。
[0026]在一示例中，根据下面的等式(1)来确定叠加图像的透明度值：
[0028]在该等式中，"Transparency_OI"是指叠加图像的透明度，"FP_BI"是指基础图像 20的重叠区域中的特征点的数量，以及"FP_0I"是指叠加图像30的重叠区域中的特征点的 数量。等式（1)假设20%是最小可允许的透明度值(其强调叠加图像30)，并假设80%是最大 可允许的透明度值（其强调基础图像20)。因此，在该等式中，透明度值被固定在20%和 80% 〇
[0029]根据等式（1)，随着基础图像20的重叠区域中的特征点的数量与叠加图像30的重 叠区域中的特征点的数量之比增加，透明度值接近于最大允许透明度(80%)。并且，随着基 础图像20的重叠区域中的特征点的数量与叠加图像30的重叠区域中的特征点的数量之比 减小，透明度值接近于最小允许透明度(20%)。
[0030] 假设100%将提供完全透明度（即，叠加图像30将完全不可见），而0%透明度将使 得基础图像20的重叠区域完全不可见（即，当叠加时，叠加图像30将仅替代基础图像20的重 叠区域）。基于此假设，使用等式（1)来确定透明度值(块110)包括如下步骤:在可允许的透 明度值的范围（例如，20 % -80 %的范围）内确定透明度值，可允许的透明度值中的每一个都 提供叠加图像的部分的、但不完全的透明度。
[0031] 使用上述输入值，其中FP_BI = 24并且FP_0I = 12,等式（1)得出叠加图像30的透明 度值为67%。这假设使用了标准舍入(例如，四舍五入）。因此，因为基础图像20相比叠加图 像30具有更多的特征点，所以该叠加将强调基础图像20。在图7中示出了根据所确定的透明 度值(67)的示例叠加，其中，基于透明度值67%显示了树30(其仅包括在叠加图像30中）。
[0032] 在下面的等式(2)中示出了用于确定基础图像20的透明度值的示例等式：
[0033] Transparency_BI = l_Transparency_OI 等式（2)
[0034]在等式（2)中，"Transparency_BI"是指基础图像的透明度。这表示使用 "Transparency_OI"的透明度值叠加叠加图像30的净效应(net effect)。
[0035]如另一不例，假设图像30相反用作基础图像，而图像20相反用作置加图像。在此不 例中，FP_BI = 12并且FP_OI = 24,其将得出叠加图像的透明度值为33%以及基础图像的相 应透明度值为67%。在该替代示例中，因为叠加图像相比基础图像具有更多的特征点，所以 该叠加将强调叠加图像。图8例示了这样的叠加的示例，其中，基于透明度值33%示出了建 筑物26、28(在此情况下，其将仅存在于基础图像中）。
[0036] 所识别出的特征点被视为给定图像的最有趣和最突出的特征。因此，使用等式（1) 使得具有最多特征的图像成比例地变得更加可见。其后的基本逻辑在于用户会希望更多地 强调具有更高特征点数的图像，并因此可以取得更加有趣的细节。
[0037] 在一个或更多个实施方式中，所确定的透明度值用作默认透明度，使得在显示图 像20、30(块112)之后，观看用户可以将默认透明度手动调节成他们发现可能更可取的程 度。在这样的实施方式中，用户可跳过默认透明度来选择他们发现最可取的透明度。
[0038]如果基础图像20来自于直播摄像头馈送，则可能的是，可快速地(例如，每秒30帧 "FPS"）记录并显示图像。如果情况如此，则在可以确定帧的透明度值之前可能需要一些处 理时间（例如，或许需要1帧的延迟）。在这样的示例中，可以基于基础图像20的先前版本来 执行确定基础图像20与叠加图像30之间的重叠区域(例如，使用帧1中的特征点来显示帧3 图像）。这假设用户将保持其计算装置的摄像头相对不动。然后，可以（例如，在预定时间段 内定期地)重新计算更新后的透明度值。
[0039]图9例示了可用作图1的计算移动计算装置10的示例计算装置200。该计算装置200 被构造成在电子显示器204上叠加两个图像。计算装置200包括一个或更多个处理电路(示 出为处理器202)，其例如包括配置有适当的软件和/或硬件以执行上面所讨论的技术中的 一种或更多种的一个或更多个微处理器、微控制器、专用集成电路(ASIC)等。具体地，处理 器202被构造成确定基础图像20与叠加图像30之间的重叠区域、确定基础图像20的重叠区 域中的特征点的数量、以及确定叠加图像30的重叠区域中的特征点的数量。处理器202被构 造成将基础图像20和叠加图像30中的每个的重叠区域中的特征点的数量进行比较，并基于 该比较来确定叠加图像30的透明度值。处理器202被进一步构造成在电子显示器204上显示 基础图像20和叠加图像30,使得叠加图像30以基于所确定的透明度值的叠加图像30的透明 度叠加在基础图像20上。
[0040] 在图9的示例中，计算装置200还包括用于启动图像20、30的叠加的输入装置206 (例如，一个或更多个按钮）。计算装置200还包括用于记录图像(例如，作为背景图像）的摄 像头208,并且包括用于接收叠加图像的收发器(例如，经由诸如因特网的分组数据网络来 接收增强现实图像）。计算装置200还包括用于存储图像20、30以及存储配置如上面所讨论 的处理器202的指令(例如，配置处理器202以实现上述技术中的一种或更多种的计算机程 序产品）的非暂时性计算机可读存储介质(示出为存储器212)。
[0041] 虽然图1中所示出的计算装置是移动计算装置10(例如，智能手机或平板电脑），但 是应当理解的是，这些是非限制性的示例，并且计算装置200可以替代地是例如台式或膝上 型计算机。在这样的实施方式中，电子显示器204可以在计算装置200外部并且不包括在如 图9所示的计算装置200中。
[0042]在一个或更多个实施方式中，基础图像20是从直播摄像头馈送获得的，并且叠加 图像30包括要叠加在基础图像20上的增强现实图像。这可用于诸如上述的"街道博物馆 (Street Museum)"智能手机应用的增强现实应用。然而，本文所讨论的技术不限于在增强 现实中使用，并且可以用于非增强现实应用(例如，上述的网站"What Was There"）。
[0043] 另外，应当理解的是，等式（1)和(2)以及透明度值的可允许范围（20%-80%)仅是 非限制性的示例，并且应当理解的是，可以使用其它等式以及其它最大和最小允许的透明 度值。还应当理解的是，上面所讨论的基础图像20和叠加图像30也是非限制性的示例。
[0044] 因此，在不背离本公开的本质特征的情况下，当然可以按照除了本文具体阐述的 方式之外的其它方式来实施本公开。本实施方式将被认为在所有方面都是示例性而非限制 性的，并且所附权利要求书的意义和等效范围内的所有改变都旨在被包含在本文中。
【主权项】
1. 一种在电子显示器上叠加两个图像的由计算机实现的方法，其特征在于： 确定基础图像与置加图像之间的重置区域； 确定所述基础图像的所述重叠区域中的特征点的数量； 确定所述叠加图像的所述重叠区域中的特征点的数量； 将所述基础图像和所述叠加图像中的每个的所述重叠区域中的特征点的数量进行比 较； 基于所述比较确定所述叠加图像的透明度值;并且 在电子显示器上显示所述基础图像和所述叠加图像，使得所述叠加图像叠加在所述基 础图像上，所述叠加图像的透明度基于所确定的透明度值。2. 根据权利要求1所述的由计算机实现的方法，其中，确定所述透明度值包括:在可允 许的透明度值的范围内确定透明度值，所述可允许的透明度值中的每一个都提供所述叠加 图像的部分的、但不完全的透明度。3. 根据权利要求1所述的由计算机实现的方法，其中，使用尺度不变特征变换SIFT算法 来执行确定所述基础图像的所述重叠区域中的特征点的数量以及确定所述叠加图像的所 述重叠区域中的特征点的数量。4. 根据权利要求1所述的由计算机实现的方法，其中，使用加速鲁棒特征SURF算法来执 行确定所述基础图像的所述重叠区域中的特征点的数量以及确定所述叠加图像的所述重 叠区域中的特征点的数量。5. 根据权利要求1所述的由计算机实现的方法，其中，使用快速视网膜关键点FREAK算 法来执行确定所述基础图像的所述重叠区域中的特征点的数量以及确定所述叠加图像的 所述重叠区域中的特征点的数量。6. 根据权利要求1所述的由计算机实现的方法，其中，使用二进制鲁棒不变的可扩展的 关键点BRISK算法来执行确定所述基础图像的所述重叠区域中的特征点的数量以及确定所 述叠加图像的所述重叠区域中的特征点的数量。7. 根据权利要求1所述的由计算机实现的方法： 其中，所述基础图像是从直播摄像头馈送获得的;并且 其中，所述叠加图像包括要叠加在所述基础图像上的增强现实图像。8. 根据权利要求1所述的由计算机实现的方法： 其中，随着所述基础图像的所述重叠区域中的特征点的数量与所述叠加图像的所述重 叠区域中的特征点的数量之比增加，所述透明度值接近于最大允许透明度;并且 其中，随着所述基础图像的所述重叠区域中的特征点的数量与所述叠加图像的所述重 叠区域中的特征点的数量之比减小，所述透明度值接近于最小允许透明度。9. 一种能够操作以在电子显示器上叠加两个图像的计算装置，其特征在于： 电子显示器；以及 一个或更多个处理电路，所述一个或更多个处理电路被构造成： 确定基础图像与置加图像之间的重置区域； 确定所述基础图像的所述重叠区域中的特征点的数量； 确定所述叠加图像的所述重叠区域中的特征点的数量； 将所述基础图像和所述叠加图像中的每个的所述重叠区域中的特征点的数量进行比 较； 基于所述比较确定所述叠加图像的透明度值;并且 在所述电子显示器上显示所述基础图像和所述叠加图像，使得所述叠加图像叠加在所 述基础图像上，所述叠加图像的透明度基于所确定的透明度值。10. 根据权利要求9所述的计算装置，其中，为了确定所述透明度值，所述一个或更多个 处理电路被构造成在可允许的透明度值的范围内确定透明度值，所述可允许的透明度值中 的每一个都提供所述叠加图像的部分的、但不完全的透明度。11. 根据权利要求9所述的计算装置，其中，为了确定所述基础图像的所述重叠区域中 的特征点的数量以及确定所述叠加图像的所述重叠区域中的特征点的数量，所述一个或更 多个处理电路被构造成使用尺度不变特征变换SIFT算法。12. 根据权利要求9所述的计算装置，其中，为了确定所述基础图像的所述重叠区域中 的特征点的数量以及确定所述叠加图像的所述重叠区域中的特征点的数量，所述一个或更 多个处理电路被构造成使用加速鲁棒特征SURF算法。13. 根据权利要求9所述的计算装置，其中，为了确定所述基础图像的所述重叠区域中 的特征点的数量以及确定所述叠加图像的所述重叠区域中的特征点的数量，所述一个或更 多个处理电路被构造成使用快速视网膜关键点FREAK算法。14. 根据权利要求9所述的计算装置，其中，为了确定所述基础图像的所述重叠区域中 的特征点的数量以及确定所述叠加图像的所述重叠区域中的特征点的数量，所述一个或更 多个处理电路被构造成使用二进制鲁棒不变的可扩展的关键点BRISK算法。15. 根据权利要求9所述的由计算机实现的方法： 其中，所述计算装置包括摄像头，并且所述基础图像是从馈送的直播馈送获得;并且 其中，所述叠加图像包括要叠加在所述基础图像上的增强现实图像。16. 根据权利要求9所述的由计算机实现的方法： 其中，随着所述基础图像的所述重叠区域中的特征点的数量与所述叠加图像中的所述 重叠区域中的特征点的数量之比增加，所述透明度值接近于最大允许透明度;并且 其中，随着所述基础图像的所述重叠区域中的特征点的数量与所述叠加图像的所述重 叠区域中的特征点的数量之比减小，所述透明度值接近于最小允许透明度。
【文档编号】G06T11/60GK106030664SQ201480075768
【公开日】2016年10月12日
【申请日】2014年2月18日
【发明人】J·拉斯穆松
【申请人】索尼公司