采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法
【专利说明】采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法
[0001]对相关申请的交叉引用
[0002]本申请主张于2013年8月9日提交的题为“采用多个虚拟设备分析热像数据和将深度值与图像像素进行关联的方法以及一种包括无缝透镜盖的系统”的61/864，196号美国临时专利申请的权益，该申请通过参考整体并入本文中。
【背景技术】
[0003]可采用广角相机的阵列来生成全景图像，其中广角相机的阵列组合起来可形成最多360度的视场，也可采用配有鱼眼镜头或其他全景反射镜、可形成随后由计算机进行压平处理的连续“小型球面反射镜”图像的单个相机来生成全景图像。这些图像提供用于视频监控所需的细节的能力有限，因为传感器在宽视场上被拉伸(有时达到完整的360度)。
[0004]—种相对较新的获取热全景图像的方式是，以少于60RPM的转速持续转动采用低温冷却的热传感器或其他高速相机，并使用计算机处理来自该相机的图像，图像在计算机内被拼接在一起并被分析。这些低温冷却传感器能够在仅仅几纳秒内获取图像，这使其能够生成接近实时的视频。然而，这些冷却的传感器用电量很大且价格昂贵，使其在许多应用场合中难以实用。此外，高速相机对照明的需求非常大，这使其在并非完全在白天工作的场合中的应用受到很大限制。
[0005]即使在本领域的现有进展条件下，仍然需要有经过改进的相机系统和分析方法，特别是需要其能够呈现最低的复杂度和成本，并可在相对较低的功率要求下工作。
[0006]本申请所请求保护的主题并不局限于可解决任何不利状况或仅可在例如上文所述等环境中工作的实施例。提供本技术背景的目的仅在于例示出本文所述的一些实施例可得以实施的一个示例性技术领域。
[0007]发明概述
[0008]本发明的实现方式包括被配置以采用多个虚拟设备对全景图像数据的单独图像帧进行排序和分析的系统、方法和计算程序产品。例如，本发明的一种实施例所针对的是一种采用多个虚拟设备对全景图像数据的单独图像帧进行分析和排序的现场系统。此类系统可能包括:索引机构，在其上安装有热成像相机，用于转动该相机经过多个停止位置；热成像相机，其被配置以拍摄热成像相机图像，当该热成像相机转动经过所述多个停止位置时，热成像相机图像中的至少一些图像对应于停止位置；以及复用和分析模块，其被配置以抛弃与任何停止位置均不对应的任何热成像相机图像，使得对应于任何停止位置的热成像相机图像被保留。该复用和分析模块可被配置以通过将被保留的热成像相机图像的视频流分离为单独热成像相机图像的方式，对被保留的热成像相机图像的视频流进行处理，被保留的热成像相机图像被针对相应的虚拟相机设备进行存储。每个虚拟相机设备均可对应于一个特定的停止位置，且虚拟相机设备相对于热成像相机可能为在现场工作。复用和分析模块可被配置为不在现场将被保留的热成像相机图像拼接在一起成为全景图，以使包括热成像相机、用于转动相机的索引机构、以及用于对虚拟相机设备的图像进行排序的复用和分析模块的现场系统的总功率需求不超过10W左右。图像可被保存在现场系统中，或者非现场保存(例如，如果必要，在现场进行转递)。
[0009]本发明的另一种实施例包括从转动经过多个停止位置的热成像相机获得热成像相机图像。相机可能以恒定帧率获取热成像相机图像。至少有一些热成像相机图像对应于停止位置，而其他所获取的热成像相机图像可能不对应于任何停止位置。对应于任何停止位置的热成像相机图像会被保留，而不对应于任何停止位置的热成像相机图像会被抛弃。被保留的热成像相机图像以视频流被发送至视频处理器，在此其被分离为单独的热成像相机图像，并针对与给定的图像所对应的特定停止位置相对应的相应的虚拟相机设备进行排序。被保留的经排序的图像可在现场进行保存。在另一种实施例中，可非现场保存，并根据需要对图像进行现场转递。相对于热成像相机，虚拟相机设备位于现场，而非远程。有意不在现场将热成像相机图像拼接为一幅全景图像，以使现场系统(例如，包括热成像相机、用于转动相机的索引机构、以及用于对虚拟相机设备进行图像排序的复用和分析模块)的总功率需求不超过约10W左右。
[0010]抛弃不对应于任何停止位置的图像可使视频处理器定期休眠，因为其从不接收那些图像，由此使系统的用电效率更高。类似地，因为现场分析被限制到相对简单的功能(例如，不是将图像拼接在一起，而是停住并注视一个给定位置，以查看所发生的情况，等等)，系统会呈现相对有限的功耗特性。例如，现场系统可能需用功率不超过10W左右，可在无人看管条件下运行数年，并可由以相对较小的太阳能电池进行充电的电池供电。
[0011]在另一方面，本发明涉及一种对地理位置数据进行关联的方法，所述方法包括确定全景图像的一个单独图像帧的像素位置的深度值(即，距相机的距离)。所述方法可能包括从转动经过多个停止位置的单个相机获得相机图像(例如，热成像相机图像)的步骤。相机可能以恒定帧率获取图像，当相机转动经过多个停止位置时，至少有一些图像对应于停止位置。相机的一个位置可与地理位置数据进行关联，一个给定的相机图像的像素位置可与地理位置数据关联，至少可部分根据相机的地理位置和给定停止位置被“指向”的方向或位置，来确定给定相机图像的像素位置的深度值。
[0012]本“发明概述”部分的目的是以简化的形式介绍概念选择，下文将在“详细说明”部分对其进行进一步说明。本“发明概述”并非旨在明确指出所请求保护的主题的关键特征或基本特征，也非旨在辅助确定所请求保护的主题的范围。
[0013]附加特征和优点将在下文说明中给出，其一部分将可从本说明中显见，或者可从对本文的教导内容的实践中获知。本发明的特征和优点可通过在所附权利要求中明确指出的仪器及组合加以实现和获得。本发明的特征将通过以下说明和所附权利要求而变得更加清楚，或者可通过对下文所述的本发明的实践而获知。
[0014]附图简要说明
[0015]为了对可获得上文所述及其他的优点和特征的方式进行说明，以下将参照附图中所示的特定实施例对上文所简述的主题进行更为具体的说明。在理解这些附图仅示出典型的实施例而非因此被看做对范围加以限定的条件下，将借助附图对各实施例进行更加具体和详细的介绍，其中:
[0016]图1示意性示出了可以在其中运用本文所述原理的一种示例性计算系统。
[0017]图2示意性示出了可以在其中运用本文所述原理的一种特定环境。
[0018]图3A示意性示出了当以顺时针方向转动、相机指向停止位置1时的虚拟相机位置，其在本文中也被称为停止位置。
[0019]图3B示意性示出了如图3A所示、相机指向停止位置5的虚拟相机位置。
[0020]图4示意性示出了图2所示视频处理器的一种实现方式。
[0021]图5A为示出一种示例方法的流程图。
[0022]图5B为示出了根据本发明的另一种示例方法的流程图。
[0023]详细说明
[0024]本发明的实现方式包括被配置为采用多个虚拟设备对全景图像数据的单独图像帧进行排序和分析的系统、方法和计算机程序产品。例如，如图5A所示，本发明的一种实施例包括从转动经过多个停止位置(S12)的热成像相机获取热成像相机图像的方法S10。相机可能以恒定帧率获取热成像相机图像。至少有一些热成像相机图像对应于停止位置，而其他被获取的热成像相机图像可能不对应于任何停止位置。对应于任何停止位置的热成像相机图像会被保留(S14)，而不对应于任何停止位置的热成像相机图像会被抛弃(S16)。
[0025]被保留的热成像相机图像被以视频流发送至视频处理器(S18)。它们可被分离为单独的热成像相机图像，并经排序，针对与给定图像所对应的特定停止位置相对应的相应虚拟相机设备进行存储(S20)。例如，现场系统可能包括用于存储图像的相应存储器。作为替代方式，一些或全部图像可被非现场保存，并根据需要进行现场转递。虚拟相机设备相对于热成像相机可能为在现场工作。热成像相机图像并不在现场被拼接在一起成为现场全景图像，以使现场系统(例如，包括热成像相机，用于转动相机的索引机构，和用于对虚拟相机设备进行图像排序的复用和分析模块)的总功率需求不超过10W左右(S22)。
[0026]来自每个停止位置的单独热成像相机图像可以被作为一个视频流进行分析，以检测从一幅给定图像到一幅后续图像的变化(S24)。
[0027]抛弃不对应于任何停止位置的图像可使视频处理器能够因其不再接收这些图像而定时休眠，由此使系统的能效更高。类似地，由于现场分析仅限于相对简单的功能(例如，不将图像拼接在一起等)，系统将呈现相对有限的功耗特性(例如，低于10W左右，可在无人看管条件下运行数年，并可由以相对较小的太阳能电池进行充电的电池供电)。
[0028]在另一方面，本发明涉及一种对地理位置数据进行关联的方法(S30-如图5B所示)，包括对全景图像的一个单独图像帧的像素位置的深度值进行确定。本方法可能包括从转动经过多个停止位置的单个相机获取相机图像(例如，热成像相机图像)的步骤(S32)。相机可能以恒定帧率获取图像，在相机转动经过多个停止位置时，至少有一些图像对应于停止位置。相机的一个位置可与地理位置数据进行关联(S34)，一个给定的相机图像的像素位置可与地理位置数据关联(S36)，而给定相机图像的像素位置的