本申请案要求以下各申请的优先权：2016年4月21日申请的美国临时专利申请第62/325,922号；2015年10月30日申请的美国临时专利申请第62/249,130号；2016年2月26日申请的美国临时专利申请第62/300,631号；2016年8月26日申请的美国临时专利申请第62/380,201号；2016年10月27日申请的美国专利申请第15/336,588号；所有申请以全文引用方式并入本文中。
本申请是关于用于产生宽视图图像的设备及方法，且更具体而言是关于产生周围环境的无失真360°图像。
背景技术：
用于相机的广角镜头遭受镜头周边处的图像失真。所得图像通过例如使直线显示为弯曲、显示周围对象的失真比例等而呈现周围环境的失真视图。用于处理失真图像的传统方法可降低图像质量，尤其针对具有实质失真(例如，鱼眼图像的外缘)的图像或图像的部分而言。
技术实现要素：
本文公开的技术的某些方面涉及组合图像以产生周围环境的宽视图图像。图像可使用具有广角镜头和/或标准镜头的独立成像装置来录制。来自成像装置的图像可使用本文描述的方法来组合。在一个实施例中，可基于与第一图像及第二图像相关联的对应重叠区域而判定第一图像与第二图像之间的像素对应。与第一图像及第二图像相关联的对应重叠区域中的对应像素可基于指定至对应像素中的每一个的权重而合并。
附图说明
图1a-1b展示根据一个实施例的录制环境的宽视场的成像装置。
图2展示根据一个实施例的录制环境的大致180°视图的成像装置。
图3展示根据另一实施例的录制环境的大致180°视图的成像装置。
图4展示根据另一实施例的宽视场成像装置。
图5a展示根据一个实施例的宽视场成像装置的内部光学器件。
图5b展示根据一个实施例的通过光传感器的阵列形成的图像。
图6a展示根据另一实施例的宽视场成像装置的内部光学器件。
图6b展示根据一个实施例的通过多个光传感器阵列形成的图像。
图7为根据一个实施例的录制周围环境的无失真宽视图的过程的流程图。
图8a展示根据一个实施例的通过与第二多个相机相关联的标准镜头录制的图像。
图8b展示根据一个实施例的通过与第一多个相机相关联的广角镜头录制的图像。
图8c展示根据一个实施例的通过组合与第一多个相机相关联的图像及与第二多个相机相关联的图像而获得的无失真图像。
图9为根据一个实施例的用于将多个图像拼合成单一图像的过程的流程图。
图10a-10c展示根据一个实施例的用于将多个图像拼合成单一图像的过程。
图11为根据一个实施例的用于将多个图像拼合成单一图像的过程的流程图。
图12a-12b展示根据一个实施例的用于将多个图像拼合成单一图像的过程。
图13为根据一个实施例的描述用于识别图像中某一类别的对象的实例的过程的流程图。
图14为计算机系统的图解表示，在该计算机系统内可实行上述设备，且在该计算机系统内可执行指令集，以用于引起机器进行本文论述的方法或模块中的任一个或多个。
具体实施例
本文公开的技术的某些方面将广角镜头与标准镜头组合来产生周围环境的无失真宽视图(例如，360°视图)。该标准镜头录制在该广角镜头提供失真视图的区域中的周围环境的图像。该广角镜头及该标准镜头可为独立成像装置的部分，可为移动装置的附件，或可整合至移动装置中。本文公开产生周围环境的无失真宽视图(例如，360°视图)的各种方式。
在本文公开的各种实施例中，移动装置可具有多个相机，其中多个相机包括本文公开的一个或多个相机实施例。
在本文公开的各种实施例中，图像可为视频，且录制图像的相机可为录制视频的相机。
术语
下文给出遍及本申请使用的术语、缩写及词组的简要定义。
本说明书中对“360°视图”的提及包括当相机围绕摇动轴旋转360°时获得的视图及当相机围绕俯仰轴旋转360°时获得的视图两者。本说明书中对“360°图像”的提及包括当相机围绕摇动轴旋转360°时获得的图像及当相机围绕俯仰轴旋转360°时获得的图像两者。
本说明书中对“一个实施例”或“一实施例”的提及意指结合该实施例描述的特定特征、结构或特性包括在本公开内容的至少一个实施例中。在本说明书中各种地方的词组“在一个实施例中”的出现未必全部提及同一实施例，也不是与其他实施例互斥的单独实施例或替代实施例。此外，描述可通过一些实施例而非通过其他实施例展现的各种特征。类似地，描述可为针对一些实施例而非其他实施例要求的各种要求。
除非上下文另外清楚地要求，否则遍及说明书及权利要求，用词“包括(comprise/comprising)”及类似物被解释为包括意义，与排他意义或穷尽意义相反；也即，以“包括但不限于”的意义。如本文所使用，术语“连接”、“耦合”或任何其变体意的是在两个或两个以上元件之间的直接或间接的任何连接或耦合。元件之间的耦合或连接可为物理、逻辑或其组合。例如，两个装置可直接耦合，或经由一个或多个中介通道或装置来耦合。作为另一示例，装置可以信息可在装置之间传递的方式耦合，而不彼此共享任何物理连接。另外，当在本申请中使用时，用词“本文”、“以下”、“以下”及类似含义的用词应总体地指代本申请且并非指代本申请的任何特定部分。在上下文允许的情况下，具体实施例中使用单数或复数数量的用语也可分别包括复数或单数数量。提及两个或两个以上项目的列表中的用语“或”涵盖用词的所有以下解释：列表中的任何项目、列表中的所有项目及列表中的项目的任何组合。
若本说明书陈述组件或特征“可(may/can/could/might)”被包括或具有特性，则该特定组件或特征不要求被包括或具有该特性。
术语“模块”广泛地指代软件、硬件或固件组件(或其任何组合)。模块为典型地功能性组件，该等功能性组件可使用指定输入而产生有用数据或另一输出。模块可或可不为自包含式的。应用程序(也称为“应用”)可包括一个或多个模块，或模块可包括一个或多个应用程序。
用于实施方式中的术语意欲为以其最广泛合理方式来解释，即使其是结合某些示例来使用也是如此。用于本说明书中的术语通常在本领域中、在本公开内容的上下文内及在使用每一术语的特定上下文中具有其普通的含义。为方便起见，某些术语可例如使用大写、斜体和/或引号来突出表示。突出表示的使用对术语的范畴及含义没有影响；术语的范畴及含义在相同上下文中为相同的，无论其是否被突出表示。将了解，相同要素可以多于一种方式来描述。
因此，替代语言及同义词可用于本文论述的术语中的任一个或多个，但无论术语是否在本文中详细描述或论述皆不对术语赋予特殊意义。一个或多个同义词的叙述不排除其他同义词的使用。本说明书中任何处的示例的使用(包括本文论述的任何术语的示例)仅为说明性的，且不意欲进一步限制本公开内容或任何所示例术语的范围及含义。同样地，本公开内容不限于在本说明书给出的各种实施例。
成像装置
图1a-1b展示根据一个实施例的录制环境的宽视场的成像装置。成像装置包括放置于弯曲三维表面110上的相机100的阵列。在图1中，出于简约性，仅标记相机100的阵列中的多个相机。相机100的阵列包括多个相机120。相机100的阵列接收来自广角视图(例如，360°视图)的多个光束105。弯曲三维表面110可采取任何形状，诸如椭球体、球状体、球体、具有倒圆角的立方体或任何三维形状。一些形状可阻碍某些观察角度，该形状例如具有锐利边缘或凹表面的形状。较佳实施例包括不具有锐利边缘或凹表面的形状。
相机100实质上覆盖弯曲三维表面110。相机100可以各种方式放置于弯曲三维表面110上：相机100可均匀地分布在弯曲三维表面110上；相机100可置放在均匀分布经度线及纬度线的交点处；相机100可更密集地分布在受关注区域中，例如，在正面区域130和/或背面区域140中；等。在实施例中，相机密度可通过以下方式可调整：通过例如在沿弯曲三维表面110的长度延伸的轨迹上包括一个或多个相机且将一个或多个相机机械地连接至致动器从而使得一个或多个相机移动。增加相机分布密度可通过将另外的相机集中在受关注区域(诸如例如所检测面部印象)上而改进相片质量。
相机100的阵列可放置于弯曲基板上。在一个实施例中，弯曲基板匹配弯曲三维表面110的形状。在另一实施例中，曲率不匹配三维表面110的曲率的多个弯曲基板可放置来实质上覆盖三维表面110。
在另一实施例中，相机100的阵列分成相机的较小阵列，相机的每一较小阵列是放置于平面基板上。与每一平面基板相关联的大小被配置为相较于与三维表面相关联的曲率而言是小的。相机的多个小阵列是置放于弯曲三维表面上以如上文所述实质上覆盖该表面。
相机120表示相机100的阵列中的单一相机。在图1b中，每一相机120包括镜头150及光传感器160。镜头150接收光束170且将光束聚焦在光传感器160上。镜头150可为任何类型的镜头，诸如球形镜头、广角镜头或具有在极短焦距与极长焦距之间的焦距的镜头。镜头150可为小镜头，诸如毫米、微米、纳米、皮米等镜头。光传感器160可为cmos传感器、ccd传感器或被配置为感测光的任何传感器。
连接至光传感器的阵列的处理器接收对应于光传感器的阵列的多个图像。处理器产生包括围绕成像装置的环境的广角视图(例如，360°视图)的图像。处理器可放置在三维表面内部，或可放置在三维表面外部。本文描述的成像装置可为独立相机或可为诸如移动装置等的另一装置的部分。
图2展示根据一个实施例的录制环境的180°视图的成像装置。诸如球形镜头的椭球体镜头200将光束210聚焦在元件220的弯曲阵列上。元件220的阵列中的每一元件230可为如上文所述的相机120或光传感器160(在图1b中)。元件220的弯曲阵列的曲率对应于椭球体镜头200的曲率。例如，元件的弯曲阵列的曲率与椭球体镜头200的曲率相同或成比例。元件220的弯曲阵列可根据上文所述的任何技术来组装。
图3展示根据另一实施例的录制环境的180°视图的成像装置。诸如球形镜头的椭球体镜头300将光束310聚焦在元件320的弯曲阵列上。元件320的阵列中的每一元件340可为如上文所述的相机120或光传感器160(在图1b中)。元件320的阵列放置于椭球体镜头300的半部上，且在光束在入口点330处衍射之后，元件340接收光束310。元件320的弯曲阵列可根据上文所述的任何技术来组装。
通过将图1-3中公开的两个或两个以上成像装置组合，可录制环境的宽视图(例如，360°视图)。
图4展示根据另一实施例的宽视场成像装置。成像装置包括两个接收多个光束420的广角镜头400、410。出于简约性，图式中仅标记一个光束420。元件430容纳成像装置的内部光学器件。
图5a展示根据一个实施例的宽视场成像装置的内部光学器件。元件500及510为自围绕成像装置至多180°接收多个光束590、595的广角镜头。元件520及530为凸透镜，其从多个广角镜头500、510接收多个光束590、595，且将多个光束590、595中的光束聚焦在偏转器585上。
偏转器585从第一多个凸透镜520、530接收多个光束590、595，且偏转器585改变多个光束590、595的方向以将多个光束590、595导向至第二多个凸透镜540、550。偏转器585可为棱镜或镜子。偏转器585可为固定的，或其可通过微机电系统(micro-electromechanicalsystem；mems)装置、纳米机电系统(nano-electromechanicalsystem；nems)装置、微微机电系统(pico-electromechanicalsystem；pens)装置等致动。例如，偏转器可为单一镜子或棱镜，其在偏转光束590的位置587与偏转光束595的位置589之间改变位置。在另一实施例中，偏转器585可呈现将光束595偏转至镜头540、560的位置591，因此避免对镜头550、570的需要。
第二多个凸透镜540、550从偏转器585接收多个光束590、595，且将多个光束590、595聚焦在多个凹透镜560、570上。
多个凹透镜560、570从第二多个凸透镜540、550接收多个光束590、595，且多个凹透镜560、570将多个光束590、595导向至光传感器580的阵列。
光传感器580的阵列从多个凹透镜560、570接收多个光束590、595，且形成对应于第一多个凸透镜500、510的多个图像。光传感器580的阵列可具有各种大小，诸如16x9mm及4x3mm。
连接至光传感器580的阵列的处理器接收多个图像且产生包括围绕成像装置的宽视图(例如，360°视图)的图像。与处理器相关联的软件可识别并校正镜头假影和/或失真，且将两个图像相关联以产生围绕成像装置的广角视图(例如，360°视图)。
图5b展示根据一个实施例的通过光传感器580的阵列形成的图像。光传感器580的阵列可形成对应于两个凸透镜500、510的两个图像582、584。光传感器580的阵列的大小可为16x9mm。在另一实施例中，在呈现位置587或591的致动偏转器585的情形下，光传感器580的阵列可形成如图6b所描绘的单一图像682。单一图像682在对应于与镜头500相关联的图像与与镜头510相关联的图像之间交替。
图6a展示根据另一实施例的宽视场成像装置的内部光学器件。元件600-630分别对应于图5a中的元件500-530。偏转器685从第一多个凸透镜620、630接收多个光束690、695，且偏转器685改变多个光束690、695的方向以将多个光束690、695导向至第二多个凸透镜640、650。偏转器685可为棱镜或镜子。偏转器685可为固定的，或其可通过微机电系统(micro-electromechanicalsystem；mems)装置、纳米机电系统(nano-electromechanicalsystem；nems)装置、微微机电系统(pico-electromechanicalsystem；pens)装置等致动。
类似于图5a，凸透镜640、650及凹透镜660、670将光束690、695聚焦至多个光传感器阵列675、680。多个光传感器阵列675、680从多个凹透镜660、670接收多个光束690、695，且形成对应于第一多个凸透镜600、610的多个图像。
图6b展示根据一个实施例的通过多个光传感器阵列675、680形成的图像682。多个光传感器阵列675、680可具有各种大小的光传感器，诸如4x3mm。
为获得环境的三维表示，诸如立体图像或立体视频，本文公开的各种360°相机可被组合来同时从不同视角录制环境的图像。例如，图1a中公开的成像装置可与图4中公开的成像装置组合来同时录制环境的图像。在另一实施例中，环境的三维表示(诸如立体图像)可通过将单一装置(例如，图1a中公开的成像装置或图4中公开的成像装置)定位在第一位置中继而将该装置置放于第二位置中来产生。耦合至相机中的两者的处理器可基于成像装置录制物中的两者而产生三维图像或视频。
用于录制及处理图像的方法
图7为根据一个实施例的录制周围环境的无失真宽视图(例如，360°视图)的过程的流程图。在步骤700，配置第一多个相机。第一多个相机包括围绕第一多个相机分布的多个鱼眼镜头。第一多个相机被配置为录制与周围环境相关联的第一多个图像。第一多个图像中的每一个图像包括由多个鱼眼镜头中的鱼眼镜头失真的图像周边及未被鱼眼镜头失真的图像中心。
在步骤710中，配置第二多个相机。第二多个相机包括围绕第二多个相机分布的多个镜头。第二多个相机被配置为录制与周围环境相关联的第二多个图像。第二多个图像中的每一个图像包括未被第二多个相机中的相机失真的图像中心。与第二多个图像相关联的多个图像中心重叠与第一多个图像相关联的多个图像周边。
在步骤720中，第一多个相机及第二多个相机被配置为录制第一多个图像及第二多个图像。图像可同步地录制。时间戳可被包括在与图像相关联的元数据中，因此具有时间戳的时间跨度(例如，几分之一秒至数秒)内的时间戳的图像可与一个或多个处理步骤(例如，组合图像)期间的相同时间相关联。
在步骤730中，处理器被配置为将第一多个图像及第二多个图像组合成不被多个鱼眼镜头失真的图像。组合图像可为周围环境的宽视图图像(例如，360°图像)。用于组合图像的实施例在下文参考图9-13论述。
第8a图展示根据一个实施例的通过与第二多个相机相关联的标准镜头录制的图像。图像为圆石隧道的图像。图像为无失真的，且展示如人眼将察觉环境的环境。图像800的区域与通过第一多个相机中的广角镜头录制的图像重叠，其中广角镜头是放置于标准镜头左侧。图像810的区域与通过第二多个相机中的广角镜头录制的图像重叠，其中广角镜头是放置于标准镜头右侧。
图8b展示根据一个实施例的通过与第一多个相机相关联的广角镜头录制的图像。广角镜头是以相对于来自图8a标准镜头的90°放置。另外，广角镜头的位置及定向与图8a中的标准镜头的位置定向相同。图像为失真的，因为直线系描绘成曲线820。图像830的区域与图8a中的图像800的区域重叠。
图8c展示根据一个实施例的通过组合与第一多个相机相关联的图像及与第二多个相机相关联的图像而获得的无失真图像。处理器接收与第一多个相机相关联的图像及与第二多个相机相关联的图像，且将该图像组合来产生无失真图像。所示图像为与第一多个相机中的第一广角镜头相关联的180°图像。处理器可产生与第一多个相机中的第二广角镜头相关联的类似180°图像。
图9-13展示根据若干实施例的用于处理多个图像的方法。图9和11为根据若干实施例的描述用于将多个图像拼合成单一图像(例如，单一360°图像)的过程的流程图。图10a-10c及图12a-12b为用于拼合图像的过程的示例，遍及图9和11的讨论参考这些图。设想用于将多个图像拼合成单一图像的多个实施例。实施例包括基于图案识别，映射第一图像与第二图像，如参考图9所描述的。实施例包括校准成像装置以辅助判定一个或多个图像的重叠，如参考图11所描述的。实施例包括识别图像中的受关注对象(用于促进例如修剪对象、聚焦于对象上、界定用于局部去扭曲(dewarping)的区域等)，如参考图13所描述的。
图9为根据一个实施例的描述用于将多个图像拼合成单一图像(例如，单一360°图像)的过程的流程图。图10a-10c中展示用于拼合图像的过程的示例，遍及图9的讨论参考这些图。
在步骤920中，处理器接收对应于第一多个相机的第一多个图像及对应于第二多个相机的第二多个图像。在实施例中，第一多个相机可包括多个广角镜头，其中第二多个相机可包括多个广角镜头，和/或可包括多个标准镜头。第一多个相机和/或第二多个相机可录制具有宽视场的图像、具有标准视场的图像或其组合。因此，第一多个图像和/或第二多个图像可包括具有宽视场的图像、具有标准视场的图像或其组合。
在一个实施例中，数据库可包括针对每一相机的视场信息。处理器可获取针对每一个相机的视场信息且将视场信息作为元数据附接至所录制的图像。例如，处理器可将“宽视场”元数据附接至第一组图像中的图像。在另一示例中，处理器可将“标准视场”元数据附接至第二组图像中的图像。元数据包括视场信息，该视场信息可用于例如识别用于去扭曲的图像，如下文参考步骤930所描述的。
在步骤930中，根据一个实施例，处理器可将第一多个图像或第二多个图像中的图像去扭曲。将图像去扭曲可涉及从广角图像(例如，对应于第一多个相机的第一多个图像中的图像)产生透视校正视场。在一个实施例中，去扭曲图像可与另一图像(例如，另一去扭曲图像、与标准镜头相关联的图像或与宽视图镜头相关联的图像)拼合，如下文参考步骤940及950所描述的。
在一个实施例中，处理器可将包括附接至图像的“宽视场”元数据的图像去扭曲。在一个实施例中，处理器可从数据库获取视场数据以识别哪些为进行去扭曲的图像。在一个实施例中，处理器可识别图像中的一个或多个对象中的失真图案，且在具有失真和/或弯曲图案的图像上进行去扭曲。例如，处理器可识别图像中的书柜且判定书柜具有随离图像的中心的距离而增加的曲率。基于对象(例如，书柜)的弯曲图案，处理器可判定图像包括宽视场并可将图像去扭曲。在另一实施例中，与宽视图相机的任何相机相关联的映射函数可用于将通过对应相机捕获的图像去扭曲。用于产生映射函数的实施例在下文参考图11进行描述。
在一些实施例中，可省略步骤930。去扭曲可降低图像质量，尤其对于产生广角图像的外缘附近的透视校正视场而言如此。在省略步骤930的实施例中，图像拼合可在与宽视图镜头相关联的图像与另一图像(例如，与标准镜头相关联的图像或与宽视图镜头相关联的图像)之间进行，如下文参考步骤940及950所描述的。
在步骤940中，处理器判定针对第一多个相机及第二多个相机的给定相对位置而言的通过第一多个相机录制的第一多个图像与通过第二多个图像录制的第二多个图像之间的像素对应。在一个实施例中，判定像素对应可包括(1)判定第一图像(例如，来自第一多个图像)与第二图像(例如，来自第二多个图像)之间的对应重叠区域，及(2)识别第一图像中的一组像素与第二图像中的一组像素之间的对应。
在实施例中，可判定第一图像1010与第二图像1020之间的对应重叠区域，如图10a中所描绘。实施例包括处理器，该处理器选择第一重叠区域并针对每一重叠区域一次移位一个像素。处理器可判定每一重叠区域的匹配分数，且识别具有最高匹配分数的重叠区域作为对应重叠区域。在一个示例中，处理器可识别在两个图像之间的最低重叠区域(例如，单一像素线重叠)且通过针对每一重叠区域一次移位一个像素来识别另外的重叠区域。在另一示例中，处理器可识别在两个图像之间的最大重叠区域(例如，如图10b中)，且通过针对每一重叠区域一次移位一个像素来识别另外重叠区域，且计算每一重叠区域的匹配分数。
参考图10a-10b，处理器可判定具有最高匹配分数的重叠区域为第一图像1010与第二图像1020之间的对应重叠区域。例如，以最大重叠(例如，图10b中的区域1000)开始，无论是部分重叠还是全部重叠，处理器可将图像相对于彼此逐像素线地垂直地及水平地移动，直至在图像1010、1020之间不存在重叠像素，且计算每一重叠区域的匹配分数。可使用各种图像匹配算法计算匹配分数，该等算法诸如最小平方匹配。具有最高匹配分数的重叠区域可被识别为对应重叠区域(例如，图10a中的区域1000)。
在一个实施例中，可进一步分析对应重叠区域以判定第一图像及第二图像中的多组像素之间的对应。在一些实施例中，可省略判定多组像素之间的对应。例如，若对应重叠区域之间的匹配分数为高的或几乎完全(perfect)的，则可省略判定多组像素之间的对应。若例如第一图像及第二图像两者均为标准图像(例如，未由鱼眼相机录制)，则对应重叠区域的匹配分数可为高的或几乎完全的。在其中第一图像及第二图像中的至少一个由鱼眼相机录制的实施例中，可有必要进一步分析来判定第一图像及第二图像中的多组像素之间的对应以便校正失真。
在一个实施例中，可识别第一图像1010的一组像素与第二图像1020的一组像素之间的对应。可例如在每一图像中的单一像素和/或每一图像中的一个以上像素之间识别对应。实施例包括判定在各种类型的图像之间的像素对应，该图像诸如例如与标准镜头相关联的图像、与宽视图镜头相关联的图像、去扭曲图像及其组合。例如，在判定像素对应中，处理器可判定与标准镜头相关联的图8a中的区域800及相与广角镜头关联的图8b中的对应区域830。处理器可在图8a中的区域800中的每一像素与图8b中的区域820中的每一像素之间建立一一对应。
参考图10c，处理器可判定在第一多个图像中的图像1010与第二多个图像中的图像1020之间的像素对应。为判定像素对应，处理器可将映射函数施加至对应重叠区域1030、1040。例如，映射函数可识别区域1030的第一组像素(例如，p1)，该第一组像素具有与区域1040的第二组像素(例如，p2)具有统计相关性。映射函数可通过判定第一组像素及第二组像素附近的多组相邻像素之间的对应来计算第一组像素与第二组像素之间的匹配分数。多组相邻像素可例如处于第一组像素及第二组像素直接上方、下方或邻近于该等像素的侧边。匹配分数可用于基于阈值相关性而确认或否认第一组像素与第二组像素之间的关系。阈值相关性的示例可包括例如具有至少百分比(例如，百分之五十、百分之六十等)的匹配像素的一组相邻像素，具有至少一百分比(例如，百分之五十、百分之六十等)的匹配像素的至少百分比(例如，百分之五十、百分之六十等)的相邻像素。像素对应数据(例如，在第一组像素与第二组像素之间的对应、匹配分数等)可储存在数据库中或作为元数据并入图像中。
通过判定第一图像与第二图像之间的对应重叠区域，继而识别第一图像及第二图像的多组像素在对应重叠区域内的对应，可达成精细调谐的像素对应，甚至在实质上失真图像(例如，鱼眼图像的外缘)的情况下如此。这是因为本文公开的方法可缩窄针对对应像素进行搜寻的区域，因此减少误差并增加识别速度。
在步骤950中，处理器可组合第一多个图像和第二多个图像以获得无失真宽视图图像(例如，360°图像)。实施例包括通过例如合并对应重叠区域中的对应像素而组合第一多个图像及第二多个图像。
设想用于合并像素的各种实施例。在一个实施例中，可将对应像素均匀地合并(例如，自第一组像素及第二组像素的颜色、亮度等的均匀混合)。在另一实施例中，对应像素可基于加权失真因子来合并。加权失真因子可基于像素的位置中的估算失真。例如，对于鱼眼图像而言，加权失真因子可增加鱼眼图像的中心附近的像素影响且减少鱼眼图像的外缘附近的像素影响。加权失真因子可具有从鱼眼图像的中心向外延伸的变化率。加权失真因子的变化率可例如为线性的、指数的等。加权失真的变化率可为固定的且指定至从相机捕获的图像(例如，针对来自鱼眼相机的图像而指数变化率)或可为可调整的且基于针对从相机接收的图像的失真率分析而更新。
在示例中，可合并第10c图中的对应重叠区域1030、1040中的对应像素(例如，p1及p2)。像素p1可与图10b中的重叠区域1030相关联，且对应像素p2可与图10b中重叠区域1040相关联。处理器可针对每一像素指定0至1的加权失真因子，以使得权重的总和始终等于一。处理器产生新的像素p0，其等于w1*p1+(1-w1)*p2，其中0<＝w1<＝1。加权失真因子w1是基于像素p1至与重叠区域相关联的内缘1050的距离来判定。当像素p1恰好挨着边缘1050时，w1为1。权重w1减小直至w1在外缘1060处达到0。该减少可为线性的、平方的、立方的等，或该减少可为谨慎的以使得在离边缘1050达指定距离之后，权重w1变成0。指定距离可为一个像素、两个像素等，至多为区域1030中所含像素的一半。
通过将第一像素(例如，p1)或多组第一像素与第二像素(例如，p2)或多组第一像素合并，可产生新的像素(例如，p0)或一组新的像素。新产生的像素或多组像素可用于产生宽视图图像(例如，360°图像)。例如，多个图像(例如，从围绕360°成像装置的多个相机录制的图像)的对应重叠区域中的对应像素可各自合并以产生连续无失真宽视图图像(例如，360°图像)。
所产生宽视图图像(例如，360°图像)的进一步图像处理(例如，图像编码)是通过一些实施例设想的但可不是要求的。可能的进一步处理在下文参考步骤960进行描述。
在步骤960中，图像编码可例如在接收图像(例如，如步骤920中)之后、在将图像去扭曲(例如，如步骤930中)之后、在判定像素对应(例如，如步骤940中)之后、在组合图像(例如，如步骤950中)之后或在另一步骤之后进行。在一个实施例中，编码可在通过组合多个图像产生的无失真360°图像上进行。实施例包括响应于进行一个或多个步骤，该等步骤诸如例如步骤920、步骤930、步骤940、步骤950或其任何组合发生的图像编码。如步骤960所提及的图像编码可包括像素的压缩、加密或其他变更中的任何者。在一个实施例中，图像编码可在将图像写入图像流之前进行。
在一个实施例中，步骤960中的图像编码可包括图像压缩。图像压缩可用于使得图像数据的更有效储存和/或传输。图像压缩可使用例如扫描长度编码、区域图像压缩、差分脉冲码调制、熵编码或其任何组合。在一个实施例中，处理器可包括在360°成像装置内。处理器可识别通过360°成像装置录制的多个图像中的冗余图像数据。处理器可储存冗余图像数据作为单一数据值且插入单一数据值的参考替代冗余图像数据。在示例中，如参考图19进一步描述的，可检测图像中的一个或多个对象。多个图像中的所检测对象可包括冗余图像数据。例如，面部可以是通过360°成像装置录制的图像中的所检测对象。第一多个图像可包括所检测面部(例如，通过360°成像装置的第一相机录制)，且第二多个图像包括所检测面部(例如，通过360°成像装置的第二相机录制)。所检测面部可包括所检测对象数据库中储存的特征。所检测对象数据库的参考可被插入包括所检测面部的第一多个图像及包括所检测面部的第二多个图像的图像代码中。通过参考所检测对象数据库而非包括所检测面部的图像代码，可减小图像数据的大小。
在一个实施例中，步骤960中的图像编码可包括图像加密。图像加密可包括例如将图像的明文代码转换成密文、视觉加密或其组合。在一些实施例中，图像加密可发生来减少图像信息可通过未授权使用者获取的可能性。例如，无人机(drone)可配备360°成像装置，该360°成像装置具有处于360°成像装置内的处理器。处理器可加密图像(例如，一旦图像被接收或一旦图像被组合)且将加密图像(例如，360°图像)储存在数据库中。在装备360°成像装置的无人机通过未授权使用者获取的事件中，加密图像可比标准图像更难于观察。因此，通过360°成像装置录制的图像的加密可减少披露敏感图像信息的可能性。
在一个实施例中，图像数据可通过将图像的明文代码转换成密文而加密。图像数据可以是由rgba(红绿蓝α)色空间组成的矩阵。矩阵中的每一像素可包括色值及α值。若进行图像压缩，则参考值可替代图像的一个或多个部分。参考值可指代一个或多个参考表(例如，所检测对象数据库)。参考值可被提供为明文代码。处理器可将参考值转换成密文，从而使得一个或多个部分(例如，图像中参考的所检测对象)在不解密密文的情况下不可检视。在一个实施例中，图像中的所检测对象可为与图像的重要部分相关联的对象。例如，所检测对象可为图像中的面部。通过将所检测对象的参考加密，图像的重要部分(例如，图像中的面部)可呈现为在不解密密文的情况下不可检视。
在实施例中，图像数据可通过使用视觉加密来加密。视觉加密可通过将图像分离成单独部分且保留指示哪些单独部分统一来重新产生图像的参考来进行。视觉加密可电子地通过将图像数据(例如，rgba色空间)的各部分分离(例如，分离成棋盘格、像素的分散序列或其他唯一形状)且识别再统一方法而进行。例如，原始图像可分离成rgba色空间的第一棋盘格部分及rgba色空间的第二棋盘格部分。rgba色空间的第一棋盘格部分可被储存在第一数据库中，且rgba色空间的第二棋盘格部分可被储存在第二数据库中。可产生指示第一数据库中与原始图像相关联的文档及第二数据库中与原始图像相关联的文档的参考。参考可为明文代码。参考可转换成密文，因此使得原始图像在不解密密文的情况下难以检视。
图11为根据一个实施例的描述用于将多个图像拼合成单一图像(例如，单一360°图像)的过程的流程图，该过程包括校准成像装置以辅助判定一个或多个图像的重叠。图12a-12b中展示用于校准成像装置且拼合图像的过程的示例，遍及第11图的讨论参考这些图。
在步骤1100中，多个广角镜头可校准来判定与多个广角镜头相关联的映射函数。校准可包括(1)判定多个广角镜头中的任何广角镜头的镜头失真，及(2)判定多个广角镜头中的任何广角镜头之间的空间关系。
在实施例中，步骤1100的校准包括判定多个广角镜头(例如，360°成像装置的多个相机的广角镜头)中的任何广角镜头的镜头失真。例如，处理器可校准多个广角镜头(例如，鱼眼镜头)以判定与多个广角镜头中的任何广角镜头相关联的失真。处理器可判定通过第一多个相机中的任何广角镜头录制的图像与通过标准镜头录制的等效图像之间的映射函数。等效图像为与通过广角镜头录制的图像相同定位及定向的标准镜头所录制的图像。映射函数包括变换，其中当变换施加于通过广角镜头录制的图像时，处理器产生通过标准镜头录制的等效图像。可使用与任何广角镜头相关联的所产生映射函数例如来将图像去扭曲，如上文参考图9所述。
在实施例中，步骤1100的校准包括判定360°成像装置的多个相机中的任何相机之间的空间关系。例如，如图12a-12b所示，第一相机1202可朝向第一位置1212导向且录制第一图像1232，且第二相机1204可朝向第二位置1224导向且录制第二图像1234。第一相机1202及第二相机1204可分离距离d1。第一相机1202及第二相机1204可定向在不同角度，例如像附接至球形表面、附接至铰链或其他可旋转装置或以其他方式以不同角度附接至表面。可判定第一相机1202及第二相机1204的相对位置和/或第一图像1232与第二图像1234之间的相对图像对应。
在步骤1110中，处理器可将映射函数储存在数据库中。映射函数可包括相对位置和/或图像对应。数据库可包括对一个或多个其他相机的交叉参考以使得与相机(例如，具有第一组尺寸的鱼眼相机)相关联的映射函数也可一个或多个其他相机(例如，具有第一组尺寸的一个或多个鱼眼相机)相关联。映射函数可保存在数据库中且被获取来识别通过第一相机1202及第二相机1204录制的后续图像的相对位置，诸如，例如如参考步骤1140所述的。
在步骤1120中，可接收对应于第一多个相机(例如，第一相机1202)的第一多个图像，且可接收对应于第二多个相机(例如，第二相机1204)的第二多个图像。实施例包括接收第一多个图像及第二多个图像，如上文参考图9的步骤920所述。在实施例中，所接收图像可如上文参考图9的步骤930所述去扭曲。
在步骤1140中，可判定第一多个图像与第二多个图像之间的像素对应。在一个实施例中，可基于与第一图像及第二图像相关联的重叠区域来判定像素对应。一些实施例包括判定如上文参考图9的步骤940所述的像素对应。在一些实施例中，可通过利用在步骤1100中进行的校准来判定像素对应。在一些实施例中，可通过利用参考图9的步骤940所述的方法以及在步骤1100中进行的校准来判定像素对应。
在一个实施例中，可通过利用在1100中进行的校准通过以下步骤来判定像素对应：(1)获得储存在数据库中的映射函数，(2)使用映射函数来去扭曲和/或判定第一多个图像(例如，第一图像1232)及第二多个图像(例如，第二图像1234)的重叠区域(例如，重叠区域1236)，及(3)判定在第一图像(例如，第一多个图像的图像)中的第一组像素与第二图像(例如，第二多个图像的图像)中的第二组像素之间的对应。
获得储存在数据库中的映射函数可涉及例如处理器识别数据库中的映射函数的储存地址，或处理器将针对映射函数的请求传输至另一计算节点且从另一计算节点接收映射函数，其中该另一计算节点从数据库获取映射函数。
映射函数可用于例如将图像(例如，第一多个图像或第二多个图像的图像)去扭曲，判定第一图像(例如，第一图像1232)及第二图像(例如，第二图像1234)的重叠区域(例如，重叠区域1236)或其组合。
在一个实施例中，映射函数可基于镜头失真且用于将图像去扭曲。例如，映射函数可指示从图像的中心延伸至图像的外部分的图像扭曲的变化率(例如，图像的中心附近的翘曲最小及随离图像的中心的距离增加扭曲增加)。在映射函数中指示的图像扭曲的变化率可用于通过逆转由录制图像的镜头所引起的扭曲效应而将图像去扭曲。
在实施例中，映射函数可基于第一图像1232与第二图像1234之间的空间关系且用于判定重叠区域1236。例如，图像可已通过固定表面上的相机(例如，相机1202、1204)捕获以使得图像之间的重叠区域为固定区域。在另一实施例中，图像可通过能够旋转或回转(未展示)的相机捕获，其中相机的运动受监视且并入映射函数中。映射函数可基于第一和/或第二相机的运动而判定通过第一相机录制的第一图像与通过第二相机捕获的第二图像之间的重叠区域。
重叠区域可用于判定第一图像中的第一组像素与第二图像中的第二组像素之间的像素相关性，如参考图9的步骤940所述。
在步骤1150中，第一多个无失真图像及第二多个无失真图像可被组合来产生无失真宽视图图像(例如，360°图像)。实施例包括通过例如将对应重叠区域中的对应像素合并而组合第一多个图像及第二多个图像，如参考图9中的步骤950所述。
图13为根据一个实施例的描述用于识别图像中某一类别的对象的实例的过程的流程图。可识别的对象的类别包括例如人类、动物、建筑物、车辆、家具等。在一个实施例中，图像中的所识别对象可用于促进例如修剪所识别对象，聚焦于所识别对象上，界定用于局部去扭曲的区域或其任何组合。
参考步骤1300，可识别图像中类别的对象的实例。所识别对象可与一个或多个类别相关联于，诸如，例如人类、动物、建筑物、车辆、家具等。设想用于识别各种类别的对象的各种方法。用于识别本文描述的对象的类别及方法是举例而言，且不意欲限制用于识别各种类别的对象的可能方法。下文论述用于识别各种类别的对象的方法。
识别与人的相关联的图像中的对象可通过例如利用面部识别系统、行人识别系统或其组合来完成。面部识别系统可通过判定图像的一个或多个特征且判定是否与面部数据库中的一个或多个储存特征存在匹配而集中于检测图像中的人的前面部。面部数据库可包括面部图像的高维向量空间上概率分布的协方差矩阵。一个或多个储存特征可包括例如表示亮及暗区域的图案的多个向量。行人辨识系统可用于通过使用例如全观性检测、基于部分的检测、基于小块(patch)的检测、基于运动的检测、使用多个相机的检测或其任何组合而检测图像中的行人相关联的对象。在一个较佳实施例中，360°成像装置的多个校准相机用于从围绕360°成像装置的不同角度而产生多个视频流来检测一个或多个行人。可产生360°成像装置的周围环境的概率占据图。概率占据图可包括具有多个单元的栅格。行人占据多个单元中的一个单元的概率可基于例如来自定向在不同角度中的360°成像装置的多个相机的单元中所检测的颜色、形状及运动来判定。传统行人识别系统可需要在不同位置中的不同相机。然而，360°成像装置可包括单一装置中的多个校准相机，其中多个校准相机可从围绕360°成像装置的不同角度捕获周围环境的图像和/或视频流，且因此使用利用单一成像装置的多相机检测方法检测行人。
实施例包括利用与检测图像中的人类对象相同或类似的方法检测动物。例如，类似方法包括通过调整例如颜色、形状或运动以反映目标动物而修改用于检测行人的多相机检测方法。例如，若北极熊为用于检测的目标动物，则目标颜色可设定为白色，目标形状可通过为处理器提供北极熊图像以界定北极熊形状向量空间来定义，且目标运动可通过为处理器提供北极熊视频以界定北极熊运动向量空间来定义。北极熊形状向量空间及北极熊运动向量空间可用于判定所检测对象为北极熊的概率。若所检测对象为北极熊的概率超过阈值，则所检测对象可识别为北极熊。阈值可包括例如百分之五十的概率、百分之六十的概率、百分之七十的概率等。
实施例包括检测其他对象，诸如，例如车辆、建筑物及家具。设想用于检测各种对象的各种方法，诸如，例如边缘检测、初级草图(primalsketch)、依部分辨识、个个击破搜寻、灰阶匹配、梯度匹配、接收场响应的直方图、大型建模(modelbase)及其组合。
参考步骤1310，所识别对象可用于促进以下任何者：(1)从所产生图像移除所识别对象，(2)界定用于局部去扭曲的区域，及(3)聚焦在另一图像中所识别对象的经判定位置。下文提供用于从所产生图像移除所识别对象、界定用于局部去扭曲的区域及聚焦在另一图像中所识别对象的经判定位置上的各种实施例。
在一个实施例中，所识别对象可从图像移除(例如，从图像修剪)。实施例包括在第一图像及第二图像的拼合之前、期间和/或之后移除所识别对象(例如，如参考图9和11所述)。例如，行人可闯入录制有风景的图像中。捕获有风景的多个图像可包括行人。可在多个图像中通过例如利用如上文所述的行人识别系统来识别行人。在一个实施例中，所识别对象(例如，行人)可从图像修剪出且可进行多个图像的拼合以产生新图像，该新图像具有从多个图像中的至少一个的先前通过所识别对象(例如，行人)占据的区域中所识别的背景。在另一实施例中，可针对第一图像中所识别对象的区域识别另一图像的对应重叠区域，且可合并对应重叠区域中的对应像素，其中所识别对象指定有加权失真因子，该加权失真因子减少所识别对象(例如，行人)的影响。在示例中，可合并对应重叠区域(例如，第一图像及第二图像的重叠区域)中的对应像素(例如，p1及p2)。第一图像可包括在第一位置中的所识别对象，且第二图像可包括在第二位置中的所识别对象。第一图像及第二图像可包括在不同位置中的所识别对象，因为第一图像及第二图像可从在不同方向上成角度的相机录制。像素p1可与包括所识别对象的第一图像的重叠区域相关联，且对应像素p2可与不包括所识别对象的第二图像的重叠区域相关联。处理器可针对每一像素指定0至1的加权失真因子，以使得权重之总和始终等于一。处理器产生新的像素p0，其等于w1*p1+(1-w1)*p2，其中0<＝w1<＝1。像素p1可被指定0的加权失真因子，因为其与用于移除的所识别对象相关联。像素p2可被指定1的加权失真因子，因为其不与用于移除的所识别对象相关联。用于与所识别对象相关联的像素的加权失真因子可被指定为0以完全地移除所识别对象，或比0大的值以部分地移除所识别对象。通过将具有加权失真因子的对应像素合并，可产生具有完全或部分移除所识别对象的新图像。在一个实施例中，所识别对象可在图像中赋予较大的强调。在一个实施例中，用于与所识别对象相关联的像素的加权失真因子可在当合并对应重叠区域中的对应像素时指定为值为1或接近1。例如，人类面部可在第一图像中被检测且不在第二图像中被检测。所检测的人类面部可在合并第一图像及第二图像的对应像素时指定为1的加权失真因子，以使得第一图像及第二图像的所组合图像包括所检测的人类面部。
在一个实施例中，所识别对象可用于促进界定用于局部去扭曲的区域。例如，第一相机可录制包括面部的第一图像，其中面部位于图像的失真部分中，且第二相机可录制包括面部的第二图像，其中面部位于图像的无失真部分。第二图像的所检测面部可用于判定包括所识别面部的第一图像的区域的失真。第一图像的面部及第二图像的面部的对应像素可被识别且被映射来判定失真函数。失真函数可用于局部地将包括第一图像中的所检测面部的区域去扭曲。
在一个实施例中，所识别对象可用于促进360°成像装置的聚焦。例如，通过第一相机录制的第一图像中的所检测对象(例如，面部)可用于聚焦第二相机。第一相机及第二相机可分离一段距离及一角度θ。处理器可基于例如第一图像中的所识别对象的位置及校准数据(例如，相机的距离及定向)来判定第二图像中的所识别对象的位置。第二图像中的所识别对象的经判定位置可用于聚焦在经判定位置上，即使对于第二相机而言尚未发生对象的识别也是如此(也即，可已经仅对自第一相机录制的第一图像中的对象发生识别)。实施例包括使用来自一个或多个相机的所识别对象来基于校准数据而聚焦一个或多个其他相机。
计算机
图14为呈示例性形式的计算机系统1400的机器的图解表示，在该计算机系统内可执行指令集，以用于引起机器进行本文论述的方法或模块中的任一个或多个。
在图14的示例中，计算机系统1400包括处理器、存储器、非易失性存储器及接口装置。各种共同组件(例如，快取缓存存储器)加以省略以便于说明简单性。计算机系统1400意欲例示为硬件装置，可在该硬件装置上实行图1-13的示例中描述的任何组件(及本说明书中描述的任何其他组件)。计算机系统1400可具有任何可适用的已知或适宜类型。计算机系统1400的组件可经由总线或经由一些其他已知或适宜的装置而耦合在一起。
本公开内容设想采取任何适合物理形式的计算机系统1400。作为示例且非限制方式，计算机系统1400可为嵌入式计算机系统、片上芯片(system-on-chip；soc)、单板计算机系统(single-boardcomputersystem；sbc)(诸如，例如，模块上计算机(computer-on-module；com)或模块上系统(system-on-module；som))、桌上型计算机系统、膝上型或笔记型计算机系统、交互型自助终端、大型计算机、计算机系统网、移动电话、个人数字助理(personaldigitalassistant；pda)、服务器或这些中的两个或两个以上的组合。在适当时，计算机系统1400可包括一个或多个计算机系统1400；为单一或分布式的；跨距多个位置；跨距多个机器；或驻留在云端，其可包括一个或多个网络中的一个或多个云端组件。在适当时，一个或多个计算机系统1400可进行本文描述或例示的一或多种方法的一个或多个步骤，而无实质上空间或时间限制。作为示例且不是通过限制方式，一个或多个计算机系统1400可即时或以分批模式进行本文描述或例示的一或多种方法的一个或多个步骤。一种或多种计算机系统1400可在适当时在不同时间或在不同位置进行本文描述或例示的一或多种方法的一个或多个步骤。
处理器可例如为传统微处理器，诸如intelpentium微处理器或motorolapowerpc微处理器。相关领域的技术人员将认识到，术语“机器可读(储存)介质”或“计算机可读(储存)介质”包括任何类型的可通过处理器存取的装置。
存储器系通过例如总线耦合至处理器。存储器可包括例如但不限于随机存取存储器(randomaccessmemory；ram)，诸如动态ram(dynamicram；dram)及静态ram(staticram；sram)。存储器可为局部的、远程的或分布式的。
总线也将处理器耦合至非易失性存储器及驱动单元。非易失性存储器常常为磁盘或硬盘、磁性光盘、光盘、只读存储器(read-onlymemory；rom)(诸如cd-rom、eprom或eeprom)、磁卡或光卡或用于大量数据的另一形式的储存器。此数据中的一些常常在计算机系统1400中执行软件期间通过直接存储器存取过程而写入存储器中。非易失性储存器可为局部的、远程的或分布式的。非易失性存储器为可选的，因为系统可利用存储器中可利用的所有可适用数据来产生。典型计算机系统将通常包括至少处理器、存储器及将存储器耦合至处理器的装置(例如，总线)。
软件典型地储存在非易失性存储器和/或驱动单元中。实际上，在存储器中储存完整大型程序可能甚至不是可能的。然而，应理解，对运行软件而言，必要时，该软件是移动至适合于处理的计算机可读位置，且出于说明性目的，该位置在本文中称为存储器。甚至当软件移动至存储器用于执行时，处理器将典型地利用硬件寄存器来储存相与软件相关联的值，及局部缓存存储器，其理想地用于加速执行。如本文所使用的，当软件程序称为“在计算机可读介质中实行”时，软件程序是假定为储存在任何已知的或适宜的位置(自非易失性储存器至硬件寄存器)。当与程序相关联的至少一个值储存在可通过处理器读取的寄存器中时，处理器被视为“被配置为执行程序”。
总线也将处理器耦合至网络接口装置。接口可包括调制解调器或网络接口的一个或多个。将了解，调制解调器或网络接口可视为计算机系统1400的部分。接口可包括模拟调制解调器、isdn调制解调器、电缆调制解调器、符记环接口、卫星传输接口(例如，“直接pc”)或用于将计算机系统耦合至其他计算机系统的其他接口。接口可包括一个或多个输入和/或输出装置。i/o装置可包括例如但不限于键盘、鼠标或其他指向装置、磁盘驱动机、打印机、扫描仪及其他输入和/或输出装置，包括显示装置。显示装置可包括例如但不限于阴极射线管(cathoderaytube；crt)、液晶显示器(liquidcrystaldisplay；lcd)或一些其他可适用的已知或适宜的显示装置。为简单起见，假定图20的示例中未描绘的任何装置的控制器驻留在接口中。
在操作中，计算机系统1400可通过操作系统软件控制，该操作系统软件包括文档管理系统，诸如磁盘操作系统。具有相关联的文档管理系统软件的操作系统软件的一个示例为来自华盛顿雷蒙德的microsoftcorporation的称为
可以算法及计算机存储器内的数据比特上的操作符号表示的意义呈现详细描述的一些部分。这些算法描述及表示是由数据处理技术领域的技术人员所使用的手段以向该技术领域中的其他技术人员最有效地传达他们工作的实质内容。算法在本文中且一般而言是构想为产生所欲结果的操作的自相一致的序列。该操作是需要物理量的实体操控的操作。通常，尽管未必，但这些量采取能够得以储存、转移、组合、比较及在其他情况下得以操控的电信号或磁信号的形式。将这些信号指称为比特、值、元件、符号、特性、项目、数字或类似物有时被证明是适宜的，此主要是出于一般用途的理由。
然而，应牢记的是，所有这些术语及相似术语是与适当的物理量相关联的且仅为施加至这些量的适宜标签。除非另外明确地阐述而根据以下论述为明显的，否则应了解的是，在本篇描述的各处，利用诸如“处理”或“计算”或“运算”或“判定”或“显示”或“产生”等等的术语的讨论是指计算机系统或类似电子计算装置的动作及过程，该计算机系统将在计算机系统的寄存器及存储器内表示为物理(电子)量的数据操控并转换为计算机系统存储器或暂存器或其他此种信息储存器、传输装置或显示装置内的其他类似地表示为物理量的数据。
本文中所呈现的算法及显示器本质上并非关于任何特定计算机或其他设备。可与根据本文中的教导的程序一起使用各种通用系统，或可能证明建构更专用的设备来进行一些实施例的方法是适宜的。用于各种这些系统所需的结构将出现于下文描述中。此外，不参考任何特定程序设计语言来描述这些技术，且可因此使用各种程序设计语言来实行各种实施例。
在替代实施例中，机器作为独立式装置操作，或可连接(例如网络连接)至其他机器。在网络连接布署中，机器可在客户端-服务器网络环境中的服务器或客户端机器中操作，或作为点对点(或分布式)网络环境中的对等机器操作。
机器可为服务器计算机、客户端计算机、个人计算机(personalcomputer；pc)、平板pc、膝上型计算机、机顶盒(set-topbox；stb)、个人数字助理(personaldigitalassistant；pda)、蜂窝电话、iphone、黑莓机、处理器、电话、网页设备、网络路由器、交换机或桥接器或能够执行指令集(顺序地或以其他方式)的任何机器，该指令集指定要由该机器所采取的动作。
尽管机器可读介质或机器可读储存介质在示例性实施例中展示为单一介质，但应采用术语“机器可读介质”及“机器可读储存介质”以包括储存一个或多个指令集的单一介质或多个介质(例如集中式或分布式数据库和/或相关联的快速缓存存储器及服务器)。也应采用术语“机器可读介质”及“机器可读储存介质”以包括能够储存、编码或实现由机器所执行的指令集的任何介质，其中该指令集使机器进行目前所公开技术及创新的方法或模块中的任一个或多个。
一般而言，执行来实行本公开内容的实施例的例程可实行为操作系统的部分或特定应用、组件、程序、物件、模块或称为“计算机程序”的指令序列的一部分。计算机程序典型地包括在计算机中的各种存储器及储存装置中于各种时间设定的一个或多个指令，且该一个或多个指令当通过计算机中的一个或多个处理单元或处理器读取及执行时，引起计算机进行操作以执行涉及本公开内容的各种方面的元件。
此外，尽管已在完全作用的计算机及计算机系统情景下描述实施例，本领域技术人员将了解的是，各种实施例能够以各种形式分布为程序产品，且无论实际上用以影响分布的特定类型的机器或计算机可读介质，本公开内容皆同等地应用。
机器可读储存介质、机器可读介质或计算机可读(储存)介质的其他示例包括但不限于可记录类型媒体(诸如为易失性及非易失性存储器装置、软盘及其他可移除式磁盘、硬盘驱动、光盘(例如光盘只读存储器(compactdiskread-onlymemory；cd-rom)、多样化数位光盘(digitalversatiledisc；dvd)等)以及其他)及传输类型媒体(诸如数字及模拟通信链路)。
在一些情况下，存储器装置的操作(诸如从二进制的一至二进制的零的状态改变，反之亦然)例如可包括转换，例如物理转换。在特定类型的存储器装置的情况下，此种物理转换可包括将制品物理转换至不同状态或物品。例如但在不限制的情况下，对于一些类型的存储器装置而言，状态改变可涉及电荷的累积及储存或经储存电荷的释放。同样地，在其他存储器装置中，状态改变可包括磁定向上的物理改变或转换，或分子结构上的物理改变或转换，例如自结晶体改变或转换至非晶态，或反之亦然。上文不意图穷举列表，在该穷举列表中存储器装置中的二进制的一至二进制的零的状态改变或反之亦然可包括转换,诸如物理转换。实情为，上文欲作为说明性示例。
储存介质典型地可为非暂时性的或包括非暂时性装置。在此情景下，非暂时性储存介质可包括有形的装置，意指该装置具有具体的物理形式，尽管该装置可改变其物理状态。因此，例如非暂时性是指装置，该装置维持是有形的，无论此状态改变如何。
备注
已为了说明及描述的目的而提供所请求主题的各种实施例的前述描述。不欲为穷举的或将所请求主题限于所公开的精确形式。许多修改及变化对于本领域技术人员而言将是明显的。实施例经选择及描述以最佳地描述本发明的原理及其实际应用，借此使得相关领域中的其他技术人员了解所请求主题、各种实施例及适于所设想的特定用途的各种修改。
尽管已在完全作用的计算机及计算机系统情景下描述实施例，本领域技术人员将了解的是，各种实施例能够以各种形式分布为程序产品，且无论实际上用以影响分布的特定类型的机器或计算机可读介质，本公开内容皆同等地应用。
尽管上文的具体实施例描述某些实施例及所设想的最佳模式，但无论上文在文本中是如何详细地呈现，可以许多方式实践实施例。系统及方法的细节可能在仍被本说明书涵盖的同时在这些系统及方法的实施细节上大大地变化。如上文所指出，在描述各种实施例的某些特征或方面时使用的特定术语应不被采用为暗示该术语在本文中被重新定义而被限于本发明与该术语关联的任何特定特性、特征或方面。一般而言，以下权利要求所使用的术语不应被解释为将本发明限于本说明书中所公开的特定实施例，除非那些术语在本文中被明确定义。据此，本发明的实际范围不仅包括所公开的实施例，而且包括实践或实行权利要求下的实施例的所有等效方式。
已主要为了可读性及教导目的而选择本说明书中所使用的语言，且可能并未选择该语言来勾画或限制发明主题。因此意欲本发明的范围不由此具体实施例所限制，而是由任何权利要求来限制，基于该等权利要求而该申请的授权。因此，各种实施例的公开内容意欲为说明而非限制实施例的范围，该范围是在以下权利要求中被阐述。