基于照片位置对图像区域分类的制作方法

专利名称：：基于照片位置对图像区域分类的制作方法
技术领域：
：本发明的领域涉及数字图像捕捉装置以及基于记录的拍照位置信息对图像区域分类。
背景技术：
：图像理解中的一基本任务是计算确定图像的区域(连接的像素位置的组)或像素表示特定材料的可能性，也被称为区域分类或区域标记。这可以是非常困难的，尤其当计算机缺乏关于图像的上下文信息时。当前技术将得自图像的特征用于生成置信图(briefmap)(例如，在天空检测的情形中，共同转让的美国专利申请序号10/747,597)。例如，图像中的白色区域可能或可能不表示雪。因为难以产生可被用于鲁棒分类的特征，主要因为许多材料共享类似的颜色和紋理特性(例如，雪和云)，这种技术经常产生不正确的结果。在相关的任务中，有时有必要将整个图像分类到已知的分类之一。例如，在许多情况下，将数字图像分类为或者室外图像或者室内图像是有用的。通过单独使用图像数据执行这种任务也是非常困难的并且易于出错。在美国专利6，504,571中，图像具有相关联的地理捕捉信息。将查询转换成绵度和经度查询。例如，对于在沙滩上捕捉的图像的搜索使系统显示沙滩的列表。用类似的方式处理例如体育馆、公园或湖的位置。尽管这种方法确实提供了用于找到在特定位置捕捉的图像的效用，其并不帮助确定在图像自身内的内容即区域标记。例如，系统将不区分在海滩上的房子内捕捉的图像和在相同位置捕捉的海洋的图像。此外，例如美国专利号5，506，644和5,247，356的描述与图像相关联的位置信息的其他系统，类似地并不有助于确定图像内容或在图像内表示的材料。例如，系统将不定位图像内的房子或沙。因此，需要设计用于在利用连同图像一起捕捉的地理位置信息的同时对数字图像中的特定材料和对象的区域分类的方法。
发明内容本发明的一个目的在于方便采用捕捉的地理位置信息对通过数字图像捕捉装置捕捉的数字图像的区域分类。通过对图像捕捉装置捕捉的数字图像或视频中的区域分类的方法来实现该目的，该方法包括提供与图像捕捉装置相关联的地理位置确定装置，将地理位置确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉位置，以及基于图像捕捉位置将捕捉的数字图像或视频中的区域分类到一个或多个类。图1是表示可实施本发明的数字图像捕捉装置的框图2是表示图1中的数字图像捕捉装置的操作的框图，该操作用于产生多个类标记的材料置信图3是表示将图2中的数字图像捕捉装置的输出用于改善数字图像的操作的框图4是表示对数字图像中的区域分类的操作的框图；以及图5是表示用于集成地理位置信息的场景配置模型的图。具体实施例方式图1示出了例如数字照相机、数字摄像机或照相手机的现有技术数字图像捕捉装置10。图像捕捉装置包括用户输入22。如所示的，用户输入22是按钮，但用户输入22还可以是例如操纵杆或触摸屏。用户通过用户输入22来命令图像捕捉装置10的操作，例如通过选择图像捕捉装置10的操作模式。图像捕捉装置IO还包括显示器30,用户可以在其上预览当压下捕捉按钮15时图像捕捉装置IO捕捉的图像。还与用户输入22—起使用显示器30以便用户可以导航通过菜单。如在数字图像捕捉装置上通常使用的，显示器30可以是例如液晶显示器(LCD)或有机发光二极管(OLED)屏幕。菜单允许用户选择图像捕捉装置的操作的偏好。图像捕捉装置可捕捉或者静止图像或者例如视频流的快速连续的图像。在图1中示出的一般控制计算机40将本发明存储为计算机可读存储介质中的计算机程序，计算机可读存储介质可包括例如例如磁盘(例如软盘)或磁带的磁存储介质；例如光盘、光带或机器可读条形码的光学存储介质；或例如随机存取存储器(RAM)或只读存储器(ROM)的固态电子存储装置。本发明的相关计算机程序实现还可以被存储在由存储装置70指示的任何其他用于存储计算机程序的物理装置或介质上。控制计算机40负责控制在图像捕捉装置10的元件之间的数据的传输。例如，控制计算机40确定用户压下捕捉按钮15并启动通过图像传感器34的图像捕捉。图像处理器36用于处理数字图像，以使得图像显示装置30产生样子合意的图像的方式，进行数字图像的总亮度、色调等级(tonescale)或图像结构的调整。那些本领域的技术人员将认识到本发明不受限于仅这些提及的图像处理功能。数据处理器20用于处理源自数字图像的图像信息以及源自地理位置确定器325的位置信息363,以便产生用于图像处理器36或用于控制计算机40的元数据。在以下将更详细地描述数据处理器20的操作。还应当指出，本发明可以被实现于软件或硬件的组合中并且不限于物理连接的或位于相同物理位置内的装置。在图1中例示的装置中的一个或多个可以位于远程，并且可通过无线连接来连接。数字图像由一个或多个数字图像通道构成。每个数字图像通道由像素的二维阵列构成。每个像素值与图像捕捉装置接收的对应于像素的物理区域的光量相关。对于彩色成像应用来说，数字图像将通常由红色、绿色和蓝色数字图像通道构成。运动成像应用可被认为是数字图像的序列。那些本领域的技术人员将认识到本发明可以被应用于但不局限于以上提及的应用中的任何应用的数字图像通道。尽管将数字图像通道描述为按照行和列布置的像素值的二维阵列，那些本领域的技术人员将认识到本发明可以被应用于非直线阵列而具有同等效果。那些本领域的技术人员还将认识到对于以下描述的数字图像处理步骤来说，用经处理的像素值代替原像素值在功能上相当于，产生具有经处理的像素值的新数字图像，而同时保留原像素值。图像捕捉装置10包括位置确定器325。该位置确定器325或地理位置确定装置包括接收位置信息363的位置信息接收器。随后与图像相关联地存储位置信息363。优选地，将位置信息363存储为在将被使用的地图上直接可读的坐标；例如，一般方便地用纟韦度和经度单位存储地理6地图位置。转换器可包括使表示位置的不同方法相关的转换地理数据库327。例如使地名(例如Dora阿姨的房子)、纬度和经度、和街道地址相关。转换地理数据库327可位于图像捕捉装置自身上，或利用通过例如鸡站(dock)接口362或无线调制解调器350的网络接口的远程访问，外部于图像捕捉装置。鸡站接口可被连接到鸡站充电器364。位置确定器325可附加地或可选地包括源自例如麦克风或键盘的用户接口22的输入，该用户接口22允许用户输入地图位置或位置信息363。位置信息363可定义图像捕捉时确定的确切位置(在适当的容限内)，但如果该信息不可获得，可以基于最佳的可获得数据(以下讨论)设定位置。与捕捉记录的收集相关联的位置的容限可以都是一样的或可以变化。可以以试探法为特定用途确定可接受的容限和不同容限范围的混合。位置信息363还可定义物理位置的不同大小。例如，GPS坐标定义小的地理区域，而电信小区定义的地理区域相对大，取决于例如输出或天线配置的因素。用户输入位置信息可定义例如两条街道的交叉口的小区域，或例如城市或县的大区域。可以用数据传输的形式在捕捉时提供位置信息363。数据传输是指出在捕捉时捕捉装置或捕捉主题的位置的信息的任何传输。数据传输的类型包括本地或远程传送的位置坐标、基站的标识、有线和无线网络地址、和远程传送的和用户输入的标识。作为标识小的地理区域的特定坐标，GPS(全球定位系统)坐标是尤其方便的。可以通过多种方法中的任何方法来确定由位置确定器325确定的位置信息363。例如，可以通过从著名的全球定位卫星(GPS)接收通信来确定地理位置。在一些管辖区中，蜂窝式电话可获得可用于提供地图位置的GPS或其他定位数据。可选地，可以通过传输塔的标识和三角测量的使用来指示位置信息363。传输塔的特征可被保存于数据库中，可以在从接收的传输确定位置信息363的过程中参考该数据库。网络节点信息可用于标识地图位置。在这种情况下，通过例如坞站接口362或无线调制解调器350的网络接口提供位置信息363。例如，坞站接口可使用IEEE802.11无线接口协议之一以便连接到无线网络。位置确定器还可以使用无线接入点的MAC(媒体访问控制)地址以提供位置信息，可采用使MAC地址与地图位置相关的数据库将该位置信息转换成地图位置。MAC地址净皮永久记录在无线接入点设备的硬件中。例如，MAC地址48-3F-0A-91-00-BB可与位置43.15度N,77.62度W相关联。这种方法依据数据库中的地图位置与提供MAC地址的设备的实际位置相对应的假定。用类似的方式，如在此引入作为参考的Parekh等人的美国专利号6,757,740中所描述的，可以-使用"traceroute"工具，确定从客户端计算机到远程主机的，携带跨互联网的特定消息的所有路由器的IP地址(由TCP/IP协议定义)，以便得到地理位置的近似概念。用户可附加地或可选地提供地图位置或位置信息363。例如，用户可输入纬度和经度信息或邮政编码来定义与图像相关联的地理位置。可将位置信息363表示为概率分布而不是单个点。即使以上描述的最精确的位置确定系统(GPS)(当前可用的)也容易受到至少若干米的误差。可以将地理位置表示为点和相关联的不确定性，或表示为概率分布。例如，当地理位置是邮政编码时，可以使用在由该邮政编码定义的区域上的均匀概率分布。在其他实施例中，图像捕捉装置或其他捕捉装置具有，从与图像捕捉装置10分离的外部位置感知装置329接收和存储与捕捉的图像相关联的位置信息的位置确定器325。在这种情况下，地理位置由位置感知装置329确定并且随后通过坞站接口362或无线调制解调器350被传送到图像捕捉装置10。位置感知装置329是借助于例如内置到汽车中的GPS接收器的位置信息接收器知道其位置的装置，或是例如射频信标的知道其位置的固定物体。位置确定器325可以或者为其位置轮询外部位置感知装置329,或者位置确定器325可以为其位置在特定时间(例如，特定时间是图像捕捉时间)轮询外部位置感知装置329。当位置感知装置329紧靠图像捕捉装置10时，例如当位置感知装置329是将位置信号传送给图像捕捉装置的汽车中的GPS接收器时，这种替代方案是有效的。在特定实施例中，位置确定器325估计否则将缺乏地图位置的捕捉记录的地图位置。例如，当室内时GPS接收器经常未能检测到信号。包括这种接收器的位置确定器325可使用在时间上最接近的可用位置信息，或者在图像捕捉时间之前或之后的时间处的多个地理位置之间的插值。作为选择，数字处理器可连续地存储由位置确定器325确定的地理位置，而不是仅与图像捕捉时间上相关地存储。这种方法提供用于当不可获得数据传输时估计位置的数据，并且具有允许图像捕捉装置不仅显示捕捉的图像的位置，而且显示用户在图像捕捉之间采取的路径的附加优点。图像捕捉装置10在捕捉图像或视频时确定位置信息363L,并且使该位置信息363L与该图像或视频相关联。当图像捕捉装置10捕捉视频流时，可有用于视频流中的每个数字图像的位置信息363L。或可有用于视频流的若干帧的一个位置信息363L。还可以有用于视频流中的每个帧的若干位置信息363矢量L。内部地，图像捕捉装置10整体包括用于在任意时间记录拍照位置信息363的位置确定器325。将测量的空气特性表示为矢量A。在不需要捕捉图像的情况下，环境空气传感器(未示出)能够确定环绕图像捕捉装置的环境空气的特性。这些空气特性被与数字图像相关联，并且被本发明用于改善图像噪声特性、依据区域表示的材料对图像的区域分类、将图像分类为室内或室外、将相关的图像聚集成事件、以及搜索特定图像。参见图2，与图像捕捉装置10成整体的附加方向传感器44可选地可被用于确定图像捕捉装置相对于地球指向的方向，即相机朝向的方向。方向传感器44优选地确定图像捕捉装置的光轴的倾斜和罗盘定向。一般，位置感知装置329不提供这种方向信息。当环境在给定地理位置远非各向同性时，这种附加信息可以是有用的，例如如果一个人在迈阿密沙滩上朝东他将主要看到天空和海洋，而当朝西时他将看到建筑物和树木。再次参见图2,图像传感器34捕捉数字图像102并且产生被传送给图像处理器36的原始图像。图像处理器36准备原始图像，以便通过对图像传感器34的缺失的像素值插值来查看、应用颜色校正矩阵、和渲染图像等等。此外，数据处理器20分析位置信息363、源自方向传感器44的方向信息、以及可能数字图像102(或者源自图像处理器36的数字图像的部分校正版本)，以产生材料置信图124。材料置信图124用于表示用于图像中的每个材料区域的标记和相关联的概率。其是图像区域分类的结果，并且对于包括图像增强和图像检索的广泛的多种应用来说是有用的。在图3中，材料置信图用于控制选择的图像变换60,以产生增强或改善的图像120。例如，应将较重的去噪应用到晴朗的天空区域而应不管草地区域以便保留所期望的紋理。在Luo等人的标题为"用于选择性将增强应用到图像的方法和系统"的2001年12月10日提交的美国专利申请序号10/016,601中可以找到关于如何将这种地图用于图像增强和操作的更多细节。那些本领域的技术人员将认识到本发明不限于上述的图像增强并且可以包括其他图像增强、操作、搜索、索引、检索、和组织应用。例如，区域分类可通过采用例如"查找具有蓝天的图像"或"查找具有蓝天和绿草的图像"的上述技术来促进对数据库的图像搜索。元数据是不包括像素数据的与图像相关的信息。在拍照时刻的图像捕捉装置10的地理位置363是元数据的实例。还将若干附加元数据项输入到数据处理器20。包括数字图像102的捕捉的时间和日期、例如在图像捕捉时的曝光时间(按秒)和焦距f,(按像素)的例如与数字图像的捕捉相关的其他数据。此外，元数据包括例如菜单项状态或如用户选择的操作模式的当前图像捕捉装置设置。可将与数字图像102相关联的所有这种信息存储为与数字图像102相关联的元数据，并且在后继的图像处理中变得有用。在表1(在以下示出)中给出了包括天空、草地、地表水和雪地的一些最有用的材料的定义。本领域技术人员将想到例如云、路面和墙壁的其他材料。在Luo等人的共同转让的美国专利号7，062，085中可找到对材料区域分类的细节。图像处理器36基于为图像102的区域或像素计算的特征，例如图像内的颜色、紋理、形状或位置，分配类概率(也被认为为置信值)，并且用前述的置信图124的形式输出结果。表l一些材料的定义_<table>tableseeoriginaldocumentpage10</column></row><table>一般，存在于图像处理器36中的所有材料检测器(或区域分类器或区域标记器)遵循与在图4中例示的方法类似的方法。首先，在输入图像102的低分辨率即256x384的版本上提取颜色特征401和紋理特征402。优选地，计算的特征在区分有关材料的像素和其他材料类的像素中将是有效的。随后将这些特征馈给至例如经训练的神经网络的分类器403,该分类器403依据材料的颜色和紋理特性产生使类概率或置信值与图像中的每个像素相关联的像素置信图404。接下来，阈值被用于从像素置信图获得空间上连续的同质区域。最后，依据涉及的材料类的某些独特的基于区域的特性，和其中每个区域与统一的置信值相关联的源自初始区域置信图406的确认的区域，来进一步分析405每个空间上连续的区域。可以在美国专利号7，062，085中找到关于区域分类器的细节。在推断过程方面，因为没有施加上下文模型，这些方法采用基本上自下而上的策略。不幸地，仅采用图像特征可导致模糊的结果。例如，假设区域的亮度是明亮的，饱和度非常低并且紋理低。该区域表示雪的概率是P(区域=雪1特征)，其中特征例如是该区域的平均亮度、饱和度和紋理大小。然而，当它们的分布例如P(特征1区域=雪)和P(特征1区域=白地毯)重叠时，即使最复杂的分类系统也不能准确地区分这些类。需要自上而下的策略来提供调整机制以便减少模糊的量和与个别地对材料区域分类相关联的结果误分类。自上而下的推理可通过上下文信息的使用来促进，并且可帮助区分具有类似的颜色和紋理的"混淆的"材料类。上下文信息可源自整个场景的总的描述即场景上下文，或者在没有确切地知道场景类型的情况下，源自在场景中的不同材料的位置之间的常规关系，即空间上下文。在场景上下文的情况下，知道室外或沙滩场景可对在场景中可呈现什么样的材料类以及这些材料可能出现于场景中的什么位置施加强的限制。由空间上下文的使用施加的限制比场景上下文的使用施加的限制弱，但在许多情况下仍然足以减少在相沖突的材料检测器之间的模糊并且消除材料检测中的不可能的空间结构。其优点在于其不取决于知道确切的场景类型。另一方面，如果知道关于场景的更多信息，例如在这种情况下的拍照位置，可以丰富上下文模型以便将更强的限制提供给材料区域分类。在自然图像中存在至少两种空间上下文关系。首先，关系在自然图像中的特定材料的共同出现之间存在；ii例如，具有高概率的对草地的检测将暗示低的雪可能性。其次，关系在图像中的材料的空间位置之间存在；天空趋向于出现在草地上方、叶在草地上方、或天空在雪上方。为了将空间上下文用于评估和调整从低层次材料检测器获得的材料置信，本发明依靠图模型来表示在图像中的所有区域之间的空间限制信息，并且最后产生表示在空间限制和原始材料置信值之间的最佳折衷的新的材料置信值。在本发明的一实施例中，成对的空间关系的集合包括(高于、远高于、低于、远低于、旁边、被围绕和围绕)。关于在两个区域的最近的像素之间的距离的阈值被用于区分高于和远高于(同样用于低于和远低于)。通过获悉与上述空间关系相对应的概率密度函数来构建空间上下文模型。从包括收集的用于各种材料类的广泛的地面实况的数据库中，简单的频率计数方法足以产生所有空间关系P(空间关系l位置)的离散概率密度函数。用表2(在以下示出)中的远高于成对关系的概率密度函数作为实例，可做出以下观察1.如果一区域远高于天空区域，其仅可以是另一天空区域、叶区域或背景(其他类的)区域；2.如果一区域远高于草地区域，其最可能是叶或天空区域；3.如果一区域远高于叶区域，其最可能是天空区域；4.如果一区域远高于雪区域，其最可能是另一雪区域或天空区域；5.如果一区域远高于背景(其他)区域，其实质上可以是任何区域，其中最可能是天空区域。12表2当位置未知时，关系"远高于"的CPM<table>tableseeoriginaldocumentpage13</column></row><table>可以用类似的方式构建和解释其他概率密度函数。概率密度函数可被用于构建描述在图像中的所有区域之间的空间关系的概率图网络，并且可被求解以说明与空间上下文模型相关联的条件概率。表2中的模型的优点在于该模型可适用于任何位置。然而，其没有利用地理位置信息并且基本上通过假定位置是未知的而忽视位置。表3(以下示出)示出了对于美国的基韦斯特(KeyWest)的特定于位置的条件概率模型的实例。从位置未知模型的最显著改变包括1.如果一区域远高于天空区域，与叶区域或背景(其他类的)区域相比其略微更可能是另一天空区域；2.如果一区域远高于草地区域，与叶区域相比其略微更可能是天空区域，并且其也更可能是水区域；3.如果一区域远高于水区域，与叶区域相比其略微更可能是天空区域；4.一区域是否远高于雪区域是不适用的，因为几乎不可能以雪区域来开始；5.如果一区域远高于背景(其他)区域，其更可能是天空区域或水区域并且几乎不可能是雪区域。表3当位置已知时(基韦斯特，美国)，关系"远高于"的CPM\A天空草地叶水:雪背景天空O.卯0.000.050.00■0.00'0.05草地'0.47.0.060.350.080-000.02叶0.680.050.230.020.00:0.02.水.0.600,060.220.100,00:0.02雪N/A嵐脆直N/A:跳背景0.48.0,090,210.20o.oo10.02此外，地理位置信息还影响看到特定材料类的先验概率，即p(材料l位置)。表4(以下示出)示出了在消费者照片中的各种材料类的统计。具体来说，1.31%的照片包括可见天空的显著的块，并且对于室外图像来说可能性甚至更高到55%。2.29%的所有图像和52%的室外图像包括草地；3.35%的所有图像和65°/的室外图像包括叶；4.10%的所有图像和19%的室外图像包括地表水；5.2.4%的所有图像和4.5%的室外图像包括积雪。14表4当位置是未知的时，材料的概率材料所有像素的％所有图像的％室内图像的％室外图像的％天空53.155草地4.1291.852叶1.2359.565水2.1101.019雪/水0.332.40.84.5表5(以下示出)示出了用于美国的基韦斯特的特定于位置的先验概率模型的实例。从位置未知模型的最显著改变包括1.75%的照片包括可见天空的显著的块，并且对于室外图像来说可能性甚至更高到95%,而在室内图像中看到天空的可能性也从3.1%增加到10%;2.草地的可能性是类似的；3.叶的可能性降低(更可能代之以看到天空)；4.地表水的可能性显著增加；5.雪的可能性降低到几乎不存在。表5当位置是已知时(基韦斯特，美国)，材料的概率材料所有像素的％所有图像的％室内图像的％室外图像的％天空20751095草地5,0302.050叶1.0301050水15301,080雪/冰0.010,010.00.01注意，位置还对图像内的每种材料类的像素的百分比具有类似的影15响。在本发明的变型实施例中，当环境在一天或季节的进程中在给定地理位置由于例如草地、叶、雪、水和水的特定材料对气候敏感而改变时，关于时间的附加信息是有用的。例如，在夏季期间在度假位置处山上的积雪可能融化掉，并且相似地仅可以在不是冬季的季节在那里看到叶。可以容易地通过相应修改例如在表3和5中示出的概率值，将这种信息构造成先验概率P(材料l位置，季节-时间)和条件概率P(空间关系I位置，季节-时间)二者。在这种情况下，还将图像捕捉时间和位置信息363提供给数据处理器20,以便产生置信图124。这种信息帮助巨大。作为直观的实例，再次考虑在前段中描述的区域。如果位置信息363表示在佛罗里达的迈阿密捕捉数字图像102,并且图像捕捉时间指示在2002年6月26日的中午捕捉该数字图像102,则图像包含任何表示雪的材料的像素或区域的概率非常小。可选地，因为可用类似的方式得到和利用先验概率P(材料l季节-时间)和条件概率P(空间关系l季节-时间)二者，图像捕捉时间可被单独用于产生置信图124。现在参见图5,其中示出了表示用于结合先验概率(P(材料l位置)和条件概率P(材料的空间布置l位置))地理位置信息二者的场景结构模型的图。该图通常被称为因子图。先验因素节点P501采用上述的先验概率，场景节点S502结合场景上下文模型，空间因素节点F503由个体的区域之间的成对关系构成。对于图像中的n个区域中的每一个来说，存在区域节点R504。在n个区域之间存在(]2个对，因此存在一样多的空间因素节点。图的底层包括检测器因素D505并且同样存在n个这种节点。首先用先验概率和条件概率对该图模型的节点初始化，并且随后用源自材料检测器的材料置信值产生该图模型的节点的实例。对于每个区域，称为置信传播的过程被用于计算后验概率，即最终置信值，组合所有的输入(也被称为证据，包括初始类概率、先验概率和条件概率)。一般，每个区域被标记到给出最高后验概率的材料类。可以在ProceedingsofComputerVisionandPatternRecognition,PP.235-341,2003中Singhal,Luo，和Zhu的"用于场景内容理解的概率空间上下文模型"中找到关于上述概率如何影响区域分类的细节。本领域的技术人员将认识到本发明不限于上述特定的图模型。再参见图2,在本方面的变型实施例中，当环境在给定地理位置远非各向同性时，来自方向传感器44的附加信息可以是有用的，例如如果一个人在迈阿密沙滩上朝东他将主要看到天空和海洋，而当朝西时他将看到建筑物和树木。可以容易地通过相应修改例如在表3和5中示出的概率值，将这种信息构造成先验概率P(材料l位置，方向)和条件概率P(材料的空间布置l位置，方向)二者。附图标记10图像捕捉装置15捕捉按钮20数据处理器22用户输入装置30显示装置34图像传感器36图像处理器40控制计算机44方向传感器60变换70存储装置102数字图像120改善的数字图像124材料置信图325位置确定器327地理数据库329外部位置感知装置350无线调制解调器362鸡站接口363位置信息364鸡站/充电器401颜色变换402计算紋理特征403神经网络分类器404像素置信图405区域分析406区域置信图501先验因素502场景节点503空间因素504区域节点505检测器因素18权利要求1.一种对通过图像捕捉装置捕捉的数字图像或视频中的区域分类的方法，包括a)提供与图像捕捉装置相关联的地理位置确定装置；b)将位置确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉位置；c)基于图像捕捉位置将捕捉的数字图像或视频中的区域分类到一个或多个类。2.如权利要求l所述的方法，其中一个或多个类包括天空、草地、水、云、3各面、雪或墙壁。3.如权利要求l所述的方法，其中步骤(c)还包括i)从捕捉的数字图像或视频的帧中获得同质区域；ii)从同质区域提取特征；以及iii)基于图像捕捉位置和提取的特征将区域分类到具有相关联的类概率的一个或多个类。其中提取的特征包括与区域相关联其中步骤(c)还包括将图像捕捉时其中步骤(ii)还包括将图像捕捉其中步骤(c)还包括将相机朝向方其中步骤(ii)还包括将相机朝向其中步骤(iii)包括依据地理位置关联类的先验概率，以及将这种先验概率用于确定区域的类。4.如权利要求3所述的方法,的颜色或紋理特征。5.如权利要求l所述的方法，间用于对数字图像的区域分类。6.如权利要求3所述的方法，时间用于对数字图像的区域分类。7.如权利要求l所述的方法，向用于对数字图像的区域分类。8.如权利要求3所述的方法,方向用于对数字图像的区域分类。9.如权利要求3所述的方法，10.如权利要求3所述的方法，其中步骤(iii)包括依据地理位置关联类之间的条件概率，以及将这种条件概率用于确定每个区域各自的类。11.如权利要求10所述的方法，其中依据多个空间关系中的一个或多个，将类之间的条件概率指定为成对的概率，该多个空间关系包括高于、远高于、低于、远低于、旁边、被围绕或围绕。12.如权利要求3所述的方法，其中步骤(iii)还包括(i)仅基于提取的特征产生初始类概率；(ii)将图模型用于修改初始类概率，以便响应于依据地理位置的先验概率和类之间的条件概率产生后验类概率。13.如权利要求3所述的方法，还包括将区域标记为具有最高后验类概率的类。14.一种增强通过图像捕捉装置捕捉的数字图像或视频帧中的区域的方法，包"l舌a)提供与图像捕捉装置相关联的地理位置确定装置；b)将地理位置确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉位置；c)基于图像捕捉位置将捕捉的数字图像或视频中的区域分类到一个或多个类；以及d)依据每个区域的类将图像增强应用到经分类的区域。15.—种在数据库中搜索通过图像捕捉装置捕捉的数字图像或视频帧的方法，包括a)提供与图像捕捉装置相关联的地理位置确定装置；b)将地理位置确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉位置；c)基于图像捕捉位置将捕捉的数字图像或视频中的区域分类到一个或多个类；以及d)在数据库中搜索包括一个或多个预定类的区域的图像。16.—种对通过图像捕捉装置捕捉的数字图像或视频中的区域分类的方法，包括a)提供与图像捕捉装置相关联的时间确定装置；b)将时间确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉时间；c)基于图像捕捉时间将捕捉的数字图像或视频中的区域分类到一个或多个类。全文摘要一种对通过图像捕捉装置捕捉的数字图像或视频中的区域分类的方法，包括提供与图像捕捉装置相关联的地理位置确定装置；将地理位置确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉位置；以及基于图像捕捉位置将捕捉的数字图像或视频中的区域分类到一个或多个类。文档编号G06K9/00GK101479741SQ200780024301公开日2009年7月8日申请日期2007年6月14日优先权日2006年6月26日发明者A·C·加拉赫尔,J·罗申请人:伊斯曼柯达公司