基于上下文推理的天空检测算法
【技术领域】
[0001] 本发明属于场景理解技术领域，设及基于上下文推理的天空检测算法。
【背景技术】
[0002] 随着计算机和机器人技术的发展，智能机器人已经不仅在制造方面，而且在军用、 民用、科学研究等许多方面得到了广泛的应用。本文针对地面机器人等视觉系统中的重要 的预处理步骤一天空检测一做出详细的讨论，并提出相应的算法。天空区域是室外图像的 重要组成部分，并且提供了有关周围环境的重要信息。在由斯坦福大学研制的地面自主机 器人中，运用简单的天空识别算法提高了道路检测效果。目前存在的天空检测算法主要有 基于颜色先验的方法、基于梯度先验的方法和基于模型融合的方法。基于颜色先验的天空 识别算法假设天空的主要颜色为蓝色，并基于该假设对识别天空。基于颜色先验的天空识 别算法速度较快，但是识别精度较低。运是因为天空在不同时间段、不同天气条件下，天空 的颜色会发生显著变化，因此基于颜色的天空识别算法无法适应天空颜色的变化。
[0003] 基于梯度先验的天空识别算法假设天空区域的梯度变化较为平缓。该算法通过构 造一个能量函数优化求解得到图像中梯度较为平滑的连续区域，即为天空区域。但是当天 空中存在云彩时，天空中存在明显的梯度变化，该算法的假设不再成立。因此基于梯度的天 空识别算法不适用于天空中存在云、太阳等附着物的情况。基于多模型融合的天空检测算 法综合利用颜色、梯度等多种模型，提高了算法的适应性。但是在天空场景图像中天空区域 与非天空区域之间可能存在较大相似性，比如天空与白色地面建筑物。对于运种情况，上述 算法都无法较好的处理。上述算法尽管在特定领域能取得较好的效果，但是无法适应天空 复杂的变化W及天空与非天空区域间存在的相似性。究其原因，上述算法在检测天空时仅 仅利用了有限的先验知识，不能涵盖多样的天空变化。为了满足实际需求，有必要探索更更 有效的天空检测方法。不同于目前天空检测算法中所采用的思路，本文将天空检测看做场 景理解问题。
[0004] 场景理解作为计算机视觉的基本问题，近年来得到了越来越多的理论研究和实际 应用。2000年W来，随着计算机视觉技术和认知学的快速发展，对场景图像中单一形式物体 的识别逐渐过渡到对类内多形式物体的识别，W及场景的全局理解和场景物体间上下文信 息的建模。在天空场景图像中，天空区域与非天空区域之间存在明显的上下文约束，比如， 位于天空区域中的对象W更大的概率属于天空区域。利用运种上下文约束关系，可W帮助 消除天空与非天空区域之间存在的歧意，从而减少识别错误。在场景理解理论中，马尔科夫 随机场(Markov random field,MRF),条件随机场（Conditional random field,CRF)等模 型常用于对上下文约束关系建模。此外，在场景理解中通常运用机器学习分类模型对局部 区域区域初步分类，相比于简单的由人工挖掘的先验知识，机器学习方法可W从数据中自 适应的学习到规则W适应复杂的数据分布。
【发明内容】
[0005] 本发明的目的在于提供基于上下文推理模型的天空检测算法，解决了现有的算法 尽管在特定领域能取得较好的效果，但是无法适应天空复杂的变化W及天空与非天空区域 间存在的相似性的问题。
[0006] 本发明所采用的技术方案是按照下面步骤进行：
[0007] 步骤1:天空样本数据集建立;数据集包含采集的若干原始图像；
[0008] 步骤2:场景分割;对数据集中的原始图像做超像素分割，分割出若干超像素；
[0009] 步骤3:用合并超像素的方式产生图像的多尺度分割;合并相邻超像素得到图像的 多尺度分割；
[0010] 步骤4:计算超像素属于天空区域的概率;图像的多尺度分割中一个超像素可能属 于多个不同的Region,将每一个超像素区域作为一个识别单元，累加多个Region属于天空 或非天空的概率并做归一化处理，该超像素区域中的像素要么被全部识别为天空，要么被 全部识别为非天空，运样将一幅图像分为天空区域和非天空区域；
[0011] 步骤5:提取正负样本；由天空区域产生的超像素为正样本，由非天空区域产生的 超像素作负样本，对于一个超像素，N表示超像素中包含的像素总数，Nb表示超像素中天空 像素的数目，Nr表示超像素中非天空像素的数目；
[0012] 超像素为正样本的条件：
[0014]超像素为负样本的条件：
'，
[0016] 步骤6:超像素特征提取;从正负样本中选择能将天空与非天空区域分开且能够表 达场景语义信息的特征;特征包括颜色特征、纹理特征、位置特征、直线特征;将四种特征拼 成一个向量，作为超像素的最终特征；
[0017] 步骤7:局部超像素分类；训练分类器来识别天空区域;对每个超像素区域，SVM得 到一个置信度值confidence,将每个置信度值利用Logistic函数压缩到[0，1]区间，作为该 超像素属于天空区域的似然值：
[0018] Ci ￡ {sky, non-sky} ci = sky, C2 = non-sky
[0019] L(vi,ci) = g(conf idence)
[0021] L(Vi,C2) = l-L(Vi,ci)
[0022] sky表示天空，non-sky，L(Vi ,Cl)表示超像素属于天空区域的似然值，同样L(vi, C2)表示超像素属于非天空区域的似然值，初步检测天空区域，将SVM分类器输出为正1的超 像素标记为天空，输出为负1的标记为非天空；
[0023] 步骤8:上下文推理;在超像素基础上构建了一个CRF条件随机场模型，定义图G = (V，E)，其中顶点veV，边e&必cFx^，V集合中元素为超像素，E集合中元素为相邻超像 素间的边，ei康示相邻超像素 Vi与Vj之间的边，1康示Vi被分配的类别，CRF能量函数通常包 含数据项Datal'erm和平滑项SmoothTerm, DataTerm迫使1接近预测值P ,SmoothTerm保持1的 局部一致性，通过最小化能量函数E(I)得到最后的检测结果，CRF模型如式：
[002引其中数据项：
[0026] 巫（Vi,li) = exp(-L(Vi,c))l(li^c)
[0027] 1(.)表示示性函数，当输入为真时输出1，否则输出0;
[0028] E(I)的定义中平滑项有S部分组成：
[0029] c(v,'，巧）=e邓(HI W/ Il 純(/一 &')
[0030] Ii V研k定义为Vi与V撕颜色特征的欧几里得距离；
[0031 ] f知巧）=勘p(- Ii VT 11 //)1巧^的Il VTl #定义为V i与V j的纹理特征的欧几里得距 离；
[0032] 〇{vi,vj) = exp：(- Il Vo Il v)l(// ^ Ij)
[0033] Il VO||f/定义为Vi与V说中屯、点坐标的欧几里得距离。
[0034] 进一步，所述步骤1中，天空样本数据集中原始图像分为13个类别，分别为:清晨、 中午、下午、傍晚、多云、雾靈、阴天、城市、乡村、草原、森林、沙漠、山区。
[0035] 进一步，所述步骤4中Region属于天空或非天空的概率可由SVM分类器输出的置信 度值得到。
[0036] 进一步，所述步骤6中，颜色特征提取方法:提取超像素区域的颜色直方图特征并 作归一化处理；
[0037] 纹理特征提取方法:采用Leung和MaUk提出的LM filter bank提取超像素的纹理 特