一种曼哈顿场景消失点、消失线检测方法及装置与流程

本申请涉及透视分析技术领域，尤其涉及一种曼哈顿场景消失点、消失线检测方法及装置。

背景技术：

消失点与消失线是许多场景下的一种重要特征，因此，需要对消失点和消失线进行检测。

在直线检测提取阶段，现有方法通常基于canny边缘检测方式，该方式在低信噪比或有大量干扰的复杂场景中所提取的直线包含大量噪音，难以提取出包含场景结构信息的直线。

在消失点估计建模阶段，现有方法通常通过启发式规则实现检出直线的分组以及消失点计算，因而容易陷入局部最优。

技术实现要素：

本申请提供一种曼哈顿场景消失点、消失线检测方法及装置，能够鲁棒的检测出待检测图像中反映结构信息的直线，可以检测到全局最优的消失点，避免陷入局部最优。

第一方面，本申请提供了一种曼哈顿场景消失点、消失线检测方法，包括：

获取待检测图像；

计算所述待检测图像中所有直线的线积分，针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据所述差值计算得到该直线的边缘响应，根据各直线的边缘响应以及非极大值抑制方法，得到消失线；

建立所述待检测图像的曼哈顿场景参数的贝叶斯概率模型；

在所述待检测图像中搜索竖直方向消失点的位置，通过霍夫变换的方式确定水平方向消失点的位置，根据所述水平方向消失点的位置对所述曼哈顿场景参数进行初始化；

基于所述贝叶斯概率模型和模拟退火算法对所述初始化后的曼哈顿场景参数进行优化得到消失点的位置。

可选的，所述计算所述待检测图像中所有直线的线积分的步骤，包括：

对于所述待检测图像中的二维数据g(x，y)，用定义长度为l，中心点为方向为θ的归一化线积分：

其中，x为直线中心点横坐标，y为直线中心点纵坐标，为直线中心点坐标，γ为积分变元，直观含义为线积分沿直线所取得采样位置，g为二维图像数据，f为直线的线积分，θ为直线边缘响应的方向，l为直线的长度。

可选的，所述针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据所述差值计算得到该直线的边缘响应的步骤，包括：

所述针对每条直线，当所计算的边缘方向响应θ位于时，该直线的边缘响应为：

当所计算的边缘方向响应θ位于时，该直线的边缘响应为：

其中，g为该直线的边缘响应，为直线中心点坐标，l为直线的长度，θ为直线边缘响应的方向，x为直线中心点横坐标，y为直线中心点纵坐标，f为直线的线积分。

可选的，所述根据各直线的边缘响应以及非极大值抑制方法，得到消失线的步骤，包括：

根据各直线的边缘响应以及非极大值抑制方法，从各直线中选择在空间和角度均为局部最大的边缘响应对应的直线作为消失线。

可选的，所述建立所述待检测图像的曼哈顿场景参数的贝叶斯概率模型的步骤，包括：

其中，为随机变量，选择所在的曼哈顿消失线方向，ei为像素i的边缘强度响应及边缘方向响应，为给定曼哈顿场景参数φ、多尺度边缘以及对应的曼哈顿方向选择后，观察到像素边缘响应ei的条件概率，为给定曼哈顿场景参数以及对应的曼哈顿方向后，观察到多尺度边缘信息的条件概率，为曼哈顿方向选择的先验。

可选的，所述的定义为：

像素的边缘强度响应ei与边缘方向响应θi条件独立，分解为：

所述定义为：

其中，像素边缘强度响应ei的概率与归一化之后的边缘响应强度成正比，αe限定了系数项的最大值,定义为所有边缘响应分布直方图的分位数；

所述定义为：

其中，δθ为边缘像素的梯度方向θ与其所在的多尺度边缘检出直线方向ζ的差值，pang(δθ)随δθ绝对值的增加而增大。

可选的，所述的定义为：

所述分解为：

所述定义为：

其中，是多尺度边缘检出的最大响应值，β为预定义的系数，为多尺度边缘的响应；

所述定义为：

其中，δζ表示消失点到边缘检出中心点，以及边缘检出的方向之间的角度差，ρ为调整平滑程度的参数，x为直线中心点横坐标，y为直线中心点纵坐标，ζ为直线方向，l为所检出的多尺度边缘响应的长度。

可选的，所述在所述待检测图像中搜索竖直方向消失点的位置的步骤，包括：

以(w/2,h/2-10h)以及(w/2,h/2+10h)作为所述待检测图像中的竖直方向消失点的候选点，计算所述候选点与多尺度边缘检出结果之间的距离，将在预设阈值范围内的距离对应的候选点作为所述竖直方向消失点的内点，根据所有内点的边缘响应以及最小二乘法拟合得到所述竖直方向消失点的位置，其中，w为所述待检测图像的宽度，h为所述待检测图像的高度。

可选的，所述基于所述贝叶斯概率模型和模拟退火算法对所述初始化后的曼哈顿场景参数进行优化得到消失点的位置的步骤，包括：

当所述曼哈顿场景参数的值为初始值时，设定所述贝叶斯概率模型的τ参数的值大于第一预设值，设ρ参数的值小于第二预设值，利用非梯度优化方法确定所述曼哈顿场景参数的极大值，其中，τ为边走向的误差忍耐度，ρ为调整平滑程度的参数；

将所述极大值作为初始值，按照预设减小量减小所述τ参数的值，按照预设增大量增大所述ρ参数的值，利用非梯度优化方法确定所述曼哈顿场景参数的极大值，返回执行将所述极大值作为初始值的步骤，直至得到满足预设精度要求的曼哈顿场景参数时，优化结束得到消失点的位置。

第二方面，本申请提供了一种曼哈顿场景消失点、消失线检测装置，包括：

获取模块，用于获取待检测图像；

消失线检测模块，用于计算所述待检测图像中所有直线的线积分，针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据所述差值计算得到该直线的边缘响应，根据各直线的边缘响应以及非极大值抑制方法，得到消失线；

建立模块，用于建立所述待检测图像的曼哈顿场景参数的贝叶斯概率模型；

初始化模块，用于在所述待检测图像中搜索竖直方向消失点的位置，通过霍夫变换的方式确定水平方向消失点的位置，根据所述水平方向消失点的位置对所述曼哈顿场景参数进行初始化；

消失点检测模块，用于基于所述贝叶斯概率模型和模拟退火算法对所述初始化后的曼哈顿场景参数进行优化得到消失点的位置。

可选的，所述消失线检测模块，具体用于：

对于所述待检测图像中的二维数据g(x，y)，用定义长度为l，中心点为方向为θ的归一化线积分：

其中，x为直线中心点横坐标，y为直线中心点纵坐标，为直线中心点坐标γ为积分变元，含义为线积分沿直线所取得采样位置，g为二维图像数据，f为直线的线积分，θ为直线边缘响应的方向，l为直线的长度

可选的，所述消失线检测模块，具体用于：

所述针对每条直线，当所计算的边缘方向响应θ位于时，该直线的边缘响应为：

当所计算的边缘方向响应θ位于时，该直线的边缘响应为：

其中，g为该直线的边缘响应，为直线中心点坐标，l为直线的长度，θ为直线边缘响应的方向，x为直线中心点横坐标，y为直线中心点纵坐标，f为直线的线积分。

可选的，所述消失线检测模块，具体用于：

根据各直线的边缘响应以及非极大值抑制方法，从各直线中选择在空间和角度均为局部最大的边缘响应对应的直线作为消失线。

可选的，所述建立模块，具体用于：

所述待检测图像中的像素边缘响应的条件概率为：

其中，为随机变量，选择所在的曼哈顿消失线方向，ei为像素i的边缘强度响应及边缘方向响应，为给定曼哈顿场景参数φ、多尺度边缘以及对应的曼哈顿方向选择后，观察到像素边缘响应ei的条件概率，为给定曼哈顿场景参数以及对应的曼哈顿方向后，观察到多尺度边缘信息的条件概率，为曼哈顿方向选择的先验。

可选的，所述的定义为：

像素的边缘强度响应ei与边缘方向响应θi条件独立，分解为：

所述定义为：

其中，像素边缘强度响应ei的概率与归一化之后的边缘响应强度成正比，αe限定了系数项的最大值,定义为所有边缘响应分布直方图的分位数；

所述定义为：

其中，δθ为边缘像素的梯度方向θ与其所在的多尺度边缘检出直线方向ζ的差值，pang(δθ)随δθ绝对值的增加而增大。

可选的，所述的定义为：

所述分解为：

所述定义为：

其中，是多尺度边缘检出的最大响应值，β为预定义的系数，为多尺度边缘的响应；

所述定义为：

其中，δζ表示消失点到边缘检出中心点，以及边缘检出的方向之间的角度差，ρ为调整平滑程度的参数，x为直线中心点横坐标，y为直线中心点纵坐标，ζ为直线方向，l为所检出的多尺度边缘响应的长度。

可选的，所述初始化模块，具体用于：

以(w/2,h/2-10h)以及(w/2,h/2+10h)作为所述待检测图像中的竖直方向消失点的候选点，计算所述候选点与多尺度边缘检出结果之间的距离，将在预设阈值范围内的距离对应的候选点作为所述竖直方向消失点的内点，根据所有内点的边缘响应以及最小二乘法拟合得到所述竖直方向消失点的位置，其中，w为所述待检测图像的宽度，h为所述待检测图像的高度。

可选的，所述消失点检测模块，包括：

第一确定单元，用于当所述曼哈顿场景参数的值为初始值时，设定所述贝叶斯概率模型的τ参数的值大于第一预设值，设ρ参数的值小于第二预设值，利用非梯度优化方法确定所述曼哈顿场景参数的极大值，其中，τ为边走向的误差忍耐度，ρ为调整平滑程度的参数；

第二确定单元，用于将所述极大值作为初始值，按照预设减小量减小所述τ参数的值，按照预设增大量增大所述ρ参数的值，利用非梯度优化方法确定所述曼哈顿场景参数的极大值，返回触发将所述极大值作为初始值，直至得到满足预设精度要求的曼哈顿场景参数时，优化结束得到消失点的位置。

第三方面，本申请提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。

第四方面，本申请提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。

由上述技术方案可以看出，本申请可以获取待检测图像，计算待检测图像中所有直线的线积分，针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据差值计算得到该直线的边缘响应，根据各直线的边缘响应以及非极大值抑制方法，得到消失线，建立待检测图像的曼哈顿场景参数的贝叶斯概率模型，在待检测图像中搜索竖直方向消失点的位置，通过霍夫变换的方式确定水平方向消失点的位置，根据水平方向消失点的位置对曼哈顿场景参数进行初始化，基于贝叶斯概率模型和模拟退火算法对初始化后的曼哈顿场景参数进行优化得到消失点的位置。在本申请的技术方案中，应用多尺度线积分技术进行直线提取，能够鲁棒的检测出待检测图像中反映结构信息的直线，并采用考虑所有直线像素特征以及整体曼哈顿假设约束的贝叶斯模型，以模拟退火方法进行优化，可以检测到全局最优的消失点，避免陷入局部最优。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中的一种曼哈顿场景消失点、消失线检测方法的流程示意图；

图2为消失点示意图；

图3为目标函数关于τ变化的示意图；

图4为本申请实施例中的一种曼哈顿场景消失点、消失线检测装置的结构示意图；

图5是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了解决现有技术中，无法在低信噪比或有大量干扰的复杂场景中提取出包含场景结构信息的直线，以及消失点检测陷入局部最优的问题。

本申请提供了一种曼哈顿场景消失点、消失线检测方法，在本方法中，获取待检测图像，计算待检测图像中所有直线的线积分，针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据差值计算得到该直线的边缘响应，根据各直线的边缘响应以及非极大值抑制方法，得到消失线，建立待检测图像的曼哈顿场景参数的贝叶斯概率模型，在待检测图像中搜索竖直方向消失点的位置，通过霍夫变换的方式确定水平方向消失点的位置，根据水平方向消失点的位置对曼哈顿场景参数进行初始化，基于贝叶斯概率模型和模拟退火算法对初始化后的曼哈顿场景参数进行优化得到消失点的位置。在本申请的技术方案中，应用多尺度线积分技术进行直线提取，能够鲁棒的检测出待检测图像中反映结构信息的直线，并采用考虑所有直线像素特征以及整体曼哈顿假设约束的贝叶斯模型，以模拟退火方法进行优化，可以检测到全局最优的消失点，避免陷入局部最优。

下面结合附图，详细说明本申请的各种非限制性实施方式。

参见图1，示出了本申请实施例中的一种曼哈顿场景消失点、消失线检测方法。在本实施例中，所述方法应用于电子设备，所述方法例如可以包括以下步骤：

s101：获取待检测图像。

曼哈顿假设是关于人工场景的一种场景先验，认为场景中的边在三维空间中主要沿着三个互相垂直的方向分布，场景由多个相互正交的平面组成，例如长方体形的建筑物以及大部分室内空间。该假设自提出后，在人工场景的三维重建、场景理解、相机标定、相机自定位等领域得到了广泛应用。

本发明实施例就是在曼哈顿假设的基础上提出的曼哈顿场景消失点、消失线检测方法，为了进行曼哈顿场景消失点、消失线检测，需要获取待检测图像，其中，待检测图像为适用于进行曼哈顿场景消失点、消失线检测的任一图像。

s102：计算待检测图像中所有直线的线积分，针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据差值计算得到该直线的边缘响应，根据各直线的边缘响应以及非极大值抑制方法，得到消失线。

发明人发现线积分能够应用于低信噪比以及复杂场景中的结构化直线检测，因此，发明人将该方法应用于曼哈顿场景消失线、消失点检测中，用来解决现有技术中，无法在低信噪比或有大量干扰的复杂场景中提取出包含场景结构信息的直线的问题。具体的，在获取待检测图像后，需要计算待检测图像中所有直线的线积分，然后进行多尺度线积分的计算。

其中，上述计算待检测图像中所有直线的线积分，可以包括：

对于待检测图像中的二维数据g(x，y)，用定义长度为l，中心点为方向为θ的归一化线积分：

其中，x为直线中心点横坐标，y为直线中心点纵坐标，为直线中心点坐标，γ为积分变元，含义为线积分沿直线所取得采样位置，g为二维图像数据，f为直线的线积分，θ为直线边缘响应的方向，l为直线的长度。

由此，能够在o(nlogn)(n为像素数目)时间内实现一定量化误差范围内，待检测图像上所有位置、方向和长度的线积分计算。

进行多尺度线积分的计算包括以下两个步骤：

1、通过计算线积分之间的差值实现边缘检测

在本发明实施例中利用同方向同长度的相邻线积分的差值得到待检测图像中的对应长度的边缘响应。具体的，针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据所述差值计算得到该直线的边缘响应。

示例性的，可以定义在一个线积分附近的边缘响应为相邻两侧的同方向的线积分的差的一半。空间上相邻两侧的线积分间的距离可以为2个像素点。具体而言，限定待计算的边缘响应的方向θ在之间，考虑边缘强度响应的正负号，可得2π范围内的边缘方向响应。

也就是，上述针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据差值计算得到该直线的边缘响应，可以包括：

所述针对每条直线，当所计算的边缘方向响应θ位于时，该直线的边缘响应为：

当所计算的边缘方向响应θ位于时，该直线的边缘响应为：

其中，g为该直线的边缘响应，为直线中心点坐标，l为直线的长度，θ为直线边缘响应的方向，x为直线中心点横坐标，y为直线中心点纵坐标，f为直线的线积分。

上述的边缘响应均为在(x,y)处的边缘响应。

2、非极大值抑制

仅通过第一个步骤所得到的多尺度边缘在相似的位置、角度和长度上，具有相似的高响应值，不利于后续计算。因此本发明实施例中通过非最大抑制，实现只保留在空间上和角度上局部最大的边缘强度响应值，其他的设置为0。也就是上述根据各直线的边缘响应以及非极大值抑制方法，得到消失线，可以包括：

根据各直线的边缘响应以及非极大值抑制方法，从各直线中选择在空间和角度均为局部最大的边缘响应对应的直线作为消失线。

示例性的，对于同长度同方向的相邻边缘强度响应，如果相邻两侧的边缘强度响应高于当前边缘强度响应，不保留当前边缘强度响应。如果同长度的中心点在同一个像素点的相邻方向的边缘强度响应高于当前边缘强度响应，不保留当前边缘强度响应。经过非最大值抑制，能够更准确得到待检测图像中的结构化直线的长度、位置和角度。

s103：建立待检测图像的曼哈顿场景参数的贝叶斯概率模型。

上述多尺度边缘检测方式能够在低信噪比以及复杂场景中鲁棒的提取待检测图像中包含主要结构信息的直线，但相应对于直线的角度，仍存在量化误差。在进行曼哈顿消失点检测时，此量化误差对于曼哈顿消失点估计存在着负面影响。为了同时保证曼哈顿消失点估计的鲁棒性和准确性，本发明实施例中建立多尺度边缘-像素两级贝叶斯概率模型，对于所观察到的多尺度边缘以及像素边缘响应进行建模，联合进行曼哈顿消失点估计与对多尺度边缘位置、角度进行进一步优化。

其中，步骤s103可以包括：

待检测图像中的像素边缘响应的条件概率为：

其中，为随机变量，选择所在的曼哈顿消失线方向，为给定曼哈顿场景参数φ、多尺度边缘以及对应的曼哈顿方向选择后，观察到像素边缘响应ei的条件概率，为给定曼哈顿场景参数以及对应的曼哈顿方向后，观察到多尺度边缘信息的条件概率，为曼哈顿方向选择的先验，ei为像素i的边缘强度响应ei及边缘方向响应。

对于待检测图像中位于直线边缘检测范围内的像素的总体似然概率为：

其中，e为图像所有边缘像素的集合，p(e|φ)为给定当前曼哈顿场景参数下，观察到e的条件概率，p(ei|φ)为观察到单个边缘像素响应的概率，φ为曼哈顿场景参数，ei为像素i的边缘强度响应ei及边缘方向响应θi，也就是ei＝(ei，θi)。

φ所对应后验概率为：

p(φ|e)∝p(e|φ)p(φ)

其中，φ为曼哈顿场景参数，e为图像所有边缘像素的集合，，p(e|φ)为给定当前曼哈顿场景参数下，观察到e的条件概率，p(φ)为先验概率。

曼哈顿场景参数，即相机坐标系三个曼哈顿主方向。由于三个主方向互相垂直，因此，可以用曼哈顿主方向相对于相机直角坐标系的旋转来表示曼哈顿场景，该旋转用三维欧拉角(α，β，γ)表示。若相机焦距f未知，则参数为欧拉角和焦距组成的4维向量(α，β，γ，f)表示。包括长度、线段中心位置、角度。是所在的曼哈顿方向选择隐变量,分别表示来自曼哈顿三个主方向之一，表示来自其他的非曼哈顿方向。

下面对各似然及先验项进行定义：定义上述概率模型各似然以及先验项。

分解为：

其中，像素i的边缘强度响应ei与边缘方向响应θi条件独立，为给定曼哈顿场景参数φ、多尺度边缘以及对应的曼哈顿方向选择后，观察到像素边缘响应ei的条件概率，为边缘强度响应ei的条件概率，为边缘方向响应θi的条件概率。

其中，边缘强度响应ei的条件概率为：

即观察到像素边缘强度响应ei的概率与归一化之后的边缘强度响应成正比。直观上，边缘响应项可以看作依边缘响应而定的系数项。αe为常数，限定了系数项的最大值,定义为所有边缘响应分布直方图的分位数。在本发明中，使用0.90分位数。

边缘方向响应θi的条件概率为：

其中，δθ为边缘像素的梯度方向θ与其所在的多尺度边缘检出直线方向ζ的差值。直观上，pang(δθ)在两者差值为[-t，t]时，取∈+t，在两者差值绝对值为[t，2t]时，取为从t过渡到∈的平滑函数；其他范围则取∈。pang(δθ)随δθ绝对值的增大而增大。τ是边走向的误差忍耐度，∈和t是常数，只需适当取值让上述概率满足归一化条件即可。

多尺度边缘条件概率项定义如下：

分解为：

分为多尺度边缘的响应强度项与其他参数项，其他参数包括其长度、位置、角度，为多尺度边缘的响应。

定义为：

是多尺度边缘检出的最大响应值。β为预定义的系数。多尺度边缘的响应强度项与边缘像素响应强度项类似，可以看作依边缘响应而定的系数项。

方向响应定义如下：

定义为：

图2为消失点示意图，图2显示了上述定义的直观含义。δζ表示消失点到边缘检出中心点，以及边缘检出的方向之间的角度差。ζ为直线方向，l为所检出的多尺度边缘响应的长度。方向响应与直线段中心位置(x，y)、直线长度l与直线方向ζ均相关。ρ为调整该项平滑程度的参数。

由图2中可看出，直观上，方向响应定义为直线段到消失点方向的偏移程度。该变量与直线段中心位置(x，y)，直线长度l与直线方向ζ均相关。γ为调整该项平滑程度的参数。

最后，先验定义为由统计数据所得的多项分布。为1,2,3,4时，概率分别为0.2,0.2,0.2,0.4。p(φ)定义为均匀分布。

s104：在待检测图像中搜索竖直方向消失点的位置，通过霍夫变换的方式确定水平方向消失点的位置，根据水平方向消失点的位置对曼哈顿场景参数进行初始化。

步骤s103中的模型同时包含连续和离散的变量，相应变量的优化构成了复杂的非凸优化问题。因此，本发明实施例提出一种参数的初始化方法，得到所有参数的较优解，也就是在待检测图像中搜索竖直方向消失点的位置，通过霍夫变换的方式确定水平方向消失点的位置，根据水平方向消失点的位置对曼哈顿场景参数进行初始化。

具体的，初始化的过程包括：

a.搜索竖直方向消失点：

考虑到大部分自然图像中，竖直方向与图像竖直方向重合度较高，因此，首先搜索竖直方向消失点。

具体的，上述在待检测图像中搜索竖直方向消失点的位置，可以包括：

以w/2,h/2-10h)以及(w/2,h/2+10h)作为待检测图像中的竖直方向消失点的候选点，计算候选点与多尺度边缘检出结果也就是之间的距离，将在预设阈值范围内的距离对应的候选点作为竖直方向消失点的内点，根据所有内点的边缘响应以及最小二乘法拟合得到竖直方向消失点的位置，其中，w为待检测图像的宽度，h为待检测图像的高度，δζ表示消失点到边缘检出中心点，以及边缘检出的方向之间的角度差。

b.对于水平方向两个消失点，通过霍夫变换的方式得到水平消失点的候选点。

具体而言，对于以极坐标表示的消失点其中，r分别为极坐标的极角和极径，建立其极坐标参数的直方图。其中，的直方图网格大小为2π/n，r的直方图网格大小则为log(r)/m，即在对数空间进行均匀划分。m,n为常数，分别控制划分网格的大小。统计除竖直方向消失点的内点边缘外，其他边缘像素对于直方图的贡献，可得到水平方向消失点的候选点。

在获得水平方向消失点的候选点的过程中，进一步考虑曼哈顿场景对三个消失点位置也就是竖直方向消失点的位置以及两个水平方向消失点的位置所施加的约束。具体而言，通过竖直方向消失点以及水平方向的其中一个消失点，能够计算出水平方向另一个消失点位置。因此，选择水平方向两个消失点直方图计数之和最大的n种消失点组态，来初始化n种曼哈顿场景参数。在接下来的步骤中，对每一种曼哈顿场景参数，均运行模拟退火算法进行参数的进一步优化，得到后验概率最大的参数值作为最终解。

s105：基于贝叶斯概率模型和模拟退火算法对初始化后的曼哈顿场景参数进行优化得到消失点的位置。

步骤s104中得到的是所有参数的较优解，且步骤s104中得到的曼哈顿参数的贝叶斯概率模型对应的目标函数非常的不平坦，有大量的局部最优。本发明实施例中采用模拟退火算法解决此问题。也就是基于贝叶斯概率模型和模拟退火算法对初始化后的曼哈顿场景参数进行优化得到消失点的位置。

上述基于贝叶斯概率模型和模拟退火算法对初始化后的曼哈顿场景参数进行优化得到消失点的位置，可以包括：

当曼哈顿场景参数的值为初始值时，设定贝叶斯概率模型的中的τ参数的值大于第一预设值，设定中的ρ参数的值小于第二预设值，利用非梯度优化方法确定曼哈顿场景参数的极大值，其中，τ为是边走向的误差忍耐度，ρ为调整平滑程度的参数；

将极大值作为初始值，按照预设减小量减小τ参数的值，按照预设增大量增大ρ参数的值，利用非梯度优化方法确定曼哈顿场景参数的极大值，返回执行将极大值作为初始值的步骤，直至得到满足预设精度要求的曼哈顿场景参数时，优化结束得到消失点的位置。

直观上，在模拟退火求解的初期，通过调整算法的参量，使得目标函数所形成的解空间曲面光滑化，从而令解可以逃离局部最优值，并更彻底地覆盖搜索空间，随着求解逐步进行，调整算法参量令目标函数逼近真值，从而使算法能够收敛到全局最优解。

具体而言，通过调整中的τ参数以及中的ρ参数，来调整目标函数的平滑程度。

参见图3，图3为目标函数关于τ变化的示意图。左图τ＝0.5，中图τ＝0.05，右图τ＝0.02。从图3中可看出，右图中目标函数十分不光滑，但它的极小值点与中图一致。左图中的目标函数十分平整光滑，但极小值点已经偏离了中图和右图。

综上可见，本申请提供的一种曼哈顿场景消失点、消失线检测方法，可以获取待检测图像，计算待检测图像中所有直线的线积分，针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据差值计算得到该直线的边缘响应，根据各直线的边缘响应以及非极大值抑制方法，得到消失线，建立待检测图像的曼哈顿场景参数的贝叶斯概率模型，在待检测图像中搜索竖直方向消失点的位置，通过霍夫变换的方式确定水平方向消失点的位置，根据水平方向消失点的位置对曼哈顿场景参数进行初始化，基于贝叶斯概率模型和模拟退火算法对初始化后的曼哈顿场景参数进行优化得到消失点的位置。在本申请的技术方案中，应用多尺度线积分技术进行直线提取，能够鲁棒的检测出待检测图像中反映结构信息的直线，并采用考虑所有直线像素特征以及整体曼哈顿假设约束的贝叶斯模型，以模拟退火方法进行优化，可以检测到全局最优的消失点，避免陷入局部最优。

同时，本发明实施例在线积分基础上实现了边缘检测以及边缘线积分响应非极大值抑制方式。设定多尺度边缘-像素两级贝叶斯概率模型的定义。提出首先搜索竖直方向消失点，随后利用对数空间构建直方图搜索水平方向消失点的初始化求解方式。通过调整中的τ参数以及中的ρ参数调整目标函数的平滑程度，进而实现基于模拟退火求解的优化方式。

如图4所示，为本申请所述曼哈顿场景消失点、消失线检测装置的一个具体实施例。本实施例所述装置，即用于执行上述实施例所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中所述装置包括：

获取模块401，用于获取待检测图像；

消失线检测模块402，用于计算所述待检测图像中所有直线的线积分，针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据所述差值计算得到该直线的边缘响应，根据各直线的边缘响应以及非极大值抑制方法，得到消失线；

建立模块403，用于建立所述待检测图像的曼哈顿场景参数的贝叶斯概率模型；

初始化模块404，用于在所述待检测图像中搜索竖直方向消失点的位置，通过霍夫变换的方式确定水平方向消失点的位置，根据所述水平方向消失点的位置对所述曼哈顿场景参数进行初始化；

消失点检测模块405，用于基于所述贝叶斯概率模型和模拟退火算法对所述初始化后的曼哈顿场景参数进行优化得到消失点的位置。

本申请提供的装置可以获取待检测图像，计算待检测图像中所有直线的线积分，针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据差值计算得到该直线的边缘响应，根据各直线的边缘响应以及非极大值抑制方法，得到消失线，建立待检测图像的曼哈顿场景参数的贝叶斯概率模型，在待检测图像中搜索竖直方向消失点的位置，通过霍夫变换的方式确定水平方向消失点的位置，根据水平方向消失点的位置对曼哈顿场景参数进行初始化，基于贝叶斯概率模型和模拟退火算法对初始化后的曼哈顿场景参数进行优化得到消失点的位置。在本申请的技术方案中，应用多尺度线积分技术进行直线提取，能够鲁棒的检测出待检测图像中反映结构信息的直线，并采用考虑所有直线像素特征以及整体曼哈顿假设约束的贝叶斯模型，以模拟退火方法进行优化，可以检测到全局最优的消失点，避免陷入局部最优

在一种实现方式中，所述消失线检测模块402，可以具体用于：

对于所述待检测图像中的二维数据g(x，y)，用定义长度为l，中心点为方向为θ的归一化线积分：

其中，x为直线中心点横坐标，y为直线中心点纵坐标，为直线中心点坐标，γ为积分变元，含义为线积分沿直线所取得采样位置，g为二维图像数据，f为直线的线积分，θ为直线边缘响应的方向，l为直线的长度

在一种实现方式中，所述消失线检测模块402，可以具体用于：

所述针对每条直线，当所计算的边缘方向响应θ位于时，该直线的边缘响应为：

当所计算的边缘方向响应θ位于时，该直线的边缘响应为：

其中，g为该直线的边缘响应，为直线中心点坐标，l为直线的长度，θ为直线边缘响应的方向，x为直线中心点横坐标，y为直线中心点纵坐标，f为直线的线积分。

在一种实现方式中，所述消失线检测模块402，可以具体用于：

根据各直线的边缘响应以及非极大值抑制方法，从各直线中选择在空间和角度均为局部最大的边缘响应对应的直线作为消失线。

在一种实现方式中，所述建立模块403，可以具体用于：

所述待检测图像中的像素边缘响应的条件概率为：

其中，为随机变量，选择所在的曼哈顿消失线方向，ei为像素i的边缘强度响应及边缘方向响应，为给定曼哈顿场景参数φ、多尺度边缘以及对应的曼哈顿方向选择后，观察到像素边缘响应ei的条件概率，为给定曼哈顿场景参数以及对应的曼哈顿方向后，观察到多尺度边缘信息的条件概率，为曼哈顿方向选择的先验。

在一种实现方式中，所述的定义为：

像素的边缘强度响应ei与边缘方向响应θi条件独立，分解为：

所述定义为：

其中，像素边缘强度响应ei的概率与归一化之后的边缘响应强度成正比，αe限定了系数项的最大值,定义为所有边缘响应分布直方图的分位数；

所述定义为：

其中，δθ为边缘像素的梯度方向θ与其所在的多尺度边缘检出直线方向ζ的差值，pang(δθ)随δθ绝对值的增加而增大。

在一种实现方式中，所述的定义为：

所述分解为：

所述定义为：

其中，是多尺度边缘检出的最大响应值，β为预定义的系数，为多尺度边缘的响应；

所述定义为：

其中，δζ表示消失点到边缘检出中心点，以及边缘检出的方向之间的角度差，ρ为调整平滑程度的参数，x为直线中心点横坐标，y为直线中心点纵坐标，ζ为直线方向，l为所检出的多尺度边缘响应的长度。

在一种实现方式中，所述初始化模块404，可以具体用于：

以(w/2,h/2-10h)以及(w/2,h/2+10h)作为所述待检测图像中的竖直方向消失点的候选点，计算所述候选点与多尺度边缘检出结果之间的距离，将在预设阈值范围内的距离对应的候选点作为所述竖直方向消失点的内点，根据所有内点的边缘响应以及最小二乘法拟合得到所述竖直方向消失点的位置，其中，w为所述待检测图像的宽度，h为所述待检测图像的高度。

在一种实现方式中，所述消失点检测模块405，可以包括：

第一确定单元，用于当所述曼哈顿场景参数的值为初始值时，设定所述贝叶斯概率模型的τ参数的值大于第一预设值，设ρ参数的值小于第二预设值，利用非梯度优化方法确定所述曼哈顿场景参数的极大值，其中，τ为边走向的误差忍耐度，ρ为调整平滑程度的参数；

第二确定单元，用于将所述极大值作为初始值，按照预设减小量减小所述τ参数的值，按照预设增大量增大所述ρ参数的值，利用非梯度优化方法确定所述曼哈顿场景参数的极大值，返回触发将所述极大值作为初始值，直至得到满足预设精度要求的曼哈顿场景参数时，优化结束得到消失点的位置。

图5是本申请实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-accessmemory，ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industrystandardarchitecture，工业标准体系结构)总线、pci(peripheralcomponentinterconnect，外设部件互连标准)总线或eisa(extendedindustrystandardarchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成曼哈顿场景消失点、消失线检测装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本申请任一实施例中提供的曼哈顿场景消失点、消失线检测方法。

上述如本申请图1所示实施例提供的曼哈顿场景消失点、消失线检测方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field－programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本申请实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本申请任一实施例中提供的曼哈顿场景消失点、消失线检测方法。

前述各个实施例中所述的电子设备可以为计算机。

本领域内的技术人员应明白，本申请的实施例可提供为方法或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。