卡片图像中多边形顶点坐标精确定位方法、设备及计算机可读存储介质与流程

1.本发明涉及图像识别技术领域，特别涉及一种卡片图像中多边形顶点坐标精确定位方法、设备及计算机可读存储介质。


背景技术：

2.目前，在卡片放置在背景情况比较复杂、存在有混乱的杂物、存在与卡片颜色近似的物品的情况下，对于卡片的定位是十分困难的。目前拍摄到的卡片照片，照片中的卡片的边缘由于受到光线、阴影等情况的影响，放大会发现，边缘是参差不齐且模糊的，那么就需要精确到亚像素级别(即误差小于1个像素)的识别精度要求。
3.通过识别卡片图像，可以为后续的识别卡片的倾斜度，距离等参数做标定，例如二维码的图像、或是在自动识别中汽车自动导航应用的地面分道线等等情形。
4.因此，本发明的主要目的在于提供一种卡片图像中多边形顶点坐标精确定位方法，以解决上述问题。
5.需要说明的是，公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。


技术实现要素：

6.本发明为解决上述背景技术中的技术问题，通过在卡片上设置特征图像，并经过一系列的图像分析步骤，从而可以拟合出得到亚像素级别的四条边，从而获得精度高的四个顶点坐标，完成对卡片的精准定位。
7.本发明提供一种卡片图像中多边形顶点坐标精确定位方法，卡片具有背景色，该卡片图像中多边形顶点坐标精确定位方法包括下列步骤：在卡片上设置特征图像，特征图像具有特征色，特征色的色相和背景色的色相的差值大于10度；获取卡片的rgb色彩图像；将rgb色彩图像转换成hsv色彩图像；从hsv色彩图像提取出特征图像的轮廓；对特征图像的轮廓进行遮罩；对遮罩后的特征图像的边缘进行拟合，获取特征图像的边缘的点坐标；基于多点直线加权算法将获取到的点坐标进行迭代拟合，完成图像识别。
8.在一些实施例中，所述基于多点直线加权算法将获取到的点坐标进行迭代拟合包括下列步骤：
9.基于加权最小二乘法，计算各个点到直线的距离的平方和，通过距离值的平方运算，把远离点的距离值放大；
10.其中，权值公式如下：
11.12.其中，d是点到直线的距离，τ是设定的一个距离阈值；
13.直线方程使用以下公式：
14.a x + b y + c ＝ 0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
15.公式(2)满足条件：a2+b2＝1；
16.待求极值的函数公式如下：
[0017][0018]
其中，d为拉格朗日算子，λ为特征向量，xi和yi是提取到的点坐标(x,y)里的x值和y值。
[0019]
在一些实施例中，对于公式(1)(2)(3)的解法包括下列步骤：
[0020]
对c求导得到以下公式：
[0021][0022]
对公式(4)简化得到以下2个公式：
[0023][0024][0025]
求特征值a和b的步骤如下：
[0026]
设
[0027]
接着，求取特征值λ，会获得2个特征值λ，取数值较小的特征值λ使用；
[0028][0029]
最后获得特征值a和b。
[0030]
在一些实施例中，特征图像为多边形，且设置在卡片的中心区域。
[0031]
在一些实施例中，特征色的颜色包括黄色、粉色或绿色，背景色的颜色包括棕色、蓝色或黑色。
[0032]
在一些实施例中，所述基于多点直线加权算法将获取到的点坐标进行迭代拟合的步骤包括：基于多点直线加权算法将获取到的点坐标进行迭代拟合得到直线，拟合出的直线的交叉点是图像的顶点坐标，完成图像中多边形顶点的识别。
[0033]
本发明还提供一种设备，其包括存储器，用于储存嵌入式软件程序；处理器，用于执行存储器中存储的嵌入式软件程序，且嵌入式程序被执行时实现上述任一实施例的卡片图像中多边形顶点坐标精确定位方法的步骤。
[0034]
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有实现卡片图像中多边形顶点坐标精确定位方法的程序，实现卡片图像中多边形顶点坐标精确定位方法的程序被处理器执行以实现上述任一实施例的卡片图像中多边形顶点坐标精确定位方法的步骤。
[0035]
本发明提供的一种卡片图像中多边形顶点坐标精确定位方法、设备及计算机可读存储介质，通过在卡片上设置特征图像，并经过基于多点直线加权算法将获取到的点坐标进行迭代拟合的图像分析步骤，从而可以拟合出得到亚像素级别的四条边，通过四条边的交叉，从而获得精度高的四个顶点坐标(效果比传统常用的最小二乘或加权最小二乘法等更加明显准确)，完成对卡片的精准定位。具有广泛的应用场景，对于识别几何图形，由于外界环境造成图像破损的边缘，识别效果好，补偿完善原始图像的原始位置。识别速度快，且不使用gpu，对于硬件要求低，适合移动设备低运算量的设备使用。
[0036]
本发明的其它特征和有益效果将在随后的说明书中阐述，并且，部分地特征和有益效果可以从说明书中显而易见地的得出，或者是通过实施本发明而了解。本发明的目的和其他有益效果可通过在说明书等内容中所特别指出的结构来实现和获得。
附图说明
[0037]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见的，下面描述中的部分附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0038]
图1是本发明一实施例提供的卡片图像中多边形顶点坐标精确定位方法的流程示意图；
[0039]
图2是卡片的rgb色彩图像的示意图；
[0040]
图3是卡片的hsv色彩图像的示意图；
[0041]
图4是从hsv色彩图像中提取出的特征图像的轮廓的示意图；
[0042]
图5是对特征图像的轮廓进行遮罩后的示意图；
[0043]
图6是获取到特征图像的边缘的点坐标的示意图；
[0044]
图7是对特征图像的边缘拟合出直线的示意图；
[0045]
图8是采用本案方法和传统wls法的效果对比示意图。
具体实施方式
[0046]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；下面所描述的本发明不同实施方式中所设计的技术特征只要彼此之间未构成冲突就可以相互结合；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
在本发明的描述中，需要理解的是，术语“中心”、“横向”、“上”、“下”、“左”、“右”、“垂直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、或以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一
个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，术语“包括”及其任何变形，皆为“至少包含”的意思。
[0048]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸的连接，或一体成型的连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0049]
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
[0050]
请参阅图1至图7，图1是本发明一实施例提供的卡片图像中多边形顶点坐标精确定位方法的流程示意图，图2至图6是卡片在图像识别过程中各阶段的示意图。为达所述优点至少其中之一或其他优点，本发明的一实施例提供一种卡片图像中多边形顶点坐标精确定位方法。如图中所示，卡片图像中多边形顶点坐标精确定位方法包括下列步骤：
[0051]
s100：在卡片上设置特征图像。特征图像具有特征色，特征色的色相和背景色的色相h的差值大于10度。需要说明的是，色相采用角度度量，取值范围为0
°
～360
°
，从红色开始按逆时针方向计算，红色为0
°
，绿色为120
°
,蓝色为240
°
；它们的补色如：黄色为60
°
，青色为180
°
，品红为300
°
。
[0052]
s200：获取卡片的rgb色彩图像；
[0053]
s300：将rgb色彩图像转换成hsv色彩图像。
[0054]
s400：从hsv色彩图像提取出特征图像的轮廓；
[0055]
s500：对特征图像的轮廓进行遮罩；
[0056]
s600：对遮罩后的特征图像的边缘进行拟合，获取特征图像的边缘的点坐标；
[0057]
s700：基于多点直线加权算法将获取到的点坐标进行迭代拟合，拟合出的直线的交叉点即为图像的顶点坐标，完成图像识别。也就是说，是基于多点直线加权算法能够得到直线的交叉点，完成图像内多边形顶点的准确识别。
[0058]
如图2所示，是获取卡片的rgb色彩图像，由于此时的卡片上已经存在了特征图像，因此获取到的色彩图像也就包括特征图像的色彩图像。
[0059]
如图3所示，是卡片的hsv色彩图像，通过将rgb色彩图像变幻到hsv色彩图像，卡片的轮廓会比较清晰地展示，对外界光线也不会敏感，有效的适配了晴天或阴天等不同天气下的不同光线。翠绿色卡片背景会被提出，内部的草绿色正方形会别突出显示。
[0060]
如图4所示，是从hsv色彩图像中提取出的特征图像的轮廓，在此过程中，可以对hsv色彩图像进行增强图像，提取出具有特征色的特征图像，并压制其它区域的颜色，以作后续的图形定位使用。
[0061]
如图5所示，是对特征图像的轮廓进行遮罩，借此遮罩可以避免直接识别顶点所造成的误差，并且此遮罩后的四边后续会通过边缘拟合处理。
[0062]
如图6所示，获取的点坐标可以参考是图6中黑圈处的点坐标。
[0063]
如图7所示，拟合后的直线可以参照图7里的2条虚线所示，不再是参差不齐且模糊的，而是能够得到亚像素级别的四条边，从而获得精度高的四个顶点坐标，完成对卡片的精准定位。
[0064]
步骤s100中设置的特征图像优选为多边形，如四边形，且设置在卡片的中心区域，以便于精准定位。特征色的颜色为浅色，可以包括黄色、粉色或绿色。背景色的颜色为深色，可以包括棕色、蓝色或黑色。借此，使得特征色和背景色形成明显差异，有利于定位识别。在实际应用中，特征图像的大小通常会随着相机和卡片的距离越远则越大，举例来说：当相机与卡片距离1～3米，特征图像可以采用大约一张名片的大小；当相机与卡片距离20～30米，特征图像大约与一张报纸副面8开大小近似即可，以使得相机能照清晰即可。此外，卡片和印刷的特征图像没有高度差，也就没有阴影干，有利于定位识别。
[0065]
步骤s700的基于多点直线加权算法将获取到的点坐标进行迭代拟合包括下列步骤：
[0066]
基于加权最小二乘法(以下简称wls法)的加权计算公式，计算各个点到直线的距离的平方和，通过平方运算会把远处的点的距离值放大了；
[0067]
权值公式如下：
[0068][0069]
其中，d是点到直线的距离，τ是设定的一个距离阈值；方法采取迭代法，ω权值的获得过程为：先用最小二乘拟合一条直线(获得一个直线方程)，然后再用上面权值公式(1)计算权值计算。目标是每次重新计算一遍直线方程，获得的直线方程就更准确。多迭代几次得到的直线就会稳定到真实的直线上了。如果多次迭代收敛到一个固定值，则迭代计算停止，如果不收敛，可以通过设定一个最大迭代次数(如100次)，在达到最大迭代次数后，也停止迭代，至此能够较佳的拟合出直线。在迭代运行，迭代每次会排除偏移最大的20％数量的点，通过排除这些偏差点，可以有效提升精准性，在排除完后，每条边仍然会有几百个点的采样坐标数据。具体过程如下：
[0070]
直线方程使用以下公式：
[0071]
a x + b y + c ＝ 0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0072]
公式(2)满足条件：a2+b2＝1；
[0073]
待求极值的函数公式如下：
[0074][0075]
其中，d为拉格朗日算子，λ为特征向量，xi和yi是提取到的点坐标(x,y)里的x值和y值。
[0076]
在一些实施例中，对于公式(1)(2)(3)的解法包括下列步骤：
[0077]
对c求导得到以下公式：
[0078][0079]
对公式(4)简化得到以下2个公式：
[0080][0081][0082]
求特征值a和b的步骤如下：
[0083]
设
[0084]
接着，求取特征值λ，会获得2个特征值λ，取数值较小的特征值λ使用；
[0085][0086]
最后获得特征值a和b。
[0087]
相较于传统的wls解法为通过以下权值矩阵：
[0088][0089]
来评估广义最小二乘的系数，再通过最小化广义残差平方和，求得最右拟合参数
[0090]
rss(β)＝(y-xβ)
t
w(y-xβ)(广义残差平方和)；
[0091]
β^＝(x
t
wx)-1x
t
wy；
[0092]
β^表示评估的直线的参数，x，y表示图像上获取的(x,y)点集，上角字母t表示矩阵的转置。求极值，最小值即可获得评估的参数。最终如图8所示，图中虚线为要拟合的理想位置，左上实线为采用本案方法的效果图，右下实现为传统wls法的效果图，对比明显可以看到，采用本案方法所拟合出的直线更加准确无误。并最终通过直线的交叉点，获得顶点，从而得到准确的顶点位置。
[0093]
本发明还提供一种设备，其包括存储器，用于储存嵌入式软件程序；处理器，用于执行存储器中存储的嵌入式软件程序，且嵌入式程序被执行时实现上述任一实施例的卡片图像中多边形顶点坐标精确定位方法的步骤。
[0094]
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有实现卡片图像中多边形顶点坐标精确定位方法的程序，实现卡片图像中多边形顶点坐标精确定位方法的程序被处理器执行以实现上述任一实施例的卡片图像中多边形顶点坐标精确定位方法的步骤，最后通过多边形的交点，获得多边形的顶点，完成顶点识别的操作。
[0095]
综上所述，本发明提供的一种卡片图像中多边形顶点坐标精确定位方法、设备及计算机可读存储介质，通过在卡片上设置特征图像，并经过基于多点直线加权算法将获取到的点坐标进行迭代拟合的图像分析步骤，从而可以拟合出得到亚像素级别的四条边，通过四条边的交叉点，从而获得精度高的四个顶点坐标，完成对卡片的精准定位。
[0096]
另外，本领域技术人员应当理解，尽管现有技术中存在许多问题，但是，本发明的
每个实施例或技术方案可以仅在一个或几个方面进行改进，而不必同时解决现有技术中或者背景技术中列出的全部技术问题。本领域技术人员应当理解，对于一个权利要求中没有提到的内容不应当作为对于该权利要求的限制。
[0097]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。