【技术领域】
本发明涉及标签识别技术领域，特别是涉及一种反射式的曲面三维重建标签方法和装置。
背景技术：
如图1所示，为现有技术中通过两个摄像头就能完成目标对象360环绕视角拍摄的光学方案解决方案。其中，单侧的相机通过反射结构可以观察超过180度的标签范围，需要一个相机和4组反射镜。其中反射镜1和反射镜架4之间设置的角度在90度左右，在架设时候需要确保反射镜1和反射镜4具备有公共视场。为了保证反射镜2和反射镜3不会阻挡来自瓶身的光线进入反射镜1和反射镜4，反射镜2和反射镜3采用单面透视通过的玻璃制作。
这种方式由于摄像头所采集的图片包括多个角度和多个区域，由于图片之间是离散的，因此，不同图片区域之间的标签状态判断存在较大的不确定性。另外一方面，由于这种不确定性因素的存在，现有技术中利用图1所示的装置系统完成瓶体标签检测过程中，通常都会严格限定瓶体放置的角度，使得两个摄像头拍出来的图片结果，能够尽可能小的避免上述边界区域带来的判断不确定性。其想法是通过避开图形复杂区域落入摄像头拍摄的图片的边界区域，从而减少素数判断不确定性的解析难度。
但是，现有技术这种处理方式不仅造成了流水线上放置待检测瓶体的难度提高，降低了操作效率；而且，也没有真正克服所述判断不确定性的存在。
技术实现要素：
本发明要解决的技术问题是现有技术中通过限制放置待检测瓶体的角度来降低判断不确定性的处理方式，不仅造成了流水线上放置待检测瓶体的难度提高，降低了操作效率，而且，也没有真正克服所述判断不确定性的存在。
本发明采用如下技术方案：
第一方面，本发明提供了一种反射式的曲面三维重建标签方法，获取一个或者多个摄像头所拍摄到包含曲面标签图案的一组待检测图像，并提取待检测图像中的特征点和标准平面标签图像中的特征点，进行待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配，方法包括：
将待检测图像和标准平面标签图像，按照预设的尺寸分为多个网格，记录各网格中所携带的特征点；
依据待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配关系，获取待检测图像中各网格相对于标准平面标签图像中各网格的特征点映射分布；
根据所述特征点映射分布计算得到各网格可被正确匹配的概率，筛选出正确匹配概率超过预设阈值的一组或者多组网格，以及对应所述一组或者多组网格内部的经过筛选后的剩余映射匹配特征点；
根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云；根据所述三维点云拟合成曲面，反投影到平面上和标准的标签图做比对，得到标签的不良信息。
优选的，根据所述特征点映射分布计算得到各网格可被正确匹配的概率，具体包括：
对应于待检测图像中的第一九宫格的格心特征点总数为num_tl，落入标准平面标签图像中第二九宫格的格心的数目为num_hl；落入到第二九宫格的格心的邻接网格中的数目为num_al；未落入第二九宫格的数目为num_ll；第二九宫格的格心特征点总数为num_tr；落入第一九宫格的格心的数目为num_hr；落入到第一九宫格的格心的邻接网格中的数目为num_ar；未落入第一九宫格的数目为num_lr；得到左右网格能够匹配得上的概率被计算为：
其中k为邻接落入的加权系数。
优选的，所述根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云，具体包括：
其中，dx、dy、u0、v0和f为相机的内部参数；r和t为相机在世界坐标系上的旋转和平移；u和v为在待检测图像上的映射匹配特征点的像素坐标；xw,yw,zw为待求解的三维空间坐标。
优选的，所述标签的不良信息包括：破损的位置区域和/或标签的斜歪程度。
优选的，所述预设阈值通过实时计算得到，具体的：
按照计算得到的各网格的概率值分布；
根据当前所需的特征点数量，计算所要选择的所述预设阈值的参数值。
第二方面，本发明还提供了一种反射式的曲面三维重建标签装置，包括特征点获取模块、特征点筛选模块和三维点云分析模块，且依次相连，具体的：
所述特征点获取模块，用于获取一个或者多个摄像头所拍摄到包含曲面标签图案的一组待检测图像，并提取待检测图像中的特征点和标准平面标签图像中的特征点，进行待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配；
所述特征点筛选模块，用于将待检测图像和标准平面标签图像，按照预设的尺寸分为多个网格，记录各网格中所携带的特征点；依据待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配关系，获取待检测图像中各网格相对于标准平面标签图像中各网格的特征点映射分布；根据所述特征点映射分布计算得到各网格可被正确匹配的概率，筛选出正确匹配概率超过预设阈值的一组或者多组网格，以及对应所述一组或者多组网格内部的经过筛选后的剩余映射匹配特征点；
所述三维点云分析模块，用于根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云；根据所述三维点云拟合成曲面，反投影到平面上和标准的标签图做比对，得到标签的不良信息。
优选的，所述特征点筛选模块还包括匹配概率计算单元，具体的：
所述匹配概率计算单元，用于对应于待检测图像中的第一九宫格的格心特征点总数为num_tl，落入标准平面标签图像中第二九宫格的格心的数目为num_hl；落入到第二九宫格的格心的邻接网格中的数目为num_al；未落入第二九宫格的数目为num_ll；第二九宫格的格心特征点总数为num_tr；落入第一九宫格的格心的数目为num_hr；落入到第一九宫格的格心的邻接网格中的数目为num_ar；未落入第一九宫格的数目为num_lr；得到左右网格能够匹配得上的概率被计算为：
其中k为邻接落入的加权系数。
优选的，所述三维点云分析模块还包括三维点计算单元，具体的：
所述三维点计算单元，用于根据公式
计算得到三维点云；
其中，dx、dy、u0、v0和f为相机的内部参数；r和t为相机在世界坐标系上的旋转和平移；u和v为在待检测图像上的映射匹配特征点的像素坐标；xw,yw,zw为待求解的三维空间坐标。
优选的，所述标签的不良信息包括：破损的位置区域和/或标签的斜歪程度。
优选的，所述特征点筛选模块还包括预设阈值计算单元，具体的：
所述预设阈值计算单元，用于按照计算得到的各网格的概率值分布，根据当前所需的特征点数量，计算所要选择的所述预设阈值的参数值。
第三方面，本发明还提供了一种电子设备，用于实现第一方面所述的反射式的曲面三维重建标签方法，所述设备包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述存储器存储有可被所述至少一个处理器执行的指令程序，所述指令被程序设置为执行第一方面所述的反射式的曲面三维重建标签方法。
第四方面，本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的反射式的曲面三维重建标签方法。
本发明不仅将三维点云拟合曲面的方法运用到了瓶体标签完整性检测中去，并且，对于该方法中核心的点云生成提出了一种更为高效的误匹配点的剔除机制。通过网格划分的方式，引入一种运算简洁，而鲁棒性更高的剔除方法，从而提高了三维点云的特征点的整理效率，提高了最终完成摄像头拍摄的离散图片到完整曲面图片的转换速率。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种反射式的曲面三维拍摄的装置结构示意图；
图2是本发明实施例提供的一种反射式的曲面三维重建标签方法流程示意图；
图3是本发明实施例提供的一种网格划分效果示意图；
图4是本发明实施例提供的一种网格划分后基于网格中特征点的匹配效果示意图；
图5是本发明实施例提供的一种反射式的曲面三维重建标签装置结构示意图；
图6是本发明实施例提供的一种反射式的曲面三维重建标签装置结构示意图；
图7是本发明实施例提供的一种反射式的曲面三维重建标签装置结构示意图；
图8是本发明实施例提供的一种反射式的曲面三维重建标签装置结构示意图；
图9是本发明实施例提供的一种智能设备结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本发明实施例1提供了一种反射式的曲面三维重建标签方法，在进行本发明实施例核心方法之前，需要获取一个或者多个摄像头所拍摄到包含曲面标签图案的一组待检测图像，并提取待检测图像中的特征点和标准平面标签图像中的特征点，进行待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配，如图2所示，所述检测方法包括：
在步骤201中，将待检测图像和标准平面标签图像，按照预设的尺寸分为多个网格，记录各网格中所携带的特征点。
如图3所示，为将一帧图片进行9×9数量网格分割后的效果示意图，而图4的左侧图则是图3中标注黑色粗线条框子块放大后的效果示意图(图4中右侧的图则是另一幅进行网格操作后的与图3进行特征匹配后的效果图，其中的连线表明相应特征点是已经完成了映射匹配的)。从图4所示示意图中可以看到，不同的网格中离散的分布着一些特征点。其中，网格的数量是根据图片中有效特征点的信息量所确定的，两者关系通常是步骤201之前得到的特征点之间的映射匹配数量越多，则相应的网格的数量可以设置的相对多些；而如果特征点之间的映射匹配数量越少，则相应的网格的数量可以设置的相对少些，从而能够保证单一网格中所包含的可用于计算的映射匹配数量达到可操作单位量(例如数量要求大于等于5个)。
在步骤202中，依据待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配关系，获取待检测图像中各网格相对于标准平面标签图像中各网格的特征点映射分布。
其中，所述的各网格的特征点映射分布，是指完成网格划分后，各网格中所包含的特征点数量，并且，各网格在生成的同时会进行编号，从而保证能够根据特征点和网格编号唯一的寻址到相应的特征点。
在步骤203中，根据所述特征点映射分布计算得到各网格可被正确匹配的概率，筛选出正确匹配概率超过预设阈值的一组或者多组网格，以及对应所述一组或者多组网格内部的经过筛选后的剩余映射匹配特征点。
其中，所述预设阈值通过实时计算得到，包括：按照计算得到的各网格的概率值分布；根据当前所需的特征点数量，计算所要选择的所述预设阈值的参数值。
在步骤204中，根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云。
在步骤205中，根据所述三维点云拟合成曲面，反投影到平面上和标准的标签图做比对，得到标签的不良信息。
其中，所述标签的不良信息包括：破损的位置区域和/或标签的斜歪程度。
本发明实施例不仅将三维点云拟合曲面的方法运用到了瓶体标签完整性检测中去，并且，对于该方法中核心的点云生成提出了一种更为高效的误匹配点的剔除机制。通过网格划分的方式，引入一种运算简洁，而鲁棒性更高的剔除方法，从而提高了三维点云的特征点的整理效率，提高了最终完成摄像头拍摄的离散图片到完整曲面图片的转换速率。
结合本发明实施例，对于实施例1中步骤203中所涉及的：根据所述特征点映射分布计算得到各网格可被正确匹配的概率，提供了一种优选的实现方案，具体包括：
对应于待检测图像中的第一九宫格的格心特征点总数为num_tl，落入标准平面标签图像中第二九宫格的格心的数目为num_hl；落入到第二九宫格的格心的邻接网格中的数目为num_al；未落入第二九宫格的数目为num_ll；第二九宫格的格心特征点总数为num_tr；落入第一九宫格的格心的数目为num_hr；落入到第一九宫格的格心的邻接网格中的数目为num_ar；未落入第一九宫格的数目为num_lr；得到左右网格能够匹配得上的概率被计算为：
其中k为邻接落入的加权系数。需要强调的是，九宫格只是多种计算单元中的一种，例如，还可以是16宫格、25宫格等等，而相应的计算方法可以借鉴九宫格所述内容，在此不再赘述。
以图4为例，其中左图中心网格心特征点总数为num_tl＝5，落入右边网格中的数目为num_hl＝3,
落入到右边邻接网格中的数目为num_al＝1，未落入的数目为num_ll＝1；
右图中心网格心特征点总数为num_tr＝5,落入到左边网格中的数目为num_hr＝3,
落入到右边邻接网格中的数目为num_ar＝2，未落入的数目为num_lr＝0；
按照统计学规律，得到左右网格能够匹配得上的概率被计算为：
其中，k为邻接落入的加权系数，当不要求时耗的时候可以扩展为进一步计算点之间的计算关系。一般情况下如果按照网格计算，则可取0.5。
结合本发明实施例1，对于步骤204中所涉及的：所述根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云，还提供了一种优选的实现方案，具体包括：
其中，dx、dy、u0、v0和f为相机的内部参数；r和t为相机在世界坐标系上的旋转和平移；u和v为在待检测图像上的映射匹配特征点的像素坐标；xw,yw,zw为待求解的三维空间坐标。运算得到的f/dx一般写成fx，为相机在x方向的像素焦距；f/dy一般写成fy，为相机在y方向的像素焦距；u0为图片中，相机的光轴中心相对图片中心的x方向的偏移；v0为图片中，相机的光轴中心相对图片中心的y方向的偏移。
实施例2：
本发明实施例除了提供如实施例1所述的一种反射式的曲面三维重建标签方法以外，还提供了一种反射式的曲面三维重建标签装置，如图5所示，包括特征点获取模块、特征点筛选模块和三维点云分析模块，且依次相连，具体的：
所述特征点获取模块，用于获取一个或者多个摄像头所拍摄到包含曲面标签图案的一组待检测图像，并提取待检测图像中的特征点和标准平面标签图像中的特征点，进行待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配；
所述特征点筛选模块，用于将待检测图像和标准平面标签图像，按照预设的尺寸分为多个网格，记录各网格中所携带的特征点；依据待检测图像的特征点和标准平面标签图像中的特征点之间的映射匹配关系，获取待检测图像中各网格相对于标准平面标签图像中各网格的特征点映射分布；根据所述特征点映射分布计算得到各网格可被正确匹配的概率，筛选出正确匹配概率超过预设阈值的一组或者多组网格，以及对应所述一组或者多组网格内部的经过筛选后的剩余映射匹配特征点；
所述三维点云分析模块，用于根据所述一组或者多组网格内部的剩余映射匹配特征点，计算待检测图像上点的三维点云；根据所述三维点云拟合成曲面，反投影到平面上和标准的标签图做比对，得到标签的不良信息。
本发明实施例不仅将三维点云拟合曲面的方法运用到了瓶体标签完整性检测中去，并且，对于该方法中核心的点云生成提出了一种更为高效的误匹配点的剔除机制。通过网格划分的方式，引入一种运算简洁，而鲁棒性更高的剔除方法，从而提高了三维点云的特征点的整理效率，提高了最终完成摄像头拍摄的离散图片到完整曲面图片的转换速率。
结合本发明实施例，还存在一种优选的实现方案，如图6所示，所述特征点筛选模块还包括匹配概率计算单元，具体的：
所述匹配概率计算单元，用于对应于待检测图像中的第一九宫格的格心特征点总数为num_tl，落入标准平面标签图像中第二九宫格的格心的数目为num_hl；落入到第二九宫格的格心的邻接网格中的数目为num_al；未落入第二九宫格的数目为num_ll；第二九宫格的格心特征点总数为num_tr；落入第一九宫格的格心的数目为num_hr；落入到第一九宫格的格心的邻接网格中的数目为num_ar；未落入第一九宫格的数目为num_lr；得到左右网格能够匹配得上的概率被计算为：
其中k为邻接落入的加权系数。
结合本发明实施例，还存在一种优选的实现方案，如图7所示，所述三维点云分析模块还包括三维点计算单元，具体的：
所述三维点计算单元，用于根据公式
计算得到三维点云；
其中，dx、dy、u0、v0和f为相机的内部参数；r和t为相机在世界坐标系上的旋转和平移；u和v为在待检测图像上的映射匹配特征点的像素坐标；xw,yw,zw为待求解的三维空间坐标。
在本发明实施例中，所述标签的不良信息包括：破损的位置区域和/或标签的斜歪程度。
结合本发明实施例，还存在一种优选的实现方案，如图8所示，所述特征点筛选模块还包括预设阈值计算单元，具体的：
所述预设阈值计算单元，用于按照计算得到的各网格的概率值分布，根据当前所需的特征点数量，计算所要选择的所述预设阈值的参数值。
实施例3：
本实施例的还提供了一种智能终端，能够用于完成实施例1所述的方法步骤，如图9所示，所述智能终端2包括一个或多个处理器21以及存储器22。其中，图9中以一个处理器21为例。
处理器21和存储器22可以通过总线或者其他方式连接，图9中以通过总线连接为例。
存储器22作为一种喷码识别方法和装置非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如实施例1中的喷码识别方法以及对应的程序指令/模块(例如，图5-图8所示的各个模块)。处理器21通过运行存储在存储器22中的非易失性软件程序、指令以及模块，从而执行喷码识别装置的各种功能应用以及数据处理，即实现实施例1的反射式的曲面三维重建标签方法以及实施例2的各个模块、单元的功能。
存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至处理器21。
所述程序指令/模块存储在所述存储器22中，当被所述一个或者多个处理器21执行时，执行上述实施例1中的反射式的曲面三维重建标签方法，例如，执行以上描述的图1所示的各个步骤；也可实现图5-图8所述的各个模块、单元。
值得说明的是，上述装置内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的处理方法实施例1基于同一构思，具体内容可参见本发明方法实施例1中的叙述，此处不再赘述。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。