一种基于镜面反射的移动增强现实型卡片识别方法与流程

本发明属于移动增强现实(augmentedreality，ar)技术领域，更具体地，涉及一种基于镜面反射的移动增强现实型卡片识别方法。

背景技术：

增强现实是虚拟现实领域发展的一个分支，同时也是计算机视觉、计算机图形学、多媒体、人机交互等多种技术相互交叉的、崭新的研究领域，可实现真实世界与虚拟世界的无缝连结。利用虚实结合这一特点，实现移动终端屏幕内外的互动，锻炼幼儿的动手能力；从表现形式上更能够提升儿童对事物的兴趣，以互动的方式探查、研究更深层次的内容。随着移动终端计算能力的提升、各种传感模块的集成使用，ar技术与移动技术的结合，实现了ar的小型化与便携化，可满足人们对于互动性、即时性、个性化的需求。

幼儿教育卡片是一种经典性的学习资源，通过ar技术，可赋予它更多的数字内容，全新的互动体验方式可更有效地吸引读者。当前已涌现了一系列平面出版类ar产品，如教育卡片、绘本和教材等。与教育卡片结合是其中较为典型的一类儿童ar产品，相对于传统的教育卡片，ar教育卡片借助智能终端，模拟逼真的场景，满足了动手做、用眼看、用耳听、用脑想的多元化教育理念。但这类产品也存在以下缺陷：(1)使用时需要儿童手持设备进行扫描，在一定程度上约束了儿童双手，无法锻炼儿童的动手能力；(2)用来识别的教育卡片需要较多的特征点，要求色彩复杂度较高；(3)未对移动终端摄像机采集到的图像进行校正。这些缺陷限制了ar教育卡片的发展和应用，有必要探索新的教育卡片识别方法。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于镜面反射的移动增强现实型卡片识别方法，该方法操作简单、方便，有效解决了传统ar识别中需要手持设备去扫描卡片、约束儿童双手的问题。

本发明的目的是通过以下技术措施实现的。

一种基于镜面反射的移动增强现实型卡片识别方法，包括如下步骤：

(1)镜面反射设计，将移动终端放置于底座上，在移动终端前置摄像头上方放置一块反光镜，利用反光镜反射原理使前置摄像头能够采集到移动终端底座前方识别区域的图像，通过合理的设置反光镜的形状、大小、放置角度进而调整底座前方识别区域的大小；

(2)注册图片设计，基于“帧标记”的设计原则，选择带有黑白锯齿的图片边缘作为特征识别标志，在图片黑白锯齿以外的其他区域叠加相应的学习内容设计信息，方便ar识别使用；

(3)面向移动终端适配的卡片设计，寻找最合适的识别区域，并根据识别区域的大小设计最佳的卡片大小；

(4)采集图像的正射校正，运用图像正射校正技术对移动终端摄像机采集到的图像进行校正，得到原识别图像。

在上述技术方案中，步骤(1)中所述镜面反射设计具体包括如下步骤：

(1-1)反光镜外壳的制作，反光镜外壳用于使反光镜固定在移动终端前置摄像头上方；所述外壳包括底部未封闭的长方体结构的壳体，根据反光镜的设计，将壳体大小设定为5cm*5cm*6cm，壳体的一端开有与移动终端厚度相同的卡槽，用于将反光镜外壳固定在前置摄像头前，壳体内部设有一定角度的倾斜面作为反光镜的附合面，用于嵌入反光镜，使反光镜固定在移动终端前置摄像头上方，反光镜的顶端与移动终端的顶端一致，反光镜附合面与移动终端之间的角度为30°～50°；

(1-2)移动终端底座的制作，移动终端底座用于将移动终端以一定的角度立在平面上，方便底座前方识别区域的内容在前置摄像头内的投射；所述底座由用于放置移动终端的支撑面板和调节面板组成，所述支撑面板和调节面板在上端部铰连，通过调节支撑面板和调节面板之间的角度，进而调节移动终端与水平面的角度；

(1-3)反光镜的制作，反光镜的作用是使前置摄像头能够采集到底座前方识别区域图像，所述反光镜为矩形；反光镜的长l1和宽w、前置摄像头距离移动终端顶端的距离d1以及前置摄像头的视锥体角度α之间的关系如下：

在上述技术方案中，步骤(2)中所述注册图片设计具体包括如下步骤：

(2-1)基于“帧标记”的方法，选择带有黑白锯齿的图片边缘作为特征识别标志；

(2-2)添加学习内容设计信息，根据学习内容和识别图制作的要求，在图像处理软件中设计与编辑图片，宽高比为1:1，像素设定为2048*2048，文件存储格式为*.jpg，为提高识别的精准度，图片的设计需作如下处理：

(2-2-1)图片内部色彩设计，黑白锯齿内部图像的色彩要与锯齿颜色对比明显；

(2-2-2)图片外部色彩设计，黑白锯齿外部边界的色彩要与锯齿黑色边缘对比明显。

在上述技术方案中，步骤(3)中所述面向移动终端适配的卡片设计具体包括如下步骤：

(3-1)确定移动终端的倾斜角度，该倾斜角度即移动终端与桌面的夹角，已知移动终端自身的长为l2，终端顶点垂直于桌面的高度为h，利用三角函数公式计算出其倾斜角度θ，计算公式为：

sinθ＝h/l2

(3-2)寻找最大化的投射区域，移动终端与反光镜、桌面的夹角对前置摄像头的投射区域都有影响，若反光镜和移动终端的夹角越小，则反光镜里能显示前置摄像头采集区域的内容越少，并且前置摄像头的视锥体被反光镜裁剪的越小；反之，夹角越大，则反光镜里能显示前置摄像头采集区域的内容越多，同时前置摄像头的视锥体被保留的越多，同时，夹角不能超过前置摄像头视锥体的上限，否则拍摄不到反光镜里的内容；

具体求解最大化的投射区域如下：

(3-2-1)确定移动终端前置摄像头视锥体上下限，移动终端以一定角度斜置于桌面上：eqw为桌面，eoo'为移动终端，其中o点为前置摄像头所在位置，o'点为终端顶部，顶部o'点到桌面e点的距离是固定的，设eo'＝d2；顶部o'点到前置摄像头o点的距离是固定的，设oo'＝d3，当放置好移动终端后，∠o'ew也确定了，设为∠c；od垂直于eoo'，od是前置摄像头的z正轴；oo'是前置摄像头的y正轴；oa和oc构成前置摄像头视锥体的上下限；

(3-2-2)获取镜面与前置摄像头视锥体的交点，o'hmw为反光镜所在平面，根据需要将桌面上的e点反射到前置摄像头视锥体的上限oa上，这样eoo'在移动终端上的画面则在前置摄像头中完全看不见，根据这个需求，得到ao'＝eo'＝l2，由此可以确定出oa线上a点的位置，然后连接ea，再使镜面o'hmw垂直于ea，则可得到镜面与前置摄像头视锥体上下限的交点h点和m点，以及镜面与桌面的交点w，而镜面真正起反射作用的就是hm一段；

(3-2-3)寻找投射区域的宽度，找到桌面上的点q，使得q点经镜面反射后正好落在前置摄像头视锥体的下限p点上，为达到这个目的，连接aw和oc相交于p点，过p点作pq垂直于镜面即可得到q点，这样，桌面上的eq正好经反光镜反射成ap，完全落在前置摄像头的视锥体内被拍摄到，并显示在屏幕中，eq即为投射区域的宽；

(3-2-4)寻找投射区域的长度，前置摄像头广角边缘的入射光经反光镜折射后的反射光线，将最边缘的两条反射光线作垂直于桌面c、e两点的虚线，连接cd和ef可获得两条线，这样，桌面上的df为投射区域的长；

(3-3)通过投射区域确定出承载卡片的最大数量和最适合的卡片大小；

(3-4)卡片材质设计，为了提高识别速度和稳定性，确保动画场景的实时呈现，采用磨砂材质的卡片。

本发明的技术效果体现在：

通过专门设计的反光镜装置，结合图像校正技术，将移动终端屏幕前的卡片正确映射到屏幕上。采集图像的正射校正克服了传统识别中因前置摄像头采集到的图像变形导致识别效率低的问题；反光镜装置解决了传统ar识别中需要手持设备去扫描卡片、约束儿童双手的问题。

附图说明

图1是本发明方法的原理示意图。

图2是本发明中反光镜外壳的结构示意图，此处为了将其结构表达更清楚，选择反光镜外壳底部朝上的视角表现，而与反光镜外壳正常使用时的视角相反。

图3是本发明中底座的结构示意图。

图4是本发明中带有特征识别标志的图片示意图。

图5是本发明中叠加有设计信息的注册图片示意图，此处仅为示意图，而在实际应用中黑白锯齿内部图像的色彩应与锯齿颜色对比明显。

图6是本发明中识别区域宽度投影映射原理图。

图7是本发明中识别区域长度投影映射原理图。

图8是透视投影转化平行投影原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例提供一种基于镜面反射的移动增强现实型卡片识别方法，其特征在于该方法包括如下步骤：

(1)镜面反射的设计

包括反光镜设计、反光镜外壳设计、支撑移动终端竖立的底座设计三部分。反光镜的作用是使移动终端前置摄像头能够采集到底座前方识别区域图像。反光镜的大小和形状根据移动终端前置摄像头的视锥体角度大小和前置摄像头与移动终端的顶端距离确定。反光镜外壳控制反光镜的放置角度实现底座前方识别区域大小适中。底座设计主要是控制移动终端的倾斜角度。

所述镜面反射设计具体包括如下步骤：

(1-1)反光镜外壳的制作，反光镜外壳用于使反光镜固定在移动终端前置摄像头上方；如图2所示，所述外壳包括底部未封闭的长方体结构的壳体1，根据反光镜的设计，将壳体1大小设定为5cm*5cm*6cm，壳体1的一端开有与移动终端厚度相同的卡槽2，用于将反光镜外壳固定在前置摄像头前，壳体1内部设有一定角度的倾斜面作为反光镜的附合面3，用于嵌入反光镜4，使反光镜4固定在移动终端前置摄像头上方，为了使前置摄像头的视锥体不被反光镜挡住，反光镜的顶端要与移动终端的顶端一致，以保持反光镜与前置摄像头之间有一定距离，反光镜的顶端与移动终端的顶端一致，反光镜附合面与移动终端之间的角度为30°～50°。

(1-2)移动终端底座的制作，移动终端底座用于将移动终端以一定的角度立在平面上，方便底座前方识别区域的内容在前置摄像头内的投射；如图3所示，所述底座由用于放置移动终端的支撑面板5和调节面板6组成，所述支撑面板5和调节面板6在上端部铰连，通过调节支撑面板5和调节面板6之间的角度，进而调节移动终端与水平面的角度；底座要具有一定的稳定性，可以长时间支撑移动终端。

(1-3)反光镜的制作，反光镜的作用是使前置摄像头能够采集到底座前方识别区域图像，所述反光镜为矩形；反光镜的长l1和宽w、前置摄像头距离移动终端顶端的距离d1以及前置摄像头的视锥体角度α之间的关系如下：

(2)注册图片的设计

基于“帧标记”的设计原则，选择带有黑白锯齿的图片边缘作为特征识别标志，如图4所示，通过在图片黑白锯齿以外的其他区域叠加相应的学习内容设计信息，方便ar识别使用。根据学习内容和识别图制作的要求，在图像处理软件(如photoshop)中，设计和编辑图片，将图片的宽高比设计为1:1，并保存为*.jpg格式，如图5所示。使用时，移动ar应用将根据采集的图像信息进行分析，与识别库中已经注册的图片进行匹配，若匹配成功，在屏幕上会出现与图片内容相对应的动画场景。

(3)面向移动终端适配的卡片设计，寻找最合适的识别区域，并根据识别区域的大小设计最佳的卡片大小。

要设计卡片大小，首先需要获取终端的倾斜角度，其次得到最大化的投射区域，通过投射区域计算出承载卡片的最大数量和最适合的卡片大小，最后进一步设计卡片的材质。最大化的投射区域由反光镜和底座的倾斜角度两者共同决定的，若反光镜和移动终端的夹角越小，则反光镜里能显示前置摄像头采集区域的内容越少，并且前置摄像头的视锥体被反光镜裁剪的越小；反之，夹角越大，则反光镜里能显示前置摄像头采集区域的内容越多，同时前置摄像头的视锥体被保留的越多。当然，夹角不能超过前置摄像头视锥体的上限，否则拍摄不到反光镜里的内容。

所述面向移动终端适配的卡片设计具体包括如下步骤：

(3-1)确定移动终端的倾斜角度，为了增强用户的体验感，方便用户观察、操作以及获得最大化识别区，移动终端需以一定角度斜置于桌面，倾斜角度可以自由调整。移动终端的倾斜角度即移动终端与桌面的夹角，已知移动终端自身的长为l2，终端顶点垂直于桌面的高度为h，利用三角函数公式计算出其倾斜角度θ，计算公式为：

sinθ＝h/l2

(3-2)寻找最大化的投射区域，移动终端与反光镜、桌面的夹角对前置摄像头的投射区域都有影响，若反光镜和移动终端的夹角越小，则反光镜里能显示前置摄像头采集区域的内容越少，并且前置摄像头的视锥体被反光镜裁剪的越小；反之，夹角越大，则反光镜里能显示前置摄像头采集区域的内容越多，同时前置摄像头的视锥体被保留的越多，同时，夹角不能超过前置摄像头视锥体的上限，否则拍摄不到反光镜里的内容；

具体求解最大化的投射区域如下，如图6、7所示：

(3-2-1)确定移动终端前置摄像头视锥体上下限，移动终端以一定角度斜置于桌面上：eqw为桌面，eoo'为移动终端，其中o点为前置摄像头所在位置，o'点为终端顶部，顶部o'点到桌面e点的距离是固定的，设eo'＝d2；顶部o'点到前置摄像头o点的距离是固定的，设oo'＝d3，当放置好移动终端后，∠o'ew也确定了，设为∠c；od垂直于eoo'，od是前置摄像头的z正轴；oo'是前置摄像头的y正轴；oa和oc构成前置摄像头视锥体的上下限；

(3-2-2)获取镜面与前置摄像头视锥体的交点，o'hmw为反光镜所在平面，根据需要将桌面上的e点反射到前置摄像头视锥体的上限oa上，这样eoo'在移动终端上的画面则在前置摄像头中完全看不见(因为eoo'反射到了ao'线上，超出了视锥体的范围)，根据这个需求，得到ao'＝eo'＝l2，由此可以确定出oa线上a点的位置，然后连接ea，再使镜面o'hmw垂直于ea，则可得到镜面与前置摄像头视锥体上下限的交点h点和m点，以及镜面与桌面的交点w，而镜面真正起反射作用的就是hm一段；

(3-2-3)寻找投射区域的宽度，找到桌面上的点q，使得q点经镜面反射后正好落在前置摄像头视锥体的下限p点上，为达到这个目的，连接aw和oc相交于p点，过p点作pq垂直于镜面即可得到q点，这样，桌面上的eq正好经反光镜反射成ap，完全落在前置摄像头的视锥体内被拍摄到，并显示在屏幕中，eq即为投射区域的宽；

(3-2-4)寻找投射区域的长度，前置摄像头广角边缘的入射光经反光镜折射后的反射光线，将最边缘的两条反射光线作垂直于桌面c、e两点的虚线，连接cd和ef可获得两条线，这样，桌面上的df为投射区域的长；

(3-3)通过投射区域确定出承载卡片的最大数量和最适合的卡片大小；其中，卡片尺寸和承载卡片的数量之积应小于投射区域大小；投射区域的面积

通过步骤(3-1)、(3-2)得到投射区域的长度和宽度，从而计算得出投射区域，投射区域的长度决定卡片的整体长度，投射区域的宽度决定卡片的整体宽度。

假设承载卡片数量为n，n为整数，投射区域的面积为s，识别卡片的面积设为s1，则：

n＝s/s1

(3-4)卡片材质设计，为了提高识别速度和稳定性，确保动画场景的实时呈现。移动ar应用的识别图片在打印时需满足一定的要求，以方便前置摄像头进行图像特征值的探测和提取。要求如下：打印的图片要保证光泽度。如果图片比较光滑并且有光泽，对于漫反射光照情况下可能影响较小；但是如果是带有某种角度聚光源的情况，那么卡片表面的光泽可能会反射大量的光，从而影响卡片的识别敏感度。本实施例中采用的是磨砂材质的卡片。

(4)通过透视平面原理对发生形变的图像进行正射校正，将由于拍摄角度与平面有一定夹角形成的透视投影转化为平行投影。

所述正射校正的原理如下：

(4-1)透视变化的基本原理。选取空间中z轴上某个视点，获取与此轴垂直的平面的透视投影公式。设在z轴上视点为e(0，0，ze)，空间中某一点为p(xp，yp，zp)，则可以得到视线ep的直线方程为：

此直线和画面z＝0相交时的参数为t＝-ze/(zp-ze)，将参数t代入上面的公式并把变换式应用于三个坐标，且由于p是空间的任意一点，用齐次坐标写出，得出表达式为：

由此可得视点在z轴上的透视变换矩阵。同理，得到视点在x和y轴的变换矩阵，分别为：

(4-2)透视投影转化为平行投影。为了进一步说明透视变换pz后物体变化的情况，以一条参数直线的透视变换情况为例进行介绍，其中c为斜率：

与上述z轴上视点的透视变化矩阵结合可得：

当直线向无穷延伸时，有：

如图8所示，与z轴平行的直线ab，经pz变换后变成a′b′，它处于通过ab的延长线和画面的交点g及一个消失点f(0，0，-ze)的直线上。直线a′b′(空间物体b2)在画面上的正投影a″b″就是直线ab(空间物体b1)在画面上的透视投影，且保留了深度方向的对应关系。

本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。