一种基于AI技术的AR的对象互动展示方法与流程

本技术涉及图像增强，具体涉及一种基于ai技术的ar的对象互动展示方法。

背景技术：

1、增强现实ar（augmented reality）技术通过使用计算机生成的图像、声音等其它虚拟信息，将虚拟信息叠加到用户的真实环境中，创造出一个融合了虚拟和真实元素的场景。随着现在数字技术的快速发展，ar技术被广泛应用于先进制造、科普科研、文化旅游等领域，通过ar技术的对象互动展示，可以在用户端实时呈现ar信息，给人们带来身临其境的感觉。

2、现阶段，ar技术通常会使用图像增强算法提升ar交互的图像质量，同时也能够提高ar交互过程中目标检测的准确度。传统的图像增强算法，如自适应直方图均衡化ahe算法(adaptive histgram equalization)将图像分割为多个块，对每个图像块分别进行直方图均衡，但是ahe算法需要提前设置分块大小，且在均衡化过程中容易出现颜色失真的问题；而单尺度ssr（single scale retinex）算法简单且易于实现，能够近实时的完成图像增强，但是也需要提前设置尺度参数的大小，参数越小，ssr的动态压缩能力越强，图像阴暗部分的细节得到更好的增强，但是由于平均对比度范围较小，增强后的ar图像会产生颜色失真，影响交互体验；参数值越大，ssr的颜色保真度越高，但是动态压缩能力会越弱，导致ar图像的增强效果较差。

技术实现思路

1、本技术提供一种基于ai技术的ar的对象互动展示方法，以解决ssr算法增强ar图像的效果受尺度参数影响较大，影响ar互动体验的问题，所采用的技术方案具体如下：

2、本技术一个实施例一种基于ai技术的ar的对象互动展示方法，该方法包括以下步骤：

3、采集ar设备中的每帧ar图像；

4、基于每帧ar图像内每个像素点所取滑动窗口内不同灰度级之间的转换频率确定每个像素点所取滑动窗口内每个灰度级的灰度级转化突兀系数；基于每个像素点所取滑动窗口内所有灰度级的灰度级转化突兀系数确定每个像素点的局部特征丰度指数；

5、基于每帧ar图像中每个像素点与其所取邻域内所有像素点的局部特征丰度指数的分布情况确定每帧ar图像中的ar画面特征点；

6、基于相邻两帧ar图像中两个ar画面特征点局部特征丰度指数之间的差异以及两个ar画面特征点之间的特征位移距离确定两个ar画面特征点的ar画面特征匹配指数；

7、基于每帧ar图像与其前一帧ar图像中所有ar画面特征点的ar画面特征匹配指数确定每帧ar图像内每个像素点的ar运动模糊真实指数；

8、采用单尺度ssr算法基于每帧ar图像内每个像素点的ar运动模糊真实指数得到每帧ar图像的增强结果，基于每帧ar图像的增强结果完成互动展示。

9、优选的，所述基于每帧ar图像内每个像素点所取滑动窗口内不同灰度级之间的转换频率确定每个像素点所取滑动窗口内每个灰度级的灰度级转化突兀系数的方法为：

10、将每帧ar图像内每个像素点所取滑动窗口内每个不相等的灰度值作为一个灰度级；

11、将每个像素点所取滑动窗口内每个像素点与其八邻域内任意一个像素点组成的像素点组合作为一个灰度转换组合；将每个像素点所取滑动窗口内任意两个灰度级对应的灰度转换组合的个数作为两个灰度级之间的转换次数；

12、基于每帧ar图像内每个像素点所取滑动窗口内灰度级之间的转换次数确定所取滑动窗口内每个灰度级的灰度级转化突兀系数。

13、优选的，所述基于每帧ar图像内每个像素点所取滑动窗口内灰度级之间的转换次数确定所取滑动窗口内每个灰度级的灰度级转化突兀系数的方法为：

14、将每帧ar图像内每个像素点所取滑动窗口内任意两个灰度级之间的转换次数与滑动窗口内所有灰度转换组合总个数的比值作为任意两个灰度级之间的等级转换自由因子；

15、将每个像素点所取滑动窗口内任意一个灰度级作为一个目标灰度级，将每个像素点所取滑动窗口内每个目标灰度级与其余任意一个灰度级对应灰度值之间差值的绝对值作为分子；将每个像素点所取滑动窗口内所有灰度级之间的等级转换自由因子的最大值与每个目标灰度级与其余任意一个灰度级之间的等级转换自由因子的差值与预设参数之和作为分母；

16、将分子与分母的比值在其余所有灰度级上的累加结果与其余所有灰度级的数量的比值作为每个目标灰度级的灰度级转化突兀系数。

17、优选的，所述基于每个像素点所取滑动窗口内所有灰度级的灰度级转化突兀系数确定每个像素点的局部特征丰度指数的方法为：

18、将每个像素点所取滑动窗口内所有灰度级的灰度级转化突兀系数作为输入，采用数据聚类算法将所有灰度级转化突兀系数划分为两个聚类簇，将灰度级转化突兀系数均值最大的聚类簇内的任意一个元素对应的灰度级作为一个突兀灰度级；

19、采用曲线拟合技术基于所有突兀灰度级以及每个突兀灰度级的灰度级转化突兀系数确定每个像素点所取滑动窗口的等级突兀曲线，将所述等级突兀曲线中所有极大值点按照横坐标升序的顺序组成的序列作为突兀极大值序列；

20、将突兀极大值序列中任意两个相邻元素次序值之间差值绝对值的倒数在突兀极大值序列上的累加结果与每个像素点所取滑动窗口内所有灰度级转化突兀系数均值的乘积作为每个像素点的局部特征丰度指数。

21、优选的，所述基于每帧ar图像中每个像素点与其所取邻域内所有像素点的局部特征丰度指数的分布情况确定每帧ar图像中的ar画面特征点的方法为：

22、将以每帧ar图像中每个像素点为中心点所取预设尺度的圆形区域所经过的任意一个像素点作为每帧ar图像中每个像素点的一个近邻参考点；

23、将每帧ar图像中每个像素点的每个近邻参考点的局部特征丰度指数与每个像素点的局部特征丰度指数之间的差值作为一个特征丰度偏差值；

24、将以特征丰度偏差值为横坐标，以每个特征丰度偏差值在每个像素点的所有近邻参考点中出现的频率为纵坐标构建的直方图作为每帧ar图像中每个像素点的丰度偏差直方图；

25、将每帧ar图像中所有像素点的所有近邻参考点的特征丰度偏差值的均值作为偏差均值，将任意一个特征丰度偏差值大于偏差均值的近邻参考点数量大于等于预设阈值的像素点作为每帧ar图像中的一个ar画面特征点。

26、优选的，所述基于相邻两帧ar图像中两个ar画面特征点局部特征丰度指数之间的差异以及两个ar画面特征点之间的特征位移距离确定两个ar画面特征点的ar画面特征匹配指数的方法为：

27、将相邻两帧ar图像中两个ar画面特征点坐标之间的欧式距离作为两个ar画面特征点之间的特征位移距离；将两个ar画面特征点之间的特征位移距离与预设参数之和的倒数作为第一乘积因子；

28、将两个ar画面特征点的之间的局部特征丰度指数之间差值绝对值的数据映射结果作为分子；

29、将两个ar画面特征点的丰度偏差直方图分布特征之间的度量距离与预设参数之和作为分母，将分子与分母的比值作为第二乘积因子；

30、两个ar画面特征点的ar画面特征匹配指数由第一乘积因子、第二乘积因子两部分组成，其中，所述ar画面特征匹配指数分别与第一乘积因子、第二乘积因子成正比关系。

31、优选的，所述基于每帧ar图像与其前一帧ar图像中所有ar画面特征点的ar画面特征匹配指数确定每帧ar图像内每个像素点的ar运动模糊真实指数的方法为：

32、基于每帧ar图像与其前一帧ar图像中所有ar画面特征点的ar画面特征匹配指数确定每帧ar图像中的一类特征点、二类特征点；

33、对于每帧ar图像中的任意一个二类特征点，将与每个二类特征点之间欧式距离最小的两个一类特征点在每帧ar图像中的坐标经过空间映射后所得坐标对应的像素点作为每个二类特征点的映射点；

34、将每帧ar图像中ar画面特征点的数量与一类特征点数量的差值与每帧ar图像中ar画面特征点的数量的比值作为比例因子；

35、将每帧ar图像中ar画面特征点的数量与每帧ar图像内每个像素点所取滑动窗口内二类特征点数量的差值作为第一数量差值；

36、将每帧ar图像内每个像素点所取滑动窗口内任意一个映射点与每个像素点之间的欧式距离在每个像素点所取滑动窗口内所有映射点上的累加结果作为第一计算因子；

37、每帧ar图像内每个像素点的ar运动模糊真实指数由比例因子、第一数量差值、第一计算因子三部分组成，其中，所述ar运动模糊真实指数分别与比例因子、第一数量差值、第一计算因子成正比关系。

38、优选的，所述基于每帧ar图像与其前一帧ar图像中所有ar画面特征点的ar画面特征匹配指数确定每帧ar图像中的一类特征点、二类特征点的方法为：

39、将每帧ar图像与其前一帧ar图像中所有ar画面特征点的ar画面特征匹配指数作为输入，采用阈值分割算法确定ar画面特征匹配指数的分割阈值；

40、将每帧ar图像中的任意一个ar画面特征点作为一个参考点，将每帧ar图像中与其前一帧ar图像中每个ar画面特征点之间ar画面特征匹配指数大于所述分割阈值的所有参考点组成的集合作为所述前一帧ar图像中每个ar画面特征点的参考点集合，将所述前一帧ar图像中每个ar画面特征点与其参考点集合中具有最大ar画面特征匹配指数的参考点组成的组合作为一个特征点匹配组合；

41、将每帧ar图像中任意一个属于、不属于特征点匹配组合的ar画面特征点分别作为一个一类特征点、一个二类特征点。

42、优选的，所述采用单尺度ssr算法基于每帧ar图像内每个像素点的ar运动模糊真实指数得到每帧ar图像的增强结果的方法为：

43、将第一预设尺度参数与第二预设尺度参数之间的差值与每帧ar图像中每个像素点的ar运动模糊真实指数之间的乘积作为第一尺度计算值；

44、将第一尺度计算值与第二预设尺度参数之和作为每帧ar图像中每个像素点的尺度修正指数；

45、将每帧ar图像作为输入，采用单尺度ssr算法基于每帧ar图像中所有像素点的尺度修正指数得到每帧ar图像的增强结果。

46、优选的，所述基于每帧ar图像的增强结果完成互动展示的方法为：

47、将ar设备中每帧ar图像的增强结果作为输入，将采用python中的pil库将每帧ar图像的增强结果转换的rgb图像作为每帧ar图像的同色增强图像；

48、将ar设备中所有帧ar图像的同色增强图像按照时间顺序构成视频作为ar互动时显示器上的互动视频，互动人员基于互动视频中的引导内容完成互动。

49、本技术的有益效果是：根据ar图像中各个灰度等级相互转换的特征构建各个像素点的局部特征丰度指数，同时综合考虑ar图像像素点的邻域信息，对ar图像的特征点进行分类判断，其有益效果通过对不同ar画面特征点的分类综合反映运动模糊和互动动作对ar面向特征点对应局部特征信息的影响程度；基于相邻帧ar图像的ar画面特征点之间的相似性和特征点的变化，其次结合仿射变换的技术确定二类特征点的映射点确定各个像素点的ar运动模糊真实指数，ar运动模糊真实指数能够准确反映像素点运动模糊的强度，自适应的针对每个像素点确定尺度修正指数，对ssr单尺度图像增加算法进行改进，其有益效果在于综合考虑ar设备中相邻两帧ar图像采集间隔较短，两帧特征点之间的相似度，基于ar图像实际的运动模糊情况，自适应确定ssr算法的尺度参数，提高ar图像增强的质量。