一种基于深度学习的光学相机通信系统及方法与流程

本发明涉及光学相机通信，具体地说，涉及一种基于深度学习的光学相机通信系统及方法。

背景技术：

1、随着用户需求的日益增长，传统无线通信技术的频谱资源呈现紧张态势。可见光通信(vlc)技术由于不需要占用射频频谱资源即可完成通信的优势得到越来越广泛的关注。有学者提出基于rgb型led的光学相机通信系统设计方案，引入直方图均衡化、最小二乘拟合等算法同时利用了智能手机作为介绍端解决了光相机通信系统信息传输速率提高的问题。有学者提出了新型水平定位算法—图像定位算法，同时也支持高速移动的场景。有学者采用高效的二进制应用层协议，采用重传机制、流量控制、按序传输机制保证了图像数据的可靠稳定传输。有学者提出将需要传输的三维信息以彩色二维编码的方法生成一组平面，如此寻找三维信息变成了在二维平面寻码。

2、传统vlc系统，发送端通常使用led。然而有学者提出了一种低频光源的光相机通信技术，使用lcd屏幕作为发送源，接收端对屏幕里的多色图像进行解析，从而实现信息的传输。传统的用图像识别来进行信息传输还是依靠于二维码来实现，但是随着物联网和智能化发展，二维码所承载的数据量难以满足今后的发展需要，所以有学者提出了一种矩阵式二维码，通过rgb中任一颜色通道过滤后为黑色和通过同一颜色通道过滤后为白色的两种颜色的色块交替排列而成。有学者提出了一种创新型五色彩码的设计与实现，描述了五色彩码的定位与识别技术，让多色彩码的构建识别技术有了可行的具体方案。有学者利用颜色空间进行颜色识别，在4种颜色空间模型中比较了颜色识别效果，在hsv模型中识别效果最好，针对外界光线变化严重影响颜色识别的问题，改进了的hsv颜色模型的颜色量化模板和颜色判定规则，能有效地提高识别精度。但是，现有的技术稳定性、准确性和速度欠佳，因此，需要一种基于深度学习的光学相机通信系统及方法来解决上述问题。

技术实现思路

1、本发明的内容是提供一种基于深度学习的光学相机通信系统及方法，其能够克服现有技术的某种或某些缺陷。

2、根据本发明的一种基于深度学习的光学相机通信系统，其包括：

3、ui用户界面层，用于与用户进行人机交互，提供传输数据的选择功能和反馈系统信息功能；

4、逻辑传输层，用于在底层对传输数据进行处理，包括对数据的转码、压缩、加密；

5、传输协议层，用于为传输过程提供控制传输的协议，操作整个传输流程；

6、物理链路层，用于传输中的硬件支撑，使用显示器、摄像头传出数据和传入数据。

7、作为优选，物理链路层包括：

8、八色码构建模块，用于根据传入的信息，生成八色码并且传入到ui用户界面层；

9、八色码识别模块，包括位置定位模块和数字识别模块，位置定位模块通过边缘识别获取正确的定位图形的信息，从而获取八色码的图像信息；数字识别模块先通过对颜色进行解析，然后通过对应的解码器将颜色信息转化为数字信息传出。

10、作为优选，八色码构建模块采用opencv技术对八色图像进行构建，八色码识别模块采用改进的yolo目标检测对八色图像进行识别。

11、作为优选，改进的yolo目标检测中，通过改进yolov5s获得的yolov5-skc进行检测，改进如下：首先，轻量化网络的特征提取，以缩小模型大小并减少计算开销；其次，引入carafe轻量级上采样算子以提高模型性能；同时，采用k均值聚类算法对数据集进行迭代分析。

12、作为优选，轻量化网络的特征提取时，在原图1/4，1/8，1/16大小的特征图上进行特征提取，使模型更多关注浅层特征。

13、作为优选，carafe上采样的算法具体流程如下：

14、步骤1、对尺寸为c×h×w的输入特征图进行通道压缩处理，得到尺寸为cm×h×w的结果，cm为通道压缩后的通道数；

15、步骤2、利用大小为ken×ken的卷积核对上述压缩特征图进行内容编码得到尺寸为σ2×ku2p×h×w的特征图，然后在通道维上展开，此时尺寸变为ku2p×σh×σw；

16、步骤3、利用softmax函数进行归一化处理，使得上采样核的权重之和为1；

17、步骤4、将输入特征图与预测的上采样核进行卷积运算得到最终的上采样结果。

18、作为优选，传输协议层包括：

19、传输信号显示模块，用于按照传输过程中所涉及到的不同信号进行显示，传输信号包括传输开始信号、下一帧继续传输信号和传输结束信号；传输开始信号设定为白色，此信号由接收端发送，代表传输过程的开始；下一帧继续传输信号设定为绿色，此信号由接收端发送，代表上一帧图像的信息已经接收，发送端可以继续下一帧图像的发送；传输结束信号设定为黑色，此信号由发送端发送，代表此次传输已经完成；

20、传输过程控制模块，用于控制传输过程，接收端显示白色信号控制传输的开始；在开始传输之前，发送端和接收端会对初始化图像进行识别和校正；发送端完成初始化识别和校正之后，会等待接收端发出传输开始信号；当接收端完成初始化识别后，接收端会显示白色的传输开始信号；发送端识别初始化图像之后，开始第一帧图像的传输；接收端显示绿色信号控制图像传输的进度；当传输开始后，发送端在接收到发送下一帧图像的信号之前，会一直显示当前帧图像；接收端成功接收图像后，会显示绿色的下一帧继续传输信号；发送端只有在接收到信号后，才能够进行下一帧数据的传输；发送端显示黑色信号表示传输过程的结束；在整个传输完成后，发送方会显示全为黑色的传输结束信号；接收方接收到信号后，会将数据写入数据库，并退出程序或准备下一次数据传输；

21、通信协议，使用socket自定义数据帧来传输，socket自定义数据帧包括包头、校验码、消息体长度和消息体，包头使用一个int定义，它用于区分每一个有效的数据包；校验码使用一个int定义，它是为了保证该段数据是否是指定主机发出的；消息体长度使用一个int定义，它是为了保证对方可以完整地接收数据；消息体使用一个int定义，它是为了区别不同的控制信号，其中111表示为白色信号，222表示为绿色信号，333表示为黑色信号；接收端显示白色图像，socket发送代表白色信号的消息，发送端接收到消息，取出消息体确认为111，发送端执行动作开始显示第一帧的图像；接收端显示绿色图像，socket发送代表绿色信号的消息，发送端接收到消息，取出消息体确认为222，发送端继续显示下一帧图像；发送端显示黑色图像，socket发送代表黑色信号的消息，接收端接收到消息，取出消息体确认为333，传输结束。

22、作为优选，逻辑传输层包括数据处理模块和数据库读写操作模块；数据处理模块包括数据转码功能、ldpc编/解码功能、数据压缩功能和数据加密功能；数据库读写操作模块包括数据库写入导出功能和云数据库同步功能。

23、作为优选，ui用户界面层包括用户登录和数据库连接、数据展示和选择以及数据显示和传输三个功能，用户登录和数据库连接功能读取目标数据库的数据，为数据展示和选择提供数据基础；数据展示和选择功能可以选择当前连接数据库的全部数据供使用者按条选择；数据显示和传输功能显示需要发送的图像数据和显示接受到的图像数据。

24、本发明提供了一种基于深度学习的光学相机通信方法，其采用上述的一种基于深度学习的光学相机通信系统。

25、针对光学相机通信技术的实现，本发明提出了一种适用于近距离传输情景的可见光通信系统及方法，本发明采用lcd显示器作为信源发射机，通过多张八色码携带传输信息，接收端以计算机搭载光学相机作为接收机，利用颜色解析模块实现信息的接收。颜色解析模块使用改进的yolov5深度学习进行颜色识别。对于整个传输过程，本发明设计了从发送方数据库到接收方数据库的完整传输系统。实验表明本发明提出的方案可以通过八色码进行稳定传输并写入接收端的目标数据库。