一种基于野生保护动物监测图像数据存储实现方法与流程

本发明属于野生保护动物监测图像数据存储及野生动物保护活动节律统计分析领域，特别涉及该领域中的一种野生保护动物监测图像数据存储实现方法。

背景技术：

1、我国是世界上野生动物资源最为丰富的国家之一，建立健全我国野生动物资源监测体系，对野生动物多样性进行监测，是野生动物研究、保护、管理和资源可持续利用的核心环节，对我国野生动物保护具有重要意义。

2、目前，红外相机技术正发展成为陆生脊椎动物（兽类和鸟类）多样性监测与研究的常规技术，通过红外相机可以获取大量的野生动物图像数据。而基于野生保护动物监测图像数据的存储实现方法，则是对野生动物图像数据进行快速分析和充分利用的重要技术手段。

技术实现思路

1、本发明所要解决的技术问题，就是提供一种适用于野生保护动物监测领域，基于野生保护动物红外监测图像数据的存储实现方法。

2、本发明采用如下技术方案：

3、一种基于野生保护动物监测图像数据存储实现方法，其改进之处在于：包括图像数据存储方法选取步骤、数据库优化设计步骤和优化聚合统计设计步骤；

4、所述图像数据存储方法选取步骤为：分析监测图像数据组成，其中图像文件数据为非结构化数据，从图像文件中提取的观测环境数据、野生保护动物基础数据和鉴定数据为结构化数据；根据数据类型确定数据存储方法，采用层次分类方法构建数据存储模型，将图像文件进行分类存储在文件服务器中；结构化数据存储根据用户需求确定存储数据元，构建存储数据模型，确定关系型数据库表；

5、所述数据库优化设计步骤为：针对数据元进行分析，确定数据类型、数据取值范围，明确表与表之间的关联关系，优化数据存储结构；依据用户数据分析需求，以保护区为单位，对动态检测数据进行分表分区设计，实现大数据存储；分析数据应用需求，根据数据记录检索需求，确定数据表中索引字段和索引属性；

6、所述优化聚合统计设计步骤为：依据数据统计分析需求构建统计数据库表，明确统计分析数据与原始数据的关系，通过创建触发器、自定义函数方法，在用户进行数据鉴定时，实现将统计分析数据提取至统计数据库表中。

7、进一步的，所述图像数据存储方法选取步骤包括数据构成分析步骤、结构化数据存储步骤和非结构化数据存储步骤；

8、所述数据构成分析步骤为：将数据按照结构化数据和非结构化数据进行分类，野生保护动物监测图像数据文件为非结构化数据；从图像文件数据中提取用户注释信息为结构化数据，根据用户鉴定需求所需鉴定数据为结构化数据；

9、所述结构化数据存储步骤为：首先分析结构化数据类型，根据数据稳定性将数据分为静态数据和动态数据，分析数据特点，确定数据元，构建数据库表；

10、所述非结构化数据存储步骤为：首先采用层次分析法，根据数据所属省份确定一级分类，根据数据所属保护区确定二级分类，根据采集设备所处网格编号确定三级分类，根据以上三级分类，建立相对存储路径，确定数据文件的组织管理方式；其次确定数据文件命名规则，数据文件命名采用上面所述三级分类结果和时间组合方式进行唯一标识；为实现用户远程访问需求，将数据文件存储在文件服务器中。

11、进一步的，在数据构成分析步骤中，依据用户需求和数据类型将数据进行分类，分为非结构化数据和结构化数据两种类型；非结构化数据包括图像数据和视频数据，其中图像数据为jpg文件格式，视频数据为mov文件格式；结构化数据包括文件属性数据、鉴定数据、动物名录数据、部署位置数据、省份编号数据、环境数据和鉴定静态数据，其中环境数据和文件属性数据是从图像文件提取的用户注释信息；文件属性数据包括文件名称、文件后缀、文件存储路径和创建时间数据；鉴定数据包括动物名称、所属科、所属目、年龄、行为、鉴定标识、开始照片标识和结束照片标识数据；动物名录数据是指《国家重点保护野生动物名录》中的数据，包括动物名称、所属科、所属目、保护级别；部署位置数据包括省份编号、保护区编号和网络编号数据；省份编号数据包括省份编号和省份名称数据；环境数据包括位置、湿度、小生境、人为干扰、月相和森林起源数据；鉴定静态数据包括年龄数据、性别和种群活动数据。

12、进一步的，在结构化数据存储步骤中，选用mysql关系型数据库用于结构化数据存储；根据数据分类创建静态数据库表和动态数据库表；静态数据库表包括动物名录数据、省份编号数据、小生境、人为干扰、月相、森林起源、年龄、性别和种群行为数据数据库表；动态数据库表包括文件数据、环境数据和鉴定数据数据库表；在非结构化数据存储步骤中，选用nginx服务器为文件服务器，配置文件服务器参数及文件存储路径；利用ahp层次分析法，文件存储路径为省份名称/保护区名称/网格编号/xxx.jpg或xxx.mov；图像文件命名方式为年月日时分秒+xxxximag.jpg或年月日时分秒+xxxximag.mov，其中jpg文件名称中的年月日时分秒从jpg图像文件exif信息中用户注释信息提取；mov文件名称中的年月日时分秒从前一张jpg图像文件exif信息中用户注释信息提取。

13、进一步的，所述数据库优化设计步骤包括优化数据存储结构步骤、分表分区设计步骤和构建数据索引设计步骤；

14、所述优化数据存储结构步骤为：首先分析数据类型，根据数据标准规范，将静态数据和动态数据分别存储；静态数据存储设计时，采用整型字段按照一定规则进行编码，动态数据数据表中字段直接引用编码数据；明确数据元字段大小、类型属性，采用数字、枚举、固定字符类型进行存储；

15、所述分表分区设计步骤为：根据用户按照保护区进行数据统计分析的需求，采用垂直切分、水平切分的数据库设计方法，将动态数据依据保护区进行分表设计，将不同保护区数据分别存放至不同表中，将环境数据、文件数据和鉴定数据进行垂直切分，分布至不同存储空间；

16、所述构建数据索引设计步骤为：分析数据库表中数据量，针对数据表，结合用户查询检索需求，选取字段建立索引字段，构建组合索引、普通索引，根据字段唯一性建立唯一索引。

17、进一步的，在优化数据存储结构步骤中，针对省份编号数据、小生境、人为干扰、月相、森林起源、年龄、性别、种群行为数据进行编码，编码字段采用整型类型；文件部署位置数据层次编码形式采用9位数字进行编码：xxxyyyzzz；其中xxx三位数字代表省份编号，yyy三位数字代表保护区编号，zzz三位数字代表网格编号；在文件属性数据表、环境数据表和鉴定数据动态数据表中，省份编号数据、小生境、人为干扰、月相、森林起源、年龄、性别、种群行为字段定义为整型类型，用于存储静态数据库表中对应字段的编号数据。

18、进一步的，在分表分区设计步骤中，对动态数据库表中数据进行水平切分，以保护区为单位进行分表存储，每个保护区建立一个数据库表；动态数据库表中数据进行垂直切分，将动态数据库表分解为部署位置数据库表、文件属性数据库表和鉴定数据库表；在构建数据索引设计步骤中，分析常用查询数据条件及数据库表中字段；在文件属性数据表中，文件名称字段建立唯一索引，避免数据导入时，数据库表中重复记录文件数据；文件部署位置数据表中建立省份名称、保护区编号和网格编号联合索引。

19、进一步的，所述优化聚合统计设计步骤包括构建统计数据库表步骤和统计数据库表数据更新方法步骤；

20、所述构建统计数据库表步骤为：根据统计分析数据类型及统计分析数据与原始数据的关系，从原始数据中提取有效数据，分析有效数据在统计分析中的作用，对数据进行分类，分别构建统计分析专用数据库表；

21、所述统计数据库表数据更新方法步骤为：统计数据库表中数据提取方法采用触发器方式，在数据添加和更新过程中自动实现有效数据提取；根据数据特点对统计数据进行分类，对于直接引用数据直接添加至统计数据库表中，需要由原始数据计算得出的数据项通过建立自定义函数方式进行有效数据提取，实现对统计数据库表中数据的添加和更新。

22、进一步的，在构建统计数据库表步骤中，明确统计分析算法类别包括累积曲线分析、多相分析、日生活节律分析、年生活节律分析四类；明确统计分析算法中计算参数包括有效照片数、有效工作日、物种类别、部署位置、时间、所属季节和所属时段；依据保护区，一个保护区建立一个统计分析表，其中字段包括编号、拍摄时间、动物名称、物种类别、所属季节和所属时段。

23、进一步的，在统计数据库表数据更新方法步骤中，明确统计分析表中数据更新方法为：当用户进行数据鉴定时，确定为首张照片图像文件的数据自动提取至统计数据库表中；为鉴定动态数据表建立触发器，当首张标识字段状态发生变化，标识为首张时，在统计数据库表中添加一条记录；当首张标识取消时，在统计数据库表中删除相关条记录；根据统计数据库表中数据与原始表中数据字段的关系，添加自定义函数，原始数据字段为函数输入字段，统计数据库表中数据字段为函数输出字段的值；在触发器处理函数中，通过调用自定义函数，实现对统计数据库表中数据记录的自动添加和更新。

24、本发明的有益效果是：

25、本发明所公开的方法，通过监测图像数据组成分析，构建数据存储模型，明确不同类型数据的存储方法，采用结构化数据库和文件服务器两种方式实现监测数据存储，为用户查看数据提供了基础；通过数据库优化设计，采用数据库索引技术、分表分区技术实现数据优化设计，有效提升了数据检索性能、磁盘i/o性能及数据库并发访问处理能力。通过优化聚合统计设计，采用构建统计专用数据库表方法，利用触发器、自定义函数等方法实现对统计数据库表中数据项的添加和更新，有效提升了基于野生保护动物监测图像数据的统计分析计算效率。实现用户对野生保护动物监测图像数据的组织管理，满足用户对野生保护动物多样性的统计分析需求；为用户提供野生保护动物监测图像大数据的目录服务和清单服务提供技术支撑。