高速访问ORC外部表的方法和系统与流程

本发明涉及orc文件访问，尤其涉及一种高速访问orc外部表的方法和系统。

背景技术：

1、在opengauss上实现一种orc外部表，通过orc外部表可以在opengauss上直接访问orc数据，避免在关系数据库和大数据平台各保存一份数据带来的存储开销，有效提高查询效率。在opengauss上实现orc外部表，通常是复用cstore存储引擎和列存表的机制，创建一个orc外部表，将orc元数据转换为orc外部表元数据，将orc格式数据转换为cu格式数据，然后利用列存表现有的解析器、规划器、执行器来实现orc外部表的sql查询功能。

2、目前opengauss上列存表的扫描方式，无论是顺序扫描还是索引扫描都与cstore存储引擎中cu的存储格式相关。以列为单位来扫描cu文件，可以充分利用cstore以列来存储组织cu格式数据的优势，但是orc文件是以stripe为单位来组织数据的，如果使用该方式来扫描orc文件的数据，会在扫描同一个stripe的每列数据时都引发对同一个stripe数据的读取，且不利于orc数据的缓存。

3、因此，如何提供一种更加高效的opengauss数据库外部列存表的访问方法，成为亟待解决的技术问题。

技术实现思路

1、有鉴于此，为了克服现有技术的不足，本发明旨在提供一种高速访问orc外部表的方法和系统。

2、根据本发明的第一方面，提供一种高速访问orc外部表的方法，包括：

3、获取待扫描的orc文件，构建所述orc文件的预读列表，将所述待扫描的orc文件和构建的预读列表并传递至存储层；

4、采用存储引擎根据构建的预读列表对所述待扫描的orc文件进行预读处理；

5、对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，对预读处理的速度进行动态控制。

6、优选的，本发明高速访问orc外部表的方法中，获取待扫描的orc文件，构建所述orc文件的预读列表，包括：

7、获取待扫描的orc文件的数据块的定位信息，根据获取的待扫描的orc文件的数据块的定位信息构建预读列表。

8、优选的，本发明高速访问orc外部表的方法中，获取待扫描的orc文件的数据块的定位信息，根据获取的待扫描的orc文件的数据块的定位信息构建预读列表，包括：获取待扫描的orc文件的文件路径以及stripe序号，根据获取的orc文件路径和stripe序号，定位orc文件中的数据块，生成相应的定位信息，根据所述生成的定位信息构建预读列表。

9、优选的，本发明高速访问orc外部表的方法中，采用存储引擎根据构建的预读列表对所述待扫描的orc文件进行预读处理，包括：采用存储引擎启动预读线程，预读线程根据预读列表对所述待扫描的orc文件进行读取和转换，将转换后的数据缓存至存储层的cache中。

10、优选的，本发明高速访问orc外部表的方法中，采用存储引擎启动预读线程，预读线程根据预读列表对所述待扫描的orc文件进行读取和转换，将转换后的文件缓存至存储层的cache中，包括：预读线程根据预读列表对所述待扫描的orc文件进行异步且并行的读取，将读取的orc数据块转换为cu数据，并将转换后的cu数据缓存至存储层的cache中。

11、优选的，本发明高速访问orc外部表的方法中，对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，对预读处理的速度进行动态控制，包括：采用扫描器对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，当存储层的cache缓存空间小于缓存阈值，暂停对orc文件的预读处理，删除存储层cache中已扫描orc文件对应的缓存，直至存储层的cache缓存空间大于等于缓存阈值，恢复对orc文件的预读处理。

12、优选的，本发明高速访问orc外部表的方法中，对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，对预读处理的速度进行动态控制，还包括：

13、在采用扫描器对经过预读处理的orc文件进行扫描过程中，实时获取存储层中cache缓存空间的空闲值和扫描器下发的预读任务所需要的缓存空间值；

14、当扫描器下发的预读任务所需要的缓存空间值大于存储层cache缓存空间的空闲值时，减小对orc文件预读处理的速度，增加删除存储层cache中已扫描orc文件对应缓存的速度；

15、当扫描器下发的预读任务所需要的缓存空间值小于等于存储层cache缓存空间的空闲值时，增加对orc文件预读处理的速度，减小删除存储层cache中已扫描orc文件对应缓存的速度。

16、优选的，本发明高速访问orc外部表的方法中，对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，对预读处理的速度进行动态控制，还包括：采用扫描器逐行对经过预读处理的orc文件的数据块进行扫描进行顺序扫描，每扫描一行数据，在存储层删除cache中已扫描orc文件对应缓存后，下发新的orc文件的预读任务。

17、优选的，本发明高速访问orc外部表的方法中，对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，对预读处理的速度进行动态控制，还包括：采用扫描器根据索引元组进行回表扫描，每扫描完一组索引元组对应的orc文件的数据块后，在存储层删除cache中已扫描orc文件对应缓存后，下发新的orc文件的预读任务。

18、根据本发明的第二方面，提供一种高速访问orc外部表的系统，包括高速访问orc外部表的服务端，所述服务端用于获取待扫描的orc文件，构建所述orc文件的预读列表，将所述待扫描的orc文件和构建的预读列表并传递至存储层；采用存储引擎根据构建的预读列表对所述待扫描的orc文件进行预读处理；对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，对预读处理的速度进行动态控制。

19、根据本发明的第三方面，提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面所述的方法。

20、本发明的高速访问orc外部表的方法和系统，通过预读处理并以stripe为单位对数据进行扫描，充分利用orc文件以stripe为单位存储数据的特性，以及存储设备在高并发顺序读取大数据量时的高io性能优势，提升orc外部表的查询性能；由于orc文件中的数据读取到内存后都转换为cu数据，可以复用顺序扫描、索引扫描等扫描方式，在不增加开发工作量的基础上提高查询效率。

技术特征：

1.一种高速访问orc外部表的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的高速访问orc外部表的方法，其特征在于，获取待扫描的orc文件，构建所述orc文件的预读列表，包括：获取待扫描的orc文件的数据块的定位信息，根据获取的待扫描的orc文件的数据块的定位信息构建预读列表。

3.根据权利要求2所述的高速访问orc外部表的方法，其特征在于，获取待扫描的orc文件的数据块的定位信息，根据获取的待扫描的orc文件的数据块的定位信息构建预读列表，包括：获取待扫描的orc文件的文件路径以及stripe序号，根据获取的orc文件路径和stripe序号，定位orc文件中的数据块，生成相应的定位信息，根据所述生成的定位信息构建预读列表。

4.根据权利要求1所述的高速访问orc外部表的方法，其特征在于，采用存储引擎根据构建的预读列表对所述待扫描的orc文件进行预读处理，包括：采用存储引擎启动预读线程，预读线程根据预读列表对所述待扫描的orc文件进行读取和转换，将转换后的数据缓存至存储层的cache中。

5.根据权利要求2所述的高速访问orc外部表的方法，其特征在于，采用存储引擎启动预读线程，预读线程根据预读列表对所述待扫描的orc文件进行读取和转换，将转换后的文件缓存至存储层的cache中，包括：预读线程根据预读列表对所述待扫描的orc文件进行异步且并行的读取，将读取的orc数据块转换为cu数据，并将转换后的cu数据缓存至存储层的cache中。

6.根据权利要求1所述的高速访问orc外部表的方法，其特征在于，对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，对预读处理的速度进行动态控制，包括：采用扫描器对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，当存储层的cache缓存空间小于缓存阈值，暂停对orc文件的预读处理，删除存储层cache中已扫描orc文件对应的缓存，直至存储层的cache缓存空间大于等于缓存阈值，恢复对orc文件的预读处理。

7.根据权利要求1所述的高速访问orc外部表的方法，其特征在于，对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，对预读处理的速度进行动态控制，还包括：

8.根据权利要求1所述的高速访问orc外部表的方法，其特征在于，对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，对预读处理的速度进行动态控制，还包括：采用扫描器逐行对经过预读处理的orc文件的数据块进行扫描进行顺序扫描，每扫描一行数据，在存储层删除cache中已扫描orc文件对应缓存后，下发新的orc文件的预读任务。

9.根据权利要求1所述的高速访问orc外部表的方法，其特征在于，对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，对预读处理的速度进行动态控制，还包括：采用扫描器根据索引元组进行回表扫描，每扫描完一组索引元组对应的orc文件的数据块后，在存储层删除cache中已扫描orc文件对应缓存后，下发新的orc文件的预读任务。

10.一种高速访问orc外部表的系统，其特征在于，所述系统包括高速访问orc外部表的服务端，所述服务端用于获取待扫描的orc文件，构建所述orc文件的预读列表，将所述待扫描的orc文件和构建的预读列表并传递至存储层；采用存储引擎根据构建的预读列表对所述待扫描的orc文件进行预读处理；对经过预读处理的orc文件进行扫描，在对经过预读处理的orc文件进行扫描过程中，对预读处理的速度进行动态控制。

技术总结
本发明涉及ORC文件访问技术领域，提供一种高速访问ORC外部表的方法和系统，本发明的方法包括：获取待扫描的ORC文件，构建所述ORC文件的预读列表，将所述待扫描的ORC文件和构建的预读列表并传递至存储层；采用存储引擎根据构建的预读列表对所述待扫描的ORC文件进行预读处理；对经过预读处理的ORC文件进行扫描，在对经过预读处理的ORC文件进行扫描过程中，对预读处理的速度进行动态控制。本发明的高速访问ORC外部表的方法和系统，可以提升ORC外部表的查询性能，在不增加开发工作量的基础上提高查询效率。

技术研发人员：那海涛,何小栋
受保护的技术使用者：北京海量数据技术股份有限公司
技术研发日：
技术公布日：2024/1/15