综述 | 数据库系统参数调优方法

计算机研究与发展 曹蓉, 鲍亮等
数据库系统具有大量的配置参数,参数配置不同会导致系统运行时很大的性能差异.参数优化技术通过选择合适的参数配置,能够提升数据库对当前场景的适应性,因此得到国内外研究人员的广泛关注.

摘要

数据库系统具有大量的配置参数,参数配置不同会导致系统运行时很大的性能差异.参数优化技术通过选择合适的参数配置,能够提升数据库对当前场景的适应性,因此得到国内外研究人员的广泛关注.

通过对现有的数据库参数调优方法进行总结分析,根据参数优化方法是否具有应对环境变化的能力,将现有工作分为固定环境下的数据库参数优化方法和变化环境下的数据库参数优化方法2类.对于固定环境下的参数优化方法,按照方法是否具有从历史任务中学习的能力将研究工作分为传统的参数优化方法和基于机器学习的参数优化方法2类并分别进行介绍.对于变化环境下的参数优化方法,按照不同的变化场景对现有工作进行分类介绍.最后,总结了现有工作中各类方法的优缺点,并对目前研究中待解决的问题和可能发展的方向进行了讨论.

内容简介

1.首先对背景知识和研究问题进行了介绍,并给出数据库参数优化问题所面临的挑战.

2.然后对现有参数优化方法进行分类介绍.将现有工作分为固定环境下的参数优化方法和变化环境下的参数优化方法2类.在固定环境下的数据库参数优化方面,将现有方法分为传统的参数优化方法和基于机器学习的参数优化方法2类.在变化环境下的数据库参数优化方面,将现有工作分为针对工作负载变化、针对软件版本变化、针对硬件变化和针对多种环境变化4个场景进行讨论.

3.最后,本文对研究现状进行总结,对比分析了各种方法的优势和不足,并给出了未来的研究方向与挑战.

亮点图文

如表1所示.表1中罗列了基于机器学习的数据库参数优化和性能预测方法,以及方法中所使用的机器学习技术、训练难度以及实现目标.其中,训练难度通过综合考量机器学习模型复杂度、技术难易度以及训练时长进行评价,星号越多表示训练难度较高.

与iTuned类似,OtterTune也提出了一种自动数据库参数优化策略,它的创新之处在于可以利用以前参数优化的经验,并结合新的样本来优化数据库参数.为了实现这一目标,OtterTune综合使用了有监督和无监督的机器学习方法.下图中显示了整个流程,包括3个阶段:1)工作负载特性描述(删除冗余度量指标);2)重要参数识别;3)自动调优.

如下图描述了强化学习中6个关键元素的交互关系,并展示了CDBTune中6个元素与数据库参数优化之间的对应关系.

利用其他环境中的知识(例如性能度量样本或性能预测模型)来辅助进行性能建模和优化任务,已成为近年来的研究热点.目前关于这一问题的研究工作相对较少,其中一些研究工作集中于应对3类环境变化中的某一种,也有一部分研究工作可应用于多种不同的环境变化场景中,如表2所示.本文对这些研究工作进行分类介绍.

除了将各类参数优化方法在应对数据库参数优化三大挑战时的能力进行对比之外,本文根据每种方法的优缺点及目前研究工作中展示的实验结果,对各种参数优化方法的精确性和通用性进行了对比分析,结果如表3所示.

研究方向与挑战

针对数据库参数优化问题,目前的研究成果还存在诸多不足,不能有效指导参数优化过程.归纳起来,主要的研究方向与挑战有3个方面:

1.基于机器学习的数据库参数优化.

2.基于迁移学习的数据库参数优化.

3.自治数据库.

(曹蓉,鲍亮,崔江涛,李辉,周恒.数据库系统参数调优方法综述[J].计算机研究与发展,2023,60(3):635-653.)

Cao Rong,Bao Liang,Cui Jiangtao,Li Hui,Zhou Heng.Survey of Approaches to Parameter Tuning for Database Systems[J].Journal of Computer Research and Development,2023,60(3):635-653.

请扫码关注数字化经济观察网
责编:高蝶
参与评论
文明上网,理性发言!请遵守新闻评论服务协议
0/200