陈浩男， 高雪莲
(华北电力大学 电气与电子工程学院，北京 102206)
变压器作为电网的核心部件之一，结构复杂、设备昂贵且维修成本高，一旦发生故障，对整个电力系统的运作会造成巨大影响，甚至可能演变成大规模停电事件[1].分析变压器油中溶解气体，依旧是变压器故障诊断的主要方法，而对变压器油中溶解气体含量的预测，是对油中溶解气体进行分析的主要手段[2].随着在线监测技术的发展，各种变压器实时监测系统更加成熟更加完善，所获得的实时监测数据为精确预测变压器油中溶解气体含量提供了数据支撑，从而提高了准确判断变压器故障的可能性.
在实时数据预测领域广泛应用的算法有2类，分别是一般智能算法和基于集成学习的智能算法.前者包括支持向量机(support vector machine，SVM)[3-5]、长短期记忆神经网络(long-short term memory neural network，lSTM)[6-7]、自回归差分移动平均模型(autoregressive integrated moving average model，ARIMA)[8-10]等算法，其缺点是优化过程复杂、收敛速度慢，并且对原始时间序列的平稳性要求较高，预测误差也较大；
后者包括随机森林(random forest)、LightGBM(light gradient boosting machine)[11-13]等算法，其缺点是生成决策树时没有方向性或者容易出现收敛过拟合的问题，从而造成预测误差较大.XGBoost(extreme gradient boosting)也是基于集成学习思想的算法，基学习器是决策树中的CART树(classification and regression tree)，XGBoost将决策树与梯度提升相结合，通过集成大量弱而互补的基学习器，利用权值实现有目标的迭代，可以高效准确地解决实时数据预测问题[14-16].另外，在数据预测中，超参数的取值常被忽略，通常采用默认值或者依据个人经验设置，这样既降低了算法的科学性，也降低了模型的性能.综上所述，目前针对变压器油中溶解气体含量的预测问题，一方面缺乏XGBoost算法的应用研究，另一方面缺乏对XGBoost超参数选择与设置的研究.
本文中，笔者首先将XGBoost算法应用于变压器油中溶解气体的预测，并将该算法与若干常用智能算法进行比较.然后采用网格搜索法(GridSearchCV)对XGBoost的超参数进行筛选和寻优.通过案例分析证明，XGBoost算法应用于油中溶解气体含量预测时，其精度优于其他算法.在此基础上利用网格搜索法对XGBoost超参数进行优化，结果表明，超参数优化能显著提升XGBoost算法对油中溶解气体含量的预测精度.
1.1 XGBoost算法
XGBoost算法[17]的核心原理就是每一次迭代都是在训练上一棵决策树的错误结果，以不断减小残差，并在残差减少的方向上建立一个新的决策树.
(1)
(2)
XGBoost在梯度下降的过程中，可以不选定损失函数，依靠输入数据进行叶子分裂优化计算.
(3)和(4)定义的Gj和Hj分别表示叶子结点j所包含样本的一阶偏导、二阶偏导累加之和.假设决策树结构已经固定，则可解出wj，如(5)所示，再对目标函数进行泰勒二阶展开，得到目标函数的最优目标值，如(6)所示.
(3)
(4)
(5)
(6)
1.2 网格搜索法
网格搜索法可以分成搜索和交叉验证2部分[19].在网格搜索中，遍历多种参数组合，所以网格搜索又可以称为穷举搜索.交叉验证又称为循环估计，是统计学中将数据样本切割成较小子集的方法.K折交叉验证是交叉验证的常用形式，完整的数据集被随机地切割为k个数据个数相同的子集，每次选择k-1个作为训练集、1个作为测试集.验证重复k次，将准确率的平均值作为最终的模型评价指标.
1.3 改进的XGBoost算法
XGBoost模型中存在着大量的超参数，其中一部分来自于XGBoost算法本身，另一部分则来自于决策树，这些超参数会对算法整体精度和预测效果产生直接的影响，优秀的超参数组合能够进一步地提升XGBoost模型的性能.
通过网格搜索，先对XGBoost回归模型中所有超参数进行筛选，结果表明，对于变压器油中溶解气体含量的预测，部分超参数对最后的预测效果无影响或者只会影响模型的计算速度，而对预测的准确性产生显著影响的超参数如下：
1)n_estimators(决策树数量)，默认值为100，代表基学习器的个数，也决定基学习器的最大迭代次数，该值过小会导致仿真结果欠拟合，该值过大会导致模型计算时间太长甚至过拟合；
2)max_depth(决策树最大深度)，默认值为6，根据实时预测数据的数量需要合理调整，是控制过度拟合的重要参数；
3)eta(学习率)，默认值为0.3，该参数决定每一次学习过程的权重缩减量，该值过小会扩大学习搜索空间；
4)min_child_weight(叶子节点最小样本的权重和),默认值为1，该值越大算法越保守；
5)colsample_bytree(每棵树的特征抽样比例)，默认值为1，该参数和算法过拟合关系密切.
筛选出如上的5个重要超参数后，采用网格搜索法对其寻优.表1给出了5个超参数的寻优范围及步长，并使用均方根误差root mean squared error(RMSE)、平均绝对百分比误差mean absolute percentage error(MAPE)作为评估算法预测精度的指标.
表1 超参数寻优范围
(7)
(8)
基于XGBoost和网格搜索的变压器油中溶解气体含量预测流程如图1所示.
图1 带网格搜索的XGBoost算法流程
2.1 研究过程
利用内蒙古自治区呼伦贝尔市根河市110 kV变压器在2016年1月28日～2016年5月29日，共124 d的变压器油中溶解气体数据进行仿真实验.在对比原始XGBoost与其他算法的预测效果时，以总烃含量作为研究示例；
在对比原始XGBoost和超参数优化后的XGBoost的预测效果时，以一氧化碳、甲烷、乙烷、乙烯、乙炔的含量作为研究示例.将前94 d数据(2016年1月28日～2016年4月29日)作为训练集，后30 d数据(2016年4月30日～2016年5月29日)作为测试集,所有气体数据在经过均值插值法对缺失值进行填充后，使用Python软件开展后续的研究工作.
2.2 XGBoost与其他算法的预测比较
为了验证XGBoost在油中溶解气体含量预测问题上的适用性，以总烃气体含量为实验对象，将XGBoost与随机森林、LightGBM、LSTM、自回归模型和支持向量机算法做对比，得到的总烃预测曲线如图2所示，误差评估结果见表2.
图2 不同方法对总烃的预测结果
表2 不同方法的预测效果
结果表明，基于集成学习思想的XGBoost、随机森林与LightGBM方法的预测效果优于其他方法，且XGBoost最为精确，XGBoost的均方根误差为0.036 1，平均绝对百分比误差为0.231 %.验证了XGBoost应用于油中溶解气体含量预测的可行性和优越性.
2.3 参数的优化
使用网格搜索法对XGBoost进行超参数寻优，根据表1确定的参数范围，对不同气体进行预测，最佳超参数组合结果如表3所示.
表3 超参数寻优结果
2.4 超参数优化后的XGBoost预测
XGBoost模型采用表3的超参数组合，分别对一氧化碳、乙烯、甲烷、乙烷和乙炔气体的含量进行预测，得到的预测结果如图3～7所示(其中各曲线的标注同图3)，预测效果见表4.结果表明，通过网格搜索法优化超参数后，XGBoost对油中溶解气体含量的预测效果得到提升，曲线拟合程度明显提高，误差得到有效减小.以乙炔为例，RMSE从优化前的0.020降低到优化后的0.007，MAPE从优化前的0.433 %降低到优化后的0.160 %.
图3 XGBoost对一氧化碳含量的预测
图4 XGBoost对乙烯含量的预测
图5 XGBoost对甲烷含量的预测
图6 XGBoost对乙烷含量的预测
图7 XGBoost对乙炔含量的预测
表4 XGBoost预测效果
将XGBoost算法应用于变压器油中溶解气体含量的预测，并且采用网格搜索法对其进行超参数筛选和优化.结合内蒙古根河市110 kV变压器的实测数据进行仿真验证，利用均方根误差RMSE和平均绝对百分比误差MAPE对结果进行评估，一方面通过与随机森林、LightGBM、LSTM、自回归模型和支持向量机进行比较，验证了XGBoost算法对变压器油中溶解气体含量预测问题的适用性、可行性和精确性；
另一方面，通过对一氧化碳、乙烯、甲烷、乙烷和乙炔5种气体的含量预测证明，经过网格搜索优化后的XGBoost算法的精度显著高于优化前.