xgboost

基本概念

Given dataset

a tree ensemble model uses K additive functions to predict the output

where,

是CART的集合

优化目标

其中，

为正则项

when train the model in additive manner,minimize the objective

for

也即，

拟合的是

和

的差值

基于二阶泰勒展开

这是一条过

点的二次曲线，是

在

附近的近似
则可以针对

进行二次近似

进一步化解

其中