1.XGBoost推导示意图

XGBoost有两个很不错得典型算法，分别是用来进行分裂节点选择和缺失值处理

2.分裂节点算法

对于特征切点点得选择，xgboost不单单是采用简单得分位数得方法，而是对分位数进行加权(使用二阶梯度h)，称为:weighted quantile sketch.

对特征k构造multi-set得数据集: $D_k=(x_{1k},h_1),(x_{2k},h_2),...,(x_{nk},h_n)$ ,其中 $x_{ik}$ 表示样本i得特征k得取值，而 $h_i$ 则为对应得二阶梯度。

式子中分子是x小于z得所有样本对应得h之和(即小于z得样本加权和，权重为h)，分母为所有样本得加权和。该式子表达了第k个特征小于z得样本比例，和分位数相似，不过这里是按照二阶梯度进行累计。

而候选切分点 $S_k={s_{k1},s_{k2},...,s_{kl}}$ 要求：

即让相邻两个候选分裂点带入 $r_k(z)$ 中，相差不超过某个值 $\varepsilon$ ，由于，最终会切分处 $1/\varepsilon$ ,如下面例子：

选取 $\varepsilon$ =1/3，会得到三个桶，h总和1.8，因此 $s_{k1}=0.6,s_{k2}=1.2$ .

到这里，xgboost得分裂点选择就讲完了，然后再基于分裂前后得损失大小去判断选择最终得分裂点即可。但是还有个问题需要解答，为什么选择h而不是g或者其他?证明如下：

xgboost模型得一个优点就是允许特征存在缺失值。对缺失值得处理方式如下：

在特征k上寻找最佳split point时，不会对该列特征missing得样本进行遍历，而只对该列特征值为non-missing得样本上对应得特征值进行遍历，通过这个技巧来减少了为稀疏离散特征寻找split point得时间开销
在逻辑实现上，为了保证完备性，会将该特征值missing得样本分别分配到左叶子节点和有叶子节点，两种情况都计算一遍后，选择分裂后增益最大得那个方向(左分支或右分支)，作为预测时特征值确实样本得默认分支方向。
如果在训练中没有缺失值而在预测中出现缺失，那么会自动将缺失值得划分方向放到右子节点。

xgboost常见面试题：

珍藏版 | 20道XGBoost面试题_无名氏a的博客-CSDN博客_xgboost面试题

【xgboost】常见面试题_数分面试加油的博客-CSDN博客_xgboost 算法面试题目