我们可以通过信息增益来判断节点上应该用什么特征
接下来我们将探讨如何构建一个多个节点的大型决策树
1 从根节点开始,包括所有的训练样本计算所有可能的信息增益,
然后选择信息增益最高的特征进行分裂,选择了该特征后,所选特征会将信息分成两个子集,创建数的左右分支,并根据样本的特征值,
将训练特征发送到左分支,或者右分支,这使得你可以在根节点进行一个分裂,
之后再左右分支重复分裂的过程,知道满足停止标准,
停止标准,一个节点纯度是100% 熵是0
或者达到数的最大深度
进一步分裂的信息上小于某一个阈值
节点中的样本数量小于某个阈值
完整详细流程
首先在根节点一次计算每个特征的信息增益,决定耳型是最佳的分裂特征
基于此创建了树的左右分支,并将具有尖耳或者软耳的子数据集发送到左右分支
然后我们覆盖右分支只看左分支,有五个样本假设我们的分裂标准是继续分裂,知道节点中的所有内容都是单一类别,即为全是猫或者狗,
我们会查看这个节点是否满足分裂标准,但是他不满足因为这里是猫狗的混合,
然后下一步继续选择一个特征进行分裂,因此我们依次查看每个特征,并计算这些特征的信息增益,就类似根节点那样当做一个新的根节点因此计算分裂胡须,还有脸型的信息增益,耳型的信息增益为0,因为耳型都一样是分裂之后的,所以我们在胡须和脸型中选然后我们基于信息增益选择了脸型,
然后看是否满足停止分裂的标准,这里全是猫因此创建一个叶子节点预测为猫