信息增益率

信息增益率

信息增益率是决策树算法中的特征选择指标，用于衡量属性对分类结果的贡献程度，其计算公式为Gain-ratio=Gain（A）/I，其中Gain(A)表示属性A的信息增益，I为属性固有信息量或拆分信息 。该指标通过归一化处理修正信息增益对多值属性的偏向性，避免生成过拟合的决策树 。

信息增益的计算包含训练数据熵、基于属性拆分的期望信息两个核心步骤，其核心在于将信息增益除以特征的熵值或拆分信息，以平衡特征取值数量带来的影响 。在C4.5算法中，信息增益率取代ID3算法的信息增益作为节点分裂依据，通过选择信息增益率最高的属性拆分优化决策树结构 。

该指标由C4.5算法率先引入，作为ID3算法的重要改进方案，主要针对信息增益倾向于选择多值属性的缺陷进行优化 。在随机森林、梯度提升决策树等集成学习中，信息增益率与卡方检验、正则化等方法结合使用，提升特征选择的稳定性 。

想要了解更多“信息增益率”的信息，请点击：信息增益率百科