「概念解惑」Bias和Variance

Bias和Variance

在机器学习中,有两个基本概念Bias(偏差)和Variance(方差),对于初学者来说在理解上可能出现混淆。而这两个概念和我们训练模型时出现的过拟合、欠拟合现象相联系,所以也是一对比较重要的概念。

如何定义Bias?

Bias即偏差量表示的是在训练过程中,模型预测值和真实值的偏离程度。Bias刻画的是学习算法(训练时)对数据的拟合能力。

如何定义Variance?

Variance即方差量表示的是随着同样大小数据集的变动所导致的学习能力的扰动。Variance刻画的是学习算法(预测时)对数据的拟合能力

简单理解法

所以这就是说,
Bias越小、Variance越大表示过拟合;
Bias越大、Variance越小表示欠拟合。

解决方案

所以这又是一个和召回率、准确率比较类似的一对需要平衡优化的指标。
当然优化的方法,基本参见处理过拟合、欠拟合的方法。

发表评论

电子邮件地址不会被公开。