1. 过拟合与欠拟合

$$\begin{array}{}{Loss}^{\left(train\right)}=\frac{1}{m^{\left(train\right)}}||X^{\left(train\right)}w-y^{\left(train\right)}|{|}_2^2& \text{(Eq.1)}\end{array}$$

$$\begin{array}{}{Loss}^{\left(test\right)}=\frac{1}{m^{\left(test\right)}}||X^{\left(test\right)}w-y^{\left(test\right)}|{|}_2^2& \text{(Eq.2)}\end{array}$$

1.1. 欠拟合 (Underfitting)

表示无法根据已有样本得到较好的拟合效果，$\hat{f}$ 与 $f$ 的值相差较大， 即 ${Loss}^{\left(train\right)}$在训练过程中，始终无法得到到足够低的误差。造成的原因通常是模型无法对样本数据进行很好地拟合。

1.2. 过拟合 (Overfitting)

过拟合则表示能够在，$\hat{f}^{(train)}$ 与 $f$ 的值能够得到较好的预期， 即 ${Loss}^{\left(test\right)}$在训练过程中，能够得到到足够低的误差，但是使用测试集进行测试时，性能指标不好，准确性相对训练结果降低过多。

1.3. 未知数据测试 (Unseen Sample Test)

如果即没有发生过拟合，也没有发生欠拟合，但是在使用新的数据训练时，正确率差的比较大，则认为模型的泛化(generalization)能力较弱。