語言
AI 實驗室 · 理論概念
用 λ 懲罰過大權重,在過擬合與欠擬合之間找平衡。
正則化(這裡用 L2):訓練時順便「懲罰過大的權重」,逼模型不要為了擬合雜訊而扭成奇怪形狀。 拖動 λ——太小會過擬合,太大則擬合不足。
訓練 MSE
0.0001
測試 MSE
0.0135
權重大小 ‖w‖
18512.42
目標 ≈ 最小化(損失 + λ · 權重²)
λ≈0:曲線拼命穿過訓練點,權重很大——容易過擬合。