solution

Hồi quy Ridge (hồi quy sườn núi, chính quy hóa L2) với hai biến độc lập $x_1, x_2$ tìm $b_0, b_1, b_2$ cực tiểu hóa hàm mất mát:

$L(b_0,b_1,b_2) = \sum_{i=1}^n (y_i - b_0 - b_1 x_{1i} - b_2 x_{2i})^2 + \lambda (b_1^2 + b_2^2)$

với $\lambda \ge 0$ là hệ số chính quy hóa cho trước (hệ số chặn $b_0$ không bị phạt).

Cách giải: đặt $\bar x_1, \bar x_2, \bar y$ là các trung bình cộng, và trung tâm hóa dữ liệu $\tilde x_{1i}=x_{1i}-\bar x_1,\ \tilde x_{2i}=x_{2i}-\bar x_2,\ \tilde y_i=y_i-\bar y$. Khi đó $(b_1,b_2)$ là nghiệm của hệ:

$\begin{pmatrix} \sum \tilde x_1^2 + \lambda & \sum \tilde x_1 \tilde x_2 \\ \sum \tilde x_1 \tilde x_2 & \sum \tilde x_2^2 + \lambda \end{pmatrix} \begin{pmatrix} b_1 \\ b_2 \end{pmatrix} = \begin{pmatrix} \sum \tilde x_1 \tilde y \\ \sum \tilde x_2 \tilde y \end{pmatrix}$

và $b_0 = \bar y - b_1 \bar x_1 - b_2 \bar x_2$.

Ví dụ: với $\lambda=0$ và 4 điểm $(1,1,2),(2,1,4),(1,2,1),(3,2,5)$ (khớp đúng $y=1+2x_1-x_2$), kết quả là $b_0=1, b_1=2, b_2=-1$ (không chính quy hóa thì trùng với hồi quy bội thường). Khi $\lambda$ lớn, các hệ số $b_1, b_2$ bị co lại gần 0.