solution

Cho ma trận thiết kế $X$ kích thước $n \times k$ (dữ liệu đã được căn giữa, không chứa cột hệ số chặn) và vector quan sát $y$ kích thước $n$. Hồi quy Ridge (hồi quy có điều chuẩn L2) tìm vector hệ số $\beta$ tối thiểu hóa hàm mục tiêu:

$\sum_{i=1}^n \big(y_i - x_i^T\beta\big)^2 + \lambda \sum_{j=1}^k \beta_j^2, \qquad \lambda \ge 0$

Nghiệm dạng đóng của bài toán này là:

$\beta = (X^T X + \lambda I)^{-1} X^T y$

trong đó $I$ là ma trận đơn vị $k \times k$. Đề bài đảm bảo $X^T X + \lambda I$ luôn khả nghịch. Cho $n$, $k$, $\lambda$, ma trận $X$ và vector $y$, hãy tính $\beta_1,\dots,\beta_k$.

Ví dụ: $n=3,k=1,\lambda=0$ (tương đương OLS), $X=(1,2,3)^T$, $y=(2.1,3.9,6.2)$. Giải phương trình chuẩn $\beta = \dfrac{\sum x_iy_i}{\sum x_i^2} = \dfrac{2.1+7.8+18.6}{1+4+9}=\dfrac{28.5}{14}\approx 2.0357$. In ra: 2.0357.