solution

Với tập dữ liệu $(x_i,y_i)$, $i=1,\dots,n$, hồi quy đa thức bậc $d$ có dạng $\hat y = \beta_0 + \beta_1 x + \dots + \beta_d x^d$, các hệ số $\beta$ được ước lượng bằng bình phương nhỏ nhất thông qua ma trận Vandermonde $V$ với $V_{i,p} = x_i^{p}$ ($p=0,\dots,d$), giải phương trình chuẩn $V^T V\,\beta = V^T y$. Gọi $SSE_d = \sum_{i=1}^n (y_i-\hat y_i)^2$ là tổng bình phương sai số của mô hình bậc $d$. Tiêu chuẩn thông tin Akaike (dạng giản lược) được định nghĩa:

$AIC(d) = n \ln\!\left(\frac{SSE_d}{n}\right) + 2(d+1)$

Cho $n$ điểm dữ liệu và $d_{max}$ (đề bài đảm bảo $n > d_{max}$ và ma trận $V^TV$ luôn khả nghịch với mọi $d=0,\dots,d_{max}$; nếu $SSE_d$ tính ra nhỏ hơn $10^{-12}$ do sai số dấu phẩy động thì coi $SSE_d=10^{-12}$ khi tính $AIC$), hãy tính $AIC(d)$ với $d=0,1,\dots,d_{max}$ và chọn bậc $d^*$ có $AIC$ nhỏ nhất (so sánh trên giá trị đã làm tròn 4 chữ số; nếu có nhiều bậc đồng $AIC$ nhỏ nhất, chọn $d$ nhỏ nhất).

Ví dụ: $n=4$, $d_{max}=1$, $x=(0,1,2,3)$, $y=(1.0,3.1,4.9,7.2)$. Hồi quy tuyến tính ($d=1$) khớp gần như hoàn hảo nên có $SSE$ nhỏ hơn hẳn $d=0$, do đó $AIC(1) < AIC(0)$ và $d^*=1$.