solution

Cho một xích Markov rời rạc, hữu hạn trạng thái, có $k$ trạng thái ($k \le 6$) và ma trận chuyển $P$ (mỗi hàng tổng bằng 1). Dữ liệu đảm bảo xích này có duy nhất một phân phối dừng $\pi = (\pi_1, \ldots, \pi_k)$ thỏa mãn hệ phương trình: $\pi P = \pi, \qquad \sum_{i=1}^{k} \pi_i = 1, \qquad \pi_i \ge 0$

Hãy giải hệ phương trình tuyến tính trên (bằng khử Gauss, thay một phương trình bởi điều kiện chuẩn hoá tổng bằng 1) để tìm $\pi$.

Ví dụ: $k=2$, $P=\begin{pmatrix}0.5&0.5\\0.3&0.7\end{pmatrix}$: giải $\pi_1 = 0.5\pi_1+0.3\pi_2$, $\pi_1+\pi_2=1$ được $\pi=(0.375,\ 0.625)$.