solution

Cho phân phối đồng thời của hai biến ngẫu nhiên rời rạc $X$ (nhận $r$ giá trị) và $Y$ (nhận $c$ giá trị), cho bởi bảng số đếm nguyên không âm $n_{ij}$ ($i=1..r,\ j=1..c$), trong đó $P(X=x_i, Y=y_j) = n_{ij}/N$ với $N = \sum_{i,j} n_{ij} > 0$. Hãy tính entropy Shannon (đơn vị bit, logarit cơ số 2, quy ước $0\log_2 0 = 0$):

$H(X) = -\sum_i P(x_i)\log_2 P(x_i), \qquad H(Y) = -\sum_j P(y_j)\log_2 P(y_j)$ $H(X,Y) = -\sum_{i,j} P(x_i,y_j)\log_2 P(x_i,y_j)$ $I(X;Y) = H(X) + H(Y) - H(X,Y) \quad \text{(thông tin tương hỗ — mutual information)}$

Ví dụ: với bảng $2\times 2$ toàn số $1$ (tức $X,Y$ độc lập, mỗi ô xác suất $1/4$): $H(X)=H(Y)=1$, $H(X,Y)=2$, $I(X;Y)=0$ (đúng như lý thuyết: hai biến độc lập có thông tin tương hỗ bằng 0).