solution

Cho thuật toán Adam ở bước thời gian $t$ (tính từ 1). Trạng thái trước: moment bậc một $m \in \mathbb{R}^{n}$, moment bậc hai $u \in \mathbb{R}^{n}$, tham số $\theta \in \mathbb{R}^{n}$. Cho gradient $g$, các siêu tham số $\beta_1, \beta_2, \eta, \epsilon$.

Một bước cập nhật: $m' = \beta_1 m + (1-\beta_1) g,\qquad u' = \beta_2 u + (1-\beta_2) g^2$ $\hat{m} = \frac{m'}{1 - \beta_1^{t}},\qquad \hat{u} = \frac{u'}{1 - \beta_2^{t}}$ $\theta' = \theta - \eta\,\frac{\hat{m}}{\sqrt{\hat{u}} + \epsilon}$

(các phép toán theo từng phần tử). In ra tham số mới $\theta'$ gồm $n$ số trên một dòng, làm tròn 2 chữ số.