문서
사용자 문서
ADAM Optimizer Second Order Moment의 고찰
2021/08/22 17:31
ADAM Optimizer 에서 Second Order Moment는 $a = \nabla f(w_y)$ 의 형태로 다음의 형태이다.
$$
\text{RMS} (\nabla f^2)
$$
그리고 이것은 Hessian의 형태로 생각하는 데 이는 Fisher Information Matrix의 정의에서 타당하다.
그렇다면.. 이것의 보다 정확한 의미는 무엇인가를 생각해야 한다.
$(I + a a^T), \quad a \in \mathbf{R}^n$ 의 경우 First Order Estimation 으로 생각할 수 있다.
...
