Roast topics
Find topics
Roast it!
Roast topics
Find topics
Find it!
Login
From:
科学空间|Scientific Spaces
(Uncensored)
subscribe
AdamW的Weight RMS的渐近估计
https://spaces.ac.cn/archives/11307
links
backlinks
在《为什么Adam的Update RMS是0.2？》中，我们用平均场近似估计了Adam的Update RMS。不久后，读者 @EIFY 指出相同的结果已经出现在论文《Rotational Equ...
