Roast topics
Find topics
Roast it!
Roast topics
Find topics
Find it!
Login
From:
spaces.ac.cn
(Uncensored)
subscribe
Adam的epsilon如何影响学习率的Scaling Law？ - 科学空间|Scientific Spaces
https://spaces.ac.cn/archives/10563
links
backlinks
上一篇文章《当Batch Size增大时，学习率该如何随之变化？》我们从多个角度讨论了学习率与Batch Size之间的缩放规律，其中对于Adam优化器我们采用了SignSGD近似，这是分析Ad...
