Login
From:
kexue.fm
(Uncensored)
subscribe
Adam的epsilon如何影响学习率的Scaling Law？ - 科学空间|Scientific Spaces
https://kexue.fm/archives/10563
links
backlinks
Roast topics
Find topics
Find it!
上一篇文章《当Batch Size增大时，学习率该如何随之变化？》我们从多个角度讨论了学习率与Batch Size之间的缩放规律，其中对于Adam优化器我们采用了SignSGD近似，这是分析Ad...
