Login
From:
spaces.ac.cn
(Uncensored)
subscribe
从谱范数梯度到新式权重衰减的思考 - 科学空间|Scientific Spaces
https://spaces.ac.cn/archives/10648
links
backlinks
Roast topics
Find topics
Find it!
在文章《Muon优化器赏析：从向量到矩阵的本质跨越》中，我们介绍了一个名为“Muon”的新优化器，其中一个理解视角是作为谱范数正则下的最速梯度下降，这似乎揭示了矩阵参数的更本质的优化方向。众所周...
