Roast topics
Find topics
Roast it!
Roast topics
Find topics
Find it!
Login
From:
kexue.fm
(Uncensored)
subscribe
流形上的最速下降：3. Muon + Stiefel - 科学空间|Scientific Spaces
https://kexue.fm/archives/11221
links
backlinks
上回说到，当我们把优化对象从向量参数转移到矩阵参数，并选用更适合矩阵的谱范数约束后，Muon优化器便自然而然地出现了。进一步地，我们考虑了给参数加上正交约束后的最速下降方向，这其中又分方阵和非方...
