Login
From:
spaces.ac.cn
(Uncensored)
subscribe
Muon优化器赏析：从向量到矩阵的本质跨越 - 科学空间|Scientific Spaces
https://spaces.ac.cn/archives/10592
links
backlinks
Roast topics
Find topics
Find it!
随着LLM时代的到来，学术界对于优化器的研究热情似乎有所减退。这主要是因为目前主流的AdamW已经能够满足大多数需求，而如果对优化器“大动干戈”，那么需要巨大的验证成本。因此，当前优化器的变化，...
