Login
From:
spaces.ac.cn
(Uncensored)
subscribe
QK-Clip：让Muon在Scaleup之路上更进一步 - 科学空间|Scientific Spaces
https://spaces.ac.cn/archives/11126
links
backlinks
Roast topics
Find topics
Find it!
四个月前，我们发布了Moonlight，在16B的MoE模型上验证了Muon优化器的有效性。在Moonlight中，我们确认了给Muon添加Weight Decay的必要性，同时提出了通过Upd...
