Login
From:
科学空间|Scientific Spaces
(Uncensored)
subscribe
为什么Adam的Update RMS是0.2？
https://kexue.fm/archives/11267
links
backlinks
Roast topics
Find topics
Find it!
众所周知，我们很早就开始尝试将Muon用于大规模LLM的训练。特别地，在《Muon续集：为什么我们选择尝试Muon？》中，我们提出了“Match Adam Update RMS”的技巧，以便快速...
