Login
From:
kexue.fm
(Uncensored)
subscribe
高阶muP：更简明但更高明的谱条件缩放 - 科学空间|Scientific Spaces
https://kexue.fm/archives/10795
links
backlinks
Roast topics
Find topics
Find it!
在文章《初探muP：超参数的跨模型尺度迁移规律》中，我们基于前向传播、反向传播、损失增量和特征变化的尺度不变性推导了muP（Maximal Update Parametrization）。可能对...
