Login
From:
kexue.fm
(Uncensored)
subscribe
初始化方法中非方阵的维度平均策略思考 - 科学空间|Scientific Spaces
https://kexue.fm/archives/8725
links
backlinks
Roast topics
Find topics
Find it!
在《从几何视角来理解模型参数的初始化策略》、《浅谈Transformer的初始化、参数化与标准化》等文章，我们讨论过模型的初始化方法，大致的思路是：如果一个$n\times n$的方阵用均值为0...
