Login
From:
spaces.ac.cn
(Uncensored)
subscribe
Transformer升级之路：18、RoPE的底数选择原则 - 科学空间|Scientific Spaces
https://spaces.ac.cn/archives/10122
links
backlinks
Roast topics
Find topics
Find it!
我们知道，在RoPE中频率的计算公式为$\theta_i = b^{-2i/d}$，底数$b$默认值为10000。目前Long Context的主流做法之一是，先在$b=10000$上用短文本预...
