Login
From:
spaces.ac.cn
(Uncensored)
subscribe
Transformer升级之路：19、第二类旋转位置编码 - 科学空间|Scientific Spaces
https://spaces.ac.cn/archives/10862
links
backlinks
Roast topics
Find topics
Find it!
持续将“Transformer升级之路”系列关注到本篇的读者，想必都已经对旋转位置编码（RoPE）有所了解。简单来说，RoPE是施加在Attention的Query（$\boldsymbol{Q...
