FoPE

清华大学团队研究发现，RoPE 带来的周期性延拓受到频谱损坏影响限制了 LM 的长度外推能力。他们提出傅里叶位置编码（FoPE）来提升 Transformer 的长文本泛化能力。