大模型
大语言模型
ICML 2025 长文本救星!清华等提出傅里叶位置编码,多项任务全面超越RoPE
清华大学团队研究发现,RoPE 带来的周期性延拓受到频谱损坏影响限制了 LM 的长度外推能力。他们提出傅里叶位置编码(FoPE)来提升 Transformer 的长文本泛化能力。
Agent提示工程实践指南及KG用于RAG数据合成方案RAGSyntic解读
近日发布的《RAGSynth》提出了一种用于生成多样化的RAG数据集的方法,本文详细介绍了其实现思路和核心细节,包括文档分割、事实线索提取、实体关系建立等步骤。
提升检索精度的秘密武器:微调重排序模型实战指南
在这篇文章中,我介绍了微调重排序模型的方法,并详细讨论了准备数据和微调自定义重排序器的过程。通过使用跨编码器来重新排序检索到的文档,可以提高生成模型输出的准确性和上下文相关性。