告别过平滑！浙大团队提出Rankformer：直接优化排序的Transformer架构

研究背景 & 方法亮点

推荐系统（Recommendation System，RS）的核心目标是为用户生成个性化排序列表，但现有推荐模型的架构设计往往忽视了排序属性，导致推荐效果受限。

以 LightGCN 等基于 GNN 的传统推荐模型为例，模型的前向编码过程基于图的平滑性假设，通过“低通滤波”聚合信息，容易引发过平滑问题，且难以区分正负样本的得分差异。

▲ 在不进行训练的情况下，使用不同层数的 Rankformer 和 LightGCN 直接对随机初始表征进行编码的性能。

那么，如何设计一个与排序目标高度契合的模型架构？

研究团队提出了基于图 Transformer 架构的推荐模型 Rankformer，并被 WWW 2025 会议录用。这是首个基于排序目标设计的推荐模型，三大亮点直击痛点：

1. 排序目标驱动架构：从表达了排序目标的 BPR 损失函数出发，在模型编码时模拟梯度下降过程中的向量优化方向，从而设计了独特的图 Transformer 机制，在前向传播的过程中引导模型编码更优的排序表征。

2. 全局信息聚合：使用具有全局注意力机制的图 Transformer 架构，聚合所有用户和物品的信息，生成更具表达力的表征；同时利用正样本（用户已交互物品）与负样本（用户未交互物品）信号，增强推荐精准度。

3. 线性复杂度加速算法：具有全局注意力机制的图 Transformer 架构的原始计算复杂度为，Rankformer 通过数学变换与缓存优化，将时空复杂度降低至（为边数），效率比肩轻量级模型 LightGCN。

论文题目：

Rankformer: A Graph Transformer for Recommendation based on Ranking Objective

论文链接：

https://arxiv.org/pdf/2503.16927

论文源码：

https://github.com/StupidThree/Rankformer

模型细节

具有全图注意力的图 Transformer 机制：Rankformer 堆叠多个图 Transformer 层，每层按如下方式，为用户/物品聚合所有的物品/用户信息：

包含排序信号的聚合权重：在聚合节点信息时，Rankformer 的权重如下设计，包含了相似度项、基准项和偏移项：

相似度项（Similarity）：类似于传统 Transformer 中的注意力机制，相似度项衡量实体之间的基础匹配度。该项能识别与用户历史行为高度相关的物品，例如，用户常买电子产品，则相似度高的“新款耳机”会被优先关注。

基准项（Benchmark）：通过基准项，我们将绝对相似度转化为相对排序信号。考虑到推荐系统的排序性质，绝对相似度（即预测得分）不一定是最重要的，相对得分（即一个项目的得分比其他项目高/低多少）包含了更具有排序性质的信息。

对于已交互的正样本，Rankformer 计算自身的相似度与负样本基准（用户与所有未交互物品的平均相似度）的差值；对于未交互的负样本，则计算自身相似度与正样本基准（用户与所有已交互物品的平均相似度）的差值。

偏移项（Offset）：在权重中额外加入超参数，区分正负样本的贡献方向。一方面，偏移项可以增强对比，增加正样本权重并减小负样本权重，强制模型放大“喜欢”与“不喜欢”的差异。另一方面，可以作为平滑因子，值越大权重分布越均匀，防止个别高分物品垄断注意力；值越小权重越集中，实现更细粒度的排序。

线性复杂度优化：传统 Transformer 的全局注意力计算复杂度为，无法应对大规模推荐场景。Rankformer 通过矩阵变换与缓存优化，将计算拆解为全局统计量（如所有物品的相似度和）与局部边计算，将时空复杂度降低至，效率媲美 LightGCN。

理论依据

梯度驱动的架构设计：传统推荐模型仅通过损失函数（如 BPR）隐式优化排序目标，而 Rankformer 直接模拟梯度下降过程，将优化路径嵌入模型架构。

Levenberg-Marquardt 算法关联：理论证明，Rankformer 的更新机制等效于引入二阶导数信息，在避免复杂计算的同时，实现更快速、稳定的收敛。

传统方法可视作 Rankformer 的特例：通过省略某些组件，Rankformer 可以简化为 LightGCN、GAT 和传统的 Transformer。

实验结果

在 Ali-Display、Epinions、Amazon-CDs、Yelp2018 四大真实数据集上，Rankformer 显著超越主流方法：

（文：PaperWeekly）