被Transformer光芒掩盖的论文，Meta科学家回顾十年前创新之作
这篇论文是2015年发布的《End-to-End Memory Networks》，它包含了当前大型语言模型的许多要素，如完全用注意力机制替代RNN、引入带键值投影的点积软注意力机制和堆叠多层注意力等。尽管其影响力不及后来的《Attention is all you need》
Sainbayar Sukhbaatar
这篇论文是2015年发布的《End-to-End Memory Networks》，它包含了当前大型语言模型的许多要素，如完全用注意力机制替代RNN、引入带键值投影的点积软注意力机制和堆叠多层注意力等。尽管其影响力不及后来的《Attention is all you need》