递归神经网络的复兴:Mixture-of-Recursions

近期Google DeepMind的研究人员设计了一种能够根据词的重要性调整计算量的语言模型,通过一个轻量级的‘路由器’决定每个词在共享网络模块中的循环次数,显著提高了模型性能和效率。

Tokenization谢幕?H-Net登场:Mamba作者新作正面硬刚Transformer

近年来语言模型取得了显著进展,主要得益于从特定任务专用模型转向通用的基于强大架构(如Transformer)模型的学习能力。作者之一Albert Gu提出了一种动态分块机制与层级网络相结合的新技术,能够自动学习内容和上下文相关的切分策略,并实现一个完全端到端训练的模型替代传统的分词→语言模型→反分词流水线。

MemOS:一种用于 AI 应用的记忆操作系统

MemOS是首个为AI系统设计的记忆操作系统,它将记忆统一管理成可调度的资源,并支持三种核心记忆类型:明文、激活和参数。MemOS通过三层架构实现高效存储与检索,显著提高语言模型在多跳推理等任务上的性能。

一篇持续强化学习技术最新综述

持续强化学习(CRL)作为一种有前景的研究方向,旨在使智能体在动态、多任务环境中持续学习、适应并保留知识。CRL面临的主要挑战包括可塑性、稳定性及可扩展性。文章提出了一种新的分类体系,将CRL方法按照所存储和/或转移的知识类型分为四大类:基于策略的、基于经验的、基于动态的方法和基于奖励的方法。