ModernBERT

ModernBERT发布，参数分别为139M（Base）、395M（Large），上下文长度为8192 token，相比大多数编码器扩展了16倍。它适用于信息检索、分类和实体抽取等任务，且在效率方面表现优异。