“是我创造了第一个LLM”！Kaggle前首席科学家一句话引发AI学术圈考古行动
Jeremy Howard因其发表的论文ULMFiT，使用非监督预训练-微调范式达到当时NLP领域的SOTA，被认为是第一个大语言模型。此观点得到了同行认可和考据支持。
Jeremy Howard
时隔6年BERT升级！仅编码器架构没被杀死，更快更准确更长上下文
ModernBERT发布，参数分别为139M（Base）、395M（Large），上下文长度为8192 token，相比大多数编码器扩展了16倍。它适用于信息检索、分类和实体抽取等任务，且在效率方面表现优异。