dots.llm1

小红书 hi lab 发布开源文本大模型 dots.llm1，参数量为 1420亿（142B），上下文长度32K。采用轻量级数据处理流程和MoE架构训练，相比Qwen2.5-72B在预训练阶段仅需13万GPU小时。支持多轮对话、知识理解与问答等任务，在多个测试中表现突出。