ICLR 2025|浙大、千问发布预训练数据管理器DataMan,53页细节满满
AIxiv专栏探讨了DataMan数据管理器在优化大语言模型预训练中的应用。该研究提出了一个全面的质量评分体系,用于15个常见应用领域的预训练数据质量评估和领域识别,显著提升了模型性能。
AIxiv专栏探讨了DataMan数据管理器在优化大语言模型预训练中的应用。该研究提出了一个全面的质量评分体系,用于15个常见应用领域的预训练数据质量评估和领域识别,显著提升了模型性能。
专注AIGC领域的专业社区分享了开源优化并行策略DualPipe和EPLB。DualPipe用于V3/R1训练中减少流水线气泡,显著提高效率;EPLB通过动态调整专家负载保持平衡,避免通信开销增加。
中科闻歌发布智川X-Agent和优雅平台,助力政企快速落地AI应用与创意灵感。智川X-Agent提供一站式开发平台,支持零代码构建个性化智能体;优雅平台则为多模态内容生成提供智能体支持。
RAGFlow 是一款基于深度文档理解的开源 RAG 引擎,能从 100 多种文件格式中高效提取关键信息,并支持文本切片、模板化处理和多种数据源。它解决了大语言模型在实际应用中的文档处理难题。
Datawhale发布《大语言模型》中文书籍,系统介绍大语言模型技术。作者团队包括赵鑫、李军毅、周昆等专家,引用次数已突破4000次。该书注重为读者提供系统性的知识讲解,内容涵盖预训练、微调、对齐等多种基础内容。