一招缓解LLM偏科！调整训练集组成，“秘方”在此上交大&上海AILab等
MLNLP社区发布了一项创新方法IDEAL，用于解决大型语言模型（LLM）在多任务场景下可能出现的偏科现象。通过调整监督微调（SFT）训练集组成，研究团队发现优化后的模型在多种领域上的综合性能显著提升。
IDEAL方法
一招缓解LLM偏科！调整训练集组成，“秘方”在此 上交大&上海AI Lab等
上海交通大学及上海AI Lab联合团队提出IDEAL方法，通过调整SFT训练集的组成来提升LLM在多种领域上的综合性能。研究发现增加训练数据数量并不一定提高模型整体表现，反而可能导致“偏科”。