学生模型

知识蒸馏技术是一种用于模型小型化的手段，自2015年起被提升至大众视野，并通过DeepSeek等应用解决了大模型训练成本问题。