分布式训练

大模型在处理长文本时面临输入长度限制、计算资源消耗及上下文保持等问题，提出解决方案包括分段处理、滑动窗口、外部记忆机制等方法。