Float4技术

OpenAI即将发布的开源大模型详情曝光。120亿参数混合专家模型在推理时仅激活约50-60亿参数，采用Float4量化技术并使用滑动窗口注意力和注意力汇聚技术处理超长上下文窗口。