OpenAI 开源模型泄露:六大技术细节
OpenAI即将发布的开源大模型详情曝光。120亿参数混合专家模型在推理时仅激活约50-60亿参数,采用Float4量化技术并使用滑动窗口注意力和注意力汇聚技术处理超长上下文窗口。
OpenAI即将发布的开源大模型详情曝光。120亿参数混合专家模型在推理时仅激活约50-60亿参数,采用Float4量化技术并使用滑动窗口注意力和注意力汇聚技术处理超长上下文窗口。
Black Forest Labs 发布了开源图像编辑模型 FLUX.1 Kontext [dev],该模型拥有120亿参数,在多项图像编辑任务中超越现有开源和闭源模型。模型支持即刻使用、零日生态支持,并推出了灵活的自服务授权门户简化商业应用。