首个 vLLM 中文文档上线!最新版本吞吐量再提高 2.7 倍,延迟减少 5 倍,让大语言模型推理更快速!
作者:神经星星
编辑:
李宝珠
由 HyperAI超神经社区志愿者共同翻译校对的 vLLM 中文文档
作者:神经星星
编辑:
李宝珠
由 HyperAI超神经社区志愿者共同翻译校对的 vLLM 中文文档
斯坦福教授李飞飞发布首个项目World Labs,能用单张图片、一句话生成3D世界。该技术可提高内容控制力和一致性,改变电影、游戏等制作方式。
本文提出了一系列剪枝策略,将LLaVA模型的计算量压缩至12%,同时保持了与原始模型同等的性能,并在其他多模态大模型上验证其普适性。
2024年11月22-24日,Wiley智能科学大会在成都成功举办,聚焦人工智能和机器人技术应用。新刊《Advanced Robotics Research》和《Advanced Intelligent Discovery》发布,涵盖多领域研究,超过150位参会者参与讨论。
研究团队提出自驱动 Logits 进化解码(SLED)方法,提升大语言模型事实准确性,无需外部知识库和额外微调。