vLLM

仅用不到1200行代码实现Nano-vLLM，该项目由DeepSeek研究员俞星凯创作。Nano-vLLM有三大特点：快速离线推理、可读性强的代码库以及优化套件。通过比较vLLM与Nano-vLLM在不同硬件和模型配置下的基准测试结果，Nano-vLLM表现出色。