vLLM 项目文档

项目概述

vLLM 是一个用于高效运行和部署大型语言模型（LLMs）的开源工具。它旨在通过优化内存管理和计算资源使用，使得在生产环境中运行大规模语言模型变得更加容易和经济。

主要特点

• 高效的内存管理：采用分页注意力机制（PagedAttention），显著降低了显存占用。
• 支持多种模型架构：包括 GPT、BLOOM、Mistral 等主流开源模型。
• 易于部署和扩展：提供简洁的接口，方便集成到各种应用程序中。

安装与使用

你可以通过 pip 或从源代码安装 vLLM：

pip install vllm

快速上手指南

访问我们的 官方文档 了解更多信息：

• 安装指南：链接
• 快速开始：链接
• 支持的模型：链接

项目贡献

我们欢迎任何贡献和合作。请参考 CONTRIBUTING.md 了解如何参与。

引用

如果你在研究中使用了 vLLM，请引用我们的论文：

@inproceedings{kwon2023efficient,
  title={Efficient Memory Management for Large Language Model Serving with PagedAttention},
  author={Woosuk Kwon and Zhuohan Li and Siyuan Zhuang and Ying Sheng and Lianmin Zheng and Cody Hao Yu and Joseph E. Gonzalez and Hao Zhang and Ion Stoica},
  booktitle={Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles},
  year={2023}
}

模型支持

vLLM 目前支持以下多种语言模型架构：

• GPT 系列：包括 gpt2、gpt2-xl 等。
• BLOOM 系列：如 bigscience/bloom、`bigscience/b