🚀 MCP 服务器与 FAISS 结合实现 RAG 项目文档

本项目将 MCP 服务器与 FAISS（高效的相似性搜索和机器学习库）相结合，实现了 RAG（检索增强生成）功能。它提供了完整的文档检索和生成工作流程，支持从 GitHub 提取 Move 文件，并集成大型语言模型（LLM）来生成增强回答。

🚀 快速开始

MCP 服务器与 FAISS 结合的 RAG 项目，为文档检索和生成提供了强大的解决方案。以下是快速上手的步骤：

1. 克隆项目仓库：

git clone https://github.com/your-repository/mcp_server.git
cd mcp_server

2. 安装依赖：

pip install -r requirements.txt

3. 配置环境变量： 创建一个 .env 文件并添加以下内容：

GITHUB_TOKEN=your_github_token_here
OPENAI_API_KEY=your_openai_api_key_here

4. 初始化服务器：

python main.py --port 8000

✨ 主要特性

• 文档检索：借助 FAISS 进行高效的相似性搜索，能快速定位相关文档。
• Move 文件提取：支持从 GitHub 下载和处理相关 Move 文件，提供多种提取方式。
• RAG 管道：实现了完整的 RAG 工作流程，涵盖文档检索、上下文形成和 LLM 响应生成。
• API 集成：提供 RESTful API 接口，方便进行远程文档索引和检索操作。

📦 安装指南

环境依赖

• Python 3.8+
• FAISS 库
• requests 库
• transformers 库
• torch 库

配置步骤

1. 克隆项目仓库：

git clone https://github.com/your-repository/mcp_server.git
cd mcp_server

2. 安装依赖：

pip install -r requirements.txt

3. 配置环境变量： 创建一个 .env 文件并添加以下内容：

GITHUB_TOKEN=your_github_token_here
OPENAI_API_KEY=your_openai_api_key_here

💻 使用示例

基础用法

初始化服务器

python main.py --port 8000

调用 API

发送 POST 请求到 http://localhost:8000/mcp/action，请求体如下：

{
  "operation": "retrieve_documents",
  "params": {
    "query": "你的查询内容",
    "top_k": 5
  }
}

下载 Move 文件

通过以下命令下载 GitHub 上的相关 Move 文件：

python download_move_files.py --query "your-query" --output-dir ./docs/move_files

📚 详细文档

项目结构

mcp_server/
├── __init__.py             # 包初始化文件
├── main.py                # 主服务器文件
├── mcp_api.py             # MCP API 实现
├── index_move_files.py    # 文件索引工具
├── local_query.py         # 本地查询工具
├── download_move_files.py # GitHub Move 文件提取器
├── rag_integration.py     # LLM 集成模块
├── pyproject.toml         # 包配置文件
├── requirements.txt       # 依赖管理
├── .env.example           # 环境变量示例
├── README.md              # 项目说明文档
├── data/                  # 数据存储目录
├── docs/                  # 样本文档
│   └── move_files/        # 下载的 Move 文件
├── models/                # 模型实现
│   └── vector_store.py    # FAISS 向量存储实现
└── utils/
    ├── document_processor.py  # 文档处理工具
    └── github_extractor.py    # GitHub 文件提取工具

核心组件

MCP API 实现 (mcp_api.py)

• 提供 /mcp/action 端点，支持以下操作：
  • retrieve_documents：根据查询检索相关文档。
  • index_documents：从指定目录索引文档。

RAG 集成 (rag_integration.py)

• 实现完整的 RAG 工作流程：
  1. 搜索查询
  2. 文档检索
  3. 上下文形成
  4. LLM 响应生成

GitHub Move 文件提取 (download_move_files.py)

• 支持两种文件提取方式：
  • GitHub API（推荐）：需要配置有效的 GitHub Token。
  • 命令行：支持通过命令行指定查询参数下载文件。

🔧 技术细节

• 向量存储：使用 FAISS 实现高效的文档向量化和相似性搜索。
• 模型集成：支持多种 LLM 模型，如 GPT、BERT 等。
• 文件处理：提供灵活的文档解析和预处理功能。

📄 许可证

本项目遵循 MIT 许可证，详情请参阅 LICENSE 文件。