MCP 服务器与 FAISS 结合实现 RAG 项目文档

概述

MCP 服务器是一个结合了 FAISS（一个高效的相似性搜索和机器学习库）来实现 RAG（检索增强生成）的项目。该项目提供了完整的文档检索和生成工作流程，支持从 GitHub 提取 Move 文件并集成大型语言模型（LLM）进行增强回答生成。

功能

• 文档检索: 通过 FAISS 进行高效的相似性搜索
• Move 文件提取: 支持从 GitHub 下载和处理相关 Move 文件
• RAG 管道: 实现了完整的 RAG 工作流程，包括文档检索、上下文形成和 LLM 响应生成
• API 集成: 提供 RESTful API 接口，支持远程文档索引和检索操作

安装与配置

环境依赖

• Python 3.8+
• FAISS 库
• requests 库
• transformers 库
• torch 库

配置步骤

1. 克隆项目仓库：

git clone https://github.com/your-repository/mcp_server.git
cd mcp_server

2. 安装依赖：

pip install -r requirements.txt

3. 配置环境变量： 创建一个 .env 文件并添加以下内容：

GITHUB_TOKEN=your_github_token_here
OPENAI_API_KEY=your_openai_api_key_here

项目结构

mcp_server/
├── __init__.py             # 包初始化文件
├── main.py                # 主服务器文件
├── mcp_api.py             # MCP API 实现
├── index_move_files.py    # 文件索引工具
├── local_query.py         # 本地查询工具
├── download_move_files.py # GitHub Move 文件提取器
├── rag_integration.py     # LLM 集成模块
├── pyproject.toml         # 包配置文件
├── requirements.txt       # 依赖管理
├── .env.example           # 环境变量示例
├── README.md              # 项目说明文档
├── data/                  # 数据存储目录
├── docs/                  # 样本文档
│   └── move_files/        # 下载的 Move 文件
├── models/                # 模型实现
│   └── vector_store.py    # FAISS 向量存储实现
└── utils/
    ├── document_processor.py  # 文档处理工具
    └── github_extractor.py    # GitHub 文件提取工具

核心组件

MCP API 实现 (mcp_api.py)

• 提供 /mcp/action 端点，支持以下操作：
  • retrieve_documents: 根据查询检索相关文档
  • index_documents: 从指定目录索引文档

RAG 集成 (rag_integration.py)

• 实现完整的 RAG 工作流程：
  1. 搜索查询
  2. 文档检索
  3. 上下文形成
  4. LLM 响应生成

GitHub Move 文件提取 (download_move_files.py)

• 支持两种文件提取方式：
  • GitHub API（推荐）：需要配置有效的 GitHub Token
  • 命令行：支持通过命令行指定查询参数下载文件

使用示例

初始化服务器

python main.py --port 8000

调用 API

发送 POST 请求到 http://localhost:8000/mcp/action，请求体如下：

{
  "operation": "retrieve_documents",
  "params": {
    "query": "你的查询内容",
    "top_k": 5
  }
}

下载 Move 文件

通过以下命令下载 GitHub 上的相关 Move 文件：

python download_move_files.py --query "your-query" --output-dir ./docs/move_files

技术细节

• 向量存储: 使用 FAISS 实现高效的文档向量化和相似性搜索
• 模型集成: 支持多种 LLM 模型，如 GPT、BERT 等
• 文件处理: 提供灵活的文档解析和预处理功能

项目目标

1. 提供一个高效、可扩展的文档检索系统
2. 实现完整的 RAG 工作流程，提升生成式 AI 的表现
3. 支持多种数据源（包括 GitHub）的文件提取和处理

许可证

本项目遵循 MIT 许可证，详情请参阅 LICENSE 文件。