🚀 带 RAG 和 MCP 的搜索引擎

这是一个强大的搜索引擎，它结合了LangChain、模型上下文协议（MCP）、检索增强生成（RAG）和Ollama，构建出一个代理型AI系统。该系统具备网络搜索、信息检索的能力，并能提供相关答案，为用户获取信息提供了便利。

🚀 快速开始

本搜索引擎融合了多种先进技术，能高效地完成网络搜索与信息检索任务。你可以按照以下步骤进行安装和使用。

✨ 主要特性

• 网络搜索功能：借助Exa API实现网络搜索，使用FireCrawl获取网页内容。
• 信息提取：运用RAG（检索增强生成）技术提取更相关的信息。
• 标准化调用：通过MCP（模型上下文协议）服务器实现标准化工具调用。
• 多LLM支持：支持通过Ollama使用本地大语言模型（LLM），也支持通过OpenAI使用基于云的LLM。
• 灵活架构：具备灵活的架构，支持直接搜索、代理型搜索或服务端模式。
• 错误处理：拥有全面的错误处理机制和优雅的降回策略。
• 类型提示：基于Python 3.13+开发，代码带有类型提示。
• 异步处理：采用异步处理方式，高效执行网络操作。

📦 安装指南

1. 克隆仓库：

git clone https://github.com/your-username/search-engine-with-rag-and-mcp.git
cd search-engine-with-rag-and-mcp

2. 安装依赖：

pip install -r requirements.txt

💻 使用示例

基础用法

直接搜索模式

运行搜索引擎服务端：

python src/main.py serve --mode direct

使用搜索引擎进行查询：

python src/main.py search --query "your-query-here"

高级用法

代理型搜索模式

运行代理服务端：

python src/main.py serve --mode agent

通过API调用代理进行搜索：

curl -X POST http://localhost:8000/agent/search -d '{"query": "your-query-here"}'

MCP服务器模式

运行MCP服务器：

python src/main.py serve --mode mcp

通过HTTP协议调用MCP服务：

curl -X POST http://localhost:8001/mcp/execute -d '{"tool": "search", "input": "your-query-here"}'

📚 详细文档

架构

该项目集成了几个关键组件：

1. 搜索模块：使用Exa API进行网络搜索，使用FireCrawl获取内容。
2. RAG模块：嵌入文档、分块并存储到FAISS向量库中。
3. MCP服务器：提供标准化协议用于工具调用。
4. 代理：基于LangChain的代理，利用搜索和RAG功能。

项目结构

search-engine-with-rag-and-mcp/
├── LICENSE              # MIT许可证
├── README.md            # 项目文档
├── data/                # 数据目录
├── docs/                # 文档
│   └── env_template.md  # 环境变量文档模板
├── logs/                # 日志文件目录（自动创建）
├── src/                 # 主包（源代码）
│   ├── __init__.py      
│   ├── core/            # 核心功能
│   │   ├── __init__.py
│   │   ├── main.py      # 入口点
│   │   ├── search.py    # 网络搜索模块
│   │   ├── rag.py       # RAG实现
│   │   ├── agent.py     # LangChain代理
│   │   └── mcp_server.py # MCP服务器实现
│   └── utils/           # 工具包
        └── __init__.py
└── requirements.txt      # 依赖管理

开发

项目遵循以下最佳实践：

• 代码格式化：使用black进行自动格式化，确保编码风格一致。
• 类型检查：利用mypy进行静态类型检查，避免运行时错误。
• Linting：应用flake8和pylint进行代码质量控制。
• 单元测试：采用pytest编写和执行单元测试，确保功能正确性。

📄 许可证

项目遵循MIT许可证，详细内容请参阅LICENSE文件。

👏 致谢

感谢以下项目的贡献：

• LangChain 提供代理框架
• 模型上下文协议 提供标准化工具调用
• Ollama 本地LLM能力
• Exa 网络搜索功能
• FireCrawl 内容检索功能