带 RAG 和 MCP 的搜索引擎

一个强大的搜索引擎，结合了LangChain、模型上下文协议（MCP）、检索增强生成（RAG）和Ollama，构建了一个代理型AI系统，能够进行网络搜索、信息检索，并提供相关答案。

功能

• 使用Exa API的网络搜索功能
• 使用FireCrawl获取网页内容
• RAG（检索增强生成）用于更相关信息提取
• MCP（模型上下文协议）服务器用于标准化工具调用
• 支持本地LLM通过Ollama以及基于云的LLM通过OpenAI
• 灵活架构支持直接搜索、代理型搜索或服务端模式
• 全面错误处理和优雅降回
• Python 3.13+带类型提示
• 异步处理以高效执行网络操作

架构

该项目集成了几个关键组件：

1. 搜索模块：使用Exa API进行网络搜索，使用FireCrawl获取内容
2. RAG模块：嵌入文档、分块并存储到FAISS向量库中
3. MCP服务器：提供标准化协议用于工具调用
4. 代理：基于LangChain的代理，利用搜索和RAG功能

项目结构

search-engine-with-rag-and-mcp/
├── LICENSE              # MIT许可证
├── README.md            # 项目文档
├── data/                # 数据目录
├── docs/                # 文档
│   └── env_template.md  # 环境变量文档模板
├── logs/                # 日志文件目录（自动创建）
├── src/                 # 主包（源代码）
│   ├── __init__.py      
│   ├── core/            # 核心功能
│   │   ├── __init__.py
│   │   ├── main.py      # 入口点
│   │   ├── search.py    # 网络搜索模块
│   │   ├── rag.py       # RAG实现
│   │   ├── agent.py     # LangChain代理
│   │   └── mcp_server.py # MCP服务器实现
│   └── utils/           # 工具包
        └── __init__.py
└── requirements.txt      # 依赖管理

安装指南

1. 克隆仓库：

git clone https://github.com/your-username/search-engine-with-rag-and-mcp.git
cd search-engine-with-rag-and-mcp

2. 安装依赖：

pip install -r requirements.txt

使用方法

1. 直接搜索模式

运行搜索引擎服务端：

python src/main.py serve --mode direct

使用搜索引擎进行查询：

python src/main.py search --query "your-query-here"

2. 代理型搜索模式

运行代理服务端：

python src/main.py serve --mode agent

通过API调用代理进行搜索：

curl -X POST http://localhost:8000/agent/search -d '{"query": "your-query-here"}'

3. MCP服务器模式

运行MCP服务器：

python src/main.py serve --mode mcp

通过HTTP协议调用MCP服务：

curl -X POST http://localhost:8001/mcp/execute -d '{"tool": "search", "input": "your-query-here"}'

开发

项目遵循以下最佳实践：

• 代码格式化：使用black进行自动格式化，确保编码风格一致。
• 类型检查：利用mypy进行静态类型检查，避免运行时错误。
• Linting：应用flake8和pylint进行代码质量控制。
• 单元测试：采用pytest编写和执行单元测试，确保功能正确性。

许可证

项目遵循MIT许可证，详细内容请参阅LICENSE文件。

致谢

感谢以下项目的贡献：

• LangChain 提供代理框架
• 模型上下文协议 提供标准化工具调用
• Ollama 本地LLM能力
• Exa 网络搜索功能
• FireCrawl 内容检索功能