Crawl4AI MCP 服务器

这是一个基于MCP（模型上下文协议）的智能信息获取服务器，为AI助手系统提供强大的搜索能力和面向大语言模型优化的网页内容理解功能。通过多引擎搜索和智能内容提取，帮助AI系统高效获取和理解互联网信息，并支持以markdown_with_citations格式输出，便于大语言模型引用和处理。

功能特性

• 多引擎搜索：默认集成DuckDuckGo搜索引擎，支持扩展Google搜索（需配置）。
• LLM优化内容提取：专为大语言模型设计的内容过滤与提取机制，自动去除无用信息如导航栏、广告等，保留关键内容和URL引用。
• 专注信息价值：通过最小词数阈值（10）过滤无效片段，确保输出内容的高质量和高相关性。

安装指南

常规安装

# 创建虚拟环境并激活
python -m venv env
source env/bin/activate  # 在macOS/Linux下
env\Scripts\activate      # 在Windows下

# 安装依赖项
pip install -r requirements.txt

# 配置服务器
cp config_demo.json config.json

# 启动服务器
python src/index.py

Claude客户端插件安装

# 使用smithery CLI安装到Claude Sonnet 3.5
smithery plugin install @weidwonder/crawl4ai-mcp-server --development

使用说明

搜索功能（search）

示例请求：

curl -X POST "http://localhost:8000/api/search" \
     -H "Content-Type: application/json" \
     -d '{"query":"AI技术发展历史","gl":null,"hl":null}'

输出格式：

• 支持markdown_with_citations和plaintext两种格式，默认为markdown_with_citations。
• 每个结果包含标题、内容摘录、原始URL和相关性评分。

内容提取与处理（read_url）

示例请求：

curl -X POST "http://localhost:8000/api/read_url" \
     -H "Content-Type: application/json" \
     -d '{"url":"https://example.com"}'

开发说明

项目结构

crawl4ai_mcp_server/
├── src/
│   ├── index.py      # 服务器主实现
│   └── search.py     # 搜索功能实现
├── config_demo.json  # 配置文件示例
├── pyproject.toml    # 项目配置
├── requirements.txt  # 依赖列表
└── README.md         # 项目文档

配置说明

1. 复制配置模板：

   cp config_demo.json config.json
   

2. 配置Google搜索（可选）：

   • 在config.json中添加以下内容：

     {
         "google": {
             "api_key": "your_google_api_key",
             "cse_id": "your_google_cse_id"
         }
     }
     

更新日志

• 2025.02.08：新增搜索功能，支持DuckDuckGo（默认）和Google搜索。
• 2025.02.07：重构项目结构，采用FastMCP实现，优化依赖管理。
• 2025.02.07：优化内容过滤配置，提升token效率并保持URL完整性。

许可证

本项目遵循MIT License协议。

贡献指南

欢迎提交问题和Pull Request！ GitHub仓库地址：https://github.com/weidwonder/crawl4ai-mcp-server

作者信息

• 项目负责人：weidwonder
• 主要开发者：Claude Sonnet 3.5
  • 完全由Claude编写代码。耗时总计约3小时，其中编码0.5小时，环境准备0.5小时，调试2小时。

致谢

感谢所有为项目贡献力量的开发者！

特别鸣谢：

• Crawl4ai 项目提供的优秀网页内容提取技术支持