Crawleo MCP

🚀 Crawleo MCP 服务器

Crawleo MCP 服务器借助模型上下文协议（MCP），为 AI 助手提供实时网络搜索和爬取功能，助力 AI 更高效地获取网络数据。

🚀 快速开始

Crawleo MCP 让 AI 助手能够通过以下两个强大工具访问实时网络数据：

• web.search - 支持多种输出格式的实时网络搜索
• web.crawl - 从任意 URL 进行深度内容提取

✨ 主要特性

✅ 全球实时网络搜索：支持任意国家和语言
✅ 多样输出格式：提供增强 HTML、原始 HTML、Markdown、纯文本等格式
✅ 设备适配：支持桌面、移动或平板视图
✅ 深度内容提取：支持 JavaScript 渲染
✅ 数据零留存：保障完全隐私
✅ 自动爬取：可对搜索结果进行自动爬取

📦 安装指南

选项 1：NPM（推荐本地使用）

通过 npm 全局安装：

npm install -g crawleo-mcp

或者不安装直接使用 npx：

npx crawleo-mcp

选项 2：克隆仓库

git clone https://github.com/Crawleo/Crawleo-MCP.git
cd Crawleo-MCP
npm install
npm run build

选项 3：Docker

使用 Docker 构建并运行：

# 构建镜像
docker build -t crawleo-mcp .

# 使用你的 API 密钥运行
docker run -e CRAWLEO_API_KEY=your_api_key crawleo-mcp

MCP 客户端的 Docker 配置：

{
  "mcpServers": {
    "crawleo": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "CRAWLEO_API_KEY=YOUR_API_KEY_HERE", "crawleo-mcp"]
    }
  }
}

选项 4：远程服务器（无需安装）

使用托管版本 https://api.crawleo.dev/mcp - 请参阅以下配置示例。

📚 详细文档

获取 API 密钥

1. 访问 crawleo.dev
2. 注册免费账户
3. 进入你的仪表盘
4. 复制你的 API 密钥（以 sk_ 开头）

设置说明

使用本地 MCP 服务器（npm 包）

通过 npm 安装后，配置你的 MCP 客户端以使用本地服务器： Claude Desktop / Cursor / Windsurf（本地）：

{
  "mcpServers": {
    "crawleo": {
      "command": "npx",
      "args": ["crawleo-mcp"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

或者如果是全局安装：

{
  "mcpServers": {
    "crawleo": {
      "command": "crawleo-mcp",
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

从克隆的仓库运行：

{
  "mcpServers": {
    "crawleo": {
      "command": "node",
      "args": ["/path/to/Crawleo-MCP/dist/index.js"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

使用远程服务器（托管）

1. Claude Desktop

配置文件位置：

• macOS：~/Library/Application Support/Claude/claude_desktop_config.json
• Windows：%APPDATA%\Claude\claude_desktop_config.json
• Linux：~/.config/Claude/claude_desktop_config.json 配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

将 YOUR_API_KEY_HERE 替换为你从 crawleo.dev 获取的实际 API 密钥。 步骤：

1. 使用文本编辑器打开配置文件
2. 添加 Crawleo MCP 配置
3. 保存文件
4. 完全重启 Claude Desktop（退出并重新打开）
5. 开始新对话并让 Claude 进行网络搜索！ 示例用法：

"搜索最新的 AI 新闻并总结前 5 篇文章"
"查找 Python 网络爬虫教程并提取代码示例"

2. Cursor IDE

配置文件位置：

• macOS：~/.cursor/config.json 或 ~/Library/Application Support/Cursor/config.json
• Windows：%APPDATA%\Cursor\config.json
• Linux：~/.config/Cursor/config.json 配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步骤：

1. 找到并打开你的 Cursor 配置文件
2. 添加 Crawleo MCP 配置
3. 保存文件
4. 重启 Cursor
5. MCP 工具将在你的 AI 助手中可用 Cursor 中的示例用法：

"搜索 React 最佳实践并将其添加到我的代码注释中"
"查找此 API 端点的最新文档"

3. Windsurf IDE

配置文件位置：

• macOS：~/Library/Application Support/Windsurf/config.json
• Windows：%APPDATA%\Windsurf\config.json
• Linux：~/.config/Windsurf/config.json 配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步骤：

1. 打开 Windsurf 配置文件
2. 添加 Crawleo MCP 服务器配置
3. 保存并重启 Windsurf
4. 在你的编码工作流程中开始使用网络搜索

4. GitHub Copilot

配置文件位置： 对于 VS Code 或兼容编辑器中的 GitHub Copilot，你需要配置 MCP 服务器。 配置： 创建或编辑你的 MCP 配置文件并添加：

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

包含多个服务器的完整示例：

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步骤：

1. 打开你的 GitHub Copilot MCP 配置
2. 添加 Crawleo 服务器配置
3. 保存文件
4. 重启 VS Code 或你的 IDE
5. GitHub Copilot 现在可以使用 Crawleo 进行网络搜索！ 示例用法：

向 Copilot 提问："搜索最新的 Python 最佳实践"
向 Copilot 提问："查找此库的文档"

5. OpenAI 平台（直接集成）

OpenAI 现在直接支持 MCP 服务器！以下是如何将 Crawleo 与 OpenAI 的 API 结合使用： Python 示例：

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-4",
    input=[
        {
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": "search for latest news about openai models"
                }
            ]
        }
    ],
    text={
        "format": {
            "type": "text"
        },
        "verbosity": "medium"
    },
    reasoning={
        "effort": "medium"
    },
    tools=[
        {
            "type": "mcp",
            "server_label": "Crawleo",
            "server_url": "https://api.crawleo.dev/mcp",
            "server_description": "Crawleo MCP Server - Real-Time Web Knowledge for AI",
            "authorization": "YOUR_API_KEY_HERE",
            "allowed_tools": [
                "web.search",
                "web.crawl"
            ],
            "require_approval": "always"
        }
    ],
    store=True,
    include=[
        "reasoning.encrypted_content",
        "web_search_call.action.sources"
    ]
)

print(response)

关键参数：

• server_url - Crawleo MCP 端点
• authorization - 你的 Crawleo API 密钥
• allowed_tools - 启用 web.search 和/或 web.crawl
• require_approval - 设置为 "always"、"never" 或 "conditional"

Node.js 示例：

import OpenAI from 'openai';

const client = new OpenAI();

const response = await client.responses.create({
  model: 'gpt-4',
  input: [
    {
      role: 'user',
      content: [
        {
          type: 'input_text',
          text: 'search for latest AI developments'
        }
      ]
    }
  ],
  tools: [
    {
      type: 'mcp',
      server_label: 'Crawleo',
      server_url: 'https://api.crawleo.dev/mcp',
      server_description: 'Crawleo MCP Server - Real-Time Web Knowledge for AI',
      authorization: 'YOUR_API_KEY_HERE',
      allowed_tools: ['web.search', 'web.crawl'],
      require_approval: 'always'
    }
  ]
});

console.log(response);

可用工具

web.search

使用可定制参数进行实时网络搜索。 参数：

• query (必需) - 搜索词
• max_pages - 结果页数（默认：1）
• setLang - 语言代码（例如，"en"，"ar"）
• cc - 国家代码（例如，"US"，"EG"）
• device - 设备类型："desktop"，"mobile"，"tablet"（默认："desktop"）
• enhanced_html - 获取干净的 HTML（默认：true）
• raw_html - 获取原始 HTML（默认：false）
• markdown - 获取 Markdown 格式（默认：true）
• page_text - 获取纯文本（默认：false）
• auto_crawling - 自动爬取结果 URL（默认：false） 示例：

向你的 AI 提问："搜索 'Python 网络爬虫' 并以 Markdown 格式返回结果"

web.crawl

从特定 URL 提取内容。 参数：

• urls (必需) - 要爬取的 URL 列表
• rawHtml - 返回原始 HTML（默认：false）
• markdown - 转换为 Markdown（默认：false）
• screenshot - 捕获屏幕截图（可选）
• country - 地理位置 示例：

向你的 AI 提问："爬取 https://example.com 并以 Markdown 格式提取主要内容"

故障排除

MCP 服务器未显示

1. 检查配置文件位置 - 确保你编辑的是正确的文件
2. 验证 JSON 语法 - 使用 JSON 验证器检查语法错误
3. 重启应用程序 - 完全退出并重新打开（不仅仅是重新加载）
4. 检查 API 密钥 - 确保你的 API 密钥在 crawleo.dev 上有效且处于活动状态

身份验证错误

• 验证你的 API 密钥是否正确（应以 sk_ 开头）
• 确保密钥用引号括起来
• 检查 "Bearer " 前缀是否包含在 Authorization 标头中（适用于 Claude/Cursor/Windsurf）
• 对于 OpenAI 平台，直接在 authorization 字段中使用密钥
• 确认你的账户在 crawleo.dev 上有可用的信用额度

无结果返回

• 检查你的互联网连接
• 验证搜索查询是否为空
• 先尝试更简单的搜索查询
• 在 crawleo.dev 上检查 API 状态

工具名称未被识别

确保使用正确的工具名称：

• 使用 web.search（而不是 search_web）
• 使用 web.crawl（而不是 crawl_web）

💻 使用示例

研究助手

"搜索量子计算的最新发展并总结关键发现"

内容分析

"搜索竞争对手的定价页面并提取其定价层级"

代码文档

"查找 FastAPI 的官方文档并提取快速入门指南"

新闻监测

"搜索美国来源的今日人工智能新闻"

市场研究

"搜索 iPhone 15 的客户评论并分析情感"

📚 定价

Crawleo MCP 使用与我们的 API 相同的实惠定价：

• 10,000 次搜索 → 20 美元
• 100,000 次搜索 → 100 美元
• 250,000 次搜索 → 200 美元 在 crawleo.dev 上查看你的使用情况并管理你的订阅。

🔧 技术细节

隐私与安全

✅ 数据零留存 - 我们从不存储你的搜索查询或结果
✅ 安全认证 - API 密钥通过 HTTPS 传输
✅ 无跟踪 - 你的使用模式保持私密

📄 许可证

文档中未提及相关内容，暂不展示。

🔗 相关链接

• 🌐 网站：crawleo.dev
• 📚 文档：crawleo.dev/docs
• 🔑 获取 API 密钥：crawleo.dev

📞 支持

• 文档：crawleo.dev/docs
• API 状态：crawleo.dev/status
• 联系我们：support@crawleo.dev