🚀 FireCrawl MCP 服务器

FireCrawl MCP 服务器是一个与 FireCrawl 集成的 Model Context Protocol (MCP) 服务器实现，主要用于高级网络爬虫功能，能从各类网站高效提取所需内容。

🚀 快速开始

要使用 FireCrawl MCP 服务器，您需要先完成安装和配置，具体步骤如下：

npm install mcp-server-firecrawl

获取 API 密钥

1. 在 FireCrawl 账户 上注册。
2. 从仪表盘生成您的 API 密钥。
3. 将 API 密钥设置在环境变量中。

使用 Claude Desktop

将以下内容添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "mcp-server-firecrawl": {
      "command": "npx",
      "args": ["-y", "mcp-server-firecrawl"],
      "env": {
        "FIRE_CRAWL_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

✨ 主要特性

• JavaScript 渲染：可从 JavaScript 富网站中提取内容。
• 移动/桌面视图：支持不同的视口配置。
• 智能速率限制：内置速率限制处理。
• 多种格式：支持 HTML、Markdown、截图和纯文本提取。
• 批量处理：能高效处理多个 URL。
• 内容过滤：可包含或排除特定 HTML 标签。

📦 安装指南

npm install mcp-server-firecrawl

💻 使用示例

基础用法

fire_crawl_scrape

从单个 URL 爬取内容，带有自定义选项。

# 示例代码，根据实际情况修改参数
npx mcp-server-firecrawl fire_crawl_scrape --url "https://example.com" --formats "markdown"

fire_crawl_batch

启动多个 URL 的批量爬取作业。

# 示例代码，根据实际情况修改参数
npx mcp-server-firecrawl fire_crawl_batch --urls ["https://example1.com", "https://example2.com"] --formats "markdown"

fire_crawl_status

检查批量爬取作业的状态。

# 示例代码，根据实际情况修改参数
npx mcp-server-firecrawl fire_crawl_status --id "batch_job_id"

高级用法

在实际使用中，您可以根据需要组合各种参数，以实现更复杂的爬取需求。例如，在 fire_crawl_scrape 中使用更多选项：

npx mcp-server-firecrawl fire_crawl_scrape --url "https://example.com" --formats "markdown" --waitFor 5000 --onlyMainContent true --includeTags ["p", "h1"] --excludeTags ["script"] --mobile true --skipTlsVerification true

📚 详细文档

工具说明

fire_crawl_scrape

从单个 URL 爬取内容，带有自定义选项。

• 输入：
  • url (字符串)：要爬取的目标 URL。
  • formats (数组)：输出格式 (markdown, html, rawHtml, screenshot, links, screenshot@fullPage, extract)。
  • waitFor (数字，可选)：等待时间（以毫秒为单位）。
  • onlyMainContent (布尔值，可选)：仅提取主要内容。
  • includeTags (数组，可选)：要特别包含的 HTML 标签。
  • excludeTags (数组，可选)：要排除的 HTML 标签。
  • mobile (布尔值，可选)：使用移动视图。
  • skipTlsVerification (布尔值，可选)：跳过 TLS 验证。

fire_crawl_batch

启动多个 URL 的批量爬取作业。

• 输入：
  • urls (数组)：要爬取的 URL 列表。
  • formats (数组)：输出格式（与单个爬取相同）。
  • 其他选项与 fire_crawl_scrape 相同。

fire_crawl_status

检查批量爬取作业的状态。

• 输入：
  • id (字符串)：要检查的批处理作业 ID。

开发

# 安装依赖项
npm install

# 构建
npm run build

# 运行测试
npm test

速率限制

• 免费层：每分钟 3 次请求。
• 达到速率限制后等待 25 秒冷却时间。
• 更高的限制在付费计划中可用。

📄 许可证

本项目采用 MIT 许可证，有关详细信息，请参阅 LICENSE 文件。