MCP Firecrawl 服务器

这是一个简单的MCP服务器，提供使用Firecrawl API进行网站抓取和结构化数据提取工具。

安装

1. 安装依赖：

npm install

2. 在根目录下创建一个.env文件，并添加以下变量：

FIRECRAWL_API_TOKEN=your_token_here
SENTRY_DSN=your_sentry_dsn_here

• FIRECRAWL_API_TOKEN（必需）：您的Firecrawl API令牌
• SENTRY_DSN（可选）：Sentry DSN用于错误跟踪和性能监控

3. 启动服务器：

npm start

或者直接通过命令行设置环境变量启动服务器：

FIRECRAWL_API_TOKEN=your_token_here npm start

功能

• 网站抓取：从网站提取内容，支持多种格式
• 结构化数据提取：根据自定义模式提取特定数据点
• 错误跟踪：集成Sentry进行错误跟踪和性能监控

使用方法

服务器提供了两个工具：

1. scrape-website：基本网站抓取，支持多种输出格式
2. extract-data：基于提示和模式的结构化数据提取

工具：scrape-website

此工具抓取网站并返回所需格式的内容。

参数：

• url（字符串，必需）：要抓取的网站URL
• formats（字符串数组，可选）：所需输出格式的数组。支持格式包括：
  • "markdown"（默认）
  • "html"
  • "text"

示例使用MCP Inspector：

# 基本用法（默认为Markdown）
mcp-inspector --tool scrape-website --args '{
  "url": "https://example.com"
}'

# 多种格式
mcp-inspector --tool scrape-website --args '{
  "url": "https://example.com",
  "formats": ["markdown", "html", "text"]
}'

工具：extract-data

此工具根据提供的提示和模式，从网站中提取结构化数据。

参数：

• urls（字符串数组，必需）：要提取数据的URL列表
• prompt（字符串，必需）：描述要提取的数据的提示
• schema（对象，必需）：定义要提取的数据模式

模式定义是一个对象，键为字段名称，值为类型。支持的类型包括：

• "string"：文本字段
• "boolean"：布尔值（true/false）
• "number"：数字
• 数组：指定为 ["type"]，其中 type 是上述任一类型
• 对象：嵌套对象，具有自己的类型定义

示例使用MCP Inspector：

# 基本示例提取公司信息
mcp-inspector --tool extract-data --args '{
  "urls": ["https://example.com"],
  "prompt": "Extract the company mission, whether it supports SSO, and whether it is open source.",
  "schema": {
    "company_mission": "string",
    "supports_sso": "boolean",
    "is_open_source": "boolean"
  }
}'

# 复杂示例提取嵌套数据
mcp-inspector --tool extract-data --args '{
  "urls": ["https://example.com"],
  "prompt": "Extract detailed user information including name, age, and address.",
  "schema": {
    "user": {
      "name": "string",
      "age": "number",
      "address": {
        "street": "string",
        "city": "string",
        "country": "string"
      }
    }
  }
}'

故障排除

1. 确保已正确设置API令牌和Sentry DSN（如果使用）。
2. 检查网络连接，确保可以访问目标网站。
3. 查看控制台输出或日志文件以获取更多错误信息。