Firecrawl MCP 服务器

一个用于网络爬取、内容搜索、网站抓取和数据提取的模型上下文协议（MCP）服务器，使用 Firecrawl API。

特性

• 网页抓取：从任何网页中提取内容，支持自定义选项

  • 移动设备模拟
  • 广告和弹出窗口拦截
  • 内容过滤
  • 结构化数据提取
  • 多种输出格式

• 内容搜索：智能搜索功能

  • 多语言支持
  • 基于位置的结果
  • 自定义结果限制
  • 结构化输出格式

• 网站抓取：高级网络爬取功能

  • 深度控制
  • 路径过滤
  • 速率限制
  • 进度跟踪
  • 网站地图集成

• 网站映射：生成网站结构图

  • 子域名支持
  • 搜索过滤
  • 链接分析
  • 可视化层次结构

• 数据提取：从多个 URL 中提取结构化数据

  • 架构验证
  • 批处理
  • 网站搜索增强
  • 自定义提取提示

安装

# 全局安装
npm install -g @modelcontextprotocol/mcp-server-firecrawl

# 项目本地安装
npm install @modelcontextprotocol/mcp-server-firecrawl

快速开始

1. 获取 API 密钥：访问 Firecrawl 官方网站 并注册以获取你的 API 密钥。
2. 设置环境变量：

   export FIRECRAWL_API_KEY='your_api_key_here'
   

3. 安装并运行服务器：

   npm install @modelcontextprotocol/mcp-server-firecrawl
   node index.js
   

集成

Claude Desktop App 集成

在 config.json 文件中添加以下内容以集成 Firecrawl：

{
  "firecrawl": {
    "apiKey": "your_api_key_here",
    "baseUrl": "https://api.firecrawl.com"
  }
}

VSCode 扩展集成

在扩展的配置文件中添加以下代码：

import { fireCrawlSettings } from '@modelcontextprotocol/mcp-server-firecrawl';
fireCrawlSettings.apiKey = 'your_api_key_here';

使用示例

基本抓取

const fireCrawl = require('@modelcontextprotocol/mcp-server-firecrawl');

async function basicScrape() {
  try {
    const result = await fireCrawl.scrape('https://example.com');
    console.log(result);
  } catch (error) {
    console.error(error.message);
  }
}

basicScrape();

爬取和映射

const fireCrawl = require('@modelcontextprotocol/mcp-server-firecrawl');

async function crawlAndMap() {
  try {
    const crawlResult = await fireCrawl.crawl('https://example.com');
    const mapResult = await fireCrawl.map(crawlResult.urls);
    console.log(mapResult);
  } catch (error) {
    console.error(error.message);
  }
}

crawlAndMap();

错误处理

该服务器实现了健壮的错误处理：

• 带有指数级回退的速率限制
• 自动重试
• 详细错误消息
• 调试日志

安全

• API 密钥保护
• 请求验证
• 允许列表
• 速率限制
• 安全错误消息

开发

# 安装依赖项
npm install

# 构建
npm run build

# 运行测试
npm test

# 在开发模式下启动
npm run dev

示例

查看 examples 目录中的更多使用示例：

• 基本抓取：scrape.ts
• 爬取和映射：crawl-and-map.ts

贡献

请参考 CONTRIBUTING.md 了解贡献指南。

许可证

MIT License - 请查看 LICENSE 以获取详细信息。