Firecrawl MCP 服务器

一个用于网络爬虫、内容搜索、网站抓取和数据提取的 Model Context Protocol (MCP) 服务器，基于 Firecrawl API。

功能

• 网络爬虫：从任意网页中提取内容，支持自定义选项

  • 移动设备模拟
  • 广告和弹窗拦截
  • 内容过滤
  • 结构化数据提取
  • 多种输出格式

• 内容搜索：智能搜索功能

  • 多语言支持
  • 基于位置的结果
  • 自定义结果限制
  • 结构化输出格式

• 网站抓取：高级网络抓取功能

  • 深度控制
  • 路径过滤
  • 速率限制
  • 进度跟踪
  • 网站地图集成

• 网站映射：生成网站结构图

  • 子域名支持
  • 搜索筛选
  • 链接分析
  • 视觉层次分析

• 数据提取：从多个 URL 中提取结构化数据

  • 校验方案
  • 批处理
  • 网站搜索增强
  • 自定义提取提示

安装

# 全局安装
npm install -g @modelcontextprotocol/mcp-server-firecrawl

# 项目本地安装
npm install @modelcontextprotocol/mcp-server-firecrawl

快速开始

1. 在 开发者门户 获取您的 Firecrawl API 密钥

2. 环境变量中设置 API 密钥：

   export FIRECRAWL_API_KEY=your_api_key_here
   

3. 从以下示例开始：

   • 基本爬虫
   • 爬取和映射

集成

安装依赖

npm install @modelcontextprotocol/mcp-server-firecrawl

创建 MCP 服务器实例

import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';

const crawler = new FireCrawler({
  apiKey: 'your_api_key_here',
});

// 启动服务器
crawler.listen(3000, () => {
  console.log('Server is running on http://localhost:3000');
});

使用示例

基本爬虫

import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';

async function basicScrape() {
  const crawler = new FireCrawler({
    apiKey: 'your_api_key_here',
  });

  const result = await crawler.scrape('https://example.com');
  console.log(result);
}

basicScrape();

网站爬取和映射

import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';

async function crawlAndMap() {
  const crawler = new FireCrawler({
    apiKey: 'your_api_key_here',
  });

  // 爬取网站
  const crawlResult = await crawler.crawl('https://example.com');
  console.log('爬取结果:', crawlResult);

  // 生成网站地图
  const mapResult = await crawler.createMap('example', ['https://example.com']);
  console.log('网站地图创建结果:', mapResult);
}

crawlAndMap();

错误处理

服务器实现强大的错误处理：

• 带指数回退的速率限制
• 自动重试
• 详细错误消息
• 调试日志记录

安全

• API 密钥保护
• 请求验证
• 名单白列表
• 速率限制
• 安全错误消息

开发

# 安装依赖
npm install

# 构建
npm run build

# 运行测试
npm test

# 在开发模式下启动
npm run dev

示例

查看 examples 目录中的更多使用示例：

• 基本爬虫：scrape.ts
• 爬取和映射：crawl-and-map.ts

贡献

查看 CONTRIBUTING.md 了解贡献指南。

许可证

MIT License - 查看 LICENSE 以获取详细信息。