Msparihar MCP Server Firecrawl

🚀 Firecrawl MCP 服务器

Firecrawl MCP 服务器是一款基于 Firecrawl API 的强大工具，它遵循 Model Context Protocol (MCP)，可用于网络爬虫、内容搜索、网站抓取和数据提取，为用户提供高效、全面的网络数据处理解决方案。

🚀 快速开始

1. 在 开发者门户 获取您的 Firecrawl API 密钥。
2. 环境变量中设置 API 密钥：

   export FIRECRAWL_API_KEY=your_api_key_here
   

3. 从以下示例开始：
   • 基本爬虫
   • 爬取和映射

✨ 主要特性

• 网络爬虫：可从任意网页中提取内容，支持丰富的自定义选项，如移动设备模拟、广告和弹窗拦截、内容过滤、结构化数据提取以及多种输出格式。
• 内容搜索：具备智能搜索功能，支持多语言，可基于位置提供搜索结果，支持自定义结果限制和结构化输出格式。
• 网站抓取：拥有高级网络抓取功能，可进行深度控制、路径过滤、速率限制、进度跟踪以及网站地图集成。
• 网站映射：能够生成网站结构图，支持子域名，具备搜索筛选、链接分析和视觉层次分析功能。
• 数据提取：可从多个 URL 中提取结构化数据，提供校验方案、批处理、网站搜索增强和自定义提取提示。

📦 安装指南

# 全局安装
npm install -g @modelcontextprotocol/mcp-server-firecrawl

# 项目本地安装
npm install @modelcontextprotocol/mcp-server-firecrawl

💻 使用示例

基础用法

import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';

async function basicScrape() {
  const crawler = new FireCrawler({
    apiKey: 'your_api_key_here',
  });

  const result = await crawler.scrape('https://example.com');
  console.log(result);
}

basicScrape();

高级用法

import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';

async function crawlAndMap() {
  const crawler = new FireCrawler({
    apiKey: 'your_api_key_here',
  });

  // 爬取网站
  const crawlResult = await crawler.crawl('https://example.com');
  console.log('爬取结果:', crawlResult);

  // 生成网站地图
  const mapResult = await crawler.createMap('example', ['https://example.com']);
  console.log('网站地图创建结果:', mapResult);
}

crawlAndMap();

📚 详细文档

集成

安装依赖

npm install @modelcontextprotocol/mcp-server-firecrawl

创建 MCP 服务器实例

import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';

const crawler = new FireCrawler({
  apiKey: 'your_api_key_here',
});

// 启动服务器
crawler.listen(3000, () => {
  console.log('Server is running on http://localhost:3000');
});

错误处理

服务器实现强大的错误处理：

• 带指数回退的速率限制
• 自动重试
• 详细错误消息
• 调试日志记录

安全

• API 密钥保护
• 请求验证
• 名单白列表
• 速率限制
• 安全错误消息

开发

# 安装依赖
npm install

# 构建
npm run build

# 运行测试
npm test

# 在开发模式下启动
npm run dev

示例

查看 examples 目录中的更多使用示例：

• 基本爬虫：scrape.ts
• 爬取和映射：crawl-and-map.ts

贡献

查看 CONTRIBUTING.md 了解贡献指南。

📄 许可证

本项目采用 MIT License，查看 LICENSE 以获取详细信息。