Mendableai Firecrawl MCP Server

🚀 火蜥蜴网络爬虫系统

火蜥蜴网络爬虫系统是一套功能强大的爬虫工具，支持网页抓取、批处理任务和状态检查等功能。通过简单的配置和安装，即可快速搭建并使用。

🚀 快速开始

安装

# 使用 npm 安装火蜥蜴 MCP 服务器
npm install fire-crawl-mcp-server

# 克隆源码仓库（可选）
git clone https://github.com/your-repository.git
cd your-repository

配置文件示例 (config.json)

{
  "fireCrawl": {
    "apiKey": "your_api_key_here", // 必填：火蜥蜴 API 密钥
    "proxySettings": { // 可选：代理配置
      "enabled": false, // 是否启用代理
      "host": "", // 代理服务器地址
      "port": "" // 代理服务器端口
    },
    "logging": { // 日志设置
      "level": "INFO", // 日志级别：DEBUG、INFO、WARNING、ERROR、CRITICAL
      "outputFile": "./fire_crawl.log" // 日志文件路径
    }
  }
}

✨ 主要特性

网页爬虫工具

• 名称：火蜥蜴爬虫
• 功能：从指定 URL 开始进行网页抓取，支持多线程加速和深度优先爬取。
• 配置参数：
  • url: 必填，起始爬取地址
  • maxDepth: 可选，默认为 3，爬取的最大深度
  • limit: 可选，默认为 50，抓取的网页数量上限

批处理工具

• 名称：火蜥蜴批处理
• 功能：支持一次性提交多条爬取任务，并可通过唯一 ID 查看处理状态。
• 操作流程：
  1. 提交批处理任务
  2. 获取操作 ID
  3. 定期查询处理进度

状态检查工具

• 名称：火蜥蜴状态检查
• 功能：通过提供的操作 ID 查看当前批处理任务的执行情况和结果。

🔧 技术细节

日志系统

• 日志级别：
  • DEBUG: 记录详细调试信息
  • INFO: 系统运行状态
  • WARNING: 可能影响功能的警告
  • ERROR: 已知错误记录
  • CRITICAL: 严重问题，可能导致服务中断

错误处理机制

• 重试策略：
  • 检测到限流时自动等待并重试
  • 最大重试次数：5次
  • 重试间隔：2秒至10秒之间随机

📚 详细文档

开发指南

# 安装项目依赖
npm install

# 构建生产环境包
npm run build

# 运行单元测试
npm test

贡献方式

1. ** fork 代码仓库
2. ** 创建功能分支
3. ** 提交代码修改
4. ** 提交Pull Request

📄 许可证

• 许可证类型：MIT License
• 版权信息：© 2023 火蜥蜴团队